專利名稱：基于分布式系統(tǒng)的智能數(shù)據(jù)服務(wù)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算技術(shù)領(lǐng)域，更具體地說(shuō)，本發(fā)明涉及一種基于分布式系統(tǒng)的智能數(shù)據(jù)服務(wù)方法。
背景技術(shù)：
在數(shù)據(jù)密集型應(yīng)用中，大規(guī)模數(shù)據(jù)集處理是應(yīng)用的核心，而I/O (輸入/輸出)帶寬成為影響其性能的主要因素，這使得傳統(tǒng)的計(jì)算和存儲(chǔ)分離的系統(tǒng)不適合數(shù)據(jù)密集型應(yīng)用，因此，需要一種新型的數(shù)據(jù)存儲(chǔ)和服務(wù)模式，以提高數(shù)據(jù)傳輸和處理的性能。
數(shù)據(jù)服務(wù)一般指的是數(shù)據(jù)的存儲(chǔ)、管理和傳輸，在不同的應(yīng)用場(chǎng)合中具體表現(xiàn)形式不同。在數(shù)據(jù)密集型應(yīng)用背景下，數(shù)據(jù)服務(wù)主要包含兩方面的內(nèi)容，一是海量數(shù)據(jù)的存儲(chǔ)技術(shù)，二是海量數(shù)據(jù)的組織管理技術(shù)。
智能數(shù)據(jù)服務(wù)指的是在上述兩方面加入了數(shù)據(jù)的預(yù)處理操作處理，這樣可以將部分?jǐn)?shù)據(jù)處理負(fù)載從外部計(jì)算設(shè)備轉(zhuǎn)移到系統(tǒng)內(nèi)部，從而減少系統(tǒng)向外部計(jì)算設(shè)備提供數(shù)據(jù)服務(wù)的帶寬需求。
實(shí)現(xiàn)數(shù)據(jù)服務(wù)有很多種方法，比如采用傳統(tǒng)的集中全局存儲(chǔ)的方法，或采用數(shù)據(jù)庫(kù)系統(tǒng)。
傳統(tǒng)的集中全局存儲(chǔ)的方法需要專用的存儲(chǔ)服務(wù)器，傳統(tǒng)的計(jì)算密集型計(jì)算采用的是這種模式。集中全局存儲(chǔ)的方法構(gòu)建數(shù)據(jù)服務(wù)的性能受限于存儲(chǔ)服務(wù)器的帶寬，并且價(jià)格昂貴，難以大規(guī)模擴(kuò)展。
數(shù)據(jù)庫(kù)系統(tǒng)又分為關(guān)系型數(shù)據(jù)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù)。數(shù)據(jù)密集型應(yīng)用工作數(shù)據(jù)集較大，且不需要進(jìn)行頻繁的數(shù)據(jù)庫(kù)操作，所以不適合存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中。非關(guān)系型數(shù)據(jù)庫(kù)提供Key-Value (鍵-值)的存儲(chǔ)形式，但它難以在數(shù)據(jù)服務(wù)中加入預(yù)處理的功能，難以形成智能數(shù)據(jù)服務(wù)。發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有技術(shù)中存在上述缺陷，提供一種在數(shù)據(jù)密集應(yīng)用中將傳統(tǒng)的分布式系統(tǒng)的空閑存儲(chǔ)資源聚合起來(lái)并向外部計(jì)算設(shè)備提供智能數(shù)據(jù)服務(wù)的方法。
根據(jù)本發(fā)明，提供了一種基于分布式系統(tǒng)的智能數(shù)據(jù)服務(wù)方法，其包括利用分布式系統(tǒng)的主節(jié)點(diǎn)管理全局文件命名空間；并且，在向分布式系統(tǒng)寫入文件的流程、從分布式系統(tǒng)讀取文件的流程、以及從分布式系統(tǒng)讀取文件的流程中，利用分布式系統(tǒng)的主節(jié)點(diǎn)對(duì)客戶端的請(qǐng)求進(jìn)行分析處理，選擇具體的數(shù)據(jù)預(yù)處理程序，分發(fā)到分布式系統(tǒng)的從節(jié)點(diǎn)以進(jìn)行后續(xù)的數(shù)據(jù)預(yù)處理和傳輸操作。
優(yōu)選地，主節(jié)點(diǎn)監(jiān)測(cè)并管理從節(jié)點(diǎn)的正常運(yùn)行，保存并更新所有從節(jié)點(diǎn)數(shù)據(jù)存儲(chǔ)的元數(shù)據(jù)，以及提供客戶端對(duì)數(shù)據(jù)請(qǐng)求的響應(yīng)。
優(yōu)選地，主節(jié)點(diǎn)維持分布式系統(tǒng)的全局文件系統(tǒng)的目錄。
優(yōu)選地，在分布式系統(tǒng)中，數(shù)據(jù)按照原始數(shù)據(jù)的形式進(jìn)行存儲(chǔ)，不對(duì)文件進(jìn)行分塊存儲(chǔ)。
優(yōu)選地，數(shù)據(jù)是冗余存儲(chǔ)的，從而一個(gè)文件可以冗余存儲(chǔ)在多個(gè)從節(jié)點(diǎn)中。
優(yōu)選地，向分布式系統(tǒng)寫入文件的流程包括第一寫入步驟客戶端向主節(jié)點(diǎn)詢問(wèn)需要寫入的文件是否在分布式系統(tǒng)中存在；第二寫入步驟如果需要寫入的文件存在分布式系統(tǒng)，主節(jié)點(diǎn)向客戶端發(fā)送文件的元數(shù)據(jù)，其中包括文件的信息和文件所處的從節(jié)點(diǎn)信息，向分布式系統(tǒng)寫入文件的流程進(jìn)入第三寫入步驟；如果需要寫入的文件不存在分布式系統(tǒng)，主節(jié)點(diǎn)向客戶端返回可寫入文件的從節(jié)點(diǎn)列表；第三寫入步驟客戶端根據(jù)第二寫入步驟返回的文件元數(shù)據(jù)及從節(jié)點(diǎn)信息向其中一個(gè)從節(jié)點(diǎn)寫入文件；第四寫入步驟從節(jié)點(diǎn)接收客戶端數(shù)據(jù)流并寫入文件，如果成功完成向主節(jié)點(diǎn)發(fā)送成功信息，并同時(shí)向客戶端發(fā)送確認(rèn)信息，客戶端收到確認(rèn)信息后完成操作；如果確認(rèn)信息不成功，重復(fù)第二寫入步驟的操作；第五寫入步驟主節(jié)點(diǎn)收到從節(jié)點(diǎn)完成數(shù)據(jù)寫入的信息后更新元數(shù)據(jù)。
優(yōu)選地，向分布式系統(tǒng)寫入文件的過(guò)程不會(huì)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。
優(yōu)選地，從分布式系統(tǒng)讀取文件的流程包括第一讀取步驟客戶端向主節(jié)點(diǎn)發(fā)送數(shù)據(jù)請(qǐng)求，其中包括文件路徑和所需要的預(yù)處理；第二讀取步驟主節(jié)點(diǎn)對(duì)客戶端的數(shù)據(jù)請(qǐng)求進(jìn)行分析，確定所需文件所處的從節(jié)點(diǎn)和所需要的預(yù)處理程序，直接對(duì)所需文件進(jìn)行預(yù)處理操作，并且向客戶單返回中間數(shù)據(jù)所處的從節(jié)點(diǎn)；第三讀取步驟客戶端直接向中間數(shù)據(jù)所處的從節(jié)點(diǎn)進(jìn)行數(shù)據(jù)請(qǐng)求，從節(jié)點(diǎn)根據(jù)數(shù)據(jù)數(shù)據(jù)預(yù)處理的情況返回給客戶端所需數(shù)據(jù)。
優(yōu)選地，從分布式系統(tǒng)讀取文件的流程包括第一預(yù)處理步驟客戶端向主節(jié)點(diǎn)發(fā)送數(shù)據(jù)預(yù)處理操作，并根據(jù)需要編寫更加復(fù)雜的數(shù)據(jù)預(yù)處理程序；第二預(yù)處理步驟主節(jié)點(diǎn)根據(jù)數(shù)據(jù)預(yù)處理處理請(qǐng)求指定從節(jié)點(diǎn)通過(guò)數(shù)據(jù)預(yù)處理引擎對(duì)本地文件進(jìn)行數(shù)據(jù)預(yù)處理，從節(jié)點(diǎn)完成后發(fā)送給主節(jié)點(diǎn)成功信息；第三預(yù)處理步驟主節(jié)點(diǎn)根據(jù)從節(jié)點(diǎn)發(fā)送的成功信息更新元數(shù)據(jù)。
本發(fā)明能夠在數(shù)據(jù)密集型應(yīng)用環(huán)境下，將現(xiàn)有的分布式系統(tǒng)存儲(chǔ)空間快速聚合， 并向外部計(jì)算設(shè)備提供數(shù)據(jù)服務(wù)；而且，本發(fā)明充分利用分布式系統(tǒng)計(jì)算資源，能夠根據(jù)外部計(jì)算設(shè)備的需求智能地提供數(shù)據(jù)服務(wù)；并且，本發(fā)明將部分?jǐn)?shù)據(jù)處理負(fù)載從外部計(jì)算設(shè)備轉(zhuǎn)移到分布式系統(tǒng)中，從而減少向外部計(jì)算設(shè)備提供數(shù)據(jù)服務(wù)的帶寬需求。


結(jié)合附圖，并通過(guò)參考下面的詳細(xì)描述，將會(huì)更容易地對(duì)本發(fā)明有更完整的理解并且更容易地理解其伴隨的優(yōu)點(diǎn)和特征，其中
圖I示意性地示出了根據(jù)本發(fā)明第一實(shí)施例的基于分布式系統(tǒng)的智能數(shù)據(jù)服務(wù)平臺(tái)架構(gòu)。
圖2示意性地示出了根據(jù)本發(fā)明第二實(shí)施例的向分布式系統(tǒng)寫入文件的流程的示意圖。
圖3示意性地示出了根據(jù)本發(fā)明第三實(shí)施例的從分布式系統(tǒng)讀取文件的流程的示意圖。
圖4示意性地示出了根據(jù)本發(fā)明第四實(shí)施例的分布式系統(tǒng)內(nèi)部預(yù)處理流程的示5意圖。
需要說(shuō)明的是，附圖用于說(shuō)明本發(fā)明，而非限制本發(fā)明。注意，表示結(jié)構(gòu)的附圖可能并非按比例繪制。并且，附圖中，相同或者類似的元件標(biāo)有相同或者類似的標(biāo)號(hào)。
具體實(shí)施方式
為了使本發(fā)明的內(nèi)容更加清楚和易懂，下面結(jié)合具體實(shí)施例和附圖對(duì)本發(fā)明的內(nèi)容進(jìn)行詳細(xì)描述。
<第一實(shí)施例>
本發(fā)明是基于傳統(tǒng)分布式系統(tǒng)衍生出來(lái)的針對(duì)數(shù)據(jù)密集型應(yīng)用的智能數(shù)據(jù)服務(wù)方法。
具體地，圖I示意性地示出了根據(jù)本發(fā)明第一實(shí)施例的基于分布式系統(tǒng)的智能數(shù)據(jù)服務(wù)平臺(tái)架構(gòu)。
如圖I所示，類似于絕大多數(shù)分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)，整個(gè)架構(gòu)是典型的主從(Master/Slave)架構(gòu)。例如，圖I所示的基于分布式系統(tǒng)的智能數(shù)據(jù)服務(wù)平臺(tái)架構(gòu)包括一個(gè)主節(jié)點(diǎn)M以及多個(gè)從節(jié)點(diǎn)；具體地說(shuō)，圖I中示出了包括η個(gè)從節(jié)點(diǎn)的情況，即第一從節(jié)點(diǎn)SI、第二從節(jié)點(diǎn)S2、第三從節(jié)點(diǎn)S3、……、第η從節(jié)點(diǎn)Sn。
其中，主節(jié)點(diǎn)M包括數(shù)據(jù)預(yù)處理分析引擎Ml以及全局元數(shù)據(jù)管理模塊M2。每個(gè)從節(jié)點(diǎn)均包括數(shù)據(jù)預(yù)處理引擎(S11、S21、S31、……、Snl)和數(shù)據(jù)存儲(chǔ)器(S12、S22、S32、……、 Sn2)。
外部計(jì)算設(shè)備pcm (作為客戶端)可對(duì)各個(gè)從節(jié)點(diǎn)進(jìn)行可以通過(guò)不同的從節(jié)點(diǎn)讀寫文件。
分布式系統(tǒng)的主節(jié)點(diǎn)M管理全局文件命名空間，其提供的主要操作為監(jiān)測(cè)并管理從節(jié)點(diǎn)的正常運(yùn)行；保存并更新所有從節(jié)點(diǎn)數(shù)據(jù)存儲(chǔ)的元數(shù)據(jù)；提供客戶端對(duì)數(shù)據(jù)請(qǐng)求的響應(yīng)等。從節(jié)點(diǎn)(第一從節(jié)點(diǎn)SI、第二從節(jié)點(diǎn)S2、第三從節(jié)點(diǎn)S3、……、第η從節(jié)點(diǎn)Sn) 存儲(chǔ)海量數(shù)據(jù)，在主節(jié)點(diǎn)M的協(xié)調(diào)下直接向客戶端提供數(shù)據(jù)。
在本發(fā)明實(shí)施例的分布式系統(tǒng)中，數(shù)據(jù)仍然按照原始數(shù)據(jù)的形式進(jìn)行存儲(chǔ)，不對(duì)文件進(jìn)行分塊存儲(chǔ)，這是因?yàn)榉植际较到y(tǒng)采用單主節(jié)點(diǎn)配置，分塊會(huì)加大主節(jié)點(diǎn)進(jìn)行元數(shù)據(jù)處理的開(kāi)銷，同時(shí)在數(shù)據(jù)處理過(guò)程中不需要再對(duì)分塊整合，使得數(shù)據(jù)處理更加靈活。在分布式系統(tǒng)中存儲(chǔ)的文件直接通過(guò)文件路徑訪問(wèn)，比如“/dirl/filel”，主節(jié)點(diǎn)維持分布式系統(tǒng)的全局文件系統(tǒng)的目錄。
在本發(fā)明實(shí)施例的分布式系統(tǒng)中，數(shù)據(jù)是冗余存儲(chǔ)的，一個(gè)文件可以冗余存儲(chǔ)在多個(gè)從節(jié)點(diǎn)中。這是由于分布式系統(tǒng)是采用商用的組件，單節(jié)點(diǎn)宕機(jī)后仍需要分布式系統(tǒng)能夠正常使用。冗余存儲(chǔ)的另一個(gè)優(yōu)點(diǎn)是在發(fā)生讀寫熱點(diǎn)，即多個(gè)客戶端集中讀寫少數(shù)的幾個(gè)文件時(shí)，多個(gè)客戶端可以通過(guò)不同的從節(jié)點(diǎn)讀寫文件，提高可用帶寬。
本發(fā)明實(shí)施例的分布式系統(tǒng)的一個(gè)典型特征是數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理緊耦合，本發(fā)明實(shí)施例的智能數(shù)據(jù)服務(wù)方法充分利用了這個(gè)特征。在分布式系統(tǒng)中，不僅提供了海量數(shù)據(jù)的存儲(chǔ)管理組件，同時(shí)提供了數(shù)據(jù)的預(yù)處理引擎。
數(shù)據(jù)預(yù)處理引擎同樣分為主節(jié)點(diǎn)M的數(shù)據(jù)預(yù)處理分析引擎Ml和從節(jié)點(diǎn)的數(shù)據(jù)預(yù)處理引擎；由此，主節(jié)點(diǎn)M負(fù)責(zé)對(duì)客戶端的請(qǐng)求進(jìn)行分析處理，選擇具體的數(shù)據(jù)預(yù)處理程序，分發(fā)到從節(jié)點(diǎn)以進(jìn)行后續(xù)的數(shù)據(jù)預(yù)處理和傳輸操作。從節(jié)點(diǎn)的預(yù)處理引擎內(nèi)置提供多種數(shù)據(jù)預(yù)處理程序，同時(shí)允許用戶進(jìn)行擴(kuò)展，只需要采用預(yù)處理引擎提供的統(tǒng)一編程接口。
<第二實(shí)施例>
圖2示意性地示出了根據(jù)本發(fā)明第二實(shí)施例的向分布式系統(tǒng)寫入文件的流程的示意圖。其中，向分布式系統(tǒng)寫入文件的過(guò)程不會(huì)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。在此，假設(shè)分布式系統(tǒng)中具有三個(gè)從節(jié)點(diǎn)第一從節(jié)點(diǎn)SI、第二從節(jié)點(diǎn)S2、第三從節(jié)點(diǎn)S3，但是顯然分布式系統(tǒng)中從節(jié)點(diǎn)的數(shù)量不限于三個(gè)，而是可以是任意合適數(shù)量。
具體地說(shuō)，如圖2所示，根據(jù)本發(fā)明第二實(shí)施例的向分布式系統(tǒng)寫入文件的流程包括
第一寫入步驟al :客戶端pcml向主節(jié)點(diǎn)M詢問(wèn)需要寫入的文件是否在分布式系統(tǒng)中存在。
第二寫入步驟bl :如果需要寫入的文件存在分布式系統(tǒng)，主節(jié)點(diǎn)M向客戶端pcml 發(fā)送文件的元數(shù)據(jù)，其中包括文件的信息和文件所處的從節(jié)點(diǎn)信息，向分布式系統(tǒng)寫入文件的流程進(jìn)入第三寫入步驟Cl ;如果需要寫入的文件不存在分布式系統(tǒng)，那就需要寫入新的文件，主節(jié)點(diǎn)M向客戶端pcml返回可寫入文件的從節(jié)點(diǎn)列表。
第三寫入步驟Cl :客戶端pcml根據(jù)第二寫入步驟bl返回的文件元數(shù)據(jù)及從節(jié)點(diǎn)信息向其中一個(gè)從節(jié)點(diǎn)寫入文件。分布式系統(tǒng)會(huì)在后臺(tái)進(jìn)行所有文件的備份，所以此時(shí)只需要向一個(gè)從節(jié)點(diǎn)寫入文件即可。
第四寫入步驟dl :從節(jié)點(diǎn)接收客戶端pcml數(shù)據(jù)流并寫入文件，如果成功完成向主節(jié)點(diǎn)M發(fā)送成功信息,并同時(shí)向客戶端pcml發(fā)送確認(rèn)信息,客戶端pcml收到確認(rèn)信息后完成操作。如果確認(rèn)信息不成功，重復(fù)第二寫入步驟bl的操作。
第五寫入步驟el :主節(jié)點(diǎn)M收到從節(jié)點(diǎn)完成數(shù)據(jù)寫入的信息后更新元數(shù)據(jù)。
<第三實(shí)施例>
圖3示意性地示出了根據(jù)本發(fā)明第三實(shí)施例的從分布式系統(tǒng)讀取文件的流程的示意圖。在此，假設(shè)分布式系統(tǒng)中具有三個(gè)從節(jié)點(diǎn)第一從節(jié)點(diǎn)SI、第二從節(jié)點(diǎn)S2、第三從節(jié)點(diǎn)S3，但是顯然分布式系統(tǒng)中從節(jié)點(diǎn)的數(shù)量不限于三個(gè)，而是可以是任意合適數(shù)量。
根據(jù)本發(fā)明第三實(shí)施例的從分布式系統(tǒng)讀取文件的流程包括
第一讀取步驟a2 :客戶端pcml向主節(jié)點(diǎn)M發(fā)送數(shù)據(jù)請(qǐng)求，其中包括文件路徑和所需要的預(yù)處理。
第二讀取步驟b2 :主節(jié)點(diǎn)M對(duì)客戶端pcml的數(shù)據(jù)請(qǐng)求進(jìn)行分析，可以確定所需文件所處的從節(jié)點(diǎn)和所需要的預(yù)處理程序，直接對(duì)所需文件進(jìn)行預(yù)處理操作，并且向客戶單返回中間數(shù)據(jù)所處的從節(jié)點(diǎn)。
第三讀取步驟c2 :客戶端pcml直接向中間數(shù)據(jù)所處的從節(jié)點(diǎn)進(jìn)行數(shù)據(jù)請(qǐng)求,從節(jié)點(diǎn)會(huì)根據(jù)數(shù)據(jù)數(shù)據(jù)預(yù)處理的情況返回給客戶端pcml所需數(shù)據(jù)。
〈第四實(shí)施例〉
圖4示意性地示出了根據(jù)本發(fā)明第四實(shí)施例的分布式系統(tǒng)內(nèi)部預(yù)處理流程的示意圖。在實(shí)際中，分布式系統(tǒng)內(nèi)部的數(shù)據(jù)需要進(jìn)行多次預(yù)處理，并且不需要將其導(dǎo)出分布式系統(tǒng)。并且，在此，假設(shè)分布式系統(tǒng)中具有三個(gè)從節(jié)點(diǎn)第一從節(jié)點(diǎn)SI、第二從節(jié)點(diǎn)S2、第三從節(jié)點(diǎn)S3，但是顯然分布式系統(tǒng)中從節(jié)點(diǎn)的數(shù)量不限于三個(gè)，而是可以是任意合適數(shù)量。
具體地說(shuō)，如圖4所示，根據(jù)本發(fā)明第四實(shí)施例的分布式系統(tǒng)內(nèi)部預(yù)處理流程包括
第一預(yù)處理步驟a3 :客戶端pcml向主節(jié)點(diǎn)M發(fā)送數(shù)據(jù)預(yù)處理操作，并根據(jù)需要編寫更加復(fù)雜的數(shù)據(jù)預(yù)處理程序。
第二預(yù)處理步驟b3 :主節(jié)點(diǎn)M根據(jù)數(shù)據(jù)預(yù)處理處理請(qǐng)求指定從節(jié)點(diǎn)通過(guò)數(shù)據(jù)預(yù)處理引擎對(duì)本地文件進(jìn)行數(shù)據(jù)預(yù)處理，從節(jié)點(diǎn)完成后發(fā)送給主節(jié)點(diǎn)M成功信息。
第三預(yù)處理步驟c3 :主節(jié)點(diǎn)M根據(jù)從節(jié)點(diǎn)發(fā)送的成功信息更新元數(shù)據(jù)。
前面所描述的智能數(shù)據(jù)服務(wù)方法主要在數(shù)據(jù)密集型應(yīng)用中利用現(xiàn)有的分布式系統(tǒng)及相關(guān)軟件，快速搭建適用于數(shù)據(jù)密集型應(yīng)用的智能數(shù)據(jù)服務(wù)平臺(tái)。而且，在實(shí)際實(shí)施中，分布式系統(tǒng)已經(jīng)有很多的軟件可選，比如專門用戶文件服務(wù)的分布式文件系統(tǒng)，計(jì)算和數(shù)據(jù)存儲(chǔ)相結(jié)合的Hadoop和HDFS, Sector&Sphere,本發(fā)明的實(shí)現(xiàn)可盡量使用現(xiàn)有的軟件棧，這些分布式文件系統(tǒng)和分布式計(jì)算系統(tǒng)都可以用于構(gòu)建智能數(shù)據(jù)服務(wù)平臺(tái)。需要做的就是在這些分布式系統(tǒng)之上加入數(shù)據(jù)預(yù)處理分析引擎及數(shù)據(jù)預(yù)處理引擎，以實(shí)現(xiàn)數(shù)據(jù)讀寫、系統(tǒng)內(nèi)部數(shù)據(jù)預(yù)處理等操作，構(gòu)建智能數(shù)據(jù)服務(wù)平臺(tái)。
由此，根據(jù)本發(fā)明實(shí)施例的基于分布式系統(tǒng)的智能數(shù)據(jù)服務(wù)方法至少具有下述優(yōu)勢(shì)
I.本發(fā)明實(shí)施例解決了在數(shù)據(jù)密集型應(yīng)用環(huán)境下，如何將現(xiàn)有的分布式系統(tǒng)存儲(chǔ)空間快速聚合，并向外部計(jì)算設(shè)備提供數(shù)據(jù)服務(wù)的問(wèn)題；
2.本發(fā)明實(shí)施例充分利用分布式系統(tǒng)計(jì)算資源，根據(jù)外部計(jì)算設(shè)備的需求智能地提供數(shù)據(jù)服務(wù)；
3.本發(fā)明實(shí)施例將部分?jǐn)?shù)據(jù)處理負(fù)載從外部計(jì)算設(shè)備轉(zhuǎn)移到分布式系統(tǒng)中，從而減少向外部計(jì)算設(shè)備提供數(shù)據(jù)服務(wù)的帶寬需求。
此外，需要說(shuō)明的是，說(shuō)明書中的術(shù)語(yǔ)“第一”、“第二”、“第三”等描述，除非特別限定，否則僅僅用于區(qū)分說(shuō)明書中的各個(gè)組件、元素、步驟等，而不是用于表示各個(gè)組件、元素、步驟之間的邏輯關(guān)系或者順序關(guān)系等。
可以理解的是，雖然本發(fā)明已以較佳實(shí)施例披露如上，然而上述實(shí)施例并非用以限定本發(fā)明。對(duì)于任何熟悉本領(lǐng)域的技術(shù)人員而言，在不脫離本發(fā)明技術(shù)方案范圍情況下， 都可利用上述揭示的技術(shù)內(nèi)容對(duì)本發(fā)明技術(shù)方案作出許多可能的變動(dòng)和修飾，或修改為等同變化的等效實(shí)施例。因此，凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容，依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對(duì)以上實(shí)施例所做的任何簡(jiǎn)單修改、等同變化及修飾，均仍屬于本發(fā)明技術(shù)方案保護(hù)的范圍內(nèi)。
權(quán)利要求
1.一種基于分布式系統(tǒng)的智能數(shù)據(jù)服務(wù)方法，其特征在于包括利用分布式系統(tǒng)的主節(jié)點(diǎn)管理全局文件命名空間；并且，在向分布式系統(tǒng)寫入文件的流程、從分布式系統(tǒng)讀取文件的流程、以及從分布式系統(tǒng)讀取文件的流程中，利用分布式系統(tǒng)的主節(jié)點(diǎn)對(duì)客戶端的請(qǐng)求進(jìn)行分析處理，選擇具體的數(shù)據(jù)預(yù)處理程序，分發(fā)到分布式系統(tǒng)的從節(jié)點(diǎn)以進(jìn)行后續(xù)的數(shù)據(jù)預(yù)處理和傳輸操作。
2.根據(jù)權(quán)利要求I所述的基于分布式系統(tǒng)的智能數(shù)據(jù)服務(wù)方法，其特征在于，主節(jié)點(diǎn)監(jiān)測(cè)并管理從節(jié)點(diǎn)的正常運(yùn)行，保存并更新所有從節(jié)點(diǎn)數(shù)據(jù)存儲(chǔ)的元數(shù)據(jù)，以及提供客戶端對(duì)數(shù)據(jù)請(qǐng)求的響應(yīng)。
3.根據(jù)權(quán)利要求I或2所述的基于分布式系統(tǒng)的智能數(shù)據(jù)服務(wù)方法，其特征在于，主節(jié)點(diǎn)維持分布式系統(tǒng)的全局文件系統(tǒng)的目錄。
4.根據(jù)權(quán)利要求I或2所述的基于分布式系統(tǒng)的智能數(shù)據(jù)服務(wù)方法，其特征在于，在分布式系統(tǒng)中，數(shù)據(jù)按照原始數(shù)據(jù)的形式進(jìn)行存儲(chǔ)，不對(duì)文件進(jìn)行分塊存儲(chǔ)。
5.根據(jù)權(quán)利要求I或2所述的基于分布式系統(tǒng)的智能數(shù)據(jù)服務(wù)方法，其特征在于，在分布式系統(tǒng)中，數(shù)據(jù)是冗余存儲(chǔ)的，從而一個(gè)文件可以冗余存儲(chǔ)在多個(gè)從節(jié)點(diǎn)中。
6.根據(jù)權(quán)利要求I或2所述的基于分布式系統(tǒng)的智能數(shù)據(jù)服務(wù)方法，其特征在于，向分布式系統(tǒng)寫入文件的流程包括第一寫入步驟客戶端向主節(jié)點(diǎn)詢問(wèn)需要寫入的文件是否在分布式系統(tǒng)中存在；第二寫入步驟如果需要寫入的文件存在分布式系統(tǒng)，主節(jié)點(diǎn)向客戶端發(fā)送文件的元數(shù)據(jù)，其中包括文件的信息和文件所處的從節(jié)點(diǎn)信息，向分布式系統(tǒng)寫入文件的流程進(jìn)入第三寫入步驟；如果需要寫入的文件不存在分布式系統(tǒng)，主節(jié)點(diǎn)向客戶端返回可寫入文件的從節(jié)點(diǎn)列表；第三寫入步驟客戶端根據(jù)第二寫入步驟返回的文件元數(shù)據(jù)及從節(jié)點(diǎn)信息向其中一個(gè)從節(jié)點(diǎn)寫入文件；第四寫入步驟從節(jié)點(diǎn)接收客戶端數(shù)據(jù)流并寫入文件，如果成功完成向主節(jié)點(diǎn)發(fā)送成功信息，并同時(shí)向客戶端發(fā)送確認(rèn)信息，客戶端收到確認(rèn)信息后完成操作；如果確認(rèn)信息不成功，重復(fù)第二寫入步驟的操作；第五寫入步驟主節(jié)點(diǎn)收到從節(jié)點(diǎn)完成數(shù)據(jù)寫入的信息后更新元數(shù)據(jù)。
7.根據(jù)權(quán)利要求I或2所述的基于分布式系統(tǒng)的智能數(shù)據(jù)服務(wù)方法，其特征在于，向分布式系統(tǒng)寫入文件的過(guò)程不會(huì)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。
8.根據(jù)權(quán)利要求I或2所述的基于分布式系統(tǒng)的智能數(shù)據(jù)服務(wù)方法，其特征在于，從分布式系統(tǒng)讀取文件的流程包括第一讀取步驟客戶端向主節(jié)點(diǎn)發(fā)送數(shù)據(jù)請(qǐng)求，其中包括文件路徑和所需要的預(yù)處理；第二讀取步驟主節(jié)點(diǎn)對(duì)客戶端的數(shù)據(jù)請(qǐng)求進(jìn)行分析，確定所需文件所處的從節(jié)點(diǎn)和所需要的預(yù)處理程序，直接對(duì)所需文件進(jìn)行預(yù)處理操作，并且向客戶單返回中間數(shù)據(jù)所處的從節(jié)點(diǎn)；第三讀取步驟客戶端直接向中間數(shù)據(jù)所處的從節(jié)點(diǎn)進(jìn)行數(shù)據(jù)請(qǐng)求，從節(jié)點(diǎn)根據(jù)數(shù)據(jù)數(shù)據(jù)預(yù)處理的情況返回給客戶端所需數(shù)據(jù)。
9.根據(jù)權(quán)利要求I或2所述的基于分布式系統(tǒng)的智能數(shù)據(jù)服務(wù)方法，其特征在于，從分布式系統(tǒng)讀取文件的流程包括第一預(yù)處理步驟客戶端向主節(jié)點(diǎn)發(fā)送數(shù)據(jù)預(yù)處理操作，并根據(jù)需要編寫更加復(fù)雜的數(shù)據(jù)預(yù)處理程序；第二預(yù)處理步驟主節(jié)點(diǎn)根據(jù)數(shù)據(jù)預(yù)處理處理請(qǐng)求指定從節(jié)點(diǎn)通過(guò)數(shù)據(jù)預(yù)處理引擎對(duì)本地文件進(jìn)行數(shù)據(jù)預(yù)處理，從節(jié)點(diǎn)完成后發(fā)送給主節(jié)點(diǎn)成功信息；第三預(yù)處理步驟主節(jié)點(diǎn)根據(jù)從節(jié)點(diǎn)發(fā)送的成功信息更新元數(shù)據(jù)。
全文摘要
本發(fā)明提供了一種基于分布式系統(tǒng)的智能數(shù)據(jù)服務(wù)方法。利用分布式系統(tǒng)的主節(jié)點(diǎn)管理全局文件命名空間；并且，在向分布式系統(tǒng)寫入文件的流程、從分布式系統(tǒng)讀取文件的流程、以及從分布式系統(tǒng)讀取文件的流程中，利用分布式系統(tǒng)的主節(jié)點(diǎn)對(duì)客戶端的請(qǐng)求進(jìn)行分析處理，選擇具體的數(shù)據(jù)預(yù)處理程序，分發(fā)到分布式系統(tǒng)的從節(jié)點(diǎn)以進(jìn)行后續(xù)的數(shù)據(jù)預(yù)處理和傳輸操作。本發(fā)明能夠在數(shù)據(jù)密集型應(yīng)用環(huán)境下，將現(xiàn)有的分布式系統(tǒng)存儲(chǔ)空間快速聚合；而且，本發(fā)明充分利用分布式系統(tǒng)計(jì)算資源，能夠根據(jù)外部計(jì)算設(shè)備的需求智能地提供數(shù)據(jù)服務(wù)；并且，本發(fā)明將部分?jǐn)?shù)據(jù)處理負(fù)載從外部計(jì)算設(shè)備轉(zhuǎn)移到分布式系統(tǒng)中，從而減少向外部計(jì)算設(shè)備提供數(shù)據(jù)服務(wù)的帶寬需求。
文檔編號(hào)G06F17/30GK102937964SQ20121037240
公開(kāi)日2013年2月20日 申請(qǐng)日期2012年9月28日 優(yōu)先權(quán)日2012年9月28日
發(fā)明者謝向輝, 臧春峰, 吳東, 郝子宇, 原昊, 錢磊, 張魯飛, 胡蘇太 申請(qǐng)人:無(wú)錫江南計(jì)算技術(shù)研究所