專利名稱：參數(shù)調(diào)整方法、裝置和分布式計(jì)算平臺(tái)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明實(shí)施例涉及通信技術(shù)和計(jì)算機(jī)領(lǐng)域，尤其涉及一種參數(shù)調(diào)整方法、裝置和 分布式計(jì)算平臺(tái)系統(tǒng)。
背景技術(shù)：
數(shù)據(jù)密集型分布式計(jì)算平臺(tái)通常由分布式計(jì)算框架和分布式文件系統(tǒng)組成，其 中，分布式計(jì)算框架中包含一個(gè)任務(wù)隊(duì)列，如圖1所示為現(xiàn)有技術(shù)的分布式計(jì)算框架中的 任務(wù)調(diào)度示意圖，用戶提交的任務(wù)先進(jìn)入該隊(duì)列中，系統(tǒng)根據(jù)計(jì)算資源的繁忙情況對(duì)任務(wù) 進(jìn)行調(diào)度，并下發(fā)給計(jì)算節(jié)點(diǎn)進(jìn)行運(yùn)算；分布式文件系統(tǒng)為一種基于廉價(jià)計(jì)算機(jī)節(jié)點(diǎn)進(jìn)行 本地存儲(chǔ)構(gòu)建的分布式存儲(chǔ)系統(tǒng)，其通過將不同服務(wù)器上的共享文件夾組織在一起構(gòu)建成 一個(gè)目錄樹，則用戶只需訪問一個(gè)共享的根目錄便可訪問分布在網(wǎng)絡(luò)上的文件或文件夾。 圖2所示為現(xiàn)有技術(shù)的分布式文件系統(tǒng)中的數(shù)據(jù)塊操作示意圖，分布式系統(tǒng)通常由元數(shù)據(jù) 服務(wù)器節(jié)點(diǎn)和多個(gè)數(shù)據(jù)塊節(jié)點(diǎn)組成；其中，元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)用于保存各個(gè)文件的數(shù)據(jù)分 塊情況、各個(gè)數(shù)據(jù)塊所在的數(shù)據(jù)塊節(jié)點(diǎn)的名稱以及每個(gè)數(shù)據(jù)塊節(jié)點(diǎn)上所包含的數(shù)據(jù)塊信息 等；數(shù)據(jù)塊節(jié)點(diǎn)用于保存實(shí)際的數(shù)據(jù)塊。當(dāng)客戶端軟件需要對(duì)分布式文件系統(tǒng)進(jìn)行數(shù)據(jù)存 取訪問時(shí)，先通過元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)獲取或建立文件的數(shù)據(jù)塊的位置，再直接與相應(yīng)數(shù)據(jù) 塊所在的數(shù)據(jù)塊節(jié)點(diǎn)進(jìn)行通信。為了提高系統(tǒng)可靠性和數(shù)據(jù)可用性，分布式文件系統(tǒng)通常采用固定數(shù)量的多副本 方式來保存數(shù)據(jù)塊，如對(duì)于同一個(gè)數(shù)據(jù)塊，可以在不同數(shù)據(jù)塊節(jié)點(diǎn)保存對(duì)應(yīng)的三個(gè)副本。而 這種方式只考慮了數(shù)據(jù)的可用性而未考慮不同數(shù)據(jù)訪問的性能參數(shù)的不同要求，不同數(shù)據(jù) 的性能參數(shù)隨時(shí)間發(fā)生變化，而當(dāng)出現(xiàn)某些數(shù)據(jù)的訪問頻率升高或響應(yīng)時(shí)間下降等情況 時(shí)，固定數(shù)量的數(shù)據(jù)塊副本不能滿足高性能要求，導(dǎo)致數(shù)據(jù)塊的響應(yīng)時(shí)間增加。如當(dāng)集群中 節(jié)點(diǎn)數(shù)量較多，且并發(fā)運(yùn)行的任務(wù)數(shù)量也較大時(shí)，容易出現(xiàn)數(shù)據(jù)熱點(diǎn)問題，如圖3所示為現(xiàn) 有技術(shù)的分布式文件系統(tǒng)中數(shù)據(jù)熱點(diǎn)的示意圖，即很多任務(wù)同時(shí)訪問同一份數(shù)據(jù)，導(dǎo)致訪 問速度明顯下降。在現(xiàn)有技術(shù)中，為了解決上述由于固定數(shù)量的數(shù)據(jù)塊副本而導(dǎo)致容易產(chǎn)生數(shù)據(jù)熱 點(diǎn)的問題，一種方法為管理員根據(jù)經(jīng)驗(yàn)手動(dòng)調(diào)整某些文件的數(shù)據(jù)塊副本數(shù)量；另一種方法 為通過統(tǒng)計(jì)數(shù)據(jù)塊副本的性能參數(shù)獲得實(shí)際性能參數(shù)，根據(jù)實(shí)際性能參數(shù)來在數(shù)據(jù)塊節(jié)點(diǎn) 中增加或刪除數(shù)據(jù)塊副本。發(fā)明人在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在以下缺點(diǎn)現(xiàn)有技術(shù)中的第一種調(diào)整方法對(duì)管理員要求較高，且調(diào)整的準(zhǔn)確度和及時(shí)性不 高；第二種調(diào)整方法則屬于事后調(diào)整，具有一定的延后期，不能及時(shí)解決數(shù)據(jù)熱點(diǎn)問題。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例在于提供一種參數(shù)調(diào)整方法、裝置和分布式計(jì)算平臺(tái)系統(tǒng)，實(shí)現(xiàn)對(duì) 數(shù)據(jù)塊副本數(shù)量的預(yù)先自動(dòng)調(diào)整，及時(shí)準(zhǔn)確地解決多個(gè)任務(wù)同時(shí)訪問同一數(shù)據(jù)塊導(dǎo)致的數(shù)據(jù)熱點(diǎn)問題。為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供了一種參數(shù)調(diào)整方法，包括當(dāng)任務(wù)隊(duì)列發(fā)生變化時(shí)，根據(jù)任務(wù)隊(duì)列信息、分布式文件系統(tǒng)的數(shù)據(jù)塊信息和調(diào) 整策略生成調(diào)整策略；其中，所述調(diào)整策略為調(diào)整數(shù)據(jù)塊的副本數(shù)量，使得各數(shù)據(jù)塊被訪問 的任務(wù)總數(shù)與對(duì)應(yīng)的所述各數(shù)據(jù)塊的當(dāng)前副本所能支撐的任務(wù)總數(shù)達(dá)到平衡；根據(jù)所述調(diào)整策略對(duì)分布式文件系統(tǒng)中的各數(shù)據(jù)塊的副本數(shù)量進(jìn)行調(diào)整。本發(fā)明實(shí)施例提供了一種參數(shù)調(diào)整裝置，包括指令生成模塊，用于當(dāng)任務(wù)隊(duì)列發(fā)生變化時(shí)，根據(jù)任務(wù)隊(duì)列信息、分布式文件系統(tǒng) 的數(shù)據(jù)塊信息和調(diào)整策略生成調(diào)整策略；其中，所述調(diào)整策略為調(diào)整數(shù)據(jù)塊的副本數(shù)量，使 得各數(shù)據(jù)塊被訪問的任務(wù)總數(shù)與對(duì)應(yīng)的所述各數(shù)據(jù)塊的當(dāng)前副本所能支撐的任務(wù)總數(shù)達(dá) 到平衡；調(diào)整模塊，用于根據(jù)所述調(diào)整策略對(duì)分布式文件系統(tǒng)中的各數(shù)據(jù)塊的副本數(shù)量進(jìn) 行調(diào)整。本發(fā)明實(shí)施例提供了一種分布式計(jì)算平臺(tái)系統(tǒng)，包括分布式計(jì)算框架和分布式文 件系統(tǒng)，所述分布式計(jì)算框架包括計(jì)算管理節(jié)點(diǎn)和多個(gè)計(jì)算節(jié)點(diǎn)，所述分布式文件系統(tǒng)包 括元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)和多個(gè)數(shù)據(jù)節(jié)點(diǎn)，所述計(jì)算管理節(jié)點(diǎn)包括用戶任務(wù)管理模塊和任務(wù)調(diào) 度模塊；所述分布式計(jì)算框架用于接收用戶提交的任務(wù)，并對(duì)任務(wù)隊(duì)列中的任務(wù)進(jìn)行管理 和調(diào)度，所述分布式文件系統(tǒng)用于保存數(shù)據(jù)塊信息，所述計(jì)算管理節(jié)點(diǎn)用于對(duì)任務(wù)隊(duì)列中 的各個(gè)任務(wù)進(jìn)行管理和調(diào)度，所述計(jì)算節(jié)點(diǎn)用于對(duì)數(shù)據(jù)塊進(jìn)行計(jì)算處理，所述元數(shù)據(jù)服務(wù) 器節(jié)點(diǎn)用于保存各文件的數(shù)據(jù)分塊情況、各數(shù)據(jù)塊所在的數(shù)據(jù)節(jié)點(diǎn)信息以及各數(shù)據(jù)節(jié)點(diǎn)包 含的數(shù)據(jù)塊信息，所述數(shù)據(jù)節(jié)點(diǎn)用于保存實(shí)際的數(shù)據(jù)塊；所述分布式計(jì)算平臺(tái)系統(tǒng)還包括 上述參數(shù)調(diào)整裝置。本發(fā)明實(shí)施例提供的一種參數(shù)調(diào)整方法、裝置和分布式計(jì)算平臺(tái)系統(tǒng)，通過當(dāng)任 務(wù)隊(duì)列發(fā)生變化時(shí)，根據(jù)任務(wù)隊(duì)列信息、分布式文件系統(tǒng)的數(shù)據(jù)塊信息和調(diào)整策略生成調(diào) 整策略，根據(jù)該調(diào)整策略來對(duì)分布式文件系統(tǒng)中的各數(shù)據(jù)塊的副本數(shù)量進(jìn)行調(diào)整，由于本 實(shí)施例基于任務(wù)隊(duì)列的變化來生成調(diào)整策略，則實(shí)現(xiàn)了對(duì)數(shù)據(jù)塊副本數(shù)量的預(yù)先自動(dòng)調(diào) 整，能夠及時(shí)準(zhǔn)確地解決多個(gè)任務(wù)同時(shí)訪問同一數(shù)據(jù)塊導(dǎo)致的數(shù)據(jù)熱點(diǎn)問題，從而提高了 分布式計(jì)算平臺(tái)的處理性能。


為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā) 明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以 根據(jù)這些附圖獲得其他的附圖。圖1為現(xiàn)有技術(shù)的分布式計(jì)算框架中的任務(wù)調(diào)度示意圖；圖2為現(xiàn)有技術(shù)的分布式文件系統(tǒng)中的數(shù)據(jù)塊操作示意圖；圖3為現(xiàn)有技術(shù)的分布式文件系統(tǒng)中數(shù)據(jù)熱點(diǎn)的示意圖；圖4為本發(fā)明參數(shù)調(diào)整方法實(shí)施例一的流程圖；圖5為本發(fā)明參數(shù)調(diào)整方法實(shí)施例二的流程圖6為本發(fā)明參數(shù)調(diào)整方法實(shí)施例二中分布式計(jì)算平臺(tái)的系統(tǒng)架構(gòu)圖；圖7為本發(fā)明參數(shù)調(diào)整裝置實(shí)施例一的結(jié)構(gòu)示意圖；圖8為本發(fā)明參數(shù)調(diào)整裝置實(shí)施例二的結(jié)構(gòu)示意圖。
具體實(shí)施例方式為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例 中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是 本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員 在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。圖4為本發(fā)明參數(shù)調(diào)整方法實(shí)施例一的流程圖，如圖4所示，本實(shí)施例提供了一種 參數(shù)調(diào)整方法，可以具體包括如下步驟步驟401，當(dāng)任務(wù)隊(duì)列發(fā)生變化時(shí)，根據(jù)獲取的任務(wù)隊(duì)列信息、分布式文件系統(tǒng)的 數(shù)據(jù)塊信息和調(diào)度策略生成調(diào)整策略。本實(shí)施例可以具體應(yīng)用于計(jì)算機(jī)服務(wù)器上的數(shù)據(jù)密集型分布式計(jì)算平臺(tái)中，而這 種分布式計(jì)算平臺(tái)的應(yīng)用場(chǎng)景包括很多，如搜索網(wǎng)站的海量網(wǎng)頁處理和搜索建立、商業(yè)智 能分析、海量目志分析等等，在電信領(lǐng)域中的應(yīng)用可以為海量話單統(tǒng)計(jì)、告警分析、內(nèi)容分 發(fā)網(wǎng)絡(luò)(Content Delivery Network ；以下簡稱CDN)等。本實(shí)施例主要解決分布式計(jì)算 平臺(tái)中多個(gè)任務(wù)同時(shí)訪問同一個(gè)數(shù)據(jù)塊所容易出現(xiàn)的數(shù)據(jù)熱點(diǎn)問題，就是說同時(shí)運(yùn)行的計(jì) 算任務(wù)大于同一個(gè)數(shù)據(jù)塊的副本個(gè)數(shù)時(shí)，此處以海量話單統(tǒng)計(jì)應(yīng)用為例來說明數(shù)據(jù)熱點(diǎn)問 題的產(chǎn)生。例如，如果分布式文件系統(tǒng)按照省份(廣東)/市(深圳)/區(qū)(龍崗)/鎮(zhèn)(坂 田)等統(tǒng)計(jì)所有用戶的話單信息，則這些數(shù)據(jù)的規(guī)模將是海量的；可以根據(jù)不同的需求進(jìn) 行以下方式的統(tǒng)計(jì)(1)深圳所有用戶的在網(wǎng)時(shí)間、⑵龍崗地區(qū)所有用戶的花費(fèi)清單、⑶ 坂田地區(qū)用戶欠費(fèi)情況，則此時(shí)坂田地區(qū)的用戶話單信息被多種情況統(tǒng)計(jì)使用，則形成了 數(shù)據(jù)熱點(diǎn)問題。在本實(shí)施例中，為了解決數(shù)據(jù)熱點(diǎn)問題，對(duì)數(shù)據(jù)塊的副本數(shù)量進(jìn)行自適應(yīng)調(diào)整，具 體在任務(wù)隊(duì)列發(fā)生變化時(shí)觸發(fā)數(shù)據(jù)塊的副本數(shù)量的調(diào)整。本步驟為在任務(wù)隊(duì)列發(fā)生變化 時(shí)，根據(jù)獲取的任務(wù)隊(duì)列信息、分布式文件系統(tǒng)的數(shù)據(jù)塊信息和調(diào)度策略來生成調(diào)整策略。 其中，任務(wù)隊(duì)列信息為分布式計(jì)算平臺(tái)中任務(wù)隊(duì)列中的任務(wù)信息，其可以當(dāng)前任務(wù)隊(duì)列中 所包含的各任務(wù)的屬性信息等，如該任務(wù)為讀任務(wù)或?qū)懭蝿?wù)、該任務(wù)將要訪問哪個(gè)數(shù)據(jù)塊 等；分布式文件系統(tǒng)的數(shù)據(jù)塊信息可以為分布式文件系統(tǒng)當(dāng)前的相關(guān)信息，可以包括數(shù)據(jù) 節(jié)點(diǎn)中各數(shù)據(jù)塊當(dāng)前的副本數(shù)量、分布式文件系統(tǒng)的空間容量等；調(diào)度策略為調(diào)度任務(wù)隊(duì) 列中各任務(wù)所采用的策略，可以為并行調(diào)度策略，也可以為分組調(diào)度策略等等，不同的調(diào)度 策略所生成的本實(shí)施例中的調(diào)整策略可以是不同的。本步驟中生成的調(diào)整策略的原則為通 過調(diào)整數(shù)據(jù)塊的副本數(shù)量，使得各數(shù)據(jù)塊被訪問的任務(wù)總數(shù)與對(duì)應(yīng)的所述各數(shù)據(jù)塊的當(dāng)前 副本所能支撐的任務(wù)總數(shù)達(dá)到平衡。本步驟可以根據(jù)上述獲取的各個(gè)信息來生成具體的調(diào)整策略，即本實(shí)施例中生成 調(diào)整策略的過程為自適應(yīng)的過程，具體根據(jù)任務(wù)隊(duì)列變化的不同時(shí)刻獲取的不同信息來調(diào) 整，無需管理員進(jìn)行手工調(diào)整。另外，由于分布式計(jì)算平臺(tái)中存在一個(gè)任務(wù)隊(duì)列，用戶提交 的任務(wù)先進(jìn)入任務(wù)隊(duì)列中，再根據(jù)計(jì)算資源的繁忙情況按照預(yù)設(shè)的順序?qū)θ蝿?wù)隊(duì)列中的各任務(wù)進(jìn)行調(diào)度，以下發(fā)給各計(jì)算節(jié)點(diǎn)進(jìn)行運(yùn)算。其中，當(dāng)任務(wù)被添加到任務(wù)隊(duì)列中后，便已 確定各任務(wù)所要訪問的數(shù)據(jù)塊信息，則本實(shí)施例基于任務(wù)隊(duì)列來確定調(diào)整策略時(shí)，可以在 任務(wù)真正運(yùn)行之前便可以獲知其所訪問的哪些數(shù)據(jù)塊，從而可以事前生成相應(yīng)的調(diào)整策 略。本實(shí)施例之所以在任務(wù)隊(duì)列發(fā)生變化時(shí)觸發(fā)生成調(diào)整策略，是由于當(dāng)任務(wù)隊(duì)列中新增 任務(wù)或任務(wù)被刪除時(shí)，分布式文件系統(tǒng)中后續(xù)被訪問的數(shù)據(jù)塊會(huì)發(fā)生變化，可能導(dǎo)致某個(gè) 數(shù)據(jù)塊出現(xiàn)數(shù)據(jù)熱點(diǎn)問題，也可能之前出現(xiàn)數(shù)據(jù)熱點(diǎn)問題的數(shù)據(jù)塊恢復(fù)為正常。因此，每當(dāng) 任務(wù)隊(duì)列發(fā)生變化時(shí)，便生成相應(yīng)的調(diào)整策略，這樣可以更加準(zhǔn)確及時(shí)地解決數(shù)據(jù)熱點(diǎn)問 題。步驟402，根據(jù)調(diào)整策略對(duì)分布式文件系統(tǒng)中的各數(shù)據(jù)塊的副本數(shù)量進(jìn)行調(diào)整。在經(jīng)過上述步驟完成調(diào)整策略的生成后，本步驟根據(jù)生成的調(diào)整策略實(shí)時(shí)地對(duì)分 布式文件系統(tǒng)中各數(shù)據(jù)塊的副本數(shù)量進(jìn)行調(diào)整。當(dāng)然，上述生成的調(diào)整策略對(duì)于不同的數(shù) 據(jù)塊可能各不相同，調(diào)整策略可以為增加數(shù)據(jù)塊的副本數(shù)量，也可以為減少數(shù)據(jù)塊的副本 數(shù)量，還可以為不對(duì)數(shù)據(jù)塊的副本數(shù)量進(jìn)行調(diào)整。本實(shí)施例在任務(wù)執(zhí)行之前便事先調(diào)整好 數(shù)據(jù)塊的副本數(shù)量，后續(xù)則可以根據(jù)調(diào)整后的數(shù)據(jù)塊的副本數(shù)量來執(zhí)行任務(wù)隊(duì)列中的各任 務(wù)，因此，當(dāng)任務(wù)隊(duì)列中的任務(wù)開始執(zhí)行時(shí)，則已有足夠的數(shù)據(jù)塊副本供其使用，從而可以 避免數(shù)據(jù)熱點(diǎn)問題。本實(shí)施例提供了一種參數(shù)調(diào)整方法，通過當(dāng)任務(wù)隊(duì)列發(fā)生變化時(shí)，根據(jù)任務(wù)隊(duì)列 信息、分布式文件系統(tǒng)的數(shù)據(jù)塊信息和調(diào)度策略生成調(diào)整策略，根據(jù)該調(diào)整策略來對(duì)分布 式文件系統(tǒng)中的各數(shù)據(jù)塊的副本數(shù)量進(jìn)行調(diào)整，由于本實(shí)施例基于任務(wù)隊(duì)列的變化來生成 調(diào)整策略，則實(shí)現(xiàn)了對(duì)數(shù)據(jù)塊副本數(shù)量的預(yù)先自動(dòng)調(diào)整，能夠及時(shí)準(zhǔn)確地解決多個(gè)任務(wù)同 時(shí)訪問同一數(shù)據(jù)塊導(dǎo)致的數(shù)據(jù)熱點(diǎn)問題，從而提高了分布式計(jì)算平臺(tái)的處理性能。圖5為本發(fā)明參數(shù)調(diào)整方法實(shí)施例二的流程圖，如圖5所示，本實(shí)施例提供了一種 參數(shù)調(diào)整方法，可以具體包括如下步驟步驟501，當(dāng)任務(wù)隊(duì)列發(fā)生變化時(shí)，根據(jù)變化后的任務(wù)隊(duì)列獲取任務(wù)隊(duì)列信息和該 任務(wù)隊(duì)列信息對(duì)應(yīng)的數(shù)據(jù)塊信息。當(dāng)檢測(cè)到任務(wù)隊(duì)列發(fā)生變化時(shí)，根據(jù)變化后的任務(wù)隊(duì)列可以獲取到任務(wù)隊(duì)列信 息，即獲取到當(dāng)前任務(wù)隊(duì)列中所包含的隊(duì)列信息，根據(jù)該任務(wù)隊(duì)列信息獲取其對(duì)應(yīng)的數(shù)據(jù) 塊信息，即獲取到變化后的任務(wù)隊(duì)列中各任務(wù)所訪問的數(shù)據(jù)塊信息。此處的任務(wù)隊(duì)列的變 化可以包括任務(wù)隊(duì)列中新增任務(wù)、刪除原任務(wù)、以及原任務(wù)所訪問的數(shù)據(jù)塊發(fā)生變化。如變 化后的任務(wù)隊(duì)列中包含任務(wù)1、任務(wù)2、任務(wù)3和任務(wù)4，其中，任務(wù)4為新增任務(wù)，任務(wù)1正 在訪問數(shù)據(jù)塊1，任務(wù)2正在訪問數(shù)據(jù)塊3，且任務(wù)將要訪問數(shù)據(jù)塊2和數(shù)據(jù)塊3，任務(wù)3正 在訪問數(shù)據(jù)塊2和數(shù)據(jù)塊4，任務(wù)4將要訪問數(shù)據(jù)塊3。則此時(shí)可以獲取到任務(wù)隊(duì)列信息為 任務(wù)1、任務(wù)2、任務(wù)3和任務(wù)4，任務(wù)隊(duì)列信息對(duì)應(yīng)的數(shù)據(jù)塊信息則為上述各任務(wù)所訪問的 數(shù)據(jù)塊信息。圖6為本發(fā)明參數(shù)調(diào)整方法實(shí)施例二中分布式計(jì)算平臺(tái)的系統(tǒng)架構(gòu)圖，如圖6 所示，具體地，本步驟可以具體由圖6中分布式計(jì)算平臺(tái)中的用戶任務(wù)管理模塊來執(zhí)行，當(dāng) 有新的任務(wù)進(jìn)入分布式計(jì)算平臺(tái)中時(shí)，該任務(wù)先發(fā)送到該用戶任務(wù)管理模塊，由用戶任務(wù) 管理模塊將其保存在任務(wù)隊(duì)列中，并當(dāng)任務(wù)隊(duì)列發(fā)生變化時(shí)，獲取任務(wù)隊(duì)列信息和該任務(wù) 隊(duì)列信息對(duì)應(yīng)的數(shù)據(jù)塊信息。步驟502，根據(jù)任務(wù)隊(duì)列信息和任務(wù)隊(duì)列信息對(duì)應(yīng)的數(shù)據(jù)塊信息獲取任務(wù)隊(duì)列中所有任務(wù)正在訪問和將要訪問的數(shù)據(jù)塊集合，并統(tǒng)計(jì)數(shù)據(jù)塊集合中各數(shù)據(jù)塊將被訪問的任 務(wù)數(shù)量和各數(shù)據(jù)塊正在被訪問的任務(wù)數(shù)量。根據(jù)上述獲取的任務(wù)隊(duì)列信息和任務(wù)隊(duì)列信息對(duì)應(yīng)的數(shù)據(jù)塊信息，獲取當(dāng)前任務(wù) 隊(duì)列中所有任務(wù)正在訪問的數(shù)據(jù)塊和將要訪問的數(shù)據(jù)塊的集合，此處可以假設(shè)該集合為D， 其中，Dn表示該集合中的一個(gè)數(shù)據(jù)塊，即Dn e D，η =
，N為D中所包含的數(shù)據(jù)塊的 數(shù)量。仍以上述舉例為例，根據(jù)任務(wù)隊(duì)列信息和任務(wù)隊(duì)列信息對(duì)應(yīng)的數(shù)據(jù)塊信息可以獲取 到當(dāng)前任務(wù)隊(duì)列中所有任務(wù)正在訪問和將要訪問的數(shù)據(jù)塊集合為數(shù)據(jù)塊1、數(shù)據(jù)塊2、數(shù) 據(jù)塊3和數(shù)據(jù)塊4。本步驟在獲取到數(shù)據(jù)塊集合D后，對(duì)數(shù)據(jù)塊集合中各數(shù)據(jù)塊Dn進(jìn)行統(tǒng) 計(jì)，統(tǒng)計(jì)數(shù)據(jù)塊集合中各數(shù)據(jù)塊將被訪問的任務(wù)數(shù)量An和各數(shù)據(jù)塊正在被訪問的任務(wù)數(shù)量 K'。此時(shí)統(tǒng)計(jì)得到數(shù)據(jù)塊1正在被任務(wù)1訪問，且沒有任務(wù)將訪問數(shù)據(jù)塊1，則數(shù)據(jù)塊1 將被訪問的任務(wù)數(shù)量為0，數(shù)據(jù)塊1正在被訪問的任務(wù)數(shù)量為1 ；數(shù)據(jù)塊2正在被任務(wù)3訪 問，且將被任務(wù)2訪問，則數(shù)據(jù)塊2將被訪問的任務(wù)數(shù)量為1，數(shù)據(jù)塊2正在被訪問的任務(wù)數(shù) 量為1 ；數(shù)據(jù)塊3正在被任務(wù)2訪問，且將被任務(wù)2和任務(wù)4訪問，則數(shù)據(jù)塊3將被訪問的 任務(wù)數(shù)量為2，數(shù)據(jù)塊4正在被訪問的任務(wù)數(shù)量為1 ；數(shù)據(jù)塊4正在被任務(wù)3訪問，且沒有任 務(wù)將要訪問數(shù)據(jù)塊4，則數(shù)據(jù)塊4將被訪問的任務(wù)數(shù)量為0，數(shù)據(jù)塊4正在被訪問的任務(wù)數(shù) 量為1。繼續(xù)參照上述圖6，具體地，本步驟也可以具體由圖6中分布式計(jì)算平臺(tái)中的用戶 任務(wù)管理模塊來執(zhí)行，該用戶任務(wù)管理模塊根據(jù)任務(wù)隊(duì)列信息和任務(wù)隊(duì)列信息對(duì)應(yīng)的數(shù)據(jù) 塊信息獲取任務(wù)隊(duì)列中所有任務(wù)正在訪問和將要訪問的數(shù)據(jù)塊集合，并統(tǒng)計(jì)數(shù)據(jù)塊集合中 各數(shù)據(jù)塊將被訪問的任務(wù)數(shù)量和各數(shù)據(jù)塊正在被訪問的任務(wù)數(shù)量。用戶任務(wù)管理模塊可以 將獲取到的各數(shù)據(jù)塊將被訪問的任務(wù)數(shù)量An和各數(shù)據(jù)塊正在被訪問的任務(wù)數(shù)量An'發(fā)送 到圖6中的指令生成模塊中。步驟503，獲取分布式文件系統(tǒng)的數(shù)據(jù)塊信息，分布式文件系統(tǒng)的數(shù)據(jù)塊信息包括 數(shù)據(jù)塊集合中各數(shù)據(jù)塊當(dāng)前的副本數(shù)量和分布式文件系統(tǒng)的剩余空間量。本步驟為獲取分布式文件系統(tǒng)的數(shù)據(jù)塊信息，該分布式文件系統(tǒng)的數(shù)據(jù)塊信息包 括數(shù)據(jù)塊集合中各數(shù)據(jù)塊當(dāng)前的副本數(shù)量和分布式文件系統(tǒng)的剩余空間量，在根據(jù)上述步 驟獲取當(dāng)前數(shù)據(jù)塊集合中的各數(shù)據(jù)塊后，可以直接根據(jù)數(shù)據(jù)塊自身的信息獲知該數(shù)據(jù)塊當(dāng) 前已有的副本數(shù)量，也可以直接獲取到分布式文件系統(tǒng)的剩余空間量。具體地，可以具體為 從圖6中的元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)獲取分布式文件系統(tǒng)的數(shù)據(jù)塊信息，此處的分布式文件系統(tǒng) 的數(shù)據(jù)塊信息可以包括上述步驟中統(tǒng)計(jì)的數(shù)據(jù)塊集合中各數(shù)據(jù)塊Dn當(dāng)前的副本數(shù)量Rn和 分布式文件系統(tǒng)的剩余空間量F，將各數(shù)據(jù)塊當(dāng)前的副本數(shù)量Rn和分布式文件系統(tǒng)的剩余 空間量F發(fā)送到圖6中的指令生成模塊中。步驟504，根據(jù)各數(shù)據(jù)塊將被訪問的任務(wù)數(shù)量、各數(shù)據(jù)塊正在被訪問的任務(wù)數(shù)量、 各數(shù)據(jù)塊當(dāng)前的副本數(shù)量、預(yù)設(shè)的參考性能參數(shù)和調(diào)度策略計(jì)算各數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量 的調(diào)整參數(shù)。在獲取到各數(shù)據(jù)塊將被訪問的任務(wù)數(shù)量An、各數(shù)據(jù)塊正在被訪問的任務(wù)數(shù)量 An'、各數(shù)據(jù)塊當(dāng)前的副本數(shù)量Rn，再進(jìn)一步獲取到預(yù)設(shè)的參考性能參數(shù)R&，該參考性能參 數(shù)Rm用于表示每個(gè)數(shù)據(jù)塊副本所能支撐的并發(fā)訪問的任務(wù)數(shù)量，其可以結(jié)合實(shí)際應(yīng)用場(chǎng) 景和存儲(chǔ)集群規(guī)模自適應(yīng)地動(dòng)態(tài)調(diào)整。同時(shí)，本實(shí)施例中在計(jì)算調(diào)整參數(shù)時(shí)，還根據(jù)獲取到 的當(dāng)前的調(diào)度策略，可以具體從圖6中的任務(wù)調(diào)度模塊來獲取。本步驟可以為根據(jù)各數(shù)據(jù)塊將被訪問的任務(wù)數(shù)量An、各數(shù)據(jù)塊正在被訪問的任務(wù)數(shù)量An'、各數(shù)據(jù)塊當(dāng)前的副本數(shù) 量Rn、參考性能參數(shù)Rref和調(diào)度策略來分別計(jì)算各數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)，此處 可以假設(shè)數(shù)據(jù)塊Dn對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)為xn。本實(shí)施例中的計(jì)算得到的副本數(shù)量 的調(diào)整參數(shù)具體用于后續(xù)步驟中副本數(shù)量的調(diào)整過程。具體地，本步驟可以具體由圖6中 的指令生成模塊來執(zhí)行，指令生成模塊根據(jù)獲取的各數(shù)據(jù)塊將被訪問的任務(wù)數(shù)量、各數(shù)據(jù) 塊正在被訪問的任務(wù)數(shù)量、各數(shù)據(jù)塊當(dāng)前的副本數(shù)量、預(yù)設(shè)的參考性能參數(shù)和調(diào)度策略計(jì) 算各數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)。當(dāng)調(diào)度策略為并行調(diào)度策略時(shí)，可以具體采用下述公式(1)來計(jì)算Rref = Functionl (An, A' n, xn, Rn)(1)由此計(jì)算得到數(shù)據(jù)塊Dn對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)Xn如下公式(2)所示xn = Function2 (Rref，Rn, An, A' n)(2)例如，本實(shí)施例可以具體采用下述公式(3)來計(jì)算各數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào) 整參數(shù)Rref = (An+A' n+xn) /Rn(3)進(jìn)而得到數(shù)據(jù)塊Dn對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)Xn如下公式(4)所示xn = RrefXRn-An-A' n(4)當(dāng)然，上述計(jì)算公式(3)只是一個(gè)示例，本領(lǐng)域技術(shù)人員可以根據(jù)實(shí)際情況采用 其他不同的計(jì)算公式來得到調(diào)整參數(shù)。當(dāng)調(diào)度策略為分組調(diào)度策略時(shí)，每個(gè)任務(wù)組中的所有任務(wù)為并行調(diào)度，而任務(wù)組 與任務(wù)組之間保持串行調(diào)度，例如，任務(wù)隊(duì)列中有A和B兩個(gè)任務(wù)組，在進(jìn)行任務(wù)調(diào)度時(shí)，先 并行執(zhí)行A任務(wù)組中的所有任務(wù)，當(dāng)其所有任務(wù)均執(zhí)行完成后，再并行執(zhí)行B任務(wù)組中的所 有任務(wù)。此時(shí)，可以采用上述公式(1)的公式，具體可以采用上述公式(3)來分別獲取A任 務(wù)組和B任務(wù)組對(duì)應(yīng)的各數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)，再根據(jù)一定的策略為每個(gè)數(shù) 據(jù)塊選擇一個(gè)調(diào)整參數(shù)。此處假設(shè)A任務(wù)組和B任務(wù)組均各自包括三個(gè)任務(wù)，A任務(wù)組中 各任務(wù)所訪問的數(shù)據(jù)塊集合為Ka，b，c) (a, b) (a, b)}，B任務(wù)組中各任務(wù)所訪問的數(shù)據(jù)塊 集合為{(a，b，c) (b) (a)}，其中，根據(jù)上述公式獲取到的A任務(wù)組對(duì)應(yīng)的數(shù)據(jù)塊a對(duì)應(yīng)的調(diào) 整參數(shù)為2，A任務(wù)組對(duì)應(yīng)的數(shù)據(jù)塊b對(duì)應(yīng)的調(diào)整參數(shù)為2，獲取到的B任務(wù)組對(duì)應(yīng)的數(shù)據(jù) 塊a對(duì)應(yīng)的調(diào)整參數(shù)為1，B任務(wù)組對(duì)應(yīng)的數(shù)據(jù)塊b對(duì)應(yīng)的調(diào)整參數(shù)為1。在選擇各數(shù)據(jù)塊 對(duì)應(yīng)的調(diào)整參數(shù)時(shí)，具體地，可以將之前獲取到的A任務(wù)組和B任務(wù)組對(duì)應(yīng)的同一數(shù)據(jù)塊對(duì) 應(yīng)的副本數(shù)量的調(diào)整參數(shù)的最大值或最小值作為該數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)，即 可以取調(diào)整參數(shù)2作為數(shù)據(jù)塊a的最終調(diào)整參數(shù)；或者，也可以在具體執(zhí)行某一個(gè)任務(wù)組 時(shí)，采用之前獲取到的該任務(wù)組對(duì)應(yīng)的各數(shù)據(jù)塊的副本數(shù)量的調(diào)整參數(shù)；或者，也可以在具 體執(zhí)行某一任務(wù)組時(shí)，采用之前獲取到的該任務(wù)組的下一任務(wù)組對(duì)應(yīng)的各數(shù)據(jù)塊的副本數(shù) 量的調(diào)整參數(shù)。需要指出的是，上述僅以并行調(diào)度策略和分組調(diào)度策略為例來說明根據(jù)調(diào)度策略 的調(diào)整參數(shù)的獲取方法，此處也不可能窮盡所有調(diào)度策略，本領(lǐng)域技術(shù)人員可以理解，對(duì)于 所采用過的其他調(diào)度策略來說，其獲取調(diào)整參數(shù)的方法是類似的，其均包含在本發(fā)明所保 護(hù)的范圍之內(nèi)。步驟505，根據(jù)各數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)、上調(diào)參考閾值、下調(diào)參考閾值、單位副本占用空間量和所述分布式文件系統(tǒng)的剩余空間量生成各數(shù)據(jù)塊對(duì)應(yīng)的調(diào)整策 略。在計(jì)算生成各數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)\后，本步驟可以根據(jù)該調(diào)整參 數(shù)來生成對(duì)應(yīng)的調(diào)整策略，可以先設(shè)定一個(gè)上調(diào)參考閾值和一個(gè)下調(diào)參考閾值，即根據(jù)上 述兩個(gè)參考閾值來具體生成對(duì)應(yīng)的調(diào)整策略。其中，此處的上調(diào)參考閾值可以采用Fref來 表示，該值可以結(jié)合實(shí)際應(yīng)用場(chǎng)景和存儲(chǔ)集群規(guī)模自適應(yīng)動(dòng)態(tài)調(diào)整，用于表示文件系統(tǒng)的 剩余空間達(dá)到多少時(shí)才允許上調(diào)副本數(shù)量；下調(diào)參考閾值可以采用來表示，該值也可 以結(jié)合實(shí)際應(yīng)用場(chǎng)景和存儲(chǔ)集群規(guī)模自適應(yīng)動(dòng)態(tài)調(diào)整，用于表示文件系統(tǒng)的剩余空間低于 多少時(shí)，才允許下調(diào)副本數(shù)量，若剩余空間充足，則可以先不用馬上下調(diào)副本數(shù)量。本步驟 還根據(jù)實(shí)際情況來設(shè)定單位副本占用空間量，此處可以由S來表示，即一個(gè)數(shù)據(jù)塊副本所 占的空間量。本步驟也可以具體由圖6中的指令生成模塊來執(zhí)行，指令生成模塊根據(jù)獲取 的各數(shù)據(jù)塊Dn對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)Xn、上調(diào)參考閾值FMf、下調(diào)參考閾值F’ Mf、單位 副本占用空間量S和上述步驟中獲取到的分布式文件系統(tǒng)的剩余空間量F來生成各數(shù)據(jù)塊 Dn對(duì)應(yīng)的調(diào)整策略。此處的調(diào)整策略可以為無需調(diào)整副本數(shù)量、增加副本數(shù)量或減少副本 數(shù)量。具體地，上述調(diào)整策略的生成可以具體為若Conditi0nA(Xn，F(xiàn)，F(xiàn)ref, F' ref, S)成 立，則對(duì)應(yīng)的調(diào)整策略為無需調(diào)整該數(shù)據(jù)塊的副本數(shù)量；若ConditionB(Xn，F(xiàn)，F(xiàn)ref, F' ref, S)成立，則對(duì)應(yīng)的調(diào)整策略為增加該數(shù)據(jù)塊的副本數(shù)量；若ConditionC(xn, F，F(xiàn)ref, F' ref, S)成立，則對(duì)應(yīng)的調(diào)整策略為減少該數(shù)據(jù)塊的副本數(shù)量。以下將對(duì)上述ConditionA(Xn，F(xiàn)， Fref, F' ref, S) > ConditionB (xn, F, Fref, F' ref，S)禾口 ConditionC(xn, F, Fref, F' ref，S)進(jìn)對(duì)亍 舉例具體說明。其中，ConditionA(xn, F，F(xiàn)ref, F' ref, S)可以具體為獲取到的數(shù)據(jù)塊Dn對(duì)應(yīng)的副 本數(shù)量的調(diào)整參數(shù)Xn為零，此時(shí)則該數(shù)據(jù)塊對(duì)應(yīng)的調(diào)整策略為無需對(duì)該數(shù)據(jù)塊的副本數(shù)量 進(jìn)行調(diào)整。ConditionB(xn, F，F(xiàn)ref, F' ref, S)可以具體為數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào)整參 數(shù)Xn大于零，且分布式文件系統(tǒng)的剩余空間量F大于上調(diào)參考閾值F&，此時(shí)表明當(dāng)前應(yīng) 增加該數(shù)據(jù)塊的副本數(shù)量，且分布式文件系統(tǒng)的剩余空間滿足上調(diào)的條件。如果數(shù)據(jù)塊對(duì) 應(yīng)的副本數(shù)量的調(diào)整參數(shù)Xn大于零，但分布式文件系統(tǒng)的剩余空間量F小于上調(diào)參考閾 值F&，則表明當(dāng)前剩余空間較小，可以不增加該數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量。當(dāng)滿足上述條件 ConditionB (xn, F，F(xiàn)ref,F' ref, S)時(shí)，可以再判斷分布式文件系統(tǒng)的剩余空間量F是否大于 數(shù)據(jù)塊Dn對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)Xn的絕對(duì)值與單位副本占用空間量S之積，如果F > (|xn| XS)，則此時(shí)生成的該數(shù)據(jù)塊的待調(diào)整的副本數(shù)量為IxnI，進(jìn)而直接在該數(shù)據(jù)塊當(dāng)前 的副本數(shù)量上增加IxnI個(gè)副本，即當(dāng)滿足條件(Xn > 0&F > Fref&F > (IxJxs))時(shí)，生成 的數(shù)據(jù)塊Dn對(duì)應(yīng)的調(diào)整策略為增加|xn|個(gè)副本。否則如果？< (IxjXS)時(shí)，可以先根據(jù) 數(shù)據(jù)塊Dn對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)Xn、單位副本占用空間量S和分布式文件系統(tǒng)的剩余 空間量F來具體計(jì)算該數(shù)據(jù)塊的待調(diào)整的副本數(shù)量，即計(jì)算分布式文件系統(tǒng)的當(dāng)前剩余空 間量可以滿足增加多少個(gè)副本，此處計(jì)算得到的該數(shù)據(jù)塊的待調(diào)整的副本數(shù)量可以具體為 mod(F/S)，再根據(jù)該待調(diào)整的副本數(shù)量來生成對(duì)應(yīng)的調(diào)整策略具體為將該數(shù)據(jù)塊的副本數(shù) 量調(diào)整為該數(shù)據(jù)塊的當(dāng)前副本數(shù)量與待調(diào)整的副本數(shù)量之和，即上調(diào)mod(F/S)個(gè)副本。
ConditionC(xn, F，F(xiàn)ref, F' ref, S)可以具體為數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào)整參 數(shù)Xn小于零，且分布式文件系統(tǒng)的剩余空間量F小于下調(diào)參考閾值F' ref,此時(shí)表明當(dāng)前 應(yīng)減少該數(shù)據(jù)塊的副本數(shù)量，且分布式文件系統(tǒng)的剩余空間滿足下調(diào)的條件。如果數(shù)據(jù)塊 對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)Xn小于零，但分布式文件系統(tǒng)的剩余空間量F大于下調(diào)參考 閾值FMf，則表明當(dāng)前仍有足夠的空間，可以先不急于下調(diào)該數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量。當(dāng)滿 足上述條件ConditionC(Xn，F(xiàn)，F(xiàn)ref, F' ref, S)，可以生成該數(shù)據(jù)塊對(duì)應(yīng)的調(diào)整策略為將該 數(shù)據(jù)塊的副本數(shù)量調(diào)整為當(dāng)前副本數(shù)量與調(diào)整參數(shù)的絕對(duì)值之差，即滿足條件(xn < 0&F <Fref')時(shí)，將該數(shù)據(jù)塊的副本數(shù)量調(diào)整為當(dāng)前副本數(shù)量與調(diào)整參數(shù)的絕對(duì)值之差，即下 調(diào)IxnI個(gè)副本。步驟506，將調(diào)整策略從分布式計(jì)算框架發(fā)送到分布式文件系統(tǒng)。繼續(xù)參見上述圖6，在經(jīng)過上述步驟生成各數(shù)據(jù)塊對(duì)應(yīng)的調(diào)整策略后，可以將調(diào)整 策略從分布式計(jì)算框架發(fā)送到分布式文件系統(tǒng)中，具體將調(diào)整策略由分布式計(jì)算框架中的 指令生成模塊發(fā)送到分布式文件系統(tǒng)中的元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)。步驟507，由分布式文件系統(tǒng)中的元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)根據(jù)調(diào)整策略對(duì)相應(yīng)的數(shù)據(jù) 節(jié)點(diǎn)中的數(shù)據(jù)塊的副本數(shù)量進(jìn)行調(diào)整。分布式文件系統(tǒng)中的元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)在接收到調(diào)整策略后，根據(jù)調(diào)整策略對(duì)相 應(yīng)的數(shù)據(jù)節(jié)點(diǎn)中的數(shù)據(jù)塊的副本數(shù)量進(jìn)行調(diào)整。具體地，當(dāng)數(shù)據(jù)塊對(duì)應(yīng)的調(diào)整策略為不調(diào) 整策略時(shí)，元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)無需對(duì)對(duì)應(yīng)的數(shù)據(jù)塊的副本數(shù)量進(jìn)行調(diào)整；當(dāng)數(shù)據(jù)塊對(duì)應(yīng)的 調(diào)整策略為上調(diào)指令時(shí)，將對(duì)應(yīng)的數(shù)據(jù)塊的副本數(shù)量調(diào)整為該數(shù)據(jù)塊的當(dāng)前副本數(shù)量與待 調(diào)整的副本數(shù)量之和；當(dāng)數(shù)據(jù)塊對(duì)應(yīng)的調(diào)整策略為下調(diào)指令時(shí)，將對(duì)應(yīng)的數(shù)據(jù)塊的副本數(shù) 量調(diào)整為該當(dāng)前副本數(shù)量與調(diào)整參數(shù)的絕對(duì)值之差。完成對(duì)各數(shù)據(jù)塊的副本數(shù)量的調(diào)整 后，便可以根據(jù)調(diào)整后的副本數(shù)量來執(zhí)行變化后的任務(wù)隊(duì)列中的各任務(wù)。參見上述6，本實(shí)施例在現(xiàn)有的數(shù)據(jù)密集型分布式計(jì)算平臺(tái)的基礎(chǔ)之上，增加一個(gè) 指令生成模塊，該指令生成模塊可以位于分布式計(jì)算框架中的計(jì)算管理節(jié)點(diǎn)上，其與計(jì)算 管理節(jié)點(diǎn)上的用戶任務(wù)管理模塊和分布式文件系統(tǒng)中的元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)相連，進(jìn)行數(shù)據(jù) 通信。從圖中可以看出，當(dāng)有新的任務(wù)提交時(shí)，該任務(wù)先被發(fā)送到用戶任務(wù)管理模塊，由用 戶任務(wù)管理模塊將任務(wù)添加到任務(wù)隊(duì)列中進(jìn)行管理，用戶任務(wù)管理模塊可以根據(jù)任務(wù)隊(duì)列 的變化來獲取任務(wù)隊(duì)列信息和任務(wù)隊(duì)列信息對(duì)應(yīng)的數(shù)據(jù)塊信息，并統(tǒng)計(jì)所述數(shù)據(jù)塊集合中 各數(shù)據(jù)塊將被訪問的任務(wù)數(shù)量和所述各數(shù)據(jù)塊正在被訪問的任務(wù)數(shù)量，指令生成模塊從用 戶任務(wù)管理模塊獲取數(shù)據(jù)塊集合中各數(shù)據(jù)塊將被訪問的任務(wù)數(shù)量和各數(shù)據(jù)塊正在被訪問 的任務(wù)數(shù)量。指令生成模塊從元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)獲取數(shù)據(jù)塊集合中各數(shù)據(jù)塊當(dāng)前的副本數(shù) 量和分布式文件系統(tǒng)的剩余空間量。指令生成模塊根據(jù)各數(shù)據(jù)塊將被訪問的任務(wù)數(shù)量、各 數(shù)據(jù)塊正在被訪問的任務(wù)數(shù)量、各數(shù)據(jù)塊當(dāng)前的副本數(shù)量和分布式文件系統(tǒng)的剩余空間量 生成調(diào)整策略，將調(diào)整策略再發(fā)送到元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)，由元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)具體對(duì)分布 式文件系統(tǒng)中的各數(shù)據(jù)塊的副本數(shù)量進(jìn)行調(diào)整。另外，計(jì)算管理節(jié)點(diǎn)上還設(shè)置有任務(wù)調(diào)度 模塊，在開始任務(wù)的執(zhí)行時(shí)，用戶任務(wù)管理模塊將任務(wù)隊(duì)列中的任務(wù)發(fā)送到任務(wù)調(diào)度模塊， 由任務(wù)調(diào)度模塊根據(jù)各任務(wù)的實(shí)際情況將任務(wù)調(diào)度到分布式計(jì)算框架中的各計(jì)算節(jié)點(diǎn)上， 計(jì)算節(jié)點(diǎn)則對(duì)分布式文件系統(tǒng)中的相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)中的數(shù)據(jù)塊進(jìn)行讀取等操作。其中，數(shù) 據(jù)節(jié)點(diǎn)來源于數(shù)據(jù)采集節(jié)點(diǎn)/集群，其從各服務(wù)器上采集數(shù)據(jù)。
本實(shí)施例提供了一種參數(shù)調(diào)整方法，通過當(dāng)任務(wù)隊(duì)列發(fā)生變化時(shí)，根據(jù)任務(wù)隊(duì)列 信息、分布式文件系統(tǒng)的數(shù)據(jù)塊信息和調(diào)度策略生成調(diào)整策略，根據(jù)該調(diào)整策略來對(duì)分布 式文件系統(tǒng)中的各數(shù)據(jù)塊的副本數(shù)量進(jìn)行調(diào)整，由于本實(shí)施例基于任務(wù)隊(duì)列的變化來生成 調(diào)整策略，則實(shí)現(xiàn)了對(duì)數(shù)據(jù)塊副本數(shù)量的預(yù)先自動(dòng)調(diào)整，能夠及時(shí)準(zhǔn)確地解決多個(gè)任務(wù)同 時(shí)訪問同一數(shù)據(jù)塊導(dǎo)致的數(shù)據(jù)熱點(diǎn)問題，從而提高了分布式計(jì)算平臺(tái)的處理性能。本實(shí)施 例與現(xiàn)有技術(shù)中的方案相比具有簡易性、高效性，且本實(shí)施例可以根據(jù)實(shí)際情況下調(diào)數(shù)據(jù) 塊的副本數(shù)量，以降低磁盤占用空間，進(jìn)一步提高分布式計(jì)算平臺(tái)的處理性能。本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述方法實(shí)施例的全部或部分步驟可以通過 程序指令相關(guān)的硬件來完成，前述的程序可以存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序 在執(zhí)行時(shí)，執(zhí)行包括上述方法實(shí)施例的步驟；而前述的存儲(chǔ)介質(zhì)包括R0M、RAM、磁碟或者 光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。圖7為本發(fā)明參數(shù)調(diào)整裝置實(shí)施例一的結(jié)構(gòu)示意圖，如圖7所示，本實(shí)施例提供了 一種參數(shù)調(diào)整裝置，可以具體執(zhí)行上述方法實(shí)施例一中的各個(gè)步驟，此處不再贅述。本實(shí)施 例提供的參數(shù)調(diào)整裝置可以具體包括指令生成模塊701和調(diào)整模塊702。其中，指令生成模 塊701用于當(dāng)任務(wù)隊(duì)列發(fā)生變化時(shí)，根據(jù)任務(wù)隊(duì)列信息、分布式文件系統(tǒng)的數(shù)據(jù)塊信息和 調(diào)度策略生成調(diào)整策略。調(diào)整模塊702用于根據(jù)所述調(diào)整策略對(duì)分布式文件系統(tǒng)中的各數(shù) 據(jù)塊的副本數(shù)量進(jìn)行調(diào)整。其中，所述調(diào)整策略為調(diào)整數(shù)據(jù)塊的副本數(shù)量將各數(shù)據(jù)塊被訪 問的任務(wù)總數(shù)與對(duì)應(yīng)的所述各數(shù)據(jù)塊的當(dāng)前副本所能支撐的任務(wù)總數(shù)達(dá)到平衡。圖8為本發(fā)明參數(shù)調(diào)整裝置實(shí)施例二的結(jié)構(gòu)示意圖，如圖8所示，本實(shí)施例提供了 一種參數(shù)調(diào)整裝置，可以具體執(zhí)行上述方法實(shí)施例二中的各個(gè)步驟，此處不再贅述。本實(shí)施 例提供的參數(shù)調(diào)整裝置在上述圖7所示的基礎(chǔ)之上，還可以包括獲取模塊801和統(tǒng)計(jì)模塊 802。其中，獲取模塊801用于根據(jù)變化后的任務(wù)隊(duì)列獲取任務(wù)隊(duì)列信息和所述任務(wù)隊(duì)列信 息對(duì)應(yīng)的數(shù)據(jù)塊信息。統(tǒng)計(jì)模塊802用于根據(jù)所述任務(wù)隊(duì)列信息和所述任務(wù)隊(duì)列信息對(duì)應(yīng) 的數(shù)據(jù)塊信息獲取所述任務(wù)隊(duì)列中所有任務(wù)正在訪問和將要訪問的數(shù)據(jù)塊集合，并統(tǒng)計(jì)所 述數(shù)據(jù)塊集合中各數(shù)據(jù)塊將被訪問的任務(wù)數(shù)量和所述各數(shù)據(jù)塊正在被訪問的任務(wù)數(shù)量。具體地，本實(shí)施例中的指令生成模塊701可以具體包括獲取子模塊711和生成子 模塊721。其中，獲取子模塊711用于獲取所述數(shù)據(jù)塊集合中各數(shù)據(jù)塊將被訪問的任務(wù)數(shù)量 和所述各數(shù)據(jù)塊正在被訪問的任務(wù)數(shù)量，獲取所述分布式文件系統(tǒng)的數(shù)據(jù)塊信息，所述分 布式文件系統(tǒng)的數(shù)據(jù)塊信息包括所述數(shù)據(jù)塊集合中各數(shù)據(jù)塊當(dāng)前的副本數(shù)量和分布式文 件系統(tǒng)的剩余空間量。生成子模塊721用于根據(jù)所述各數(shù)據(jù)塊將被訪問的任務(wù)數(shù)量、所述 各數(shù)據(jù)塊正在被訪問的任務(wù)數(shù)量、所述各數(shù)據(jù)塊當(dāng)前的副本數(shù)量、分布式文件系統(tǒng)的剩余 空間量和調(diào)度策略生成調(diào)整策略。具體地，本實(shí)施例中的生成子模塊721可以具體包括計(jì)算單元7211和生成單元 7212。其中，計(jì)算單元7211用于根據(jù)所述各數(shù)據(jù)塊將被訪問的任務(wù)數(shù)量、所述各數(shù)據(jù)塊正 在被訪問的任務(wù)數(shù)量、所述各數(shù)據(jù)塊當(dāng)前的副本數(shù)量和預(yù)設(shè)的參考性能參數(shù)計(jì)算所述各數(shù) 據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)。生成單元7212用于根據(jù)所述各數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量 的調(diào)整參數(shù)、上調(diào)參考閾值、下調(diào)參考閾值、單位副本占用空間量、所述分布式文件系統(tǒng)的 剩余空間量和調(diào)度策略生成所述各數(shù)據(jù)塊對(duì)應(yīng)的調(diào)整策略。具體地，本實(shí)施例中的生成單元7212可以具體包括第一生成子單元72121、第二生成子單元72122和第三生成子單元72123。其中，第一生成子單元72121用于當(dāng)數(shù)據(jù)塊對(duì) 應(yīng)的副本數(shù)量的調(diào)整參數(shù)的值為零時(shí)，生成所述數(shù)據(jù)塊對(duì)應(yīng)的調(diào)整策略為不調(diào)整所述數(shù)據(jù) 塊的副本數(shù)量。第二生成子單元72122用于當(dāng)數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)的值大于 零，且所述分布式文件系統(tǒng)的剩余空間量大于所述上調(diào)參考閾值時(shí)，根據(jù)所述數(shù)據(jù)塊對(duì)應(yīng) 的副本數(shù)量的調(diào)整參數(shù)、所述單位副本占用空間量和所述分布式文件系統(tǒng)的剩余空間量計(jì) 算所述數(shù)據(jù)塊的待調(diào)整的副本數(shù)量，并生成所述數(shù)據(jù)塊對(duì)應(yīng)的調(diào)整策略為將所述數(shù)據(jù)塊的 副本數(shù)量調(diào)整為所述數(shù)據(jù)塊的當(dāng)前副本數(shù)量與所述待調(diào)整的副本數(shù)量之和。第三生成子單 元72123用于當(dāng)數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)的值小于零，且所述分布式文件系統(tǒng)的 剩余空間量小于所述下調(diào)參考閾值時(shí)，生成所述數(shù)據(jù)塊對(duì)應(yīng)的調(diào)整策略為將所述數(shù)據(jù)塊的 副本數(shù)量調(diào)整為所述數(shù)據(jù)塊的當(dāng)前副本數(shù)量與所述調(diào)整參數(shù)的絕對(duì)值之差。進(jìn)一步地，本實(shí)施例中的調(diào)整模塊702可以具體包括發(fā)送子模塊712和調(diào)整子模 塊722。其中，發(fā)送子模塊712用于將所述調(diào)整策略從分布式計(jì)算框架發(fā)送到分布式文件系 統(tǒng)。調(diào)整子模塊722用于由所述分布式文件系統(tǒng)中的元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)根據(jù)所述調(diào)整策略 對(duì)相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)中的數(shù)據(jù)塊的副本數(shù)量進(jìn)行調(diào)整。本實(shí)施例提供了一種參數(shù)調(diào)整裝置，通過當(dāng)任務(wù)隊(duì)列發(fā)生變化時(shí)，根據(jù)任務(wù)隊(duì)列 信息、分布式文件系統(tǒng)的數(shù)據(jù)塊信息和調(diào)度策略生成調(diào)整策略，根據(jù)該調(diào)整策略來對(duì)分布 式文件系統(tǒng)中的各數(shù)據(jù)塊的副本數(shù)量進(jìn)行調(diào)整，由于本實(shí)施例基于任務(wù)隊(duì)列的變化來生成 調(diào)整策略，則實(shí)現(xiàn)了對(duì)數(shù)據(jù)塊副本數(shù)量的預(yù)先自動(dòng)調(diào)整，能夠及時(shí)準(zhǔn)確地解決多個(gè)任務(wù)同 時(shí)訪問同一數(shù)據(jù)塊導(dǎo)致的數(shù)據(jù)熱點(diǎn)問題，從而提高了分布式計(jì)算平臺(tái)的處理性能。本實(shí)施 例與現(xiàn)有技術(shù)中的方案相比具有簡易性、高效性，且本實(shí)施例可以根據(jù)實(shí)際情況下調(diào)數(shù)據(jù) 塊的副本數(shù)量，以降低磁盤占用空間，進(jìn)一步提高分布式計(jì)算平臺(tái)的處理性能。本實(shí)施例還提供了一種分布式計(jì)算平臺(tái)系統(tǒng)，繼續(xù)參見上述圖6，該分布式計(jì)算 平臺(tái)系統(tǒng)可以包括分布式計(jì)算框架和分布式文件系統(tǒng)，分布式計(jì)算框架可以包括計(jì)算管理 節(jié)點(diǎn)和多個(gè)計(jì)算節(jié)點(diǎn)，分布式文件系統(tǒng)包括元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)和多個(gè)數(shù)據(jù)節(jié)點(diǎn)，計(jì)算管理 節(jié)點(diǎn)可以包括用戶任務(wù)管理模塊和任務(wù)調(diào)度模塊。其中，分布式計(jì)算框架用于接收用戶提 交的任務(wù)，并對(duì)任務(wù)隊(duì)列中的任務(wù)進(jìn)行管理和調(diào)度；分布式文件系統(tǒng)用于保存數(shù)據(jù)塊信息； 述計(jì)算管理節(jié)點(diǎn)用于對(duì)任務(wù)隊(duì)列中的各個(gè)任務(wù)進(jìn)行管理和調(diào)度；計(jì)算節(jié)點(diǎn)用于對(duì)數(shù)據(jù)塊進(jìn) 行計(jì)算處理；元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)用于保存各文件的數(shù)據(jù)分塊情況、各數(shù)據(jù)塊所在的數(shù)據(jù)節(jié) 點(diǎn)信息以及各數(shù)據(jù)節(jié)點(diǎn)包含的數(shù)據(jù)塊信息；數(shù)據(jù)節(jié)點(diǎn)用于保存實(shí)際的數(shù)據(jù)塊。本實(shí)施例中 的分布式計(jì)算平臺(tái)系統(tǒng)還包括上述圖7或圖8所示的參數(shù)調(diào)整裝置，關(guān)于參數(shù)調(diào)整裝置的 結(jié)構(gòu)此處不再贅述。其中，參數(shù)調(diào)整裝置中的獲取模塊和統(tǒng)計(jì)模塊可以位于用戶任務(wù)管理 模塊中，參數(shù)調(diào)整裝置中的調(diào)整模塊可以位于元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)中。最后應(yīng)說明的是以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對(duì)其限制；盡 管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解其依然 可以對(duì)前述實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換； 而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明實(shí)施例技術(shù)方案的精神和范 圍。
權(quán)利要求
1.一種參數(shù)調(diào)整方法，其特征在于，包括當(dāng)任務(wù)隊(duì)列發(fā)生變化時(shí)，根據(jù)任務(wù)隊(duì)列信息、分布式文件系統(tǒng)的數(shù)據(jù)塊信息和調(diào)度策 略生成調(diào)整策略；其中，所述調(diào)整策略為調(diào)整數(shù)據(jù)塊的副本數(shù)量，使得各數(shù)據(jù)塊被訪問的任 務(wù)總數(shù)與對(duì)應(yīng)的所述各數(shù)據(jù)塊的當(dāng)前副本所能支撐的任務(wù)總數(shù)達(dá)到平衡；根據(jù)所述調(diào)整策略對(duì)分布式文件系統(tǒng)中的各數(shù)據(jù)塊的副本數(shù)量進(jìn)行調(diào)整。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括根據(jù)變化后的任務(wù)隊(duì)列獲取任務(wù)隊(duì)列信息和所述任務(wù)隊(duì)列信息對(duì)應(yīng)的數(shù)據(jù)塊信息；根據(jù)所述任務(wù)隊(duì)列信息和所述任務(wù)隊(duì)列信息對(duì)應(yīng)的數(shù)據(jù)塊信息獲取所述任務(wù)隊(duì)列中 所有任務(wù)正在訪問和將要訪問的數(shù)據(jù)塊集合，并統(tǒng)計(jì)所述數(shù)據(jù)塊集合中各數(shù)據(jù)塊將被訪問 的任務(wù)數(shù)量和所述各數(shù)據(jù)塊正在被訪問的任務(wù)數(shù)量。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述當(dāng)任務(wù)隊(duì)列發(fā)生變化時(shí)，根據(jù)任務(wù)隊(duì) 列信息、分布式文件系統(tǒng)的數(shù)據(jù)塊信息和調(diào)度策略生成調(diào)整策略包括獲取所述數(shù)據(jù)塊集合中各數(shù)據(jù)塊將被訪問的任務(wù)數(shù)量和所述各數(shù)據(jù)塊正在被訪問的 任務(wù)數(shù)量，獲取所述分布式文件系統(tǒng)的數(shù)據(jù)塊信息，所述分布式文件系統(tǒng)的數(shù)據(jù)塊信息包 括所述數(shù)據(jù)塊集合中各數(shù)據(jù)塊當(dāng)前的副本數(shù)量和分布式文件系統(tǒng)的剩余空間量；根據(jù)所述各數(shù)據(jù)塊將被訪問的任務(wù)數(shù)量、所述各數(shù)據(jù)塊正在被訪問的任務(wù)數(shù)量、所述 各數(shù)據(jù)塊當(dāng)前的副本數(shù)量、分布式文件系統(tǒng)的剩余空間量和調(diào)度策略生成調(diào)整策略。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述各數(shù)據(jù)塊將被訪問的任務(wù) 數(shù)量、所述各數(shù)據(jù)塊正在被訪問的任務(wù)數(shù)量、所述各數(shù)據(jù)塊當(dāng)前的副本數(shù)量、分布式文件系 統(tǒng)的剩余空間量和調(diào)度策略生成調(diào)整策略包括根據(jù)所述各數(shù)據(jù)塊將被訪問的任務(wù)數(shù)量、所述各數(shù)據(jù)塊正在被訪問的任務(wù)數(shù)量、所述 各數(shù)據(jù)塊當(dāng)前的副本數(shù)量、預(yù)設(shè)的參考性能參數(shù)和調(diào)度策略計(jì)算所述各數(shù)據(jù)塊對(duì)應(yīng)的副本 數(shù)量的調(diào)整參數(shù)；根據(jù)所述各數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)、上調(diào)參考閾值、下調(diào)參考閾值、單位副 本占用空間量和所述分布式文件系統(tǒng)的剩余空間量生成所述各數(shù)據(jù)塊對(duì)應(yīng)的調(diào)整策略。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述各數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量 的調(diào)整參數(shù)、上調(diào)參考閾值、下調(diào)參考閾值、單位副本占用空間量和所述分布式文件系統(tǒng)的 剩余空間量生成所述各數(shù)據(jù)塊對(duì)應(yīng)的調(diào)整策略包括當(dāng)數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)的值為零時(shí)，生成所述數(shù)據(jù)塊對(duì)應(yīng)的調(diào)整策略為 不調(diào)整所述數(shù)據(jù)塊的副本數(shù)量；當(dāng)數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)的值大于零，且所述分布式文件系統(tǒng)的剩余空間 量大于所述上調(diào)參考閾值時(shí)，根據(jù)所述數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)、所述單位副本 占用空間量和所述分布式文件系統(tǒng)的剩余空間量計(jì)算所述數(shù)據(jù)塊的待調(diào)整的副本數(shù)量，并 生成所述數(shù)據(jù)塊對(duì)應(yīng)的調(diào)整策略為將所述數(shù)據(jù)塊的副本數(shù)量調(diào)整為所述數(shù)據(jù)塊的當(dāng)前副 本數(shù)量與所述待調(diào)整的副本數(shù)量之和；當(dāng)數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)的值小于零，且所述分布式文件系統(tǒng)的剩余空間 量小于所述下調(diào)參考閾值時(shí)，生成所述數(shù)據(jù)塊對(duì)應(yīng)的調(diào)整策略為將所述數(shù)據(jù)塊的副本數(shù)量 調(diào)整為所述數(shù)據(jù)塊的當(dāng)前副本數(shù)量與所述調(diào)整參數(shù)的絕對(duì)值之差。
6.根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的方法，其特征在于，所述根據(jù)所述調(diào)整策略對(duì)分布式文件系統(tǒng)中的各數(shù)據(jù)塊的副本數(shù)量進(jìn)行調(diào)整包括將所述調(diào)整策略從分布式計(jì)算框架發(fā)送到分布式文件系統(tǒng)；由所述分布式文件系統(tǒng)中的元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)根據(jù)所述調(diào)整策略對(duì)相應(yīng)的數(shù)據(jù)節(jié)點(diǎn) 中的數(shù)據(jù)塊的副本數(shù)量進(jìn)行調(diào)整。
7. 一種參數(shù)調(diào)整裝置，其特征在于，包括指令生成模塊，用于當(dāng)任務(wù)隊(duì)列發(fā)生變化時(shí)，根據(jù)任務(wù)隊(duì)列信息、分布式文件系統(tǒng)的數(shù) 據(jù)塊信息和調(diào)度策略生成調(diào)整策略；其中，所述調(diào)整策略為調(diào)整數(shù)據(jù)塊的副本數(shù)量，使得各 數(shù)據(jù)塊被訪問的任務(wù)總數(shù)與對(duì)應(yīng)的所述各數(shù)據(jù)塊的當(dāng)前副本所能支撐的任務(wù)總數(shù)達(dá)到平調(diào)整模塊，用于根據(jù)所述調(diào)整策略對(duì)分布式文件系統(tǒng)中的各數(shù)據(jù)塊的副本數(shù)量進(jìn)行調(diào)整。
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，還包括獲取模塊，用于根據(jù)變化后的任務(wù)隊(duì)列獲取任務(wù)隊(duì)列信息和所述任務(wù)隊(duì)列信息對(duì)應(yīng)的 數(shù)據(jù)塊信息；統(tǒng)計(jì)模塊，用于根據(jù)所述任務(wù)隊(duì)列信息和所述任務(wù)隊(duì)列信息對(duì)應(yīng)的數(shù)據(jù)塊信息獲取所 述任務(wù)隊(duì)列中所有任務(wù)正在訪問和將要訪問的數(shù)據(jù)塊集合，并統(tǒng)計(jì)所述數(shù)據(jù)塊集合中各數(shù) 據(jù)塊將被訪問的任務(wù)數(shù)量和所述各數(shù)據(jù)塊正在被訪問的任務(wù)數(shù)量。
9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述指令生成模塊包括獲取子模塊，用于獲取所述數(shù)據(jù)塊集合中各數(shù)據(jù)塊將被訪問的任務(wù)數(shù)量和所述各數(shù)據(jù) 塊正在被訪問的任務(wù)數(shù)量，獲取所述分布式文件系統(tǒng)的數(shù)據(jù)塊信息，所述分布式文件系統(tǒng) 的數(shù)據(jù)塊信息包括所述數(shù)據(jù)塊集合中各數(shù)據(jù)塊當(dāng)前的副本數(shù)量和分布式文件系統(tǒng)的剩余 空間量；生成子模塊，用于根據(jù)所述各數(shù)據(jù)塊將被訪問的任務(wù)數(shù)量、所述各數(shù)據(jù)塊正在被訪問 的任務(wù)數(shù)量、所述各數(shù)據(jù)塊當(dāng)前的副本數(shù)量、分布式文件系統(tǒng)的剩余空間量和調(diào)度策略生 成調(diào)整策略。
10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述生成子模塊包括計(jì)算單元，用于根據(jù)所述各數(shù)據(jù)塊將被訪問的任務(wù)數(shù)量、所述各數(shù)據(jù)塊正在被訪問的 任務(wù)數(shù)量、所述各數(shù)據(jù)塊當(dāng)前的副本數(shù)量、預(yù)設(shè)的參考性能參數(shù)和調(diào)度策略計(jì)算所述各數(shù) 據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)；生成單元，用于根據(jù)所述各數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)、上調(diào)參考閾值、下調(diào)參 考閾值、單位副本占用空間量和所述分布式文件系統(tǒng)的剩余空間量生成所述各數(shù)據(jù)塊對(duì)應(yīng) 的調(diào)整策略。
11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述生成單元包括第一生成子單元，用于當(dāng)數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)的值為零時(shí)，生成所述數(shù) 據(jù)塊對(duì)應(yīng)的調(diào)整策略為不調(diào)整所述數(shù)據(jù)塊的副本數(shù)量；第二生成子單元，用于當(dāng)數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)的值大于零，且所述分布 式文件系統(tǒng)的剩余空間量大于所述上調(diào)參考閾值時(shí)，根據(jù)所述數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào) 整參數(shù)、所述單位副本占用空間量和所述分布式文件系統(tǒng)的剩余空間量計(jì)算所述數(shù)據(jù)塊的 待調(diào)整的副本數(shù)量，并生成所述數(shù)據(jù)塊對(duì)應(yīng)的調(diào)整策略為將所述數(shù)據(jù)塊的副本數(shù)量調(diào)整為所述數(shù)據(jù)塊的當(dāng)前副本數(shù)量與所述待調(diào)整的副本數(shù)量之和；第三生成子單元，用于當(dāng)數(shù)據(jù)塊對(duì)應(yīng)的副本數(shù)量的調(diào)整參數(shù)的值小于零，且所述分布 式文件系統(tǒng)的剩余空間量小于所述下調(diào)參考閾值時(shí)，生成所述數(shù)據(jù)塊對(duì)應(yīng)的調(diào)整策略為將 所述數(shù)據(jù)塊的副本數(shù)量調(diào)整為所述數(shù)據(jù)塊的當(dāng)前副本數(shù)量與所述調(diào)整參數(shù)的絕對(duì)值之差。
12. —種分布式計(jì)算平臺(tái)系統(tǒng)，包括分布式計(jì)算框架和分布式文件系統(tǒng)，所述分布式計(jì) 算框架包括計(jì)算管理節(jié)點(diǎn)和多個(gè)計(jì)算節(jié)點(diǎn)，所述分布式文件系統(tǒng)包括元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)和 多個(gè)數(shù)據(jù)節(jié)點(diǎn)，所述計(jì)算管理節(jié)點(diǎn)包括用戶任務(wù)管理模塊和任務(wù)調(diào)度模塊；所述分布式計(jì) 算框架用于接收用戶提交的任務(wù)，并對(duì)任務(wù)隊(duì)列中的任務(wù)進(jìn)行管理和調(diào)度，所述分布式文 件系統(tǒng)用于保存數(shù)據(jù)塊信息，所述計(jì)算管理節(jié)點(diǎn)用于對(duì)任務(wù)隊(duì)列中的各個(gè)任務(wù)進(jìn)行管理和 調(diào)度，所述計(jì)算節(jié)點(diǎn)用于對(duì)數(shù)據(jù)塊進(jìn)行計(jì)算處理，所述元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)用于保存各文件 的數(shù)據(jù)分塊情況、各數(shù)據(jù)塊所在的數(shù)據(jù)節(jié)點(diǎn)信息以及各數(shù)據(jù)節(jié)點(diǎn)包含的數(shù)據(jù)塊信息，所述 數(shù)據(jù)節(jié)點(diǎn)用于保存實(shí)際的數(shù)據(jù)塊；其特征在于，所述分布式計(jì)算平臺(tái)系統(tǒng)還包括上述權(quán)利 要求7-11中任一項(xiàng)所述的參數(shù)調(diào)整裝置。
全文摘要
本發(fā)明實(shí)施例公開了一種參數(shù)調(diào)整方法、裝置和分布式計(jì)算平臺(tái)系統(tǒng)，其中方法包括當(dāng)任務(wù)隊(duì)列發(fā)生變化時(shí)，根據(jù)任務(wù)隊(duì)列信息、分布式文件系統(tǒng)的數(shù)據(jù)塊信息和調(diào)整策略生成調(diào)整策略；根據(jù)所述調(diào)整策略對(duì)分布式文件系統(tǒng)中的各數(shù)據(jù)塊的副本數(shù)量進(jìn)行調(diào)整。裝置包括指令生成模塊，用于當(dāng)任務(wù)隊(duì)列發(fā)生變化時(shí)，根據(jù)任務(wù)隊(duì)列信息、分布式文件系統(tǒng)的數(shù)據(jù)塊信息和調(diào)整策略生成調(diào)整策略；調(diào)整模塊，用于根據(jù)所述調(diào)整策略對(duì)分布式文件系統(tǒng)中的各數(shù)據(jù)塊的副本數(shù)量進(jìn)行調(diào)整。本實(shí)施例還提供了一種分布式計(jì)算平臺(tái)系統(tǒng)。本實(shí)施例能夠及時(shí)準(zhǔn)確地解決多個(gè)任務(wù)同時(shí)訪問同一數(shù)據(jù)塊導(dǎo)致的數(shù)據(jù)熱點(diǎn)問題。
文檔編號(hào)H04L29/08GK102111438SQ201010614960
公開日2011年6月29日 申請(qǐng)日期2010年12月24日 優(yōu)先權(quán)日2010年12月24日
發(fā)明者劉剛, 劉存?zhèn)? 陸元飛, 黃西華 申請(qǐng)人:華為技術(shù)有限公司