一種在線配置Hadoop參數(shù)的方法和裝置制造方法
【專利摘要】本發(fā)明公開了一種在線配置Hadoop參數(shù)的方法和裝置，以實現(xiàn)系統(tǒng)運行的性能最優(yōu)。該方法包括：對生產(chǎn)環(huán)境集群中作業(yè)的數(shù)據(jù)量進行監(jiān)控；當監(jiān)控到生產(chǎn)環(huán)境集群中作業(yè)的數(shù)據(jù)量大于預設值時，統(tǒng)計當前配置下k個節(jié)點在p個任務階段中每個任務階段完成作業(yè)的平均完成時間；分別計算集合與n個記錄中作業(yè)特征屬性集合的n個歐幾里得距離，獲得n個歐幾里得距離中最小歐幾里得距離對應的記錄；在當前配置和最優(yōu)配置的配置參數(shù)值不等時，將最優(yōu)配置設置為數(shù)據(jù)量大于預設值的作業(yè)在生產(chǎn)環(huán)境集群中運行時使用的配置。本發(fā)明能夠在可以接受的時間里將這些情況的作業(yè)運行調整到資源使用的平衡狀態(tài)，提高了系統(tǒng)在線運行的平均效率，實現(xiàn)系統(tǒng)運行的性能最優(yōu)。
【專利說明】—種在線配置Hadoop參數(shù)的方法和裝置
【技術領域】
[0001]本發(fā)明涉及云計算領域，具體涉及一種在線配置Hadoop參數(shù)的方法和裝置。
【背景技術】
[0002]Hadoop是Apache開源組織的一個分布式計算開源框架,被設計用來在由通用計算設備組成的大型集群上執(zhí)行分布式應用?；贘ava語言構建的Hadoop框架實際上是一種分布式處理大數(shù)據(jù)的平臺，在近十年中，Hadoop已成為大數(shù)據(jù)革命的中心。
[0003]然而，Hadoop目前有多達190個配置參數(shù)，其中，大約有20個參數(shù)對Hadoop應用程序的效率有顯著的影響。通過調整這些參數(shù)，可以進行四個方面的性能調優(yōu):CPU、內存、磁盤I/o和網(wǎng)絡進行優(yōu)化。例如，能影響磁盤I/O和CPU相關的參數(shù)包括mapred.compress,map.0utput、mapred.0utput, compress 和 mapred.map.0utput, compression, codec。這些參數(shù)用于控制是否對輸出進行壓縮，其中，mapred.compress, map.0utput用于map輸出壓縮,mapred.0utput, compress 用于作業(yè)輸出壓縮,M mapred.map.0utput, compression,codec是壓縮采用的壓縮編解碼器。除了默認的編解碼器，用戶也可以提供其他的壓縮編解碼器。這些選項在默認情況下都是禁用的。一方面，啟用輸出壓縮可以加快磁盤寫操作，減少數(shù)據(jù)傳輸?shù)目倳r間(在shuffle階段和HDFS寫階段都包括了磁盤IO資源和網(wǎng)絡資源的使用)，另一方面，壓縮/解壓過程會增加CPU資源的開銷。與內存使用相關的參數(shù)包括參數(shù) i0.sort, mb 和參數(shù) mapred.job.shuffle, input, buffer, percent,其中，i0.sort, mb設置用于map端排序的緩沖區(qū)大小，單位是MB，默認值是100。這個值越大，溢出到磁盤就越少，因此會減少map端的I/O時間，而增加這個值會導致每個map任務需要的內存增加。Reduce在shuffle階段對下載來的map數(shù)據(jù)，并不是立刻就寫入磁盤的，而是會先緩存在內存中，然后當使用內存達到一定量的時候才刷入磁盤。這個內存大小的控制就不像map一樣可以通過 i0.sort, mb 來設定了，而是通過參數(shù) mapred.job.shuffle, input, buffer,percent (默認值是 0.7)來設置。mapred.job.shuffle, input, buffer, percent 參數(shù)是一個百分比，表示shuffile在reduce內存中的數(shù)據(jù)最多使用內存量的百分比。默認情況下，reduce會使用其堆內存的70%來在內存中緩存數(shù)據(jù)。該參數(shù)的設置大小同樣也會影響到磁盤溢出的大小，設置合理可以使得磁盤I/O的使用和內存的使用相對平衡。
[0004]雖然Hadoop對這些參數(shù)提供了默認的配置值，但是使用默認的配置并不能很好地適應變化的工作負載，從而導致Hadoop集群性能地衰減，因此需要用戶通過設置配置文件mapred-site.xml中的一些參數(shù)來實現(xiàn)集群設置和調優(yōu)。然而，由于參數(shù)的配置空間巨大，即使用戶經(jīng)驗豐富，也不能很好地權衡CPU與I/O資源的使用，這就很容易產(chǎn)生出錯的配置。鑒于此，現(xiàn)有技術提出了采用基于代價的方法對Hadoop/MapReduce的性能進行數(shù)學上的建模，實現(xiàn)對配置不同參數(shù)條件下的系統(tǒng)性能的預測?；谠撃Ｐ筒捎眠f歸的隨機搜索算法自動地在參數(shù)空間中搜索最優(yōu)的參數(shù)配置，實現(xiàn)了參數(shù)的自動配置過程。
[0005]上述現(xiàn)有技術提供的方法都是在Hadoop/MapReduce的離線狀態(tài)下實施配置過程的，作業(yè)在Hadoop/MapReduce上運行時，這些配置不會發(fā)生改變。然而，對于連續(xù)運行的作業(yè)序列和數(shù)據(jù)計算分布不均勻的作業(yè)，這種配置方式將不再適應。首先，連續(xù)運行的作業(yè)序列在運行過程中，其配置需要根據(jù)不同的作業(yè)類型進行調整，因為不同的作業(yè)類型使用的CPU和I/O資源有可能不一樣，固定的一種配置不再適應不同作業(yè)類型構成的序列。其次，對于數(shù)據(jù)計算分布不均勻的作業(yè)，這種作業(yè)輸入的數(shù)據(jù)量大，處理這些數(shù)據(jù)的不同部分耗費的CPU資源是不一樣的，當數(shù)據(jù)處理耗費的資源發(fā)生變化時就有必要調整Hadoop/MapReduce的參數(shù)配置以適應新的情況，使得作業(yè)完成的時間達到最優(yōu)。

【發(fā)明內容】

[0006]本發(fā)明實施例提供一種在線配置Hadoop參數(shù)的方法和裝置，以針對連續(xù)運行的作業(yè)序列或數(shù)據(jù)計算分布不均勻的作業(yè)，將其運行調整至資源使用的平衡狀態(tài)，實現(xiàn)系統(tǒng)運行的性能最優(yōu)。
[0007]本發(fā)明實施例提供一種在線配置Hadoop參數(shù)的方法，所述方法包括:
[0008]作業(yè)監(jiān)控器對生產(chǎn)環(huán)境集群中用戶所提交作業(yè)的數(shù)據(jù)量進行監(jiān)控；
[0009]當監(jiān)控到所述生產(chǎn)環(huán)境集群中用戶所提交作業(yè)的數(shù)據(jù)量大于預設值時，所述作業(yè)監(jiān)控器統(tǒng)計當前配置下所述生產(chǎn)環(huán)境集群的k個節(jié)點在P個任務階段中每個任務階段完成所述用戶所提交作業(yè)的平均完成時間Patphase，所述P個平均完成時間Patphase構成集合PhaseAveTime,所述k為大于I的自然數(shù)；
[0010]作業(yè)匹配器分別計算所述集合PhaseAveTime與配置數(shù)據(jù)庫η個記錄中作業(yè)特征屬性集合JobAveTime的η個歐幾里得距離，獲得所述η個歐幾里得距離中最小歐幾里得距離對應的記錄，所述配置數(shù)據(jù)庫η個記錄分別包含η個作業(yè)對應的η個訓練作業(yè)在訓練時獲得的η個作業(yè)特征屬性集合和η個完成所述η個訓練作業(yè)時所使用的最優(yōu)配置，所述η為大于I的自然數(shù)；
[0011]資源平衡器比較所述當前配置和最優(yōu)配置，若所述當前配置和最優(yōu)配置的配置參數(shù)值不等，則將所述最優(yōu)配置設置為所述數(shù)據(jù)量大于預設值的用戶所提交作業(yè)在所述生產(chǎn)環(huán)境集群中運行時使用的配置。
[0012]本發(fā)明另一實施例提供一種在線配置Hadoop參數(shù)的裝置，所述裝置包括:
[0013]作業(yè)監(jiān)控器，用于對生產(chǎn)環(huán)境集群中用戶所提交作業(yè)的數(shù)據(jù)量進行監(jiān)控；當監(jiān)控到所述生產(chǎn)環(huán)境集群中用戶所提交作業(yè)的數(shù)據(jù)量大于預設值時，統(tǒng)計當前配置下所述生產(chǎn)環(huán)境集群的k個節(jié)點在P個任務階段中每個任務階段完成所述用戶所提交作業(yè)的平均完成時間patphase,所述P個平均完成時間Patphase構成集合PhaseAveTime,所述k為大于I的自然數(shù)；
[0014]作業(yè)匹配器器，用于分別計算所述集合PhaseAveTime與配置數(shù)據(jù)庫η個記錄中作業(yè)特征屬性集合JobAveTime的η個歐幾里得距離，獲得所述η個歐幾里得距離中最小歐幾里得距離對應的記錄，所述配置數(shù)據(jù)庫η個記錄分別包含η個作業(yè)對應的η個訓練作業(yè)在訓練時獲得的η個作業(yè)特征屬性集合和η個完成所述η個訓練作業(yè)時所使用的最優(yōu)配置，所述η為大于I的自然數(shù)；
[0015]資源平衡器，用于比較所述當前配置和最優(yōu)配置，若所述當前配置和最優(yōu)配置的配置參數(shù)值不等，則將所述最優(yōu)配置設置為所述數(shù)據(jù)量大于預設值的用戶所提交作業(yè)在所述生產(chǎn)環(huán)境集群中運行時使用的配置。[0016]從上述本發(fā)明實施例可知，一方面，由于作業(yè)監(jiān)控器是在監(jiān)控到生產(chǎn)環(huán)境集群中用戶所提交作業(yè)的數(shù)據(jù)量大于預設值時才觸發(fā)Hadoop參數(shù)的在線配置，而確定η個作業(yè)對應的η個訓練作業(yè)在訓練時獲得的η個作業(yè)特征屬性集合和η個完成所述η個訓練作業(yè)時所使用的最優(yōu)配置的計算節(jié)點不屬于生產(chǎn)環(huán)境集群，其確定特征屬性集合和最優(yōu)配置的過程是離線過程，因此在線配置Hadoop參數(shù)的過程不會影響實際系統(tǒng)的正常運行?’另一方面，資源平衡器經(jīng)比較獲知當前配置和最優(yōu)配置的配置參數(shù)值不等時，將所述最優(yōu)配置設置為數(shù)據(jù)量大于預設值的用戶所提交作業(yè)在所述生產(chǎn)環(huán)境集群中運行時使用的配置，因此，在數(shù)據(jù)中心具有大量、連續(xù)運行的作業(yè)序列或數(shù)據(jù)計算分布不均勻的作業(yè)時，本發(fā)明實施例提供的方法和裝置能夠適應作業(yè)調整的情況和數(shù)據(jù)計算分布不均勻的情況，在可以接受的時間里將這些情況的作業(yè)運行調整到資源使用的平衡狀態(tài)，提高了系統(tǒng)在線運行的平均效率，實現(xiàn)系統(tǒng)運行的性能最優(yōu)。
【專利附圖】

【附圖說明】
[0017]圖1是本發(fā)明實施例提供的在線配置Hadoop參數(shù)的方法的基本流程示意圖；
[0018]圖2-a是本發(fā)明實施例提供的在線配置Hadoop參數(shù)的裝置邏輯結構示意圖；
[0019]圖2-b是本發(fā)明實施例提供的在線配置Hadoop參數(shù)的裝置中各器件與配置數(shù)據(jù)庫等的連接關系不意圖； [0020]圖3是本發(fā)明另一實施例提供的在線配置Hadoop參數(shù)的裝置邏輯結構示意圖；
[0021]圖4是本發(fā)明另一實施例提供的在線配置Hadoop參數(shù)的裝置邏輯結構示意圖；
[0022]圖5-a是本發(fā)明另一實施例提供的在線配置Hadoop參數(shù)的裝置邏輯結構示意圖；
[0023]圖5-b是本發(fā)明另一實施例提供的在線配置Hadoop參數(shù)的裝置邏輯結構示意圖；
[0024]圖5-c是本發(fā)明另一實施例提供的在線配置Hadoop參數(shù)的裝置邏輯結構示意圖；
[0025]圖6-a是本發(fā)明另一實施例提供的在線配置Hadoop參數(shù)的裝置邏輯結構示意圖；
[0026]圖6-b是本發(fā)明另一實施例提供的在線配置Hadoop參數(shù)的裝置邏輯結構示意圖；
[0027]圖6-c是本發(fā)明另一實施例提供的在線配置Hadoop參數(shù)的裝置邏輯結構示意圖?！揪唧w實施方式】
[0028]本發(fā)明實施例提供一種在線配置Hadoop參數(shù)的方法，包括:作業(yè)監(jiān)控器對生產(chǎn)環(huán)境集群中用戶所提交作業(yè)的數(shù)據(jù)量進行監(jiān)控；當監(jiān)控到所述生產(chǎn)環(huán)境集群中用戶所提交作業(yè)的數(shù)據(jù)量大于預設值時，所述作業(yè)監(jiān)控器統(tǒng)計當前配置下所述生產(chǎn)環(huán)境集群的k個節(jié)點在P個任務階段中每個任務階段完成所述用戶所提交作業(yè)的平均完成時間patph_，所述P個平均完成時間Patphase構成集合PhaseAveTime,所述k為大于I的自然數(shù)；作業(yè)匹配器分別計算所述集合PhaseAveTime與配置數(shù)據(jù)庫η個記錄中作業(yè)特征屬性集合JobAveTime的η個歐幾里得距離，獲得所述η個歐幾里得距離中最小歐幾里得距離對應的記錄，所述配置數(shù)據(jù)庫η個記錄分別包含η個作業(yè)對應的η個訓練作業(yè)在訓練時獲得的η個作業(yè)特征屬性集合和η個完成所述η個訓練作業(yè)時所使用的最優(yōu)配置，所述η為大于I的自然數(shù)；資源平衡器比較所述當前配置和最優(yōu)配置，若所述當前配置和最優(yōu)配置的配置參數(shù)值不等，則將所述最優(yōu)配置設置為所述數(shù)據(jù)量大于預設值的用戶所提交作業(yè)在所述生產(chǎn)環(huán)境集群中運行時使用的配置。本發(fā)明實施例還提供相應的在線配置Hadoop參數(shù)的裝置。以下分別進行詳細說明。
[0029]本發(fā)明實施例的在線配置Hadoop參數(shù)的方法的基本流程可參考圖1，該方法可用于Hadoop集群。需要說明的是，由于Hadoop/MapReduce框架并不支持在線調整參數(shù)配置及時生效的機制，由此，在實現(xiàn)本發(fā)明的在線配置Hadoop參數(shù)的方法時，需要修改Hadoop/MapReduce源碼，增加參數(shù)修改后立即生效的機制；該機制是通過在需要參數(shù)數(shù)值的代碼段之前加入重新讀入?yún)?shù)和初始化對應資源的代碼而實現(xiàn)的。附圖1示例的在線配置Hadoop參數(shù)的方法主要包括如下步驟SlOl至步驟S104:
[0030]S101，作業(yè)監(jiān)控器對生產(chǎn)環(huán)境集群中用戶所提交作業(yè)的數(shù)據(jù)量進行監(jiān)控。
[0031]在本發(fā)明實施例中，生產(chǎn)環(huán)境集群可以是MapReduce生產(chǎn)環(huán)境集群。
[0032]S102，當監(jiān)控到生產(chǎn)環(huán)境集群中用戶所提交作 業(yè)的數(shù)據(jù)量大于預設值時，作業(yè)監(jiān)控器統(tǒng)計當前配置下所述生產(chǎn)環(huán)境集群的k個節(jié)點在P個任務階段中每個任務階段完成用戶所提交作業(yè)的平均完成時間Patphase，其中，P個平均完成時間Patphase構成集合PhaseAveTime, k為大于I的自然數(shù)。
[0033]在本發(fā)明實施例中，作業(yè)監(jiān)控器并非每時每刻都對生產(chǎn)環(huán)境集群中用戶所提交作業(yè)的運行狀況進行監(jiān)控。一般情況下，作業(yè)監(jiān)控器每分鐘進行一次周期性地監(jiān)控，監(jiān)控生產(chǎn)環(huán)境集群中是否有用戶新提交作業(yè)。當作業(yè)監(jiān)控器監(jiān)控到新的用戶所提交作業(yè)啟動，并且其數(shù)據(jù)量大于預設值(例如，50G)的事件發(fā)生時才觸發(fā)在線配置的過程。由于這一結果可以通過Hadoop自身的日志系統(tǒng)得到，不需要額外的負載計算，因此，在線配置不會影響實際系統(tǒng)的正常運行。
[0034]需要說明的是，本發(fā)明所述的P個任務階段可以是map任務的5個任務階段即{read, map, collect, spill, merge}和 reduce 任務的 4 個任務階段即{shuffle,sort, reduce, write},為了下文描述的方便，將map任務的5個任務階段{read, map,collect, spill, merge}記為集合 MPhase,即 MPhase={read, map, collect, spill,merge},將 reduce 任務的 4 個任務階段{read, map, collect, spill, merge}記為集合 RPhase,即 RPhase= {shuffle, sort, reduce, write},兩個集合的合集記為 Phase,即Phase=MPhase U RPhase。
[0035]作為本發(fā)明一個實施例，作業(yè)監(jiān)控器統(tǒng)計當前配置下生產(chǎn)環(huán)境集群的k個節(jié)點在P個任務階段中每個任務階段完成用戶所提交作業(yè)的平均完成時間Patph可以是包括如下步驟S1021和步驟S1022:
[0036]S1021，統(tǒng)計當前配置下生產(chǎn)環(huán)境集群的k個節(jié)點中任意第i個節(jié)點在P個任務階段中每個任務階段完成用戶所提交作業(yè)的完成時間^imeiphase。
[0037]中的下標phase表示P個任務階段中任意一個任務階段。如前所述，Phase=MPhase U RPhase,因此，就表示當前配置下生產(chǎn)環(huán)境集群的k個節(jié)點中任意第i個節(jié)點在read這一任務階段完成用戶所提交作業(yè)的完成時間，Scollect、等的含義類推。
[0038]S1022%/W 按照公式
【權利要求】
1.一種在線配置Hadoop參數(shù)的方法，其特征在于，所述方法包括: 作業(yè)監(jiān)控器對生產(chǎn)環(huán)境集群中用戶所提交作業(yè)的數(shù)據(jù)量進行監(jiān)控； 當監(jiān)控到所述生產(chǎn)環(huán)境集群中用戶所提交作業(yè)的數(shù)據(jù)量大于預設值時，所述作業(yè)監(jiān)控器統(tǒng)計當前配置下所述生產(chǎn)環(huán)境集群的k個節(jié)點在P個任務階段中每個任務階段完成所述用戶所提交作業(yè)的平均完成時間Patphase，所述P個平均完成時間patphase構成集合PhaseAveTime,所述k為大于I的自然數(shù)； 作業(yè)匹配器器分別計算所述集合PhaseAveTime與配置數(shù)據(jù)庫η個記錄中作業(yè)特征屬性集合JobAveTime的η個歐幾里得距離，獲得所述η個歐幾里得距離中最小歐幾里得距離對應的記錄，所述配置數(shù)據(jù)庫η個記錄分別包含η個作業(yè)對應的η個訓練作業(yè)在訓練時獲得的η個作業(yè)特征屬性集合和η個完成所述η個訓練作業(yè)時所使用的最優(yōu)配置，所述η為大于I的自然數(shù)； 資源平衡器比較所述當前配置和最優(yōu)配置，若所述當前配置和最優(yōu)配置的配置參數(shù)值不等，則將所述最優(yōu)配置設置為所述數(shù)據(jù)量大于預設值的用戶所提交作業(yè)在所述生產(chǎn)環(huán)境集群中運行時使用的配置。
2.根據(jù)權利要求1所述的方法，其特征在于，所述作業(yè)監(jiān)控器統(tǒng)計當前配置下所述生產(chǎn)環(huán)境集群的k個節(jié)點在P個任務階段中每個任務階段完成所述用戶所提交作業(yè)的平均完成時間Patphase,包括: 統(tǒng)計當前配置下所述生產(chǎn)環(huán)境集群的k個節(jié)點中任意第i個節(jié)點在P個任務階段中每個任務階段完成所述用戶所提交作業(yè)的完成時間time、； 對所述按照公式
3.根據(jù)權利要求1所述的方法，其特征在于，所述作業(yè)匹配器分別計算所述集合PhaseAveTime與配置數(shù)據(jù)庫η個記錄中作業(yè)特征屬性集合JobAveTime的η個歐幾里得距離，獲得所述η個歐幾里得距離中最小歐幾里得距離對應的記錄，包括: 按照公式T—idDistunce=丨(Σ)計算所述集合Vpkase&PhasePhaseAveTime與配置數(shù)據(jù)庫η個記錄中作業(yè)特征屬性集合JobAveTime的η個歐幾里得距離，所述TimeEuclidDistance為所述集合PhaseAveTime與配置數(shù)據(jù)庫η個記錄中作業(yè)特征屬性集合JobAveTime的η個歐幾里得距離中的任意一個歐幾里得距離，所述jatphase e JobAveTime,所述jatphase為對所述η個作業(yè)中的一個作業(yè)進行s次隨機抽樣所得s個訓練作業(yè)Ws提交至測試環(huán)境集群中運行時，在所述P個任務階段中一個任務階段完成所述s次所述η個作業(yè)中的一個作業(yè)的平均完成時間，所述Phase為所述p個任務階段構成的集合，所述phase為所述Phase中的元素； 獲得TimeEuclidDistance的最小值后，從所述配置數(shù)據(jù)庫中取使得所述η個歐幾里得距離中歐幾里得距離最小時對應的記錄。
4.根據(jù)權利要求1至3任意一項所述的方法，其特征在于，所述作業(yè)監(jiān)控器對生產(chǎn)環(huán)境集群中用戶所提交作業(yè)的數(shù)據(jù)量進行監(jiān)控之前，還包括: 作業(yè)訓練器獲取所述η個作業(yè)對應的η個訓練作業(yè)在訓練時獲得的η個作業(yè)特征屬性集合和完成所述η個訓練作業(yè)時所使用的η個最優(yōu)配置。
5.根據(jù)權利要求4所述的方法，其特征在于，所述作業(yè)訓練器獲取所述η個作業(yè)對應的η個訓練作業(yè)在訓練時獲得的η個作業(yè)特征屬性集合和完成所述η個訓練作業(yè)時所使用的η個最優(yōu)配置，包括如下步驟SI至步驟S4: SI，對所述η個訓練作業(yè)中每一個提交至作業(yè)訓練器的訓練作業(yè)，所述作業(yè)訓練器在配置參數(shù)表中搜索一個配置C設置用于運行所述訓練作業(yè)的測試環(huán)境集群； S2，計算在所述配置C下P個任務階段中每個任務階段完成m個map任務的平均完成時間aveTimemphase和r個reduce任務的平均完成時間BveTimeiphase,所述
6.一種在線配置Hadoop參數(shù)的裝置，其特征在于，所述裝置包括: 作業(yè)監(jiān)控器，用于對生產(chǎn)環(huán)境集群中用戶所提交作業(yè)的數(shù)據(jù)量進行監(jiān)控；當監(jiān)控到所述生產(chǎn)環(huán)境集群中用戶所提交作業(yè)的數(shù)據(jù)量大于預設值時，統(tǒng)計當前配置下所述生產(chǎn)環(huán)境集群的k個節(jié)點在P個任務階段中每個任務階段完成所述用戶所提交作業(yè)的平均完成時間Patphase,所述P個平均完成時間patphase構成集合PhaseAveTime,所述k為大于I的自然數(shù)；作業(yè)匹配器，用于分別計算所述集合PhaseAveTime與配置數(shù)據(jù)庫η個記錄中作業(yè)特征屬性集合JobAveTime的η個歐幾里得距離，獲得所述η個歐幾里得距離中最小歐幾里得距離對應的記錄，所述配置數(shù)據(jù)庫η個記錄分別包含η個作業(yè)對應的η個訓練作業(yè)在訓練時獲得的η個作業(yè)特征屬性集合和η個完成所述η個訓練作業(yè)時所使用的最優(yōu)配置，所述η為大于I的自然數(shù)； 資源平衡器，用于比較所述當前配置和最優(yōu)配置，若所述當前配置和最優(yōu)配置的配置參數(shù)值不等，則將所述最優(yōu)配置設置為所述數(shù)據(jù)量大于預設值的用戶所提交作業(yè)在所述生產(chǎn)環(huán)境集群中運行時使用的配置。
7.根據(jù)權利要求6所述的裝置，其特征在于，所述作業(yè)監(jiān)控器包括: 統(tǒng)計模塊，用于統(tǒng)計當前配置下所述生產(chǎn)環(huán)境集群的k個節(jié)點中任意第i個節(jié)點在P個任務階段中每個任務階段完成所述用戶所提交作業(yè)的完成時間Sphase ； 第一計算模塊，用于對所述按
8.根據(jù)權利要求6所述的裝置，其特征在于，所述作業(yè)匹配器包括: 歐幾里得距離計算模塊，用于按照公式TimAudidDistunce =
9.根據(jù)權利要求6至8任意一項所述的裝置，其特征在于，所述裝置還包括: 作業(yè)訓練器，用于獲取所述η個作業(yè)對應的η個訓練作業(yè)在訓練時獲得的η個作業(yè)特征屬性集合和完成所述η個訓練作業(yè)時所使用的η個最優(yōu)配置。
10.根據(jù)權利要求9所述的裝置，其特征在于，所述作業(yè)訓練器包括: 配置搜索模塊，用于對所述η個訓練作業(yè)中每一個提交至作業(yè)訓練器的訓練作業(yè)，所述作業(yè)訓練器在配置參數(shù)表中搜索一個配置C設置用于運行所述訓練作業(yè)的測試環(huán)境集群; 第二計算模塊，用于計算在所述配置C下P個任務階段中每個任務階段完成m個map任務的平均完成時間aveTimemphase和r個reduce任務的平均完成時間aveTimerphase,所述
【文檔編號】H04L29/08GK103701635SQ201310672010
【公開日】2014年4月2日 申請日期:2013年12月10日 優(yōu)先權日:2013年12月10日
【發(fā)明者】貝振東, 喻之斌, 曾經(jīng)緯, 張慧玲, 須成忠 申請人:中國科學院深圳先進技術研究院