本發(fā)明涉及通信領(lǐng)域，具體而言，涉及一種Hadoop集群組件指標(biāo)的采集方法及裝置。

背景技術(shù)：

基于Hadoop生態(tài)圈的大數(shù)據(jù)管理系統(tǒng)(以下簡稱大數(shù)據(jù)管理系統(tǒng))是大數(shù)據(jù)系統(tǒng)的關(guān)鍵系統(tǒng)之一。通過大數(shù)據(jù)管理系統(tǒng)可以實(shí)現(xiàn)對資源的管理，如集群創(chuàng)建、HBase分布式數(shù)據(jù)庫、HDFS文件系統(tǒng)、MR程序資源、節(jié)點(diǎn)資源、安裝資源、用戶狀態(tài)等；通過大數(shù)據(jù)管理系統(tǒng)可以實(shí)現(xiàn)對關(guān)系的管理，如用戶與分布式文件目錄的關(guān)系、MR程序資源與節(jié)點(diǎn)資源的關(guān)系、安裝資源與節(jié)點(diǎn)資源的關(guān)系等；通過大數(shù)據(jù)管理系統(tǒng)可以實(shí)現(xiàn)對行為的管理和組件資源、性能指標(biāo)的監(jiān)控，如HDFS服務(wù)的DataNode的節(jié)點(diǎn)遠(yuǎn)程安裝、服務(wù)的啟動(dòng)和停止和Yarn運(yùn)行、作業(yè)狀態(tài)監(jiān)控等。

大數(shù)據(jù)管理系統(tǒng)中Hadoop集群的運(yùn)行、作業(yè)等狀態(tài)監(jiān)控是大數(shù)據(jù)管理系統(tǒng)正常運(yùn)行的重要保障。集群中組件監(jiān)控主要涉及性能指標(biāo)采集技術(shù)，目前，網(wǎng)絡(luò)管理系統(tǒng)性能指標(biāo)主要有被動(dòng)收集和主動(dòng)輪詢采集兩種常用采集方法。

相關(guān)技術(shù)中的主動(dòng)輪詢采集算法主要有：等時(shí)間間隔輪詢周期性采集算法，雖然操作簡單、實(shí)施方便，但是輪詢間隔確定比較困難，間隔時(shí)間過長，無法保證實(shí)時(shí)性，間隔時(shí)間過短，增加集群中節(jié)點(diǎn)主機(jī)負(fù)載和數(shù)據(jù)入庫匯總壓力，甚至?xí)?dǎo)致采集數(shù)據(jù)丟失；基于歷史輪詢往返延遲的算法，主要根據(jù)歷史輪詢請求響應(yīng)時(shí)間決定下一個(gè)輪詢間隔，該值與網(wǎng)絡(luò)帶寬狀態(tài)有關(guān)，雖然能夠簡單動(dòng)態(tài)地調(diào)節(jié)輪詢時(shí)間，但是隨時(shí)間變化的網(wǎng)絡(luò)狀態(tài)信息對網(wǎng)絡(luò)性能和故障管理有很大影響，而且該算法不能動(dòng)態(tài)表示出數(shù)據(jù)變化的細(xì)節(jié)。隨著人工智能、神經(jīng)網(wǎng)絡(luò)等技術(shù)的出現(xiàn)，輪詢算法也有所改進(jìn)，出現(xiàn)了基于一元線性回歸等單一預(yù)測算法的輪詢策略，都是通過將采集的歷史數(shù)據(jù)預(yù)測值與實(shí)際值偏差與門限對比，動(dòng)態(tài)調(diào)節(jié)輪詢時(shí)間，能夠刻畫數(shù)據(jù)細(xì)節(jié)并且簡單智能調(diào)節(jié)，但是單一預(yù)測算法會(huì)存在適用場景限制和準(zhǔn)確性等問題，例如：一元線性回歸算法在波動(dòng)較大的數(shù)據(jù)中性能并不理想，而像Yarn這樣計(jì)算型組件指標(biāo)值波動(dòng)較大，計(jì)算會(huì)出現(xiàn)較大誤差。此外，相關(guān)技術(shù)中指標(biāo)采集策略中忽略集群中節(jié)點(diǎn)的負(fù)載情況與Hadoop組件特性，在節(jié)點(diǎn)重載情況下，甚至?xí)霈F(xiàn)無法完成組件指標(biāo)采集任務(wù)的情況，從而影響整個(gè)大數(shù)據(jù)管理系統(tǒng)正常運(yùn)行。

針對相關(guān)技術(shù)中指標(biāo)采集輪詢策略中忽略集群中節(jié)點(diǎn)負(fù)載與Hadoop組件特性的導(dǎo)致性能不佳的問題，目前尚未存在有效的解決方案。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供了一種Hadoop集群組件指標(biāo)的采集方法及裝置，以至少解決相關(guān)技術(shù)中指標(biāo)采集輪詢策略中忽略集群中節(jié)點(diǎn)負(fù)載與Hadoop組件特性的導(dǎo)致性能不佳的問題。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種Hadoop集群組件指標(biāo)的采集方法，包括：獲取Hadoop集群組件中第一節(jié)點(diǎn)在指定時(shí)刻之前多個(gè)時(shí)刻的指標(biāo)值；根據(jù)第一預(yù)定規(guī)則通過所述多個(gè)時(shí)刻的指標(biāo)值得到所述第一節(jié)點(diǎn)在所述指定時(shí)刻的第一指標(biāo)預(yù)測值；獲取所述第一節(jié)點(diǎn)的多個(gè)負(fù)載參數(shù)，以及所述第一指標(biāo)預(yù)測值與所述指定時(shí)刻的實(shí)際采集指標(biāo)值之間的偏差值；根據(jù)所述第一節(jié)點(diǎn)的組件類型對所述多個(gè)負(fù)載參數(shù)以及所述偏差值進(jìn)行加權(quán)計(jì)算，并根據(jù)第二預(yù)定規(guī)則通過加權(quán)計(jì)算的結(jié)果得到采集所述Hadoop集群組件指標(biāo)的采集時(shí)間；在達(dá)到所述采集時(shí)間時(shí)，采集所述Hadoop集群組件指標(biāo)并將所述Hadoop集群組件指標(biāo)上報(bào)到管理系統(tǒng)。

進(jìn)一步地，根據(jù)第一預(yù)定規(guī)則通過所述多個(gè)時(shí)刻的指標(biāo)值得到所述第一節(jié)點(diǎn)在所述指定時(shí)刻的第一指標(biāo)預(yù)測值包括：根據(jù)灰度模型通過所述多個(gè)時(shí)刻的指標(biāo)值得到所述指定時(shí)刻的指標(biāo)初步預(yù)測值；根據(jù)馬爾科夫鏈模型通過所述指標(biāo)初步預(yù)測值與所述指定時(shí)刻的實(shí)際采集值得到所述指定時(shí)刻的指標(biāo)初步預(yù)測偏差值；根據(jù)所述指標(biāo)初步預(yù)測偏差值與所述指標(biāo)初步預(yù)測值計(jì)算出所述第一指標(biāo)預(yù)測值。

進(jìn)一步地，根據(jù)第二預(yù)定規(guī)則得到所述Hadoop集群組件指標(biāo)的采集時(shí)間包括：將加權(quán)計(jì)算得到的結(jié)果與預(yù)先設(shè)定的門限值進(jìn)行比較；根據(jù)比較結(jié)果得到所述指定時(shí)刻的輪詢延遲時(shí)間，將所述輪詢延遲時(shí)間加上預(yù)設(shè)輪詢周期時(shí)間的和作為采集Hadoop集群組件指標(biāo)值的采集時(shí)間。

進(jìn)一步地，所述第一節(jié)點(diǎn)的所述負(fù)載參數(shù)包括：CPU使用率、內(nèi)存使用率、帶寬使用率、傳輸時(shí)延。

進(jìn)一步地，所述第一節(jié)點(diǎn)的組件類型包括：計(jì)算型和存儲(chǔ)型。

根據(jù)本發(fā)明的另一個(gè)方面，提供了一種Hadoop集群組件指標(biāo)的采集裝置，包括：第一獲取模塊，用于獲取Hadoop集群組件中第一節(jié)點(diǎn)在指定時(shí)刻之前多個(gè)時(shí)刻的指標(biāo)值；第一處理模塊，用于根據(jù)第一預(yù)定規(guī)則通過所述多個(gè)時(shí)刻的指標(biāo)值得到所述第一節(jié)點(diǎn)在所述指定時(shí)刻的第一指標(biāo)預(yù)測值；第二獲取模塊，用于獲取所述第一節(jié)點(diǎn)的多個(gè)負(fù)載參數(shù)，以及所述第一指標(biāo)預(yù)測值與所述指定時(shí)刻的實(shí)際采集指標(biāo)值之間的偏差值；第二處理模塊，用于根據(jù)所述第一節(jié)點(diǎn)的組件類型對所述多個(gè)負(fù)載參數(shù)以及所述偏差值進(jìn)行加權(quán)計(jì)算，并根據(jù)第二預(yù)定規(guī)則通過加權(quán)計(jì)算的結(jié)果得到采集所述Hadoop集群組件指標(biāo)的采集時(shí)間；采集模塊，用于在達(dá)到所述采集時(shí)間時(shí)，采集所述Hadoop集群組件指標(biāo)并將所述Hadoop集群組件指標(biāo)上報(bào)到管理系統(tǒng)。

進(jìn)一步地，所述第一處理模塊包括：第一處理單元，用于根據(jù)灰度模型通過所述多 個(gè)時(shí)刻的指標(biāo)值得到所述指定時(shí)刻的指標(biāo)初步預(yù)測值；第二處理單元，用于根據(jù)馬爾科夫鏈模型通過所述指標(biāo)初步預(yù)測值與所述指定時(shí)刻的實(shí)際采集值得到所述指定時(shí)刻的指標(biāo)初步預(yù)測偏差值；計(jì)算單元，用于根據(jù)所述指標(biāo)初步預(yù)測偏差值與所述指標(biāo)初步預(yù)測值計(jì)算出所述第一指標(biāo)預(yù)測值。

進(jìn)一步地，所述第二處理模塊包括：比較單元，用于將加權(quán)計(jì)算得到的結(jié)果與預(yù)先設(shè)定的門限值進(jìn)行比較；第三處理單元，用于根據(jù)比較結(jié)果得到所述指定時(shí)刻的輪詢延遲時(shí)間，將所述輪詢延遲時(shí)間加上預(yù)設(shè)輪詢周期時(shí)間的和作為采集Hadoop集群組件指標(biāo)值的采集時(shí)間。

進(jìn)一步地，所述第一節(jié)點(diǎn)的所述負(fù)載參數(shù)包括：CPU使用率、內(nèi)存使用率、帶寬使用率、傳輸時(shí)延。

進(jìn)一步地，所述第一節(jié)點(diǎn)的組件類型包括：計(jì)算型和存儲(chǔ)型。

在本發(fā)明中，采用將獲取到的Hadoop集群組件中第一節(jié)點(diǎn)在指定時(shí)刻之前多個(gè)時(shí)刻的指標(biāo)值通過第一預(yù)定規(guī)則得到該第一節(jié)點(diǎn)在該指定時(shí)刻的第一指標(biāo)預(yù)測值，通該第一指標(biāo)預(yù)測值與該指定時(shí)刻的實(shí)際采集指標(biāo)值之間的偏差值與該第一節(jié)點(diǎn)的多個(gè)負(fù)載參數(shù)進(jìn)行加權(quán)計(jì)算，將該加權(quán)計(jì)算的結(jié)果通過第二預(yù)定規(guī)則得到該采集該Hadoop集群組件指標(biāo)的采集時(shí)間，在達(dá)到采集時(shí)間時(shí)，采集Hadoop集群組件指標(biāo)并將Hadoop集群組件指標(biāo)上報(bào)到管理系統(tǒng)；可見，在發(fā)明中中結(jié)合節(jié)點(diǎn)主機(jī)負(fù)載與待采集組件類型，動(dòng)態(tài)調(diào)節(jié)集群中組件指標(biāo)采集時(shí)間，從而解決了相關(guān)技術(shù)中指標(biāo)采集輪詢策略中忽略集群中節(jié)點(diǎn)負(fù)載與Hadoop組件特性的導(dǎo)致性能不佳的問題。

附圖說明

此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中：

圖1是根據(jù)本發(fā)明實(shí)施例的Hadoop集群組件指標(biāo)的采集方法的流程圖；

圖2是根據(jù)本發(fā)明實(shí)施例的Hadoop集群組件指標(biāo)的采集裝置的結(jié)構(gòu)框圖；

圖3是根據(jù)本發(fā)明實(shí)施例的Hadoop集群組件指標(biāo)的采集裝置的可選結(jié)構(gòu)框圖一；

圖4是根據(jù)本發(fā)明實(shí)施例的Hadoop集群組件指標(biāo)的采集裝置的可選結(jié)構(gòu)框圖二；

圖5是根據(jù)本發(fā)明可選實(shí)施例的Hadoop組件指標(biāo)輪詢采集模塊結(jié)構(gòu)框圖；

圖6是根據(jù)本發(fā)明可選實(shí)施例的Hadoop組件指標(biāo)輪詢延遲時(shí)間計(jì)算流程圖。

具體實(shí)施方式

下文中將參考附圖并結(jié)合實(shí)施例來詳細(xì)說明本發(fā)明。需要說明的是，在不沖突的情 況下，本申請中的實(shí)施例及實(shí)施例中的特征可以相互組合。

需要說明的是，本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別類似的對象，而不必用于描述特定的順序或先后次序。

在本實(shí)施例中提供了一種Hadoop集群組件指標(biāo)的采集方法，圖1是根據(jù)本發(fā)明實(shí)施例的Hadoop集群組件指標(biāo)的采集方法的流程圖，如圖1所示，該流程包括如下步驟：

步驟S102：獲取Hadoop集群組件中第一節(jié)點(diǎn)在指定時(shí)刻之前多個(gè)時(shí)刻的指標(biāo)值；

步驟S104：根據(jù)第一預(yù)定規(guī)則通過多個(gè)時(shí)刻的指標(biāo)值得到第一節(jié)點(diǎn)在指定時(shí)刻的第一指標(biāo)預(yù)測值；

步驟S106：獲取第一節(jié)點(diǎn)的多個(gè)負(fù)載參數(shù)，以及第一指標(biāo)預(yù)測值與指定時(shí)刻的實(shí)際采集指標(biāo)值之間的偏差值；

步驟S108：根據(jù)第一節(jié)點(diǎn)的組件類型對多個(gè)負(fù)載參數(shù)以及偏差值進(jìn)行加權(quán)計(jì)算，并根據(jù)第二預(yù)定規(guī)則得到采集Hadoop集群組件指標(biāo)的采集時(shí)間；

步驟S110：在達(dá)到采集時(shí)間時(shí)，采集Hadoop集群組件指標(biāo)并將Hadoop集群組件指標(biāo)上報(bào)到管理系統(tǒng)。

通過上述步驟S102至步驟S110，采用將獲取到的Hadoop集群組件中第一節(jié)點(diǎn)在指定時(shí)刻之前多個(gè)時(shí)刻的指標(biāo)值通過第一預(yù)定規(guī)則得到該第一節(jié)點(diǎn)在該指定時(shí)刻的第一指標(biāo)預(yù)測值，通該第一指標(biāo)預(yù)測值與該指定時(shí)刻的實(shí)際采集指標(biāo)值之間的偏差值與該第一節(jié)點(diǎn)的多個(gè)負(fù)載參數(shù)進(jìn)行加權(quán)計(jì)算，將該加權(quán)計(jì)算的結(jié)果通過第二預(yù)定規(guī)則得到該采集該Hadoop集群組件指標(biāo)的采集時(shí)間，在達(dá)到采集時(shí)間時(shí)，采集Hadoop集群組件指標(biāo)并將Hadoop集群組件指標(biāo)上報(bào)到管理系統(tǒng)；可見，在本實(shí)施例中結(jié)合節(jié)點(diǎn)主機(jī)負(fù)載與待采集組件類型，動(dòng)態(tài)調(diào)節(jié)集群中組件指標(biāo)采集時(shí)間，從而解決了相關(guān)技術(shù)中指標(biāo)采集輪詢策略中忽略集群中節(jié)點(diǎn)負(fù)載與Hadoop組件特性的導(dǎo)致性能不佳的問題。

對于本實(shí)施例中步驟S104涉及到的根據(jù)第一預(yù)定規(guī)則通過多個(gè)時(shí)刻的指標(biāo)值得到第一節(jié)點(diǎn)在指定時(shí)刻的第一指標(biāo)預(yù)測值的方式，在本實(shí)施例的一個(gè)可選實(shí)施方式中，通過如下方式來實(shí)現(xiàn)：

步驟S11：根據(jù)灰度模型通過多個(gè)時(shí)刻的指標(biāo)值得到指定時(shí)刻的指標(biāo)初步預(yù)測值；

步驟S12：根據(jù)馬爾科夫鏈模型通過指標(biāo)初步預(yù)測值與指定時(shí)刻的實(shí)際采集值得到指定時(shí)刻的指標(biāo)初步預(yù)測偏差值；

步驟S13：根據(jù)指標(biāo)初步預(yù)測偏差值與指標(biāo)初步預(yù)測值計(jì)算出第一指標(biāo)預(yù)測值。

由上述步驟S11至步驟S13可知，采用了通過灰度模型和馬爾科夫鏈模型得到該指定時(shí)刻的第一指標(biāo)預(yù)測值，而灰度模型和馬爾科夫鏈模型能夠適用更多場景，使得得到 的指標(biāo)預(yù)測值更加準(zhǔn)確，也就是通過上述本實(shí)施例的方案，能夠解決相關(guān)技術(shù)中的指標(biāo)采集輪詢策略中使用單一預(yù)測算法的導(dǎo)致的不同場景準(zhǔn)確性問題。

對于本實(shí)施例步驟S108中的根據(jù)第一節(jié)點(diǎn)的組件類型對多個(gè)負(fù)載參數(shù)以及偏差值θ進(jìn)行加權(quán)計(jì)算，在本實(shí)施例的可選實(shí)施方式中，該第一節(jié)點(diǎn)的負(fù)載參數(shù)可以是：CPU使用率、內(nèi)存使用率、帶寬使用率、傳輸時(shí)延；需要說明的是，本實(shí)施例中涉及到的負(fù)載參數(shù)并不僅僅限于上述參數(shù)，上述負(fù)載參數(shù)是本實(shí)施例的優(yōu)選負(fù)載參數(shù)。此外，該第一節(jié)點(diǎn)的組件類型包括：計(jì)算型和存儲(chǔ)型。

對于本實(shí)施例中的步驟S108中涉及到的上述方式，在本實(shí)施例的一個(gè)應(yīng)用場景可以是：在指定時(shí)刻獲取大數(shù)據(jù)集群中該第一節(jié)點(diǎn)主機(jī)的負(fù)載情況，如CPU使用率α、內(nèi)存使用率β、帶寬使用率χ、傳輸時(shí)延t，根據(jù)組件類型中的存儲(chǔ)型組件的特性，需要減少內(nèi)存使用率和傳輸時(shí)延的權(quán)重，給定不同的加權(quán)系數(shù)加權(quán)計(jì)算f＝a·θ+b·α+c·β+d·χ+k·t。

而對于本實(shí)施例中的步驟S108中涉及到的根據(jù)第二預(yù)定規(guī)則得到Hadoop集群組件指標(biāo)的采集時(shí)間的方式，在本實(shí)施例的一個(gè)可選實(shí)施方式中，可以通過如下方式來實(shí)現(xiàn)：

步驟S21：將加權(quán)計(jì)算得到的結(jié)果與預(yù)先設(shè)定的門限值進(jìn)行比較；

步驟S22：根據(jù)比較結(jié)果得到指定時(shí)刻的輪詢延遲時(shí)間，將輪詢延遲時(shí)間加上預(yù)設(shè)輪詢周期時(shí)間的和作為采集Hadoop集群組件指標(biāo)值的采集時(shí)間。

其中，該輪詢延遲時(shí)間可以根據(jù)經(jīng)驗(yàn)取值為2s至5s。

由上述步驟S21和步驟S22中，采用了通過預(yù)先設(shè)定的門限值與輪詢延遲時(shí)間使得得到采集時(shí)間的算法更加全面，合理避免了固定周期帶來諸多問題，也就是說解決了相關(guān)技術(shù)中大數(shù)據(jù)管理系統(tǒng)組件指標(biāo)采集中存在的固定周期性采集性能數(shù)據(jù)存在的實(shí)時(shí)性和效率問題。

通過以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到根據(jù)上述實(shí)施例的方法可借助軟件加必需的通用硬件平臺(tái)的方式來實(shí)現(xiàn)，當(dāng)然也可以通過硬件，但很多情況下前者是更佳的實(shí)施方式?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)(如ROM/RAM、磁碟、光盤)中，包括若干指令用以使得一臺(tái)終端設(shè)備(可以是手機(jī)，計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例的方法。

在本實(shí)施例中還提供了一種Hadoop集群組件指標(biāo)的采集裝置，該裝置用于實(shí)現(xiàn)上述實(shí)施例及優(yōu)選實(shí)施方式，已經(jīng)進(jìn)行過說明的不再贅述。如以下所使用的，術(shù)語“模塊”可以實(shí)現(xiàn)預(yù)定功能的軟件和/或硬件的組合。盡管以下實(shí)施例所描述的裝置較佳地以軟 件來實(shí)現(xiàn)，但是硬件，或者軟件和硬件的組合的實(shí)現(xiàn)也是可能并被構(gòu)想的。

圖2是根據(jù)本發(fā)明實(shí)施例的Hadoop集群組件指標(biāo)的采集裝置的結(jié)構(gòu)框圖，如圖2所示，該裝置包括：第一獲取模塊202，用于獲取Hadoop集群組件中第一節(jié)點(diǎn)在指定時(shí)刻之前多個(gè)時(shí)刻的指標(biāo)值；第一處理模塊204，與第一獲取模塊202耦合連接，用于根據(jù)第一預(yù)定規(guī)則通過多個(gè)時(shí)刻的指標(biāo)值得到第一節(jié)點(diǎn)在指定時(shí)刻的第一指標(biāo)預(yù)測值；第二獲取模塊206，與第一處理模塊204耦合連接，用于獲取第一節(jié)點(diǎn)的多個(gè)負(fù)載參數(shù)，以及第一指標(biāo)預(yù)測值與指定時(shí)刻的實(shí)際采集指標(biāo)值之間的偏差值；第二處理模塊208，與第二獲取模塊206耦合連接，用于根據(jù)第一節(jié)點(diǎn)的組件類型對多個(gè)負(fù)載參數(shù)以及偏差值進(jìn)行加權(quán)計(jì)算，并根據(jù)第二預(yù)定規(guī)則通過加權(quán)計(jì)算的結(jié)果得到采集Hadoop集群組件指標(biāo)的采集時(shí)間；采集模塊210，與第二處理模塊208耦合連接，用于在達(dá)到采集時(shí)間時(shí)，采集Hadoop集群組件指標(biāo)并將Hadoop集群組件指標(biāo)上報(bào)到管理系統(tǒng)。

圖3是根據(jù)本發(fā)明實(shí)施例的Hadoop集群組件指標(biāo)的采集裝置的可選結(jié)構(gòu)框圖一，如圖3所示，該第一處理模塊204包括：第一處理單元302，用于根據(jù)灰度模型通過多個(gè)時(shí)刻的指標(biāo)值得到指定時(shí)刻的指標(biāo)初步預(yù)測值；第二處理單元304，與第一處理單元302耦合連接，用于根據(jù)馬爾科夫鏈模型通過指標(biāo)初步預(yù)測值與指定時(shí)刻的實(shí)際采集值得到指定時(shí)刻的指標(biāo)初步預(yù)測偏差值；計(jì)算單元306，與第二處理單元304耦合連接，用于根據(jù)指標(biāo)初步預(yù)測偏差值與指標(biāo)初步預(yù)測值計(jì)算出第一指標(biāo)預(yù)測值。

圖4是根據(jù)本發(fā)明實(shí)施例的Hadoop集群組件指標(biāo)的采集裝置的可選結(jié)構(gòu)框圖二，如圖4所示，該第二處理模塊208包括：比較單元402，用于將加權(quán)計(jì)算得到的結(jié)果與預(yù)先設(shè)定的門限值進(jìn)行比較；第三處理單元404，與比較單元402耦合連接，用于根據(jù)比較結(jié)果得到指定時(shí)刻的輪詢延遲時(shí)間，將輪詢延遲時(shí)間加上預(yù)設(shè)輪詢周期時(shí)間的和作為采集Hadoop集群組件指標(biāo)值的采集時(shí)間。

可選地，第一節(jié)點(diǎn)的負(fù)載參數(shù)包括：CPU使用率、內(nèi)存使用率、帶寬使用率、傳輸時(shí)延。該第一節(jié)點(diǎn)的組件類型包括：計(jì)算型和存儲(chǔ)型。

下面通過本發(fā)明的可選實(shí)施例對本發(fā)明進(jìn)行舉例說明；

本可選實(shí)施例提供了一種Hadoop集群組件指標(biāo)輪詢采集模塊，圖5是根據(jù)本發(fā)明可選實(shí)施例的Hadoop組件指標(biāo)輪詢采集模塊結(jié)構(gòu)框圖，如圖5所示，該裝置包括：

主節(jié)點(diǎn)匯總模塊，用于在集群主節(jié)點(diǎn)Manager中，接收集群中各個(gè)節(jié)點(diǎn)主機(jī)輪詢采集的指標(biāo)數(shù)據(jù)，進(jìn)行匯總，持久化處理；

指標(biāo)采集模塊，用于在集群各個(gè)節(jié)點(diǎn)上，負(fù)責(zé)執(zhí)行采集與發(fā)送指標(biāo)任務(wù)。

指標(biāo)預(yù)測模塊，用于在集群各個(gè)節(jié)點(diǎn)上，結(jié)合適合趨勢預(yù)測的灰度模型和適合大波動(dòng)預(yù)測的馬爾科夫鏈模型，根據(jù)組件歷史實(shí)際指標(biāo)預(yù)測新的指標(biāo)值。

負(fù)載采集模塊，用于在集群各個(gè)節(jié)點(diǎn)上，采集節(jié)點(diǎn)主機(jī)當(dāng)前負(fù)載情況。

輪詢計(jì)算模塊，用于在集群各個(gè)節(jié)點(diǎn)上，負(fù)責(zé)計(jì)算出執(zhí)行指標(biāo)采集任務(wù)需要的延遲時(shí)間。

當(dāng)節(jié)點(diǎn)執(zhí)行組件指標(biāo)采集任務(wù)時(shí)，首先由指標(biāo)預(yù)測模塊計(jì)算指標(biāo)預(yù)測值，同時(shí)負(fù)載采集模塊會(huì)采集當(dāng)前節(jié)點(diǎn)負(fù)載，輪詢計(jì)算模塊根據(jù)最近一次歷史指標(biāo)預(yù)測偏差、節(jié)點(diǎn)負(fù)載以及組件類型，加權(quán)計(jì)算出當(dāng)次執(zhí)行任務(wù)需要的延遲時(shí)間，加上設(shè)定的最小輪詢采集周期，得到執(zhí)行指標(biāo)采集發(fā)送任務(wù)時(shí)間。到達(dá)該時(shí)間后，指標(biāo)采集模塊采集組件指標(biāo)，并且向主節(jié)點(diǎn)匯總模塊發(fā)送，完成一次指標(biāo)采集，依次進(jìn)行之后的指標(biāo)采集任務(wù)。

此外，基于該Hadoop集群組件指標(biāo)輪詢采集模塊本可選實(shí)施例還提供了一種Hadoop集群組件指標(biāo)輪詢采集方法，該方法的步驟包括：

步驟S1，初始化；

其中，按照固定周期輪詢采集策略，設(shè)定組件指標(biāo)采集最小輪詢周期，開始指標(biāo)采集任務(wù)。

步驟S2，根據(jù)組件歷史指標(biāo)值預(yù)測；

其中，首先根據(jù)組件歷史指標(biāo)值，使用灰度GM(1，1)模型得到的指標(biāo)初步預(yù)測值，計(jì)算該預(yù)測值與采集的實(shí)際值偏差百分比。然后，根據(jù)歷史指標(biāo)初步預(yù)測偏差值，使用馬爾可夫鏈模型，計(jì)算得到初步預(yù)測偏差值，并且據(jù)此對步驟1的最新的初步指標(biāo)預(yù)測結(jié)果進(jìn)行修正，得到最終指標(biāo)預(yù)測值。

步驟S3，結(jié)合預(yù)測值偏差、組件類型特性、負(fù)載加權(quán)計(jì)算；

其中，計(jì)算上述最終預(yù)測值與實(shí)際采集值的偏差百分比，獲取大數(shù)據(jù)集群中該節(jié)點(diǎn)主機(jī)當(dāng)前負(fù)載情況(包括CPU使用率，內(nèi)存使用率，帶寬使用率，傳輸時(shí)延)，按照計(jì)算型、存儲(chǔ)型的組件類型，給定不同的加權(quán)系數(shù)，加權(quán)計(jì)算。

步驟S4，門限值對比得到當(dāng)次輪詢時(shí)間；

其中，加權(quán)計(jì)算結(jié)果與設(shè)定的門限值比較，根據(jù)對比結(jié)果得到對應(yīng)當(dāng)次指標(biāo)采集輪詢延遲時(shí)間，加上設(shè)定的最小固定輪詢周期，得到當(dāng)次指標(biāo)采集任務(wù)執(zhí)行時(shí)間。

步驟S5，采集組件性能指標(biāo)值；

其中，到達(dá)執(zhí)行采集指標(biāo)任務(wù)時(shí)間后，采集該組件性能指標(biāo)值，發(fā)送匯總到大數(shù)據(jù)管理系統(tǒng)。

通過本可選實(shí)施例的Hadoop集群組件指標(biāo)輪詢采集方法及裝置，結(jié)合大數(shù)據(jù)管理系統(tǒng)中集群中節(jié)點(diǎn)主機(jī)負(fù)載與待采集Hadoop組件類型，動(dòng)態(tài)調(diào)節(jié)Hadoop集群中組件指標(biāo)采集時(shí)間，計(jì)算算法更加全面，合理避免固定周期帶來諸多問題，其中輪詢算法結(jié)合灰度模型與馬爾科夫鏈模型，能夠適用更多場景，更加準(zhǔn)確，提升了大數(shù)據(jù)管理系統(tǒng) 指標(biāo)監(jiān)控的性能。

下面結(jié)合圖6和HDFS文件系統(tǒng)使用容量這一指標(biāo)采集樣例和具體實(shí)施例對本發(fā)明可選實(shí)施例進(jìn)行舉例說明，圖6是根據(jù)本發(fā)明可選實(shí)施例的Hadoop組件指標(biāo)輪詢延遲時(shí)間計(jì)算流程圖，如圖6所示，該方法的步驟包括：

步驟S601：獲取組件歷史指標(biāo)數(shù)據(jù)；

步驟S602：獲取灰度模型預(yù)測指標(biāo)；

步驟S603：獲取馬爾科夫鏈模型對預(yù)測值修正；之后執(zhí)行步驟S606；

步驟S604：獲取組件類型；之后執(zhí)行步驟S606；

步驟S605：獲取節(jié)點(diǎn)負(fù)載情況；之后執(zhí)行步驟S606；

步驟S606：加權(quán)相加與門限比較；

步驟S607：輪詢指標(biāo)采集延遲時(shí)間。

下面結(jié)合以下步驟對圖6中的步驟S601至步驟S607進(jìn)行詳細(xì)的描述。

該方法的步驟包括：

步驟S41：HDFS文件系統(tǒng)使用容量指標(biāo)(以下簡稱HDFS使用容量)采集任務(wù)，設(shè)定最小固定輪詢周期時(shí)間T1。

步驟S42：根據(jù)HDFS使用容量歷史指標(biāo)值X_n-1＝{x₁,,x₂,...,x_n-1}，使用經(jīng)典灰度模型GM(1，1)，計(jì)算得到在n時(shí)刻的使用容量的初步預(yù)測值X_n'；

步驟S43：計(jì)算HDFS使用容量歷史每個(gè)采集時(shí)刻經(jīng)過灰度模型初步預(yù)測值與實(shí)際采集值偏差Y_n-1＝X_n-1-X_n-1'/X_n-1；

步驟S44：根據(jù)歷史使用容量預(yù)測值與實(shí)際采集偏差值Y_n-1，使用馬爾科夫鏈模型，計(jì)算在n時(shí)刻偏差預(yù)測值y_n；

步驟S45：根據(jù)HDFS使用容量的初步預(yù)測值X_n'與n時(shí)刻預(yù)測偏差預(yù)測值y_n，計(jì)算出n時(shí)刻最終的容量預(yù)測值x_n；

步驟S46：計(jì)算最近一次即n-1時(shí)刻，經(jīng)過灰度模型以及馬爾科夫鏈模型預(yù)測的使用容量值與實(shí)際采集的偏差z_n-1＝x_n-1-x_n-1′/x_n-1；

步驟S47：獲取在n時(shí)刻，大數(shù)據(jù)集群中改節(jié)點(diǎn)主機(jī)的負(fù)載情況(CPU使用率α，內(nèi)存使用率β，帶寬使用率χ，傳輸時(shí)延t)，根據(jù)HDFS存儲(chǔ)型組件的特性，需要減少內(nèi)存使用率和傳輸時(shí)延的權(quán)重，加權(quán)計(jì)算f＝a·z_n-1+b·α+c·β+d·t+k；

步驟S48：將計(jì)算得到的f值，與預(yù)先設(shè)定的各個(gè)門限值對比，得到在n時(shí)刻輪詢延遲時(shí)間T；

步驟S49：在T1+T時(shí)間后，采集HDFS使用容量指標(biāo)值，匯總到大數(shù)據(jù)管理系統(tǒng)中，完成大數(shù)據(jù)指標(biāo)采集。

需要說明的是，上述各個(gè)模塊是可以通過軟件或硬件來實(shí)現(xiàn)的，對于后者，可以通過以下方式實(shí)現(xiàn)，但不限于此：上述模塊均位于同一處理器中；或者，上述模塊分別位于多個(gè)處理器中。

本發(fā)明的實(shí)施例還提供了一種存儲(chǔ)介質(zhì)?？蛇x地，在本實(shí)施例中，上述存儲(chǔ)介質(zhì)可以被設(shè)置為存儲(chǔ)用于執(zhí)行以下步驟的程序代碼：

步驟S1：獲取集群組件中第一節(jié)點(diǎn)在指定時(shí)刻之前多個(gè)時(shí)刻的指標(biāo)值；

步驟S2：根據(jù)第一預(yù)定規(guī)則通過多個(gè)時(shí)刻的指標(biāo)值得到第一節(jié)點(diǎn)在指定時(shí)刻的第一指標(biāo)預(yù)測值；

步驟S3：獲取第一節(jié)點(diǎn)的多個(gè)負(fù)載參數(shù)，以及第一指標(biāo)預(yù)測值與指定時(shí)刻的實(shí)際采集指標(biāo)值之間的偏差值；

步驟S4：根據(jù)第一節(jié)點(diǎn)的組件類型對多個(gè)負(fù)載參數(shù)以及偏差值進(jìn)行加權(quán)計(jì)算，并根據(jù)第二預(yù)定規(guī)則得到采集集群組件指標(biāo)的采集時(shí)間；

步驟S5：在達(dá)到采集時(shí)間時(shí)，采集集群組件指標(biāo)并將集群組件指標(biāo)上報(bào)到管理系統(tǒng)。

可選地，本實(shí)施例中的具體示例可以參考上述實(shí)施例及可選實(shí)施方式中所描述的示例，本實(shí)施例在此不再贅述。

顯然，本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本發(fā)明的各模塊或各步驟可以用通用的計(jì)算裝置來實(shí)現(xiàn)，它們可以集中在單個(gè)的計(jì)算裝置上，或者分布在多個(gè)計(jì)算裝置所組成的網(wǎng)絡(luò)上，可選地，它們可以用計(jì)算裝置可執(zhí)行的程序代碼來實(shí)現(xiàn)，從而，可以將它們存儲(chǔ)在存儲(chǔ)裝置中由計(jì)算裝置來執(zhí)行，并且在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟，或者將它們分別制作成各個(gè)集成電路模塊，或者將它們中的多個(gè)模塊或步驟制作成單個(gè)集成電路模塊來實(shí)現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。

以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。