一種云數(shù)據(jù)中心智能巡檢系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明公開一種云數(shù)據(jù)中心智能巡檢系統(tǒng)及方法，屬于云管理技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002]云計(jì)算，是一種基于互聯(lián)網(wǎng)的計(jì)算方式，通過(guò)這種方式，共享的軟硬件資源和信息可以按需提供給計(jì)算機(jī)和其他設(shè)備。典型的云計(jì)算提供商往往提供通用的網(wǎng)絡(luò)業(yè)務(wù)應(yīng)用，可以通過(guò)瀏覽器等軟件或者其他Web服務(wù)來(lái)訪問(wèn)，而軟件和數(shù)據(jù)都存儲(chǔ)在服務(wù)器上。云計(jì)算服務(wù)通常提供通用的通過(guò)瀏覽器訪問(wèn)的在線商業(yè)應(yīng)用，軟件和數(shù)據(jù)可存儲(chǔ)在數(shù)據(jù)中心。狹義云計(jì)算指IT基礎(chǔ)設(shè)施的交付和使用模式，指通過(guò)網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需資源；廣義云計(jì)算指服務(wù)的交付和使用模式，指通過(guò)網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需服務(wù)。這種服務(wù)可以是IT和軟件、互聯(lián)網(wǎng)相關(guān)，也可是其他服務(wù)。當(dāng)前，云數(shù)據(jù)中心自動(dòng)巡檢功能主要是將日常運(yùn)維管理中需要手工進(jìn)行檢查的配置文件、運(yùn)行參數(shù)、運(yùn)行狀態(tài)、安全設(shè)置等巡檢項(xiàng)，通過(guò)SHELL、SQL等原子操作完成各個(gè)巡檢項(xiàng)的采集并組合形成巡檢任務(wù)；并通過(guò)調(diào)度管理進(jìn)行輪詢調(diào)度觸發(fā)或手工觸發(fā)執(zhí)行，對(duì)巡檢項(xiàng)信息進(jìn)行采集。將返回巡檢結(jié)果與巡檢基線進(jìn)行比對(duì)。最終形成告警、巡檢報(bào)告，以短信或彩信形式進(jìn)行推送。這種巡檢下，巡檢內(nèi)容比較獨(dú)立，只能對(duì)當(dāng)前的情況進(jìn)行檢測(cè)。智能化遠(yuǎn)遠(yuǎn)不夠，也不可能對(duì)未來(lái)的云數(shù)據(jù)中心的運(yùn)行預(yù)測(cè)和評(píng)估，給運(yùn)維人員提供更加合理的建議。本發(fā)明提出了一種云數(shù)據(jù)中心智能巡檢系統(tǒng)和方法，此系統(tǒng)將數(shù)據(jù)中心運(yùn)行所需要的數(shù)據(jù)進(jìn)行特征分析融合，通過(guò)智能預(yù)測(cè)，從而為整個(gè)數(shù)據(jù)中心的自動(dòng)化運(yùn)維提供更為高層和更有預(yù)見(jiàn)性的管理建議，不僅實(shí)現(xiàn)更加智能自動(dòng)化的巡檢，而且減輕了運(yùn)維人員的工作負(fù)荷。

【發(fā)明內(nèi)容】

[0003]本發(fā)明針對(duì)目前云數(shù)據(jù)中心巡檢內(nèi)容比較獨(dú)立，只能對(duì)當(dāng)前的情況進(jìn)行檢測(cè)，智能化遠(yuǎn)遠(yuǎn)不夠，也不可能對(duì)未來(lái)的云數(shù)據(jù)中心的運(yùn)行預(yù)測(cè)和評(píng)估，給運(yùn)維人員提供更加合理的建議的問(wèn)題，提供一種云數(shù)據(jù)中心智能巡檢系統(tǒng)及方法，不僅實(shí)現(xiàn)更加智能自動(dòng)化的巡檢，而且減輕了運(yùn)維人員的工作負(fù)荷。
[0004]本發(fā)明提出的具體方案是:
一種云數(shù)據(jù)中心智能巡檢系統(tǒng)，包括數(shù)據(jù)的采集與分析模塊、特征分析模塊、趨勢(shì)預(yù)測(cè)模塊、可視化展現(xiàn)與用戶接口模塊；
數(shù)據(jù)的采集與分析模塊負(fù)責(zé)對(duì)云數(shù)據(jù)中心的原始數(shù)據(jù)進(jìn)行收集與預(yù)處理，為巡檢特征分析提供數(shù)據(jù)來(lái)源；
特征分析模塊負(fù)責(zé)利用底層數(shù)據(jù)源，進(jìn)行綜合分析；利用資產(chǎn)統(tǒng)計(jì)分析評(píng)估云數(shù)據(jù)中心中服務(wù)器、云操作系統(tǒng)、虛擬主機(jī)各個(gè)資源節(jié)點(diǎn)；利用云資源節(jié)點(diǎn)的實(shí)際性能變化對(duì)期望值進(jìn)行性能修正，綜合利用各種數(shù)據(jù)源和分析算法計(jì)算云數(shù)據(jù)中心態(tài)勢(shì)進(jìn)行特征數(shù)據(jù)融合處理；
趨勢(shì)預(yù)測(cè)模塊基于特征分析結(jié)果，利用相應(yīng)的數(shù)學(xué)模型對(duì)云數(shù)據(jù)中心性能的發(fā)展趨勢(shì)進(jìn)行預(yù)測(cè)；
可視化展現(xiàn)與用戶接口模塊負(fù)責(zé)云數(shù)據(jù)中心巡檢服務(wù)與用戶進(jìn)行交互，用戶通過(guò)相應(yīng)接口對(duì)數(shù)據(jù)采集代理的參數(shù)進(jìn)行配置，對(duì)數(shù)據(jù)的分析結(jié)果進(jìn)行有條件查詢；各種數(shù)據(jù)結(jié)果通過(guò)可視化方式展現(xiàn)給用戶，使用戶直觀了解巡檢評(píng)估結(jié)果。
[0005]所述數(shù)據(jù)的采集與分析模塊進(jìn)行收集與預(yù)處理的原始數(shù)據(jù)包括資產(chǎn)數(shù)據(jù)和性能數(shù)據(jù)；資產(chǎn)數(shù)據(jù)是云數(shù)據(jù)中心下硬件設(shè)備信息、軟件信息、提供服務(wù)的信息，性能數(shù)據(jù)是指云數(shù)據(jù)中心環(huán)境中各個(gè)節(jié)點(diǎn)的各種性能信息。
[0006]利用自動(dòng)化工具結(jié)合手工輸入方式采集資產(chǎn)數(shù)據(jù)，將實(shí)時(shí)采集各種資產(chǎn)數(shù)據(jù)存儲(chǔ)到資產(chǎn)數(shù)據(jù)庫(kù)中，對(duì)資產(chǎn)數(shù)據(jù)進(jìn)行格式統(tǒng)一化處理和分類的預(yù)處理，形成統(tǒng)一的標(biāo)準(zhǔn)的資產(chǎn)數(shù)據(jù)提供給特征分析模塊。
[0007]通過(guò)在各個(gè)節(jié)點(diǎn)部署性能收集代理來(lái)實(shí)時(shí)收集各個(gè)節(jié)點(diǎn)處的性能信息，存儲(chǔ)到性能數(shù)據(jù)庫(kù)中，對(duì)性能數(shù)據(jù)進(jìn)行歸一化處理和分類的預(yù)處理，形成規(guī)范的性能數(shù)據(jù)提供給特征分析模塊。
[0008]所述資產(chǎn)統(tǒng)計(jì)分析針對(duì)資產(chǎn)原始數(shù)據(jù)，根據(jù)各類資產(chǎn)的關(guān)系，綜合評(píng)價(jià)資產(chǎn)的影響范圍和重要程度，得到重要資產(chǎn)的統(tǒng)計(jì)分析結(jié)果，為系統(tǒng)巡檢提供資產(chǎn)數(shù)據(jù)。
[0009]進(jìn)行特征數(shù)據(jù)融合處理時(shí)使用的主要分析算法有:
基于主成分分析的PCA方法，利用KL變換統(tǒng)計(jì)特征提取，形成子空間法模式識(shí)別的基礎(chǔ)；
Fisher線性判別，將高維樣本投影到一維空間上，則實(shí)現(xiàn)分類問(wèn)題；
Isomap算法保持?jǐn)?shù)據(jù)點(diǎn)的內(nèi)在集合特性，即保持兩點(diǎn)間的測(cè)地距離。
[0010]所述趨勢(shì)預(yù)測(cè)模塊利用相應(yīng)的數(shù)學(xué)模型有:一階灰色預(yù)測(cè)GM(1，I)模型、ARMA模型和 Holt-Winters 模型。
[0011]所述可視化展現(xiàn)與用戶接口模塊的數(shù)據(jù)分析結(jié)果主要包括資產(chǎn)統(tǒng)計(jì)結(jié)果輸出、日志查詢、性能統(tǒng)計(jì)結(jié)果輸出、特征分析報(bào)表輸出、曲線圖輸出、趨勢(shì)預(yù)測(cè)曲線圖輸出。
[0012]—種云數(shù)據(jù)中心智能巡檢方法，利用所述的云數(shù)據(jù)中心智能巡檢系統(tǒng)進(jìn)行云數(shù)據(jù)中心智能巡檢，
利用數(shù)據(jù)的采集與分析模塊對(duì)云數(shù)據(jù)中心的原始數(shù)據(jù)進(jìn)行收集與預(yù)處理，為巡檢特征分析提供數(shù)據(jù)來(lái)源；
利用特征分析模塊對(duì)底層數(shù)據(jù)源，進(jìn)行綜合分析；使用資產(chǎn)統(tǒng)計(jì)分析評(píng)估云數(shù)據(jù)中心中服務(wù)器、云操作系統(tǒng)、虛擬主機(jī)各個(gè)資源節(jié)點(diǎn)；使用云資源節(jié)點(diǎn)的實(shí)際性能變化對(duì)期望值進(jìn)行性能修正，綜合使用各種數(shù)據(jù)源和分析算法計(jì)算云數(shù)據(jù)中心態(tài)勢(shì)進(jìn)行特征數(shù)據(jù)融合處理；
基于特征分析結(jié)果，利用趨勢(shì)預(yù)測(cè)模塊使用相應(yīng)的數(shù)學(xué)模型對(duì)云數(shù)據(jù)中心性能的發(fā)展趨勢(shì)進(jìn)行預(yù)測(cè)；
同時(shí)利用可視化展現(xiàn)與用戶接口模塊與用戶進(jìn)行云數(shù)據(jù)中心巡檢服務(wù)的交互，用戶通過(guò)相應(yīng)接口對(duì)數(shù)據(jù)采集代理的參數(shù)進(jìn)行配置，對(duì)數(shù)據(jù)的分析結(jié)果進(jìn)行有條件查詢；可視化展現(xiàn)與用戶接口模塊將各種數(shù)據(jù)結(jié)果通過(guò)可視化方式展現(xiàn)給用戶，使用戶直觀了解巡檢評(píng)估結(jié)果。
[0013]本發(fā)明的有益之處是:利用本發(fā)明的系統(tǒng)及方法，云數(shù)據(jù)中心運(yùn)維人員可以制定巡檢任務(wù)和巡檢基線；巡檢任務(wù)開始運(yùn)行后，自動(dòng)采集資產(chǎn)與監(jiān)控等信息，預(yù)處理與歸一化操作后，與巡檢基線做比較，從而完成通常意義下的自動(dòng)巡檢；與此同時(shí)，對(duì)于采集的數(shù)據(jù)進(jìn)行特征分析和融合處理之后，輸出與傳統(tǒng)意義上孤立的信息不同的，且能夠反饋整個(gè)云數(shù)據(jù)中心運(yùn)行狀況的特征數(shù)據(jù)，通過(guò)可視化界面，運(yùn)維人員可以查看目前整個(gè)數(shù)據(jù)中心運(yùn)行狀況；趨勢(shì)預(yù)測(cè)模塊利用分析和融合后的數(shù)據(jù)中心的特征數(shù)據(jù)，利用預(yù)測(cè)算法進(jìn)行云數(shù)據(jù)中心運(yùn)行狀況進(jìn)行預(yù)測(cè)，進(jìn)行預(yù)警，同時(shí)可以可視化呈現(xiàn)給運(yùn)維人員。因此本發(fā)明不僅實(shí)現(xiàn)了更加智能自動(dòng)化的巡檢，而且減輕了運(yùn)維人員的工作負(fù)荷。
【附圖說(shuō)明】
[0014]圖1本發(fā)明方法流程框架示意圖。
【具體實(shí)施方式】
[0015]—種云數(shù)據(jù)中心智能巡檢系統(tǒng)，包括數(shù)據(jù)的采集與分析模塊、特征分析模塊、趨勢(shì)預(yù)測(cè)模塊、可視化展現(xiàn)與用戶接口模塊；
數(shù)據(jù)的采集與分析模塊負(fù)責(zé)對(duì)云數(shù)據(jù)中心的原始數(shù)據(jù)進(jìn)行收集與預(yù)處理，為巡檢特征分析提供數(shù)據(jù)來(lái)源；
特征分析模塊負(fù)責(zé)利用底層數(shù)據(jù)源，進(jìn)行綜合分析；利用資產(chǎn)統(tǒng)計(jì)分析評(píng)估云數(shù)據(jù)中心中服務(wù)器、云操作系統(tǒng)、虛擬主機(jī)各個(gè)資源節(jié)點(diǎn)；利用云資源節(jié)點(diǎn)的實(shí)際性能變化對(duì)期望值進(jìn)行性能修正，綜合利用各種數(shù)據(jù)源和分析算法計(jì)算云數(shù)據(jù)中心態(tài)勢(shì)進(jìn)行特征數(shù)據(jù)融合處理；
趨勢(shì)預(yù)測(cè)模塊基于特征分析結(jié)果，利用相應(yīng)的數(shù)學(xué)模型對(duì)云數(shù)據(jù)中心性能的發(fā)展趨勢(shì)進(jìn)行預(yù)測(cè)；
可視化展現(xiàn)與用戶接口模塊負(fù)責(zé)云數(shù)據(jù)中心巡檢服務(wù)與用戶進(jìn)行交互，用戶通過(guò)相應(yīng)接口對(duì)數(shù)據(jù)采集代理的參數(shù)進(jìn)行配置，對(duì)數(shù)據(jù)的分析結(jié)果進(jìn)行有條件查詢；各種數(shù)據(jù)結(jié)果通過(guò)可視化方式展現(xiàn)給用戶，使用戶直觀了解巡檢評(píng)估結(jié)果。
[0016]結(jié)合附圖對(duì)本發(fā)明系統(tǒng)及方法做進(jìn)一步說(shuō)明。
[0017]—種云數(shù)據(jù)中心智能巡檢系統(tǒng)，包括數(shù)據(jù)的采集與分析模塊、特征分析模塊、趨勢(shì)預(yù)測(cè)模塊、可視化展現(xiàn)與用戶接口模塊；
數(shù)據(jù)的采集與分析模塊負(fù)責(zé)對(duì)云數(shù)據(jù)中心的原始數(shù)據(jù)進(jìn)行收集與預(yù)處理，為巡檢特征分析提供數(shù)據(jù)來(lái)源；
其中原始數(shù)據(jù)包括資產(chǎn)數(shù)據(jù)和性能數(shù)據(jù)，這兩類數(shù)據(jù)源為巡檢評(píng)估提供了基礎(chǔ)；
資產(chǎn)數(shù)據(jù)是云數(shù)據(jù)中心下硬件設(shè)備信息、軟件信息、提供服務(wù)的信息，硬件設(shè)備主要是指服務(wù)器、虛擬主機(jī)、存儲(chǔ)設(shè)備、安全設(shè)備、網(wǎng)絡(luò)拓?fù)湫畔?、網(wǎng)絡(luò)節(jié)點(diǎn)的硬件；采集資產(chǎn)數(shù)據(jù)主要可以利用拓?fù)浒l(fā)現(xiàn)工具、資產(chǎn)探測(cè)工具、IPM1、VMI等自動(dòng)化工具結(jié)合手工輸入，形成較為完整的云數(shù)據(jù)中心資產(chǎn)數(shù)據(jù)信息，還可以在服務(wù)器、云操作系統(tǒng)、虛擬機(jī)監(jiān)控器、存儲(chǔ)設(shè)備、安全設(shè)備、網(wǎng)絡(luò)出口處等設(shè)置資產(chǎn)收集代理，實(shí)時(shí)采集各種資產(chǎn)數(shù)據(jù)存儲(chǔ)到資產(chǎn)數(shù)據(jù)庫(kù)中。預(yù)處理資產(chǎn)數(shù)據(jù)主要對(duì)資產(chǎn)數(shù)據(jù)進(jìn)行格式統(tǒng)一化、內(nèi)容分類等，形成統(tǒng)一的標(biāo)準(zhǔn)的資產(chǎn)數(shù)據(jù)提供給特征分析模塊。
[0018]性能數(shù)據(jù)是指云數(shù)據(jù)中心環(huán)境中各個(gè)節(jié)點(diǎn)的各種性能信息，包括CPU使用率、內(nèi)存使用率、網(wǎng)絡(luò)流量、網(wǎng)絡(luò)連接數(shù)、包延遲率、丟包率、存儲(chǔ)空間利用率等等。通過(guò)在各個(gè)節(jié)點(diǎn)部署性能收集代理，實(shí)時(shí)收集各個(gè)節(jié)點(diǎn)處的各