充使用者預(yù)先設(shè)定的挖掘變量，并獲取上述運(yùn)行場(chǎng)景下的挖掘結(jié)果，隨后封裝相關(guān)屬性數(shù)據(jù)，并將挖掘結(jié)果發(fā)送至上述存儲(chǔ)端Β中進(jìn)行保存。
[0115]本發(fā)明的較佳的實(shí)施例中，由于數(shù)據(jù)挖掘的計(jì)算對(duì)象與預(yù)警監(jiān)控的計(jì)算對(duì)象略有不同，數(shù)據(jù)挖掘需要以數(shù)據(jù)準(zhǔn)確性為最高目標(biāo)，因此每個(gè)第二從處理端Ε12需要對(duì)發(fā)送過來(lái)的監(jiān)控?cái)?shù)據(jù)流進(jìn)行數(shù)據(jù)抽樣等處理，力求還原挖掘場(chǎng)景的正確性。
[0116]本發(fā)明的較佳的實(shí)施例中，上述存儲(chǔ)端Β包括多個(gè)相互獨(dú)立的存儲(chǔ)單元(圖中未示出)，所有存儲(chǔ)單元組合形成一列式的存儲(chǔ)集群，以作為存儲(chǔ)端Β。
[0117]具體地，本發(fā)明的較佳的實(shí)施例中，上述存儲(chǔ)端Β實(shí)際為一列式的存儲(chǔ)集群，并且為一個(gè)分布式的文件存儲(chǔ)系統(tǒng)，從而可以解決現(xiàn)有技術(shù)中采用行式的存儲(chǔ)方式限制大數(shù)據(jù)讀取和存入的問題。
[0118]本發(fā)明的一個(gè)較佳的實(shí)施例中，上述緩存端C和第一處理組D結(jié)合形成一用于進(jìn)行預(yù)警監(jiān)控分析的第一處理集群。換言之，上述緩存端C可以設(shè)置于上述第一處理組D中的某個(gè)服務(wù)器上。
[0119]本發(fā)明的另一個(gè)較佳的實(shí)施例中，上述緩存端C同樣可以和第二處理組E結(jié)合形成一用于進(jìn)行數(shù)據(jù)挖掘分析的第二處理集群。換言之，上述緩存端C同樣可以設(shè)置在上述第二處理組E中的某個(gè)服務(wù)器上。
[0120]本發(fā)明的另一個(gè)較佳的實(shí)施例中，上述緩存端C可以同時(shí)存在于上述第一處理組D以及第二處理組E中，以便于上述第一處理組D和第二處理組E取用數(shù)據(jù)。
[0121]以上所述僅為本發(fā)明較佳的實(shí)施例，并非因此限制本發(fā)明的實(shí)施方式及保護(hù)范圍，對(duì)于本領(lǐng)域技術(shù)人員而言，應(yīng)當(dāng)能夠意識(shí)到凡運(yùn)用本發(fā)明說明書及圖示內(nèi)容所作出的等同替換和顯而易見的變化所得到的方案，均應(yīng)當(dāng)包含在本發(fā)明的保護(hù)范圍內(nèi)。
【主權(quán)項(xiàng)】
1.一種基于大數(shù)據(jù)流處理技術(shù)的運(yùn)維監(jiān)控分析系統(tǒng)，其特征在于，包括: 監(jiān)控端，分別遠(yuǎn)程連接多個(gè)客戶端，用于監(jiān)控得到所述客戶端中的運(yùn)維監(jiān)控?cái)?shù)據(jù)，并將監(jiān)控到的處于預(yù)設(shè)周期內(nèi)的所述運(yùn)維監(jiān)控?cái)?shù)據(jù)發(fā)送至一遠(yuǎn)程的存儲(chǔ)端，以作為歷史記錄保存； 所述存儲(chǔ)端還用于保存預(yù)設(shè)的多條預(yù)警處理規(guī)則，預(yù)設(shè)的多條數(shù)據(jù)挖掘規(guī)則，以及所述歷史記錄； 緩存端，分別遠(yuǎn)程連接所述存儲(chǔ)端和所述監(jiān)控端，用于根據(jù)預(yù)設(shè)的時(shí)間間隔，將所述存儲(chǔ)端中保存的所述預(yù)警處理規(guī)則、所述數(shù)據(jù)挖掘規(guī)則以及所述歷史記錄同步到所述緩存端中進(jìn)行保存，以及接收所述監(jiān)控端發(fā)送的實(shí)時(shí)的包括所述運(yùn)維監(jiān)控?cái)?shù)據(jù)的監(jiān)控?cái)?shù)據(jù)流，并根據(jù)對(duì)應(yīng)所述監(jiān)控?cái)?shù)據(jù)流中包括的所述運(yùn)維監(jiān)控?cái)?shù)據(jù)的不同的類型分別進(jìn)行緩存； 第一處理組，遠(yuǎn)程連接所述緩存端，所述第一處理組中包括多個(gè)第一處理端，分別用于根據(jù)所述預(yù)警規(guī)則、所述歷史記錄以及所述監(jiān)控?cái)?shù)據(jù)流進(jìn)行預(yù)警監(jiān)控分析，并輸出相應(yīng)的分析結(jié)果； 第二處理組，遠(yuǎn)程連接所述緩存端，所述第二處理組中包括多個(gè)第二處理端，分別用于根據(jù)所述數(shù)據(jù)挖掘規(guī)則、所述歷史記錄以及所述監(jiān)控?cái)?shù)據(jù)流進(jìn)行數(shù)據(jù)挖掘分析，根據(jù)分析結(jié)果輸出被挖掘出的關(guān)聯(lián)于所述運(yùn)維監(jiān)控?cái)?shù)據(jù)的監(jiān)控統(tǒng)計(jì)結(jié)果。2.如權(quán)利要求1所述的運(yùn)維監(jiān)控分析系統(tǒng)，其特征在于，一條所述預(yù)警處理規(guī)則包括: 所述預(yù)警處理規(guī)則所對(duì)應(yīng)的所述客戶端的類型信息； 所述預(yù)警處理規(guī)則所對(duì)應(yīng)的監(jiān)控指標(biāo)的信息；以及 所述預(yù)警處理規(guī)則所對(duì)應(yīng)的處理表達(dá)式的信息。3.如權(quán)利要求1所述的運(yùn)維監(jiān)控分析系統(tǒng)，其特征在于，一條所述數(shù)據(jù)挖掘規(guī)則包括: 所述數(shù)據(jù)挖掘規(guī)則所對(duì)應(yīng)的所述客戶端的類型信息； 所述數(shù)據(jù)挖掘規(guī)則所對(duì)應(yīng)的監(jiān)控指標(biāo)的信息；以及 所述數(shù)據(jù)挖掘規(guī)則所對(duì)應(yīng)的處理模型的信息。4.如權(quán)利要求1所述的運(yùn)維監(jiān)控分析系統(tǒng)，其特征在于，所述監(jiān)控端包括: 接收單元，用于接收所述監(jiān)控?cái)?shù)據(jù)流； 分片單元，連接所述接收單元，用于將所有需要發(fā)送至所述緩存端的所述監(jiān)控?cái)?shù)據(jù)流劃分成多個(gè)片式數(shù)據(jù)并輸出； 封裝單元，連接所述分片單元，用于對(duì)每個(gè)所述片式數(shù)據(jù)按照所關(guān)聯(lián)的具體屬性進(jìn)行封裝； 處理單元，連接所述接收單元，用于根據(jù)所述監(jiān)控?cái)?shù)據(jù)流分別形成關(guān)聯(lián)于所述預(yù)警監(jiān)控分析的第一任務(wù)，以及關(guān)聯(lián)于所述數(shù)據(jù)挖掘分析的第二任務(wù)； 發(fā)送單元，分別連接所述封裝單元和所述處理單元，用于依次將經(jīng)過封裝的所述片式數(shù)據(jù)發(fā)送至所述緩存端進(jìn)行保存，以及將關(guān)聯(lián)于不同的所述監(jiān)控?cái)?shù)據(jù)流的所述第一任務(wù)以及所述第二任務(wù)發(fā)送至所述緩存端進(jìn)行保存。5.如權(quán)利要求1所述的運(yùn)維監(jiān)控分析系統(tǒng)，其特征在于，所述第一處理組中的多個(gè)所述第一處理端中包括一個(gè)第一主處理端和多個(gè)第一從處理端，所述第一主處理端分別連接多個(gè)所述第一從處理端； 所述緩存端保存有關(guān)聯(lián)于所述預(yù)警監(jiān)控分析的第一任務(wù)，每個(gè)所述第一任務(wù)關(guān)聯(lián)于包括多個(gè)所述運(yùn)維監(jiān)控?cái)?shù)據(jù)的所述監(jiān)控?cái)?shù)據(jù)流； 所述第一主處理端中包括: 第一監(jiān)控單元，用于對(duì)不同的所述第一從處理端的工作負(fù)載進(jìn)行監(jiān)控，并輸出監(jiān)控結(jié)果; 第一處理單元，連接所述第一監(jiān)控單元，用于根據(jù)所述監(jiān)控結(jié)果，處理得到關(guān)聯(lián)于所有所述第一從處理端的任務(wù)拓?fù)潢P(guān)系并輸出； 第一分發(fā)單元，連接所述第一處理單元，用于根據(jù)所述任務(wù)拓?fù)潢P(guān)系，向不同的所述第一從處理端分發(fā)包括于所述緩存端接收到的所述第一任務(wù)以及相關(guān)聯(lián)的所述監(jiān)控?cái)?shù)據(jù)流。6.如權(quán)利要求5所述的運(yùn)維監(jiān)控分析系統(tǒng)，其特征在于，每個(gè)所述第一從處理端中包括: 第一解析單元，用于對(duì)接收到的所述監(jiān)控?cái)?shù)據(jù)流進(jìn)行解析，并輸出解析結(jié)果； 第一分析單元，連接所述第一解析單元，用于根據(jù)所述解析結(jié)果，采用所述預(yù)警處理規(guī)則以及所述歷史記錄，對(duì)解析得到的所述運(yùn)維監(jiān)控?cái)?shù)據(jù)進(jìn)行預(yù)警監(jiān)控分析，并輸出相應(yīng)的分析結(jié)果。7.如權(quán)利要求1所述的運(yùn)維監(jiān)控分析系統(tǒng)，其特征在于，所述第二處理組中的多個(gè)所述第二處理端中包括一個(gè)第二主處理端和多個(gè)第二從處理端，所述第二主處理端分別連接多個(gè)所述第二從處理端； 所述緩存端保存有關(guān)聯(lián)于所述數(shù)據(jù)挖掘分析的第二任務(wù)，每個(gè)所述第二任務(wù)關(guān)聯(lián)于包括多個(gè)所述運(yùn)維監(jiān)控?cái)?shù)據(jù)的所述監(jiān)控?cái)?shù)據(jù)流； 所述第二主處理端中包括: 第二監(jiān)控單元，用于對(duì)不同的所述第二從處理端的工作負(fù)載進(jìn)行監(jiān)控，并輸出監(jiān)控結(jié)果; 第二處理單元，連接所述第二監(jiān)控單元，用于根據(jù)所述監(jiān)控結(jié)果，處理得到關(guān)聯(lián)于所有所述第二從處理端的任務(wù)拓?fù)潢P(guān)系并輸出； 第二分發(fā)單元，連接所述第二處理單元，用于根據(jù)所述任務(wù)拓?fù)潢P(guān)系，向不同的所述第二從處理端分發(fā)包括于所述緩存端接收到的所述第二任務(wù)以及相關(guān)聯(lián)的所述監(jiān)控?cái)?shù)據(jù)流。8.如權(quán)利要求7所述的運(yùn)維監(jiān)控分析系統(tǒng)，其特征在于，每個(gè)所述第二從處理端中包括: 第二解析單元，用于對(duì)接收到的所述監(jiān)控?cái)?shù)據(jù)流進(jìn)行解析，并輸出解析結(jié)果； 第二分析單元，連接所述第二解析單元，用于根據(jù)所述解析結(jié)果，采用所述數(shù)據(jù)挖掘規(guī)則以及所述歷史記錄，對(duì)解析得到的所述運(yùn)維數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘分析，并輸出相應(yīng)的分析結(jié)果。9.如權(quán)利要求1所述的運(yùn)維監(jiān)控分析系統(tǒng)，其特征在于，所述存儲(chǔ)端包括多個(gè)相互獨(dú)立的存儲(chǔ)單元，所有所述存儲(chǔ)單元組合形成一列式的存儲(chǔ)集群，以作為所述存儲(chǔ)端。10.如權(quán)利要求1所述的運(yùn)維監(jiān)控分析系統(tǒng)，其特征在于，所述緩存端和所述第一處理組結(jié)合形成一用于進(jìn)行預(yù)警監(jiān)控分析的第一處理集群。11.如權(quán)利要求1所述的運(yùn)維監(jiān)控分析系統(tǒng)，其特征在于，所述緩存端和所述第二處理組結(jié)合形成一用于進(jìn)行數(shù)據(jù)挖掘分析的第二處理集群。
【專利摘要】本發(fā)明公開了一種基于大數(shù)據(jù)流處理技術(shù)的運(yùn)維監(jiān)控分析系統(tǒng)，屬于運(yùn)維監(jiān)控技術(shù)領(lǐng)域；系統(tǒng)包括：監(jiān)控端，監(jiān)控得到客戶端中的監(jiān)控?cái)?shù)據(jù)并發(fā)送至存儲(chǔ)端；存儲(chǔ)端，保存多條預(yù)警處理規(guī)則，多條數(shù)據(jù)挖掘規(guī)則以及歷史記錄；緩存端，根據(jù)預(yù)設(shè)的時(shí)間間隔，將存儲(chǔ)端中保存的預(yù)警處理規(guī)則、數(shù)據(jù)挖掘規(guī)則以及歷史記錄同步到緩存端中，以及接收監(jiān)控端發(fā)送的監(jiān)控?cái)?shù)據(jù)流；第一處理組，根據(jù)預(yù)警規(guī)則、歷史記錄以及監(jiān)控?cái)?shù)據(jù)流進(jìn)行預(yù)警監(jiān)控告警分析；第二處理組，根據(jù)數(shù)據(jù)挖掘規(guī)則、歷史記錄以及監(jiān)控?cái)?shù)據(jù)流進(jìn)行數(shù)據(jù)挖掘分析，根據(jù)分析結(jié)果輸出監(jiān)控統(tǒng)計(jì)分析。上述技術(shù)方案的有益效果是：解決分析實(shí)時(shí)性不夠、處理效率過低及處理崩潰等問題。
【IPC分類】H04L12/24, H04L29/08
【公開號(hào)】CN105357061
【申請(qǐng)?zhí)枴緾N201510926514
【發(fā)明人】江水, 白力, 史家豪
【申請(qǐng)人】普華基礎(chǔ)軟件股份有限公司
【公開日】2016年2月24日
【申請(qǐng)日】2015年12月11日