專利名稱：基于最大頻繁項集的通信告警關(guān)聯(lián)規(guī)則挖掘方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于最大頻繁項集的通信告警關(guān)聯(lián)規(guī)則挖掘方法，具體地說是一 種。本發(fā)明屬于通信網(wǎng)絡(luò)告警監(jiān)控領(lǐng)域，特別是涉及基于數(shù)據(jù)挖掘技術(shù)的通信告警關(guān)聯(lián)分 析方面。
背景技術(shù)：
網(wǎng)絡(luò)告警數(shù)據(jù)庫中存儲了大量歷史告警信息，其中蘊含了許多反映網(wǎng)絡(luò)運行狀態(tài) 和故障根源的有用信息，利用這些信息可以完善網(wǎng)絡(luò)故障管理。基于數(shù)據(jù)挖掘技術(shù)的通信 告警關(guān)聯(lián)規(guī)則分析，可通過分析告警事務(wù)數(shù)據(jù)，挖掘告警關(guān)聯(lián)規(guī)則，揭示出隱含在海量原始 告警數(shù)據(jù)中的有意義的知識和告警關(guān)聯(lián)性，更加全面和系統(tǒng)的解釋網(wǎng)絡(luò)故障及性能問題， 使得網(wǎng)管人員能快速的進(jìn)行故障定位并進(jìn)一步做出故障決策和預(yù)測。但是通信網(wǎng)絡(luò)網(wǎng)元設(shè) 備種類繁多，關(guān)系復(fù)雜，告警數(shù)據(jù)量巨大，通用型的數(shù)據(jù)挖掘算法理論上能夠挖掘出所有的 頻繁項集，進(jìn)而獲得其中的關(guān)聯(lián)規(guī)則。但是對于硬件系統(tǒng)的要求很高，需要長時間的計算和 占用大量的存儲空間。并且得到的挖掘結(jié)果對于實際應(yīng)用來說，很多是無效的結(jié)果，甚至部 分結(jié)果是冗余的，無法實現(xiàn)關(guān)聯(lián)規(guī)則的高效挖掘，不適于后期告警關(guān)聯(lián)規(guī)則的梳理工作與 實際的告警監(jiān)控和故障定位。

發(fā)明內(nèi)容
為了克服現(xiàn)有技術(shù)存在的問題，本發(fā)明設(shè)計并實現(xiàn)了一種通信告警最大頻繁項集 挖掘系統(tǒng)。本發(fā)明的目的是提供一種基于最大頻繁項集的通信告警關(guān)聯(lián)規(guī)則挖掘方法。本發(fā) 明的目的是按以下方式實現(xiàn)的，本發(fā)明提供了一種創(chuàng)造性的、高效的基于最大頻繁項集數(shù) 據(jù)挖掘的通信告警關(guān)聯(lián)分析系統(tǒng)。通過對實際通信網(wǎng)絡(luò)進(jìn)行告警數(shù)據(jù)分析、網(wǎng)元設(shè)備分類、 拓?fù)浣Y(jié)構(gòu)整理、告警監(jiān)控系統(tǒng)需求分析等，設(shè)計并實現(xiàn)了一套完整的告警關(guān)聯(lián)分析系統(tǒng)，其 中由告警數(shù)據(jù)預(yù)處理、網(wǎng)元設(shè)備挖掘分類、告警最大頻繁項集數(shù)據(jù)挖掘、數(shù)據(jù)挖掘結(jié)果處理 及展示四大子系統(tǒng)組成。方法包含以下步驟1)首先從告警監(jiān)控平臺獲取一段時間內(nèi)連續(xù)的原始告警數(shù)據(jù)，根據(jù)實際數(shù)據(jù)挖掘 工作，通過數(shù)據(jù)清洗，數(shù)據(jù)提取獲取所需要的告警數(shù)據(jù)，并抽取其中的關(guān)鍵屬性，建立待挖 掘的告警數(shù)據(jù)表；2)根據(jù)單一網(wǎng)元、同類設(shè)備網(wǎng)元、互連設(shè)備的不同挖掘方式，通過設(shè)置告警關(guān)聯(lián)時 間窗及滑動步長，遍歷告警數(shù)據(jù)表建立所需要的數(shù)據(jù)挖掘的事務(wù)型數(shù)據(jù)集合；3)設(shè)置數(shù)據(jù)挖掘支持度參數(shù)和置信度參數(shù)，利用最大頻繁項集的數(shù)據(jù)挖掘算法， 來挖掘告警中的最大頻繁項集，獲得所有最大頻繁項集結(jié)果；4)根據(jù)單一網(wǎng)元、同類設(shè)備網(wǎng)元及互聯(lián)設(shè)備不同的數(shù)據(jù)挖掘方式獲取的頻繁項 集，采取不同的方法進(jìn)行結(jié)果處理，獲取告警關(guān)聯(lián)規(guī)則，以使數(shù)據(jù)挖掘?qū)Σ煌耐诰蚍绞骄哂懈玫尼槍π裕?)對數(shù)據(jù)挖掘處理后的告警關(guān)聯(lián)規(guī)則，通過告警監(jiān)控平臺已經(jīng)成立的關(guān)聯(lián)規(guī)則進(jìn) 行核對，驗證數(shù)據(jù)挖掘的準(zhǔn)確率及覆蓋率，證明數(shù)據(jù)挖掘的有效性和實用性；6)將數(shù)據(jù)挖掘得到的告警關(guān)聯(lián)規(guī)則結(jié)合已有的用于告警監(jiān)控和故障定位的專家系統(tǒng)，進(jìn)行網(wǎng)絡(luò)管理平臺的告警關(guān)聯(lián)性分析，服務(wù)于通信網(wǎng)絡(luò)監(jiān)控領(lǐng)域。本發(fā)明的優(yōu)異效果(1)針對不同的挖掘方式，對告警數(shù)據(jù)進(jìn)行不同的唯一性標(biāo)記，使得可以在數(shù)據(jù)挖 掘中，準(zhǔn)確的辨別出任何一條告警數(shù)據(jù)，提高數(shù)據(jù)挖掘的準(zhǔn)確性。(2)針對實際應(yīng)用，開發(fā)出新的基于最大頻繁項集的數(shù)據(jù)挖掘算法，在確保數(shù)據(jù)挖 掘結(jié)果正確的前提下，極大的提高了數(shù)據(jù)挖掘的數(shù)據(jù)處理數(shù)量及挖掘效率，該方法能夠處 理百萬數(shù)量級的告警數(shù)據(jù)，并取得了比較好的挖掘效果，使得告警關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘具有 更好的工程應(yīng)用性。(3)在互聯(lián)設(shè)備的挖掘中，根據(jù)實際電信網(wǎng)絡(luò)拓?fù)潢P(guān)系，對不同拓?fù)潢P(guān)系下的拓?fù)?網(wǎng)元組合進(jìn)行數(shù)據(jù)獲取階段及結(jié)果處理階段的約束，提高了互聯(lián)設(shè)備的挖掘效率。(4)在結(jié)果處理中，結(jié)合實際需要，采取多重結(jié)果處理機制，最大程度的壓縮數(shù)據(jù) 挖掘的挖掘結(jié)果，并結(jié)合實際的告警關(guān)聯(lián)規(guī)則，給出適當(dāng)?shù)慕Y(jié)果展示方式，極大的方便了告 警關(guān)聯(lián)規(guī)則核對工作。


附圖1為基于最大頻繁項集的通信告警關(guān)聯(lián)規(guī)則挖掘方法的結(jié)構(gòu)示意圖；
具體實施例方式參照說明書附圖對本發(fā)明的基于最大頻繁項集的通信告警關(guān)聯(lián)規(guī)則挖掘方法做 以下詳細(xì)的說明。本發(fā)明的基于最大頻繁項集的通信告警關(guān)聯(lián)規(guī)則挖掘方法，其步驟如下1)首先從告警監(jiān)控平臺獲取一段時間內(nèi)連續(xù)的原始告警數(shù)據(jù)，根據(jù)實際數(shù)據(jù)挖掘 工作，通過數(shù)據(jù)清洗，數(shù)據(jù)提取等獲取所需要的告警數(shù)據(jù)，并抽取其中的關(guān)鍵屬性，建立待 挖掘的告警數(shù)據(jù)表。2)根據(jù)單一網(wǎng)元、同類設(shè)備網(wǎng)元、互連設(shè)備等不同挖掘方式，通過設(shè)置告警關(guān)聯(lián)時 間窗及滑動步長，遍歷告警數(shù)據(jù)表建立所需要的數(shù)據(jù)挖掘的事務(wù)型數(shù)據(jù)集合。3)設(shè)置數(shù)據(jù)挖掘支持度參數(shù)和置信度參數(shù)，利用基于最大頻繁項集的數(shù)據(jù)挖掘算 法，來挖掘告警中的最大頻繁項集，獲得所有最大頻繁項集結(jié)果。4)不同的數(shù)據(jù)挖掘方式獲取的頻繁項集結(jié)果也不同，因此需要采取不同的方法進(jìn) 行結(jié)果處理，獲取告警關(guān)聯(lián)規(guī)則，可以使數(shù)據(jù)挖掘?qū)Σ煌耐诰蚍绞骄哂懈玫尼槍π浴?)對數(shù)據(jù)挖掘處理后的告警關(guān)聯(lián)規(guī)則，通過告警監(jiān)控平臺已經(jīng)成立的關(guān)聯(lián)規(guī)則進(jìn) 行核對，驗證數(shù)據(jù)挖掘的準(zhǔn)確率及覆蓋率，證明數(shù)據(jù)挖掘的有效性和實用性。6)將數(shù)據(jù)挖掘得到的告警關(guān)聯(lián)規(guī)則結(jié)合已有的用于告警監(jiān)控和故障定位的專家系統(tǒng)，進(jìn)行網(wǎng)絡(luò)管理平臺的告警關(guān)聯(lián)性分析，服務(wù)于通信網(wǎng)絡(luò)監(jiān)控領(lǐng)域。本發(fā)明基于最大頻繁項集數(shù)據(jù)挖掘的告警關(guān)聯(lián)分析系統(tǒng)，該系統(tǒng)能夠挖掘出海量告警中最大頻繁項集，不僅能夠包含所有的頻繁項目子集，還能夠節(jié)省大量的時間和存儲 空間，并在系統(tǒng)實施的過程中根據(jù)通信設(shè)備類型進(jìn)行分類挖掘，最后對挖掘結(jié)果進(jìn)行多重 處理，以最完整和簡潔的形式給出告警關(guān)聯(lián)規(guī)則，真正實現(xiàn)了通信告警海量數(shù)據(jù)的關(guān)聯(lián)規(guī) 則挖掘。在海量電信告警數(shù)據(jù)下具有很好的應(yīng)用性，可以根據(jù)不同的數(shù)據(jù)挖掘需求，按照 不同的挖掘方式進(jìn)行告警關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘，挖掘出用戶感興趣的最大頻繁項集并去除掉 無用的頻繁項子集，在提高了挖掘效率的同時，很大程度的壓縮了挖掘結(jié)果，真正實現(xiàn)了海 量告警數(shù)據(jù)下的告警關(guān)聯(lián)規(guī)則挖掘的準(zhǔn)確性和應(yīng)用效率。本發(fā)明的挖掘結(jié)果可以直接應(yīng)用 于告警監(jiān)控及故障定位方面，因此本發(fā)明具有廣泛的應(yīng)用前景和良好的實用價值。實施例基于本發(fā)明的數(shù)據(jù)挖掘告警關(guān)聯(lián)性分析系統(tǒng)，可以采用基于主機的軟件實現(xiàn)。具 體實現(xiàn)時的方法和注意事項如下1.事務(wù)型告警數(shù)據(jù)集合獲取(1)根據(jù)不同的挖掘方式，對告警數(shù)據(jù)進(jìn)行清洗、提取、建立適當(dāng)?shù)母婢ㄒ粯?biāo)記。(2)根據(jù)用戶設(shè)置的告警關(guān)聯(lián)時間窗口及滑動步長，遍歷數(shù)據(jù)庫，獲取需要的告警 關(guān)聯(lián)事務(wù)型數(shù)據(jù)集合，其中挖掘互聯(lián)設(shè)備需要引入相應(yīng)的網(wǎng)絡(luò)拓?fù)潢P(guān)系約束，獲取約束后 的告警關(guān)聯(lián)事務(wù)型數(shù)據(jù)集合。2.最大頻繁項集挖掘算法實現(xiàn)(1)利用開發(fā)的基于最大頻繁項集的數(shù)據(jù)挖掘算法的接口，傳入用戶自定義的最 小支持度，進(jìn)行數(shù)據(jù)挖掘。(2)在挖掘過程中，在挖掘進(jìn)行的同時，顯示已經(jīng)挖掘出的結(jié)果，進(jìn)行挖掘過程監(jiān) 控及參數(shù)輸入，將數(shù)據(jù)挖掘的一些相關(guān)信息記錄在日志文件中。(3)預(yù)留與數(shù)據(jù)挖掘結(jié)果處理部分的接口，以便進(jìn)行相應(yīng)的結(jié)果處理。3.挖掘結(jié)果處理及顯示(1)根據(jù)不同的挖掘方式，采用不同的方法進(jìn)行結(jié)果處理，其中包括子集結(jié)果的去 除，相同結(jié)果的合并等，最大程度的壓縮挖掘結(jié)果，提高挖掘結(jié)果的實用性。(2)根據(jù)用戶需求，結(jié)合實際應(yīng)用，采用適當(dāng)?shù)男问斤@示并記錄挖掘出的告警關(guān)聯(lián) 規(guī)則，以便下一步應(yīng)用于告警監(jiān)控和故障定位。除說明書所述的技術(shù)特征外，均為本專業(yè)技術(shù)人員的已知技術(shù)。
權(quán)利要求
1.基于最大頻繁項集的通信告警關(guān)聯(lián)規(guī)則挖掘方法，其特征在于，包含以下步驟(1)首先從告警監(jiān)控平臺獲取一段時間內(nèi)連續(xù)的原始告警數(shù)據(jù)，根據(jù)實際數(shù)據(jù)挖掘工 作，通過數(shù)據(jù)清洗，數(shù)據(jù)提取獲取所需要的告警數(shù)據(jù)，并抽取其中的關(guān)鍵屬性，建立待挖掘 的告警數(shù)據(jù)表；(2)根據(jù)單一網(wǎng)元、同類設(shè)備網(wǎng)元、互連設(shè)備的不同挖掘方式，通過設(shè)置告警關(guān)聯(lián)時間 窗及滑動步長，遍歷告警數(shù)據(jù)表建立所需要的數(shù)據(jù)挖掘的事務(wù)型數(shù)據(jù)集合；(3)設(shè)置數(shù)據(jù)挖掘支持度參數(shù)和置信度參數(shù)，利用最大頻繁項集的數(shù)據(jù)挖掘算法，來挖 掘告警中的最大頻繁項集，獲得所有最大頻繁項集結(jié)果；(4)根據(jù)單一網(wǎng)元、同類設(shè)備網(wǎng)元及互聯(lián)設(shè)備不同的數(shù)據(jù)挖掘方式獲取的頻繁項集，采 取不同的方法進(jìn)行結(jié)果處理，獲取告警關(guān)聯(lián)規(guī)則，以使數(shù)據(jù)挖掘?qū)Σ煌耐诰蚍绞骄哂懈?好的針對性；(5)對數(shù)據(jù)挖掘處理后的告警關(guān)聯(lián)規(guī)則，通過告警監(jiān)控平臺已經(jīng)成立的關(guān)聯(lián)規(guī)則進(jìn)行 核對，驗證數(shù)據(jù)挖掘的準(zhǔn)確率及覆蓋率，證明數(shù)據(jù)挖掘的有效性和實用性；(6)將數(shù)據(jù)挖掘得到的告警關(guān)聯(lián)規(guī)則結(jié)合已有的用于告警監(jiān)控和故障定位的專家系 統(tǒng)，進(jìn)行網(wǎng)絡(luò)管理平臺的告警關(guān)聯(lián)性分析，服務(wù)于通信網(wǎng)絡(luò)監(jiān)控領(lǐng)域。
全文摘要
本發(fā)明提供了基于最大頻繁項集數(shù)據(jù)挖掘的告警關(guān)聯(lián)規(guī)則挖掘系統(tǒng)的構(gòu)建方法及其實現(xiàn)，針對通信網(wǎng)絡(luò)中設(shè)備的不同類型，設(shè)計了單一設(shè)備、同類設(shè)備及互聯(lián)設(shè)備三種不同的挖掘方式，而按照挖掘范圍，又可以將數(shù)據(jù)挖掘的范圍定位到具體的地市級或者通信設(shè)備廠商級。確定挖掘方式后，選擇告警關(guān)聯(lián)時間窗口，滑動步長等獲取告警事務(wù)項集合。用戶輸入最小支持度后，利用最大頻繁項集挖掘算法進(jìn)行告警關(guān)聯(lián)結(jié)果挖掘，并根據(jù)不同的挖掘方式進(jìn)行挖掘結(jié)果處理及顯示。通過一系列過程，實現(xiàn)了從海量告警數(shù)據(jù)中找出用戶所需要的告警關(guān)聯(lián)規(guī)則，具有廣泛的應(yīng)用前景和良好的實用價值。
文檔編號H04L12/24GK102111296SQ20111000341
公開日2011年6月29日 申請日期2011年1月10日 優(yōu)先權(quán)日2011年1月10日
發(fā)明者李洋, 苗再良, 馬小波 申請人:浪潮通信信息系統(tǒng)有限公司