專利名稱：：網(wǎng)絡(luò)流量異常檢測方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及網(wǎng)絡(luò)管理與安全
技術(shù)領(lǐng)域：
，具體涉及一種對于網(wǎng)絡(luò)異常的-險測方法。
背景技術(shù)：
：在高速骨干網(wǎng)絡(luò)層面進行宏觀網(wǎng)絡(luò)流量異常檢測時，巨大流量的實時處理和未知攻擊的檢測給傳統(tǒng)入侵檢測技術(shù)帶來了很大的挑戰(zhàn)。在流量異常檢測方面，國內(nèi)外的學(xué)術(shù)機構(gòu)和企業(yè)不斷探討并提出了多種檢測方法。目前國內(nèi)外研究人員主要采用源-目的(Origin-DestinationOD)流矩陣以及相關(guān)統(tǒng)計分析方法進行網(wǎng)絡(luò)異常^r測，2004年Lakhina等人在ACMSIGMETRICS中的StructuralAnalysisofNetworkTrafficFlows等文章中公開了如下所述的網(wǎng)絡(luò)異常檢測分析方法首先利用主成分分析方法(PCA),將源和目標(biāo)之間的OD流組成的OD流矩陣進行PCA分析處理，將網(wǎng)絡(luò)流量數(shù)據(jù)大體分為周期變化的數(shù)據(jù)、短期突變的數(shù)據(jù)和高斯分布的噪音數(shù)據(jù)；然后將周期變化的數(shù)據(jù)歸結(jié)到3個主成份上，以3個新的復(fù)合變量來重構(gòu)網(wǎng)絡(luò)流的特征，從而構(gòu)成了網(wǎng)絡(luò)流量數(shù)據(jù)的正?？臻g，剩下的其它成份復(fù)合變量構(gòu)成了網(wǎng)絡(luò)流量數(shù)據(jù)的異?？臻g；最后采用子空間(Subspace)方法來檢測分析網(wǎng)絡(luò)異常。但在上述方法中，OD流矩陣的獲取、計算方法非常復(fù)雜，代價高，對異常類型的判斷方法也很復(fù)雜，需要事先進行標(biāo)準異常特征的學(xué)習(xí)，所以該方法在實際應(yīng)用中可操作性較差。
發(fā)明內(nèi)容本發(fā)明要解決的技術(shù)問題是提供一種可操作性強的網(wǎng)絡(luò)流量異常檢測方法和系統(tǒng)。為實現(xiàn)上述目的，本發(fā)明提供了一種網(wǎng)絡(luò)流量異常檢測方法，包括下列步驟1)釆集流量指標(biāo)數(shù)據(jù)，建立流量指標(biāo)數(shù)據(jù)矩陣；2)采用主成分分析方法建立所述流量指標(biāo)數(shù)據(jù)矩陣的主元模型；3)通過所述主元模型的多變量統(tǒng)計控制圖對網(wǎng)絡(luò)流量進行異常檢測。上述方法中，所述流量指標(biāo)數(shù)據(jù)包括網(wǎng)絡(luò)應(yīng)用類型、端口或IP地址對的字節(jié)數(shù)目指標(biāo)信息，網(wǎng)絡(luò)應(yīng)用類型、端口或IP地址對的包數(shù)目指標(biāo)信息，包字節(jié)大小信息，和/或流方向信息。上述方法中，所述步驟l)進一步包括采集所述流量指標(biāo)數(shù)據(jù)，基于應(yīng)用層協(xié)議對所述流量指標(biāo)數(shù)據(jù)進行分類統(tǒng)計；建立流量指標(biāo)數(shù)據(jù)矩陣。上述方法中，所述步驟1)還包括對所述流量指標(biāo)矩陣進行歸一化的步驟。上述方法中，所述步驟3)為采用平方預(yù)測誤差統(tǒng)計圖檢測所述網(wǎng)絡(luò)流量異常出現(xiàn)的時間。上述方法中，所述步驟3)還包括步驟采用主元貢獻圖分析對所述網(wǎng)絡(luò)流量異常貢獻最大的流量指標(biāo)。根據(jù)本發(fā)明的另一方面，還提供了一種網(wǎng)絡(luò)流量異常檢測系統(tǒng)，包括下列部件網(wǎng)絡(luò)探針，用于采集流量指標(biāo)數(shù)據(jù)；分析部件，用于建立流量指標(biāo)數(shù)據(jù)矩陣，采用主成分分析方法建立所述流量指標(biāo)數(shù)據(jù)矩陣的主元模型，通過所述主元模型的多變量統(tǒng)計控制圖對網(wǎng)絡(luò)流量進行異常檢測。上述檢測系統(tǒng)中，所述網(wǎng)絡(luò)探針包括應(yīng)用層流量識別與分類模塊，用于基于應(yīng)用層協(xié)議分類統(tǒng)計所述流量指標(biāo)數(shù)據(jù)。本發(fā)明提供的上述方法可操作性強，而且有效提高了網(wǎng)絡(luò)流量異常檢測的準確度。圖1是根據(jù)本發(fā)明一個具體實施例的網(wǎng)絡(luò)異常檢測方法的流程圖；圖2是根據(jù)本發(fā)明一個具體實施例的字節(jié)數(shù)目流量指標(biāo)的碎石圖；圖3是根據(jù)本發(fā)明一個具體實施例的字節(jié)數(shù)目流量指標(biāo)數(shù)據(jù)矩陣的主元模型的SPE統(tǒng)計圖4是根據(jù)本發(fā)明一個具體實施例的第160時刻各字節(jié)數(shù)目流量指標(biāo)貢獻圖；圖5是根據(jù)本發(fā)明一個具體實施例的異常時刻基礎(chǔ)應(yīng)用各協(xié)議出境字節(jié)速率；圖6是根據(jù)本發(fā)明一個具體實施例的包數(shù)目流量指標(biāo)的碎石圖7是根據(jù)本發(fā)明一個具體實施例的包數(shù)目流量指標(biāo)數(shù)據(jù)矩陣的主元模型的SPE統(tǒng)計圖8是根據(jù)本發(fā)明一個具體實施例的第160時刻各包數(shù)目流量指標(biāo)貢獻圖9是根據(jù)本發(fā)明一個具體實施例的異常時刻基礎(chǔ)應(yīng)用各協(xié)議出境包速率；圖10是根據(jù)本發(fā)明一個具體實施例的網(wǎng)絡(luò)流量檢測系統(tǒng)。具體實施例方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖，對根據(jù)本發(fā)明一個實施例的網(wǎng)絡(luò)流量異常檢測分析方法進一步詳細說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。當(dāng)前本領(lǐng)域普通技術(shù)人員認為基本的網(wǎng)絡(luò)流量指標(biāo)數(shù)據(jù)不能滿足對網(wǎng)絡(luò)的深入分析的要求，必須要有詳細的流信息。但實際上對于網(wǎng)絡(luò)管理員來說，沒有詳細的流信息，但只要告知出現(xiàn)的異常流信息的特征和范圍就能幫助其快速排查原因。例如在線檢測出某異常發(fā)生，實時報警，并指出該異常是由出境的基本應(yīng)用流量導(dǎo)致的，數(shù)據(jù)包的大小主要在256字節(jié)和512字節(jié)之間，這樣的信息可以很快幫助管理員縮、分析問題的范圍，管理員可以馬上查詢當(dāng)時基礎(chǔ)應(yīng)用各協(xié)議的出境比特速率圖，如果發(fā)現(xiàn)當(dāng)時HTTP協(xié)議的比特速率猛增，這樣其可以進行排查，從而檢查網(wǎng)內(nèi)的WEB服務(wù)器是否出現(xiàn)異常。由于在網(wǎng)絡(luò)流量指標(biāo)之間存在著一定的相關(guān)性，這使得利用較少的變量反映全部變量的信息成為可能，因此，可以采用PCA方法對流量指標(biāo)數(shù)據(jù)矩陣進行降維和特征提取，將其轉(zhuǎn)化為相互獨立的低維變量空間，建立相應(yīng)的主元模型，實現(xiàn)對復(fù)雜流量指標(biāo)數(shù)據(jù)的特征抽取。主元模型舍棄了部分殘差而保留體現(xiàn)數(shù)據(jù)變異的主要方向。一個特定的異常會使測量值按照特定的規(guī)律變化，主元模型則包含了異常在變量空間的變化方向。在具體描述本發(fā)明的方法和系統(tǒng)之前，首先說明本發(fā)明所采用的PCA方法。PCA方法是多元統(tǒng)計學(xué)中的一種方法，其試圖在力保數(shù)據(jù)信息丟失最少的原則下，對多變量的截面數(shù)據(jù)表進行最佳綜合簡化，也就是說，對高維變量空間進行降維處理。假設(shè)有p個隨機變量，記為Xl5X2,Xp，PCA就是要把這p個隨機變量的問題，轉(zhuǎn)變?yōu)橛懻損個隨機變量的線性組合F^F2,Fp的問題，其被稱為主成分，這些線性組合之間相互獨立。其中的F^F2,Fk(k《p)按照保留主要信息量的原則充分反映原指標(biāo)的信息。這種由多個指標(biāo)降為少數(shù)幾個綜合指標(biāo)的過程在數(shù)學(xué)上稱為降維。PCA—般的做法是，尋求原指標(biāo)的線性組合Fi,其中《+M21^T2H-----!"ilp尸2=仏2《+W22X2+…+2&尸p=~《+x2+…+xp,而且，w5+《■-----《=1主成分之間相互獨立，即無重疊的信息，即Cov巧)=0，^/，/，/=1，2，…，；？主成分的方差依次遞減，重要性依次遞減，即Far(Fi)2Far(i^)2…2Far(尸p)由前面的介紹可知PCA可以產(chǎn)生一個壓縮的統(tǒng)計模型——主元模型，模型給出了隨機變量的線性組合，描述了數(shù)據(jù)變化的主要趨勢。主元模型使原隨機變量數(shù)據(jù)標(biāo)準差的平方重新分布，大多數(shù)隨機變量數(shù)據(jù)標(biāo)準差平方會分布在第一主成份上，其次分布在第二主成份上，依此類推。按某種準則將最后幾個主成份視為分解殘差予以忽略，則有可能利用較少的主成份來說明較多的信息。對于一個給定的m行采樣值和n列隨機變量的數(shù)據(jù)矩陣X,每行是給定時間的n個變量的釆樣。X的協(xié)方差為m—l6如果X已經(jīng)歸一化，協(xié)方差就成為相關(guān)矩陣。PCA將數(shù)據(jù)矩陣X分解為《minI/n，")個向量的矢積和以及一個殘差矩陣e的主元模型式中E為殘差矩陣，f為得分向量，p為協(xié)方差的特征向量。得分向量f形成的正交矩陣(《。=o，"力描述了采樣值是如何互相關(guān)聯(lián)的。特征向量p形成的標(biāo)準正交矩陣(P》,o，當(dāng)"貝'《&=1當(dāng)"7'時)描述了隨機變量是如何相互關(guān)聯(lián)的。而且式中《為協(xié)方差的特征向量，為特征向量《的特征值。一個主成份的得分是指通過對給定釆樣數(shù)量的所有隨機變量的特征值進行主成份估值時所得到的值。例如第一主成份衡量了隨機變量的線性組合度，隨機變量在該方向獲取了最多的數(shù)據(jù)的變化，因為S是與協(xié)方差的最大特征值相關(guān)的。第二主成份擁有次多的數(shù)據(jù)變化，和協(xié)方差的第二大特征值相關(guān)，并和第一主成份正交。與第一主成份不相關(guān)的變量線性組合度說明了一些變化是與第一主成份無關(guān)的。簡要的說，對m維變量空間而言第一特征向量《定義了最大變化方向，而第一得分向量^表示了每個采樣或觀察值在第一主成份軸上的投影。對一個m行n列矩陣X,能夠計算出n個主成份，但是因為相關(guān)性和噪聲，最前的k個主成份就足以表述數(shù)據(jù)的主要變化了，即可得到k個主成份的主元模型。圖1是根據(jù)本發(fā)明一個具體實施例的網(wǎng)絡(luò)異常檢測方法的流程圖，如圖1所示，該方法包括如下步驟采集流量指標(biāo)數(shù)據(jù)按一定的時間窗口建立流量指標(biāo)數(shù)據(jù)矩陣；對該流量指標(biāo)數(shù)據(jù)矩陣進行歸一化處理；采用PCA方法建立所述流量指標(biāo)數(shù)據(jù)矩陣的主元模型；采用主元模型的SPE統(tǒng)計圖將實際數(shù)據(jù)與正常模型進行對比從而自動發(fā)現(xiàn)被測網(wǎng)絡(luò)流量異常出現(xiàn)的時間點；通過主元貢獻圖查出對網(wǎng)絡(luò)流量異常的貢獻最大的流量指標(biāo)分量，從而發(fā)現(xiàn)導(dǎo)致異常出現(xiàn)的主要原因。該網(wǎng)絡(luò)異常檢測方法的詳細描述如下將網(wǎng)絡(luò)流量基于網(wǎng)絡(luò)應(yīng)用層協(xié)議進行分類，其包括傳統(tǒng)基本流量、P2P流量、即時消息流量、游戲流量、流^(某體流量、VoIP流量和基于私有其它協(xié)議的流量。所述分類便于管理員了解是何種應(yīng)用引起了網(wǎng)絡(luò)異常。本領(lǐng)域普通技術(shù)人員可以理解，根據(jù)檢測的深度還可以對基于任一應(yīng)用層協(xié)議的網(wǎng)絡(luò)流量進一步細分。采集流量指標(biāo)數(shù)據(jù)，其包括網(wǎng)絡(luò)應(yīng)用類型、端口或IP地址對的字節(jié)數(shù)目指標(biāo)信息；網(wǎng)絡(luò)應(yīng)用類型、端口或IP地址對的包數(shù)目指標(biāo)信息；包字節(jié)大小信息；和/或流方向信息。將所采集的流量指標(biāo)數(shù)據(jù)基于上述流量的分類進行分類統(tǒng)計。利用分類統(tǒng)計的流量指標(biāo)數(shù)據(jù)建立數(shù)據(jù)矩陣X_—流量指標(biāo)數(shù)據(jù)矩陣，一個合理的流量指標(biāo)數(shù)據(jù)矩陣能反映網(wǎng)絡(luò)流量的總體變化，并且還要包含豐富的信息幫助觀察者發(fā)現(xiàn)異常產(chǎn)生的原因。考慮到檢測重點和計算復(fù)雜性，可以選流量指標(biāo)數(shù)據(jù)的某些組合來建立流量指標(biāo)數(shù)據(jù)矩陣。從上述流量指標(biāo)可以看出，對流量指標(biāo)數(shù)據(jù)可分別按照字節(jié)和包數(shù)目進行統(tǒng)計，兩者大體一致，但也存在差異，優(yōu)選的，將兩者結(jié)合以更好地反映網(wǎng)絡(luò)流量的特征。根據(jù)本發(fā)明的一個實施例，根據(jù)上述分類采用如表1所示的字節(jié)數(shù)目流量指標(biāo)建立流量指標(biāo)數(shù)據(jù)矩陣。表1字節(jié)數(shù)目流量指標(biāo)數(shù)據(jù)矩陣行向量構(gòu)成指標(biāo)序號指標(biāo)名稱說明1basic—in—byte傳統(tǒng)流量入境字節(jié)數(shù)basic—out—byte傳統(tǒng)流量出境字節(jié)數(shù)p2p_in—byteP2p入境字節(jié)數(shù)4p2p—out—byteP2p出境字節(jié)數(shù)im—in—byte即時消息入境字節(jié)數(shù)6im—out—byte即時消息出境字節(jié)數(shù)7game—in—byte游戲入境字節(jié)數(shù)8game—out—byte游戲出境字節(jié)數(shù)9stre3ming一in一byte流媒體入境字節(jié)數(shù)10streaming—out—byte流媒體出境字節(jié)數(shù)8<table>tableseeoriginaldocumentpage9</column></row><table>流量指標(biāo)數(shù)據(jù)矩陣的行向量由這28個流量指標(biāo)構(gòu)成，考慮流量是以天為周期的，采用間隔為5分鐘的24小時的采樣數(shù)據(jù)總共288個樣本作為建?？臻g。為消除實際量綱的影響，對上述流量指標(biāo)數(shù)據(jù)進行歸一化。每個流量指標(biāo)作為一個隨機變量，將每個隨機變量的采樣數(shù)據(jù)減去其均值然后除以其標(biāo)準差。用^表示所有隨機變量經(jīng)過歸一化處理后得到的數(shù)據(jù)矩陣Js=[X-(1......l)rM]W"g[丄丄.....丄]式中M為隨機變量的均值，M=[附l附2......附m],111s=[--.....—]s為隨才幾變量標(biāo)準差，s。一段網(wǎng)絡(luò)流量正常期間的的流量指標(biāo)采樣數(shù)據(jù)在進行了上述歸一化后，利用如上所述的PCA方法建立主元模型，以用于對待檢測的流量指標(biāo)數(shù)據(jù)進行檢測。根據(jù)歸一化后的數(shù)據(jù)矩陣進行主成份分析得到fs=M'++…+"P二如可以用前k(k<m)個主成份來代表數(shù)據(jù)中的主要變化，可以得到主元才莫型J=fp+￡。表2是該主元模型前9個主成份的構(gòu)成參數(shù)表，C1-C28表示第1至28號原始字節(jié)數(shù)目流量指標(biāo)。表3是該主元模型的前9個主成份的特征值、貢獻率以及累積貢獻率表。從表3中可看出第一主成份PC1的貢獻率為74%,到PC3，累計貢獻率已經(jīng)達到86.7%。表2字節(jié)數(shù)目流量指標(biāo)數(shù)據(jù)矩陣主成份構(gòu)成表<table>tableseeoriginaldocumentpage10</column></row><table>表3字節(jié)數(shù)目流量指標(biāo)數(shù)據(jù)矩陣主成份特征分析表<table>tableseeoriginaldocumentpage10</column></row><table>圖2是字節(jié)數(shù)目流量指標(biāo)的碎石圖，示出了主成分和其特征值的對應(yīng)關(guān)系，例如第一主成分的特征值是20.73。圖中的曲線呈現(xiàn)較為理想的模式，只需前3個主成份即可描述流量指標(biāo)的主體變化了，所以建立包括3個主成份的主元模型。建立主元模型之后，利用多變量統(tǒng)計控制圖對網(wǎng)絡(luò)流量進行異常檢測。本領(lǐng)域普通技術(shù)人員可以理解，多變量統(tǒng)計控制圖包括平方預(yù)測誤差(SPE)統(tǒng)計圖、TA2統(tǒng)計圖、主元貢獻圖等。根據(jù)本發(fā)明的實施例，采用主元模型的SPE統(tǒng)計圖將實際數(shù)據(jù)與正常模型進行對比從而自動發(fā)現(xiàn)被測流量異常出現(xiàn)的時間，本領(lǐng)域普通技術(shù)人員可以理解還可以采用其它的多變量統(tǒng)計控制圖進行異常檢測。優(yōu)選的，本發(fā)明的實施例還包括通過主元貢獻圖分析對異常的貢獻最大的流量指標(biāo)分量，從而發(fā)現(xiàn)導(dǎo)致異常出現(xiàn)的主要原因。SPE統(tǒng)計圖，又稱Q統(tǒng)計圖。SPE統(tǒng)計量表示的是待檢測網(wǎng)絡(luò)流量的主元模型相對于網(wǎng)絡(luò)流量正常時的主元模型的偏離程度，是衡量模型外部數(shù)據(jù)變化的量度。SPE統(tǒng)計量也稱為Q統(tǒng)計量。計算每一采樣時刻待檢測主元模型的SPE統(tǒng)計量M^，并計算檢驗水平為a時，SPE統(tǒng)計量控制限鵬。。如果S/^〉Si^。，表示該時刻統(tǒng)計量出現(xiàn)異常。優(yōu)選的，ME。的檢驗水平a取值為0.95,以達到較高的統(tǒng)計檢驗可信度。SPE統(tǒng)計量由多個隨機變量的綜合作用而成，可以對多個變量同時進行監(jiān)控。一般將各采樣值的SPE統(tǒng)計量和控制限畫在一張SPE統(tǒng)計圖上，超出控制限的點則是可能的異常點。圖3是根據(jù)本發(fā)明一個具體實施例的字節(jié)數(shù)目流量指標(biāo)數(shù)據(jù)矩陣的SPE統(tǒng)計圖，可以明顯看到在160點處有一個超出控制限很多的異常，,|60=297.416446。當(dāng)SPE統(tǒng)計量超出其控制限時，可以判定待檢測數(shù)據(jù)出現(xiàn)了異常情況，但是并不能從SPE統(tǒng)計圖找出究竟是什么數(shù)據(jù)出現(xiàn)了問題。一個能幫助確定哪個原始分量數(shù)據(jù)出現(xiàn)異常的有效工具是主元貢獻圖(Contributionplot)。根據(jù)待檢測的網(wǎng)絡(luò)流量指標(biāo)的主元貢獻圖的分析，可以確定引起SPE統(tǒng)計量超出控制限的是哪些流量指標(biāo)的變化。將這些分析結(jié)果與相關(guān)知識結(jié)合，將會容易地找出引起異常的原因。在獲知160點處有異常后，畫出160點處的各隨機變量的貢獻圖，如圖所示。圖4中示出對此處異常貢獻最大的是2號和22號原始變量，也就是矩陣行向量中的basic—out—byte和SUM(B—0_512)指標(biāo)，這說明此處異常是由出境的基本應(yīng)用流量導(dǎo)致的，數(shù)據(jù)包的大小主要在256byte和512byte之間，這樣的信息可以很快幫助管理員縮小分析問題的范圍。由于已經(jīng)知道異常流量為基礎(chǔ)應(yīng)用的出境流量，可以查詢當(dāng)時基礎(chǔ)應(yīng)用各協(xié)議的出境比特速率圖，如圖。圖5示出當(dāng)時HTTP協(xié)議的比特速率猛增。這樣管理員可以進行排查，檢查網(wǎng)內(nèi)的WEB服務(wù)器是否出現(xiàn)異常?？紤]到字節(jié)數(shù)與數(shù)據(jù)包數(shù)目反映了網(wǎng)絡(luò)流量的不同狀況，根據(jù)本發(fā)明的實施例，再采用網(wǎng)絡(luò)流量指標(biāo)信息中的包數(shù)目信息建立流量指標(biāo)數(shù)據(jù)矩陣。此流量指標(biāo)數(shù)據(jù)矩陣包含的流量指標(biāo)類似于表1,如表表4包數(shù)目流量指標(biāo)數(shù)據(jù)矩陣行向量構(gòu)成<table>tableseeoriginaldocumentpage12</column></row><table>同樣采用間隔為5分鐘的24小時的采樣數(shù)據(jù)總共288個樣本作為建?？臻g。圖6是包數(shù)目流量指標(biāo)的碎石圖，從中可看出只需前3個主成份即可描述流量的主體變化了。圖7是包數(shù)目流量指標(biāo)數(shù)據(jù)矩陣的主元模型的SPE統(tǒng)計圖，其與圖4同樣示出在160點處有一個超出控制限很多的異常，S/^16。=299.074614。圖8是根據(jù)本發(fā)明一個具體實施例的第160時刻各包數(shù)目流量指標(biāo)貢獻圖，與圖4類似，圖8也示出了對此處異常貢獻最大的是2號和22號原始變量，也就是矩陣行向量中的basic—out_pkt和SUM(P_0_512)指標(biāo)，同樣說明此處異常是由出境的基本應(yīng)用流量導(dǎo)致的，數(shù)據(jù)包的大小主要在256byte和512byte之間。查詢當(dāng)時基礎(chǔ)應(yīng)用各協(xié)議的出境包速率圖，如圖9,發(fā)現(xiàn)當(dāng)時HTTP協(xié)議的出境包速率猛增，同時注意到基礎(chǔ)應(yīng)用私有協(xié)議的數(shù)據(jù)包速率也有很大的變化。比較前面同一異常時刻的字節(jié)速率圖，基礎(chǔ)應(yīng)用私有協(xié)議的字節(jié)速率并沒有大的變化，可以推斷這些異常的基礎(chǔ)應(yīng)用私有協(xié)議的數(shù)據(jù)流都是小數(shù)據(jù)包。由此可知，如果能將流量指標(biāo)數(shù)據(jù)矩陣建立得更細致，則本發(fā)明將更準確地找到出現(xiàn)異常的原因。根據(jù)本發(fā)明的一個實施例，提供了一種網(wǎng)絡(luò)異常檢測系統(tǒng)，其部署在國內(nèi)某運營商某個城域網(wǎng)出口處，如圖10所示。該檢測系統(tǒng)是一套完整的可提供2至7層網(wǎng)絡(luò)性能測試與流量分析的分布式系統(tǒng)，其由支持多種速率及接口的分布式網(wǎng)絡(luò)探針和集中式分析部件組成。網(wǎng)絡(luò)探針部署在城域網(wǎng)的出口鏈路上，其用于通過分光的形式7*24小時的采集流量指標(biāo)數(shù)據(jù)，這些流量指標(biāo)數(shù)據(jù)可以反映網(wǎng)絡(luò)的運行整體狀況。優(yōu)選的，網(wǎng)絡(luò)探針中包括應(yīng)用層流量識別與分類模塊(MPI)，該模塊用于識別基于應(yīng)用層的流量指標(biāo)數(shù)據(jù)，分類統(tǒng)計基于應(yīng)用層的流量指標(biāo)數(shù)據(jù)。分析部件周期性地接收、保存并分析網(wǎng)絡(luò)探針?biāo)杉牧髁恐笜?biāo)數(shù)據(jù)以進行網(wǎng)絡(luò)流量異常檢測。具體的，其建立流量指標(biāo)數(shù)據(jù)矩陣，采用主成分分析方法建立流量指標(biāo)數(shù)據(jù)矩陣的主元模型，通過主元模型的多變量統(tǒng)計控制圖對網(wǎng)絡(luò)流量進行異常檢測。本發(fā)明從網(wǎng)絡(luò)流量指標(biāo)方面出發(fā)進行網(wǎng)絡(luò)流量建模與異常檢測，這是因為檢測系統(tǒng)提供了極為豐富的網(wǎng)絡(luò)指標(biāo)信息，包括IP地址對、端口號、應(yīng)用層類型、字節(jié)數(shù)、包數(shù)目、流數(shù)目和流入流出方向等，而這些指標(biāo)信息可以反映網(wǎng)絡(luò)的運行整體狀況。流量指標(biāo)數(shù)據(jù)的獲取代價要比獲取OD流要小很多，因此本發(fā)明提供的方法可操作性更強。而且，合適的流量指標(biāo)數(shù)據(jù)矩陣可以有效提高的網(wǎng)絡(luò)流量異常檢測的準確度。應(yīng)該注意到并理解，在不脫離后附的權(quán)利要求所要求的本發(fā)明的精神和范圍的情況下，能夠?qū)ι鲜鲈敿毭枋龅谋景l(fā)明做出各種修改和改進。因此，要求保護的技術(shù)方案的范圍不受所給出的任何特定示范教導(dǎo)的限制。權(quán)利要求1.一種網(wǎng)絡(luò)流量異常檢測方法，包括下列步驟1)采集流量指標(biāo)數(shù)據(jù)，建立流量指標(biāo)數(shù)據(jù)矩陣；2)采用主成分分析方法建立所述流量指標(biāo)數(shù)據(jù)矩陣的主元模型；3)通過所述主元模型的多變量統(tǒng)計控制圖對網(wǎng)絡(luò)流量進行異常檢測。2.根據(jù)權(quán)利要求1所述的檢測方法，其特征在于，所述流量指標(biāo)數(shù)據(jù)包括網(wǎng)絡(luò)應(yīng)用類型、端口或IP地址對的字節(jié)數(shù)目指標(biāo)信息，網(wǎng)絡(luò)應(yīng)用類型、端口或IP地址對的包數(shù)目指標(biāo)信息，包字節(jié)大小信息，和/或流方向4呂息。3.根據(jù)權(quán)利要求1或2所述的檢測方法，其特征在于，所述步驟l)進一步包括采集所述流量指標(biāo)數(shù)據(jù)，基于應(yīng)用層協(xié)議對所述流量指標(biāo)數(shù)據(jù)進行分類統(tǒng)計；建立流量指標(biāo)數(shù)據(jù)矩陣。4.根據(jù)權(quán)利要求1或2所述的檢測方法，其特征在于，所述步驟l)還包括對所述流量指標(biāo)矩陣進行歸一化的步驟。5.根據(jù)權(quán)利要求1或2所述的檢測方法，其特征在于，所述步驟3)為采用平方預(yù)測誤差統(tǒng)計圖檢測所述網(wǎng)絡(luò)流量異常出現(xiàn)的時間。6.根據(jù)權(quán)利要求1或2所述的檢測方法，其特征在于，所述步驟3)還包括步驟釆用主元貢獻圖分析對所述網(wǎng)絡(luò)流量異常貢獻最大的流量指標(biāo)。7.—種網(wǎng)絡(luò)流量異常檢測系統(tǒng)，包括下列部件網(wǎng)絡(luò)探針，用于采集流量指標(biāo)數(shù)據(jù)；分析部件，用于建立流量指標(biāo)數(shù)據(jù)矩陣，采用主成分分析方法建立所述流量指標(biāo)數(shù)據(jù)矩陣的主元模型，通過所述主元模型的多變量統(tǒng)計控制圖對網(wǎng)絡(luò)流量進行異常檢測。8.根據(jù)權(quán)利要求7所述的檢測系統(tǒng)，其特征在于，所述網(wǎng)絡(luò)探針包括應(yīng)用層流量識別與分類模塊，用于基于應(yīng)用層協(xié)議分類統(tǒng)計所述流量指標(biāo)數(shù)據(jù)。全文摘要本發(fā)明提供一種網(wǎng)絡(luò)流量異常檢測方法和系統(tǒng)，該方法包括下列步驟采集流量指標(biāo)數(shù)據(jù)，建立流量指標(biāo)數(shù)據(jù)矩陣；采用主成分分析方法建立所述流量指標(biāo)數(shù)據(jù)矩陣的主元模型；通過所述主元模型的多變量統(tǒng)計控制圖對網(wǎng)絡(luò)流量進行異常檢測。本發(fā)明提供的上述方法和系統(tǒng)可操作性強，且有效提高了網(wǎng)絡(luò)流量異常檢測的準確度。文檔編號H04L12/24GK101534305SQ20091008291公開日2009年9月16日申請日期2009年4月24日優(yōu)先權(quán)日2009年4月24日發(fā)明者張大方,東王,袁小坊,唯裴,謝高崗,閔應(yīng)驊,陳楠楠申請人:中國科學(xué)院計算技術(shù)研究所