一種基于sketch的數(shù)據(jù)中心網(wǎng)絡(luò)流量分析方法
【專利摘要】本發(fā)明提出了一種基于sketch的數(shù)據(jù)中心網(wǎng)絡(luò)流量分析方法，該方法包括如下步驟：實時或離線接收網(wǎng)絡(luò)流量統(tǒng)計數(shù)據(jù)包；根據(jù)解析后的網(wǎng)絡(luò)流量統(tǒng)計數(shù)據(jù)包的頭信息來確定數(shù)據(jù)包的流量大小，作為sketch的輸入；基于sketch進行實時流量分析。本發(fā)明對已有基于sketch的流量統(tǒng)計算法進行了創(chuàng)新，提出了基于概率選擇的sketch算法，依據(jù)概率對CM及CU算法進行選擇；提出了分區(qū)sketch算法，可在處理不同類型網(wǎng)絡(luò)流量時對sketch進行分區(qū)，該方法在提高準(zhǔn)確率的同時，降低了復(fù)雜度；此外，本發(fā)明通過實時滑動平均算法將更新信息加入到以比率進行折扣后的信息中，該實時滑動方法對越舊的信息被折扣的越多，不但可以節(jié)省空間，還可記錄到流量的突變情況。
【專利說明】—種基于sketch的數(shù)據(jù)中心網(wǎng)絡(luò)流量分析方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于網(wǎng)絡(luò)【技術(shù)領(lǐng)域】，具體涉及一種基于sketch的數(shù)據(jù)中心網(wǎng)絡(luò)流量分析方法。
【背景技術(shù)】
[0002]隨著網(wǎng)絡(luò)的應(yīng)用越來越廣泛，網(wǎng)絡(luò)規(guī)模也日漸增長，網(wǎng)絡(luò)中承載的業(yè)務(wù)也越來越豐富。企業(yè)需要及時的了解到網(wǎng)絡(luò)中承載的業(yè)務(wù)，掌握網(wǎng)絡(luò)流量特征、網(wǎng)絡(luò)用戶特征，以便使網(wǎng)絡(luò)帶寬配置最優(yōu)化，并及時解決網(wǎng)絡(luò)性能問題。通過對網(wǎng)絡(luò)流量的分析，可以幫助企業(yè)了解內(nèi)部網(wǎng)絡(luò)的運行狀況，及時發(fā)現(xiàn)并解決網(wǎng)絡(luò)中的性能瓶頸問題、網(wǎng)絡(luò)異?，F(xiàn)象，也能方便企業(yè)進行網(wǎng)絡(luò)優(yōu)化、網(wǎng)絡(luò)設(shè)備投資、網(wǎng)絡(luò)帶寬優(yōu)化等的參考，并方便網(wǎng)絡(luò)管理員及時解決網(wǎng)絡(luò)異常問題。
[0003]數(shù)據(jù)中心網(wǎng)絡(luò)具有動態(tài)性、高速性和海量性的流量特點，如何高效、準(zhǔn)確地監(jiān)控數(shù)據(jù)流量，以發(fā)現(xiàn)可能存在的擁塞是網(wǎng)絡(luò)技術(shù)的重要任務(wù)。傳統(tǒng)的解決方案有下述幾種方法:
[0004]I)基于數(shù)據(jù)庫查詢的方法:數(shù)據(jù)流以“鍵值對”的形式存儲，但是具有無法滿足實時分析與響應(yīng)，可擴展性差的局限性；
[0005]2)基于計數(shù)器的算法:采用一維數(shù)組的數(shù)據(jù)結(jié)構(gòu)，但是具有可統(tǒng)計的項目數(shù)有限，無法對任意數(shù)據(jù)流提供統(tǒng)計信息的局限性，現(xiàn)有算法有Lossy Counting, Space Saving ；
[0006]3)基于sketch的算法:采用二維數(shù)組的數(shù)據(jù)結(jié)構(gòu)，雖然能夠提供一段時間內(nèi)針對任意流的統(tǒng)計數(shù)據(jù)，但是具有復(fù)雜度和統(tǒng)計準(zhǔn)確率難以權(quán)衡的局限性，現(xiàn)有算法有Count-Min Sketch(CM), Count-Min Sketch with Conservative Update (CU)；
[0007]綜上，上述各技術(shù)均不是分析網(wǎng)絡(luò)流量的優(yōu)選，為此，本發(fā)明對已有的基于sketch的流量統(tǒng)計算法進行了創(chuàng)新，在提高準(zhǔn)確率的同時，還降低了復(fù)雜度。

【發(fā)明內(nèi)容】

[0008]為了克服現(xiàn)有技術(shù)的上述缺陷，本發(fā)明的目的在于提出一種高效、準(zhǔn)確的基于sketch的數(shù)據(jù)中心網(wǎng)絡(luò)流量分析方法。
[0009]為此，本發(fā)明是通過如下技術(shù)方案實現(xiàn)的:
[0010]一種基于sketch的數(shù)據(jù)中心網(wǎng)絡(luò)流量分析方法，包括如下步驟:
[0011]實時或離線接收網(wǎng)絡(luò)流量統(tǒng)計數(shù)據(jù)包；
[0012]根據(jù)解析后的網(wǎng)絡(luò)流量統(tǒng)計數(shù)據(jù)包的頭信息來確定數(shù)據(jù)包的流量大小，作為sketch的輸入；
[0013]基于sketch進行實時流量分析。
[0014]進一步地，該方法還包括如下步驟:
[0015]執(zhí)行sketch基于窗口和信息折扣率的方法來統(tǒng)計歷史流量信息。
[0016]進一步地，統(tǒng)計歷史流量信息的步驟包括:[0017]將sketch中存儲的信息通過下式的信息折扣率進行折扣:
[0018]f = 1-^e(O5I)
[0019]上式中，L表示滑動速度，即統(tǒng)計歷史流量信息的間隔時間；T表示滑動窗口大小，即歷史時間段；L〈T ；
[0020]將更新信息加入到整合后的信息中；
[0021]每隔時間L報告統(tǒng)計過去T時段內(nèi)的流量信息。
[0022]進一步地，所述確定網(wǎng)絡(luò)流量統(tǒng)計數(shù)據(jù)包的流量大小的方法包括:
[0023]所述解析后的網(wǎng)絡(luò)流量統(tǒng)計數(shù)據(jù)包的頭信息包括源、目的IP地址，源、目的MAC地址和源、目的端口信息，根據(jù)需求選擇頭信息中的任一種作為統(tǒng)計對象；
[0024]各個數(shù)據(jù)包按統(tǒng)計對象隨時間累積的數(shù)據(jù)量即為相應(yīng)數(shù)據(jù)包的流量大小，作為sketch的輸入，即用下式表示迚)?0，…--,(/)]，其中，每個元素a, (t)表示統(tǒng)計對象(該統(tǒng)計對象可以是源、目的IP地址，或者是源、目的MAC地址，或者是源、目的端口信息)i在t時刻累積的數(shù)據(jù)量。
[0025]進一步地,所述sketch由d個哈希表組成,每個哈希表包括w個桶,共有dXw個計數(shù)器。[0026]進一步地，所述進行實時流量分析的步驟包括:
[0027]依據(jù)設(shè)定的概率值來選擇采用CM算法或CU算法進行實時流量分析；
[0028]當(dāng)概率值為α?xí)r，采用⑶算法；當(dāng)概率值為1-α?xí)r，采用CM算法，其中，0〈 α〈=1。
[0029]進一步地，所述CM算法的步驟包括:
[0030]設(shè)定計數(shù)器的初始值為0，統(tǒng)計對象隨時間累積變化的數(shù)據(jù)量氣(O為:
[0031]ai (t) = ai (t~l) +Ct (t)
[0032]上式中，ai(t)為統(tǒng)計對象在t時刻的累積變化數(shù)據(jù)量；ai (t-1)為統(tǒng)計對象在t-1時刻的累積變化數(shù)據(jù)量是統(tǒng)計對象；Ci (t)為數(shù)據(jù)包的流量大??；
[0033]用矩陣CM來表示dX w個計數(shù)器，通過d個哈希函數(shù)來完成數(shù)據(jù)項的投影操作，其中，h組將數(shù)據(jù)包中的數(shù)據(jù)項映射到[w]，而c組將數(shù)據(jù)包中的數(shù)據(jù)項映射到{_1，+1}，對于數(shù)據(jù)包中的每個數(shù)據(jù)項it按照下述公式計算更新CM中的相應(yīng)計數(shù)器:
[0034]CMt+1 [j, hj Cai (t) ) ]=CMt[j, hj Cai (t) ) !+Ci (t)
[0035]上式中，j為 sketch 的行號，h」Cai (t)為 sketch 的列號，j=l, 2......，d, i=l, 2...-,IH5Ci (t)為數(shù)據(jù)包的流量大??；
[0036]按照下式取各IP對隨時間累積的數(shù)據(jù)量的最小值作為估計值，以用于對網(wǎng)絡(luò)流量的實時查詢:
ΛΛΛΛ
[°°37] α(β)=[ α,(O,5
[0038]α,(?)-= min CMlIfJi Jai(I))]；
J-Ll.,..J-
[0039]式中，i=l，2，…，m, a,(t)為統(tǒng)計對象在t時刻累積的數(shù)據(jù)量的最小值。
[0040]進一步地，所述進行實時流量分析的步驟包括:[0041]每種網(wǎng)絡(luò)服務(wù)的流量服從Zipfian分布，具有不同的參數(shù)z，通過預(yù)先的流統(tǒng)計，獲得每種網(wǎng)絡(luò)服務(wù)的參數(shù)z ;
[0042]根據(jù)參數(shù)z將sketch劃分成若干個sketch分區(qū)，每個分區(qū)用于處理不同類型網(wǎng)絡(luò)服務(wù)的流量；
[0043]每個sketch分區(qū)采用⑶算法進行實時流量分析；
[0044]對sketch劃分可米用以下任一方法:
[0045]I)按 w 將 sketch 劃分為 P (w) -QJ,其中，
【權(quán)利要求】
1.一種基于Sketch的數(shù)據(jù)中心網(wǎng)絡(luò)流量分析方法，其特征在于，該方法包括如下步驟: 實時或離線接收網(wǎng)絡(luò)流量統(tǒng)計數(shù)據(jù)包； 根據(jù)解析后的網(wǎng)絡(luò)流量統(tǒng)計數(shù)據(jù)包的頭信息來確定數(shù)據(jù)包的流量大小，作為sketch的輸入； 基于sketch進行實時流量分析。
2.如權(quán)利要求1所述的方法，其特征在于，進一步包括: 執(zhí)行sketch基于窗口和信息折扣率的方法來統(tǒng)計歷史流量信息。
3.如權(quán)利要求2所述的方法，其特征在于，統(tǒng)計歷史流量信息的步驟包括: 將sketch存儲的信息通過下式的信息折扣率進行折扣:y = I — — ?= (O，I) 上式中，L〈T ;L表示滑動速度，即統(tǒng)計歷史流量信息的間隔時間；T表示滑動窗口大小，即歷史時間段； 將待更新信息加入到整合后的信息中； 每隔時間L報告統(tǒng)計過去T時段內(nèi)的流量信息。
4.如權(quán)利要求1所述的方法，其特征在于，所述確定網(wǎng)絡(luò)流量統(tǒng)計數(shù)據(jù)包的流量大小的方法包括: 所述解析后的網(wǎng)絡(luò)流量統(tǒng)計數(shù)據(jù)包的頭信息包括源、目的IP地址，源、目的MAC地址和源、目的端口信息，根據(jù)需求選擇頭信息中的任一種作為統(tǒng)計對象； 各個數(shù)據(jù)包按統(tǒng)計對象隨時間累積的數(shù)據(jù)量即為相應(yīng)數(shù)據(jù)包的流量大小，作為sketch的輸入，即用下式表示￡(0?0，…為其中，每個元素％⑴表示統(tǒng)計對象i在t時刻累積的數(shù)據(jù)量。
5.如權(quán)利要求1所述的方法，其特征在于，所述sketch由d個哈希表組成,每個哈希表包括w個桶，共有d X w個計數(shù)器。
6.如權(quán)利要求5所述的方法，其特征在于，所述進行實時流量分析的步驟包括: 依據(jù)設(shè)定的概率值來選擇采用CM算法或CU算法進行實時流量分析； 當(dāng)概率值為α?xí)r，采用CU算法；當(dāng)概率值為l-α?xí)r，采用CM算法，其中，0〈α〈=1。
7.如權(quán)利要求6所述的方法，其特征在于，所述CM算法的步驟包括: 設(shè)定計數(shù)器的初始值為O，統(tǒng)計對象隨時間累積變化的數(shù)據(jù)量ai(t)為: at (t) = at (t-1) +ct (t) 上式中，ai(t)為統(tǒng)計對象在t時刻的累積變化數(shù)據(jù)量&α_1)為統(tǒng)計對象在t-Ι時刻的累積變化數(shù)據(jù)量是統(tǒng)計對象；ct (t)為數(shù)據(jù)包的流量大??； 用矩陣CM來表示dXw個計數(shù)器，通過d個哈希函數(shù)來完成數(shù)據(jù)項的投影操作，其中，h組將數(shù)據(jù)包中的數(shù)據(jù)項映射到[w]，而c組將數(shù)據(jù)包中的數(shù)據(jù)項映射到{_1，+1}，對于數(shù)據(jù)包中的每個數(shù)據(jù)項i按照下述公式計算更新CM中的相應(yīng)計數(shù)器:
CMt+1[j，hj (a^t) ) ]=CMt[j, hj (a^t) ) !+Ci (t) 上式中，j 為 sketch 的行號，hj Cai (t)為 sketch 的列號，j=l, 2......, d, i=l, 2......, m ；Ci (t)為數(shù)據(jù)包的流量大??； 按照下式取各統(tǒng)計對象隨時間累積的數(shù)據(jù)量的最小值作為估計值，以用于對網(wǎng)絡(luò)流量的實時查詢:
8.如權(quán)利要求5所述的方法，其特征在于，所述進行實時流量分析的步驟包括: 每種網(wǎng)絡(luò)服務(wù)的流量服從Zipfian分布，具有不同的參數(shù)z，通過預(yù)先的流統(tǒng)計，獲得每種網(wǎng)絡(luò)服務(wù)的參數(shù)z ; 根據(jù)參數(shù)z將sketch劃分成若干個sketch分區(qū)，每個分區(qū)用于處理不同類型網(wǎng)絡(luò)服務(wù)的流量； 每個sketch分區(qū)采用CU算法進行實時流量分析； 對sketch劃分可采用以下任一方法: 1)按w 將 sketch 劃分為 P (w)-CU，其中，
9.如權(quán)利要求6或8所述的方法，其特征在于，所述CU算法的步驟包括: 設(shè)定計數(shù)器的初始值為0，統(tǒng)計對象隨時間累積變化的數(shù)據(jù)量氣(O為:
at (t) = at (t-1) +ct (t) 上式中，ai(t)為t時刻的累積變化數(shù)據(jù)量％α_1)為t-Ι時刻的累積變化數(shù)據(jù)量；i是統(tǒng)計對象；Ci (t)為數(shù)據(jù)包的流量大??； 用矩陣CM來表示dXw個計數(shù)器，通過d個哈希函數(shù)來完成數(shù)據(jù)項的投影操作，其中，h組將數(shù)據(jù)包中的數(shù)據(jù)項映射到[w]，而c組將數(shù)據(jù)包中的數(shù)據(jù)項映射到{_1，+1}，對于數(shù)據(jù)包中的每個數(shù)據(jù)項i按照下述公式計算更新CM中的相應(yīng)計數(shù)器:
【文檔編號】H04L12/24GK103647670SQ201310710732
【公開日】2014年3月19日 申請日期:2013年12月20日 優(yōu)先權(quán)日:2013年12月20日
【發(fā)明者】劉馳, 樊駿, 丁剛毅 申請人:北京理工大學(xué)