專利名稱：基于兩級緩存的快速組流方法
技術(shù)領(lǐng)域：
本發(fā)明涉及網(wǎng)絡(luò)流量測量技術(shù)，特別是有利于高速網(wǎng)絡(luò)流量的組流技術(shù)，測量方 法充分利用兩級緩存的不同特性大大提高流量的組流效率技術(shù)。屬于網(wǎng)絡(luò)流量測量領(lǐng)域。
背景技術(shù)：
網(wǎng)絡(luò)流量是由報文構(gòu)成，而每個TCP或UDP報文中都包括有源IP地址、宿IP地 址、協(xié)議、源端口和宿端口等五元組信息，將在一個測量時間段內(nèi)具有相同的源IP地址、宿 IP地址、協(xié)議、源端口和宿端口等五元組信息的報文集合稱為一個流記錄。組流的就是在 測量過程中將所有具有相同五元組信息的報文聚合成一條記錄，網(wǎng)絡(luò)流量的組流是網(wǎng)絡(luò)測 量、管理和網(wǎng)絡(luò)安全領(lǐng)域非常重要的一項任務(wù)?，F(xiàn)有的網(wǎng)絡(luò)測量和管理系統(tǒng)中都具有組流運算，如Cisco路由器中提供的 NetFlow功能。NetFlow是Cisco公司提出的流實現(xiàn)版本，NetFlow以源宿IP、源宿端口和 協(xié)議5個屬性相同的報文組合成一個流，NetFlow的路由器在DRAM中維護一個流緩存，它 保存了當前所有活躍流記錄。由于網(wǎng)絡(luò)流量的規(guī)模很大，因此特別在主干網(wǎng)絡(luò)中五元組流 的數(shù)量也非常多，很難在測量器中維護所有的流記錄。目前路由器和測量器中使用兩種不同類型的緩存SRAM和DRAM，SRAM是靜態(tài)隨機 存儲器，具有靜止存取功能的內(nèi)存，不需要刷新電路即能保存它內(nèi)部存儲的數(shù)據(jù)，SRAM的特 點是讀取速度快，缺點是容量小，價格成本高，SRAM的高速讀取速率適合對高速主干網(wǎng)絡(luò)中 的組流操作，但是其容量小、價格高難以實現(xiàn)對主干網(wǎng)絡(luò)中的所有流量進行組流操作。DRAM 即動態(tài)隨機存儲器最為常見的系統(tǒng)內(nèi)存，DRAM的特點是讀取速率較低，但容量大、價格低， 目前的隨機存儲設(shè)備大多使用DRAM。網(wǎng)絡(luò)流量中的流長分布具有重尾特性，即極少數(shù)的流包括大量的報文，而大多數(shù) 流僅具有極少數(shù)報文，根據(jù)CERNET網(wǎng)絡(luò)的一些實驗表明，大約1.6%的流約占總流量的 80%，10%的流占總流量的94%。因此如果我們在將流記錄分成兩個部分長流和短流，長 流記錄在高速緩存中，而低速流記錄在低速緩存中，即只需要1. 6%的高速緩存中流記錄空 間就可以記錄80%的流量，而其它的短流由于訪問的次數(shù)較少，就簡單記錄在低速緩存中。 如果高速緩存的訪問速率是低速緩存的10倍，假設(shè)對于η個報文記錄，每個報文記錄低速 緩存讀取時間是10個單位，高速緩存是1個單位，則如果全部采用低速緩存處理報文，則需 要IOn個時間單位。而如果采用高速緩存和低速緩存相結(jié)合，假設(shè)按照CERNET網(wǎng)絡(luò)流量 的實驗規(guī)律1. 6%的流約占總流量的80%，在高速緩存中采用1.6%流記錄數(shù)量的內(nèi)存空 間，則需要的時間單位是η+(1-0.8)η*10 = 3個時間單位進行測量。因此采用兩級緩存的 組流算法，基于流量的重尾特性，可以大大提高網(wǎng)絡(luò)流量的組流速率。

發(fā)明內(nèi)容
本發(fā)明提供一種快速高效的基于兩級緩存的快速組流方法?！N基于兩級緩存的快速組流方法，其特征是測量期間測量器分別在低容量高速緩存和高容量低速緩存中各維護一個流表，對于每個到達的報文首先檢查高速緩存中有無 其流記錄，如果有記錄，將該報文信息累加在該流記錄中，如果沒有記錄，隨機抽樣該報文， 如果該報文被抽中，則在高速緩存中建立該流記錄，否則將該報文記錄在低速緩存中，其具 體步驟如下步驟1 設(shè)置參數(shù)設(shè)置報文抽樣比率p，設(shè)置流記錄為源IP地址、宿IP地址、協(xié)議、源端口和宿端口 等五元組，每個流記錄中包括報文數(shù)和字節(jié)數(shù)兩個信息，設(shè)置測量開始時間和測量結(jié)束時 間，測量開始，進入步驟2，步驟2:報文到達當一個報文到達測量器，測量器從報文頭中提取其源IP地址、宿IP地址、協(xié)議、源 端口和宿端口等五元組信息，然后在高速緩沖中查找有無這五元組流記錄信息，如果找到 該五元組流記錄信息，則進入步驟3，否則進入步驟4，步驟3 高速緩存更新將包含這個五元組信息的流記錄中的報文數(shù)累加1，字節(jié)數(shù)累加該報文的長度，進 入步驟6，步驟4:抽樣流記錄按照抽樣概率ρ隨機抽樣該報文，如果該報文被抽樣，則在高速緩存中產(chǎn)生一條 新的記錄用于記錄該報文的五元組的流記錄信息，設(shè)置其報文數(shù)為1，字節(jié)數(shù)為該報文的長 度，進入步驟6，否則進入步驟5，步驟5:更新低速緩存在低速緩存中查找該五元組流記錄，如果查找到該流記錄，則將該流記錄的報文 數(shù)累加1，字節(jié)數(shù)累加該報文的長度，如果在低速緩存中沒有查找到該流記錄，則在低速緩 存中產(chǎn)生一條新的流記錄，并設(shè)置該流記錄的報文數(shù)為1，字節(jié)數(shù)為報文的長度，進入步驟 6，步驟6:結(jié)束判斷如果該時間段報文測量結(jié)束，則輸出高速緩存和低速緩存中流記錄信息，方法結(jié) 束，否則回到步驟2。與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點及有效效果(1)網(wǎng)絡(luò)流量中的流長分布具有重尾特性，即極少數(shù)的流包括大量的報文，而大多 數(shù)流僅具有極少數(shù)報文，該方法將流分成長流和短流，將含有大量報文的長流信息記錄在 高速緩存中，而低速流記錄在低速緩存中，該方法充分利用了高速緩存低容量和低速緩存 高容量的特點，采用兩級緩存的進行組流，大大提高網(wǎng)絡(luò)流量的組流效率；(2)在長流和短流識別中，本發(fā)明采用隨機抽樣的方法進行等概率抽樣每個通過 的報文，這種方法使得包含有多個報文的長流以很高的概率被記錄在高速緩存中，而僅有 少量報文的短流被記錄在高速緩存中的概率很低，通過簡單的隨機抽樣方法實現(xiàn)將長流和 短流記錄進行分離；(3)本發(fā)明的方法能夠進行高速主干網(wǎng)絡(luò)的組流操作，其組流結(jié)果能夠用于網(wǎng)絡(luò) 安全和網(wǎng)絡(luò)管理。


圖1 基于兩級緩存的快速組流方法的報文數(shù)據(jù)查找方向圖，其中實線箭頭表示 所有的報文都必須在高速緩存中查找一次，虛線箭頭表示沒有在高速緩存中查到或抽樣的 報文數(shù)據(jù)將在低速緩存中查找和記錄。圖2 基于兩級緩存的快速組流方法的流程圖。
具體實施例方式假設(shè)一組報文的五元組信息及其報文長度分別為{a，100}，{b，50}，{a, 200}，{a, 500}，{a, 100}, {c，100}，{b，50}，其中 a，b，c 分別標識不同的五元組標識，100、50、200、 500、100、100、50分別標識每個五元組標識報文的報文長度，—種基于兩級緩存的快速組流方法，其特征是測量期間測量器分別在低容量高速 緩存和高容量低速緩存中各維護一個流表，對于每個到達的報文首先檢查高速緩存中有無 其流記錄，如果有記錄，將該報文信息累加在該流記錄中，如果沒有記錄，隨機抽樣該報文， 如果該報文被抽中，則在高速緩存中建立該流記錄，否則將該報文記錄在低速緩存中，其具 體步驟如下步驟1 設(shè)置參數(shù)設(shè)置報文抽樣比率1/2，設(shè)置流記錄為源IP地址、宿IP地址、協(xié)議、源端口和宿端 口等五元組，每個流記錄中包括報文數(shù)和字節(jié)數(shù)兩個信息，設(shè)置測量開始時間和測量結(jié)束 時間，測量開始，進入步驟2，步驟2 報文到達當一個報文{a，100}到達測量器，測量器從報文頭中提取其源IP地址、宿IP地 址、協(xié)議、源端口和宿端口等五元組信息為a，其報文長度為100，然后在高速緩沖中查找有 無這五元組流記錄信息，沒有找到該標識，進入步驟4，步驟4 抽樣流記錄按照抽樣概率1/2隨機抽樣該報文，該報文沒有被抽樣，進入步驟5，步驟5:更新低速緩存在低速緩存中查找該五元組流記錄，在低速緩存中沒有查找到該流記錄，則在低 速緩存中產(chǎn)生一條新的流記錄，并設(shè)置該流記錄的報文數(shù)為1，字節(jié)數(shù)為報文的長度100， 進入步驟6，步驟6:結(jié)束判斷該時間段報文測量沒有結(jié)束，回到步驟2，步驟2 報文到達當一個報文{b，50}到達測量器，測量器從報文頭中提取其源IP地址、宿IP地址、 協(xié)議、源端口和宿端口等五元組信息為b，其報文長度為50，在高速緩沖中查找五元組流記 錄b信息，沒有找到該五元組流記錄信息，否則進入步驟4，步驟4 抽樣流記錄按照抽樣概率1/2隨機抽樣該報文，沒有抽樣，進入步驟5，步驟5 更新低速緩存在低速緩存中查找該五元組流記錄，沒有查找到該流記錄，則在低速緩存中產(chǎn)生一條新的b流記錄，并設(shè)置該流記錄的報文數(shù)為1，字節(jié)數(shù)為報文的長度50，進入步驟6，步驟6:結(jié)束判斷該時間段報文測量沒有結(jié)束，回到步驟2，步驟2 報文到達當一個報文{a，200}到達測量器，測量器從報文頭中提取其源IP地址、宿IP地 址、協(xié)議、源端口和宿端口等五元組信息為a，其報文長度為200，然后在高速緩沖中查找有 無這五元組流記錄信息，沒有找到該五元組流記錄信息，進入步驟4，步驟4 抽樣流記錄按照抽樣概率1/2隨機抽樣該報文，該報文被抽樣，在高速緩存中產(chǎn)生一條新的 記錄用于記錄該報文的五元組的流記錄信息a，設(shè)置其報文數(shù)為1，字節(jié)數(shù)為該報文的長度 200，進入步驟6，步驟6:結(jié)束判斷該時間段報文測量沒有結(jié)束，回到步驟2。步驟2 報文到達當一個報文{a，500}到達測量器，測量器從報文頭中提取其源IP地址、宿IP地 址、協(xié)議、源端口和宿端口等五元組信息為a，報文長度為500，然后在高速緩沖中查找有無 這五元組流記錄信息，找到該五元組流記錄信息，進入步驟3，步驟3:高速緩存更新將包含這個五元組信息的流記錄中的報文數(shù)累加1，字節(jié)數(shù)累加該報文的長度 500，則a流報文數(shù)為2，字節(jié)數(shù)為700，進入步驟6，步驟6:結(jié)束判斷該時間段報文測量沒有結(jié)束，回到步驟2，步驟2 報文到達當一個報文{a，100}到達測量器，測量器從報文頭中提取其源IP地址、宿IP地 址、協(xié)議、源端口和宿端口等五元組信息為a，報文長度為100，在高速緩沖中查找有無這五 元組流記錄信息，找到該五元組流記錄信息，進入步驟3，步驟3:高速緩存更新將包含這個五元組信息a的流記錄中的報文數(shù)累加1，字節(jié)數(shù)累加該報文的長度 100，a流報文數(shù)為3，字節(jié)數(shù)為800，進入步驟6，步驟6:結(jié)束判斷該時間段報文測量沒有結(jié)束，回到步驟2，步驟2 報文到達當一個報文{c，100}到達測量器，測量器從報文頭中提取其源IP地址、宿IP地 址、協(xié)議、源端口和宿端口等五元組信息為c，報文數(shù)為100，在高速緩沖中沒有查找到這五 元組流記錄信息，進入步驟4，步驟4 抽樣流記錄按照抽樣概率1/2隨機抽樣該報文，報文沒有被抽樣，進入步驟5，步驟5:更新低速緩存在低速緩存中查找該五元組流記錄，沒有查找到該流記錄，在低速緩存中產(chǎn)生一條新的c流記錄，并設(shè)置該流記錄的報文數(shù)為1，字節(jié)數(shù)為報文的長度100，進入步驟6，步驟6:結(jié)束判斷該時間段報文測量沒有結(jié)束，回到步驟2，步驟2 報文到達當一個報文{b，50}到達測量器，測量器從報文頭中提取其源IP地址、宿IP地址、 協(xié)議、源端口和宿端口等五元組信息為b，報文長度為50，在高速緩沖中沒有查找到這五元 組流記錄信息，進入步驟4，步驟4 抽樣流記錄按照抽樣概率1/2隨機抽樣該報文，該報文沒有被抽樣，進入步驟5，步驟5:更新低速緩存在低速緩存中查找該五元組流記錄b，查找到該流記錄，則將該流記錄的報文數(shù)累 加1，字節(jié)數(shù)累加該報文的長度50，則流b的報文數(shù)為2，字節(jié)數(shù)為100，進入步驟6，步驟6:結(jié)束判斷該時間段報文測量結(jié)束，則輸出高速緩存和低速緩存中流記錄信息，輸出的結(jié)果為高速緩存中輸出的結(jié)果為流a，報文數(shù)3，字節(jié)數(shù)800低速緩存中輸出的結(jié)果為流a，報文數(shù)1，字節(jié)數(shù)100流b，報文數(shù)2，字節(jié)數(shù)100流C，報文數(shù)1，字節(jié)數(shù)100方法結(jié)束。
權(quán)利要求
一種基于兩級緩存的快速組流方法，其特征是測量期間測量器分別在低容量高速緩存和高容量低速緩存中各維護一個流表，對于每個到達的報文首先檢查高速緩存中有無其流記錄，如果有記錄，將該報文信息累加在該流記錄中，如果沒有記錄，隨機抽樣該報文，如果該報文被抽中，則在高速緩存中建立該流記錄，否則將該報文記錄在低速緩存中，其具體步驟如下步驟1設(shè)置參數(shù)設(shè)置報文抽樣比率p，流記錄的標識設(shè)置為源IP地址、宿IP地址、協(xié)議、源端口和宿端口的五元組，每個流記錄的屬性值包括報文數(shù)和字節(jié)數(shù)，設(shè)置測量開始時間和測量結(jié)束時間，測量開始，進入步驟2，步驟2報文到達當一個報文到達測量器，測量器從報文頭中提取其源IP地址、宿IP地址、協(xié)議、源端口和宿端口的五元組信息，然后在高速緩存中查找有無這五元組流記錄信息，如果找到該五元組流記錄信息，則進入步驟3，否則進入步驟4，步驟3更新高速緩存將在高速緩存中的這個五元組標識的流記錄中的報文數(shù)累加1，字節(jié)數(shù)累加該報文的長度，進入步驟6，步驟4抽樣流記錄按照抽樣概率p隨機抽樣該報文，如果該報文被抽樣，則在高速緩存中產(chǎn)生一條新的記錄用于記錄該報文的五元組的流記錄信息，設(shè)置其報文數(shù)為1，字節(jié)數(shù)為該報文的長度，進入步驟6，否則進入步驟5，步驟5更新低速緩存在低速緩存中查找該五元組流記錄，如果查找到該流記錄，則將該流記錄的報文數(shù)累加1，字節(jié)數(shù)累加該報文的長度，如果在低速緩存中沒有查找到該流記錄，則在低速緩存中產(chǎn)生一條新的流記錄，并設(shè)置該流記錄的報文數(shù)為1，字節(jié)數(shù)為報文的長度，進入步驟6，步驟6結(jié)束判斷如果該時間段報文測量結(jié)束，則輸出高速緩存和低速緩存中流記錄信息，方法結(jié)束，否則回到步驟2。
全文摘要
本發(fā)明提出一種基于兩級緩存的快速組流方法，在測量期間測量器分別在低容量高速緩存和高容量低速緩存中各維護一個流表，對于每個到達的報文首先檢查高速緩存中有無其流記錄，如果有記錄，將該報文信息累加在該流記錄中，如果沒有記錄，隨機抽樣該報文，如果該報文被抽中，則在高速緩存中建立該流記錄，否則將該報文記錄在低速緩存中，本發(fā)明利用網(wǎng)絡(luò)流量中的流長分布的重尾特性，將含有大量報文的長流信息記錄在高速緩存中，而低速流記錄在低速緩存中，采用兩級緩存的進行組流，大大提高網(wǎng)絡(luò)流量的組流效率，同時采用等概率抽樣每個報文，使得長流以很高的概率被記錄在高速緩存中，而僅有少量報文的短流被記錄在高速緩存中的概率很低。
文檔編號H04L12/26GK101986611SQ201010565669
公開日2011年3月16日 申請日期2010年11月30日 優(yōu)先權(quán)日2010年11月30日
發(fā)明者程光 申請人:東南大學(xué)