專利名稱：基于哈希沖突補(bǔ)償?shù)木W(wǎng)絡(luò)大流識別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及網(wǎng)絡(luò)大流量測量技術(shù)，特別是有利于采用數(shù)據(jù)流技術(shù)的大流量流記 錄的測量技術(shù)，使得該測量方法可以利用很少的測量空間從海量數(shù)據(jù)中檢測出大流數(shù) 據(jù)，并能夠以較高的精度估計(jì)出大流的真實(shí)流量大小。屬于網(wǎng)絡(luò)流量測量領(lǐng)域。
背景技術(shù)：
網(wǎng)絡(luò)中少量的大流占了絕大多數(shù)的網(wǎng)絡(luò)流量，對這些大流的實(shí)時(shí)監(jiān)控和管理對 于網(wǎng)絡(luò)工程和提高網(wǎng)絡(luò)的傳輸性能具有非常重要的意義。由于目前主干網(wǎng)絡(luò)流量很大， 一般難以對網(wǎng)絡(luò)流量中所有流量進(jìn)行查找以發(fā)現(xiàn)其中的大流，實(shí)時(shí)監(jiān)測網(wǎng)絡(luò)大流的方法 主要有以下兩種方法，抽樣方法和數(shù)據(jù)流方法。抽樣方法是以一定的概率隨機(jī)抽取部分報(bào)文，然后對這些被抽取的報(bào)文進(jìn)行組 流操作，從中檢測出大流，然后將這些抽樣流量中檢測出的大流推斷為整體流量中的大 流。這種方法優(yōu)點(diǎn)是處理算法非常簡單，目前如Cisco路由器的抽樣NetFlow就是采用這 種方法。這種方法的缺點(diǎn)是由于采用隨機(jī)抽樣的方法，其檢測出的大流只代表抽樣樣本 中的大流，大流識別的誤報(bào)率很高，同時(shí)其大流的流數(shù)估計(jì)精度也比較低。另一種方法是數(shù)據(jù)流方法，所謂的數(shù)據(jù)流方法就是設(shè)定一個(gè)數(shù)組空間，對于每 個(gè)到達(dá)的報(bào)文采用多個(gè)哈希函數(shù)映射到該數(shù)組空間中，也就是說每個(gè)流標(biāo)識記錄被記錄 在該數(shù)組的多個(gè)位置上，測量結(jié)束后，每個(gè)流標(biāo)識所對應(yīng)的多個(gè)數(shù)組位置中的最小的數(shù) 估計(jì)為該流標(biāo)識的大小。這種方法的優(yōu)點(diǎn)是在有限空間內(nèi)能夠處理所有的報(bào)文記錄，但 是這種將的方法存在的主要缺陷是如果數(shù)組空間設(shè)置較小，那么由于不同的流標(biāo)識哈希 映射位置之間的沖突就非常嚴(yán)重，造成了大量的小流都被推斷為大流，同時(shí)大流的估計(jì) 誤差也非常大；如果為了減少沖突誤差，則數(shù)組空間就需要設(shè)置很大，將大大浪費(fèi)內(nèi)存 空間的使用。本發(fā)明采用的方法就是數(shù)據(jù)流方法進(jìn)行大流檢測，與傳統(tǒng)的數(shù)據(jù)流方法的主要 區(qū)別在于在測量結(jié)束后增加了一個(gè)流量沖突補(bǔ)償機(jī)制，該機(jī)制實(shí)質(zhì)就是通過隨機(jī)產(chǎn)生一 些虛擬的流標(biāo)識，查找這些虛擬流標(biāo)識在數(shù)組空間中所記錄的流量大小，如果這些虛擬 流標(biāo)識不是測量中的流標(biāo)識，那么理論上這些虛擬流標(biāo)識上的流量大小為0，如果這些 虛擬流標(biāo)識在數(shù)組空間中的流量大小不為0，那么這些流量大小就是數(shù)組空間的流量沖 突。為了防止產(chǎn)生的虛擬流標(biāo)識正好落在測量的真實(shí)流標(biāo)識中，我們設(shè)置了多個(gè)虛擬流 標(biāo)識，將這些虛擬流標(biāo)識查找到流量的中位數(shù)作為該次測量過程中數(shù)組空間的流量沖突 大小。將所有測量到的流標(biāo)識流量減去流量沖突大小作為流標(biāo)識流量真實(shí)值的估計(jì)。本 發(fā)明的方法由于增加了哈希沖突補(bǔ)償機(jī)制，可以使用較小的數(shù)組空間中進(jìn)行高精度的大 流檢測。

發(fā)明內(nèi)容
本發(fā)明提供一種節(jié)省內(nèi)存資源的快速高精度的網(wǎng)絡(luò)大流識別方法。
本發(fā)明的技術(shù)方案是基于哈希沖突補(bǔ)償?shù)木W(wǎng)絡(luò)大流識別方法，其特征是設(shè)置一 個(gè)計(jì)數(shù)器數(shù)組和一組哈希函數(shù)，每個(gè)哈希函數(shù)的輸入是流標(biāo)識，輸出是小于計(jì)數(shù)器大小 的一個(gè)正整數(shù)，在測量期間，將測量到的每個(gè)報(bào)文按照其流標(biāo)識，分別采用這組哈希函 數(shù)中的每個(gè)哈希函數(shù)生成哈希值，更新每個(gè)哈希值對應(yīng)計(jì)數(shù)器數(shù)組中的計(jì)數(shù)器，同時(shí)按 照一定的抽樣比率隨機(jī)抽樣流標(biāo)識，測量結(jié)束后，將記錄的每個(gè)流標(biāo)識作為這組哈希函 數(shù)的輸入生成哈希值，查找計(jì)數(shù)器數(shù)組中所對應(yīng)這些哈希值位置的計(jì)數(shù)器的值，將這些 計(jì)數(shù)器的值中最小值作為該流標(biāo)識流量的初步估計(jì)值，然后隨機(jī)產(chǎn)生5到100個(gè)虛擬流標(biāo) 識，查尋出這些虛擬流標(biāo)識在計(jì)數(shù)器數(shù)組中的流量，計(jì)算出這些虛擬流標(biāo)識流量的中位 數(shù)作為流量沖突補(bǔ)償值，將查詢到流標(biāo)識流量的初步估計(jì)值減去流量沖突補(bǔ)償值推斷出 流標(biāo)識的流量，對于超過大流閥值的流標(biāo)識及其流量大小輸出，具體步驟如下步驟1 參數(shù)設(shè)置設(shè)置一個(gè)大小為η的計(jì)數(shù)器數(shù)組，設(shè)置數(shù)組中每個(gè)計(jì)數(shù)器的初始值均為0，設(shè)置 m個(gè)哈希函數(shù)，m在3到5之間取值，每個(gè)哈希函數(shù)的輸入均為流標(biāo)識，輸出為0到n_l 之間的整數(shù)，設(shè)置流標(biāo)識抽樣概率p，設(shè)置大流閥值h，進(jìn)入步驟2，步驟2 記錄報(bào)文數(shù)據(jù)對于測量到的每個(gè)報(bào)文，從報(bào)文頭結(jié)構(gòu)中提取其流標(biāo)識，流標(biāo)識是指報(bào)文頭中 的字段源IP、宿IP、源端口、宿端口、協(xié)議等5個(gè)字段所構(gòu)成的標(biāo)識，將流標(biāo)識作為m 個(gè)哈希函數(shù)的輸入對應(yīng)m個(gè)哈希值，將這m個(gè)哈希值所對應(yīng)的計(jì)數(shù)器數(shù)組所在位置的計(jì) 數(shù)器累加1，以抽樣概率ρ隨機(jī)抽樣該流標(biāo)識，被抽樣的流標(biāo)識記錄在內(nèi)存中，所有報(bào)文 測量結(jié)束后，進(jìn)入步驟3，步驟3 查詢內(nèi)存中所流標(biāo)識的流量初始值對于內(nèi)存中所記錄抽樣的流標(biāo)識，將每個(gè)流標(biāo)識作為m個(gè)哈希函數(shù)的輸入計(jì)算 出m個(gè)哈希值，在計(jì)數(shù)器數(shù)組中查找這m個(gè)位置中所對應(yīng)的計(jì)數(shù)器的值，將這m個(gè)值中 的最小值作為該流標(biāo)識的流量初始值，進(jìn)入步驟4，步驟4 估計(jì)虛擬流標(biāo)識的流量采用隨機(jī)函數(shù)隨機(jī)產(chǎn)生5到100個(gè)虛擬流標(biāo)識，將每個(gè)虛擬流標(biāo)識作為m個(gè)哈 希函數(shù)的輸入計(jì)算出m個(gè)哈希值，在計(jì)數(shù)器數(shù)組中查找這m個(gè)位置中所對應(yīng)的計(jì)數(shù)器的 值，將這m個(gè)值中的最小值作為該虛擬流標(biāo)識的虛擬流量值，進(jìn)入步驟5，步驟5 計(jì)算流量沖突補(bǔ)償值將所有虛擬流標(biāo)識所查找到的虛擬流量值按照大小順序排序，將中間位置所對 應(yīng)的流量初始值作為流量沖突補(bǔ)償值，進(jìn)入步驟6，步驟6 計(jì)算流標(biāo)識流量大小將所有查詢的流標(biāo)識的流量初始值減去流量沖突補(bǔ)償值作為流標(biāo)識的流量大小 估計(jì)值，進(jìn)入第7步，步驟7:輸出結(jié)果將所計(jì)算所有的流標(biāo)識流量大小估計(jì)值和大流閥值h比較，如果流標(biāo)識流量大 小估計(jì)值的小于大流閥值，則丟棄該流標(biāo)識，如果流標(biāo)識流量大小估計(jì)值大于大流閥 值，則將該流標(biāo)識及其流量大小輸出，處理完所有的流標(biāo)識后方法退出。與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點(diǎn)及有效效果
(1)本發(fā)明采用的方法是增加了哈希沖突補(bǔ)償機(jī)制的數(shù)據(jù)流大流的測量方法，所 謂的數(shù)據(jù)流方法就是設(shè)定一個(gè)數(shù)組空間，對于每個(gè)到達(dá)的報(bào)文采用多個(gè)哈希函數(shù)映射到 該數(shù)組空間中的多個(gè)位置上，也就是說每個(gè)流標(biāo)識記錄被記錄在該數(shù)組的多個(gè)位置上， 測量結(jié)束后，每個(gè)流標(biāo)識所對應(yīng)的多個(gè)數(shù)組位置中的最小的數(shù)估計(jì)為該流標(biāo)識的大?。?2)數(shù)據(jù)流方法測量大流的主要缺點(diǎn)是存在哈希沖突造成了對流量大小的高估， 會誤判大量的非大流，本發(fā)明的核心是增加了一個(gè)流量沖突補(bǔ)償機(jī)制，該機(jī)制實(shí)質(zhì)就是 通過隨機(jī)產(chǎn)生一些虛擬的流標(biāo)識，虛擬流標(biāo)識也就是不存在的流標(biāo)識，這些不存在的流 標(biāo)識沒有產(chǎn)生流量，理論上這些虛擬流標(biāo)識查找到的流量大小為0，如果查找到的結(jié)果不 為0，則這些查找到的流量大小實(shí)質(zhì)上就是哈希沖突的大??；(3)為了防止產(chǎn)生的虛擬流標(biāo)識正好落在測量的真實(shí)流標(biāo)識中，本發(fā)明設(shè)置了多 個(gè)虛擬流標(biāo)識，將這些虛擬流標(biāo)識查找到流量的中位數(shù)作為該次測量過程中數(shù)組空間的 流量沖突大小，然后將所有測量到的流標(biāo)識流量減去流量哈希沖突大小作為流標(biāo)識流量 真實(shí)值的估計(jì)；(4)本發(fā)明設(shè)置了虛擬流標(biāo)識的方法的哈希補(bǔ)償估計(jì)機(jī)制，通過隨機(jī)產(chǎn)生多個(gè)虛 擬流標(biāo)識，并采用了多個(gè)虛擬流標(biāo)識中檢測流量的中位數(shù)作為哈希沖突補(bǔ)償值，避免由 于個(gè)別虛擬流標(biāo)識正好落在測量的流標(biāo)識空間而干擾哈希沖突補(bǔ)償效果，大大提高了哈 希沖突補(bǔ)償精度；(5)本發(fā)明功能上能夠?qū)χ鞲删W(wǎng)絡(luò)流量中的大流進(jìn)行地檢測，網(wǎng)絡(luò)中少量的大流 占了絕大多數(shù)的網(wǎng)絡(luò)流量，對這些大流的實(shí)時(shí)監(jiān)控和管理對于網(wǎng)絡(luò)工程和提高網(wǎng)絡(luò)的傳 輸性能具有非常重要的意義。


圖IIP報(bào)文頭結(jié)構(gòu)。圖2TCP報(bào)文頭結(jié)構(gòu)。圖3基于哈希沖突補(bǔ)償?shù)木W(wǎng)絡(luò)大流識別方法結(jié)構(gòu)示意圖。圖4基于哈希沖突補(bǔ)償?shù)木W(wǎng)絡(luò)大流識別方法流程圖。圖5具體實(shí)施中測量之前的計(jì)數(shù)器數(shù)組個(gè)計(jì)數(shù)器的數(shù)值大小分布圖。圖6具體實(shí)施中測量結(jié)束后的計(jì)數(shù)器數(shù)組個(gè)計(jì)數(shù)器的數(shù)值大小分布圖。
具體實(shí)施例方式一種基于哈希沖突補(bǔ)償?shù)木W(wǎng)絡(luò)大流識別方法，其特征是設(shè)置一個(gè)計(jì)數(shù)器數(shù)組和 一組哈希函數(shù)，每個(gè)哈希函數(shù)的輸入是流標(biāo)識，輸出是小于計(jì)數(shù)器大小的一個(gè)正整數(shù)， 在測量期間，將測量到的每個(gè)報(bào)文按照其流標(biāo)識，分別采用這組哈希函數(shù)中的每個(gè)哈希 函數(shù)生成哈希值，更新每個(gè)哈希值對應(yīng)計(jì)數(shù)器數(shù)組中的計(jì)數(shù)器，同時(shí)隨機(jī)抽樣流標(biāo)識并 記錄抽到的流標(biāo)識，測量結(jié)束后，將記錄的每個(gè)流標(biāo)識作為這組哈希函數(shù)的輸入生成哈 希值，查找計(jì)數(shù)器數(shù)組中所對應(yīng)這些哈希值位置的計(jì)數(shù)器的值，將這些計(jì)數(shù)器的值中最 小值作為該流標(biāo)識流量的初步估計(jì)值，然后隨機(jī)產(chǎn)生5到100個(gè)虛擬流標(biāo)識，查尋出這些 虛擬流標(biāo)識在計(jì)數(shù)器數(shù)組中的流量，計(jì)算出這些虛擬流標(biāo)識流量的中位數(shù)作為流量沖突 補(bǔ)償值，將查詢到流標(biāo)識流量的初步估計(jì)值減去流量沖突補(bǔ)償值得到流標(biāo)識的流量，對于超過大流閥值的流標(biāo)識及其流量大小輸出，具體推斷步驟如下步驟1 參數(shù)設(shè)置設(shè)置一個(gè)大小為16的計(jì)數(shù)器數(shù)組，設(shè)置數(shù)組中每個(gè)計(jì)數(shù)器的初始值均為0，如 圖4，設(shè)置3個(gè)哈希函數(shù)，每個(gè)哈希函數(shù)的輸入均為流標(biāo)識，輸出為0到15之間的整數(shù)， 設(shè)置流標(biāo)識抽樣概率0.2，設(shè)置大流閥值5，進(jìn)入步驟2，步驟2 記錄報(bào)文數(shù)據(jù)測量期間一共有100個(gè)報(bào)文，對于測量到的每個(gè)報(bào)文，從報(bào)文頭結(jié)構(gòu)中提取其 流標(biāo)識，流標(biāo)識是指報(bào)文頭中的字段源IP、宿IP、源端口、宿端口、協(xié)議等5個(gè)字段所 構(gòu)成的標(biāo)識，將流標(biāo)識作為3個(gè)哈希函數(shù)的輸入對應(yīng)3個(gè)哈希值，將這3個(gè)哈希值所對應(yīng) 的計(jì)數(shù)器數(shù)組所在位置的計(jì)數(shù)器累加1，如果這3個(gè)哈希值分別為5、10、13，則將數(shù)組 中第5、10、13這三個(gè)計(jì)數(shù)器分別累加1，以抽樣概率0.2隨機(jī)抽樣該流標(biāo)識，被抽樣的 流標(biāo)識記錄在內(nèi)存中，否則就直接將該標(biāo)識丟棄，所有報(bào)文測量結(jié)束后，進(jìn)入步驟3，步驟3 查詢內(nèi)存中所流標(biāo)識的流量初始值測量結(jié)束后的數(shù)組空間中的計(jì)數(shù)器數(shù)值見圖5，對于內(nèi)存中所記錄抽樣的流標(biāo)識 分別為flowl、flow2、flowl、flow4、flow5、flow3、flow2，將重復(fù)的流標(biāo)識刪除后的流 標(biāo)識為flowl、flow2、flow3、flow4、flow5，將每個(gè)流標(biāo)識作為3個(gè)哈希函數(shù)的輸入計(jì)算 出3個(gè)哈希值，其中flowl流標(biāo)識產(chǎn)生的哈希值是1、6、12，fl0W2流標(biāo)識產(chǎn)生的哈希值 是3、9、15，flow3流標(biāo)識產(chǎn)生的哈希值是O、3、14，flow4流標(biāo)識產(chǎn)生的哈希值是O、 7、11，flow5流標(biāo)識產(chǎn)生的哈希值是5、10、12，在計(jì)數(shù)器數(shù)組中查找每個(gè)流標(biāo)識哈希值 3個(gè)位置中所對應(yīng)的計(jì)數(shù)器的值，則flowl對應(yīng)3個(gè)值為39、40、37，flow2對應(yīng)3個(gè)值 為 43、25、24，flow3 對應(yīng) 3 個(gè)值為 17、40、17，flow4 對應(yīng) 3 個(gè)值為 17、8、9，flow5 對應(yīng)3個(gè)值為8、9、37，將每個(gè)流標(biāo)識中所對應(yīng)的3個(gè)值中的最小值作為該流標(biāo)識的流量 初始值，則flowl初始值為37、flow2初始值為24、flow3的初始值為17、flow4初始值 為8、flow5初始值為8，進(jìn)入步驟4，步驟4 估計(jì)虛擬流標(biāo)識的流量采用隨機(jī)函數(shù)隨機(jī)產(chǎn)生5個(gè)虛擬流標(biāo)識randl、rand2、rand3、rand4、rand5,
每個(gè)虛擬流標(biāo)識作為3個(gè)哈希函數(shù)的輸入計(jì)算出3個(gè)哈希值，nrndl哈希值是2、5、12， rand2 哈希值是 5、9、10, rand3 哈希值是 O、11、15，rand4 哈希值是 5、7、13，rand5 哈希值是7、10、15，在計(jì)數(shù)器數(shù)組中查找每個(gè)虛擬流標(biāo)識3個(gè)位置中所對應(yīng)的計(jì)數(shù)器的 值，其中randl所對應(yīng)的3個(gè)值是6、8、37，rand2所對應(yīng)的3個(gè)值是8、25、9，rand3 所對應(yīng)的3個(gè)值是17、9、24，rand4所對應(yīng)的3個(gè)值是5、8、12，rand5所對應(yīng)的3個(gè) 值是8、9、24，將每個(gè)虛擬流標(biāo)識中所對應(yīng)的3個(gè)值中的最小值作為該虛擬流標(biāo)識的虛 擬流量值，則randl的虛擬流量值為6、rand2的虛擬流量值為8、rand3的虛擬流量值為 9、rand4的虛擬流量值為5、rand5的虛擬流量值為8，進(jìn)入步驟5，步驟5 計(jì)算流量沖突補(bǔ)償值將所有虛擬流標(biāo)識所查找到的虛擬流量值按照大小順序排序?yàn)?、8、8、6、5， 將中間位置所對應(yīng)的虛擬流量值8作為流量沖突補(bǔ)償值，進(jìn)入步驟6，步驟6 計(jì)算流標(biāo)識流量大小
將所有查詢的流標(biāo)識的流量初始值減去流量沖突補(bǔ)償值8作為流標(biāo)識的流量大 小，則流標(biāo)識流量分別為flowl的流量大小估計(jì)值為37-8 = 29、flow2的流量大小估計(jì)值 為24-8 = 16、flow3的流量大小估計(jì)值為17-8 = 9、flow4的流量大小估計(jì)值為8-8 = O、flow5的流量大小估計(jì)值為8-8 = 0，進(jìn)入第7步，步驟7:輸出結(jié)果將所計(jì)算所有的流標(biāo)識流量大小估計(jì)值和大流閥值5比較，其中fl0W4、fl0W5流 標(biāo)識流量大小估計(jì)值的小于大流閥值，則丟棄該流標(biāo)識，flowl、flow2、fl0W3流標(biāo)識流 量大小估計(jì)值大于大流閥值，則將該流標(biāo)識及其流量大小估計(jì)值輸出，方法退出。其輸出的結(jié)果為flowl流量大小估計(jì)值為29Flow2流量大小估計(jì)值為16Flow3流量大小估計(jì)值為9。
權(quán)利要求
1. 一種基于哈希沖突補(bǔ)償?shù)木W(wǎng)絡(luò)大流識別方法，其特征是設(shè)置一個(gè)計(jì)數(shù)器數(shù)組和一 組哈希函數(shù)，每個(gè)哈希函數(shù)的輸入是流標(biāo)識，輸出是小于計(jì)數(shù)器大小的一個(gè)正整數(shù)，在 測量期間，將測量到的每個(gè)報(bào)文按照其流標(biāo)識，分別采用這組哈希函數(shù)中的每個(gè)哈希函 數(shù)生成哈希值，更新每個(gè)哈希值對應(yīng)計(jì)數(shù)器數(shù)組中的計(jì)數(shù)器，同時(shí)隨機(jī)抽樣流標(biāo)識并記 錄抽到的流標(biāo)識，測量結(jié)束后，將記錄的每個(gè)流標(biāo)識作為這組哈希函數(shù)的輸入生成哈希 值，查找計(jì)數(shù)器數(shù)組中所對應(yīng)這些哈希值位置的計(jì)數(shù)器的值，將這些計(jì)數(shù)器的值中最小 值作為該流標(biāo)識流量的初步估計(jì)值，然后隨機(jī)產(chǎn)生5到100個(gè)虛擬流標(biāo)識，查尋出這些虛 擬流標(biāo)識在計(jì)數(shù)器數(shù)組中的流量，計(jì)算出這些虛擬流標(biāo)識流量的中位數(shù)作為流量沖突補(bǔ) 償值，將查詢到流標(biāo)識流量的初步估計(jì)值減去流量沖突補(bǔ)償值得到流標(biāo)識的流量，對于 超過大流閥值的流標(biāo)識及其流量大小輸出，具體步驟如下 步驟1 參數(shù)設(shè)置設(shè)置一個(gè)大小為η的計(jì)數(shù)器數(shù)組，設(shè)置數(shù)組中每個(gè)計(jì)數(shù)器的初始值均為0，設(shè)置m個(gè) 哈希函數(shù)，m在3到5之間取值，每個(gè)哈希函數(shù)的輸入均為流標(biāo)識，輸出為0到n-1之間 的整數(shù)，設(shè)置流標(biāo)識抽樣概率p，設(shè)置大流閥值h，進(jìn)入步驟2， 步驟2 記錄報(bào)文數(shù)據(jù)對于測量到的每個(gè)報(bào)文，從報(bào)文頭結(jié)構(gòu)中提取其流標(biāo)識，流標(biāo)識是指報(bào)文頭中的字 段源IP、宿IP、源端口、宿端口、協(xié)議等5個(gè)字段所構(gòu)成的標(biāo)識，將流標(biāo)識作為m個(gè)哈 希函數(shù)的輸入對應(yīng)m個(gè)哈希值，將這m個(gè)哈希值所對應(yīng)的計(jì)數(shù)器數(shù)組所在位置的計(jì)數(shù)器 累加1，以抽樣概率ρ隨機(jī)抽樣該流標(biāo)識，被抽樣的流標(biāo)識記錄在內(nèi)存中，所有報(bào)文測量 結(jié)束后，進(jìn)入步驟3，步驟3 查詢內(nèi)存中記錄的抽樣流標(biāo)識的流量初步估計(jì)值對于內(nèi)存中記錄的抽樣流標(biāo)識，將每個(gè)流標(biāo)識作為m個(gè)哈希函數(shù)的輸入計(jì)算出m個(gè) 哈希值，在計(jì)數(shù)器數(shù)組中查找這m個(gè)位置中所對應(yīng)的計(jì)數(shù)器的值，將這m個(gè)計(jì)數(shù)器的值 中的最小值作為該流標(biāo)識的流量初步估計(jì)值，進(jìn)入步驟4， 步驟4 估計(jì)虛擬流標(biāo)識的流量采用隨機(jī)函數(shù)隨機(jī)產(chǎn)生5到100個(gè)虛擬流標(biāo)識，將每個(gè)虛擬流標(biāo)識作為m個(gè)哈希函 數(shù)的輸入計(jì)算出m個(gè)哈希值，在計(jì)數(shù)器數(shù)組中查找這m個(gè)位置中所對應(yīng)的計(jì)數(shù)器的值， 將這m個(gè)值中的最小值作為該虛擬流標(biāo)識的虛擬流量值，進(jìn)入步驟5， 步驟5 計(jì)算流量沖突補(bǔ)償值將所有虛擬流標(biāo)識所查找到的虛擬流量值按照大小順序排序，將中間位置所對應(yīng)的 流量初始值記為中位數(shù)，并以此中位數(shù)作為流量沖突補(bǔ)償值，進(jìn)入步驟6， 步驟6 計(jì)算流標(biāo)識流量大小將所有查詢的流標(biāo)識的流量初始值減去流量沖突補(bǔ)償值作為流標(biāo)識的流量大小估計(jì) 值，進(jìn)入第7步，步驟7:輸出結(jié)果將所計(jì)算所有的流標(biāo)識流量大小估計(jì)值和大流閥值h比較，如果流標(biāo)識流量大小估 計(jì)值的小于大流閥值，則丟棄該流標(biāo)識，如果流標(biāo)識流量大小估計(jì)值大于大流閥值，則 將該流標(biāo)識及其流量大小輸出，處理完所有的流標(biāo)識后方法退出。
全文摘要
一種基于哈希沖突補(bǔ)償?shù)木W(wǎng)絡(luò)大流識別方法，設(shè)置一個(gè)計(jì)數(shù)器數(shù)組和一組哈希函數(shù)，每個(gè)哈希函數(shù)輸入是流標(biāo)識，在測量期間，將測量到每個(gè)報(bào)文按照其流標(biāo)識，采用這組哈希函數(shù)的每個(gè)哈希函數(shù)生成哈希值，更新每個(gè)哈希值對應(yīng)計(jì)數(shù)器數(shù)組的計(jì)數(shù)器，同時(shí)隨機(jī)抽樣記錄流標(biāo)識，測量結(jié)束后，將記錄的每個(gè)流標(biāo)識作為這組哈希函數(shù)的輸入生成哈希值，查找計(jì)數(shù)器數(shù)組中所對應(yīng)哈希值位置的計(jì)數(shù)器，將這組計(jì)數(shù)器中最小值作為該流標(biāo)識流量的初步估計(jì)值，然后隨機(jī)產(chǎn)生若干個(gè)虛擬流標(biāo)識，在計(jì)數(shù)器數(shù)組中查找虛擬流標(biāo)識的值，并將這些值的中位數(shù)作為流量沖突補(bǔ)償值，將流標(biāo)識流量的初步估計(jì)值減去流量沖突補(bǔ)償值計(jì)算流標(biāo)識流量，并將超過閥值的流標(biāo)識及流量輸出。
文檔編號H04L12/56GK102025563SQ20101056577
公開日2011年4月20日 申請日期2010年11月30日 優(yōu)先權(quán)日2010年11月30日
發(fā)明者程光 申請人:東南大學(xué)