專利名稱：一種網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息技術(shù)領(lǐng)域中的網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)，尤其涉及一種在線可重配置網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)。
背景技術(shù)：
隨著Internet網(wǎng)絡(luò)技術(shù)的發(fā)展，網(wǎng)絡(luò)安全以及網(wǎng)絡(luò)信息統(tǒng)計(jì)、行為分析越來越受到人們的關(guān)注。通過網(wǎng)絡(luò)流量的采集、存儲、分析能有效的獲得用戶的網(wǎng)絡(luò)行為，分析潛在網(wǎng)絡(luò)安全隱患；同時可分析該局域網(wǎng)絡(luò)中熱點(diǎn)應(yīng)用，提高其響應(yīng)等級等一系列有助于網(wǎng)絡(luò)應(yīng)用的措施。目前大多數(shù)網(wǎng)絡(luò)流量采集采用軟件的方式完成，如Sniff，Libcap等，一般都運(yùn)行在PC機(jī)或者服務(wù)器上，其硬件接口相對固定，處理器能力有限，響應(yīng)速度較慢，上報(bào)監(jiān)聽結(jié) 果至上層服務(wù)器分析不能做到實(shí)時分析。為了減輕服務(wù)器處理器的負(fù)擔(dān)，也有利用網(wǎng)絡(luò)數(shù)據(jù)流量采集卡與服務(wù)器結(jié)合完成數(shù)據(jù)流量的采集與分析的應(yīng)用。但這兩種方案均以服務(wù)器為主，其成本、功耗均較高，且均是固定硬件，當(dāng)接口改變時需更換流量采集卡，增加成本和配置復(fù)雜度。而為了完成數(shù)據(jù)流量的實(shí)時回放，一般在千兆網(wǎng)絡(luò)以上的網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)中都采用大型的RAID控制器和磁盤陣列完成高速數(shù)據(jù)的分流和存儲，其成本、體積均較聞。

發(fā)明內(nèi)容
發(fā)明目的針對現(xiàn)有技術(shù)中存在的問題與不足，本發(fā)明提供一種網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)，其在單芯片內(nèi)即可完成網(wǎng)絡(luò)流量采集、監(jiān)測及存儲以取代傳統(tǒng)的通過服務(wù)器實(shí)現(xiàn)的監(jiān)測系統(tǒng)。技術(shù)方案一種網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)，用于對網(wǎng)絡(luò)流量進(jìn)行采集、監(jiān)測以及存儲，其包括控制管理模塊、視頻顯示模塊、通用網(wǎng)絡(luò)接口模塊、DMA模塊、數(shù)據(jù)包預(yù)處理模塊、數(shù)據(jù)包分析模塊以及NAND Flash存儲控制模塊，其中控制管理模塊由雙核處理器實(shí)現(xiàn)，視頻顯示模塊、通用網(wǎng)絡(luò)接口模塊、DMA模塊、數(shù)據(jù)包預(yù)處理模塊、數(shù)據(jù)包分析模塊以及NAND Flash存儲控制模塊由現(xiàn)場可編程門陣列(FPGA)實(shí)現(xiàn)；所述雙核處理器包括第一處理器和第二處理器，第一處理器運(yùn)行監(jiān)測系統(tǒng)所需求的操作系統(tǒng)，通過操作系統(tǒng)完成本監(jiān)測系統(tǒng)中顯示，網(wǎng)絡(luò)接口，數(shù)據(jù)包預(yù)處理，數(shù)據(jù)包分析等硬件模塊的控制管理通過操作系統(tǒng)完成本監(jiān)測系統(tǒng)中顯示，網(wǎng)絡(luò)接口，數(shù)據(jù)包預(yù)處理，數(shù)據(jù)包分析等硬件模塊的控制管理以及與管理員的人機(jī)交互；第二處理器通過運(yùn)行正則表達(dá)式運(yùn)算輔助FPGA完成數(shù)據(jù)包采集、預(yù)處理、分析以及NAND Flash存儲控制模塊對應(yīng)的NAND Flash存儲陣列的文件系統(tǒng)管理，上述雙核處理器和現(xiàn)場可編程門陣列由單一芯片實(shí)現(xiàn)。所述與管理員的人機(jī)交互包括通過視頻顯示模塊顯示實(shí)時流量中流量的大小，數(shù)據(jù)包類型分類，潛在威脅等分析結(jié)果，或通過網(wǎng)絡(luò)報(bào)給遠(yuǎn)程管理員。所述通用網(wǎng)絡(luò)接口模塊，用于實(shí)現(xiàn)網(wǎng)絡(luò)流量采集，并將采集到的數(shù)據(jù)包送至DMA模塊。所述通用網(wǎng)絡(luò)接口模塊能夠根據(jù)被監(jiān)測網(wǎng)絡(luò)接口情況，通過可編程邏輯器件提供的部分可重配置技術(shù)(Partial Reconfiguration)實(shí)時重配置成相應(yīng)的網(wǎng)絡(luò)接口，并提供相應(yīng)的MAC IP核，其接口可重配置文件預(yù)存在外接的Flash存儲器中，或由管理員通過網(wǎng)絡(luò)遠(yuǎn)程上傳。所述的相應(yīng)的網(wǎng)絡(luò)接口包括GMII、SGMII、RGMII、或lOOOBase-X。所述DMA模塊，將來自通用網(wǎng)絡(luò)接口模塊的數(shù)據(jù)包通過所述DMA模塊直接存儲至外部DDR中，當(dāng)數(shù)據(jù)包存儲完成后，再由所述DMA模塊將完整數(shù)據(jù)包讀出，提交至所述數(shù)據(jù)包預(yù)處理模塊；所述數(shù)據(jù)包預(yù)處理模塊，其可實(shí)現(xiàn)完整數(shù)據(jù)包的五元組信息以及數(shù)據(jù)包有效載荷提取，并提供給數(shù)據(jù)包分析模塊；所述數(shù)據(jù)包分析模塊，其完成對數(shù)據(jù)包的五元組信 息的匹配、以及字符串匹配，并將上述匹配結(jié)果送至所述第二處理器供進(jìn)一步分析，所述第二處理器利用預(yù)先存儲的處理規(guī)則分析所述匹配結(jié)果中數(shù)據(jù)包的關(guān)聯(lián)性、數(shù)據(jù)包的特征值等，判斷是否有潛在威脅，并將分析結(jié)果反饋至所述第一處理器；所述第一處理器完成人機(jī)交互。若所述第二處理器分析發(fā)現(xiàn)匹配結(jié)果對應(yīng)的數(shù)據(jù)包有潛在風(fēng)險(xiǎn)，或者分析結(jié)果數(shù)據(jù)需要存儲，所述第二處理器控制所述數(shù)據(jù)包分析模塊將有潛在風(fēng)險(xiǎn)的數(shù)據(jù)包以及分析結(jié)果寫入到所述NAND Flash存儲控制模塊中，所述NAND FLASH存儲控制模塊直接控制NANDFlash存儲陣列。有益效果本發(fā)明的方法與現(xiàn)有技術(shù)相比，本發(fā)明提供的網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)，充分發(fā)揮雙核處理器與FPGA各自的特點(diǎn)，軟硬件協(xié)同工作，完成對千兆，甚至萬兆網(wǎng)絡(luò)數(shù)據(jù)流量的監(jiān)測以及存儲，具有體積小，功耗、成本低，配置靈活等一系列顯著優(yōu)點(diǎn)。


圖I為本發(fā)明實(shí)施例的系統(tǒng)結(jié)構(gòu)框圖。
具體實(shí)施例方式下面結(jié)合具體實(shí)施例，進(jìn)一步闡明本發(fā)明，應(yīng)理解這些實(shí)施例僅用于說明本發(fā)明而不用于限制本發(fā)明的范圍，在閱讀了本發(fā)明之后，本領(lǐng)域技術(shù)人員對本發(fā)明的各種等價形式的修改均落于本申請所附權(quán)利要求所限定的范圍。如圖I所示，控制管理模塊2由雙核處理器實(shí)現(xiàn)，雙核處理器包括第一處理器21和第二處理器22，視頻顯示模塊3、通用網(wǎng)絡(luò)接口模塊4、DMA模塊5、數(shù)據(jù)包預(yù)處理模塊6、數(shù)據(jù)包分析模塊7以及NAND Flash存儲控制模塊8由現(xiàn)場可編程門陣列實(shí)現(xiàn)。第一處理器21運(yùn)行監(jiān)測系統(tǒng)所需求的操作系統(tǒng)，完成監(jiān)測系統(tǒng)的控制管理以及與管理員的人機(jī)交互；第二處理器22輔助FPGA完成數(shù)據(jù)包采集、預(yù)處理、分析以及NANDFlash存儲控制模塊8對應(yīng)的NAND Flash存儲陣列9的文件系統(tǒng)管理；雙核處理器和現(xiàn)場可編程門陣列由單一芯片實(shí)現(xiàn)。優(yōu)選的，網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)I基于賽靈思公司的Zynq系列可編程SOC實(shí)現(xiàn)。Zynq系列可編程SOC中包括雙核處理器ARM Cortex-A9與現(xiàn)場可編程門陣列。Cortex_A9在Zynq中可達(dá)到IGHz，F(xiàn)PGA與Cortex-A9在片內(nèi)的融合可實(shí)現(xiàn)高數(shù)據(jù)帶寬的傳輸，低功耗以及靈活的配置。優(yōu)選的，控制管理模塊2由Zynq系列可編程SOC中的雙核處理器ARM Cortex_A9實(shí)現(xiàn)，第一處理器21上運(yùn)行嵌入式Linux操作系統(tǒng)，并移植QT界面軟件，實(shí)現(xiàn)嵌入式環(huán)境下的用戶界面顯示。其顯示通過FPGA中的視頻顯示模塊3完成，該視頻顯示模塊3可提供VGA、DVI/HDMI等顯示接口 ；同時網(wǎng)絡(luò)接口 11也通過AMBA Switch與第一處理器21相連，提供遠(yuǎn)程管理員控制接口。優(yōu)選的，被監(jiān)測的網(wǎng)絡(luò)數(shù)據(jù)通過片內(nèi)FPGA上實(shí)現(xiàn)的通用網(wǎng)絡(luò)接口模塊4輸入，實(shí)現(xiàn)網(wǎng)絡(luò)流量采集。該通用網(wǎng)絡(luò)接口模塊4可根據(jù)被監(jiān)測網(wǎng)絡(luò)接口情況，實(shí)時重配置成相應(yīng)的網(wǎng)絡(luò)接口，如GMII、SGMII、RGMII、1000Base-X等，并提供相應(yīng)的MAC IP核。其接口可重配置文件可預(yù)存在Cortex-A9 SOC外接的Flash存儲器211中，也可以由管理員通過網(wǎng)絡(luò)遠(yuǎn)程上傳。網(wǎng)絡(luò)數(shù)據(jù)流程采集完成后，通過DMA模塊5直接存儲至外部DDR 51中，第一處理 器21只需通過AXI Interconnect數(shù)據(jù)交換模塊10配置DMA參數(shù)，而不需參與數(shù)據(jù)傳輸。當(dāng)數(shù)據(jù)包存儲完成后，再由DMA模塊將完整數(shù)據(jù)包讀出，提交至數(shù)據(jù)包預(yù)處理模塊6。數(shù)據(jù)包預(yù)處理模塊6也在片內(nèi)FPGA中實(shí)現(xiàn)，其可實(shí)現(xiàn)數(shù)據(jù)包的五元組(源IP地址，源端口，目的IP地址，目的端口，傳輸層協(xié)議號)信息以及數(shù)據(jù)包有效載荷(Payload)提取，通過AXI Interconnect數(shù)據(jù)交換模塊10供數(shù)據(jù)包分析模塊7使用。數(shù)據(jù)包分析模塊7主要利用FPGA片內(nèi)塊RAM(BRAM)資源實(shí)現(xiàn)了內(nèi)容可尋址存儲器(CAM)，完成對五元組信息的匹配，同時利用FPGA邏輯實(shí)現(xiàn)了硬件化的字符串匹配引擎，其采用的算法可為基于哈希(hash)算法的bloom filter引擎。以上匹配結(jié)果通過AXIInterconnect數(shù)據(jù)交換模塊10以及AMBA Switch上報(bào)至第二處理器22供進(jìn)一步復(fù)雜規(guī)則分析，目前可實(shí)現(xiàn)IOGbps以上的網(wǎng)絡(luò)流量線速匹配。第二處理器22上運(yùn)行復(fù)雜規(guī)則分析，其規(guī)則文件存儲在Zynq系列可編程SOC的存儲控制器中，遠(yuǎn)程管理員可通過第一處理器21控制的網(wǎng)絡(luò)接口及時更新規(guī)則文件。第二處理器22的分析結(jié)果反饋至第一處理器21，并通過視頻顯示模塊3在顯示器上顯示，或通過網(wǎng)絡(luò)接口 11上報(bào)給遠(yuǎn)程管理員。若第二處理器22分析發(fā)現(xiàn)該數(shù)據(jù)包中數(shù)據(jù)特征符合預(yù)定義規(guī)則中的特征值，則認(rèn)為該數(shù)據(jù)包有潛在威脅；或者分析的結(jié)果數(shù)據(jù)需要存儲，第二處理器22將通過AXIInterconnect數(shù)據(jù)交換模塊10控制數(shù)據(jù)包分析模塊7，將有潛在風(fēng)險(xiǎn)的數(shù)據(jù)包以及分析結(jié)果寫入到NAND Flash存儲控制模塊8中，該模塊8直接控制NAND Flash存儲陣列9。每片NAND Flash最高寫入速度可達(dá)500Mbps以上，因?yàn)镕PGA部分有300多個管腳，因此只要有20片NAND Flash并行，即可完成IOGbps以上的高速數(shù)據(jù)寫入，這是普通的磁盤所無法實(shí)現(xiàn)的。同時數(shù)據(jù)的傳輸在片內(nèi)自定義接口實(shí)現(xiàn)，不需原來的IDE/SATA等協(xié)議轉(zhuǎn)換，提高數(shù)據(jù)的傳輸效率，降低了延時。上述網(wǎng)絡(luò)數(shù)據(jù)的存儲文件系統(tǒng)由第二處理器22管理，負(fù)責(zé)地址映射和負(fù)載均衡與壞塊管理。地址映射，即將文件系統(tǒng)中以邏輯地址來劃分的數(shù)據(jù)映射到以NAND Flash物理地址劃分的空間中。負(fù)載均衡(Wear-leveling)與壞塊管理，由于NAND Flash有其壽命(擦除/寫入次數(shù))限制，必須以輪詢、比率和優(yōu)先權(quán)這三種靜態(tài)負(fù)載均衡算法對寫入的數(shù)據(jù)進(jìn)行平衡，避免對同一塊進(jìn)行反復(fù)擦寫。一旦發(fā)現(xiàn)某一塊即將達(dá)到其壽命時，或者已經(jīng)出現(xiàn)損壞，需及時屏蔽，并更新地址映射。緩存的優(yōu)化管理，即建立一套緩存管理機(jī)制，降低NANDFlash的實(shí)際操作次數(shù)以提高IO讀寫性能，提高NAND Flash空間利用率。綜上，本發(fā)明提出了一種網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)，利用單芯片方案，軟硬件合理分配協(xié)同工作實(shí)現(xiàn)了網(wǎng)絡(luò)數(shù)據(jù)流量的采集、監(jiān)測、存儲等功能。該系統(tǒng)在Zynq器件上實(shí)施，其功耗在10瓦以下。而以往通過PC機(jī)、服務(wù)器、RAID控制器以及磁盤陣列等設(shè)備實(shí)現(xiàn)的網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)，功耗遠(yuǎn)超100瓦。同時通過本發(fā)明架構(gòu)可實(shí)現(xiàn)系統(tǒng)小型化，大大減少了所需設(shè)備，大幅降低了系統(tǒng)成本，使該專業(yè)設(shè)備可推廣至個人或小型局域網(wǎng)的環(huán)境中。同時本架構(gòu)可根據(jù)被監(jiān)測網(wǎng)絡(luò)接口情況，在線重配置網(wǎng)絡(luò)接口，增加了系統(tǒng)的靈活性。因此本發(fā)明提出的硬件架構(gòu)與現(xiàn)有系統(tǒng)比，在系統(tǒng)成本(Β0Μ)，運(yùn)營成本(功耗)，小型化以及靈活配置上都 有其顯著的優(yōu)點(diǎn)。
權(quán)利要求
1.一種網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)，用于對網(wǎng)絡(luò)流量進(jìn)行采集、監(jiān)測以及存儲，其特征在于包括控制管理模塊(2)、視頻顯示模塊(3)、通用網(wǎng)絡(luò)接口模塊(4)、DMA模塊(5)、數(shù)據(jù)包預(yù)處理模塊(6)、數(shù)據(jù)包分析模塊(7)以及NAND Flash存儲控制模塊(8)； 其中控制管理模塊(2)包括由第一處理器(21)和第二處理器(22)組成的雙核處理器；視頻顯示模塊(3)、通用網(wǎng)絡(luò)接口模塊(4)、DMA模塊(5)、數(shù)據(jù)包預(yù)處理模塊(6)、數(shù)據(jù)包分析模塊(7)以及NAND Flash存儲控制模塊(8)由現(xiàn)場可編程門陣列實(shí)現(xiàn)； 所述第一處理器(21)運(yùn)行監(jiān)測系統(tǒng)所需求的操作系統(tǒng)，通過操作系統(tǒng)完成本監(jiān)測系統(tǒng)中顯示，網(wǎng)絡(luò)接口，數(shù)據(jù)包預(yù)處理，數(shù)據(jù)包分析等硬件模塊的控制管理以及與管理員的人機(jī)交互；第二處理器(22)上運(yùn)行正則表達(dá)式運(yùn)算輔助現(xiàn)場可編程門陣列完成數(shù)據(jù)包采集、預(yù)處理、分析以及NAND Flash存儲控制模塊(8)對應(yīng)的NAND Flash存儲陣列(9)的文件系統(tǒng)管理，所述雙核處理器和現(xiàn)場可編程門陣列由單一芯片實(shí)現(xiàn)。
2.根據(jù)權(quán)利要求I所述的網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)，其特征在于所述與管理員的人機(jī)交互包括通過視頻顯示模塊(3)顯示分析結(jié)果，或通過網(wǎng)絡(luò)報(bào)給遠(yuǎn)程管理員。
3.根據(jù)權(quán)利要求I所述的網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)，其特征在于所述通用網(wǎng)絡(luò)接口模塊(4 )，用于實(shí)現(xiàn)網(wǎng)絡(luò)流量采集，并將采集到的數(shù)據(jù)包送至DMA模塊(5 )。
4.根據(jù)權(quán)利要求3所述的網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)，其特征在于所述通用網(wǎng)絡(luò)接口模塊(4)根據(jù)被監(jiān)測網(wǎng)絡(luò)接口情況，通過可編程邏輯器件提供的部分可重配置技術(shù)實(shí)時重配置成相應(yīng)的網(wǎng)絡(luò)接口，并提供相應(yīng)的MAC IP核，所述網(wǎng)絡(luò)接口可重配置文件預(yù)存在外接的Flash存儲器中，或由管理員通過網(wǎng)絡(luò)遠(yuǎn)程上傳。
5.根據(jù)權(quán)利要求4所述的網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)，其特征在于所述的相應(yīng)的網(wǎng)絡(luò)接口包括 GMII、SGMII、 RGMII、或 1000Base-X。
6.根據(jù)權(quán)利要求3所述的網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)，其特征在于所述DMA模塊(5)，將來自通用網(wǎng)絡(luò)接口模塊(4)的數(shù)據(jù)包通過所述DMA模塊(5)直接存儲至外部DDR中，當(dāng)數(shù)據(jù)包存儲完成后，再由所述DMA模塊(5)將完整數(shù)據(jù)包讀出，提交至所述數(shù)據(jù)包預(yù)處理模塊(6);所述數(shù)據(jù)包預(yù)處理模塊(6)，其可實(shí)現(xiàn)完整數(shù)據(jù)包的五元組信息以及數(shù)據(jù)包有效載荷提取，并提供給數(shù)據(jù)包分析模塊(7);所述數(shù)據(jù)包分析模塊(7)，其完成對數(shù)據(jù)包的五元組信息的匹配、以及字符串匹配，并將上述匹配結(jié)果送至所述第二處理器(22)供進(jìn)一步分析，所述第二處理器(22)利用預(yù)先存儲的處理規(guī)則對所述匹配結(jié)果進(jìn)行分析，并將分析結(jié)果反饋至所述第一處理器(21);所述第一處理器(21)完成人機(jī)交互。
7.根據(jù)權(quán)利要求6所述的網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)，其特征在于若所述第二處理器(22)分析發(fā)現(xiàn)匹配結(jié)果對應(yīng)的數(shù)據(jù)包有潛在風(fēng)險(xiǎn)，或者分析結(jié)果數(shù)據(jù)需要存儲，所述第二處理器(22)控制所述數(shù)據(jù)包分析模塊(7)將有潛在風(fēng)險(xiǎn)的數(shù)據(jù)包以及分析結(jié)果寫入到所述NANDFlash存儲控制模塊(8 )中，所述NAND FLASH存儲控制模塊(8 )直接控制NAND Flash存儲陣列(9)。
全文摘要
本發(fā)明公開了一種網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)，主要包括控制管理模塊，視頻顯示模塊，通用網(wǎng)絡(luò)接口模塊，DMA模塊，數(shù)據(jù)包預(yù)處理模塊，數(shù)據(jù)包分析模塊，以及NANDFlash存儲控制模塊。其中控制管理模塊運(yùn)行在雙核處理器上，視頻顯示模塊，通用網(wǎng)絡(luò)接口模塊，數(shù)據(jù)包預(yù)處理模塊，數(shù)據(jù)包分析模塊，以及NANDFlash存儲控制模塊均運(yùn)行在片內(nèi)現(xiàn)場可編程門陣列上。該系統(tǒng)充分發(fā)揮雙核處理器與FPGA各自的特點(diǎn)，軟硬件協(xié)同工作，完成對千兆，甚至萬兆網(wǎng)絡(luò)數(shù)據(jù)流量的監(jiān)測以及存儲。本發(fā)明由于采用上述設(shè)計(jì)，具有體積小，功耗、成本低，配置靈活等一系列顯著優(yōu)點(diǎn)。
文檔編號H04L12/26GK102970190SQ201210528008
公開日2013年3月13日 申請日期2012年12月10日 優(yōu)先權(quán)日2012年12月10日
發(fā)明者吳幸, 孫立濤 申請人:東南大學(xué)