本發(fā)明涉及一種協(xié)議分析統(tǒng)計(jì)方法，特別是一種超大文件協(xié)議分析統(tǒng)計(jì)方法。

背景技術(shù)：
基于運(yùn)營(yíng)商的數(shù)據(jù)分析系統(tǒng)中，面向的數(shù)據(jù)基本是基于通信網(wǎng)絡(luò)的海量數(shù)據(jù)，在隨機(jī)網(wǎng)絡(luò)中，這些數(shù)據(jù)內(nèi)容是實(shí)時(shí)的且不固定，一旦這些系統(tǒng)出現(xiàn)問(wèn)題，定位、分析解決問(wèn)題有一定難度，這時(shí)往往需要抓取網(wǎng)路數(shù)據(jù)包，通過(guò)分析抓取的數(shù)據(jù)包文件而定位問(wèn)題，找到問(wèn)題的原因來(lái)解決問(wèn)題。現(xiàn)在網(wǎng)絡(luò)分析工具主要有Sniffer、Netxray以及wireshark，而在實(shí)際商用系統(tǒng)中，一旦系統(tǒng)出現(xiàn)問(wèn)題，由于wireshark屬于開源項(xiàng)目，系統(tǒng)提供公司的故障分析人員一般使用wireshark進(jìn)行抓包，把數(shù)據(jù)保存為文件，然后分析這些數(shù)據(jù)文件以定位問(wèn)題并解決問(wèn)題，為了獲取足夠的網(wǎng)絡(luò)數(shù)據(jù)信息，這種數(shù)據(jù)文件往往在4G以上，而要分析這些數(shù)據(jù)文件，不論是Sniffer還是wireshark工具，都沒(méi)有辦法打開，因此這些工具就不能分析這些大數(shù)據(jù)文件,這樣分析解決問(wèn)題就存在困難。

技術(shù)實(shí)現(xiàn)要素：
針對(duì)現(xiàn)有技術(shù)中存在的問(wèn)題，本發(fā)明的目的在于提供一種無(wú)需人工操作的超大文件協(xié)議分析統(tǒng)計(jì)工具。為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案：一種超大文件協(xié)議分析統(tǒng)計(jì)方法，步驟包括：1）開啟多個(gè)超大文件切割模塊，文件切割模塊數(shù)通過(guò)計(jì)算機(jī)CPU核的數(shù)量進(jìn)行配置，缺省情況下切割模塊開啟3個(gè)，通過(guò)公式獲取超大文件尺寸，并行切割超大文件，通過(guò)計(jì)算協(xié)議文件大小，把超大文件切割為缺省大小為50MB的小文件，之后執(zhí)行步驟2）；2）開啟一個(gè)列表，建立文件切割索引，列表元素記錄每個(gè)小文件在大文件中數(shù)據(jù)的起始、結(jié)束位置，之后執(zhí)行步驟3）；3）切割模塊順序從列表中獲取元素，在獲取列表中元素前，對(duì)該列表加鎖，獲取列表元素后，對(duì)該列表解鎖，同時(shí)在列表中移除被獲取的元素，每個(gè)模塊只讀打開超大數(shù)據(jù)文件，移動(dòng)到元素指定的文件位置，從該位置順序讀取數(shù)據(jù)并寫入到一個(gè)文件中，文件名稱按照列表元素的順序命名，直到該元素索引到步驟2）中所述的結(jié)束位置為止，之后執(zhí)行步驟4）；4）建立一個(gè)列表，列表元素記錄分割文件序號(hào)以及分割文件中的不完整數(shù)據(jù)包，文件分析模塊分析數(shù)據(jù)，當(dāng)發(fā)現(xiàn)數(shù)據(jù)包是完整的，則執(zhí)行步驟6），否則當(dāng)檢測(cè)不完整數(shù)據(jù)包是文件第一個(gè)包，則查找列表，否則執(zhí)行步驟5），當(dāng)檢測(cè)這個(gè)文件序號(hào)的上一個(gè)文件在列表中，則更新找到的列表中的這個(gè)元素，把這個(gè)不完整數(shù)據(jù)包加在這個(gè)元素的數(shù)據(jù)包末尾，否則新建一個(gè)元素，記錄當(dāng)前這個(gè)不完整數(shù)據(jù)包的文件序號(hào)以及這個(gè)不完整數(shù)據(jù)包，并把這個(gè)元素加入列表，之后執(zhí)行步驟6）；5）當(dāng)不完整數(shù)據(jù)包是文件最后一個(gè)包，則查找列表，當(dāng)檢測(cè)這個(gè)文件序號(hào)的下一個(gè)文件在列表中，則更新找到的列表中的這個(gè)元素，把這個(gè)不完整數(shù)據(jù)包加在這個(gè)元素?cái)?shù)據(jù)包的開始，否則新建一個(gè)元素，記錄當(dāng)前這個(gè)不完整數(shù)據(jù)包的文件序號(hào)以及這個(gè)不完整數(shù)據(jù)包，并把這個(gè)元素加入列表，之后執(zhí)行步驟6）；6）分析模塊獲取的數(shù)據(jù)包是完整的，則分析這個(gè)數(shù)據(jù)包，并把分析結(jié)果按照文件序號(hào)寫入到分析結(jié)果文件中，之后執(zhí)行步驟7）；7）建立小文件與保存小文件臨時(shí)結(jié)果文件的映射關(guān)系，同步分析切割后的小文件，并把分析結(jié)果放入對(duì)應(yīng)小文件的臨時(shí)結(jié)果文件中，之后執(zhí)行步驟8）；8）歸并臨時(shí)結(jié)果文件到一個(gè)統(tǒng)一的結(jié)果文件中，之后執(zhí)行步驟9）；9）對(duì)結(jié)果文件進(jìn)行歸并處理，得到大文件的最終分析結(jié)果。采用上述技術(shù)方案后，本發(fā)明具有以下有益效果：本發(fā)明能夠無(wú)需人工操作就能分析大數(shù)據(jù)文件。附圖說(shuō)明圖1本發(fā)明的流程圖。具體實(shí)施方式下面根據(jù)說(shuō)明書附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步的解釋。如圖1所示，一種超大文件協(xié)議分析統(tǒng)計(jì)方法，步驟包括：1）開啟多個(gè)超大文件切割模塊，文件切割模塊數(shù)通過(guò)計(jì)算機(jī)CPU核的數(shù)量進(jìn)行配置，缺省情況下切割模塊開啟3個(gè)，通過(guò)公式獲取超大文件尺寸，并行切割超大文件，通過(guò)計(jì)算協(xié)議文件大小，把超大文件切割為缺省大小為50MB的小文件，之后執(zhí)行步驟2）；2）開啟一個(gè)列表，建立文件切割索引，列表元素記錄每個(gè)小文件在大文件中數(shù)據(jù)的起始、結(jié)束位置，之后執(zhí)行步驟3）；3）切割模塊順序從列表中獲取元素，在獲取列表中元素前，對(duì)該列表加鎖，獲取列表元素后，對(duì)該列表解鎖，同時(shí)在列表中移除被獲取的元素，每個(gè)模塊只讀打開超大數(shù)據(jù)文件，移動(dòng)到元素指定的文件位置，從該位置順序讀取數(shù)據(jù)并寫入到一個(gè)文件中，文件名稱按照列表元素的順序命名，直到該元素索引到步驟2）中所述的結(jié)束位置為止，之后執(zhí)行步驟4）；4）建立一個(gè)列表，列表元素記錄分割文件序號(hào)以及分割文件中的不完整數(shù)據(jù)包，文件分析模塊分析數(shù)據(jù)，當(dāng)發(fā)現(xiàn)數(shù)據(jù)包是完整的，則執(zhí)行步驟6），否則當(dāng)檢測(cè)不完整數(shù)據(jù)包是文件第一個(gè)包，則查找列表，否則執(zhí)行步驟5），當(dāng)檢測(cè)這個(gè)文件序號(hào)的上一個(gè)文件在列表中，則更新找到的列表中的這個(gè)元素，把這個(gè)不完整數(shù)據(jù)包加在這個(gè)元素的數(shù)據(jù)包末尾，否則新建一個(gè)元素，記錄當(dāng)前這個(gè)不完整數(shù)據(jù)包的文件序號(hào)以及這個(gè)不完整數(shù)據(jù)包，并把這個(gè)元素加入列表，之后執(zhí)行步驟6）；5）當(dāng)不完整數(shù)據(jù)包是文件最后一個(gè)包，則查找列表，當(dāng)檢測(cè)這個(gè)文件序號(hào)的下一個(gè)文件在列表中，則更新找到的列表中的這個(gè)元素，把這個(gè)不完整數(shù)據(jù)包加在這個(gè)元素?cái)?shù)據(jù)包的開始，否則新建一個(gè)元素，記錄當(dāng)前這個(gè)不完整數(shù)據(jù)包的文件序號(hào)以及這個(gè)不完整數(shù)據(jù)包，并把這個(gè)元素加入列表，之后執(zhí)行步驟6）；6）分析模塊獲取的數(shù)據(jù)包是完整的，則分析這個(gè)數(shù)據(jù)包，并把分析結(jié)果按照文件序號(hào)寫入到分析結(jié)果文件中，之后執(zhí)行步驟7）；7）建立小文件與保存小文件臨時(shí)結(jié)果文件的映射關(guān)系，同步分析切割后的小文件，并把分析結(jié)果放入對(duì)應(yīng)小文件的臨時(shí)結(jié)果文件中，之后執(zhí)行步驟8）；8）歸并臨時(shí)結(jié)果文件到一個(gè)統(tǒng)一的結(jié)果文件中，之后執(zhí)行步驟9）；9）對(duì)結(jié)果文件進(jìn)行歸并處理，系統(tǒng)通知?dú)w并函數(shù)對(duì)分析結(jié)果文件進(jìn)行歸并，把按序號(hào)分?jǐn)?shù)的分析結(jié)果文件歸并為一個(gè)完整的結(jié)果文件并輸出。得到大文件的最終分析結(jié)果。輸出分析統(tǒng)計(jì)結(jié)果。通過(guò)輸入查詢條件，按照查詢條件輸出滿足條件的統(tǒng)計(jì)結(jié)果。至此，即完成了超大文件的協(xié)議分析統(tǒng)計(jì)工具。