一種移動網(wǎng)絡信息溯源方法和裝置的制造方法
【技術領域】
[0001] 本發(fā)明涉及移動網(wǎng)絡技術，具體涉及一種移動網(wǎng)絡信息溯源技術。
【背景技術】
[0002] 隨著移動網(wǎng)絡的推廣及普及，越來越多的人選擇使用手機進行上網(wǎng)，移動網(wǎng)絡在 提供更快、更便捷上網(wǎng)方式的同時，監(jiān)控這種移動上網(wǎng)的行為也尤為重要。IP地址溯源是一 種有效的支撐監(jiān)控的方法，IP地址溯源關鍵是獲取移動用戶完整的上網(wǎng)信息，主要包括上 網(wǎng)的開始時間、結束時間、上網(wǎng)的手機號、私網(wǎng)IP、私網(wǎng)端口、公網(wǎng)IP、公網(wǎng)端口、訪問網(wǎng)站 的URL等。在此基礎上就可以進行一些有效的監(jiān)控，如通過移動用戶上網(wǎng)過程中暴露的公 網(wǎng)IP，公網(wǎng)端口來定位移動用戶的手機號，通過移動用戶的移動終端號，去查詢該用戶上網(wǎng) 過程中訪問的網(wǎng)址信息。
[0003] 現(xiàn)有的移動網(wǎng)絡溯源方法一般是將采集的信令記錄數(shù)據(jù)、防火墻日志數(shù)據(jù)記錄保 存在數(shù)據(jù)庫表中，然后通過sql進行關聯(lián)，關聯(lián)成功后獲取完整的上網(wǎng)信息記錄。但是信令 數(shù)據(jù)和防火墻日志記錄數(shù)據(jù)量非常大，每秒可達到萬條以上，把信令會話數(shù)據(jù)尤其是防火 墻數(shù)據(jù)存儲在數(shù)據(jù)庫中會對數(shù)據(jù)庫造成很大的負擔，而且信令數(shù)據(jù)和防火墻日志記錄數(shù)據(jù) 的急劇增長，使得數(shù)據(jù)庫難以滿足海量數(shù)據(jù)的存儲和操作。
[0004] 通過sql方式進行匹配關聯(lián)，信令數(shù)據(jù)和防火墻數(shù)據(jù)在時間上時延偏差會導致匹 配效率降低，同時產生很多冗余匹配，sql匹配消耗的時間很長，匹配的速度很難跟上數(shù)據(jù) 生成的速度。因此一種高效的信息溯源方法亟待出現(xiàn)。

【發(fā)明內容】

[0005] 本發(fā)明提供一種移動網(wǎng)絡信息溯源方法，其特征在于，所述方法包括：
[0006] 以時間為單位存儲防火墻日志數(shù)據(jù)和信令記錄數(shù)據(jù)；
[0007] 設置時間周期和時延信息，獲取所述時延信息前相應時間與所述時間周期相應數(shù) 量的防火墻日志數(shù)據(jù)和信令記錄數(shù)據(jù)；
[0008] 將所述獲取的防火墻日志數(shù)據(jù)和信令記錄數(shù)據(jù)中關鍵字段信息分別計算成防火 墻日志哈希碼和信令記錄哈希碼；
[0009]啟動與所述時間周期相應數(shù)量的匹配進程對所述防火墻日志哈希碼和信令數(shù)據(jù) 哈希碼進行匹配，匹配成功后生成完整溯源信息。
[0010] 優(yōu)選的，所述方法還包括：
[0011] 以分鐘為單位以文本文件形式存儲防火墻日志數(shù)據(jù)和信令記錄數(shù)據(jù)，每分鐘的防 火墻日志數(shù)據(jù)和信令記錄數(shù)據(jù)分別存儲在與其對應的文本文件中；
[0012] 以時間和數(shù)據(jù)類型標識命名所述存儲的文本文件。
[0013] 優(yōu)選的，所述方法還包括：
[0014] 設置數(shù)據(jù)有效期，當存儲的防火墻日志數(shù)據(jù)和信令記錄數(shù)據(jù)超過有效期，則刪除 所述超期的防火墻日志數(shù)據(jù)和信令記錄數(shù)據(jù)。
[0015] 優(yōu)選的，所述方法還包括：
[0016] 若一次匹配不成功，則獲取當前時間信令數(shù)據(jù)n個時間單位位移后相應時間的信 令記錄數(shù)據(jù)，以所述位移后的信令數(shù)據(jù)為基準再次進行匹配，匹配成功后生成完整溯源信 肩、。
[0017] 具體的，所述關鍵字段信息為私網(wǎng)IP地址、私網(wǎng)端口和會話開始時間。
[0018] 優(yōu)選的，
[0019]啟動與所述時間周期相應數(shù)量的匹配進程；
[0020] 以所述時間周期計算每次溯源匹配的最大消耗時長。
[0021] 本發(fā)明還公開一種移動網(wǎng)絡信息溯源裝置，其特征在于，所述裝置包括：
[0022] 存儲單元，用于以時間為單位存儲防火墻日志數(shù)據(jù)和信令記錄數(shù)據(jù)；
[0023] 溯源信息設置單元，用于設置時間周期和時延信息；
[0024] 數(shù)據(jù)操作單元，用于根據(jù)所述溯源信息設置單元設置的時間周期和時延信息，在 所述存儲單元中獲取所述時延信息前相應時間且與所述時間周期相應數(shù)量的防火墻日志 數(shù)據(jù)和信令記錄數(shù)據(jù)；
[0025] 數(shù)據(jù)計算單元，用于將所述數(shù)據(jù)獲取單元獲取的防火墻日志數(shù)據(jù)和信令記錄數(shù)據(jù) 中關鍵字段信息分別計算成防火墻日志哈希碼和信令記錄哈希碼；
[0026] 數(shù)據(jù)匹配單元，用于啟動與所述時間周期相應數(shù)量的匹配進程對所述數(shù)據(jù)計算單 元計算的防火墻日志哈希碼和信令數(shù)據(jù)哈希碼進行匹配，匹配成功后生成完整溯源信息。
[0027] 具體的，所述存儲單元進一步包括：
[0028] 防火墻日志數(shù)據(jù)存儲模塊，用于以分鐘為單位以文本文件形式存儲防火墻日志數(shù) 據(jù)；
[0029] 信令記錄數(shù)據(jù)存儲模塊，用于以分鐘為單位以文本文件形式存儲信令防火墻數(shù) 據(jù)；
[0030] 以時間和數(shù)據(jù)類型標識命名所述存儲的文本文件。
[0031] 優(yōu)選的，所述溯源信息設置單元還可以為設置數(shù)據(jù)有效期，當所述存儲單元存儲 的防火墻日志數(shù)據(jù)和信令記錄數(shù)據(jù)超過有效期，則通過所述數(shù)據(jù)操作單元刪除所述超期的 防火墻日志數(shù)據(jù)和信令記錄數(shù)據(jù)。
[0032] 優(yōu)選的，所述裝置還包括：
[0033] 位移控制單元，用于當所述數(shù)據(jù)匹配單元一次匹配不成功時，則對獲取當前信令 數(shù)據(jù)n個時間單位位移后的信令數(shù)據(jù)，以所述位移后的信令數(shù)據(jù)為基準由所述數(shù)據(jù)匹配單 元再次進行匹配。
[0034] 詳細的，所述關鍵字段信息為私網(wǎng)IP地址、私網(wǎng)端口和開始時間。
[0035] 本發(fā)明采用將防火墻日志數(shù)據(jù)和信令記錄數(shù)據(jù)按時間進行文本文件存儲，溯源匹 配獲取數(shù)據(jù)時只需通過文件名稱即可獲取相應的數(shù)據(jù)，效率得到了提高；通過設置時間周 期并啟動與時間周期相應的匹配進程對n組數(shù)據(jù)進行匹配，可根據(jù)系統(tǒng)性能情況靈活配置 不同數(shù)量的匹配進行進行匹配，溯源匹配的靈活性得到了提高；通過計算關鍵字段的哈希 碼進行匹配，較原有的字符串sql匹配速度有了大幅度的提升；本發(fā)明在溯源匹配的各個 步驟均大大提升了匹配速度，實現(xiàn)了移動網(wǎng)絡溯源信息的高效匹配。同時本發(fā)明考慮到數(shù) 據(jù)信息的時鐘偏差，使用了時間位移機制，在一次匹配不成功時，對數(shù)據(jù)進行一定的時間位 移后進行二次匹配，提高了溯源匹配的準確性。
【附圖說明】
[0036] 圖1為本發(fā)明實施例一提供的一種移動網(wǎng)絡信息溯源方法流程圖；
[0037] 圖2為本發(fā)明實施例二提供的方法流程圖；
[0038] 圖3為本發(fā)明實施例三提供的方法流程圖；
[0039] 圖4為本發(fā)明實施例四提供的一種移動網(wǎng)絡信息溯源裝置結構示意圖。
【具體實施方式】
[0040] 以下將配合圖式及實施例來詳細說明本發(fā)明的實施方式，藉此對本發(fā)明如何應用 技術手段來解決技術問題并達成技術功效的實現(xiàn)過程能充分理解并據(jù)以實施。
[0041] 如圖1所示，給出本發(fā)明的實施例一闡述一種移動網(wǎng)絡信息溯源的方法，如所述 方法包括：
[0042] 步驟S101 :以時間為單位存儲防火墻日志數(shù)據(jù)和信令記錄數(shù)據(jù)。
[0043] 以時間為單位存儲防火墻日志數(shù)據(jù)和信令記錄數(shù)據(jù)是提高信息溯源效率的基礎， 通過這種分塊存儲機制，并提供時間查詢數(shù)據(jù)的API。存儲時以時間為單位存儲，在進行溯 源匹配前也以時間為單位獲取相應時間的數(shù)據(jù)，使得數(shù)據(jù)存儲和查詢的效率遠遠高于數(shù)據(jù) 庫存儲的實現(xiàn)方法。
[0044] 常用的是以分鐘為單位以文本文件形式存儲防火墻日志數(shù)據(jù)和信令記錄數(shù)據(jù)，每 分鐘的防火墻日志數(shù)據(jù)和信令記錄數(shù)據(jù)分別存儲在與其對應的文本文件中。
[0045] 以分鐘為單位，將防火墻日志數(shù)據(jù)存儲在一個以其開始時間命名的文件中。例如 所有2012年11月22號8點30分的防火墻日志數(shù)據(jù)都存儲在F201211220830. txt的文件 中。
[0046] 步驟S102 :設置時間周期和時延信息，獲取所述時延信息前相應時間與所述時間 周期相應數(shù)量的防火墻日志數(shù)據(jù)和信令記錄數(shù)據(jù)。
[0047] 設置的時間周期即按照設置的周期對時間進行分片，每一個時間周期可細分到分 鐘粒度，溯源匹配過程中的操作都以分鐘為粒度進行，該時間周期決定了溯源匹配進程的 個數(shù)，同時決定了溯源匹配進程發(fā)起匹配計算的周期，及一次匹配計算消耗的最大時長。設 置時間周期為m，則可啟動m個匹配進程，每個匹配進程對1個分鐘粒度的數(shù)據(jù)進行數(shù)據(jù)匹 配，該周期內共匹配m組數(shù)據(jù)，且該周期內的匹配最大消耗時長為m分鐘，m分鐘后則獲取 下一周期的數(shù)據(jù)進行下一個周期的溯源匹配。
[0048] 設置的時延信息確保數(shù)據(jù)獲取的正確性，由于數(shù)據(jù)在傳輸過程中可能存在一定時 間的時延，即當前時間產生的防火墻日志數(shù)據(jù)和信令記錄數(shù)據(jù)，可能在幾分鐘后才能夠傳 輸過來，當前時間內進行數(shù)據(jù)獲取很可能得不到相應的數(shù)據(jù)，導致數(shù)據(jù)獲取出現(xiàn)錯誤，因此 設置時延信息，確保能獲得準確的數(shù)據(jù)。
[0049] 設置時間周期為三，設置時延為十分鐘；這樣可以啟動三個溯源匹配進程，這些 進程每三分鐘觸發(fā)一次溯源匹配操作，分別計算當前系統(tǒng)時間十分鐘前的三分鐘的第一分 鐘，第二分鐘，第三分鐘的溯源匹配。
[0050] 例如：
[0051] 2012年11月22號8點30分觸發(fā)溯源匹配操作，則會對8點18分，8點19分，8 點20分的數(shù)據(jù)進行溯源匹配。
[0052] 2012年11月22號8點33分觸發(fā)溯源匹配操作，則會對8點21分，8點22分，8 點23分的數(shù)據(jù)進行溯源匹配。
[0053] 通過這樣的設計，當數(shù)據(jù)量增加無法及時處理數(shù)據(jù)的時候，能夠通過設置更大的 時