專利名稱：一種多通道高速數(shù)據(jù)比對方法
技術領域：
本發(fā)明涉及數(shù)據(jù)比對，特別涉及一種多通道的高速數(shù)據(jù)比對方法及裝置，屬于信息技術領域。
背景技術：
隨著信息技術的飛速發(fā)展，海量信息的分析和處理成為企業(yè)的重要需求，相關的各類軟件系統(tǒng)開始普遍應用于各行業(yè)當中。但實際中由于社會信息的急速膨脹，以及大量無關數(shù)據(jù)的出現(xiàn)，使得用戶如何在龐大的信息群中快速發(fā)現(xiàn)有價值情報，完成海量信息的數(shù)據(jù)比對成為方案中一個不可缺少的環(huán)節(jié)。為了解決上述問題，現(xiàn)有的數(shù)據(jù)比對技術主要有以下幾種方法一種方法是采用數(shù)據(jù)庫比對方法，先將需要比對的原始數(shù)據(jù)和被比對的業(yè)務數(shù)據(jù)保存到數(shù)據(jù)庫當中，然后執(zhí)行SQL腳本，進行表與表之間的連結操作，再將得到的結果集進行分析，這種方法的優(yōu)點是比較邏輯由數(shù)據(jù)庫完成，正確性不用擔心，程序實現(xiàn)簡單，缺點是操作繁瑣，實時性差，優(yōu)化余地小，需要將所有數(shù)據(jù)導入到數(shù)據(jù)庫中，如果數(shù)據(jù)量很大的話，導入數(shù)據(jù)和比較都需要花費很長的時間并且多了不必要的磁盤IO過程，浪費系統(tǒng)資源。另一種方法是基于內存技術的比對方法，將原始數(shù)據(jù)和業(yè)務數(shù)據(jù)讀入內存，然后利用各類查找算法進行逐一比對，這種方法的優(yōu)點是比對速度快，比對算法可優(yōu)化，但缺點是過分強調算法優(yōu)化，沒有充分使用各類硬件資源，使得總體效率提升較為艱難，不符合當今企業(yè)資源條件。在面對當前動輒千萬上億的海量信息處理需求中，上述兩種比對方法都不容樂觀。因此，現(xiàn)有技術有待于完善和發(fā)展。

發(fā)明內容
本發(fā)明的目的在于克服現(xiàn)有技術中存在的問題，提供了一種新的多通道高速數(shù)據(jù)比對方法和裝置，本發(fā)明能夠在數(shù)據(jù)比對時充分利用硬件資源并提高數(shù)據(jù)比對的效率。為了解決上述技術問題，本發(fā)明采用了如下技術方案一種多通道高速數(shù)據(jù)比對方法，包含以下處理步驟a)讀取業(yè)務數(shù)據(jù)，在內存中生成全局被比對數(shù)據(jù)結構，并根據(jù)配置文件初始化比對通道；b)持續(xù)讀取原始數(shù)據(jù)，在內存中形成比對數(shù)據(jù)塊，并將比對數(shù)據(jù)塊分發(fā)至各個比對通道的塊隊列中；c)在每個比對通道中，逐個讀取塊隊列中的比對數(shù)據(jù)塊，進行數(shù)據(jù)比對，輸出比對結果。在上述數(shù)據(jù)比對方法的一種實施例中，對內存中的全局被比對數(shù)據(jù)進行散列。在上述數(shù)據(jù)比對方法的一種實施例中，根據(jù)硬件資源情況，可通過調整步驟a)所述配置文件實現(xiàn)比對通道數(shù)量的調整。在上述數(shù)據(jù)比對方法的一種實施例中，所述業(yè)務數(shù)據(jù)和原始數(shù)據(jù)的數(shù)據(jù)格式包括文本數(shù)據(jù)格式、數(shù)據(jù)庫表數(shù)據(jù)格式、或來源于網(wǎng)絡接口的結構化數(shù)據(jù)格式；其中，優(yōu)選文本數(shù)據(jù)格式。在上述數(shù)據(jù)比對方法的一種實施例中，還包含以下處理步驟在步驟b)中，監(jiān)測各個比對通道中的塊隊列長度，以判斷比對通道壓力，然后在分發(fā)數(shù)據(jù)塊時平衡各個通道的負荷。在上述數(shù)據(jù)比對方法的一種實施例中，還包含以下處理步驟各個比對通道緩存最近中標的設定量的被比對數(shù)據(jù)，實施比對時，優(yōu)先對緩存中的數(shù)據(jù)進行比對，未中標時再與全局被比對數(shù)據(jù)進行數(shù)據(jù)比對。此外，還可以為比對通道中緩存的被比對數(shù)據(jù)進行生命周期維護，所述維護包括i.為每個新緩存的被比對數(shù)據(jù)設定超時時間； 在每次命中緩存的被比對數(shù)據(jù)時更新其超時時間；
iii.采用獨立線程定期檢查并清理超時的被比對數(shù)據(jù)。在上述數(shù)據(jù)比對方法的一種實施例中，還包含以下處理步驟根據(jù)業(yè)務數(shù)據(jù)源情況對全局被比對數(shù)據(jù)結構進行定時或不定時的更新。本發(fā)明還公開了一種多通道高速數(shù)據(jù)比對裝置，包含全局數(shù)據(jù)管理模塊、比對數(shù)據(jù)管理模塊和比對通道管理模塊，其中全局數(shù)據(jù)管理模塊讀取業(yè)務數(shù)據(jù)，生成全局被比對數(shù)據(jù)；比對數(shù)據(jù)管理模塊持續(xù)將原始數(shù)據(jù)讀入內存，并分發(fā)到各個比對通道；比對通道管理模塊逐條讀取被比對數(shù)據(jù)，與高速緩存和全局被比對數(shù)據(jù)比對，輸出比對結果。與現(xiàn)有技術相比，本發(fā)明的有益效果在于本發(fā)明首先讀取業(yè)務數(shù)據(jù)，生成全局被比對數(shù)據(jù)，初始化比對通道。進行比對時， 持續(xù)將原始數(shù)據(jù)讀入內存，分發(fā)到各個通道，然后在每個通道逐條讀取比對數(shù)據(jù)，完成包括高速緩存和全局被比對數(shù)據(jù)的兩級比對過程，輸出比對結果。如此，將業(yè)務數(shù)據(jù)經(jīng)過處理生成全局被比對數(shù)據(jù)，根據(jù)硬件資源情況初始化多個比對通道，持續(xù)將原始數(shù)據(jù)讀入內存形成比對數(shù)據(jù)，根據(jù)通道壓力狀況分發(fā)，比對通道逐條讀取比對數(shù)據(jù)，與高速緩存和全局被比對數(shù)據(jù)進行數(shù)據(jù)比對，可以充分利用硬件資源，并提高數(shù)據(jù)比對效率。


圖1是實施例的比對方法流程圖；圖2是實施例的比對裝置示意圖。
具體實施例方式下面通過實施例結合附圖對本發(fā)明進行詳細說明。本實施例提供一種多通道高速數(shù)據(jù)比對裝置，如圖2所示，包含全局數(shù)據(jù)管理模塊、比對數(shù)據(jù)管理模塊和比對通道管理模塊，其中全局數(shù)據(jù)管理模塊讀取業(yè)務數(shù)據(jù)，生成全局被比對數(shù)據(jù)；比對數(shù)據(jù)管理模塊持續(xù)將原始數(shù)據(jù)讀入內存，并分發(fā)到各個比對通道； 比對通道管理模塊逐條讀取被比對數(shù)據(jù)，與高速緩存和全局被比對數(shù)據(jù)比對，輸出比對結^ ο該比對裝置對應的比對方法可以按如下處理步驟進行a)讀取業(yè)務數(shù)據(jù)，在內存中生成全局被比對數(shù)據(jù)結構，并根據(jù)配置文件初始化比對通道；b)持續(xù)讀取原始數(shù)據(jù)，在內存中形成比對數(shù)據(jù)塊，并將比對數(shù)據(jù)塊分發(fā)至各個比對通道的塊隊列中；c)在每個比對通道中，逐個讀取塊隊列中的比對數(shù)據(jù)塊，進行數(shù)據(jù)比對，輸出比對結果。下面對上述步驟進行詳細說明。如圖1所示，在步驟Sl中，首先讀取業(yè)務數(shù)據(jù)，在內存中生成全局被比對數(shù)據(jù)結構。在本例中，全局被比對數(shù)據(jù)結構設置為數(shù)據(jù)庫表數(shù)據(jù)結構并進行散列，根據(jù)具體業(yè)務不同定義各自的業(yè)務數(shù)據(jù)結構和全局被比對數(shù)據(jù)結構。將業(yè)務數(shù)據(jù)設置為數(shù)據(jù)庫表數(shù)據(jù)結構，可以提高數(shù)據(jù)訪問的易操作性和讀入內存的速度，提高方法兼容性和比對效率。數(shù)據(jù)庫格式不受數(shù)據(jù)庫類型的限制，當然，也可以是文本格式或其他格式的數(shù)據(jù)。在步驟S2中，讀取配置文件，初始化比對通道管理模塊，并初始化比對通道1至N。 其中，配置文件由用戶根據(jù)硬件資源情況配置，以適應不同硬件環(huán)境的比對需要，可以根據(jù)實際情況隨時修改。另一方面，如果讀取配置文件及初始化過程出現(xiàn)錯誤，則記錄在系統(tǒng)錯誤日志中， 結束比對程序。在步驟S3中，讀取原始數(shù)據(jù)，在內存中形成比對數(shù)據(jù)塊，若原始數(shù)據(jù)源發(fā)生錯誤或讀取原始數(shù)據(jù)反復出現(xiàn)錯誤，則記錄在系統(tǒng)錯誤日志中，結束比對程序。在步驟S4中，根據(jù)各通道壓力狀態(tài)，將數(shù)據(jù)塊分發(fā)到通道1至N。在本例中，通過監(jiān)測各通道隊列長度的方法來判斷比對通道壓力狀況，以在實施被比對數(shù)據(jù)分發(fā)時實現(xiàn)多通道的壓力均衡，并提高整體比對速度。
在步驟S5中，每個通道逐條讀取隊列中的比對數(shù)據(jù)，首先與高速緩存中的被比對數(shù)據(jù)繼續(xù)比對，若比對成功，則直接輸出比對結果。若在高速緩存中無匹配的被比對數(shù)據(jù)， 則再與全局被比對數(shù)據(jù)結構進行比對，比對成功則輸出比對結果，并將匹配的被比對數(shù)據(jù)加入本通道的高速緩存。若仍不成功則讀取隊列中的下一條比對數(shù)據(jù)，在隊列中無比對數(shù)據(jù)時暫時掛起等待，新比對數(shù)據(jù)進入時重新激活。在本例中，需要維護高速緩存中被比對數(shù)據(jù)的生命周期，包括以下處理i.為每個新加入高速緩沖的被比對數(shù)據(jù)設定超時時間；ii.每次命中高速緩存的被比對數(shù)據(jù)時更新其超時時間；iii.采用獨立線程定期檢查、清理超時的被比對數(shù)據(jù)。在步驟S6中，被比對數(shù)據(jù)讀取完畢，比對程序結束。在上述任意步驟中，若用戶選擇退出，或接收到外部合法結束命令，則直接結束比對程序。應當理解的是，對于本發(fā)明所屬技術領域的普通技術人員來說，在不脫離本發(fā)明構思的前提下，可以做出各種可能的等同或替換，而所有這些改變或替換都應屬于本發(fā)明的保護范圍。
權利要求
1.一種多通道高速數(shù)據(jù)比對方法，其包括下列步驟a)讀取業(yè)務數(shù)據(jù)，在內存中生成全局被比對數(shù)據(jù)結構，并根據(jù)配置文件初始化比對通道；b)持續(xù)讀取原始數(shù)據(jù)，在內存中形成比對數(shù)據(jù)塊，并將比對數(shù)據(jù)塊分發(fā)至各個比對通道的塊隊列中；c)在每個比對通道中，逐個讀取塊隊列中的比對數(shù)據(jù)塊，進行數(shù)據(jù)比對，輸出比對結: O
2.如權利要求1所述的多通道高速數(shù)據(jù)比對方法，其特征在于，各個比對通道緩存最近中標的設定量的被比對數(shù)據(jù)，實施比對時，優(yōu)先對緩存中的數(shù)據(jù)進行比對，未中標時再與全局被比對數(shù)據(jù)進行數(shù)據(jù)比對。
3.如權利要求2所述的多通道高速數(shù)據(jù)比對方法，其特征在于，為比對通道中緩存的被比對數(shù)據(jù)進行生命周期維護，所述維護包括i.為每個新緩存的被比對數(shù)據(jù)設定超時時間； .在每次命中緩存的被比對數(shù)據(jù)時更新其超時時間； iii.采用獨立線程定期檢查并清理超時的被比對數(shù)據(jù)。
4.如權利要求1所述的多通道高速數(shù)據(jù)比對方法，其特征在于，在步驟a)中，對所述全局被比對數(shù)據(jù)進行散列。
5.如權利要求1所述的多通道高速數(shù)據(jù)比對方法，其特征在于，通過調整步驟a)所述配置文件實現(xiàn)比對通道數(shù)量的調整。
6.如權利要求1所述的多通道高速數(shù)據(jù)比對方法，其特征在于，所述業(yè)務數(shù)據(jù)和所述原始數(shù)據(jù)的數(shù)據(jù)格式包括文本格式、數(shù)據(jù)庫表格式、或來源于網(wǎng)絡接口的結構化數(shù)據(jù)格式。
7.如權利要求1所述的多通道高速數(shù)據(jù)比對方法，其特征在于，在步驟b)中，監(jiān)測各個比對通道中的塊隊列長度，在分發(fā)數(shù)據(jù)塊時平衡各個通道的負荷。
8.如權利要求1所述的多通道高速數(shù)據(jù)比對方法，其特征在于，根據(jù)業(yè)務數(shù)據(jù)源情況對全局被比對數(shù)據(jù)結構進行定時或不定時的更新。
9.一種多通道高速數(shù)據(jù)比對裝置，其特征在于，所述裝置包括全局數(shù)據(jù)管理模塊、比對數(shù)據(jù)管理模塊和比對通道管理模塊，其中全局數(shù)據(jù)管理模塊讀取業(yè)務數(shù)據(jù)，生成全局被比對數(shù)據(jù)；比對數(shù)據(jù)管理模塊持續(xù)將原始數(shù)據(jù)讀入內存，并分發(fā)到各個比對通道；比對通道管理模塊逐條讀取被比對數(shù)據(jù)，與高速緩存和全局被比對數(shù)據(jù)比對，輸出比對結果。
全文摘要
本發(fā)明涉及一種多通道的高速數(shù)據(jù)比對方法及其裝置，屬于信息技術領域。一種多通道高速數(shù)據(jù)比對方法，其包括下列步驟a)讀取業(yè)務數(shù)據(jù)，在內存中生成全局被比對數(shù)據(jù)結構，并根據(jù)配置文件初始化比對通道；b)持續(xù)讀取原始數(shù)據(jù)，在內存中形成比對數(shù)據(jù)塊，并將比對數(shù)據(jù)塊分發(fā)至各個比對通道的塊隊列中；c)在每個比對通道中，逐個讀取塊隊列中的比對數(shù)據(jù)塊，進行數(shù)據(jù)比對，輸出比對結果。比對通道逐條讀取比對數(shù)據(jù)，與高速緩存和全局被比對數(shù)據(jù)進行數(shù)據(jù)比對，可以充分利用硬件資源，并提高數(shù)據(jù)比對效率。
文檔編號G06F17/30GK102375886SQ201110324830
公開日2012年3月14日 申請日期2011年10月21日 優(yōu)先權日2011年10月21日
發(fā)明者廉喆, 翁越龍 申請人:北京銳安科技有限公司