本發(fā)明涉及計算機領域，特別涉及一種支持海量采集終端的分布式內(nèi)存實時存儲裝置及方法。

背景技術：
當前我國用電信息采集已覆蓋全部專變大用戶以及部分低壓居民用戶，并通過與信息化系統(tǒng)共享檔案數(shù)據(jù)等信息，實現(xiàn)了欠費停電、預購電控制等功能。通過國家智能電網(wǎng)的建設，預計到“十二五”末基本實現(xiàn)“全覆蓋、全采集、全費控”的建設目標，使得居民用電更加智能化、供電服務更加人性化。隨著“全覆蓋”進程的不斷推進，采集終端數(shù)量迅速增長，以山東省為例，實現(xiàn)“全覆蓋”后預計終端數(shù)量將達到240萬。終端數(shù)量的急速增長帶來了海量的采集數(shù)據(jù)，如何高效的處理這些數(shù)據(jù)成為了亟待解決的問題。用電信息采集過程中，采集終端上送的海量報文需經(jīng)過解析后成為可讀的基本業(yè)務數(shù)據(jù)，在業(yè)務數(shù)據(jù)的基礎上開展電力業(yè)務。電力業(yè)務中，單個終端電量的統(tǒng)計是其它業(yè)務實現(xiàn)的基礎，而這一業(yè)務的實現(xiàn)需要將終端采集數(shù)據(jù)與終端檔案一一匹配。當前終端檔案一般存儲于磁盤中，在終端檔案數(shù)據(jù)量不大的情況下，可基本滿足業(yè)務需求。但在海量采集終端時代來臨后，由于I/O操作的相對低速，這種存儲方式將極大的影響檔案存儲、更新及查詢的實時性。內(nèi)存的數(shù)據(jù)讀寫速度較磁盤高出幾個數(shù)量級，將終端檔案存儲在內(nèi)存中可有效的提升性能。不過，由于終端檔案數(shù)據(jù)量大，若存放在同一個服務器的內(nèi)存中，勢必對服務器的性能要求很高，現(xiàn)有服務器很難滿足這種性能需求；即使勉強滿足，終端檔案的存儲也會占用大量內(nèi)存，影響采集數(shù)據(jù)任務處理性能；同時，這種存儲方式難以適應終端規(guī)模的持續(xù)增長。為保證用電信息采集系統(tǒng)終端檔案的讀取速度及完整性，本文提出了一種分布式實時內(nèi)存存儲裝置。

技術實現(xiàn)要素：
本發(fā)明針對現(xiàn)有技術的不足，提供一種支持海量采集終端的分布式內(nèi)存實時存儲裝置及方法。為實現(xiàn)上述目的，本發(fā)明采用如下技術方案：一種支持海量采集終端的分布式內(nèi)存實時存儲裝置，包括主控服務器和至少一個數(shù)據(jù)服務器，所述的主控服務器與數(shù)據(jù)服務器通訊，所述的主控服務器，其用于從系統(tǒng)數(shù)據(jù)庫中讀取終端檔案信息表，并將所讀取的終端檔案信息表分割成多個檔案塊，并將每個檔案塊分配到所轄數(shù)據(jù)服務器，在所述的主控服務器內(nèi)存中存儲記錄了終端檔案信息表的分割情況及檔案塊存儲情況的檔案塊元數(shù)據(jù)，并提供所轄數(shù)據(jù)服務器當前負載情況查詢及比較功能；所述的數(shù)據(jù)服務器，用于接收主控服務器分配的檔案塊，以多個檔案塊的形式將終端檔案信息表存儲在內(nèi)存中，并面向電量計算任務模塊提供查詢功能，數(shù)據(jù)服務器數(shù)量設置多個并能實現(xiàn)動態(tài)增減。所述主控服務器還包括以下模塊：檔案分配模塊，用于從系統(tǒng)數(shù)據(jù)庫中讀取終端檔案信息表，將其分割成多個檔案塊并分配到所轄數(shù)據(jù)服務器；檔案元數(shù)據(jù)存儲模塊，用于存儲檔案分配模塊形成的檔案塊元數(shù)據(jù)，提供基于終端編號的檔案塊位置查詢；負載比較模塊，用于查詢所轄數(shù)據(jù)服務器當前的負載情況，在此基礎上比較所轄數(shù)據(jù)服務器的負載大小，得出負載最小的數(shù)據(jù)服務器。所述數(shù)據(jù)服務器還包括以下模塊：檔案管理模塊，用于接收檔案分配模塊分配的檔案塊；檔案存儲模塊，用于存儲檔案塊的實際數(shù)據(jù)，并接受檔案查詢模塊的查詢；檔案查詢模塊，用于提供數(shù)據(jù)服務器的負載信息以及實現(xiàn)終端檔案信息表的查詢，并面向電量計算任務模塊提供查詢功能。所述的每個數(shù)據(jù)服務器的檔案管理模塊之間能相互復制。所述的負載比較模塊能查詢數(shù)據(jù)服務器的檔案查詢模塊。所述的負載比較模塊查詢到負載最小的服務器后，發(fā)送給電量計算任務模塊。一種支持海量采集終端的分布式內(nèi)存實時存儲裝置的存儲方法，包括以下步驟：（1）主控服務器的檔案分配模塊根據(jù)終端檔案信息表的實際情況配置檔案塊的大小，從終端檔案信息表中按終端編號從小至大的順序讀取檔案信息，當讀入的終端檔案信息達到配置大小時，打包形成一個檔案塊；因此檔案塊元數(shù)據(jù)的檔案表分割情況中只需記錄第一個及最后一個存入該檔案塊的終端編號，減小了檔案塊元數(shù)據(jù)所占用的內(nèi)存；（2）為保證檔案數(shù)據(jù)的高可靠性，為每個檔案塊設置n（n為自然數(shù)，且n≥3）個副本；檔案分配模塊的分配方式是將一個檔案塊分配到n個不同的數(shù)據(jù)服務器進行存儲，并保證其n個不同的數(shù)據(jù)服務器中位于不同的機架上；（3）將檔案塊元數(shù)據(jù)寫入檔案元數(shù)據(jù)存儲模塊，將檔案的實際數(shù)據(jù)寫入分配的數(shù)據(jù)服務器中；（4）數(shù)據(jù)服務器中的檔案管理模塊接收檔案分配模塊分配的檔案塊存入檔案存儲模塊，終端檔案數(shù)據(jù)以流水線的方式從檔案分配模塊寫入第一個數(shù)據(jù)服務器檔案存儲模塊，從第一個復制到第二個，從第二個復制到第三個，依次輪推，直到從第n-1個復制到n個。所述的步驟（4）中的檔案塊寫入數(shù)據(jù)服務器的同時，檔案分配模塊繼續(xù)接收終端檔案信息表中的數(shù)據(jù)；檔案分配模塊定期從系統(tǒng)數(shù)據(jù)庫中讀取采集終端檔案信息表，重復以上存儲過程，實現(xiàn)檔案信息的同步。在步驟（4）的檔案存儲完成后，面向電量計算任務模塊的檔案查詢是由電量計算任務模塊發(fā)起的，包括以下步驟:（1）首先電量計算任務模塊與檔案塊元數(shù)據(jù)存儲模塊通信，查詢?nèi)蝿丈婕敖K端所屬的檔案塊及檔案塊位置；終端編號位于某檔案塊的編號區(qū)間內(nèi)，則返回這一檔案塊所處的數(shù)據(jù)服務器信息；轉(zhuǎn)到步驟（2）；（2）將數(shù)據(jù)服務器信息輸入負載比較模塊，通過與數(shù)據(jù)服務器的檔案查詢模塊通信，查詢比較這些數(shù)據(jù)服務器的負載情況，向電量計算任務模塊返回負載最小的數(shù)據(jù)服務器信息；（3）電量計算任務模塊向該服務器發(fā)起查詢，檔案查詢模塊接受查詢指令，在檔案存儲模塊中進行匹配查詢，向電量計算任務模塊返回終端檔案信息，完成檔案查詢。本發(fā)明的有益效果是：1.本發(fā)明將終端檔案存儲在內(nèi)存中，相比于傳統(tǒng)的存儲在磁盤中，大大提高了終端檔案存儲、查詢及更新的速度。2.本發(fā)明基于主從式架構構建，可根據(jù)需求實現(xiàn)數(shù)據(jù)服務器的動態(tài)增減，提高了裝置的可擴展性，方便了檔案塊的管理。3.將終端檔案按編號順序打包形成檔案塊，降低了檔案塊元數(shù)據(jù)大小，減少了存儲所需的主控服務器內(nèi)存。4.本發(fā)明對終端檔案提供多副本機制，保證存儲的可靠性，降低了對硬件的要求。附圖說明圖1為一種針對用電信息采集系統(tǒng)終端檔案的分布式實時內(nèi)存存儲裝置圖；圖中1、主控服務器，2、數(shù)據(jù)服務器，101、檔案分配模塊，102、檔案元數(shù)據(jù)存儲模塊，103、負載比較模塊，201、檔案管理模塊，202、檔案存儲模塊，203、檔案查詢模塊。具體實施方式下面結合附圖和實施例對本發(fā)明進行進一步說明：圖1，是基于本發(fā)明實現(xiàn)的一種針對用電信息采集系統(tǒng)終端檔案的分布式實時內(nèi)存存儲裝置，該裝置應用于大規(guī)模用電信息采集與處理平臺，提供一種存儲機制用以存儲終端檔案信息，并提供一種查詢機制實現(xiàn)終端檔案與終端采集數(shù)據(jù)的快速匹配，可提高檔案信息存儲的可靠性，加快終端檔案查詢速度。該裝置包括：主控服務器1與數(shù)據(jù)服務器2；所述主控服務器1包括檔案分配模塊101、檔案元數(shù)據(jù)存儲模塊102和負載比較模塊103；所述數(shù)據(jù)服務器2包括檔案管理模塊201、檔案存儲模塊202和檔案查詢模塊203。主控服務器1，用于從系統(tǒng)數(shù)據(jù)庫中讀取終端檔案信息表，將其分割成較小的檔案塊并分配到所轄數(shù)據(jù)服務器2，在主控服務器1內(nèi)存中存儲記錄了檔案表分割情況及檔案塊存儲情況的檔案塊元數(shù)據(jù)，并提供所轄數(shù)據(jù)服務器2當前負載情況查詢及比較功能。數(shù)據(jù)服務器2，用于接收主控服務器1分配的檔案塊，以多個檔案塊的形式將終端檔案信息存儲在內(nèi)存中，并面向電量計算任務模塊提供查詢功能，服務器數(shù)量可設置多個并可實現(xiàn)動態(tài)增減。所述主控服務器1的檔案分配模塊101，用于從系統(tǒng)數(shù)據(jù)庫中讀取終端檔案信息表，將其分割成較小的檔案塊并分配到所轄數(shù)據(jù)服務器2。檔案分配模塊定期（可配置）從系統(tǒng)數(shù)據(jù)庫中讀取采集終端檔案信息表，實現(xiàn)檔案信息的同步。根據(jù)終端檔案信息的實際情況可配置檔案塊的大小。從終端檔案信息表中按終端編號順序讀取檔案信息，當讀入的終端檔案信息達到配置大小時，打包形成一個檔案塊。為保證檔案數(shù)據(jù)的高可靠性，每個檔案塊設置三個副本。檔案分配模塊的分配機制是將一個檔案塊分配到三個不同的數(shù)據(jù)服務器2進行存儲，并保證其中兩個服務器位于同一個機架而第三個位于不同的機架上。將記錄檔案表分割情況及檔案塊存儲情況的終端檔案元數(shù)據(jù)寫入檔案元數(shù)據(jù)存儲模塊，將終端檔案實際數(shù)據(jù)寫入分配的數(shù)據(jù)服務器2中。在該檔案塊寫入數(shù)據(jù)服務器2的同時，檔案分配模塊繼續(xù)接收終端檔案信息表中的數(shù)據(jù)。檔案元數(shù)據(jù)存儲模塊102，用于存儲檔案分配模塊形成的檔案塊元數(shù)據(jù)，提供基于終端編號的匹配查詢。檔案存儲時，由于檔案塊中檔案的存儲特性，只需記錄第一個及最后一個存入該檔案塊的終端編號，減小了檔案元數(shù)據(jù)所占用的內(nèi)存。檔案查詢時，若終端編號位于某檔案塊的編號區(qū)間內(nèi)，則返回這一檔案塊所處的數(shù)據(jù)服務器2信息。負載比較模塊103，用于查詢所轄數(shù)據(jù)服務器2當前的負載情況，在此基礎上比較得出負載較輕的服務器。檔案查詢時，從檔案元數(shù)據(jù)存儲模塊獲得檔案塊所處數(shù)據(jù)服務器2信息， 查詢比較這些數(shù)據(jù)服務器2的負載情況，返回負載最小的服務器信息。所述數(shù)據(jù)服務器2的檔案管理模塊201，用于接收檔案分配模塊分配的檔案塊。檔案存儲時，終端檔案數(shù)據(jù)以流水線的方式從檔案分配模塊寫入第一個數(shù)據(jù)服務器2檔案存儲模塊，從第一個復制到第二個，從第二個復制到第三個。檔案存儲模塊202，用于存儲檔案塊實際數(shù)據(jù)，并接受檔案查詢模塊203的查詢。檔案查詢時，接受檔案查詢模塊203的查詢，返回電量計算任務模塊終端檔案信息。檔案查詢模塊203，用于提供數(shù)據(jù)服務器2的負載信息，實現(xiàn)終端檔案的查詢。接受負載比較模塊103的查詢，返回本數(shù)據(jù)服務器2的負載情況。接收電量計算任務模塊的查詢指令，在檔案存儲模塊202中進行匹配查詢。一種支持海量采集終端的分布式內(nèi)存實時存儲裝置的存儲方法，包括以下步驟：（1）主控服務器1的檔案分配模塊101根據(jù)終端檔案信息表的實際情況配置檔案塊的大小，從終端檔案信息表中按終端編號從小至大的順序讀取檔案信息，當讀入的終端檔案信息達到配置大小時，打包形成一個檔案塊；因此檔案塊元數(shù)據(jù)的檔案表分割情況中只需記錄第一個及最后一個存入該檔案塊的終端編號，減小了檔案塊元數(shù)據(jù)所占用的內(nèi)存；（2）為保證檔案數(shù)據(jù)的高可靠性，為每個檔案塊設置n個副本；檔案分配模塊的分配方式是將一個檔案塊分配到n個不同的數(shù)據(jù)服務器2進行存儲，并保證其n個不同的數(shù)據(jù)服務器2中位于不同的機架上，其中n為自然數(shù)，且n≥3；（3）將檔案塊元數(shù)據(jù)寫入檔案元數(shù)據(jù)存儲模塊102，將檔案的實際數(shù)據(jù)寫入分配的數(shù)據(jù)服務器2中；（4）數(shù)據(jù)服務器2中的檔案管理模塊接收檔案分配模塊分配的檔案塊存入檔案存儲模塊202，終端檔案數(shù)據(jù)以流水線的方式從檔案分配模塊寫入第一個數(shù)據(jù)服務器2檔案存儲模塊202，從第一個復制到第二個，從第二個復制到第三個，依次輪推，直到從第n-1個復制到n個。所述的步驟（4）中的檔案塊寫入數(shù)據(jù)服務器2的同時，檔案分配模塊101繼續(xù)接收終端檔案信息表中的數(shù)據(jù)；檔案分配模塊101定期從系統(tǒng)數(shù)據(jù)庫中讀取采集終端檔案信息表，重復以上存儲過程，實現(xiàn)檔案信息的同步。在步驟（4）的檔案存儲完成后，面向電量計算任務模塊的檔案查詢是由電量計算任務模塊發(fā)起的，包括以下步驟:（1）首先電量計算任務模塊與檔案塊元數(shù)據(jù)存儲模塊通信，查詢?nèi)蝿丈婕敖K端所屬的檔案塊及檔案塊位置；終端編號位于某檔案塊的編號區(qū)間內(nèi)，則返回這一檔案塊所處的數(shù)據(jù)服 務器2信息；轉(zhuǎn)到步驟（2）；（2）將數(shù)據(jù)服務器2信息輸入負載比較模塊103，通過與數(shù)據(jù)服務器2的檔案查詢模塊203通信，查詢比較這些數(shù)據(jù)服務器2的負載情況，向電量計算任務模塊返回負載最小的數(shù)據(jù)服務器2信息；（3）電量計算任務模塊向該服務器發(fā)起查詢，檔案查詢模塊203接受查詢指令，在檔案存儲模塊202中進行匹配查詢，向電量計算任務模塊返回終端檔案信息，完成檔案查詢。