基于遷移均衡策略的用電信息分布式文件存儲方法與裝置的制造方法
【技術領域】
[0001] 本發(fā)明設及智能用電領域，尤其設及一種基于遷移均衡策略的用電信息分布式文 件存儲方法與裝置。
【背景技術】
[0002] 隨著智能電網(wǎng)建設的不斷深入和"大集中"建設模式的推進，電力用戶數(shù)量和終端 數(shù)量增大，用戶用電數(shù)據(jù)成為典型的行業(yè)大數(shù)據(jù)。電力用戶用電數(shù)據(jù)呈現(xiàn)規(guī)模大、多樣異 構等大數(shù)據(jù)特征，具體表現(xiàn)在：（1)數(shù)據(jù)規(guī)模巨大，W山東省為例，從2007年用電信息采集 系統(tǒng)運行至今，累計數(shù)據(jù)量約為1. 4PB;2014年實現(xiàn)"全覆蓋"后系統(tǒng)用電數(shù)據(jù)日增長量預 計翻兩番，系統(tǒng)源碼數(shù)據(jù)日增長量預計達到900GB。（2)數(shù)據(jù)類型多樣，用電信息采集系統(tǒng) 設及的數(shù)據(jù)包括基本檔案數(shù)據(jù)、原始數(shù)據(jù)帖、基礎業(yè)務數(shù)據(jù)、復雜業(yè)務數(shù)據(jù)W及統(tǒng)計分析數(shù) 據(jù)等結構化、半結構化W及無結構化數(shù)據(jù)，各類數(shù)據(jù)的處理、存儲和管理需求也存在較大差 異。
[0003] 電力用戶用電大數(shù)據(jù)給用電信息采集系統(tǒng)建設面臨著大規(guī)模數(shù)據(jù)存儲的挑戰(zhàn)性 問題，即如何針對數(shù)據(jù)規(guī)模、類型、用途選取合適的存儲模型。為適應大規(guī)模用電信息存儲 和管理的要求，緩解日益激增的數(shù)據(jù)源帖和采集數(shù)據(jù)對存儲空間造成的壓力，解決高速采 集數(shù)據(jù)流的存儲問題，W及云存儲數(shù)據(jù)訪問的動態(tài)均衡，需要優(yōu)化大數(shù)據(jù)存儲時的均衡策 略，實現(xiàn)用電信息大數(shù)據(jù)快速高效存儲。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的就是為了解決上述問題，提供一種基于遷移均衡策略的用電信息分 布式文件存儲方法與裝置，實現(xiàn)用電信息大數(shù)據(jù)的高效存儲，滿足用電信息采集系統(tǒng)用電 大數(shù)據(jù)存儲容量、存儲速率需求。 陽〇化]為了實現(xiàn)上述目的，本發(fā)明采用如下技術方案：
[0006] 基于遷移均衡策略的用電信息分布式文件存儲裝置，包括：
[0007] 數(shù)據(jù)采集模塊，用于電信息采集系統(tǒng)采集終端上送的用電信息原始數(shù)據(jù)帖，將原 始數(shù)據(jù)帖解析得到原始數(shù)據(jù)，檢測本地磁盤模塊中文件的信息，根據(jù)文件的信息選擇是否 將文件上傳至數(shù)據(jù)存儲模塊；
[0008] 本地磁盤模塊，將數(shù)據(jù)采集模塊解析后的原始數(shù)據(jù)W文件形式存入并緩存；
[0009] 數(shù)據(jù)存儲模塊，負責存儲用電數(shù)據(jù)信息，包括前置通信平臺關系數(shù)據(jù)庫和分布式 MongoDB數(shù)據(jù)庫；
[0010] 大數(shù)據(jù)管理引擎，負責定時監(jiān)測獲取前置通信平臺關系數(shù)據(jù)庫內(nèi)未進行數(shù)據(jù)轉存 計算的文件信息，并參照運部分文件信息，將文件從MongoDB數(shù)據(jù)庫提取，同時更新前置通 信平臺關系數(shù)據(jù)庫內(nèi)文件提取時間；將從MongoDB數(shù)據(jù)庫提取的文件數(shù)據(jù)轉化為數(shù)據(jù)字符 流，并進行數(shù)據(jù)計算（電量統(tǒng)計、線損分析等業(yè)務計算），得到業(yè)務數(shù)據(jù)；
[0011] 數(shù)據(jù)持久化模塊，負責將業(yè)務數(shù)據(jù)交給業(yè)務數(shù)據(jù)庫持久化通道進行業(yè)務數(shù)據(jù)持久 化，并將業(yè)務數(shù)據(jù)按其所支持具體業(yè)務的時效性和功能的不同分別存入應用系統(tǒng)的不同業(yè) 務數(shù)據(jù)庫中。
[0012] 所述數(shù)據(jù)采集模塊將用電信息原始數(shù)據(jù)帖按照信道類型和規(guī)約類型進行解析得 到原始數(shù)據(jù)。
[0013] 所述數(shù)據(jù)采集模塊需要檢測本地磁盤模塊中文件的數(shù)量、大小和最近一次寫入時 間，若文件大小達到設定闊值或文件在設定時間闊值內(nèi)未更新，則將數(shù)據(jù)文件上傳至數(shù)據(jù) 存儲模塊，并更新文件上傳時間。
[0014] 所述前置通信平臺關系數(shù)據(jù)庫存儲具有嚴格數(shù)據(jù)結構且基本無變化的數(shù)據(jù)，包括 客戶檔案數(shù)據(jù)、通信信道信息及監(jiān)控信息。 陽01引所述MongoDB數(shù)據(jù)庫存儲時效性低且利用率相對低的數(shù)據(jù)，包括測量點電能、電 流、電壓數(shù)據(jù)及終端通訊源碼數(shù)據(jù)。
[0016] 所述業(yè)務數(shù)據(jù)庫包括檔案數(shù)據(jù)庫、電壓電流數(shù)據(jù)庫、表碼數(shù)據(jù)庫、電量數(shù)據(jù)庫、戶 供電質量數(shù)據(jù)庫、電量分析數(shù)據(jù)庫、線損分析數(shù)據(jù)庫。
[0017] 一種基于遷移均衡策略的用電信息分布式文件存儲裝置的存儲方法，包括W下步 驟：
[0018] 步驟一、數(shù)據(jù)采集模塊將用電信息采集系統(tǒng)采集終端上送的用電數(shù)據(jù)原始數(shù)據(jù)帖 按信道類型和歸約類型進行解析得到原始數(shù)據(jù)，原始數(shù)據(jù)W文件形式存入本地磁盤模塊進 行緩存，并將用電數(shù)據(jù)原始數(shù)據(jù)帖上傳至前置通信平臺關系數(shù)據(jù)庫和MongoDB數(shù)據(jù)庫；
[0019] 步驟二、檢測本地磁盤模塊中文件的數(shù)量、大小和最近一次寫入時間，若文件大小 達到設定闊值或文件在設定時間闊值內(nèi)未更新，數(shù)據(jù)采集模塊將數(shù)據(jù)文件上傳至MongoDB 數(shù)據(jù)庫，并更新文件上傳時間；
[0020] 步驟S、MongoDB數(shù)據(jù)庫采用優(yōu)化的遷移均衡策略通過路由在mongos獲取分片所 在的節(jié)點負載，從數(shù)據(jù)量和負載兩方面實現(xiàn)均衡；
[0021] 步驟四、大數(shù)據(jù)管理引擎定時監(jiān)測前置通信平臺關系數(shù)據(jù)庫內(nèi)未進行數(shù)據(jù)轉存計 算的文件信息，并參照運部分文件的大小、名稱及時間信息，將文件從MongoDB數(shù)據(jù)庫提 取，同時W時間為標簽保證同一文件同一時間只能被一次處理存儲，避免資源浪費；
[0022] 步驟五、將從MongoDB數(shù)據(jù)庫提取到的文件數(shù)據(jù)轉化為數(shù)據(jù)字符流，并進行數(shù)據(jù) 計算，得到業(yè)務數(shù)據(jù)；
[0023] 步驟六、數(shù)據(jù)持久化模塊將業(yè)務數(shù)據(jù)提交給業(yè)務數(shù)據(jù)庫持久化通道，交由持久化 通道進行業(yè)務數(shù)據(jù)持久化，并存入應用系統(tǒng)的業(yè)務數(shù)據(jù)庫。
[0024] 所述步驟=中優(yōu)化的遷移均衡策略包括： 陽0巧]步驟3. 1、MongoDB部署集群首先集合所有分片的相關信息，確定負載最高的分 片、chunk數(shù)最大的分片、待移除的分片W及chunk數(shù)較小的分片中負載最低的分片；
[0026] 步驟3. 1、檢查遷移條件一：檢查分片內(nèi)chunk數(shù)之差是否超過闊值，若滿足，則確 定源分片為chunk數(shù)最大的分片，若不滿足則檢查遷移條件二；
[0027] 步驟3. 2、檢查遷移條件二：檢查是否存在等待刪除的分片，若存在，則選取一個 待刪除分片作為源分片，若不滿足則檢查遷移條件=;
[0028] 步驟3. 3、檢查遷移條件S:檢查是否存在過載的分片，若存在，則確定源分片為 負載最高的分片；若不存在過載的分片，則無需遷移；
[0029] 步驟3. 4、確定遷移源分片和目標分片，進行分片遷移。
[0030] 本發(fā)明的有益效果：
[0031]自動分片機制增強了集群的水平擴展能力，考慮了分片所在數(shù)據(jù)節(jié)點負載的差 異，解決了海量數(shù)據(jù)存儲的動態(tài)遷移均衡的問題，能夠高效率的快速存儲海量數(shù)據(jù)。
[0032] 用電信息采集系統(tǒng)在面對高速采集數(shù)據(jù)流時采用基于遷移均衡策略的分布式文 件存儲方法，能夠高并發(fā)的對用電信息大數(shù)據(jù)進行實時緩存和存儲，且存儲結構時效性高、 利用率高，能夠滿足用電大數(shù)據(jù)的存儲需求。
【附圖說明】
[0033] 圖1為一種基于遷移均衡策略的用電信息分布式文件存儲方法流程圖；
[0034] 圖2為優(yōu)化的遷移均衡策略；
[0035] 圖3為一種基于遷移均衡策略的用電信息分布式文件存儲裝置；
[0036] 圖4為一種基于遷移均衡策略的用電信息采集系統(tǒng)零點用電信息分布式文件存 儲流程。
【具體實施方式】
[0037] 下面結合附圖與實施例對本發(fā)明作進一步說明。
[0038] 如圖1所示，是本發(fā)明一種基于遷移均衡策略的用電信息分布式文件存儲方法， 包括W下步驟：
[0039]A數(shù)據(jù)采集模塊將用電信息采集系統(tǒng)采集終端上送的用電數(shù)據(jù)原始數(shù)據(jù)帖按其信 道類型、歸約類型進行解析得到原始數(shù)據(jù)，原始數(shù)據(jù)W文件形式存入本地磁盤模塊進行緩 存，并將原始數(shù)據(jù)帖上傳至前置通信平臺關系數(shù)據(jù)庫和MongoDB數(shù)據(jù)庫；
[0040] B檢測本地磁盤文件的數(shù)量、大小和最近一次寫入時間，若文件大小達到設定闊值 或文件在設定時間闊值內(nèi)未更新，數(shù)據(jù)采集模塊將數(shù)據(jù)文件上傳至MongoDB數(shù)據(jù)庫，并更 新文件上傳時間；
[0041]C MongoDB數(shù)據(jù)庫采用優(yōu)化的遷移均衡策略通過路由在mongos獲取分片所在的 節(jié)點負載，從數(shù)據(jù)量和負載兩方面實現(xiàn)均衡；
[0042] D大數(shù)據(jù)管理引擎定時監(jiān)測未進行數(shù)據(jù)轉存計算的文件信息，并參照運部分文件 信息，將文件從MongoDB數(shù)據(jù)庫抽取，同時W時間為標簽保證同一文件同一時間只能被一 次處理存儲，避免資源浪費；
[0043]E將提取到的文件數(shù)據(jù)轉化為數(shù)據(jù)字符流，并進行相關的數(shù)據(jù)計算，得到業(yè)務數(shù) 據(jù)；
[0044] F數(shù)據(jù)持久化模塊將業(yè)務數(shù)據(jù)提交給業(yè)務數(shù)據(jù)庫持久化通道，交由持久化通道進 行業(yè)務數(shù)據(jù)持久化，并存入應用系統(tǒng)的業(yè)務數(shù)據(jù)庫。 W45] 如圖2所示，是所述步驟D中優(yōu)化的遷移均衡策略，包括W下步驟：
[0046] D1. MongoDB部署集群首先集合所有分片的相關信息，確定負載最高的分片、chunk 數(shù)最大的分片、待移除的分片W及chunk數(shù)較小的分片中負載最低的分片；
[0047] D2.檢查遷移條件一：檢查分片內(nèi)chunk數(shù)之差是否超過闊值，若滿足，則確定源 分片為chunk數(shù)最大的分片，若不滿足則檢查遷移條件二；
[0048] D3.檢查遷移條件二：檢查是否存在等待刪除的分片，若存在，則選取一個待刪除 分片作為源分片，若不滿足則檢查遷移條件=;
[0049] D4.檢查遷移條件S :檢查是否存在過載的分片，若存在，則確定源分片為負載最 高的分片。
[0050] D5.若不存在過載的分片，則無需遷移。
[0051] D6.確定遷移源分片和目標分片，進行分片遷移。
[0052] 如圖3所示，是本發(fā)明一種基于遷移均衡策略的用電信息分布式文件存儲裝置， 包括：<