本發(fā)明涉及分布式系統(tǒng)，特別是一種分布式實時數據存儲、訪問、同步方法及系統(tǒng)。

背景技術：

1、傳統(tǒng)的單一服務應用架構隨著用戶量的增加，單服務或中心服務無法滿足系統(tǒng)負載需求，并且在系統(tǒng)故障時會導致所有服務癱瘓，造成嚴重損失。因此，解決去中心化問題的主要途徑包括分布式存儲、去中心化架構、邊緣計算和區(qū)塊鏈技術。其中，分布式存儲是去中心化的核心技術，它通過跨域分布和多節(jié)點存儲，確保系統(tǒng)的高可用性和靈活性，同時增強數據安全性，提高服務器負載能力和數據訪問速度。

2、電力監(jiān)控軟件，如光伏電站、水電站或電網監(jiān)控系統(tǒng)，通常需要監(jiān)控和訪問多個節(jié)點的數據。這些系統(tǒng)從小到大，包括從機組數據的監(jiān)控到集控系統(tǒng)，可能需要管理千萬級的數據點。監(jiān)控軟件對數據有較高的安全需求，一方面需要系統(tǒng)冗余備份以確保單個節(jié)點故障不影響整體系統(tǒng)運行；另一方面，用戶應用端需要及時響應采集數據的變化，在可接受的時間范圍內做出相應操作，以保證服務的安全性和可靠性。

技術實現思路

1、鑒于現有的分布式存儲和訪問系統(tǒng)在性能、可靠性、擴展性和數據一致性方面存在的問題，提出了本發(fā)明。

2、因此，本發(fā)明所要解決的問題在于如何實現分布式實時數據存儲、訪問和同步的方法及系統(tǒng)。

3、為解決上述技術問題，本發(fā)明提供如下技術方案：

4、第一方面，本發(fā)明實施例提供了一種分布式實時數據存儲、訪問、同步方法，其包括采用thrift微服務架構，定義服務接口及通信協(xié)議，構建分布式系統(tǒng)框架；基于分布式系統(tǒng)框架，自定義數據類型和數據模型，構建實時數據存儲結構；基于實時數據存儲結構，制定節(jié)點分區(qū)策略，并建立適配thrift服務的網絡拓撲；針對數據模型和網絡拓撲，開發(fā)基于thrift的高速讀寫接口；在高速讀寫接口中集成版本比對機制，并設計相應的增量和全量數據同步策略，完成分布式實時數據存儲、訪問、同步。

5、作為本發(fā)明所述分布式實時數據存儲、訪問、同步方法的一種優(yōu)選方案，其中：構建實時數據存儲結構包括以下步驟：在每個數據節(jié)點的sqlite本地配置庫中創(chuàng)建class_def表；在同一sqlit本地配置庫中創(chuàng)建field_def表；設計sqlite配置同步機制，通過zookeeper將中央配置信息同步到各數據節(jié)點的sqlite本地存儲中；基于class_def表和field_def表，設計數據類型和數據模型的動態(tài)擴展接口，支持運行時添加或修改數據類型和字段，并通過zookeeper將變更推送到所有節(jié)點；制定實時數據表命名規(guī)則；基于實時數據表命名規(guī)則和節(jié)點名稱進行數據配置，使用zookeeper協(xié)調各節(jié)點；開發(fā)sqlite配置讀取功能，從本地class_def表和field_def表中提取數據結構定義；建立數據模型與thrift服務接口的映射關系；根據數據結構定義和映射關系，在每個數據節(jié)點上構建實時數據存儲結構，并通過zookeeper協(xié)調各節(jié)點的數據分布。

6、作為本發(fā)明所述分布式實時數據存儲、訪問、同步方法的一種優(yōu)選方案，其中：制定節(jié)點分區(qū)策略包括以下步驟：基于實時數據表命名規(guī)則，設計數據節(jié)點分區(qū)策略，確定數據在不同數據節(jié)點上的分布方式；在zookeeper中創(chuàng)建分區(qū)信息節(jié)點，分區(qū)信息節(jié)點用于存儲分區(qū)策略及節(jié)點分配信息；開發(fā)分區(qū)管理服務，提供thrift接口用于分區(qū)信息的查詢、更新和同步；設計動態(tài)分區(qū)調整機制，根據負載情況調整數據分布，并通過zookeeper通知各數據節(jié)點；基于thrift服務接口，設計數據路由層，計數據路由層用于客戶端請求向相應數據節(jié)點的轉發(fā)；開發(fā)節(jié)點健康檢查機制，通過zookeeper監(jiān)控數據節(jié)點狀態(tài)，并在數據節(jié)點狀態(tài)變化時觸發(fā)相應操作；基于數據模型與thrift服務接口映射關系，設計客戶端請求分配機制，將請求分配到相應的數據節(jié)點；設計跨數據節(jié)點查詢和聚合機制，允許通過單一thrift服務接口訪問多個數據節(jié)點上的數據；構建適配thrift服務的網絡拓撲結構；開發(fā)元數據管理服務，管理數據模型、數據節(jié)點分區(qū)信息和網絡拓撲結構。

7、作為本發(fā)明所述分布式實時數據存儲、訪問、同步方法的一種優(yōu)選方案，其中：根據負載情況調整數據分布包括以下步驟：構建負載監(jiān)控模塊，以預設時間間隔t1采集各數據節(jié)點的性能指標集合；將采集的性能指標集合i映射為數據節(jié)點的歸一化負載得分s，其中0≤s≤1；設置負載閾值區(qū)間[lmin,lmax]，當數據節(jié)點的歸一化負載得分s滿足s＞lmax或s＜lmin的條件持續(xù)時間超過預設時間t2時，觸發(fā)分區(qū)調整流程；設計數據分區(qū)遷移決策模塊，基于歸一化負載得分集合s＝{s1,...,sn}和當前分區(qū)分布狀態(tài)p生成遷移方案m＝{m1,...,mk}；在zookeeper中創(chuàng)建遷移任務節(jié)點集合z＝{z1,...,zk}；開發(fā)數據遷移執(zhí)行模塊e(z)，用于監(jiān)聽zookeeper中的遷移任務節(jié)點集合z，并按預設并發(fā)度c執(zhí)行數據遷移操作；設計分區(qū)信息更新機制，在遷移任務mi完成后，更新zookeeper中的分區(qū)映射關系；當分區(qū)映射關系發(fā)生變化時，在預設時間窗口t3內，通過zookeeper向所有相關節(jié)點推送更新后的分區(qū)信息；開發(fā)回滾機制b(m,r0,e)，其中m為當前執(zhí)行的遷移方案，r0為調整前的初始分區(qū)映射關系，e為預定義的異常情況集合，當分區(qū)調整過程中檢測到e中異常事件時，執(zhí)行以下操作：中止所有正在進行的數據遷移操作；對已完成的遷移任務進行逆向數據傳輸，將數據恢復到源節(jié)點；在zookeeper中重置分區(qū)映射關系為r0；向所有相關節(jié)點廣播回滾完成通知，使其更新本地緩存的分區(qū)信息。

8、作為本發(fā)明所述分布式實時數據存儲、訪問、同步方法的一種優(yōu)選方案，其中：歸一化負載得分s的的計算公式如下：

9、

10、其中，α、β、γ、δ為權重系數，且α+β+γ+δ＝1，cpuuage為cpu使用率，memuage為內存占用率，iorate為磁盤i/o速率，iomax為磁盤i/o的最大理論值，netrate為網絡流量速率，netmax為網絡流量的最大理論值。

11、作為本發(fā)明所述分布式實時數據存儲、訪問、同步方法的一種優(yōu)選方案，其中：節(jié)點健康檢查機制包括，在zookeeper中為每個數據節(jié)點創(chuàng)建對應的臨時節(jié)點；設計健康報告數據結構，健康報告數據結構包括數據節(jié)點的基本信息和健康狀態(tài)指標；設計數據節(jié)點健康報告模塊，以預設時間間隔t4向對應的zookeeper臨時節(jié)點寫入最新的健康報告；開發(fā)中央監(jiān)控服務，通過zookeeper的watch機制監(jiān)聽所有數據節(jié)點的臨時節(jié)點；設置健康狀態(tài)判定規(guī)則集；當檢測到第一情況時，將數據節(jié)點標記為異常狀態(tài)，第一情況包括zookeeper臨時節(jié)點被刪除，健康報告h中的指標違反健康狀態(tài)判定規(guī)則集中的任一規(guī)則；設計狀態(tài)變化處理模塊，當數據節(jié)點狀態(tài)從正常變?yōu)楫惓r，執(zhí)行第一操作；當異常節(jié)點恢復正常狀態(tài)時，執(zhí)行第二操作。

12、作為本發(fā)明所述分布式實時數據存儲、訪問、同步方法的一種優(yōu)選方案，其中：第一操作包括，將異常節(jié)點從負載均衡器中移除，觸發(fā)數據重分布流程，將異常節(jié)點上的數據分區(qū)重新分配到健康節(jié)點，向系統(tǒng)管理員發(fā)送告警通知；第二操作包括，將節(jié)點重新加入負載均衡器，觸發(fā)數據同步流程，更新系統(tǒng)狀態(tài)，記錄節(jié)點恢復事件。

13、第二方面，本發(fā)明實施例提供了分布式實時數據存儲、訪問、同步系統(tǒng)，其包括框架構建模塊，用于采用thrift微服務架構，定義服務接口及通信協(xié)議，構建分布式系統(tǒng)框架；存儲結構構建模塊，用于基于分布式系統(tǒng)框架，自定義數據類型和數據模型，構建實時數據存儲結構；分區(qū)策略模塊，用于基于實時數據存儲結構，制定節(jié)點分區(qū)策略，并建立適配thrift服務的網絡拓撲；讀寫接口模塊，用于針對數據模型和網絡拓撲，開發(fā)基于thrift的高速讀寫接口；比對同步模塊，用于高速讀寫接口中集成版本比對機制，并設計相應的增量和全量數據同步策略，完成分布式實時數據存儲、訪問、同步。

14、第三方面，本發(fā)明實施例提供了一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其中：所述計算機程序指令被處理器執(zhí)行時實現如本發(fā)明第一方面所述的分布式實時數據存儲、訪問、同步方法的步驟。

15、第四方面，本發(fā)明實施例提供了一種計算機可讀存儲介質，其上存儲有計算機程序，其中：所述計算機程序指令被處理器執(zhí)行時實現如本發(fā)明第一方面所述的分布式實時數據存儲、訪問、同步方法的步驟。

16、本發(fā)明的有益效果為：本發(fā)明采用thrift微服務架構定義服務接口及通信協(xié)議，構建高效的跨語言分布式系統(tǒng)框架。通過zookeeper進行分布式配置管理，并引入sqlite作為本地配置存儲，實現配置的一致性和動態(tài)管理能力。系統(tǒng)設計了包含數據節(jié)點、元數據管理和負載均衡器的整體框架，支持自定義數據類型和數據模型的動態(tài)擴展。基于thrift服務接口和數據模型映射關系，構建了高效的實時數據存儲結構。通過分區(qū)策略和動態(tài)調整機制，確保數據分布的合理性和負載均衡。系統(tǒng)提供基于thrift的高速讀寫接口和數據路由層，確保數據讀寫的高效性和一致性。通過版本比對機制和增量、全量同步策略，確保分布式環(huán)境下的數據一致性和實時同步。本發(fā)明大幅提升了系統(tǒng)的性能、可靠性、擴展性和管理靈活性，滿足了分布式實時數據存儲、訪問和同步的需求。