本發(fā)明創(chuàng)造涉及數(shù)據(jù)庫，特別是涉及一種clickhouse數(shù)據(jù)庫數(shù)據(jù)寫入方法及裝置。

背景技術：

1、在工商業(yè)光伏儲能系統(tǒng)，逆變器、電池、消防系統(tǒng)、空調(diào)系統(tǒng)等設備數(shù)據(jù)經(jīng)數(shù)據(jù)標準化后通過5g/4g/wifi/以太網(wǎng)等方式傳輸?shù)奖O(jiān)控云平臺。云平臺對收到的如電壓、電流、功率、溫濕度、發(fā)電量、電池容量等數(shù)據(jù)進行實時監(jiān)測，同時對發(fā)電系統(tǒng)和儲能系統(tǒng)的實時數(shù)據(jù)和歷史數(shù)據(jù)進行數(shù)據(jù)分析，形成相應的報告和報表，為管理者提供決策支持，由此產(chǎn)生的數(shù)據(jù)量越來越龐大，對數(shù)據(jù)處理和實時分析的要求也越來越高，同時，需要長期保存大量的歷史數(shù)據(jù)，因而將云平臺的數(shù)據(jù)寫入clickhouse數(shù)據(jù)倉庫進行存儲。clickhouse通過分片將數(shù)據(jù)表分割成多個邏輯片段，每個分片對應一部分數(shù)據(jù)，并將其分配到不同的節(jié)點上。在向clickhouse寫入數(shù)據(jù)時，在數(shù)據(jù)量達到一定程度的時候，會增加節(jié)點，由于clickhouse本身具備自動重平衡機制，為了達到數(shù)據(jù)平衡的目的，新增分片優(yōu)先落入新增節(jié)點中，此時會存在明顯熱點問題(服務請求過多，流量集中的問題)。

技術實現(xiàn)思路

1、本發(fā)明創(chuàng)造實施例提供的clickhouse數(shù)據(jù)庫數(shù)據(jù)寫入方法及裝置，至少可緩解clickhouse數(shù)據(jù)庫向新節(jié)點寫入數(shù)據(jù)時的熱點問題。

2、根據(jù)本申請的一個方面，提供了一種clickhouse數(shù)據(jù)庫數(shù)據(jù)寫入方法，該方法包括：獲取當前的待寫入數(shù)據(jù)；將所述待寫入數(shù)據(jù)寫入新增的第二節(jié)點，并響應于控制指令在已有的第一節(jié)點中確定目標數(shù)據(jù)，將所述目標數(shù)據(jù)寫入所述第二節(jié)點，刪除所述第一節(jié)點中的所述目標數(shù)據(jù)；將后續(xù)的待寫入數(shù)據(jù)寫入所述第一節(jié)點和所述第二節(jié)點。

3、根據(jù)本申請的另一個方面，還提供了一種clickhouse數(shù)據(jù)庫數(shù)據(jù)寫入裝置，該裝置包括：獲取模塊，用于獲取當前的待寫入數(shù)據(jù)；管理模塊，用于將所述待寫入數(shù)據(jù)寫入新增的第二節(jié)點，并響應于控制指令在已有的第一節(jié)點中確定目標數(shù)據(jù)，將所述目標數(shù)據(jù)寫入所述第二節(jié)點，刪除所述第一節(jié)點中的所述目標數(shù)據(jù)；寫入模塊，用于將后續(xù)的待寫入數(shù)據(jù)寫入所述第一節(jié)點和所述第二節(jié)點。

4、根據(jù)本申請的另一個方面，還提供了一種電子設備，包括：處理器，以及存儲程序的存儲器，所述程序包括指令，所述指令在由所述處理器執(zhí)行時使所述處理器執(zhí)行上述的方法。

5、根據(jù)本申請的另一個方面，還提供了一種存儲有計算機指令的非瞬時機器可讀介質(zhì)，所述計算機指令用于使所述計算機執(zhí)行上述的方法。

6、本發(fā)明創(chuàng)造實施例提供的clickhouse數(shù)據(jù)庫數(shù)據(jù)寫入方法及裝置，包括：獲取當前的待寫入數(shù)據(jù)；將所述待寫入數(shù)據(jù)寫入新增的第二節(jié)點，并響應于控制指令在已有的第一節(jié)點中確定目標數(shù)據(jù)，將所述目標數(shù)據(jù)寫入所述第二節(jié)點，刪除所述第一節(jié)點中的所述目標數(shù)據(jù)；將后續(xù)的待寫入數(shù)據(jù)寫入所述第一節(jié)點和所述第二節(jié)點。本發(fā)明實施例將當前待寫入數(shù)據(jù)寫入新增的第二節(jié)點，同時，響應于控制指令在已有的第一節(jié)點中確定目標數(shù)據(jù)，通過將第一節(jié)點中的目標數(shù)據(jù)寫入第二節(jié)點，刪除所述第一節(jié)點中的所述目標數(shù)據(jù)，降低第一節(jié)點的壓力，使得寫入后續(xù)的待寫入數(shù)據(jù)時，可以基于clickhouse數(shù)據(jù)庫的自動數(shù)據(jù)重平衡機制，實現(xiàn)第一節(jié)點和第二節(jié)點之間的數(shù)據(jù)平衡，緩解新增的第二節(jié)點的數(shù)據(jù)熱點問題。

技術特征：

1.一種clickhouse數(shù)據(jù)庫數(shù)據(jù)寫入方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第二節(jié)點中包括與所述目標數(shù)據(jù)所在表相同的數(shù)據(jù)表；將所述目標數(shù)據(jù)寫入所述第二節(jié)點，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，響應于控制指令在已有的第一節(jié)點中確定目標數(shù)據(jù)，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，將后續(xù)的待寫入數(shù)據(jù)寫入所述第一節(jié)點和所述第二節(jié)點，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，將后續(xù)的待寫入數(shù)據(jù)寫入所述第一節(jié)點和所述第二節(jié)點，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，將后續(xù)的待寫入數(shù)據(jù)寫入所述第一節(jié)點和所述第二節(jié)點，包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取當前的待寫入數(shù)據(jù)，包括：

8.一種clickhouse數(shù)據(jù)庫數(shù)據(jù)寫入裝置，其特征在于，包括：

9.一種電子設備，包括：處理器，以及存儲程序的存儲器，其特征在于，所述程序包括指令，所述指令在由所述處理器執(zhí)行時使所述處理器執(zhí)行根據(jù)權(quán)利要求1-7中任一項所述的方法。

10.一種存儲有計算機指令的非瞬時機器可讀介質(zhì)，其特征在于，所述計算機指令用于使所述計算機執(zhí)行根據(jù)權(quán)利要求1-7中任一項所述的方法。

技術總結(jié)
本發(fā)明創(chuàng)造涉及一種Clickhouse數(shù)據(jù)庫數(shù)據(jù)寫入方法及裝置，涉及數(shù)據(jù)庫技術領域，該方法包括：獲取當前的待寫入數(shù)據(jù)；將待寫入數(shù)據(jù)寫入新增的第二節(jié)點，并響應于控制指令在已有的第一節(jié)點中確定目標數(shù)據(jù)，將目標數(shù)據(jù)寫入所述第二節(jié)點，刪除第一節(jié)點中的目標數(shù)據(jù)；將后續(xù)的待寫入數(shù)據(jù)寫入第一節(jié)點和第二節(jié)點。本發(fā)明可以基于Clickhouse數(shù)據(jù)庫的自動數(shù)據(jù)重平衡機制，實現(xiàn)第一節(jié)點和第二節(jié)點之間的數(shù)據(jù)平衡，緩解新增的第二節(jié)點的數(shù)據(jù)熱點問題。

技術研發(fā)人員：肖輝枚
受保護的技術使用者：浙江艾羅網(wǎng)絡能源技術股份有限公司
技術研發(fā)日：
技術公布日：2025/1/6