本申請(qǐng)涉及物聯(lián)網(wǎng)邊緣計(jì)算，尤其涉及一種數(shù)據(jù)處理方法、裝置、電子設(shè)備及介質(zhì)。

背景技術(shù)：

1、influxdb是目前市面上最常用的開(kāi)源時(shí)序數(shù)據(jù)庫(kù)之一，influxdb是一個(gè)由influxdata開(kāi)發(fā)的開(kāi)源時(shí)序型數(shù)據(jù)，由go寫成，著力于高性能地查詢與存儲(chǔ)時(shí)序型數(shù)據(jù)。influxdb被廣泛應(yīng)用于存儲(chǔ)系統(tǒng)的監(jiān)控?cái)?shù)據(jù)，比如運(yùn)維和iot（物聯(lián)網(wǎng)）行業(yè)的實(shí)時(shí)數(shù)據(jù)等場(chǎng)景。influxdb當(dāng)前最穩(wěn)定的版本是v2.0，?influxdb運(yùn)用到數(shù)據(jù)組織的數(shù)據(jù)模型，將時(shí)間序列數(shù)據(jù)組織到存儲(chǔ)桶和測(cè)量中，即通過(guò)分塊、分組織存儲(chǔ)的方式管理壓縮數(shù)據(jù)。

2、現(xiàn)有技術(shù)中，在面對(duì)工業(yè)、電力等行業(yè)的高頻率數(shù)據(jù)采集工作，毫秒級(jí)、秒級(jí)的采集頻率經(jīng)常會(huì)給程序讀寫造成壓力，使設(shè)備網(wǎng)關(guān)出現(xiàn)cpu、磁盤沖高的現(xiàn)象的問(wèn)題時(shí)，大多數(shù)iot（物聯(lián)網(wǎng)）數(shù)據(jù)清理都配置了定期清理的策略。

3、雖然有數(shù)據(jù)庫(kù)管理策略在維護(hù)，但是在高頻率的數(shù)據(jù)采集、存儲(chǔ)的背景下還是讓資源有限的服務(wù)器面臨壓力，存在數(shù)據(jù)處理效率較低的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，有必要提供一種數(shù)據(jù)處理方法、裝置、電子設(shè)備及介質(zhì)，用以解決現(xiàn)有技術(shù)中存在的數(shù)據(jù)處理效率較低的問(wèn)題。

2、為了解決上述問(wèn)題，本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)處理方法，包括：

3、獲取電力設(shè)備的監(jiān)測(cè)數(shù)據(jù)，將所述監(jiān)測(cè)數(shù)據(jù)存儲(chǔ)至監(jiān)測(cè)數(shù)據(jù)表，其中，所述監(jiān)測(cè)數(shù)據(jù)包括時(shí)間戳和對(duì)應(yīng)的監(jiān)測(cè)數(shù)值，所述監(jiān)測(cè)數(shù)據(jù)表用于存儲(chǔ)與所述監(jiān)測(cè)數(shù)據(jù)表中相鄰時(shí)間的監(jiān)測(cè)數(shù)值不同的監(jiān)測(cè)數(shù)據(jù)；

4、獲取電力設(shè)備的離線區(qū)間數(shù)據(jù)，將所述離線區(qū)間數(shù)據(jù)存儲(chǔ)至離線數(shù)據(jù)表；

5、獲取查詢時(shí)間，基于所述離線數(shù)據(jù)表中查詢時(shí)間內(nèi)的離線區(qū)間數(shù)據(jù)，對(duì)所述監(jiān)測(cè)數(shù)據(jù)表中查詢時(shí)間內(nèi)的監(jiān)測(cè)數(shù)據(jù)進(jìn)行斷層補(bǔ)全，得到時(shí)間序列數(shù)據(jù)。

6、在一些可能的實(shí)現(xiàn)方式中，所述監(jiān)測(cè)數(shù)據(jù)通過(guò)modbus?tcp\rtu協(xié)議進(jìn)行數(shù)據(jù)采集。

7、在一些可能的實(shí)現(xiàn)方式中，所述監(jiān)測(cè)數(shù)據(jù)通過(guò)直采或者mqtt轉(zhuǎn)發(fā)的方式進(jìn)行數(shù)據(jù)上報(bào)。

8、在一些可能的實(shí)現(xiàn)方式中，獲取電力設(shè)備的離線區(qū)間數(shù)據(jù)，包括：

9、獲取電力設(shè)備的網(wǎng)絡(luò)通斷狀態(tài)數(shù)據(jù)，所述網(wǎng)絡(luò)通斷狀態(tài)數(shù)據(jù)包括時(shí)間戳和對(duì)應(yīng)的網(wǎng)絡(luò)通斷狀態(tài)數(shù)值；

10、基于所述網(wǎng)絡(luò)通斷狀態(tài)數(shù)據(jù)和所述監(jiān)測(cè)數(shù)據(jù)表，確定電力設(shè)備的離線區(qū)間數(shù)據(jù)。

11、在一些可能的實(shí)現(xiàn)方式中，所述網(wǎng)絡(luò)通斷狀態(tài)數(shù)據(jù)通過(guò)定時(shí)ping/telnet方式查看獲取。

12、在一些可能的實(shí)現(xiàn)方式中，所述時(shí)間序列數(shù)據(jù)通過(guò)折線圖的形式進(jìn)行展示。

13、在一些可能的實(shí)現(xiàn)方式中，所述折線圖通過(guò)go-echarts工具繪制。

14、本申請(qǐng)還提供了一種數(shù)據(jù)處理裝置，包括：

15、數(shù)據(jù)獲取單元，用于獲取電力設(shè)備的監(jiān)測(cè)數(shù)據(jù)和離線區(qū)間數(shù)據(jù)，所述監(jiān)測(cè)數(shù)據(jù)包括時(shí)間戳和對(duì)應(yīng)的監(jiān)測(cè)數(shù)值；

16、數(shù)據(jù)存儲(chǔ)單元，用于將所述監(jiān)測(cè)數(shù)據(jù)存儲(chǔ)至監(jiān)測(cè)數(shù)據(jù)表，將所述離線區(qū)間數(shù)據(jù)存儲(chǔ)至離線數(shù)據(jù)表，其中，所述監(jiān)測(cè)數(shù)據(jù)表用于存儲(chǔ)與所述監(jiān)測(cè)數(shù)據(jù)表中相鄰時(shí)間的監(jiān)測(cè)數(shù)值不同的監(jiān)測(cè)數(shù)據(jù)；

17、數(shù)據(jù)查詢單元，用于獲取查詢時(shí)間，基于所述離線數(shù)據(jù)表中查詢時(shí)間內(nèi)的離線區(qū)間數(shù)據(jù)，對(duì)所述監(jiān)測(cè)數(shù)據(jù)表中查詢時(shí)間內(nèi)的監(jiān)測(cè)數(shù)據(jù)進(jìn)行斷層補(bǔ)全，得到時(shí)間序列數(shù)據(jù)。

18、本申請(qǐng)還提供了一種電子設(shè)備，包括存儲(chǔ)器和處理器；

19、所述存儲(chǔ)器，用于存儲(chǔ)程序；

20、所述處理器，與所述存儲(chǔ)器耦合，用于執(zhí)行所述存儲(chǔ)器中存儲(chǔ)的所述程序，以實(shí)現(xiàn)上述所述的數(shù)據(jù)處理方法的步驟。

21、本申請(qǐng)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有程序或指令，所述程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述所述的數(shù)據(jù)處理方法的步驟。

22、本申請(qǐng)的有益效果是：本申請(qǐng)?zhí)峁┑臄?shù)據(jù)處理方法，通過(guò)將監(jiān)測(cè)數(shù)據(jù)中與監(jiān)測(cè)數(shù)據(jù)表中相鄰時(shí)間的監(jiān)測(cè)數(shù)值相同的監(jiān)測(cè)數(shù)據(jù)丟棄，不同的存儲(chǔ)，實(shí)現(xiàn)了數(shù)據(jù)的去重過(guò)濾，極大的降低了數(shù)據(jù)寫入頻率，提高了數(shù)據(jù)處理效率，減輕電力、工業(yè)行業(yè)高頻率數(shù)據(jù)存儲(chǔ)、邊緣計(jì)算網(wǎng)關(guān)壓力；進(jìn)一步地，考慮到電力設(shè)備離線的周期內(nèi)監(jiān)測(cè)數(shù)據(jù)會(huì)出現(xiàn)斷層，通過(guò)離線數(shù)據(jù)表對(duì)斷層的監(jiān)測(cè)數(shù)據(jù)進(jìn)行補(bǔ)全，可以清晰地了解應(yīng)用側(cè)電力設(shè)備的狀態(tài)，不用擔(dān)心看不到某個(gè)時(shí)間點(diǎn)的數(shù)據(jù)的同時(shí)，數(shù)據(jù)存儲(chǔ)更加的高效，且讀取時(shí)的數(shù)據(jù)減少，讀取效率提高，提高了數(shù)據(jù)壓縮比；最后，通過(guò)上述方式，資源使用方面，cpu、磁盤占用得到了極大地優(yōu)化。

技術(shù)特征：

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述監(jiān)測(cè)數(shù)據(jù)通過(guò)modbus?tcp\rtu協(xié)議進(jìn)行數(shù)據(jù)采集。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述監(jiān)測(cè)數(shù)據(jù)通過(guò)直采或者mqtt轉(zhuǎn)發(fā)的方式進(jìn)行數(shù)據(jù)上報(bào)。

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，獲取電力設(shè)備的離線區(qū)間數(shù)據(jù)，包括：

5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)處理方法，其特征在于，所述網(wǎng)絡(luò)通斷狀態(tài)數(shù)據(jù)通過(guò)定時(shí)ping/telnet方式查看獲取。

6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述時(shí)間序列數(shù)據(jù)通過(guò)折線圖的形式進(jìn)行展示。

7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)處理方法，其特征在于，所述折線圖通過(guò)go-echarts工具繪制。

8.一種數(shù)據(jù)處理裝置，其特征在于，包括：

9.一種電子設(shè)備，其特征在于，包括存儲(chǔ)器和處理器；

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有程序或指令，所述程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述權(quán)利要求1至7中任一項(xiàng)所述的數(shù)據(jù)處理方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)涉及一種數(shù)據(jù)處理方法、裝置、電子設(shè)備及介質(zhì)，屬于物聯(lián)網(wǎng)邊緣計(jì)算技術(shù)領(lǐng)域，其中，該方法包括：獲取電力設(shè)備的監(jiān)測(cè)數(shù)據(jù)，將監(jiān)測(cè)數(shù)據(jù)存儲(chǔ)至監(jiān)測(cè)數(shù)據(jù)表，其中，監(jiān)測(cè)數(shù)據(jù)包括時(shí)間戳和對(duì)應(yīng)的監(jiān)測(cè)數(shù)值，監(jiān)測(cè)數(shù)據(jù)表用于存儲(chǔ)與監(jiān)測(cè)數(shù)據(jù)表中相鄰時(shí)間的監(jiān)測(cè)數(shù)值不同的監(jiān)測(cè)數(shù)據(jù)；獲取電力設(shè)備的離線區(qū)間數(shù)據(jù)，將離線區(qū)間數(shù)據(jù)存儲(chǔ)至離線數(shù)據(jù)表；獲取查詢時(shí)間，基于離線數(shù)據(jù)表中查詢時(shí)間內(nèi)的離線區(qū)間數(shù)據(jù)，對(duì)監(jiān)測(cè)數(shù)據(jù)表中查詢時(shí)間內(nèi)的監(jiān)測(cè)數(shù)據(jù)進(jìn)行斷層補(bǔ)全，得到時(shí)間序列數(shù)據(jù)。本申請(qǐng)通過(guò)將監(jiān)測(cè)數(shù)據(jù)中與監(jiān)測(cè)數(shù)據(jù)表中相鄰時(shí)間的監(jiān)測(cè)數(shù)值相同的監(jiān)測(cè)數(shù)據(jù)丟棄，不同的存儲(chǔ)，實(shí)現(xiàn)了數(shù)據(jù)的去重過(guò)濾，有效提高了數(shù)據(jù)處理效率。

技術(shù)研發(fā)人員：李宇輝,周雪剛,牛斌,李振雷,李順章,葉權(quán)海,劉庚,閃鑫,安天保,陳俊宇
受保護(hù)的技術(shù)使用者：武漢合智數(shù)字能源技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6