本發(fā)明涉及業(yè)務(wù)數(shù)據(jù)統(tǒng)計(jì)領(lǐng)域，特別涉及一種數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、相關(guān)技術(shù)中，告警數(shù)據(jù)、日志數(shù)據(jù)等業(yè)務(wù)數(shù)據(jù)可由前端采集設(shè)備采集、通過消息中間件傳輸至后端，并由后端進(jìn)行聚合統(tǒng)計(jì)，以實(shí)現(xiàn)告警數(shù)據(jù)、日志數(shù)據(jù)的監(jiān)控目的。另外，用戶對數(shù)據(jù)的實(shí)時(shí)性有一定的要求，需要在原始的業(yè)務(wù)數(shù)據(jù)產(chǎn)生之后的較短時(shí)間內(nèi)統(tǒng)計(jì)出原始數(shù)據(jù)的分組數(shù)據(jù)。但是，受網(wǎng)絡(luò)波動(dòng)、消息中間件異常等影響，業(yè)務(wù)數(shù)據(jù)的傳輸可能存在組合，導(dǎo)致后端在進(jìn)行聚合統(tǒng)計(jì)時(shí)，在當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的原始數(shù)據(jù)還沒有進(jìn)入到后端存儲空間中，進(jìn)而導(dǎo)致業(yè)務(wù)數(shù)據(jù)與聚合分組統(tǒng)計(jì)的數(shù)據(jù)不匹配。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)，可根據(jù)原始數(shù)據(jù)表中在當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)的總數(shù)量的變化情況判斷當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)是否已基本寫入該原始數(shù)據(jù)表，并僅在確定該業(yè)務(wù)數(shù)據(jù)已基本寫入該原始數(shù)據(jù)表時(shí)才對原始數(shù)據(jù)表中在當(dāng)前窗口期內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)進(jìn)行聚合統(tǒng)計(jì)處理，可提升聚合統(tǒng)計(jì)的可靠性。

2、為解決上述技術(shù)問題，本發(fā)明提供一種數(shù)據(jù)處理方法，包括：

3、在將業(yè)務(wù)數(shù)據(jù)從消息中間件寫入原始數(shù)據(jù)表的過程中，在所述原始數(shù)據(jù)表中持續(xù)檢測在當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)的總數(shù)量；

4、判斷所述總數(shù)量的變化情況是否滿足預(yù)設(shè)寫入完成條件；

5、若所述總數(shù)量的變化情況滿足所述預(yù)設(shè)寫入完成條件，則對所述原始數(shù)據(jù)表中在所述當(dāng)前窗口期內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)進(jìn)行聚合統(tǒng)計(jì)處理。

6、可選地，還包括：

7、在將業(yè)務(wù)數(shù)據(jù)從消息中間件寫入原始數(shù)據(jù)表的過程中，判斷當(dāng)前時(shí)刻是否到達(dá)所述當(dāng)前時(shí)間窗口對應(yīng)的最晚聚合時(shí)刻；

8、若所述當(dāng)前時(shí)刻到達(dá)所述最晚聚合時(shí)刻，則對所述原始數(shù)據(jù)表中在所述當(dāng)前窗口期內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)進(jìn)行聚合統(tǒng)計(jì)處理。

9、可選地，所述判斷所述總數(shù)量的變化情況是否滿足預(yù)設(shè)寫入完成條件，包括：

10、判斷所述總數(shù)量是否增大；

11、若所述總數(shù)量未增大，則對無變化計(jì)數(shù)加一；所述當(dāng)前時(shí)間窗口對應(yīng)的無變化計(jì)數(shù)的初值為零；

12、判斷所述無變化計(jì)數(shù)是否達(dá)到預(yù)設(shè)閾值；

13、若所述無變化計(jì)數(shù)達(dá)到所述預(yù)設(shè)閾值，則判定所述總數(shù)量的變化情況滿足所述預(yù)設(shè)寫入完成條件。

14、可選地，在所述原始數(shù)據(jù)表中持續(xù)檢測在當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)的總數(shù)量之前，還包括：

15、判斷所述原始數(shù)據(jù)表中是否存有業(yè)務(wù)數(shù)據(jù)；

16、若所述原始數(shù)據(jù)表中未存有所述業(yè)務(wù)數(shù)據(jù)，則等待第一預(yù)設(shè)時(shí)長，并在等待結(jié)束時(shí)進(jìn)入所述判斷所述原始數(shù)據(jù)表中是否存有業(yè)務(wù)數(shù)據(jù)的步驟；

17、若所述原始數(shù)據(jù)表中存有所述業(yè)務(wù)數(shù)據(jù)，則判斷所述消息中間件是否存活；

18、若所述消息中間件未存活，則等待所述第一預(yù)設(shè)時(shí)長，并在等待結(jié)束時(shí)進(jìn)入所述判斷所述原始數(shù)據(jù)表中是否存有業(yè)務(wù)數(shù)據(jù)的步驟；

19、若所述消息中間件存活，則將任務(wù)標(biāo)識設(shè)置為啟動(dòng)狀態(tài)；

20、所述在所述原始數(shù)據(jù)表中持續(xù)檢測在當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)的總數(shù)量，包括：

21、在確定所述任務(wù)標(biāo)識設(shè)置為所述啟動(dòng)狀態(tài)時(shí)，開始在所述原始數(shù)據(jù)表中持續(xù)檢測在當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)的總數(shù)量。

22、可選地，在確定所述任務(wù)標(biāo)識設(shè)置為所述啟動(dòng)狀態(tài)時(shí)，開始在所述原始數(shù)據(jù)表中持續(xù)檢測在當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)的總數(shù)量，包括：

23、在確定所述任務(wù)標(biāo)識設(shè)置為所述啟動(dòng)狀態(tài)時(shí)，等待第二預(yù)設(shè)時(shí)長，并在等待結(jié)束時(shí)開始在所述原始數(shù)據(jù)表中持續(xù)檢測在當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)的總數(shù)量。

24、可選地，所述判斷所述消息中間件是否存活，包括：

25、根據(jù)所述消息中間件的心跳信號判斷所述消息中間件是否存活。

26、可選地，在對所述原始數(shù)據(jù)表中在所述當(dāng)前窗口期內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)進(jìn)行聚合統(tǒng)計(jì)處理之后，還包括：

27、在完成對所述當(dāng)前窗口期內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)的聚合統(tǒng)計(jì)處理時(shí)，將所述任務(wù)標(biāo)識調(diào)整為結(jié)束狀態(tài)。

28、本發(fā)明還提供一種數(shù)據(jù)處理裝置，包括：

29、總數(shù)量檢測模塊，用于在將業(yè)務(wù)數(shù)據(jù)從消息中間件寫入原始數(shù)據(jù)表的過程中，在所述原始數(shù)據(jù)表中持續(xù)檢測在當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)的總數(shù)量；

30、寫入完成判斷模塊，用于判斷所述總數(shù)量的變化情況是否滿足預(yù)設(shè)寫入完成條件；

31、聚合統(tǒng)計(jì)模塊，用于若所述總數(shù)量的變化情況滿足所述預(yù)設(shè)寫入完成條件，則對所述原始數(shù)據(jù)表中在所述當(dāng)前窗口期內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)進(jìn)行聚合統(tǒng)計(jì)處理。

32、本發(fā)明還提供一種電子設(shè)備，包括：

33、存儲器，用于存儲計(jì)算機(jī)程序；

34、處理器，用于執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上所述的數(shù)據(jù)處理方法。

35、本發(fā)明還提供一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)中存儲有計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令被處理器加載并執(zhí)行時(shí)，實(shí)現(xiàn)如上所述的數(shù)據(jù)處理方法。

36、本發(fā)明提供一種數(shù)據(jù)處理方法，包括：在將業(yè)務(wù)數(shù)據(jù)從消息中間件寫入原始數(shù)據(jù)表的過程中，在所述原始數(shù)據(jù)表中持續(xù)檢測在當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)的總數(shù)量；判斷所述總數(shù)量的變化情況是否滿足預(yù)設(shè)寫入完成條件；若所述總數(shù)量的變化情況滿足所述預(yù)設(shè)寫入完成條件，則對所述原始數(shù)據(jù)表中在所述當(dāng)前窗口期內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)進(jìn)行聚合統(tǒng)計(jì)處理。

37、可見，本發(fā)明在將業(yè)務(wù)數(shù)據(jù)從消息中間件寫入原始數(shù)據(jù)表的過程中，可在原始數(shù)據(jù)表中持續(xù)檢測在當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)的總數(shù)量，隨后可判斷總數(shù)量的變化情況是否滿足預(yù)設(shè)寫入完成條件，即可根據(jù)總數(shù)量的變化情況判斷當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)是否已基本寫入該原始數(shù)據(jù)表，如當(dāng)總數(shù)量未變化或是總數(shù)量未變化的持續(xù)次數(shù)達(dá)到預(yù)設(shè)值時(shí)，判定當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)是否已基本寫入該原始數(shù)據(jù)表。進(jìn)而，若總數(shù)量的變化情況滿足預(yù)設(shè)寫入完成條件，則可對原始數(shù)據(jù)表中在當(dāng)前窗口期內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)進(jìn)行聚合統(tǒng)計(jì)處理，這樣能夠避免在當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的原始數(shù)據(jù)未進(jìn)入到后端存儲空間中導(dǎo)致業(yè)務(wù)數(shù)據(jù)與聚合分組統(tǒng)計(jì)的數(shù)據(jù)不匹配的情況，從而可提升數(shù)據(jù)聚合統(tǒng)計(jì)的可靠性。本發(fā)明還提供一種數(shù)據(jù)處理裝置、電子設(shè)備及存儲介質(zhì)，具有上述有益效果。

技術(shù)特征：

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，還包括：

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述判斷所述總數(shù)量的變化情況是否滿足預(yù)設(shè)寫入完成條件，包括：

4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的數(shù)據(jù)處理方法，其特征在于，在所述原始數(shù)據(jù)表中持續(xù)檢測在當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)的總數(shù)量之前，還包括：

5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)處理方法，其特征在于，在確定所述任務(wù)標(biāo)識設(shè)置為所述啟動(dòng)狀態(tài)時(shí)，開始在所述原始數(shù)據(jù)表中持續(xù)檢測在當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)的總數(shù)量，包括：

6.根據(jù)權(quán)利要求4所述的數(shù)據(jù)處理方法，其特征在于，所述判斷所述消息中間件是否存活，包括：

7.根據(jù)權(quán)利要求4所述的數(shù)據(jù)處理方法，其特征在于，在對所述原始數(shù)據(jù)表中在所述當(dāng)前窗口期內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)進(jìn)行聚合統(tǒng)計(jì)處理之后，還包括：

8.一種數(shù)據(jù)處理裝置，其特征在于，包括：

9.一種電子設(shè)備，其特征在于，包括：

10.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲介質(zhì)中存儲有計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令被處理器加載并執(zhí)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的數(shù)據(jù)處理方法。

技術(shù)總結(jié)
本發(fā)明提供一種數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)，涉及業(yè)務(wù)數(shù)據(jù)統(tǒng)計(jì)領(lǐng)域，方法包括：在將業(yè)務(wù)數(shù)據(jù)從消息中間件寫入原始數(shù)據(jù)表的過程中，在原始數(shù)據(jù)表中持續(xù)檢測在當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)的總數(shù)量；判斷總數(shù)量的變化情況是否滿足預(yù)設(shè)寫入完成條件；若總數(shù)量的變化情況滿足預(yù)設(shè)寫入完成條件，則對原始數(shù)據(jù)表中在當(dāng)前窗口期內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)進(jìn)行聚合統(tǒng)計(jì)處理；可根據(jù)原始數(shù)據(jù)表中在當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)的總數(shù)量的變化情況，判斷當(dāng)前時(shí)間窗口內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)是否已基本寫入該原始數(shù)據(jù)表，并可在該變化情況滿足預(yù)設(shè)條件時(shí)，才對原始數(shù)據(jù)表中在當(dāng)前窗口期內(nèi)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)進(jìn)行聚合統(tǒng)計(jì)處理，可提升聚合統(tǒng)計(jì)的可靠性。

技術(shù)研發(fā)人員：劉正坤,程文博
受保護(hù)的技術(shù)使用者：杭州安恒信息技術(shù)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26