本申請涉及大數(shù)據(jù)處理，尤其涉及一種數(shù)據(jù)處理方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀介質(zhì)。

背景技術(shù)：

1、目前，數(shù)據(jù)庫管理系統(tǒng)通常依賴于預(yù)先編寫的查詢語句來執(zhí)行數(shù)據(jù)操作。這些操作包括數(shù)據(jù)的查詢、更新、插入和刪除。然而，這些系統(tǒng)通常需要數(shù)據(jù)庫管理員或開發(fā)人員具有專業(yè)知識來編寫和維護(hù)這些查詢語句。此外，數(shù)據(jù)庫管理系統(tǒng)往往缺乏靈活性，無法快速適應(yīng)業(yè)務(wù)規(guī)則的變化，無法快速響應(yīng)數(shù)據(jù)變化并維護(hù)數(shù)據(jù)的一致性和準(zhǔn)確性，對相應(yīng)數(shù)據(jù)處理的效率和準(zhǔn)確率低。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本申請實(shí)施例提供一種數(shù)據(jù)處理方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀介質(zhì)，能夠解決現(xiàn)有的無法快速響應(yīng)數(shù)據(jù)變化并維護(hù)數(shù)據(jù)的一致性和準(zhǔn)確性，對相應(yīng)數(shù)據(jù)處理的效率和準(zhǔn)確率低的問題。

2、為實(shí)現(xiàn)上述目的，根據(jù)本申請實(shí)施例的一個方面，提供了一種數(shù)據(jù)處理方法，包括：

3、接收數(shù)據(jù)處理請求，獲取待處理數(shù)據(jù)、時間標(biāo)識和機(jī)構(gòu)標(biāo)識；

4、基于時間標(biāo)識和機(jī)構(gòu)標(biāo)識，對待處理數(shù)據(jù)進(jìn)行切片，以得到切片數(shù)據(jù)；

5、確定數(shù)據(jù)處理類型，獲取數(shù)據(jù)庫標(biāo)識和配置數(shù)據(jù)，調(diào)用目標(biāo)框架以基于數(shù)據(jù)處理類型、數(shù)據(jù)庫標(biāo)識和配置數(shù)據(jù)，生成數(shù)據(jù)庫標(biāo)識對應(yīng)的數(shù)據(jù)庫對應(yīng)的查詢語句；

6、基于切片數(shù)據(jù)執(zhí)行查詢語句，獲取查詢結(jié)果數(shù)據(jù)，響應(yīng)于查詢結(jié)果數(shù)據(jù)與預(yù)期數(shù)據(jù)存在差異，確定差異數(shù)據(jù)；

7、基于查詢結(jié)果數(shù)據(jù)、預(yù)期數(shù)據(jù)和差異數(shù)據(jù)，生成更正任務(wù)，調(diào)用線程池執(zhí)行更正任務(wù)以得到更正結(jié)果數(shù)據(jù)。

8、可選地，基于時間標(biāo)識和機(jī)構(gòu)標(biāo)識，對待處理數(shù)據(jù)進(jìn)行切片，以得到切片數(shù)據(jù)，包括：

9、基于機(jī)構(gòu)標(biāo)識確定數(shù)據(jù)源，從待處理數(shù)據(jù)中獲取數(shù)據(jù)源對應(yīng)的目標(biāo)數(shù)據(jù)；

10、基于時間標(biāo)識，對目標(biāo)數(shù)據(jù)進(jìn)行切片，以得到切片數(shù)據(jù)。

11、可選地，確定數(shù)據(jù)處理類型，包括：

12、響應(yīng)于已存在查詢結(jié)果數(shù)據(jù)，確定數(shù)據(jù)處理類型為更新；

13、響應(yīng)于未存在查詢結(jié)果數(shù)據(jù)，確定數(shù)據(jù)處理類型為查詢。

14、可選地，生成數(shù)據(jù)庫標(biāo)識對應(yīng)的數(shù)據(jù)庫對應(yīng)的查詢語句，包括：

15、根據(jù)數(shù)據(jù)處理類型，調(diào)用對應(yīng)的數(shù)據(jù)庫語句生成模板；

16、用數(shù)據(jù)庫標(biāo)識、配置數(shù)據(jù)中的閾值和目標(biāo)字段名稱替換數(shù)據(jù)庫語句生成模板中對應(yīng)的占位符，以得到與數(shù)據(jù)庫標(biāo)識對應(yīng)的數(shù)據(jù)庫對應(yīng)的查詢語句。

17、可選地，在確定數(shù)據(jù)處理類型之前，方法還包括：

18、響應(yīng)于待處理數(shù)據(jù)為表單數(shù)據(jù)，創(chuàng)建與表單數(shù)據(jù)結(jié)構(gòu)相同的臨時表；

19、將待處理數(shù)據(jù)插入到臨時表中。

20、可選地，在確定數(shù)據(jù)處理類型之后，方法還包括：

21、根據(jù)數(shù)據(jù)處理類型，調(diào)用對應(yīng)的數(shù)據(jù)庫語句生成模板；

22、獲取臨時表的標(biāo)識，用臨時表的標(biāo)識、配置數(shù)據(jù)中的閾值和目標(biāo)字段名稱替換數(shù)據(jù)庫語句生成模板中對應(yīng)的占位符，以得到與臨時表對應(yīng)的查詢語句。

23、另外，本申請還提供了一種數(shù)據(jù)處理裝置，包括：

24、接收單元，被配置成接收數(shù)據(jù)處理請求，獲取待處理數(shù)據(jù)、時間標(biāo)識和機(jī)構(gòu)標(biāo)識；

25、切片單元，被配置成基于時間標(biāo)識和機(jī)構(gòu)標(biāo)識，對待處理數(shù)據(jù)進(jìn)行切片，以得到切片數(shù)據(jù)；

26、查詢語句生成單元，被配置成確定數(shù)據(jù)處理類型，獲取數(shù)據(jù)庫標(biāo)識和配置數(shù)據(jù)，調(diào)用目標(biāo)框架以基于數(shù)據(jù)處理類型、數(shù)據(jù)庫標(biāo)識和配置數(shù)據(jù)，生成數(shù)據(jù)庫標(biāo)識對應(yīng)的數(shù)據(jù)庫對應(yīng)的查詢語句；

27、差異數(shù)據(jù)確定單元，被配置成基于切片數(shù)據(jù)執(zhí)行查詢語句，獲取查詢結(jié)果數(shù)據(jù)，響應(yīng)于查詢結(jié)果數(shù)據(jù)與預(yù)期數(shù)據(jù)存在差異，確定差異數(shù)據(jù)；

28、執(zhí)行單元，被配置成基于查詢結(jié)果數(shù)據(jù)、預(yù)期數(shù)據(jù)和差異數(shù)據(jù)，生成更正任務(wù)，調(diào)用線程池執(zhí)行更正任務(wù)以得到更正結(jié)果數(shù)據(jù)。

29、可選地，切片單元進(jìn)一步被配置成：

30、基于機(jī)構(gòu)標(biāo)識確定數(shù)據(jù)源，從待處理數(shù)據(jù)中獲取數(shù)據(jù)源對應(yīng)的目標(biāo)數(shù)據(jù)；

31、基于時間標(biāo)識，對目標(biāo)數(shù)據(jù)進(jìn)行切片，以得到切片數(shù)據(jù)。

32、可選地，查詢語句生成單元進(jìn)一步被配置成：

33、響應(yīng)于已存在查詢結(jié)果數(shù)據(jù)，確定數(shù)據(jù)處理類型為更新；

34、響應(yīng)于未存在查詢結(jié)果數(shù)據(jù)，確定數(shù)據(jù)處理類型為查詢。

35、可選地，查詢語句生成單元進(jìn)一步被配置成：

36、根據(jù)數(shù)據(jù)處理類型，調(diào)用對應(yīng)的數(shù)據(jù)庫語句生成模板；

37、用數(shù)據(jù)庫標(biāo)識、配置數(shù)據(jù)中的閾值和目標(biāo)字段名稱替換數(shù)據(jù)庫語句生成模板中對應(yīng)的占位符，以得到與數(shù)據(jù)庫標(biāo)識對應(yīng)的數(shù)據(jù)庫對應(yīng)的查詢語句。

38、可選地，裝置還包括數(shù)據(jù)插入單元，被配置成：

39、響應(yīng)于待處理數(shù)據(jù)為表單數(shù)據(jù)，創(chuàng)建與表單數(shù)據(jù)結(jié)構(gòu)相同的臨時表；

40、將待處理數(shù)據(jù)插入到臨時表中。

41、可選地，查詢語句生成單元進(jìn)一步被配置成：

42、根據(jù)數(shù)據(jù)處理類型，調(diào)用對應(yīng)的數(shù)據(jù)庫語句生成模板；

43、獲取臨時表的標(biāo)識，用臨時表的標(biāo)識、配置數(shù)據(jù)中的閾值和目標(biāo)字段名稱替換數(shù)據(jù)庫語句生成模板中對應(yīng)的占位符，以得到與臨時表對應(yīng)的查詢語句。

44、另外，本申請還提供了一種數(shù)據(jù)處理電子設(shè)備，包括：一個或多個處理器；存儲裝置，用于存儲一個或多個程序，當(dāng)一個或多個程序被一個或多個處理器執(zhí)行，使得一個或多個處理器實(shí)現(xiàn)如上述的數(shù)據(jù)處理方法。

45、另外，本申請還提供了一種計(jì)算機(jī)可讀介質(zhì)，其上存儲有計(jì)算機(jī)程序，程序被處理器執(zhí)行時實(shí)現(xiàn)如上述的數(shù)據(jù)處理方法。

46、為實(shí)現(xiàn)上述目的，根據(jù)本申請實(shí)施例的又一個方面，提供了一種計(jì)算機(jī)程序產(chǎn)品。

47、本申請實(shí)施例的一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，程序被處理器執(zhí)行時實(shí)現(xiàn)本申請實(shí)施例提供的數(shù)據(jù)處理方法。

48、上述發(fā)明中的一個實(shí)施例具有如下優(yōu)點(diǎn)或有益效果：本申請通過接收數(shù)據(jù)處理請求，獲取待處理數(shù)據(jù)、時間標(biāo)識和機(jī)構(gòu)標(biāo)識；基于時間標(biāo)識和機(jī)構(gòu)標(biāo)識，對待處理數(shù)據(jù)進(jìn)行切片，以得到切片數(shù)據(jù)；確定數(shù)據(jù)處理類型，獲取數(shù)據(jù)庫標(biāo)識和配置數(shù)據(jù)，調(diào)用目標(biāo)框架以基于數(shù)據(jù)處理類型、數(shù)據(jù)庫標(biāo)識和配置數(shù)據(jù)，生成數(shù)據(jù)庫標(biāo)識對應(yīng)的數(shù)據(jù)庫對應(yīng)的查詢語句；基于切片數(shù)據(jù)執(zhí)行查詢語句，獲取查詢結(jié)果數(shù)據(jù)，響應(yīng)于查詢結(jié)果數(shù)據(jù)與預(yù)期數(shù)據(jù)存在差異，確定差異數(shù)據(jù)；基于查詢結(jié)果數(shù)據(jù)、預(yù)期數(shù)據(jù)和差異數(shù)據(jù)，生成更正任務(wù)，調(diào)用線程池執(zhí)行更正任務(wù)以得到更正結(jié)果數(shù)據(jù)。提高數(shù)據(jù)處理效率和準(zhǔn)確率。

49、上述的非慣用的可選方式所具有的進(jìn)一步效果將在下文中結(jié)合具體實(shí)施方式加以說明。

技術(shù)特征：

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述時間標(biāo)識和所述機(jī)構(gòu)標(biāo)識，對所述待處理數(shù)據(jù)進(jìn)行切片，以得到切片數(shù)據(jù)，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定數(shù)據(jù)處理類型，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述生成所述數(shù)據(jù)庫標(biāo)識對應(yīng)的數(shù)據(jù)庫對應(yīng)的查詢語句，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述確定數(shù)據(jù)處理類型之前，所述方法還包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，在所述確定數(shù)據(jù)處理類型之后，所述方法還包括：

7.一種數(shù)據(jù)處理裝置，其特征在于，包括：

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述切片單元進(jìn)一步被配置成：

9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述查詢語句生成單元進(jìn)一步被配置成：

10.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述查詢語句生成單元進(jìn)一步被配置成：

11.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述裝置還包括數(shù)據(jù)插入單元，被配置成：

12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述查詢語句生成單元進(jìn)一步被配置成：

13.一種數(shù)據(jù)處理電子設(shè)備，其特征在于，包括：

14.一種計(jì)算機(jī)可讀介質(zhì)，其上存儲有計(jì)算機(jī)程序，其特征在于，所述程序被處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1-6中任一項(xiàng)所述的方法。

15.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1-6中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請公開了一種數(shù)據(jù)處理方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀介質(zhì)，涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，一具體實(shí)施方式包括接收數(shù)據(jù)處理請求，獲取待處理數(shù)據(jù)、時間標(biāo)識和機(jī)構(gòu)標(biāo)識；基于時間標(biāo)識和機(jī)構(gòu)標(biāo)識，對待處理數(shù)據(jù)進(jìn)行切片，以得到切片數(shù)據(jù)；確定數(shù)據(jù)處理類型，獲取數(shù)據(jù)庫標(biāo)識和配置數(shù)據(jù)，調(diào)用目標(biāo)框架以基于數(shù)據(jù)處理類型、數(shù)據(jù)庫標(biāo)識和配置數(shù)據(jù)，生成數(shù)據(jù)庫標(biāo)識對應(yīng)的數(shù)據(jù)庫對應(yīng)的查詢語句；基于切片數(shù)據(jù)執(zhí)行查詢語句，獲取查詢結(jié)果數(shù)據(jù)，響應(yīng)于查詢結(jié)果數(shù)據(jù)與預(yù)期數(shù)據(jù)存在差異，確定差異數(shù)據(jù)；基于查詢結(jié)果數(shù)據(jù)、預(yù)期數(shù)據(jù)和差異數(shù)據(jù)，生成更正任務(wù)，調(diào)用線程池執(zhí)行更正任務(wù)以得到更正結(jié)果數(shù)據(jù)。提高數(shù)據(jù)處理效率和準(zhǔn)確率。

技術(shù)研發(fā)人員：林瑋琪
受保護(hù)的技術(shù)使用者：中國建設(shè)銀行股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2