本申請(qǐng)涉及數(shù)據(jù)處理，特別是涉及一種數(shù)據(jù)導(dǎo)入導(dǎo)出方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著數(shù)據(jù)處理技術(shù)的發(fā)展，出現(xiàn)了數(shù)據(jù)導(dǎo)入導(dǎo)出技術(shù)。數(shù)據(jù)導(dǎo)入導(dǎo)出是指sql(structured?query?language，結(jié)構(gòu)化查詢語(yǔ)言)server數(shù)據(jù)庫(kù)系統(tǒng)與外部系統(tǒng)之間進(jìn)行數(shù)據(jù)交換的操作。數(shù)據(jù)導(dǎo)入是將外部數(shù)據(jù)源中的數(shù)據(jù)查詢或指定，并將其插入到sqlserver的數(shù)據(jù)表中的過(guò)程，即將其他系統(tǒng)的數(shù)據(jù)引入到sql?server的數(shù)據(jù)庫(kù)中。而數(shù)據(jù)導(dǎo)出則是將sql?server數(shù)據(jù)庫(kù)中的數(shù)據(jù)轉(zhuǎn)換為用戶指定格式的數(shù)據(jù)過(guò)程，即將數(shù)據(jù)從sqlserver數(shù)據(jù)庫(kù)中引到其他系統(tǒng)中去。這種操作對(duì)于數(shù)據(jù)庫(kù)管理員和數(shù)據(jù)工程師來(lái)說(shuō)是非常重要的，因?yàn)樗试S他們?cè)诓煌南到y(tǒng)之間有效地管理和移動(dòng)數(shù)據(jù)，確保數(shù)據(jù)的完整性和一致性。

2、傳統(tǒng)的數(shù)據(jù)導(dǎo)入導(dǎo)出方案中，一般通過(guò)同步地串行處理數(shù)據(jù)，該方法使得數(shù)據(jù)的導(dǎo)入導(dǎo)出的效率低下。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對(duì)上述技術(shù)問(wèn)題，提供一種能夠提高數(shù)據(jù)導(dǎo)入導(dǎo)出效率的數(shù)據(jù)導(dǎo)入導(dǎo)出方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

2、一種數(shù)據(jù)導(dǎo)入導(dǎo)出方法，包括：

3、響應(yīng)于導(dǎo)入指令，獲取待導(dǎo)入數(shù)據(jù)；

4、根據(jù)待導(dǎo)入數(shù)據(jù)創(chuàng)建導(dǎo)入任務(wù)，導(dǎo)入任務(wù)包括至少一個(gè)；

5、將導(dǎo)入任務(wù)加入消息隊(duì)列，并通過(guò)消息隊(duì)列并行處理至少一個(gè)導(dǎo)入任務(wù)，以將待導(dǎo)入數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫(kù)；

6、響應(yīng)于導(dǎo)出指令，獲取預(yù)先配置的任務(wù)模板，根據(jù)任務(wù)模板創(chuàng)建導(dǎo)出任務(wù)；

7、通過(guò)預(yù)先部署的分布式調(diào)度框架對(duì)導(dǎo)出任務(wù)進(jìn)行分片，并執(zhí)行分片后的各個(gè)任務(wù)分片，以從數(shù)據(jù)庫(kù)導(dǎo)出對(duì)應(yīng)的數(shù)據(jù)。

8、在其中一個(gè)實(shí)施例中，響應(yīng)于導(dǎo)入指令，獲取待導(dǎo)入數(shù)據(jù)，包括：

9、根據(jù)導(dǎo)入指令，從對(duì)象存儲(chǔ)服務(wù)下載預(yù)先配置的導(dǎo)入模板；

10、根據(jù)導(dǎo)入模板獲取待導(dǎo)入數(shù)據(jù)。

11、在其中一個(gè)實(shí)施例中，待導(dǎo)入數(shù)據(jù)包括多條，根據(jù)待導(dǎo)入數(shù)據(jù)創(chuàng)建導(dǎo)入任務(wù)，包括：

12、根據(jù)各條待導(dǎo)入數(shù)據(jù)創(chuàng)建對(duì)應(yīng)的導(dǎo)入任務(wù)；

13、通過(guò)消息隊(duì)列并行處理至少一個(gè)導(dǎo)入任務(wù)，以將待導(dǎo)入數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫(kù)，包括：

14、對(duì)各個(gè)導(dǎo)入任務(wù)對(duì)應(yīng)的待導(dǎo)入數(shù)據(jù)進(jìn)行數(shù)據(jù)校驗(yàn)、數(shù)據(jù)解析以及數(shù)據(jù)處理，并將處理后的數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫(kù)。

15、在其中一個(gè)實(shí)施例中，響應(yīng)于導(dǎo)出指令，獲取預(yù)先配置的任務(wù)模板，根據(jù)任務(wù)模板創(chuàng)建導(dǎo)出任務(wù)，包括：

16、響應(yīng)于導(dǎo)出指令，通過(guò)分布式調(diào)度框架根據(jù)導(dǎo)出指令確定待導(dǎo)出數(shù)據(jù)所屬的業(yè)務(wù)場(chǎng)景，并根據(jù)業(yè)務(wù)場(chǎng)景確定任務(wù)模板；

17、根據(jù)任務(wù)模板確定待導(dǎo)出字段以及預(yù)先配置的數(shù)據(jù)處理策略；

18、根據(jù)待導(dǎo)出字段以及數(shù)據(jù)處理策略創(chuàng)建導(dǎo)出任務(wù)。

19、在其中一個(gè)實(shí)施例中，通過(guò)預(yù)先部署的分布式調(diào)度框架對(duì)導(dǎo)出任務(wù)進(jìn)行分片，并執(zhí)行分片后的各個(gè)任務(wù)分片，以從數(shù)據(jù)庫(kù)導(dǎo)出對(duì)應(yīng)的數(shù)據(jù)，包括：

20、通過(guò)分布式調(diào)度框架根據(jù)待導(dǎo)出字段從數(shù)據(jù)庫(kù)獲取對(duì)應(yīng)的待導(dǎo)出數(shù)據(jù)，并根據(jù)待導(dǎo)出數(shù)據(jù)對(duì)導(dǎo)出任務(wù)進(jìn)行分片；

21、將分片后得到的各個(gè)任務(wù)分片分配至分布式調(diào)度框架中的各個(gè)節(jié)點(diǎn)；

22、通過(guò)分布式調(diào)度框架中的各個(gè)節(jié)點(diǎn)根據(jù)數(shù)據(jù)處理策略對(duì)待導(dǎo)出數(shù)據(jù)進(jìn)行處理，以從數(shù)據(jù)庫(kù)導(dǎo)出對(duì)應(yīng)的數(shù)據(jù)。

23、在其中一個(gè)實(shí)施例中，數(shù)據(jù)處理策略包括以下任意一種或多種：

24、數(shù)據(jù)過(guò)濾、數(shù)據(jù)加密、解密以及數(shù)據(jù)脫敏。

25、在其中一個(gè)實(shí)施例中，數(shù)據(jù)導(dǎo)入導(dǎo)出方法還包括：

26、將處理后的數(shù)據(jù)寫入數(shù)據(jù)表，并將數(shù)據(jù)表存入對(duì)象存儲(chǔ)服務(wù)，以便終端從對(duì)象存儲(chǔ)服務(wù)查詢數(shù)據(jù)表。

27、一種數(shù)據(jù)導(dǎo)入導(dǎo)出裝置，包括：

28、第一獲取模塊，用于響應(yīng)于導(dǎo)入指令，獲取待導(dǎo)入數(shù)據(jù)；

29、創(chuàng)建模塊，用于根據(jù)待導(dǎo)入數(shù)據(jù)創(chuàng)建導(dǎo)入任務(wù)，導(dǎo)入任務(wù)包括至少一個(gè)；

30、導(dǎo)入模塊，用于將導(dǎo)入任務(wù)加入消息隊(duì)列，并通過(guò)消息隊(duì)列并行處理至少一個(gè)導(dǎo)入任務(wù)，以將待導(dǎo)入數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫(kù)；

31、第二獲取模塊，用于響應(yīng)于導(dǎo)出指令，獲取預(yù)先配置的任務(wù)模板，根據(jù)任務(wù)模板創(chuàng)建導(dǎo)出任務(wù)；

32、導(dǎo)出模塊，用于通過(guò)預(yù)先部署的分布式調(diào)度框架對(duì)導(dǎo)出任務(wù)進(jìn)行分片，并執(zhí)行分片后的各個(gè)任務(wù)分片，以從數(shù)據(jù)庫(kù)導(dǎo)出對(duì)應(yīng)的數(shù)據(jù)。

33、一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，處理器執(zhí)行計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)以下步驟：

34、響應(yīng)于導(dǎo)入指令，獲取待導(dǎo)入數(shù)據(jù)；

35、根據(jù)待導(dǎo)入數(shù)據(jù)創(chuàng)建導(dǎo)入任務(wù)，導(dǎo)入任務(wù)包括至少一個(gè)；

36、將導(dǎo)入任務(wù)加入消息隊(duì)列，并通過(guò)消息隊(duì)列并行處理至少一個(gè)導(dǎo)入任務(wù)，以將待導(dǎo)入數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫(kù)；

37、響應(yīng)于導(dǎo)出指令，獲取預(yù)先配置的任務(wù)模板，根據(jù)任務(wù)模板創(chuàng)建導(dǎo)出任務(wù)；

38、通過(guò)預(yù)先部署的分布式調(diào)度框架對(duì)導(dǎo)出任務(wù)進(jìn)行分片，并執(zhí)行分片后的各個(gè)任務(wù)分片，以從數(shù)據(jù)庫(kù)導(dǎo)出對(duì)應(yīng)的數(shù)據(jù)。

39、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)以下步驟：

40、響應(yīng)于導(dǎo)入指令，獲取待導(dǎo)入數(shù)據(jù)；

41、根據(jù)待導(dǎo)入數(shù)據(jù)創(chuàng)建導(dǎo)入任務(wù)，導(dǎo)入任務(wù)包括至少一個(gè)；

42、將導(dǎo)入任務(wù)加入消息隊(duì)列，并通過(guò)消息隊(duì)列并行處理至少一個(gè)導(dǎo)入任務(wù)，以將待導(dǎo)入數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫(kù)；

43、響應(yīng)于導(dǎo)出指令，獲取預(yù)先配置的任務(wù)模板，根據(jù)任務(wù)模板創(chuàng)建導(dǎo)出任務(wù)；

44、通過(guò)預(yù)先部署的分布式調(diào)度框架對(duì)導(dǎo)出任務(wù)進(jìn)行分片，并執(zhí)行分片后的各個(gè)任務(wù)分片，以從數(shù)據(jù)庫(kù)導(dǎo)出對(duì)應(yīng)的數(shù)據(jù)。

45、上述數(shù)據(jù)導(dǎo)入導(dǎo)出方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)，通過(guò)將創(chuàng)建的導(dǎo)入任務(wù)存入消息隊(duì)列，通過(guò)消費(fèi)消息隊(duì)列中的消息實(shí)現(xiàn)異步處理各個(gè)導(dǎo)入任務(wù)，解決了傳統(tǒng)技術(shù)中同步串行執(zhí)行各個(gè)導(dǎo)入任務(wù)帶來(lái)的數(shù)據(jù)導(dǎo)入效率低下的問(wèn)題。另外，本申請(qǐng)?jiān)谔幚韺?dǎo)出任務(wù)時(shí)，通過(guò)分布式調(diào)度框架執(zhí)行各個(gè)導(dǎo)出任務(wù)，通過(guò)分布式調(diào)度框架的分片執(zhí)行能力對(duì)導(dǎo)出任務(wù)進(jìn)行分片處理，提高了數(shù)據(jù)導(dǎo)出的效率。

技術(shù)特征：

1.一種數(shù)據(jù)導(dǎo)入導(dǎo)出方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述響應(yīng)于導(dǎo)入指令，獲取待導(dǎo)入數(shù)據(jù)，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述待導(dǎo)入數(shù)據(jù)包括多條，所述根據(jù)所述待導(dǎo)入數(shù)據(jù)創(chuàng)建導(dǎo)入任務(wù)，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述響應(yīng)于導(dǎo)出指令，獲取預(yù)先配置的任務(wù)模板，根據(jù)所述任務(wù)模板創(chuàng)建導(dǎo)出任務(wù)，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述通過(guò)預(yù)先部署的分布式調(diào)度框架對(duì)所述導(dǎo)出任務(wù)進(jìn)行分片，并執(zhí)行分片后的各個(gè)任務(wù)分片，以從所述數(shù)據(jù)庫(kù)導(dǎo)出對(duì)應(yīng)的數(shù)據(jù)，包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述數(shù)據(jù)處理策略包括以下任意一種或多種：

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述方法還包括：

8.一種數(shù)據(jù)導(dǎo)入導(dǎo)出裝置，其特征在于，所述裝置包括：

9.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)涉及一種數(shù)據(jù)導(dǎo)入導(dǎo)出方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。方法包括：響應(yīng)于導(dǎo)入指令，獲取待導(dǎo)入數(shù)據(jù)，根據(jù)待導(dǎo)入數(shù)據(jù)創(chuàng)建導(dǎo)入任務(wù)，導(dǎo)入任務(wù)包括至少一個(gè)，將導(dǎo)入任務(wù)加入消息隊(duì)列，并通過(guò)消息隊(duì)列并行處理至少一個(gè)導(dǎo)入任務(wù)，以將待導(dǎo)入數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫(kù)，響應(yīng)于導(dǎo)出指令，獲取預(yù)先配置的任務(wù)模板，根據(jù)任務(wù)模板創(chuàng)建導(dǎo)出任務(wù)，通過(guò)預(yù)先部署的分布式調(diào)度框架對(duì)導(dǎo)出任務(wù)進(jìn)行分片，并執(zhí)行分片后的各個(gè)任務(wù)分片，以從數(shù)據(jù)庫(kù)導(dǎo)出對(duì)應(yīng)的數(shù)據(jù)。采用本方法能夠提高數(shù)據(jù)導(dǎo)入導(dǎo)出的效率。

技術(shù)研發(fā)人員：王勇
受保護(hù)的技術(shù)使用者：乾三（北京）科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6