本發(fā)明涉及數(shù)據(jù)存儲，特別是涉及一種多源異構(gòu)數(shù)據(jù)同步數(shù)據(jù)湖的方法、裝置及存儲介質(zhì)。

背景技術(shù)：

1、目前，各個上游系統(tǒng)的任務(wù)數(shù)據(jù)存儲在各自的系統(tǒng)中，使得數(shù)據(jù)之間難以互通，增加了數(shù)據(jù)整合的難度和成本。且當業(yè)務(wù)需求發(fā)生變化時，各系統(tǒng)需要重新配置和調(diào)整系統(tǒng)，增加了維護成本?；诖耍枰獙⒍嘣串悩?gòu)數(shù)據(jù)進行統(tǒng)一管理，以提高數(shù)據(jù)的一致性和準確性。

2、現(xiàn)有技術(shù)中，數(shù)據(jù)湖可以將不同種類的數(shù)據(jù)匯聚到一起，且不需要預(yù)定義的模型進行數(shù)據(jù)分析。由此，需要將多源異構(gòu)數(shù)據(jù)導(dǎo)入數(shù)據(jù)湖，以實現(xiàn)多源異構(gòu)數(shù)據(jù)的收集與管理，滿足組織架構(gòu)的各種需求。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供了一種多源異構(gòu)數(shù)據(jù)同步數(shù)據(jù)湖的方法及裝置，以解決上述現(xiàn)有技術(shù)中應(yīng)答準確性低的技術(shù)問題。

2、為此，本發(fā)明提出了一種多源異構(gòu)數(shù)據(jù)同步數(shù)據(jù)湖的方法，可以基于目標意圖識別模型得到用戶的對話意圖和關(guān)鍵信息，并通過用戶的對話意圖和關(guān)鍵信息得到目標答案數(shù)據(jù)，從而可以準確回答用戶的問題，提高了答案數(shù)據(jù)的準確度。

3、本發(fā)明的另一個目的在于提出一種多源異構(gòu)數(shù)據(jù)同步數(shù)據(jù)湖的裝置。

4、為達上述目的，本發(fā)明一方面提出一種多源異構(gòu)數(shù)據(jù)同步數(shù)據(jù)湖的方法，所述方法包括：

5、獲取數(shù)據(jù)接口規(guī)范和各系統(tǒng)的交互數(shù)據(jù)任務(wù)表；

6、基于所述數(shù)據(jù)接口規(guī)范和各系統(tǒng)的交互數(shù)據(jù)任務(wù)表，獲取所述各系統(tǒng)的原始數(shù)據(jù)；

7、對所述各系統(tǒng)的原始數(shù)據(jù)進行預(yù)處理，得到所述各系統(tǒng)預(yù)處理后的數(shù)據(jù)；

8、將所述各系統(tǒng)預(yù)處理后的數(shù)據(jù)同步至數(shù)據(jù)湖中。

9、本發(fā)明實施例的多源異構(gòu)數(shù)據(jù)同步數(shù)據(jù)湖的方法還可以具有以下附加技術(shù)特征：

10、在本發(fā)明的一個實施例中，所述數(shù)據(jù)接口規(guī)范包括：數(shù)據(jù)格式、傳輸協(xié)議和接口調(diào)用方式。

11、在本發(fā)明的一個實施例中，所述交互數(shù)據(jù)任務(wù)表，包括：主鍵、源表表名、源表對應(yīng)id、業(yè)務(wù)流水號、源系統(tǒng)名稱、調(diào)用系統(tǒng)名稱、調(diào)用系統(tǒng)接口名、任務(wù)狀態(tài)、調(diào)用時間、接口返回信息、調(diào)用次數(shù)、備注、插入時間、更新時間。

12、在本發(fā)明的一個實施例中，所述對所述各系統(tǒng)的原始數(shù)據(jù)進行預(yù)處理，得到所述各系統(tǒng)預(yù)處理后的數(shù)據(jù)，包括:

13、對所述各系統(tǒng)的原始數(shù)據(jù)進行數(shù)據(jù)清洗，得到所述各系統(tǒng)第一數(shù)據(jù)；

14、對所述各系統(tǒng)第一數(shù)據(jù)進行格式轉(zhuǎn)換處理，得到所述各系統(tǒng)第二數(shù)據(jù)；

15、對所述各系統(tǒng)第二數(shù)據(jù)進行錯誤修正，得到所述各系統(tǒng)處理后的數(shù)據(jù)。

16、在本發(fā)明的一個實施例中，所述方法還包括：

17、確定所述各系統(tǒng)對應(yīng)的告警規(guī)則；

18、基于所述告警規(guī)則對所述各系統(tǒng)數(shù)據(jù)同步數(shù)據(jù)湖的過程進行監(jiān)控與預(yù)警。

19、在本發(fā)明的一個實施例中，所述獲取所述各系統(tǒng)對應(yīng)的告警規(guī)則，包括：確定所述各系統(tǒng)對應(yīng)的監(jiān)控指標、告警閾值和告警方式。

20、為達上述目的，本發(fā)明另一方面提出一種多源異構(gòu)數(shù)據(jù)同步數(shù)據(jù)湖的裝置，所述裝置包括：

21、第一獲取模塊，用于獲取數(shù)據(jù)接口規(guī)范和各系統(tǒng)的交互數(shù)據(jù)任務(wù)表；

22、第二獲取模塊，用于基于所述數(shù)據(jù)接口規(guī)范和各系統(tǒng)的交互數(shù)據(jù)任務(wù)表，獲取所述各系統(tǒng)的原始數(shù)據(jù)；

23、處理模塊，用于對所述各系統(tǒng)的原始數(shù)據(jù)進行預(yù)處理，得到所述各系統(tǒng)預(yù)處理后的數(shù)據(jù)；

24、同步模塊，用于將所述各系統(tǒng)預(yù)處理后的數(shù)據(jù)同步至數(shù)據(jù)湖中。

25、本發(fā)明的另一個目的在于提出一種電子設(shè)備，包括：

26、至少一個處理器；以及

27、與所述至少一個處理器通信連接的存儲器；其中，

28、所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行前述一方面中任一項所述的方法。

29、本發(fā)明的另一個目的在于提出一種計算機存儲介質(zhì)，其中，計算機存儲介質(zhì)存儲有計算機可執(zhí)行指令；所述計算機可執(zhí)行指令被處理器執(zhí)行后使計算機執(zhí)行前述一方面中任一項所述的方法。

30、本發(fā)明實施例的多源異構(gòu)數(shù)據(jù)同步數(shù)據(jù)湖的方法、裝置和存儲介質(zhì)，獲取用戶輸入的問題數(shù)據(jù)；將問題數(shù)據(jù)輸入到目標意圖識別模型，得到用戶的對話意圖和關(guān)鍵信息；基于對話意圖，確定對應(yīng)的回復(fù)模板；基于關(guān)鍵信息與知識圖譜，確定問題數(shù)據(jù)的初始答案數(shù)據(jù)；基于回復(fù)模板和初始答案數(shù)據(jù)，得到問題數(shù)據(jù)的目標答案數(shù)據(jù)。由此，本發(fā)明基于目標意圖識別模型得到用戶的對話意圖和關(guān)鍵信息，并通過用戶的對話意圖和關(guān)鍵信息得到目標答案數(shù)據(jù)，從而可以準確回答用戶的問題，提高了答案數(shù)據(jù)的準確度。

31、本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。

技術(shù)特征：

1.一種多源異構(gòu)數(shù)據(jù)同步數(shù)據(jù)湖的方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)接口規(guī)范包括：數(shù)據(jù)格式、傳輸協(xié)議和接口調(diào)用方式。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述交互數(shù)據(jù)任務(wù)表，包括：主鍵、源表表名、源表對應(yīng)id、業(yè)務(wù)流水號、源系統(tǒng)名稱、調(diào)用系統(tǒng)名稱、調(diào)用系統(tǒng)接口名、任務(wù)狀態(tài)、調(diào)用時間、接口返回信息、調(diào)用次數(shù)、備注、插入時間、更新時間。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述各系統(tǒng)的原始數(shù)據(jù)進行預(yù)處理，得到所述各系統(tǒng)預(yù)處理后的數(shù)據(jù)，包括:

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取所述各系統(tǒng)對應(yīng)的告警規(guī)則，包括：確定所述各系統(tǒng)對應(yīng)的監(jiān)控指標、告警閾值和告警方式。

7.一種多源異構(gòu)數(shù)據(jù)同步數(shù)據(jù)湖的裝置，其特征在于，所述裝置包括：

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述交互數(shù)據(jù)任務(wù)表，包括：主鍵、源表表名、源表對應(yīng)id、業(yè)務(wù)流水號、源系統(tǒng)名稱、調(diào)用系統(tǒng)名稱、調(diào)用系統(tǒng)接口名、任務(wù)狀態(tài)、調(diào)用時間、接口返回信息、調(diào)用次數(shù)、備注、插入時間、更新時間。

9.一種電子設(shè)備，包括:

10.一種計算機存儲介質(zhì)，其中，所述計算機存儲介質(zhì)存儲有計算機可執(zhí)行指令；所述計算機可執(zhí)行指令被處理器執(zhí)行后，能夠?qū)崿F(xiàn)如權(quán)利要求1-6中任一所述的方法。

技術(shù)總結(jié)
本發(fā)明公開了一種多源異構(gòu)數(shù)據(jù)同步數(shù)據(jù)湖的方法、裝置及存儲介質(zhì)，該方法包括，獲取數(shù)據(jù)接口規(guī)范和各系統(tǒng)的交互數(shù)據(jù)任務(wù)表；基于數(shù)據(jù)接口規(guī)范和各系統(tǒng)的交互數(shù)據(jù)任務(wù)表，獲取各系統(tǒng)的原始數(shù)據(jù)；對各系統(tǒng)的原始數(shù)據(jù)進行預(yù)處理，得到各系統(tǒng)預(yù)處理后的數(shù)據(jù)；將各系統(tǒng)預(yù)處理后的數(shù)據(jù)同步至數(shù)據(jù)湖中。由此，本發(fā)明基于數(shù)據(jù)接口規(guī)范和各系統(tǒng)的交互數(shù)據(jù)任務(wù)表，將多源異構(gòu)數(shù)據(jù)導(dǎo)入數(shù)據(jù)湖，降低了多源異構(gòu)數(shù)據(jù)整合的難度和成本，提高了數(shù)據(jù)的一致性和準確性。

技術(shù)研發(fā)人員：徐陽,劉杰
受保護的技術(shù)使用者：人保信息科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2