本發(fā)明涉及知識圖譜領(lǐng)域，具體涉及一種大模型與知識圖譜融合方法及系統(tǒng)。

背景技術(shù)：

1、當(dāng)下各個領(lǐng)域都給出了大模型與知識圖譜相結(jié)合的場景和應(yīng)用，這種結(jié)合為人工智能領(lǐng)域帶來了新的視角和可能性。

2、“文心一言”大模型通過大規(guī)模語料庫的預(yù)訓(xùn)練，具備強大的自然語言處理和邏輯推理能力。在知識推理方面，“文心一言”大模型采用了深度學(xué)習(xí)的注意力機制和前饋神經(jīng)網(wǎng)絡(luò)等技術(shù)，可以進行高效的語義分析和推理。此外，還推出了一種基于知識增強的深度問答系統(tǒng)“ernie?bot”，該系統(tǒng)采用自然語言處理和深度學(xué)習(xí)技術(shù)，可以對問題進行分析和推理，從大量知識庫中檢索和提取相關(guān)信息，以得出正確的答案。

3、“星火”的認知大模型以自然語言理解為核心，結(jié)合多模態(tài)感知和認知計算能力，可以深度理解和解釋人類語言行為。在知識推理方面，“星火”認知大模型采用了深度學(xué)習(xí)技術(shù)中的循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機制等技術(shù)，可以對問題進行分析、理解和推理，從大量知識庫中檢索和提取相關(guān)信息，以得出正確的答案。

4、lamda大模型通過大規(guī)模語料庫的預(yù)訓(xùn)練，具備強大的自然語言處理和邏輯推理能力。在知識推理方面，lamda大模型采用了深度學(xué)習(xí)技術(shù)中的transformer和注意力機制等技術(shù)，可以對問題進行分析、理解和推理，從大量知識庫中檢索和提取相關(guān)信息，以得出正確的答案。

5、此外，一種基于bert模型的智能推理技術(shù)采用自然語言處理和深度學(xué)習(xí)技術(shù)中的transformer和雙向預(yù)訓(xùn)練等技術(shù)，可以對問題進行分析、理解和推理，從大量知識庫中檢索和提取相關(guān)信息，以得出正確的答案。

6、國內(nèi)外的科技公司和研究機構(gòu)都在探索大模型與知識圖譜融合的智能推理技術(shù)，并采用不同的深度學(xué)習(xí)和自然語言處理技術(shù)來提高智能推理的能力和效率。這些技術(shù)的不斷發(fā)展將進一步推動智能推理技術(shù)的發(fā)展和應(yīng)用。

7、雖然部分企業(yè)在嘗試將知識圖譜和大語言模型相結(jié)合，以提升智能系統(tǒng)的理解和推理能力，但是就如何讓知識圖譜更好地為大語言模型提供知識這方面，目前企業(yè)的探索仍停留在初步階段。他們的方法存在以下缺點：

8、1.知識融合的深度不足：現(xiàn)有技術(shù)可能沒有充分實現(xiàn)知識圖譜與大語言模型之間的深度融合，導(dǎo)致知識的應(yīng)用和推理能力受限。

9、2.動態(tài)更新和適應(yīng)性不強：現(xiàn)有技術(shù)可能在知識圖譜的動態(tài)更新和智能系統(tǒng)的實時適應(yīng)性方面表現(xiàn)不佳，難以快速響應(yīng)信息環(huán)境的變化。

10、3.可解釋性不高：現(xiàn)有技術(shù)在智能問答系統(tǒng)的可解釋性方面可能存在不足，使得用戶難以理解系統(tǒng)推理過程和結(jié)果的依據(jù)。

11、4.跨領(lǐng)域應(yīng)用的限制：現(xiàn)有技術(shù)可能在跨領(lǐng)域應(yīng)用方面存在限制，難以適應(yīng)不同領(lǐng)域的特定需求和知識結(jié)構(gòu)。

技術(shù)實現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)融合大模型和知識圖譜在理解和推理方面能力的欠缺的問題，本發(fā)明提出了一種大模型與知識圖譜融合方法及系統(tǒng)、一種基于知識圖譜融合的目標(biāo)推理模型的應(yīng)用方法及系統(tǒng)，包括：

2、第一方面，提供了一種大模型與知識圖譜融合方法，包括：

3、獲取知識圖譜以及實體關(guān)系學(xué)習(xí)模型，并對所述知識圖譜進行知識圖譜嵌入生成知識圖譜嵌入信息；

4、基于所述知識圖譜嵌入信息生成自然語言問句，并將所述知識圖譜嵌入信息以及所述自然語言問句輸入實體關(guān)系學(xué)習(xí)模型，輸出所述自然語言問句對應(yīng)的實體表示以及關(guān)系表示；

5、基于所述自然語言問句、所述實體表示、所述關(guān)系表示提取所述自然語言問句對應(yīng)的子圖；

6、將所述子圖轉(zhuǎn)換為自然語言并結(jié)合所述實體關(guān)系學(xué)習(xí)模型以及所述知識圖譜嵌入信息融入大模型，生成目標(biāo)推理模型，實現(xiàn)知識圖譜與大模型的融合。

7、優(yōu)選地，所述基于所述自然語言問句、所述實體表示、所述關(guān)系表示提取所述自然語言問句對應(yīng)的子圖，包括：

8、基于所述自然語言問句的上下文從所述知識圖譜嵌入信息中提取所述自然語言問句對應(yīng)的輸出信息；

9、基于所述關(guān)系表示、所述實體表示確定所述輸出信息對應(yīng)的擴展信息；

10、基于所述輸出信息以及所述擴展信息生成子圖。

11、優(yōu)選地，所述對所述知識圖譜進行知識圖譜嵌入生成知識圖譜嵌入信息，包括：

12、通過transr方法構(gòu)建關(guān)系嵌入空間，并將所述知識圖譜的實體映射到所述關(guān)系嵌入空間；

13、基于所述知識圖譜的三元組存在的關(guān)系建立投影矩陣；

14、通過評分公式計算所述三元組中頭部實體與尾部實體之間的距離；

15、基于所述知識圖譜中的三元組通過隨機實體取代原有的頭部實體或尾部實體，構(gòu)建三元組的負例集合；

16、根據(jù)所述關(guān)系嵌入空間、所述投影矩陣、所述頭部實體與尾部實體之間的距離以及所述三元組的負例集合生成知識圖譜嵌入信息。

17、優(yōu)選地，所述將所述知識圖譜嵌入信息以及所述自然語言問句輸入實體關(guān)系學(xué)習(xí)模型，輸出所述自然語言問句對應(yīng)的實體表示以及關(guān)系表示，包括：

18、將所述知識圖譜嵌入信息以及所述自然語言問句輸入實體關(guān)系學(xué)習(xí)模型，通過所述實體關(guān)系學(xué)習(xí)模型學(xué)習(xí)所述知識圖譜嵌入信息中的實體關(guān)系表示；

19、基于所述自然語言問句通過所述實體關(guān)系學(xué)習(xí)模型從所述知識圖譜嵌入信息中確定所述自然語言問句對應(yīng)的實體表示以及關(guān)系表示，并輸出。

20、第二方面，提供了一種大模型與知識圖譜融合系統(tǒng)，包括：

21、嵌入模塊，用于獲取知識圖譜以及實體關(guān)系學(xué)習(xí)模型，并對所述知識圖譜進行知識圖譜嵌入生成知識圖譜嵌入信息；

22、輸出模塊，用于基于所述知識圖譜嵌入信息生成自然語言問句，并將所述知識圖譜嵌入信息以及所述自然語言問句輸入實體關(guān)系學(xué)習(xí)模型，輸出所述自然語言問句對應(yīng)的實體表示以及關(guān)系表示；

23、提取模塊，用于基于所述自然語言問句、所述實體表示、所述關(guān)系表示提取所述自然語言問句對應(yīng)的子圖；

24、融合模塊，用于將所述子圖轉(zhuǎn)換為自然語言并結(jié)合所述實體關(guān)系學(xué)習(xí)模型以及所述知識圖譜嵌入信息融入大模型，生成目標(biāo)推理模型，實現(xiàn)知識圖譜與大模型的融合。

25、優(yōu)選地，所述提取模塊，進一步被配置為：

26、基于所述自然語言問句的上下文從所述知識圖譜嵌入信息中提取所述自然語言問句對應(yīng)的輸出信息；

27、基于所述關(guān)系表示、所述實體表示確定所述輸出信息對應(yīng)的擴展信息；

28、基于所述輸出信息以及所述擴展信息生成子圖。

29、優(yōu)選地，所述嵌入模塊，進一步被配置為：

30、通過transr方法構(gòu)建關(guān)系嵌入空間，并將所述知識圖譜的實體映射到所述關(guān)系嵌入空間；

31、基于所述知識圖譜的三元組存在的關(guān)系建立投影矩陣；

32、通過評分公式計算所述三元組中頭部實體與尾部實體之間的距離；

33、基于所述知識圖譜中的三元組通過隨機實體取代原有的頭部實體或尾部實體，構(gòu)建三元組的負例集合；

34、根據(jù)所述關(guān)系嵌入空間、所述投影矩陣、所述頭部實體與尾部實體之間的距離以及所述三元組的負例集合生成知識圖譜嵌入信息。

35、優(yōu)選地，所述融合模塊，進一步被配置為：

36、將所述知識圖譜嵌入信息以及所述自然語言問句輸入實體關(guān)系學(xué)習(xí)模型，通過所述實體關(guān)系學(xué)習(xí)模型學(xué)習(xí)所述知識圖譜嵌入信息中的實體關(guān)系表示；

37、基于所述自然語言問句通過所述實體關(guān)系學(xué)習(xí)模型從所述知識圖譜嵌入信息中確定所述自然語言問句對應(yīng)的實體表示以及關(guān)系表示，并輸出。

38、第三方面，提供了一種基于知識圖譜融合的目標(biāo)推理模型的應(yīng)用方法，包括：

39、獲取用戶問答信息對應(yīng)的上下文，并從所述用戶問答信息中提取出問答關(guān)鍵詞；

40、將所述問答關(guān)鍵詞代入預(yù)先構(gòu)建的目標(biāo)推理模型中，得到所述用戶問答信息對應(yīng)的用戶問答輸出信息

41、其中，所述目標(biāo)推理模型通過如權(quán)利要求1至4任一所述的一種大模型與知識圖譜融合方法構(gòu)建的。

42、優(yōu)選地，所述將所述問答關(guān)鍵詞代入預(yù)先構(gòu)建的目標(biāo)推理模型中，得到所述用戶問答信息對應(yīng)的用戶問答輸出信息，包括：

43、通過預(yù)先構(gòu)建的目標(biāo)推理模型中的實體關(guān)系學(xué)習(xí)模型基于所述問答關(guān)鍵詞輸出所述用戶問答信息對應(yīng)的實體表示以及關(guān)系表示；

44、基于所述實體表示、所述關(guān)系表示以及所述用戶問答信息的上下文提取所述用戶問答信息對應(yīng)的第一問答子圖；

45、基于所述第一問答子圖生成所述用戶問答信息對應(yīng)的用戶問答輸出信息。

46、優(yōu)選地，所述基于所述第一問答子圖生成所述用戶問答信息對應(yīng)的用戶問答輸出信息之后，還包括：

47、在接收到用戶更新問答信息之后，根據(jù)所述用戶問答信息與所述用戶更新問答信息的相似度，從所述用戶更新問答信息中提取用戶更新關(guān)鍵詞；

48、基于所述用戶更新關(guān)鍵詞以及所述第一問答子圖提取所述用戶更新問答信息對應(yīng)的第二問答子圖；

49、基于所述第二問答子圖輸出所述用戶更新問答信息對應(yīng)的用戶問答輸出信息。

50、優(yōu)選地，所述獲取所述用戶問答信息對應(yīng)的上下文，包括：

51、通過檢索增強方式檢索與所述用戶問答信息對應(yīng)的知識圖譜，獲得問答擴展信息，并將所述問答擴展信息作為所述用戶問答信息對應(yīng)的上下文。

52、第四方面，提供了一種基于知識圖譜融合的目標(biāo)推理模型的應(yīng)用系統(tǒng)，包括：

53、信息提取模塊，用于獲取用戶問答信息對應(yīng)的上下文，并從所述用戶問答信息中提取出問答關(guān)鍵詞；

54、輸出信息模塊，用于將所述問答關(guān)鍵詞代入預(yù)先構(gòu)建的目標(biāo)推理模型中，得到所述用戶問答信息對應(yīng)的用戶問答輸出信息；

55、其中，所述目標(biāo)推理模型通過如前述任一所述的一種大模型與知識圖譜融合方法構(gòu)建的。

56、優(yōu)選地，輸出信息模塊，進一步用于：

57、通過預(yù)先構(gòu)建的目標(biāo)推理模型中的實體關(guān)系學(xué)習(xí)模型基于所述問答關(guān)鍵詞輸出所述用戶問答信息對應(yīng)的實體表示以及關(guān)系表示；

58、基于所述實體表示、所述關(guān)系表示以及所述用戶問答信息的上下文提取所述用戶問答信息對應(yīng)的第一問答子圖；

59、基于所述第一問答子圖生成所述用戶問答信息對應(yīng)的用戶問答輸出信息。

60、優(yōu)選地，所述系統(tǒng)，還包括：

61、子圖更新模塊，用于在接收到用戶更新問答信息之后，根據(jù)所述用戶問答信息與所述用戶更新問答信息的相似度，從所述用戶更新問答信息中提取用戶更新關(guān)鍵詞；

62、基于所述用戶更新關(guān)鍵詞以及所述第一問答子圖提取所述用戶更新問答信息對應(yīng)的第二問答子圖；

63、基于所述第二問答子圖輸出所述用戶更新問答信息對應(yīng)的用戶問答輸出信息。

64、優(yōu)選地，所述信息提取模塊，進一步用于：

65、通過檢索增強方式檢索與所述用戶問答信息對應(yīng)的知識圖譜，獲得問答擴展信息，并將所述問答擴展信息作為所述用戶問答信息對應(yīng)的上下文。

66、第五方面，本技術(shù)還提供了一種電子設(shè)備，包括：至少一個處理器和存儲器；所述存儲器和處理器通過總線相連；

67、所述存儲器，用于存儲一個或多個程序；

68、當(dāng)所述一個或多個程序被所述至少一個處理器執(zhí)行時，實現(xiàn)如上述所述的大模型與知識圖譜融合方法以及所述的基于知識圖譜融合的目標(biāo)推理模型的應(yīng)用方法。

69、第六方面，本技術(shù)還提供了一種計算機可讀存儲介質(zhì)，其上存有計算機程序，所述計算機程序被執(zhí)行時，實現(xiàn)如上述所述的大模型與知識圖譜融合方法以及所述的基于知識圖譜融合的目標(biāo)推理模型的應(yīng)用方法。

70、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：

71、本發(fā)明提供了一種大模型與知識圖譜融合方法，通過對獲取的知識圖譜進行知識圖譜嵌入生成知識圖譜嵌入信息，進而基于知識圖譜嵌入信息生成自然語言問句，并將該知識圖譜嵌入信息以及自然語言問句輸入實體關(guān)系學(xué)習(xí)模型，輸出自然語言問句對應(yīng)的實體表示以及關(guān)系表示，進而基于該自然語言問句、實體表示、關(guān)系表示提取自然語言問句對應(yīng)的子圖，進一句將子圖轉(zhuǎn)換為自然語言，再結(jié)合實體關(guān)系學(xué)習(xí)模型以及知識圖譜嵌入信息融入大模型，生成目標(biāo)推理模型，實現(xiàn)知識圖譜與大模型的融合。通過將大模型的語言生成能力與知識圖譜的結(jié)構(gòu)和語義信息相結(jié)合，使得模型能夠抽取關(guān)鍵信息并進行深入理解與推理，增強了模型在處理復(fù)雜問題時的推理能力，進一步提高模型后續(xù)輸出內(nèi)容的清晰度和可解釋性。