本技術(shù)涉及人工智能，更具體的說，是涉及一種問答方法、裝置、相關(guān)設(shè)備及計算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、大模型基于龐大的神經(jīng)網(wǎng)絡(luò)架構(gòu)，擁有強(qiáng)大的語言理解和生成能力，在諸多自然語言處理任務(wù)中表現(xiàn)出色。然而，在處理特定領(lǐng)域知識時，大模型存在“幻覺”問題，即可能生成與事實不符的內(nèi)容。為解決這個問題，檢索增強(qiáng)生成（rag）技術(shù)應(yīng)運而生，它通過檢索外部知識庫來補(bǔ)充大模型的知識，提高其準(zhǔn)確性。此外，還可以利用大模型微調(diào)技術(shù)將預(yù)訓(xùn)練的大模型適配到下游任務(wù)。

2、然而，現(xiàn)有的大模型在特定領(lǐng)域的問答應(yīng)用中仍存在一些局限性。一些方法僅依賴rag技術(shù)，未能充分利用原始知識文檔，檢索信息的質(zhì)量和相關(guān)性受到影響；另一些方法僅使用大模型監(jiān)督微調(diào)，而忽略了rag注入的知識，導(dǎo)致大模型在微調(diào)階段沒有學(xué)習(xí)如何利用注入知識，而在預(yù)測階段卻需要依賴注入知識，這種不一致性導(dǎo)致模型在預(yù)測時無法有效地利用檢索到的注入知識，即導(dǎo)致了模型微調(diào)和模型預(yù)測之間的割裂。這兩種方法都無法充分提升大模型在特定領(lǐng)域的問答應(yīng)用中的性能。

技術(shù)實現(xiàn)思路

1、鑒于上述問題，提出了本技術(shù)以便提供一種問答方法、裝置、相關(guān)設(shè)備及計算機(jī)程序產(chǎn)品，以提升大模型在特定領(lǐng)域的問答應(yīng)用中的性能。具體方案如下：

2、第一方面，提供了一種問答方法，包括：

3、獲取用戶查詢；

4、利用預(yù)置的結(jié)構(gòu)化知識庫檢索與所述用戶查詢相關(guān)的目標(biāo)知識片段，所述結(jié)構(gòu)化知識庫包含特定領(lǐng)域的知識片段；

5、整合所述目標(biāo)知識片段與所述用戶查詢，形成提示輸入數(shù)據(jù)；

6、將所述提示輸入數(shù)據(jù)輸入至預(yù)訓(xùn)練的大模型，得到所述大模型輸出的與所述用戶查詢匹配的答案；

7、其中，所述預(yù)訓(xùn)練的大模型經(jīng)過兩階段微調(diào)訓(xùn)練得到：第一階段，使用特定領(lǐng)域的訓(xùn)練數(shù)據(jù)對初始大模型進(jìn)行微調(diào)，得到一階段訓(xùn)練后的大模型，所述訓(xùn)練數(shù)據(jù)包含用戶查詢樣本和匹配的答案標(biāo)簽；第二階段，在所述訓(xùn)練數(shù)據(jù)的基礎(chǔ)上添加利用所述結(jié)構(gòu)化知識庫檢索到的與所述用戶查詢樣本匹配的知識片段作為新的訓(xùn)練數(shù)據(jù)對所述一階段訓(xùn)練后的大模型進(jìn)行微調(diào)，得到二階段訓(xùn)練后的大模型。

8、優(yōu)選地，所述結(jié)構(gòu)化知識庫的構(gòu)建過程包括：

9、將特定領(lǐng)域的原始知識文檔中的文本內(nèi)容解析成結(jié)構(gòu)化文檔樹，所述結(jié)構(gòu)化文檔樹中的葉子節(jié)點表示知識片段，由根節(jié)點至每一葉子節(jié)點的父節(jié)點的路徑上的各節(jié)點表示葉子節(jié)點對應(yīng)的知識片段在所述原始知識文檔中的結(jié)構(gòu)信息；

10、將每一葉子節(jié)點對應(yīng)的知識片段及其結(jié)構(gòu)信息進(jìn)行組合，并將組合文本轉(zhuǎn)換為向量，并將每一葉子節(jié)點對應(yīng)的知識片段及轉(zhuǎn)換得到的向量對應(yīng)地存儲于所述結(jié)構(gòu)化知識庫中。

11、優(yōu)選地，所述結(jié)構(gòu)化知識庫的構(gòu)建過程還包括：

12、將所述原始知識文檔中的表格分別轉(zhuǎn)換為可供大模型處理的目標(biāo)格式；

13、使用預(yù)訓(xùn)練的大模型對所述目標(biāo)格式的表格進(jìn)行摘要總結(jié)，得到摘要信息；

14、將所述摘要信息轉(zhuǎn)換為向量，并將所述摘要信息作為一條知識片段與轉(zhuǎn)換后的向量對應(yīng)地存儲到所述結(jié)構(gòu)化知識庫中。

15、優(yōu)選地，所述結(jié)構(gòu)化知識庫的構(gòu)建過程還包括：

16、將所述知識片段對應(yīng)的結(jié)構(gòu)信息對應(yīng)地存儲于所述結(jié)構(gòu)化知識庫中。

17、優(yōu)選地，所述結(jié)構(gòu)化知識庫包括：知識片段與向量的對應(yīng)關(guān)系；

18、相應(yīng)地，所述利用預(yù)置的結(jié)構(gòu)化知識庫檢索與所述用戶查詢相關(guān)的目標(biāo)知識片段，包括：

19、將所述用戶查詢進(jìn)行向量化得到用戶查詢向量；

20、基于向量相關(guān)度，從所述結(jié)構(gòu)化知識庫中檢索與所述用戶查詢向量相關(guān)的目標(biāo)知識片段。

21、優(yōu)選地，所述結(jié)構(gòu)化知識庫包括：知識片段與向量的對應(yīng)關(guān)系；

22、相應(yīng)地，所述利用預(yù)置的結(jié)構(gòu)化知識庫檢索與所述用戶查詢相關(guān)的目標(biāo)知識片段，包括：

23、將所述用戶查詢進(jìn)行向量化得到用戶查詢向量；

24、基于向量相關(guān)度，從所述結(jié)構(gòu)化知識庫中檢索與所述用戶查詢向量相關(guān)的候選知識片段；

25、利用預(yù)訓(xùn)練的相關(guān)度確定模型，分別確定每條候選知識片段與所述用戶查詢的相關(guān)度，并篩選相關(guān)度最高的topn條候選知識片段，作為目標(biāo)知識片段，其中，相關(guān)度確定模型采用標(biāo)注有相關(guān)度得分的知識片段樣本及用戶查詢樣本訓(xùn)練得到的。

26、優(yōu)選地，所述結(jié)構(gòu)化知識庫包括：知識片段在原始知識文檔中的結(jié)構(gòu)信息；

27、則，在所述利用預(yù)置的結(jié)構(gòu)化知識庫檢索與所述用戶查詢相關(guān)的目標(biāo)知識片段之后，還包括：

28、對于檢索到的與所述用戶查詢相關(guān)的目標(biāo)知識片段，利用所述目標(biāo)知識片段在原始知識文檔中的結(jié)構(gòu)信息，對所述目標(biāo)知識片段進(jìn)行重構(gòu)，得到重構(gòu)后的目標(biāo)知識片段。

29、優(yōu)選地，所述結(jié)構(gòu)信息包括：由所述原始知識文檔中的文本內(nèi)容解析后的結(jié)構(gòu)化文檔樹中，每一知識片段對應(yīng)的葉子節(jié)點至根節(jié)點的路徑信息；

30、則，利用所述目標(biāo)知識片段在原始知識文檔中的結(jié)構(gòu)信息，對所述目標(biāo)知識片段進(jìn)行重構(gòu)的過程，包括：

31、若存在兩個目標(biāo)知識片段對應(yīng)的兩個葉子節(jié)點屬于同一父節(jié)點，且在所述原始知識文檔中是連續(xù)的，則去除所述兩個目標(biāo)知識片段中的重復(fù)字符，并按照兩個目標(biāo)知識片段在所述原始知識文檔中的原文順序拼接，得到重構(gòu)的目標(biāo)知識片段。

32、優(yōu)選地，所述結(jié)構(gòu)信息包括：由所述原始知識文檔中的文本內(nèi)容解析后的結(jié)構(gòu)化文檔樹中，每一知識片段對應(yīng)的葉子節(jié)點至根節(jié)點的路徑信息；

33、則，利用所述目標(biāo)知識片段在原始知識文檔中的結(jié)構(gòu)信息，對所述目標(biāo)知識片段進(jìn)行重構(gòu)的過程，包括：

34、若存在至少兩個所述目標(biāo)知識片段對應(yīng)的葉子節(jié)點共享一個共同的父節(jié)點，并且所述父節(jié)點下超過預(yù)設(shè)比例的葉子節(jié)點對應(yīng)的知識片段包含在被召回的各所述目標(biāo)知識片段中，則將所述父節(jié)點下所有葉子節(jié)點對應(yīng)的知識片段全部召回，并合并為一條重構(gòu)后的目標(biāo)知識片段。

35、優(yōu)選地，所述結(jié)構(gòu)信息包括：由所述原始知識文檔中的文本內(nèi)容解析后的結(jié)構(gòu)化文檔樹中，每一知識片段對應(yīng)的葉子節(jié)點至根節(jié)點的路徑信息；

36、利用所述目標(biāo)知識片段在原始知識文檔中的結(jié)構(gòu)信息，對所述目標(biāo)知識片段進(jìn)行重構(gòu)的過程，包括：

37、對于被召回的各所述目標(biāo)知識片段中的每一條目標(biāo)知識片段：

38、判斷所述目標(biāo)知識片段對應(yīng)的葉子節(jié)點所屬的父節(jié)點下所有的葉子節(jié)點對應(yīng)的知識片段包含在被召回的各所述目標(biāo)知識片段中的數(shù)量是否超過預(yù)設(shè)比例，若否，進(jìn)一步判斷所述目標(biāo)知識片段與所述用戶查詢的相關(guān)度是否低于預(yù)設(shè)閾值，若是，則刪除所述目標(biāo)知識片段。

39、優(yōu)選地，所述特定領(lǐng)域為通信領(lǐng)域。

40、第二方面，提供了一種問答裝置，包括：

41、用戶查詢獲取單元，用于獲取用戶查詢；

42、目標(biāo)知識片段檢索單元，用于利用預(yù)置的結(jié)構(gòu)化知識庫檢索與所述用戶查詢相關(guān)的目標(biāo)知識片段，所述結(jié)構(gòu)化知識庫包含特定領(lǐng)域的知識片段；

43、提示輸入數(shù)據(jù)生成單元，用于整合所述目標(biāo)知識片段與所述用戶查詢，形成提示輸入數(shù)據(jù)；

44、問答單元，用于將所述提示輸入數(shù)據(jù)輸入至預(yù)訓(xùn)練的大模型，得到所述大模型輸出的與所述用戶查詢匹配的答案；

45、其中，所述預(yù)訓(xùn)練的大模型經(jīng)過兩階段微調(diào)訓(xùn)練得到：第一階段，使用特定領(lǐng)域的訓(xùn)練數(shù)據(jù)對初始大模型進(jìn)行微調(diào)，得到一階段訓(xùn)練后的大模型，所述訓(xùn)練數(shù)據(jù)包含用戶查詢樣本和匹配的答案標(biāo)簽；第二階段，在所述訓(xùn)練數(shù)據(jù)的基礎(chǔ)上添加利用所述結(jié)構(gòu)化知識庫檢索到的與所述用戶查詢樣本匹配的知識片段作為新的訓(xùn)練數(shù)據(jù)對所述一階段訓(xùn)練后的大模型進(jìn)行微調(diào)，得到二階段訓(xùn)練后的大模型。

46、第三方面，提供了一種電子設(shè)備，包括：存儲器和處理器；

47、所述存儲器，用于存儲程序；

48、所述處理器，用于執(zhí)行所述程序，實現(xiàn)本技術(shù)前述第一方面中任一項所描述的問答方法的各個步驟。

49、第四方面，提供了一種存儲介質(zhì)，其上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時，實現(xiàn)本技術(shù)前述第一方面中任一項所描述的問答方法的各個步驟。

50、第五方面，提供了一種計算機(jī)程序產(chǎn)品，該計算機(jī)程序產(chǎn)品被有形地存儲在非瞬態(tài)計算機(jī)存儲介質(zhì)中并且包括機(jī)器可執(zhí)行指令，該機(jī)器可執(zhí)行指令在由設(shè)備執(zhí)行時實現(xiàn)本技術(shù)前述第一方面中任一項所描述的問答方法的各個步驟。

51、借由上述技術(shù)方案，本技術(shù)利用包含特定領(lǐng)域知識片段的結(jié)構(gòu)化知識庫檢索與用戶查詢相關(guān)的目標(biāo)知識片段，進(jìn)而將用戶查詢和目標(biāo)知識片段進(jìn)行整合形成提示輸入數(shù)據(jù)，最后，將提示輸入數(shù)據(jù)輸入到經(jīng)過兩階段微調(diào)訓(xùn)練得到的大模型中，大模型的第一階段微調(diào)訓(xùn)練利用特定領(lǐng)域的訓(xùn)練數(shù)據(jù)提高了初始大模型對特定領(lǐng)域信息的理解能力和模型的指令服從性，大模型的第二階段微調(diào)訓(xùn)練融合rag技術(shù)和結(jié)構(gòu)化知識庫，使大模型能夠有效利用檢索到的知識片段，提升對特定領(lǐng)域問題的處理能力；本方法實現(xiàn)了大模型微調(diào)技術(shù)和rag技術(shù)的深度融合，在模型微調(diào)階段使模型學(xué)習(xí)如何利用注入的知識片段，從而在預(yù)測階段能有效利用注入的知識片段，解決了現(xiàn)有技術(shù)中模型微調(diào)與預(yù)測之間割裂的問題，顯著提升了大模型在特定領(lǐng)域的問答應(yīng)用中的性能。