本發(fā)明涉及自然語言處理，尤其涉及一種自適應檢索增強大語言模型構(gòu)建和問答方法、系統(tǒng)、存儲介質(zhì)和程序產(chǎn)品。

背景技術(shù)：

1、在當前人工智能與自然語言處理技術(shù)飛速發(fā)展的背景下，大型語言模型(llms)已經(jīng)成為處理復雜語言任務、提供智能化交互的核心組件。這些模型通過海量數(shù)據(jù)訓練，不僅能夠理解語境，還能生成高質(zhì)量的文本，應用范圍廣泛，涵蓋從客戶服務自動化到知識管理系統(tǒng)的各個領(lǐng)域。

2、在問答技術(shù)領(lǐng)域，傳統(tǒng)的llms的做法是依賴模型自身的參數(shù)記憶來生成答案，即僅靠模型本身的能力完成問答，這在處理常規(guī)或已知領(lǐng)域的問答時表現(xiàn)較好。然而，隨著用戶對模型問答質(zhì)量期望的不斷提升，以及應用場景的日益復雜化，傳統(tǒng)的llms面臨著兩大挑戰(zhàn)：一是如何高效利用計算資源，在保證回答質(zhì)量的同時減少不必要的運算負擔；二是如何在模型知識邊界內(nèi)準確作答，特別是在處理那些依賴于外部未編碼知識的問題時。

3、例如，當遇到需要特定、細粒度或?qū)崟r更新的信息時，模型可能因缺乏即時訪問外部信息的能力而受限，導致回答不準確或無法作答。此時通常會結(jié)合知識庫檢索來實現(xiàn)專業(yè)知識的模型問答，基于檢索增強的大模型問答生成(retrieval-augmented?generation)是一種較為成熟的大模型問答方法。該方法通過將知識庫與大語言模型結(jié)合，來實現(xiàn)領(lǐng)域知識的問答。但該方法仍存在以下缺點：

4、第一，資源消耗以及問答效率問題。常規(guī)的檢索增強問答方法中，會優(yōu)先根據(jù)用戶的問題去數(shù)據(jù)庫中檢索相關(guān)的知識內(nèi)容，再通過一些篩選機制或排序模型對于檢索到的內(nèi)容進行過濾，最終作為大模型輸入的一部分來讓大模型給出回答。這樣的方式在大語言模型回答前，需要經(jīng)過檢索以及排序等步驟，當知識庫數(shù)據(jù)量較大時，該步驟可能會有0.5至1秒的時延。這樣的前置步驟一方面會存在一定的計算資源消耗，另一方面也對整體問答系統(tǒng)的響應時間造成影響。

5、第二，檢索內(nèi)容干擾問題。由于知識庫往往是一個有限的領(lǐng)域數(shù)據(jù)庫，而在真實的問答場景中，用戶會提出各類的問題。而這樣的檢索步驟有時會給模型引入一些無效的信息，雖然檢索到的內(nèi)容與用戶的問題可能存在一定相關(guān)性，但對于解答問題本身并無幫助，有時甚至會對模型的回答造成干擾。

6、總而言之，現(xiàn)有的大語言模型問答技術(shù)，無法在資源利用和回答質(zhì)量之間實現(xiàn)平衡，無法解決資源消耗大、問答效率低以及回答準確度差的問題。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)存在的不足，本發(fā)明提供一種能夠自適應地決定是否利用信息檢索增強來回答問題的大語言模型的構(gòu)建方法、問答方法、系統(tǒng)、存儲介質(zhì)和程序產(chǎn)品。旨在通過一種創(chuàng)新的模型訓練策略，能夠讓模型自適應地決定是直接回答用戶問題，還是通過觸發(fā)外部信息檢索來輔助問答。旨在提升模型的自適應能力，能夠在資源利用和回答質(zhì)量之間實現(xiàn)平衡，通過智能化的決策機制，優(yōu)化模型回答的效率與回答精確度。

2、第一方面，本發(fā)明提供一種自適應檢索增強大語言模型的構(gòu)建方法，包括以下步驟：

3、收集問答數(shù)據(jù)，包括問題、標準答案和參考的上下文；

4、使用大語言模型回答問題，得到初始答案；

5、判斷所述初始答案和標準答案是否一致，根據(jù)判斷結(jié)果構(gòu)建訓練數(shù)據(jù)；

6、基于所述訓練數(shù)據(jù)，對大語言模型進行微調(diào)訓練，得到自適應檢索增強大語言模型。

7、作為本發(fā)明的進一步改進，所述收集問答數(shù)據(jù)，包括使用大語言模型生成問答數(shù)據(jù)。

8、作為本發(fā)明的進一步改進，所述判斷所述初始答案和標準答案是否一致，根據(jù)判斷結(jié)果構(gòu)建訓練數(shù)據(jù)，包括：當所述初始答案和標準答案一致時，根據(jù)問題和標準答案構(gòu)建第一訓練數(shù)據(jù)。

9、作為本發(fā)明的進一步改進，所述第一訓練數(shù)據(jù)的格式為：<prompt，answer>，其中，所述prompt為<回答問題：問題，如果需要幫助請回答<retrieval>來獲取額外知識。>，所述answer為標準答案。

10、作為本發(fā)明的進一步改進，所述判斷所述初始答案和標準答案是否一致，根據(jù)判斷結(jié)果構(gòu)建訓練數(shù)據(jù)，包括：當所述初始答案和標準答案不一致時，根據(jù)問題、標準答案和所述參考上下文構(gòu)建第二訓練數(shù)據(jù)、第三訓練數(shù)據(jù)。

11、作為本發(fā)明的進一步改進，所述第二訓練數(shù)據(jù)的格式為：<prompt，answer>，其中，所述prompt為<回答問題：問題，如果需要幫助請回答<retrieval>來獲取額外知識。>，所述answer為<retrieval>；

12、所述第三訓練數(shù)據(jù)的格式為：<prompt，answer>，其中，所述prompt為<回答問題：問題，請參考以下內(nèi)容給出答案：參考的上下文>，所述answer為標準答案。

13、第二方面，本發(fā)明提供一種自適應檢索增強大語言模型的問答方法，使用第一方面所述的自適應檢索增強大語言模型，包括以下步驟：

14、輸入問題；

15、自適應檢索增強大語言模型回答問題，并判斷是否需要獲取額外知識；

16、根據(jù)判斷結(jié)果，輸出answer作為最終答案。

17、作為本發(fā)明的進一步改進，所述自適應檢索增強大語言模型回答問題，并判斷是否需要獲取額外知識，方法包括：

18、根據(jù)自適應檢索增強大語言模型的prompt：<回答問題：問題，如果需要幫助請回答<retrieval>來獲取額外知識。>，得到answer；

19、判斷answer是否是<retrieval>，當自適應檢索增強大語言模型的answer不是<retrieval>時，則自適應檢索增強大語言模型不需要獲取額外知識；

20、當自適應檢索增強大語言模型的answer是<retrieval>時，則自適應檢索增強大語言模型需要獲取額外知識。

21、作為本發(fā)明的進一步改進，所述根據(jù)判斷結(jié)果，輸出answer作為最終答案，包括：

22、當自適應檢索增強大語言模型不需要獲取額外知識時，直接將自適應檢索增強大語言模型的answer作為最終答案；

23、當自適應檢索增強大語言模型需要獲取額外知識時，通過檢索增強模塊形成參考的上下文，將問題和參考的上下文拼接，使用自適應檢索增強大語言模型回答，將自適應檢索增強大語言模型的answer作為最終答案。

24、作為本發(fā)明的進一步改進，所述通過檢索增強模塊形成參考的上下文，將問題和參考的上下文拼接，使用自適應檢索增強大語言模型回答，包括：

25、根據(jù)問題中的語義信息和關(guān)鍵詞，去數(shù)據(jù)庫中檢索和問題相似度最高的知識信息，形成參考的上下文；

26、將問題和參考的上下文拼接在自適應檢索增強大語言模型的prompt：<回答問題：問題，請參考以下內(nèi)容給出答案：參考的上下文>里，讓自適應檢索增強大語言模型給出answer。

27、第三方面，本發(fā)明提供一種計算機系統(tǒng)，包括存儲器、處理器及存儲在存儲器上的計算機程序，所述處理器執(zhí)行所述計算機程序以實現(xiàn)第二方面所述方法的步驟。

28、第四方面，本發(fā)明提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)第二方面所述方法的步驟。

29、第五方面，本發(fā)明提供一種計算機程序產(chǎn)品，包括計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)第二方面所述方法的步驟。

30、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：

31、第一，微調(diào)訓練策略與訓練集構(gòu)建方法：該發(fā)明闡述了一種創(chuàng)新的訓練數(shù)據(jù)集構(gòu)建流程，利用<問題，答案，參考上下文>的三元組信息，根據(jù)模型對問題的初步回答能力來設(shè)計訓練樣本，這樣的訓練樣本構(gòu)建方式能夠使得模型經(jīng)過微調(diào)訓練后更準確地判斷何時直接回答問題，何時請求檢索增強來獲取額外信息。

32、第二，特殊標記<retrieval>的生成：通過微調(diào)訓練后的大語言模型，能夠具備生成特殊標記<retrieval>的能力，該特殊標記將作為模型請求外部信息檢索增強的信號，讓大模型能夠更好地表達對于外部信息的訴求。

33、第三，自適應檢索增強的問答機制：通過設(shè)計一套自適應檢索增強的問答方法，使得大語言模型能夠根據(jù)問題的內(nèi)容自適應決定是否需要觸發(fā)外部信息檢索來輔助回答，這樣的問答方法能夠更好地平衡資源利用和回答質(zhì)量，能夠有效地降低整體資源的消耗，并提升問答系統(tǒng)的效率與精度。