本發(fā)明屬于自然語言處理，具體涉及一種基于檢索增強進行大型語言模型事實校驗的方法、系統(tǒng)、設備及介質。

背景技術：

1、llm，是large?language?model的簡稱，大語言模型。

2、nlp，是natural?language?processing的簡稱，自然語言處理。

3、rag，是retrieval-augmented?generation的簡稱，檢索增強生成，是一種結合了信息檢索技術與語言生成模型的人工智能技術。

4、隨著人工智能技術的發(fā)展，尤其是深度學習算法的不斷提升，llm已成為nlp領域的重要功能，大型語言模型通過大量文本數(shù)據(jù)的訓練，能夠生成自然流暢的文本，并且已經在諸若機器翻譯、文本摘要以及問答系統(tǒng)等多個任務上取得了顯著的成績。但是llm雖然可生成高質量文本，但是模型生成的內容在需要提供具體事實的情況下，可能缺乏準確性或真實性，即模型可能會生成并未在訓練數(shù)據(jù)中出現(xiàn)的信息或與事實不符的內容，此種現(xiàn)場被稱為“幻覺”，是大型語言模型不符合事實性的體現(xiàn)。

5、相關人員探索出多種方式來提高llm生成內容的準確性，其中，rag是一種有效的手段，通過將檢索的相關知識融入llm的上下文中，從而使得模型能夠參考準確的信息來生成回答，rag技術的應用一定程度上提高了生成內容的準確性，但是即便檢索到正確的上下文信息，llm仍有可能生成錯誤的內容，此外，在實際應用中，如何將檢索系統(tǒng)與語言模型進行整合，在實現(xiàn)快速響應的同時還要保證高準確率是一個挑戰(zhàn)，通常情況下傳統(tǒng)的信息檢索技術往往需要較長的時間來返回結果，無法滿足用戶即時反饋的需求。

技術實現(xiàn)思路

1、第一方面，本技術實施例提供一種基于檢索增強進行大型語言模型事實校驗的方法，包括如下步驟：

2、s1.基于用戶輸入任務從可信知識庫進行文檔檢索，并在檢索過程中根據(jù)文檔評估結果進行篩選，以及在檢索完成后依據(jù)檢索到的文檔與用戶輸入任務的相關性進行刪減和壓縮，得到文檔集；

3、s2.從大語言模型的原始輸出中提取出事實單元并進行語義增強；

4、s3.基于檢索的文檔集為每個事實單元設置標簽，根據(jù)各事實單元與文檔集的相似度進行評分；

5、s4.根據(jù)標簽對事實單元進行糾正和處理，再對事實單元進行優(yōu)化；

6、s5.使用優(yōu)化的事實單元在用戶輸入任務的基礎上對大語言模型的輸出進行修訂，并在修訂結果的一致性校驗通過后進行輸出。

7、進一步地，步驟s1具體步驟如下：

8、s11.對用戶輸入任務進行分析，提取關鍵實體和關鍵詞；

9、s12.根據(jù)關鍵實體和關鍵詞從動態(tài)更新的可信知識庫中檢索相關文檔；

10、s13.對檢索到文檔的相關性、權威性和更新頻率指標進行評估，根據(jù)評估結果篩選出符合要求的第一文檔集；

11、s14.對初始文檔集中的文檔進行重新排序，并篩選出于關鍵實體和關鍵詞相關性高于閾值的第二文檔集，再對第二文檔集中文檔進行冗余信息刪除以及低優(yōu)先級內容截斷或融合，完成文檔精簡壓縮，得到第三文檔集。

12、進一步地，步驟s13具體步驟如下：

13、s131.構建用戶輸入任務q與檢索到的每篇文檔的語義相似度，使用余弦相似度和句向量嵌入通過如下公式計算相關性評分：

14、

15、其中，embed()和embed()分別表示任務輸入和文檔的向量嵌入表示；

16、s132.獲取檢索到的每篇文檔的來源和引用情況，確定來源的信任度評分，再結合預設的來源權重和引用權重通過如下公式計算權威性評分auth()：

17、auth()=+；

18、s133.對檢索的文檔根據(jù)發(fā)布時間與當前時間的時間差δt并通過如下公式計算更新頻率評分rec()：

19、

20、其中，τ為調整參數(shù)，用于控制時間衰減速率；

21、s134.對檢索到的每篇文檔根據(jù)相關性評分、權威性評分auth()以及更新頻率評分并結合各自的權重系數(shù)，使用如下公式計算綜合評分：

22、

23、其中，α為相關性評分的權重系數(shù)，β為權威性評分auth()的權重系數(shù)，γ為更新頻率評分的權重系數(shù)；

24、s135.對檢索到的每篇文檔根據(jù)綜合評分與設定閾值t的關系確定用于事實校驗的文檔并生成第一文檔集r：

25、={∣≥t}。

26、進一步地，步驟s2具體步驟如下：

27、s21.將大語言模型的原始輸出分解為獨立的不含代詞的事實陳述，并進行預處理、句子分割、事實抽取得到事實單元，并對事實單元進行去重；

28、s22.對事實單元進行依存句法分析、共指消解以及邏輯關系識別，完成語義增強，并進行一致性檢查。

29、進一步地，步驟s3具體步驟如下：

30、s31.基于檢索的第三文檔集為每個事實單元設置標簽，所述標簽包括真標簽、假標簽和未提及標簽；

31、s32.通過語義相似度算法計算各事實單元與第三文檔集中文檔的匹配度；

32、s33.根據(jù)匹配度計算第三文檔集中文檔對各事實單元的支持程度，為每個事實單元生成可信度評分。

33、進一步地，步驟s4具體步驟如下：

34、s41.對設置有假標簽的事實單元進行糾正，替換為與第三文檔集中文檔一致的內容；

35、s42.對設置有未提及標簽的事實單元按照可信度評分由低到高的順序選擇進行保留或刪除處理；

36、s43.參考用戶的查詢模式和反饋數(shù)據(jù)進行用戶偏好學習，并根據(jù)學習結果對內容優(yōu)化策略進行調整；

37、s44.基于糾正后的事實單元結合用戶輸入任務和第三文檔集進行優(yōu)化，得到優(yōu)化后的語句集，完成事實內容優(yōu)化。

38、進一步地，步驟s5具體步驟如下：

39、s51.基于優(yōu)化后的語句集和用戶輸入任務并使用內容優(yōu)化策略對大語言模型的原始輸出進行修訂，完成事實修訂；

40、s52.對修訂的輸出進行一致性校驗，并在校驗通過后進行輸出。

41、第二方面，本技術實施例還提供一種基于檢索增強進行大型語言模型事實校驗的系統(tǒng)，包括：

42、可信文檔檢索模塊，用于基于用戶輸入任務從可信知識庫進行文檔檢索，并在檢索過程中根據(jù)文檔評估結果進行篩選，以及在檢索完成后依據(jù)檢索到的文檔與用戶輸入任務的相關性進行刪減和壓縮，得到文檔集；

43、事實單元提取模塊，用于從大語言模型的原始輸出中提取出事實單元并進行語義增強；

44、事實驗證模塊，用于基于檢索的文檔集為每個事實單元設置標簽，根據(jù)各事實單元與文檔集的相似度進行評分；

45、事實糾正與內容優(yōu)化模塊，用于根據(jù)標簽對事實單元進行糾正和處理，再對事實單元進行優(yōu)化；

46、事實修訂模塊，用于使用優(yōu)化的事實單元在用戶輸入任務的基礎上對大語言模型的輸出進行修訂，并在修訂結果的一致性校驗通過后進行輸出。

47、第三方面，本技術實施例還提供一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)如第一方面所述基于檢索增強進行大型語言模型事實校驗的方法的步驟。

48、第四方面，本技術實施例還提供一種存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如第一方面所述基于檢索增強進行大型語言模型事實校驗的方法的步驟。

49、從以上技術方案可以看出，本發(fā)明具有以下優(yōu)點：

50、本技術提供的基于檢索增強進行大型語言模型事實校驗的方法、系統(tǒng)、設備及介質中，通過從可信知識庫檢索并篩選文檔，確保了文檔的高權威性和準確性，為后續(xù)事實校驗提供了可靠信息來源。進一步地，將大語言模型的原始輸出分解為獨立的事實單元，并進行語義增強，提高了模型對事實的理解和表達能力。通過事實驗證，為每個事實單元設置標簽并量化相似度，為事實糾正和內容優(yōu)化提供了明確指導和量化依據(jù)。根據(jù)標簽糾正并優(yōu)化事實單元，確保了生成內容的準確性、可讀性和流暢性。最終，使用優(yōu)化的事實單元修訂原始輸出，提高了模型的可靠性，并提升了用戶對大型語言模型生成內容的滿意度和信任度。本發(fā)明能夠在各種環(huán)境和平臺上進行靈活部署和應用，為大型語言模型在實際應用中的準確性和可信度提供了有力保障。