本申請屬于人工智能和自然語言處理,特別是涉及一種基于大語言模型的可控式談話方法、系統(tǒng)、計算機設(shè)備和計算機可讀存儲介質(zhì)。
背景技術(shù):
1、對話機器人(chatbot)也被稱為聊天機器人,是一種基于計算機程序設(shè)計的人工智能應(yīng)用,能夠模擬人類對話,通過理解用戶輸入的文本或語音信息,生成相應(yīng)的回答來完成對話交互。
2、在對話機器人技術(shù)方面,傳統(tǒng)的基于規(guī)則和模板的系統(tǒng)面臨很多限制,尤其在處理復(fù)雜的、多變的對話場景時,智能程度低、交互性能差。而通過對大語言模型進行場景化配置,可以使其適應(yīng)特定的專業(yè)對話場景,如醫(yī)療咨詢、法律問答、客戶服務(wù)等。
3、但是,在部分復(fù)雜談話場景下,如何有效控制對話模型的行為,尤其是通過情緒和邏輯的演變,以及客觀事實的比對來模擬真實人物的思維過程,仍然是一個技術(shù)挑戰(zhàn)。
技術(shù)實現(xiàn)思路
1、本申請?zhí)峁┝艘环N基于大語言模型的可控式模擬談話方法、系統(tǒng)、計算機設(shè)備和計算機可讀存儲介質(zhì),以至少解決相關(guān)技術(shù)在特定對話場景下無法有效控制對話模型行為的問題。
2、第一方面,本申請實施例提供了一種基于大語言模型的可控式模擬談話方法,所述方法包括:
3、獲取談話場景下的語料數(shù)據(jù),對所述語料數(shù)據(jù)進行預(yù)處理之后,根據(jù)談話場景下的情景特征對所述語料數(shù)據(jù)添加標注,并進行格式轉(zhuǎn)換,得到由多個時序關(guān)聯(lián)且情緒特征遞進的問答對組成的訓練集,其中,所述標注包括情緒標注、動作標注和態(tài)度標注;
4、基于所述訓練集對大語言模型進行微調(diào)訓練,得到模擬對話模型;
5、響應(yīng)談話對象的問詢語句,通過檢索增強生成機制,在預(yù)設(shè)知識庫中獲取與所述問詢語句對應(yīng)的知識片段,并將所述知識片段與所述問詢語句整合,得到檢索增強結(jié)果;
6、通過訓練完成的模擬對話模型,基于動態(tài)變換的所述檢索增強結(jié)果,持續(xù)輸出,用于模擬被談話對象的符合情感演變規(guī)律的回答語句。
7、在其中一些實施例中,獲取談話場景下的語料數(shù)據(jù),對所述語料數(shù)據(jù)進行預(yù)處理包括:
8、采集所述談話場景下的語料數(shù)據(jù),其中,所述語料數(shù)據(jù)包括文本數(shù)據(jù)和談話錄音,通過語音識別技術(shù)將所述談話錄音數(shù)據(jù)轉(zhuǎn)換為文本數(shù)據(jù);
9、對所述語料數(shù)據(jù)進行數(shù)據(jù)清洗、分類以及噪聲剔除,得到優(yōu)化語料數(shù)據(jù),其中,所述數(shù)據(jù)清洗包括:語氣詞刪除、重復(fù)詞語合并和語言邏輯轉(zhuǎn)寫。
10、在其中一些實施例中,根據(jù)談話場景下的情景特征對所述語料數(shù)據(jù)添加標注,并進行格式轉(zhuǎn)換包括:
11、根據(jù)所述被談話對象在回答過程中的態(tài)度信息,對所述優(yōu)化語料數(shù)據(jù)添加態(tài)度標注;
12、根據(jù)所述被談話對象在回答過程中的語氣信息,對所述優(yōu)化語料數(shù)據(jù)添加情緒標注;
13、根據(jù)所述被談話對象在回答過程中的人物動作,對所述優(yōu)化語料數(shù)據(jù)添加動作標注;
14、將添加所述標注的優(yōu)化語料數(shù)據(jù)進行格式化處理,得到多個問答對,其中,所述問答對包括問題部分和答案部分,所述問題部分包括角色背景信息、回答約束和歷史對話記錄,所述答案部分是所述被談話對象對于所述問題部分的回答。
15、在其中一些實施例中,基于所述訓練集對大語言模型進行微調(diào)訓練,得到模擬對話模型包括:
16、在所述訓練集中,刪除問題部分中重復(fù)的角色背景信息,以及刪除用于約束模型生成所述回答語句的約束信息,構(gòu)建有效訓練信息集;
17、以所述有效訓練信息集為迭代計算損失函數(shù)的參數(shù),對所述大語言模型進行微調(diào)訓練,得到所述模擬對話模型,其中,所述損失函數(shù)用于確定所述模擬對話模型輸出的回答語句與真實回答語句之間的差距。
18、在其中一些實施例中,所述損失函數(shù)通過如下公式表示:
19、
20、
21、其中,代表當前訓練輪次的問題部分,表示當前訓練輪次的回答部分,xt表示第t個字符,p(x)表示在(x1到xt-1)存在的情況下xt產(chǎn)生的概率;
22、l是所述損失函數(shù),t是所述角色背景信息和所述約束信息;
23、在其中一些實施例中,在任意一輪微調(diào)訓練包括:
24、通過輸入層,對所述有效訓練信息集進行詞嵌入處理,將所述有效訓練信息集從文本格式轉(zhuǎn)換為高維向量;
25、通過中間層,利用線性變換和非線性激活函數(shù),基于所述高維向量及其對應(yīng)的標注,進行多層級迭代的特征抽象和提取,學習所述高維向量中的情感變換和邏輯關(guān)聯(lián),得到預(yù)測特征;
26、通過輸出層,基于所述預(yù)測特征,預(yù)測當前條件下輸出某個回答語句的預(yù)期概率。
27、在其中一些實施例中,在整體微調(diào)訓練過程中,所述方法還包括,
28、基于所述預(yù)期概率計算所述損失函數(shù),并通過梯度下降法,將每一輪訓練得到損失函數(shù)的損失值反向傳播至所述輸入層、所述中間層和所述輸出層,以指示模擬對話模型根據(jù)所述損失值優(yōu)化模型內(nèi)部參數(shù),以減少預(yù)測誤差;
29、在所述預(yù)測誤差小于等于預(yù)設(shè)誤差閾值的情況下,得到所述模擬對話模型。
30、第二方面,本申請實施例提供了一種基于大語言模型的可控式模擬談話系統(tǒng),所述系統(tǒng)包括:語料處理模塊、模型訓練模塊和對話模擬模塊,其中:
31、所述語料處理模塊用于獲取談話場景下的語料數(shù)據(jù),對所述語料數(shù)據(jù)進行預(yù)處理之后,根據(jù)談話場景下的情景特征對所述語料數(shù)據(jù)添加標注,并進行格式轉(zhuǎn)換,得到由多個時序關(guān)聯(lián)且情緒特征遞進的問答對組成的訓練集,其中,所述標注包括情緒標注、動作標注和態(tài)度標注;
32、所述模型訓練模塊用于基于所述訓練集對大語言模型進行微調(diào)訓練,得到模擬對話模型;
33、所述模擬對話模塊用于響應(yīng)談話對象的問詢語句,通過檢索增強生成機制,在預(yù)設(shè)知識庫中獲取與所述問詢語句對應(yīng)的知識片段,并將所述知識片段與所述問詢語句整合,得到檢索增強結(jié)果,
34、以及通過訓練完成的模擬對話模型,基于動態(tài)變換的所述檢索增強結(jié)果,持續(xù)輸出,用于模擬被談話對象的符合情感演變規(guī)律的回答語句。
35、第三方面,本申請實施例提供了一種計算機設(shè)備,包括存儲器、處理器以及存儲在所述存儲器上并可在所述處理器上運行的計算機程序,所述處理器執(zhí)行所述計算機程序時實現(xiàn)如上述第一方面所述的方法。
36、第四方面,本申請實施例提供了一種計算機可讀存儲介質(zhì),其上存儲有計算機程序,該程序被處理器執(zhí)行時實現(xiàn)如上述第一方面所述的方法。
37、相比于相關(guān)技術(shù),本申請實施例提供的基于大語言模型的可控式模擬談話方法,通過對談話語料數(shù)據(jù)進行多維標注和情感注入技術(shù),能夠讓大語言模型展現(xiàn)出不同層次的情緒變化。模擬被談話對象,從對話開始時的抗拒期到情緒波動期,再到情感崩潰期,整個過程符合真實特定談話場景下的情感演變規(guī)律,提升了模擬的真實性和實用性。在需要復(fù)雜對話能力的場景中,能夠幫助從業(yè)人員提升其對話技巧和情感引導能力。
1.一種基于大語言模型的可控式模擬談話方法,其特征在于,所述方法包括:
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,獲取談話場景下的語料數(shù)據(jù),對所述語料數(shù)據(jù)進行預(yù)處理包括:
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,根據(jù)談話場景下的情景特征對所述語料數(shù)據(jù)添加標注,并進行格式轉(zhuǎn)換包括:
4.根據(jù)權(quán)利要求1所述的方法,其特征在于,基于所述訓練集對大語言模型進行微調(diào)訓練,得到模擬對話模型包括:
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述損失函數(shù)通過如下公式表示:
6.根據(jù)權(quán)利要求4所述的方法,其特征在于,基于所述訓練集對大語言模型進行微調(diào)訓練,得到模擬對話模型還包括:
7.根據(jù)權(quán)利要求6所述的方法,其特征在于,在整體微調(diào)訓練過程中,所述方法還包括,
8.一種基于大語言模型的可控式模擬談話系統(tǒng),其特征在于,所述系統(tǒng)包括:語料處理模塊、模型訓練模塊和對話模擬模塊,其中:
9.一種計算機設(shè)備,包括存儲器、處理器以及存儲在所述存儲器上并可在所述處理器上運行的計算機程序,其特征在于,所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權(quán)利要求1至7中任一項所述的方法。
10.一種計算機可讀存儲介質(zhì),其上存儲有計算機程序,其特征在于,該程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7中任一項所述的方法。