本發(fā)明涉及中醫(yī)，具體為一種基于中醫(yī)大模型和多知識庫的個性化中醫(yī)問診系統(tǒng)。

背景技術(shù)：

1、隨著自然語言處理(nlp)和大模型技術(shù)的發(fā)展，用大模型去學習名中醫(yī)的醫(yī)案、開方等知識，然后模擬名中醫(yī)去進行自動問診，已經(jīng)成為一種新的替代解決方案。

2、現(xiàn)有技術(shù)的一些缺點：

3、(1)在中醫(yī)大模型的rlhf訓練階段，因為不同的名中醫(yī)有不同的問診開方邏輯，因此很難構(gòu)建用戶的偏好數(shù)據(jù)集，此階段無法很好的完成多輪問答的準確性訓練。

4、(2)在構(gòu)建rag的向量知識庫時，需要將中醫(yī)文本分割成更小的段落或句子。以何種標準進行分割，分割成多長的段落，這些問題還在研究中，目前并沒有定論。這個階段可能會造成信息完整性的缺失。

5、(3)在rag進行信息搜索時，是基于向量的相似度，從向量數(shù)據(jù)庫中查找與輸入文本(病患的問句)最接近的文本(中醫(yī)文本片段)。由于向量是基于預訓練的語義嵌入模型生成的，因此搜索到的文本與預訓練的語義嵌入模型關(guān)系很大。僅僅根據(jù)向量的相似度，不足以保證搜索到的中醫(yī)文本片段文本一定與病患的問句有很強的相關(guān)性，有可能是不相關(guān)的文本甚至是對立的文本。

6、(4)在rag中只使用了中醫(yī)文本的向量數(shù)據(jù)庫這一種類型的數(shù)據(jù)源，而中醫(yī)總結(jié)精煉歸納出的邏輯、規(guī)則等知識并沒有以一種合適的方式加入。這也會導致中醫(yī)知識的缺失。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于中醫(yī)大模型和多知識庫的個性化中醫(yī)問診系統(tǒng)，以解決上述背景技術(shù)中提出的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于中醫(yī)大模型和多知識庫的個性化中醫(yī)問診系統(tǒng)，包括：

3、中醫(yī)大模型、中醫(yī)預訓練嵌入模型、text2cyper模塊、排序模型、中醫(yī)向量數(shù)據(jù)庫、中醫(yī)圖數(shù)據(jù)庫；

4、所述中醫(yī)預訓練嵌入模型的輸出端與中醫(yī)向量數(shù)據(jù)庫建立連接，所述text2cyper模塊的輸出端與中醫(yī)圖數(shù)據(jù)庫建立連接；

5、所述排序模型、中醫(yī)向量數(shù)據(jù)庫、中醫(yī)圖數(shù)據(jù)的輸出端輸出至中醫(yī)大模型(tcm-llm大模型)，基于中醫(yī)大模型輸出回答語句。

6、優(yōu)選的，所述中醫(yī)預訓練嵌入模型使用bert作為嵌入模型的基礎(chǔ)模型；

7、bert模型包括兩個部分：embeddings和encoder，bert模型的encoder由多個相同的transformer的encoder堆疊而成；

8、用中醫(yī)數(shù)據(jù)在通用bert模型的基礎(chǔ)參數(shù)上進行繼續(xù)預訓練，中醫(yī)數(shù)據(jù)包括中醫(yī)教科書，中醫(yī)醫(yī)案，中醫(yī)病歷；

9、繼續(xù)預訓練包括兩個自我監(jiān)督學習任務：

10、masked?language?model：在這個任務中，中醫(yī)文本中的某些單詞會被隨機掩碼，模型的任務是預測這些被掩碼的單詞，這使得中醫(yī)預訓練嵌入模型能夠?qū)W習到雙向的上下文信息；

11、next?sentence?prediction：在這個任務中，中醫(yī)預訓練嵌入模型接收中醫(yī)文本中的兩個句子作為輸入，其中有時這兩個句子來自同一文檔兩個相關(guān)句子，有時它們是隨機配對的，中醫(yī)預訓練嵌入模型需要預測第二個句子是否是第一個句子的下一個句子，這使得中醫(yī)預訓練嵌入模型學習句子之間的關(guān)系；

12、中醫(yī)預訓練嵌入模型的輸入格式是：輸入文本在開頭加入一個標記cls表示句子開始，在句子之間添加標記sep以區(qū)分不同的句子；

13、輸入一個句子到中醫(yī)預訓練嵌入模型，用標記cls的輸入向量表示整個句子的向量表示。

14、優(yōu)選的，所述排序模型基于中醫(yī)預訓練嵌入模型的獎勵模型，根據(jù)獎勵值大小就可以將多個文本進行排序；

15、在已經(jīng)訓練的到的中醫(yī)預訓練嵌入模型的基礎(chǔ)上，在cls輸出上再加一個線性層，其輸出的標量就是獎勵；

16、訓練集是一個偏好數(shù)據(jù)集：對于一個中醫(yī)句子和與其相關(guān)的k個上下文，對k個上下文按照與中醫(yī)句子的相關(guān)程度進行排序；

17、該獎勵模型的輸入是，輸出是代表獎勵reward的標量值，對于每個中醫(yī)句子，與其相關(guān)的k個上下文進行組合，就產(chǎn)生了個偏好比較數(shù)據(jù)對；

18、獎勵模型損失函數(shù)計算如下：

19、

20、其中，rθ(x，y)是輸入中醫(yī)句子和上下文句子時獎勵模型的獎勵值，yw是偏好對中偏好的上下文句子，yl是偏好對中不偏好的上下文句子，σ是sigmoid函數(shù)。

21、優(yōu)選的，所述中醫(yī)向量數(shù)據(jù)庫：每個名中醫(yī)都有一個單獨的向量數(shù)據(jù)子庫，其構(gòu)建過程如下：

22、1)將中醫(yī)文本進行切分，得到較小的段落或句子；

23、2)每個切分后的文本塊通過中醫(yī)預訓練嵌入模型轉(zhuǎn)換為向量表示；

24、3)生成的向量隨后被存儲在向量數(shù)據(jù)庫，向量數(shù)據(jù)庫專門設(shè)計用于高效存儲和檢索高維向量；

25、優(yōu)選的，所述中醫(yī)圖數(shù)據(jù)庫：每個名中醫(yī)都有一個單獨的用于知識圖譜表達的中醫(yī)圖數(shù)據(jù)庫子庫，其構(gòu)建過程如下：

26、1)將中醫(yī)文本進行切分，得到較小的段落或句子；

27、2)用中醫(yī)大模型提取切分后文本的實體和關(guān)系，得到三元組；

28、3)將中醫(yī)三元組存儲在圖數(shù)據(jù)庫，圖數(shù)據(jù)庫專門用于高效的結(jié)構(gòu)化數(shù)據(jù)的檢索和查詢。

29、優(yōu)選的，該基于中醫(yī)大模型和多知識庫的個性化中醫(yī)問診系統(tǒng)的問診具體步驟如下：

30、1)用中醫(yī)預訓練嵌入模型將病患的問句轉(zhuǎn)換為向量；

31、2)將問句向量輸入到中醫(yī)向量數(shù)據(jù)庫中，通過檢索的到向量相似度最高的多條上下文文本向量，然后返回這些向量對應的原始文本；

32、3)用text2cyper模塊從問句提取相關(guān)中醫(yī)實體和關(guān)系，并轉(zhuǎn)換為圖數(shù)據(jù)庫的cyper查詢語句；

33、4)用cyper查詢語句去查詢中醫(yī)圖數(shù)據(jù)庫，得到與問句相關(guān)的多個三元組；

34、5)用triple2text模塊將三元組合并為文本片段；

35、6)用排序模型分別將步驟2)返回的多個文本和步驟5)返回的多個文本繼續(xù)排序，返回top-k數(shù)量的文本；

36、7)將病患的問句、top-k上下文、前幾輪對話歷史數(shù)據(jù)輸入到tcm-llm大模型中，輸出回答語句；

37、繼續(xù)下一輪問答。

38、優(yōu)選的，所述中醫(yī)大模型在該通用大模型的基礎(chǔ)參數(shù)上進行繼續(xù)預訓練、sft訓練和rlhf訓練：

39、在繼續(xù)預訓練階段，訓練的中醫(yī)數(shù)據(jù)集包括中醫(yī)教科書，中醫(yī)科研文獻，中醫(yī)病案，中醫(yī)病歷，采用自回歸的訓練方式，采用全參數(shù)微調(diào)的訓練方法；

40、在sft訓練階段，訓練的中醫(yī)數(shù)據(jù)集包括：人工構(gòu)造的中醫(yī)多輪對話數(shù)據(jù)集，人工構(gòu)造的中醫(yī)文本轉(zhuǎn)cypher語句的數(shù)據(jù)集，人工構(gòu)造的中醫(yī)知識圖譜三元組轉(zhuǎn)文本的數(shù)據(jù)集，人工構(gòu)造的中醫(yī)文本轉(zhuǎn)知識圖譜三元組的數(shù)據(jù)集，采用lora微調(diào)的訓練方法；

41、在rlhf訓練階段，訓練的數(shù)據(jù)集是人工構(gòu)造的中醫(yī)偏好數(shù)據(jù)集，該數(shù)據(jù)集構(gòu)造的目的是安全性，不包括每個名中醫(yī)的個性化偏好。采用ppo訓練方法。

42、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

43、降低了中醫(yī)大模型在rlhf訓練中偏好數(shù)據(jù)庫的構(gòu)建難度。提升了預訓練的語義嵌入模型對中醫(yī)文本的向量化的適配，提升了向量匹配的精準度。增加了中醫(yī)知識圖譜圖數(shù)據(jù)源。訓練了中醫(yī)大模型、訓練和引入了排序模型，使得上下文的選擇更加精準。對每個名中醫(yī)都構(gòu)建了向量數(shù)據(jù)就和圖數(shù)據(jù)庫，實現(xiàn)了對每個名中醫(yī)都有個性化的問答邏輯。