本申請(qǐng)涉及大語言模型的人工智能，特別涉及一種臨床輔助診療專業(yè)大模型的建立方法、測(cè)評(píng)方法和裝置。

背景技術(shù)：

1、llm(large?language?model，大語言模型)是一種基于深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的語言模型，通過學(xué)習(xí)大量的文本數(shù)據(jù)，來預(yù)測(cè)下一個(gè)詞或下一段話的可能性，從而使計(jì)算機(jī)能夠更好地理解和生成人類語言。將大模型技術(shù)應(yīng)用于臨床輔助診療領(lǐng)域，形成提供臨床診療知識(shí)問答的專業(yè)大模型系統(tǒng)，可以為患者提供便捷的醫(yī)學(xué)咨詢，為醫(yī)生提供臨床診療提供一定的輔助。

2、由于臨床診療的科學(xué)性和規(guī)范性，在將大模型技術(shù)應(yīng)用于臨床輔助診療領(lǐng)域，形成提供臨床診療知識(shí)問答的專業(yè)大模型系統(tǒng)時(shí)，需要解決以下的問題：1)遵循“循證醫(yī)學(xué)”原則：必須針對(duì)大模型的幻覺問題(即：模型生成的文本不遵循原文或者不符合事實(shí))采取措施。臨床診療遵循“循證醫(yī)學(xué)”原則，所有診斷和治療行為的實(shí)施，必須從確實(shí)的依據(jù)出發(fā)。這些依據(jù)是權(quán)威的醫(yī)學(xué)文獻(xiàn)，而不是大模型算法預(yù)測(cè)生成的文本。由此可見，用于臨床輔助診療的專業(yè)大模型，它生成的回答中，必須給出其所依據(jù)的內(nèi)容在醫(yī)學(xué)文獻(xiàn)中的出處，以符合“循證醫(yī)學(xué)”的要求。當(dāng)前基于文本預(yù)測(cè)生成的大語言模型，由于其自動(dòng)生成的內(nèi)容無法給出出處，難以在臨床應(yīng)用。2)精準(zhǔn)定位內(nèi)容并提供相關(guān)推薦：無論是基于關(guān)鍵詞的全文檢索方式，還是基于llm向量化相似度匹配的增強(qiáng)檢索方式，一方面由于提問缺乏嚴(yán)格的范式約束，難以把握問題指向；另一方面對(duì)內(nèi)容建立的檢索索引基于細(xì)粒度的關(guān)鍵詞或近義詞，從而導(dǎo)致檢索結(jié)果過于寬泛，無法精準(zhǔn)定位專業(yè)文獻(xiàn)中對(duì)應(yīng)內(nèi)容。在解決內(nèi)容精準(zhǔn)定位之后，用戶還進(jìn)一步希望了解相近內(nèi)容，相應(yīng)地系統(tǒng)必須能夠提供相關(guān)推薦。

3、因此，如何建立臨床輔助診療專業(yè)大模型是亟待解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述問題，本申請(qǐng)實(shí)施例提供了一種臨床輔助診療專業(yè)大模型的建立方法、測(cè)評(píng)方法和裝置，以便克服上述問題或者至少部分地解決上述問題。

2、本申請(qǐng)實(shí)施例的第一方面，公開了一種臨床輔助診療專業(yè)大模型的建立方法，所述方法包括：

3、根據(jù)臨床診療的知識(shí)特性將專業(yè)文獻(xiàn)解構(gòu)為知識(shí)點(diǎn)，并將所述知識(shí)點(diǎn)映射到知識(shí)空間；

4、構(gòu)建提問范式，所述提問范式用于約束提問的自然語言表達(dá)與所述知識(shí)空間的坐標(biāo)映射關(guān)系；

5、根據(jù)所述知識(shí)空間和所述提問范式，建立臨床輔助診療專業(yè)大模型。

6、本申請(qǐng)實(shí)施例的第二方面，公開了一種臨床輔助診療專業(yè)大模型的測(cè)評(píng)方法，所述方法包括：

7、根據(jù)知識(shí)空間主維度、提問范式形式、提問范式變量取值、提問范式的同義性表達(dá)的優(yōu)先級(jí)順序，構(gòu)建測(cè)試數(shù)據(jù)集；

8、將所述測(cè)試數(shù)據(jù)集輸入所述臨床輔助診療專業(yè)大模型進(jìn)行處理，得到所述測(cè)試數(shù)據(jù)集中每個(gè)測(cè)試問題的回答內(nèi)容；

9、通過業(yè)務(wù)專家對(duì)所述回答內(nèi)容的正確性進(jìn)行評(píng)估，并根據(jù)評(píng)估結(jié)果的錯(cuò)誤率確定出所述臨床輔助診療專業(yè)大模型的置信度。

10、本申請(qǐng)實(shí)施例的第三方面，公開了一種臨床輔助診療專業(yè)大模型的建立裝置，所述裝置包括：

11、知識(shí)空間映射模塊，用于根據(jù)臨床診療的知識(shí)特性將專業(yè)文獻(xiàn)解構(gòu)為知識(shí)點(diǎn)，并將所述知識(shí)點(diǎn)映射到知識(shí)空間；

12、提問范式構(gòu)建模塊，用于構(gòu)建提問范式，所述提問范式用于約束提問的自然語言表達(dá)與所述知識(shí)空間的坐標(biāo)映射關(guān)系；

13、大模型建立模塊，用于根據(jù)所述知識(shí)空間和所述提問范式，建立臨床輔助診療專業(yè)大模型。

14、本申請(qǐng)實(shí)施例的第四方面，公開了一種基于臨床輔助診療專業(yè)大模型的測(cè)評(píng)裝置，所述裝置包括：

15、數(shù)據(jù)構(gòu)建模塊，用于根據(jù)知識(shí)空間主維度、提問范式形式、提問范式變量取值、提問范式的同義性表達(dá)的優(yōu)先級(jí)順序，構(gòu)建測(cè)試數(shù)據(jù)集；

16、問題處理模塊，用于將所述測(cè)試數(shù)據(jù)集輸入所述臨床輔助診療專業(yè)大模型進(jìn)行處理，得到所述測(cè)試數(shù)據(jù)集中每個(gè)測(cè)試問題的回答內(nèi)容；

17、回答評(píng)估模塊，用于通過業(yè)務(wù)專家對(duì)所述回答內(nèi)容的正確性進(jìn)行評(píng)估，并根據(jù)評(píng)估結(jié)果的錯(cuò)誤率確定出所述臨床輔助診療專業(yè)大模型的置信度。

18、本申請(qǐng)實(shí)施例的第五方面，公開了一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)本申請(qǐng)實(shí)施例第一方面所述的臨床輔助診療專業(yè)大模型的建立方法的步驟，或，實(shí)現(xiàn)本申請(qǐng)實(shí)施例第二方面所述的臨床輔助診療專業(yè)大模型的測(cè)評(píng)方法的步驟。

19、本申請(qǐng)實(shí)施例包括以下優(yōu)點(diǎn)：

20、在本申請(qǐng)實(shí)施例中，在回答內(nèi)容的生成方面，根據(jù)臨床診療的知識(shí)特性將專業(yè)文獻(xiàn)解構(gòu)為知識(shí)點(diǎn)，并將所述知識(shí)點(diǎn)映射到知識(shí)空間，實(shí)現(xiàn)對(duì)專業(yè)文獻(xiàn)內(nèi)容的準(zhǔn)確定位檢索；并且，基于知識(shí)點(diǎn)在知識(shí)空間中的位置關(guān)系(即知識(shí)空間坐標(biāo))，也建立了知識(shí)點(diǎn)之間的包含和相鄰關(guān)系，為知識(shí)點(diǎn)的關(guān)聯(lián)推薦提供了基礎(chǔ)。對(duì)提問的理解方面，通過提問范式，以建立提問的自然語言表達(dá)與所述知識(shí)空間的坐標(biāo)映射關(guān)系，從而根據(jù)知識(shí)空間和提問范式建立臨床輔助診療專業(yè)大模型。

21、如此，基于該臨床輔助診療專業(yè)大模型能夠?qū)⒊Ｒ姷呐R床診療提問，映射為知識(shí)空間坐標(biāo)，并基于知識(shí)空間坐標(biāo)匹配專業(yè)文獻(xiàn)中的知識(shí)點(diǎn)，從而實(shí)現(xiàn)對(duì)提問內(nèi)容的精準(zhǔn)定位檢索，并基于知識(shí)點(diǎn)之間的空間位置關(guān)系提供相關(guān)推薦。因而，解決大語言模型應(yīng)用在臨床輔助診療存在的“回答缺乏權(quán)威醫(yī)學(xué)文獻(xiàn)支撐”以及“難以精確定位內(nèi)容和提供相關(guān)推薦”的問題。

技術(shù)特征：

1.一種臨床輔助診療專業(yè)大模型的建立方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的一種臨床輔助診療專業(yè)大模型的建立方法，其特征在于，所述知識(shí)空間包括多個(gè)維度下的樹狀多級(jí)分類樹，所述多個(gè)維度和每個(gè)維度下的多級(jí)分類構(gòu)成了知識(shí)空間坐標(biāo)系，所述多個(gè)維度包括：疾病、藥物、病歷獲取、患者指標(biāo)、診療過程；

3.根據(jù)權(quán)利要求2所述的一種臨床輔助診療專業(yè)大模型的建立方法，其特征在于，建立每個(gè)知識(shí)點(diǎn)的索引，包括：

4.根據(jù)權(quán)利要求2所述的一種臨床輔助診療專業(yè)大模型的建立方法，其特征在于，對(duì)所述專業(yè)文獻(xiàn)進(jìn)行內(nèi)容抽取和文檔樹構(gòu)建，得到文檔樹，包括：

5.根據(jù)權(quán)利要求2所述的一種臨床輔助診療專業(yè)大模型的建立方法，其特征在于，所述知識(shí)空間坐標(biāo)包括主坐標(biāo)和從坐標(biāo)；

6.根據(jù)權(quán)利要求2所述的一種臨床輔助診療專業(yè)大模型的建立方法，其特征在于，根據(jù)所述文檔樹的每個(gè)文檔節(jié)點(diǎn)的文本內(nèi)容，提取知識(shí)空間坐標(biāo)，包括：

7.根據(jù)權(quán)利要求1所述的一種臨床輔助診療專業(yè)大模型的建立方法，其特征在于，構(gòu)建提問范式，包括：

8.根據(jù)權(quán)利要求7所述的一種臨床輔助診療專業(yè)大模型的建立方法，其特征在于，根據(jù)所述主維度和所述條件維度，構(gòu)建提問范式，包括：

9.根據(jù)權(quán)利要求1-8任一所述的一種臨床輔助診療專業(yè)大模型的建立方法，其特征在于，所述臨床輔助診療專業(yè)大模型按照以下步驟生成問題答案：

10.根據(jù)權(quán)利要求9所述的一種臨床輔助診療專業(yè)大模型的建立方法，其特征在于，所述方法還包括：

11.根據(jù)權(quán)利要求9所述的一種臨床輔助診療專業(yè)大模型的建立方法，其特征在于，根據(jù)所述第一知識(shí)空間坐標(biāo)，從知識(shí)空間中匹配知識(shí)點(diǎn)，得到滿足所述第一知識(shí)空間坐標(biāo)的目標(biāo)知識(shí)點(diǎn)，包括：

12.根據(jù)權(quán)利要求10所述的一種臨床輔助診療專業(yè)大模型的建立方法，其特征在于，按照以下方式維護(hù)所述當(dāng)前對(duì)話上下文的知識(shí)空間坐標(biāo)：

13.一種臨床輔助診療專業(yè)大模型的測(cè)評(píng)方法，其特征在于，所述方法包括：

14.根據(jù)權(quán)利要求13所述的一種臨床輔助診療專業(yè)大模型的測(cè)評(píng)方法，其特征在于，根據(jù)知識(shí)空間主維度、提問范式形式、提問范式變量取值、提問范式的同義性表達(dá)的優(yōu)先級(jí)順序，構(gòu)建測(cè)試數(shù)據(jù)集，包括：

15.根據(jù)權(quán)利要求14所述的一種臨床輔助診療專業(yè)大模型的測(cè)評(píng)方法，其特征在于，根據(jù)所述提問數(shù)量和所述提問范式集合，確定目標(biāo)主維度和每個(gè)目標(biāo)主維度的第一提問數(shù)量，包括：

16.根據(jù)權(quán)利要求14所述的一種臨床輔助診療專業(yè)大模型的測(cè)評(píng)方法，其特征在于，根據(jù)所述目標(biāo)主維度和所述第一提問數(shù)量，確定每個(gè)目標(biāo)主維度下的目標(biāo)提問范式和每個(gè)目標(biāo)提問范式的第二提問數(shù)量，包括：

17.根據(jù)權(quán)利要求14所述的一種臨床輔助診療專業(yè)大模型的測(cè)評(píng)方法，其特征在于，根據(jù)所述目標(biāo)提問范式和所述第二提問數(shù)量，確定測(cè)試提問范式和每個(gè)所述測(cè)試提問范式的第三提問數(shù)量，包括：

18.根據(jù)權(quán)利要求14所述的一種臨床輔助診療專業(yè)大模型的測(cè)評(píng)方法，其特征在于，根據(jù)所述測(cè)試提問范式和所述第三提問數(shù)量，確定提問范式的變量取值，并根據(jù)所述提問范式的變量取值生成測(cè)試數(shù)據(jù)集，包括：

19.一種臨床輔助診療專業(yè)大模型的建立裝置，其特征在于，所述裝置包括：

20.一種臨床輔助診療專業(yè)大模型的測(cè)評(píng)裝置，其特征在于，所述裝置包括：

21.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1-12任一項(xiàng)所述的臨床輔助診療專業(yè)大模型的建立方法的步驟，或，實(shí)現(xiàn)權(quán)利要求13-18任一項(xiàng)所述的臨床輔助診療專業(yè)大模型的測(cè)評(píng)方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┝艘环N臨床輔助診療專業(yè)大模型的建立方法、測(cè)評(píng)方法和裝置，涉及大語言模型的人工智能技術(shù)領(lǐng)域，包括：根據(jù)臨床診療的知識(shí)特性將專業(yè)文獻(xiàn)解構(gòu)為知識(shí)點(diǎn)，并將所述知識(shí)點(diǎn)映射到知識(shí)空間；構(gòu)建提問范式，所述提問范式用于約束提問的自然語言表達(dá)與所述知識(shí)空間的坐標(biāo)映射關(guān)系；根據(jù)所述知識(shí)空間和所述提問范式，建立臨床輔助診療專業(yè)大模型。如此，將常見的臨床診療提問，映射為知識(shí)空間坐標(biāo)，并基于知識(shí)空間坐標(biāo)匹配專業(yè)文獻(xiàn)中的知識(shí)點(diǎn)，從而實(shí)現(xiàn)對(duì)提問內(nèi)容的精準(zhǔn)定位檢索，并基于知識(shí)點(diǎn)之間的空間位置關(guān)系提供相關(guān)推薦。

技術(shù)研發(fā)人員：紀(jì)春巖,盧菲,葉靜靜,陳勝,蔣步云,紀(jì)敏,李鵬,徐睿,章靜茹,孫濤,王璟濤,姜慧慧
受保護(hù)的技術(shù)使用者：山東大學(xué)齊魯醫(yī)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30