本技術涉及圖像處理,尤其是涉及一種基于醫(yī)學影像描述的診斷結(jié)果預測方法及裝置。
背景技術:
1、隨著人類對自身健康關注度的增強與科學技術的快速發(fā)展,疾病的發(fā)現(xiàn)與治療周期逐漸得到縮減,在疾病發(fā)現(xiàn)的過程中,快速且準確地實現(xiàn)疾病診斷是疾病得到妥善治療的基礎。其中,腦部疾病因其具有高發(fā)病率及高危險性的特點,使得醫(yī)療體系對腦疾病的快速準確診斷有更強的需求。
2、臨床上,為了更準確的判定病人的腦部疾病情況,通常會拍攝腦部mri影像,然后,由放射科醫(yī)生撰寫影像報告并得到初步結(jié)果,最后,由臨床醫(yī)生綜合影像報告中腦部mri影像、影像描述信息以及診斷結(jié)果得出最終診斷。這里,在診斷結(jié)果方面,由于診斷結(jié)果是醫(yī)生根據(jù)腦部mri影像及影像描述信息作出的主觀診斷,對于不同醫(yī)生來說,即使是相同的腦部mri影像及影像描述信息也會存在不同的診斷觀點,且為了保證診斷結(jié)果的準確性,醫(yī)生通常需要耗費大量的時間在診斷結(jié)果上,這使得診斷進度較慢;
3、而現(xiàn)有的可用于進行疾病診斷的“模型”,通常需要結(jié)合于腦部mri影像來實現(xiàn)疾病的診斷,由于“模型”只能接收固定尺寸影像的特點,目前的基于影像的模型對mri影像的適應性較差,只能選擇丟棄掉多余模態(tài)或生成缺失模態(tài)來匹配當前“模型”,存在信息浪費及生成結(jié)果不準確的問題。
技術實現(xiàn)思路
1、有鑒于此,本技術的目的在于提供一種基于醫(yī)學影像描述的診斷結(jié)果預測方法及裝置,可僅利用醫(yī)學影像報告中用于描述腦部mri影像的影像描述信息,即可實現(xiàn)診斷結(jié)果的準確預測,以此,可輔助醫(yī)生提高疾病的診斷效率。
2、本技術實施例提供了一種基于醫(yī)學影像描述的診斷結(jié)果預測方法,所述診斷結(jié)果預測方法包括:
3、對獲取到的醫(yī)學影像報告進行描述信息提取,提取出用于描述所述醫(yī)學影像報告中腦部mri影像的影像描述信息;
4、通過對所述影像描述信息進行預處理,將所述影像描述信息映射為影像描述數(shù)據(jù);
5、結(jié)合第一疾病預測模型的數(shù)據(jù)輸入格式,對所述影像描述數(shù)據(jù)進行格式規(guī)范處理,將所述影像描述數(shù)據(jù)轉(zhuǎn)換為影像描述特征;
6、將所述影像描述特征輸入至所述第一疾病預測模型的疾病結(jié)果預測層中,通過所述疾病結(jié)果預測層,確定所述醫(yī)學影像報告的結(jié)果描述向量;其中,所述疾病結(jié)果預測層是通過訓練采用全文掩碼的方式預訓練得到的中文語言模型所得到的;
7、將所述結(jié)果描述向量輸入至所述第一疾病預測模型的結(jié)果分類層中,通過所述結(jié)果分類層,確定所述醫(yī)學影像報告的預測診斷結(jié)果。
8、在一種可能的實施方式中,所述對獲取到的醫(yī)學影像報告進行描述信息提取,提取出用于描述所述醫(yī)學影像報告中腦部mri影像的影像描述信息,包括:
9、結(jié)合于所述醫(yī)學影像報告的影像報告模板,通過對獲取到的醫(yī)學影像報告進行分析,確定出所述醫(yī)學影像報告中影像描述區(qū)域;
10、通過識別所述影像描述區(qū)域中的內(nèi)容,提取出用于描述所述醫(yī)學影像報告中腦部mri影像的影像描述信息。
11、在一種可能的實施方式中,所述通過對所述影像描述信息進行預處理,將所述影像描述信息映射為影像描述數(shù)據(jù),包括:
12、對所述影像描述信息進行信息篩選處理,濾除所述影像描述信息中的無效描述信息及無效字符,得到用于描述所述腦部mri影像的精簡描述信息;
13、對所述精簡描述信息進行分詞處理,將所述精簡描述信息拆分為多個子詞;其中,所述子詞包括字和/或詞;
14、逐一對每個子詞進行編碼處理,將所述精簡描述信息映射為影像描述數(shù)據(jù)。
15、在一種可能的實施方式中,所述結(jié)合第一疾病預測模型的數(shù)據(jù)輸入格式,對所述影像描述數(shù)據(jù)進行格式規(guī)范處理,將所述影像描述數(shù)據(jù)轉(zhuǎn)換為影像描述特征,包括:
16、結(jié)合所述第一疾病預測模型的數(shù)據(jù)輸入格式,確定所述第一疾病預測模型所接收的輸入特征的數(shù)據(jù)輸入長度;
17、通過比對所述數(shù)據(jù)輸入長度與所述影像描述數(shù)據(jù)的數(shù)據(jù)長度,確定所述影像描述數(shù)據(jù)的格式處理方式;
18、當所述格式處理方式為填充處理時,利用預設字符填充所述影像描述數(shù)據(jù),將填充后的影像描述數(shù)據(jù)確定為影像描述特征;
19、當所述格式處理方式為截取處理時,對所述影像描述數(shù)據(jù)中特定范圍內(nèi)的數(shù)據(jù)進行截取,將截取出的影像描述數(shù)據(jù)確定為影像描述特征。
20、在一種可能的實施方式中,所述通過比對所述數(shù)據(jù)輸入長度與所述影像描述數(shù)據(jù)的數(shù)據(jù)長度,確定所述影像描述數(shù)據(jù)的格式處理方式,包括:
21、若所述數(shù)據(jù)輸入長度大于所述影像描述數(shù)據(jù)的數(shù)據(jù)長度,確定所述影像描述數(shù)據(jù)的格式處理方式為填充處理;
22、若所述數(shù)據(jù)輸入長度小于所述影像描述數(shù)據(jù)的數(shù)據(jù)長度,確定所述影像描述數(shù)據(jù)的格式處理方式為截取處理。
23、在一種可能的實施方式中,通過以下步驟訓練得到第一疾病預測模型的疾病結(jié)果預測層:
24、獲取多個醫(yī)學樣本報告以及每個醫(yī)學樣本報告的疾病標簽數(shù)據(jù);其中,所述疾病標簽數(shù)據(jù)為所述醫(yī)學樣本報告的結(jié)果描述向量;
25、針對于每個醫(yī)學樣本報告,對該醫(yī)學樣本報告進行信息篩選處理,濾除該醫(yī)學樣本報告中的無效描述信息及無效字符,得到用于描述該醫(yī)學樣本報告中腦部mri影像的精簡樣本信息;
26、對所述精簡樣本信息進行分詞處理,將所述精簡樣本信息拆分為多個子詞;
27、逐一對每個子詞進行編碼處理,將所述精簡樣本信息映射為影像樣本數(shù)據(jù);
28、結(jié)合中文語言模型的數(shù)據(jù)輸入格式,對所述影像樣本數(shù)據(jù)進行格式規(guī)范處理,將所述影像樣本數(shù)據(jù)轉(zhuǎn)換為影像樣本特征;
29、將每個醫(yī)學樣本報告的影像樣本特征作為輸入特征,將每個醫(yī)學樣本報告的疾病標簽數(shù)據(jù)作為輸出特征,對預訓練得到的中文語言模型進行參數(shù)微調(diào),獲得訓練好的疾病結(jié)果預測層。
30、在一種可能的實施方式中,所述將所述結(jié)果描述向量輸入至所述第一疾病預測模型的結(jié)果分類層中,通過所述結(jié)果分類層,確定所述醫(yī)學影像報告的預測診斷結(jié)果,包括:
31、將所述結(jié)果描述向量輸入至所述第一疾病預測模型的結(jié)果分類層中,通過在所述結(jié)果分類層中對所述結(jié)果描述向量進行分析,確定所述醫(yī)學影像報告所屬疾病診斷類別;
32、將所述疾病診斷類別確定為所述醫(yī)學影像報告的預測診斷結(jié)果。
33、在一種可能的實施方式中,在提取出用于描述所述醫(yī)學影像報告中腦部mri影像的影像描述信息之后,所述診斷結(jié)果預測方法還包括:
34、通過識別所述醫(yī)學影像報告,確定所述醫(yī)學影像報告所屬就診患者的診斷任務類型;
35、獲取所述診斷任務類型的候選診斷結(jié)果、結(jié)果詢問語句以及疾病診斷輔助模版;
36、將所述影像描述信息、所述結(jié)果詢問語句以及所述候選診斷結(jié)果,分別填充至所述疾病診斷輔助模版中,生成用于預測所述醫(yī)學影像報告的預測診斷結(jié)果的疾病診斷語句;
37、將所述疾病診斷語句輸入第二疾病預測模型中,確定所述醫(yī)學影像報告的預測診斷結(jié)果;其中,所述第二疾病預測模型是通過對預訓練的語言模型的參數(shù)進行微調(diào)所得到的;所述預訓練的語言模型為在通用場景下預先訓練好的基礎模型。
38、在一種可能的實施方式中,所述診斷任務類型包括idh基因型判定任務、who分級任務、腦腫瘤類型判定任務以及1p/19q共缺失任務中的一種或多種。
39、本技術實施例還提供了一種基于醫(yī)學影像描述的診斷結(jié)果預測裝置,所述診斷結(jié)果預測裝置包括:
40、信息提取模塊,用于對獲取到的醫(yī)學影像報告進行描述信息提取,提取出用于描述所述醫(yī)學影像報告中腦部mri影像的影像描述信息;
41、數(shù)據(jù)映射模塊,用于通過對所述影像描述信息進行預處理,逐字將所述影像描述信息映射為影像描述數(shù)據(jù);
42、格式調(diào)整模塊,用于結(jié)合第一疾病預測模型的數(shù)據(jù)輸入格式,對所述影像描述數(shù)據(jù)進行格式規(guī)范處理,將所述影像描述數(shù)據(jù)轉(zhuǎn)換為影像描述特征;
43、結(jié)果預測模塊,用于將所述影像描述特征輸入至所述第一疾病預測模型的疾病結(jié)果預測層中,通過所述疾病結(jié)果預測層,確定所述醫(yī)學影像報告的結(jié)果描述向量;其中,所述疾病結(jié)果預測層是通過訓練采用全文掩碼的方式預訓練得到的中文語言模型所得到的;
44、結(jié)果分類模塊,用于將所述結(jié)果描述向量輸入至所述第一疾病預測模型的結(jié)果分類層中,通過所述結(jié)果分類層,確定所述醫(yī)學影像報告的預測診斷結(jié)果。
45、在一種可能的實施方式中,所述信息提取模塊在用于對獲取到的醫(yī)學影像報告進行描述信息提取,提取出用于描述所述醫(yī)學影像報告中腦部mri影像的影像描述信息時,所述信息提取模塊用于:
46、結(jié)合于所述醫(yī)學影像報告的影像報告模板,通過對獲取到的醫(yī)學影像報告進行分析,確定出所述醫(yī)學影像報告中影像描述區(qū)域;
47、通過識別所述影像描述區(qū)域中的內(nèi)容,提取出用于描述所述醫(yī)學影像報告中腦部mri影像的影像描述信息。
48、在一種可能的實施方式中,所述數(shù)據(jù)映射模塊在用于通過對所述影像描述信息進行預處理,將所述影像描述信息映射為影像描述數(shù)據(jù)時,所述數(shù)據(jù)映射模塊用于:
49、對所述影像描述信息進行信息篩選處理,濾除所述影像描述信息中的無效描述信息及無效字符,得到用于描述所述腦部mri影像的精簡描述信息;
50、對所述精簡描述信息進行分詞處理,將所述精簡描述信息拆分為多個子詞;其中,所述子詞包括字和/或詞;
51、逐一對每個子詞進行編碼處理,將所述精簡描述信息映射為影像描述數(shù)據(jù)。
52、在一種可能的實施方式中,所述格式調(diào)整模塊在用于結(jié)合第一疾病預測模型的數(shù)據(jù)輸入格式,對所述影像描述數(shù)據(jù)進行格式規(guī)范處理,將所述影像描述數(shù)據(jù)轉(zhuǎn)換為影像描述特征時,所述格式調(diào)整模塊用于:
53、結(jié)合所述第一疾病預測模型的數(shù)據(jù)輸入格式,確定所述第一疾病預測模型所接收的輸入特征的數(shù)據(jù)輸入長度;
54、通過比對所述數(shù)據(jù)輸入長度與所述影像描述數(shù)據(jù)的數(shù)據(jù)長度,確定所述影像描述數(shù)據(jù)的格式處理方式;
55、當所述格式處理方式為填充處理時,利用預設字符填充所述影像描述數(shù)據(jù),將填充后的影像描述數(shù)據(jù)確定為影像描述特征;
56、當所述格式處理方式為截取處理時,對所述影像描述數(shù)據(jù)中特定范圍內(nèi)的數(shù)據(jù)進行截取,將截取出的影像描述數(shù)據(jù)確定為影像描述特征。
57、在一種可能的實施方式中,所述格式調(diào)整模塊在用于通過比對所述數(shù)據(jù)輸入長度與所述影像描述數(shù)據(jù)的數(shù)據(jù)長度,確定所述影像描述數(shù)據(jù)的格式處理方式時,所述格式調(diào)整模塊用于:
58、若所述數(shù)據(jù)輸入長度大于所述影像描述數(shù)據(jù)的數(shù)據(jù)長度,確定所述影像描述數(shù)據(jù)的格式處理方式為填充處理;
59、若所述數(shù)據(jù)輸入長度小于所述影像描述數(shù)據(jù)的數(shù)據(jù)長度,確定所述影像描述數(shù)據(jù)的格式處理方式為截取處理。
60、在一種可能的實施方式中,所述診斷結(jié)果預測裝置還包括模型訓練模塊,所述模型訓練模塊用于通過以下步驟訓練得到第一疾病預測模型的疾病結(jié)果預測層:
61、獲取多個醫(yī)學樣本報告以及每個醫(yī)學樣本報告的疾病標簽數(shù)據(jù);其中,所述疾病標簽數(shù)據(jù)為所述醫(yī)學樣本報告的結(jié)果描述向量;
62、針對于每個醫(yī)學樣本報告,對該醫(yī)學樣本報告進行信息篩選處理,濾除該醫(yī)學樣本報告中的無效描述信息及無效字符,得到用于描述該醫(yī)學樣本報告中腦部mri影像的精簡樣本信息;
63、對所述精簡樣本信息進行分詞處理,將所述精簡樣本信息拆分為多個子詞;
64、逐一對每個子詞進行編碼處理,將所述精簡樣本信息映射為影像樣本數(shù)據(jù);
65、結(jié)合中文語言模型的數(shù)據(jù)輸入格式,對所述影像樣本數(shù)據(jù)進行格式規(guī)范處理,將所述影像樣本數(shù)據(jù)轉(zhuǎn)換為影像樣本特征;
66、將每個醫(yī)學樣本報告的影像樣本特征作為輸入特征,將每個醫(yī)學樣本報告的疾病標簽數(shù)據(jù)作為輸出特征,對預訓練得到的中文語言模型進行參數(shù)微調(diào),獲得訓練好的疾病結(jié)果預測層。
67、在一種可能的實施方式中,所述結(jié)果分類模塊在用于將所述結(jié)果描述向量輸入至所述第一疾病預測模型的結(jié)果分類層中,通過所述結(jié)果分類層,確定所述醫(yī)學影像報告的預測診斷結(jié)果時,所述結(jié)果分類模塊用于:
68、將所述結(jié)果描述向量輸入至所述第一疾病預測模型的結(jié)果分類層中,通過在所述結(jié)果分類層中對所述結(jié)果描述向量進行分析,確定所述醫(yī)學影像報告所屬疾病診斷類別;
69、將所述疾病診斷類別確定為所述醫(yī)學影像報告的預測診斷結(jié)果。
70、在一種可能的實施方式中,在提取出用于描述所述醫(yī)學影像報告中腦部mri影像的影像描述信息之后,所述診斷結(jié)果預測裝置還用于:
71、通過識別所述醫(yī)學影像報告,確定所述醫(yī)學影像報告所屬就診患者的診斷任務類型;
72、獲取所述診斷任務類型的候選診斷結(jié)果、結(jié)果詢問語句以及疾病診斷輔助模版;
73、將所述影像描述信息、所述結(jié)果詢問語句以及所述候選診斷結(jié)果,分別填充至所述疾病診斷輔助模版中,生成用于預測所述醫(yī)學影像報告的預測診斷結(jié)果的疾病診斷語句;
74、將所述疾病診斷語句輸入第二疾病預測模型中,確定所述醫(yī)學影像報告的預測診斷結(jié)果;其中,所述第二疾病預測模型是通過對預訓練的語言模型的參數(shù)進行微調(diào)所得到的;所述預訓練的語言模型為在通用場景下預先訓練好的基礎模型。
75、在一種可能的實施方式中,所述診斷任務類型包括idh基因型判定任務、who分級任務、腦腫瘤類型判定任務以及1p/19q共缺失任務中的一種或多種。
76、本技術實施例還提供一種電子設備,包括:處理器、存儲器和總線,所述存儲器存儲有所述處理器可執(zhí)行的機器可讀指令,當電子設備運行時,所述處理器與所述存儲器之間通過總線通信,所述機器可讀指令被所述處理器執(zhí)行時執(zhí)行如上述的基于醫(yī)學影像描述的診斷結(jié)果預測方法的步驟。
77、本技術實施例還提供一種計算機可讀存儲介質(zhì),該計算機可讀存儲介質(zhì)上存儲有計算機程序,該計算機程序被處理器運行時執(zhí)行如上述的基于醫(yī)學影像描述的診斷結(jié)果預測方法的步驟。
78、本技術實施例提供的一種基于醫(yī)學影像描述的診斷結(jié)果預測方法及裝置,對獲取到的醫(yī)學影像報告進行描述信息提取,提取出用于描述醫(yī)學影像報告中腦部mri影像的影像描述信息;通過對影像描述信息進行預處理,將影像描述信息映射為影像描述數(shù)據(jù);結(jié)合第一疾病預測模型的數(shù)據(jù)輸入格式,對影像描述數(shù)據(jù)進行格式規(guī)范處理,將影像描述數(shù)據(jù)轉(zhuǎn)換為影像描述特征;將影像描述特征輸入至第一疾病預測模型的疾病結(jié)果預測層中,通過疾病結(jié)果預測層,確定醫(yī)學影像報告的結(jié)果描述向量;其中,疾病結(jié)果預測層是通過訓練采用全文掩碼的方式預訓練得到的中文語言模型所得到的;將結(jié)果描述向量輸入至所述第一疾病預測模型的結(jié)果分類層中,通過結(jié)果分類層,確定醫(yī)學影像報告的預測診斷結(jié)果。這樣,可僅利用醫(yī)學影像報告中用于描述腦部mri影像的影像描述信息,即可實現(xiàn)診斷結(jié)果的準確預測,以此,可輔助醫(yī)生提高疾病的診斷效率。
79、為使本技術的上述目的、特征和優(yōu)點能更明顯易懂,下文特舉較佳實施例,并配合所附附圖,作詳細說明如下。