本發(fā)明涉及醫(yī)學(xué)圖像處理領(lǐng)域,尤其涉及一種基于語義上下文關(guān)系與幾何感知先驗的醫(yī)療影像器官分割方法。
背景技術(shù):
1、自動多器官分割對于促進(jìn)計算機(jī)輔助醫(yī)學(xué)圖像分析和輔助疾病診斷至關(guān)重要。其目的是將醫(yī)療三維體積數(shù)據(jù)中的體素準(zhǔn)確地歸入多個器官區(qū)域,并正確恢復(fù)器官的幾何形狀。在實踐中,自動多器官分割不僅可以減少醫(yī)生和放射科醫(yī)師手工標(biāo)注的工作量,還能為外科手術(shù)、放射性治療、形態(tài)學(xué)評估等臨床應(yīng)用提供可能。得益于深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的泛化能力,基于卷積神經(jīng)網(wǎng)絡(luò)和視覺變換器(visual?transformer,vit)的編碼器-解碼器模型已被廣泛應(yīng)用于醫(yī)學(xué)圖像分割任務(wù),并取得了顯著的性能。
2、然而,由于缺乏對三維空間上下文信息的建模,限制了其模型捕捉復(fù)雜三維結(jié)構(gòu)的能力;并且現(xiàn)有模型傾向于利用局部感受和全局依賴關(guān)系來隱式學(xué)習(xí)所蘊含的上下文特征,但這些模型無法正確恢復(fù)器官的形狀、結(jié)構(gòu),并導(dǎo)致三維體積分割的器官具有斷開區(qū)域和錯誤的拓?fù)浣Y(jié)構(gòu)。在實際應(yīng)用中,要進(jìn)行病理診斷,通常需要考慮器官及其周圍組織的語義結(jié)構(gòu)。另一方面,腹部器官的解剖先驗知識對于放射科醫(yī)生為體素標(biāo)注正確標(biāo)簽也至關(guān)重要。
技術(shù)實現(xiàn)思路
1、本發(fā)明為克服上述現(xiàn)有技術(shù)所述無法正確對器官進(jìn)行劃分的缺陷,提供一種基于語義上下文關(guān)系與幾何感知先驗的醫(yī)療影像器官分割方法。
2、為達(dá)到上述技術(shù)效果,本發(fā)明的技術(shù)方案如下:
3、一種基于語義上下文關(guān)系與幾何感知先驗的醫(yī)療影像器官分割方法,包括以下步驟:
4、將具有分割真值的多器官醫(yī)療影像數(shù)據(jù)劃分出幾何信息作為幾何先驗約束;
5、對待分割的多器官醫(yī)療影像數(shù)據(jù)進(jìn)行預(yù)處理,并輸入基于三維卷積的編碼譯碼網(wǎng)絡(luò)抽取多級特征;
6、對多器官醫(yī)療影像數(shù)據(jù)計算空間上下文語義關(guān)系,并將所述空間上下文語義關(guān)系注入所述多級特征;
7、通過所述編碼譯碼網(wǎng)絡(luò)將所述幾何先驗約束與所述多級特征進(jìn)行特征融合,并基于激活函數(shù)對待分割的多器官醫(yī)療影像數(shù)據(jù)進(jìn)行器官分割,得到分割結(jié)果。
8、本發(fā)明還提出一種基于語義上下文關(guān)系與幾何感知先驗的醫(yī)療影像器官分割系統(tǒng),應(yīng)用本發(fā)明提出的一種基于語義上下文關(guān)系與幾何感知先驗的醫(yī)療影像器官分割方法。所述系統(tǒng)包括:
9、幾何信息約束模塊:用于對具有分割真值的多器官醫(yī)療影像數(shù)據(jù)劃分出幾何信息作為幾何先驗約束;
10、多級特征抽取模塊:用于通過三維卷積的編碼譯碼網(wǎng)絡(luò)對輸入的醫(yī)療器官影像數(shù)據(jù)進(jìn)行抽取多級特征;
11、語義關(guān)系先驗傳播模塊:用于計算輸入的醫(yī)療器官影像數(shù)據(jù)的空間上下文語義關(guān)系,并逐級將所述空間上下文語義關(guān)系注入所述多級特征;
12、器官劃分模塊:通過編碼譯碼網(wǎng)絡(luò)對幾何先驗約束和多級特征進(jìn)行特征融合,基于激活函數(shù)對待分割的多器官醫(yī)療影像數(shù)據(jù)進(jìn)行器官分割,得到分割結(jié)果。
13、與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果:
14、本發(fā)明通過對已有劃分?jǐn)?shù)據(jù)的圖像提取幾何信息,作為幾何先驗約束,確保了幾何信息的一致性,同時提高了模型對圖像幾何特征的理解能力,從而使得最終的圖像處理結(jié)果更加精確;在深度三維卷積編碼譯碼模型框架下,再考慮體素空間上下文語義關(guān)系的準(zhǔn)確性,通過分析體素之間的空間關(guān)系,增強(qiáng)模型對于空間結(jié)構(gòu)的理解;再將空間上下文語義關(guān)系注入到多級特征中,增強(qiáng)模型對于特征的表達(dá)能力,從而在進(jìn)行圖像分割時,提供更加精確的語義分割結(jié)果。
1.一種基于語義上下文關(guān)系與幾何感知先驗的醫(yī)療影像器官分割方法,其特征在于,包括以下步驟:
2.根據(jù)權(quán)利要求1所述的基于語義上下文關(guān)系與幾何感知先驗的醫(yī)療影像器官分割方法,其特征在于,所述幾何信息包括幾何輪廓和幾何法向。
3.根據(jù)權(quán)利要求2所述的基于語義上下文關(guān)系與幾何感知先驗的醫(yī)療影像器官分割方法,其特征在于,所述幾何輪廓的劃分步驟包括:通過對多器官醫(yī)療影像數(shù)據(jù)的分割真值進(jìn)行標(biāo)注,逐器官確定各個器官的邊界體素,得到幾何輪廓。
4.根據(jù)權(quán)利要求2所述的基于語義上下文關(guān)系與幾何感知先驗的醫(yī)療影像器官分割方法,其特征在于,所述幾何法向的劃分步驟包括:
5.根據(jù)權(quán)利要求1所述的基于語義上下文關(guān)系與幾何感知先驗的醫(yī)療影像器官分割方法,其特征在于,所述計算空間上下文語義關(guān)系的步驟包括:對多器官醫(yī)療影像數(shù)據(jù)中的體素塊,設(shè)定領(lǐng)域范圍,依次記錄每一體素塊鄰域范圍內(nèi)鄰居體素的語義標(biāo)簽,構(gòu)建體素級空間上下文語義關(guān)系。
6.根據(jù)權(quán)利要求1所述的基于語義上下文關(guān)系與幾何感知先驗的醫(yī)療影像器官分割方法,其特征在于,所述將空間上下文語義關(guān)系注入所述多級特征的步驟包括:通過所述編碼譯碼網(wǎng)絡(luò)內(nèi)的多級旁路輸出結(jié)構(gòu)和特征金字塔,逐級將上下文語義關(guān)系注入多級特征。
7.根據(jù)權(quán)利要求6所述的基于語義上下文關(guān)系與幾何感知先驗的醫(yī)療影像器官分割方法,其特征在于,所述逐級將上下文語義關(guān)系注入多級特征的步驟包括:利用多級旁路輸出結(jié)構(gòu)預(yù)測不同層級上的語義關(guān)系,通過引入循環(huán)連接和三維卷積,將預(yù)測得到的高級特征層語義關(guān)系信息,沿特征金字塔結(jié)構(gòu)傳播到低級特征表達(dá)中,其表達(dá)式為:
8.根據(jù)權(quán)利要求1所述的基于語義上下文關(guān)系與幾何感知先驗的醫(yī)療影像器官分割方法,其特征在于,所述特征融合的步驟包括:先將所述幾何先驗約束融合進(jìn)多級特征中的第一級特征中,將注入有空間上下文語義關(guān)系的多級特征和融合了幾何先驗約束的第一級特征利用三維卷積層進(jìn)行特征融合,其表達(dá)式如下:
9.根據(jù)權(quán)利要求8所述的基于語義上下文關(guān)系與幾何感知先驗的醫(yī)療影像器官分割方法,其特征在于,所述基于激活函數(shù)對待分割的多器官醫(yī)療影像數(shù)據(jù)進(jìn)行器官分割的步驟包括:
10.一種基于語義上下文關(guān)系與幾何感知先驗的醫(yī)療影像器官分割系統(tǒng),應(yīng)用于權(quán)利要求1~9任一項所述的基于語義上下文關(guān)系與幾何感知先驗的醫(yī)療影像器官分割方法,其特征在于,所述系統(tǒng)包括: