本發(fā)明涉及心血管圖像處理,尤其涉及一種斑塊自監(jiān)督分割方法及系統(tǒng)。
背景技術(shù):
1、斑塊,通常指動脈粥樣硬化斑塊,是血管內(nèi)壁上由脂質(zhì)、鈣質(zhì)、血細(xì)胞和纖維組織沉積形成的厚實突起。在腦血管疾病中,斑塊的存在和穩(wěn)定性至關(guān)重要。穩(wěn)定的斑塊可能局限增長,而不穩(wěn)定的斑塊容易破裂,導(dǎo)致血小板聚集形成血栓,進而可能引起心肌梗死或腦卒中。因此,檢測和評估血管斑塊的穩(wěn)定性是預(yù)防心血管事件的關(guān)鍵。
2、傳統(tǒng)的血管成像技術(shù),如cta(計算機斷層血管造影)和mra(磁共振血管造影),在判斷血管壁病理特征方面存在一定的局限性。這些方法無法準(zhǔn)確地提供血管壁本身的詳細(xì)信息,難以全面評估斑塊的穩(wěn)定性和相關(guān)病理學(xué)特征。近年來,高分辨率磁共振血管壁成像(hrmr-vwi)迅速發(fā)展,成為一種有效的影像學(xué)檢查手段。hrmr-vwi能夠清晰地顯示血管壁的細(xì)節(jié),準(zhǔn)確分割和評估斑塊的位置、形態(tài)和大小,已被廣泛應(yīng)用于臨床。
3、盡管hrmr-vwi在血管斑塊的檢測和評估方面取得了顯著進展,但現(xiàn)有技術(shù)仍存在一些不足之處:(1)人工標(biāo)注復(fù)雜且耗時,斑塊分割需要標(biāo)注樣本對深度學(xué)習(xí)網(wǎng)絡(luò)進行訓(xùn)練。影像中的斑塊形態(tài)和大小多樣,且需要高度專業(yè)的醫(yī)學(xué)知識才能進行準(zhǔn)確標(biāo)注。這使得人工標(biāo)注斑塊樣本成為一項復(fù)雜和耗時的任務(wù)。(2)標(biāo)注結(jié)果的主觀性和不一致性,由于醫(yī)學(xué)影像數(shù)據(jù)的復(fù)雜性和多樣性,標(biāo)注過程中可能存在主觀性和不一致性。這些因素會影響標(biāo)注結(jié)果的可靠性和一致性,從而影響深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練效果和分割精度。
技術(shù)實現(xiàn)思路
1、本發(fā)明所要解決的技術(shù)問題是針對上述現(xiàn)有技術(shù)的不足,提供一種斑塊自監(jiān)督分割方法及系統(tǒng)。
2、本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下:一種斑塊自監(jiān)督分割方法,包括如下步驟:
3、獲取樣本高分辨率磁共振血管壁圖像,并對所述樣本高分辨率磁共振血管壁圖像進行預(yù)處理;
4、對預(yù)處理后的每張所述樣本高分辨率磁共振血管壁圖像進行圖像增強處理;
5、構(gòu)造自監(jiān)督模型,并將圖像增強處理后的所有所述樣本高分辨率磁共振血管壁圖像輸入至所述自監(jiān)督模型進行自監(jiān)督預(yù)訓(xùn)練;
6、將自監(jiān)督預(yù)訓(xùn)練后的所有所述自監(jiān)督模型的參數(shù)遷移至下游的分割網(wǎng)絡(luò)模型,并使用預(yù)先標(biāo)記斑塊標(biāo)注的樣本高分辨率磁共振血管壁圖像對所述分割網(wǎng)絡(luò)模型進行微調(diào)訓(xùn)練;
7、將目標(biāo)高分辨率磁共振血管壁圖像輸入至微調(diào)訓(xùn)練好的所述分割網(wǎng)絡(luò)模型中進行分割,得到分割預(yù)測圖。
8、在上述技術(shù)方案的基礎(chǔ)上,本發(fā)明還可以做如下改進:
9、進一步:所述對預(yù)處理后的所述樣本高分辨率磁共振血管壁圖像進行圖像增強處理具體包括如下步驟:
10、將預(yù)處理后的每張所述樣本高分辨率磁共振血管壁圖像進行兩種不同的圖像增強操作處理,所述圖像增強操作處理至少包括隨機旋轉(zhuǎn)、隨機裁剪和添加噪聲,具體處理公式為:
11、x′=t(x)
12、x′1=t1(x)
13、x′2=t2(x)
14、其中,x為原始未標(biāo)注的樣本高分辨率磁共振血管壁圖像,t為圖像增強操作,x′為增強操作后的樣本高分辨率磁共振血管壁圖像,t1第一圖像增強方式,t2為第二圖像增強方式,x1′為經(jīng)過第一圖像增強方式處理后的樣本高分辨率磁共振血管壁圖像,x2′為經(jīng)過第二圖像增強方式處理后的樣本高分辨率磁共振血管壁圖像。
15、上述進一步方案的有益效果是:高分辨率磁共振血管壁圖像經(jīng)過所述圖像增強處理,可以使自監(jiān)督模型學(xué)習(xí)到更加魯棒的特征表示。模型能夠更有效地捕捉血管壁的微細(xì)結(jié)構(gòu)和關(guān)鍵模式,從而在后續(xù)任務(wù)中展現(xiàn)出更優(yōu)異的性能表現(xiàn)。進一步:所述將圖像增強處理后的所有所述樣本高分辨率磁共振血管壁圖像輸入至所述自監(jiān)督模型進行自監(jiān)督預(yù)訓(xùn)練具體包括如下步驟:
16、將經(jīng)過兩種不同的圖像增強操作處理后的同一張樣本高分辨率磁共振血管壁圖像輸入至所述自監(jiān)督模型,提取特征信息,其中,特征信息的提取公式為:
17、feature=f(x)
18、feature1=f(x′1)
19、feature2=f(x′2)
20、其中,feature為原始未標(biāo)注的樣本高分辨率磁共振血管壁圖像經(jīng)過自監(jiān)督模型提取的特征信息,feature1為對經(jīng)過第一圖像增強方式處理后的樣本高分辨率磁共振血管壁圖像進行特征信息提取得到的第一特征信息,feature2為對經(jīng)過第二圖像增強方式處理后的樣本高分辨率磁共振血管壁圖像進行特征信息提取得到的第二特征信息;
21、構(gòu)建第一損失函數(shù),并計算所述第一特征信息和第二特征信息的第一相似度,所述第一損失函數(shù)為:
22、l1=|feature1-feature2|
23、其中,l1為第一特征信息和第二特征信息的第一相似度;
24、構(gòu)建圖像重建函數(shù),并基于所述圖像重建函數(shù)將圖像增強處理后的所述樣本高分辨率磁共振血管壁圖像進行恢復(fù),得到重建圖像,所述圖像重建函數(shù)為:
25、y=g(x′)
26、y1′=g(x1′)
27、y2′=g(x2′)
28、其中,g為圖像重建函數(shù),y為進行增強操作后的原始未標(biāo)注樣本高分辨率磁共振血管壁圖像,y1′為由經(jīng)過第一圖像增強方式處理后的樣本高分辨率磁共振血管壁圖像恢復(fù)的第一重建圖像,y2′為由經(jīng)過第二圖像增強方式處理后的樣本高分辨率磁共振血管壁圖像恢復(fù)的第二重建圖像;
29、構(gòu)建第二損失函數(shù),并分別計算原始未標(biāo)注的樣本高分辨率磁共振血管壁圖像與所述第一重建圖像之間、原始未標(biāo)注的樣本高分辨率磁共振血管壁圖像和第二重建圖像之間、以及所述第一重建圖像和第二重建圖像之間的第二相似度,所述第二損失函數(shù)為:
30、
31、
32、
33、其中,l201為原始未標(biāo)注的樣本高分辨率磁共振血管壁圖像與所述第一重建圖像之間的第二相似度,l202為原始未標(biāo)注的樣本高分辨率磁共振血管壁圖像和第二重建圖像之間的第二相似度,l212為所述第一重建圖像和第二重建圖像之間的第二相似度。
34、上述進一步方案的有益效果是:通過將經(jīng)過兩種不同的圖像增強操作處理后的同一張樣本高分辨率磁共振血管壁圖像輸入至所述自監(jiān)督模型進行訓(xùn)練,得到第一特征信息和第二特征信息,并通過第一損失函數(shù)計算所述第一特征信息和第二特征信息的第一相似度,同時,通過圖像重建函數(shù)對所述圖像增強處理后的所述樣本高分辨率磁共振血管壁圖像進行恢復(fù),得到第一重建圖像和第二重建圖像,并通過第二損失函數(shù)計算得到原始未標(biāo)注的樣本高分辨率磁共振血管壁圖像與所述第一重建圖像之間、原始未標(biāo)注的樣本高分辨率磁共振血管壁圖像和第二重建圖像之間、以及所述第一重建圖像和第二重建圖像之間的第二相似度。通過在不同的增強條件下進行訓(xùn)練,自監(jiān)督模型能夠提取出更豐富且魯棒的特征表示,從而增強了對血管壁圖像的理解能力和敏感性。此外,圖像重建損失的引入使模型能夠更好地優(yōu)化圖像細(xì)節(jié)的還原能力。通過這種多層次的特征學(xué)習(xí),模型在特征提取階段獲得了豐富的特征信息,并將這些特征遷移至分割網(wǎng)絡(luò),從而提升了分割任務(wù)的精度,同時減少了分割網(wǎng)絡(luò)在訓(xùn)練過程中對大量標(biāo)注圖像的依賴。
35、進一步:所述將自監(jiān)督預(yù)訓(xùn)練后的所有所述自監(jiān)督模型的參數(shù)遷移至下游分割網(wǎng)絡(luò)模型,并使用預(yù)先標(biāo)記斑塊標(biāo)注的樣本高分辨率磁共振血管壁圖像對所述分割網(wǎng)絡(luò)模型進行微調(diào)訓(xùn)練具體包括如下步驟:
36、利用自監(jiān)督預(yù)訓(xùn)練后的所有所述自監(jiān)督模型的參數(shù)對所述分割網(wǎng)絡(luò)模型進行初始化;
37、將預(yù)先標(biāo)記斑塊標(biāo)注y={y1,y2,…,yn}的樣本高分辨率磁共振血管壁圖像x={x1,x2,…,xn}輸入至所述分割網(wǎng)絡(luò)模型中,利用分割損失函數(shù)和交叉熵對所述分割網(wǎng)絡(luò)模型進行訓(xùn)練,所述分割網(wǎng)絡(luò)模型為:
38、l3=αdl+(1-α)ce
39、
40、
41、其中,α為調(diào)節(jié)系數(shù),dl為分割損失函數(shù),ce為交叉熵?fù)p失,n為樣本數(shù)量,yi是第i個樣本的真實標(biāo)簽,pi是第i個樣本的預(yù)測結(jié)果。
42、上述進一步方案的有益效果是:通過預(yù)先標(biāo)記斑塊標(biāo)注的樣本高分辨率磁共振血管壁圖像對所述分割網(wǎng)絡(luò)模型進行訓(xùn)練,確定模型參數(shù),保證訓(xùn)練后的分割網(wǎng)絡(luò)模型具備分割識別精度
43、進一步:所述將目標(biāo)高分辨率磁共振血管壁圖像輸入至微調(diào)訓(xùn)練好的所述分割網(wǎng)絡(luò)模型中進行分割,得到分割預(yù)測圖具體包括如下步驟:
44、將所述目標(biāo)高分辨率磁共振血管壁圖像按照預(yù)設(shè)規(guī)格分割成塊;
45、將分割成塊的所述目標(biāo)高分辨率磁共振血管壁圖像輸入至所述分割網(wǎng)絡(luò)模型進行分割,得到分割預(yù)測圖。
46、上述進一步方案的有益效果是:通過將目標(biāo)高分辨率磁共振血管壁圖像按照預(yù)設(shè)規(guī)格分割成塊;,可以避免內(nèi)存限制和網(wǎng)絡(luò)架構(gòu)的不足,提高分割算法的性能。
47、進一步:所述的基于自監(jiān)督模型的斑塊分割方法還包括如下步驟:
48、根據(jù)所述分割預(yù)測圖計算dice系數(shù)和最大表表面距離msd,并根據(jù)所述dice系數(shù)和最大表表面距離msd對所述分割預(yù)測圖的分割質(zhì)量進行評價。
49、上述進一步方案的有益效果是:通過計算dice系數(shù)和最大表表面距離msd,可以更加精確地評估分割結(jié)果的質(zhì)量,方便直觀。
50、進一步:所述根據(jù)所述分割預(yù)測圖計算dice系數(shù)和最大表表面距離msd的方法包括如下步驟:
51、計算所述分割預(yù)測圖中的體素va和基準(zhǔn)真實值的體素vb,并計算所述dice系數(shù),計算公式為:
52、
53、根據(jù)所述分割預(yù)測圖所構(gòu)成的面sa以及基準(zhǔn)真實值構(gòu)成的面計算所述最大表表面距離msd,計算公式為:
54、msd=max{maxd(sa,sb),max?d(sb,sa)}
55、其中,d(sb,sa)為所述分割預(yù)測圖所構(gòu)成的面sa中的任一點到基準(zhǔn)真實值構(gòu)成的面sb的最近歐式距離,d(sa,sb)為基準(zhǔn)真實值構(gòu)成的面中的任一點到所述分割預(yù)測圖所構(gòu)成的面sa的最近歐式距離。
56、上述進一步方案的有益效果是:通過計算dice系數(shù)可以表明兩種分割結(jié)果的重疊度,作為評價分割質(zhì)量的一個標(biāo)準(zhǔn),通過計算最大表表面距離msd來作為評價分割質(zhì)量的另一個標(biāo)準(zhǔn),最大表表面距離msd越小,表明分割質(zhì)量越高。
57、本發(fā)明還提供了一種基于自監(jiān)督模型的斑塊分割系統(tǒng),包括預(yù)處理模塊、圖像增強模塊、自監(jiān)督模塊和分割網(wǎng)絡(luò)模塊;
58、所述預(yù)處理模塊,用于獲取樣本高分辨率磁共振血管壁圖像,并對所述樣本高分辨率磁共振血管壁圖像進行預(yù)處理;
59、所述圖像增強模塊,用于對預(yù)處理后的每張所述樣本高分辨率磁共振血管壁圖像進行圖像增強處理;
60、所述自監(jiān)督模塊,用于構(gòu)造自監(jiān)督模型,并將圖像增強處理后的所有所述樣本高分辨率磁共振血管壁圖像輸入至所述自監(jiān)督模型進行自監(jiān)督預(yù)訓(xùn)練;
61、所述分割網(wǎng)絡(luò)模塊,用于將自監(jiān)督預(yù)訓(xùn)練后的所有所述自監(jiān)督模型的參數(shù)遷移至下游的分割網(wǎng)絡(luò)模型,并使用預(yù)先標(biāo)記斑塊標(biāo)注的樣本高分辨率磁共振血管壁圖像對所述分割網(wǎng)絡(luò)模型進行微調(diào)訓(xùn)練;
62、所述分割網(wǎng)絡(luò)模塊,還用于將目標(biāo)高分辨率磁共振血管壁圖像輸入至微調(diào)訓(xùn)練好的所述分割網(wǎng)絡(luò)模型中進行分割,得到分割預(yù)測圖。
63、本發(fā)明還提供了一種計算機可讀存儲介質(zhì),存儲有計算機程序,其特征在于:所述計算機程序被處理器執(zhí)行時,實現(xiàn)所述的基于自監(jiān)督模型的斑塊分割方法。
64、本發(fā)明還提供了一種基于自監(jiān)督模型的斑塊分割設(shè)備,包括通信接口、存儲器、通信總線和處理器,其中,所述處理器、通信接口和存儲器通過所述通信總線完成相互間的通信;
65、所述存儲器,用于存放計算機程序;
66、所述處理器,用于執(zhí)行所述存儲器上所存放的程序時,實現(xiàn)所述的基于自監(jiān)督模型的斑塊分割方法的步驟。
67、本發(fā)明的有益效果是:本發(fā)明的斑塊自監(jiān)督分割方法及系統(tǒng),通過對樣本高分辨率磁共振血管壁圖像進行圖像增強處理,然后利用血管壁圖像中的自身信息對自監(jiān)督模型進行訓(xùn)練,并將自監(jiān)督模型的參數(shù)遷移至下游的分割網(wǎng)絡(luò)模型,結(jié)合預(yù)先標(biāo)記斑塊標(biāo)注的樣本高分辨率磁共振血管壁圖像對分割網(wǎng)絡(luò)模型進行微調(diào)訓(xùn)練,這樣來對目標(biāo)高分辨率磁共振血管壁圖像進行準(zhǔn)確分割,無需依賴繁瑣的手動標(biāo)注流程,降低了人工標(biāo)注所帶來的成本和時間消耗,高效、可行,為醫(yī)生提供了更準(zhǔn)確、更便捷的斑塊定位和評估工具。