本發(fā)明涉及圖像分割,具體來說,涉及一種多尺度感知解耦的超聲圖像分割方法。
背景技術(shù):
1、超聲圖像分割是一種重要的圖像處理技術(shù),尤其在醫(yī)學(xué)成像領(lǐng)域中具有關(guān)鍵意義,這種技術(shù)涉及將超聲圖像中的不同組織或結(jié)構(gòu)進(jìn)行精確的識(shí)別和分離?;诙喑叨雀兄怦畹某晥D像分割是一種先進(jìn)的圖像處理技術(shù),旨在提高超聲圖像分割的準(zhǔn)確性和效率,特別是在處理復(fù)雜的醫(yī)學(xué)圖像時(shí),這種方法通過在不同的尺度上捕獲和處理圖像信息,能夠更好地理解和區(qū)分圖像中的各種結(jié)構(gòu)和細(xì)節(jié)。
2、多尺度感知指的是同時(shí)考慮圖像在不同尺度(大小、分辨率)上的特征,從而能夠捕捉從粗糙到精細(xì)的結(jié)構(gòu)信息,這對(duì)于超聲圖像特別重要,因?yàn)槌晥D像中的組織結(jié)構(gòu)在不同的尺度上展現(xiàn)出不同的特征。多尺度感知解耦在自然圖像上的強(qiáng)大分割能力引發(fā)了廣泛關(guān)注,并且一些研究人員將其成功的遷移到醫(yī)學(xué)圖像分割上。但是,由于分割掩碼和提示信息的高度耦合性,使得分割結(jié)果極其容易受到不良提示的影響。同時(shí),超聲圖像的模糊邊界和目標(biāo)的形狀差異,給超聲圖像的目標(biāo)分割帶來了極大的挑戰(zhàn)。
3、針對(duì)相關(guān)技術(shù)中的問題,目前尚未提出有效的解決方案。
技術(shù)實(shí)現(xiàn)思路
1、針對(duì)相關(guān)技術(shù)中的問題,本發(fā)明提出一種多尺度感知解耦的超聲圖像分割方法,以克服現(xiàn)有相關(guān)技術(shù)所存在的上述技術(shù)問題。
2、為此,本發(fā)明采用的具體技術(shù)方案如下:
3、一種多尺度感知解耦的超聲圖像分割方法,該多尺度感知解耦的超聲圖像分割方法包括:
4、將采集的超聲圖像輸入至多尺度感知編碼器中,利用多尺度感知編碼器生成超聲圖像中的多尺度感知編碼器特征嵌入;
5、利用提示編碼器對(duì)稀釋提示進(jìn)行映射得到圖像提示特征嵌入;
6、將多尺度感知編碼器特征嵌入和圖像提示特征嵌入進(jìn)行多層次融合,并對(duì)多層次融合結(jié)果進(jìn)行特征增強(qiáng),得到超聲圖像分割結(jié)果。
7、優(yōu)選地,將采集的超聲圖像輸入至多尺度感知編碼器中,利用多尺度感知編碼器生成超聲圖像中的多尺度感知編碼器特征嵌入包括:
8、利用多尺度感知編碼器中主干網(wǎng)絡(luò)對(duì)超聲圖像進(jìn)行初步編碼處理,得到圖像的全局上下文特征;
9、利用多尺度感知編碼器中輔助網(wǎng)絡(luò)提取超聲圖像中的細(xì)節(jié)特征,并對(duì)細(xì)節(jié)特征依次進(jìn)行拼接及維度轉(zhuǎn)換處理,得到超聲圖像的局部細(xì)節(jié)特征;
10、將局部細(xì)節(jié)特征融入至主干網(wǎng)絡(luò)中進(jìn)行微調(diào),并在主干網(wǎng)絡(luò)和輔助網(wǎng)絡(luò)之間引入共振機(jī)制,實(shí)現(xiàn)特征圖之間的協(xié)同優(yōu)化。
11、優(yōu)選地,利用多尺度感知編碼器中主干網(wǎng)絡(luò)對(duì)超聲圖像進(jìn)行初步編碼處理,得到圖像的全局上下文特征包括:
12、在預(yù)定義的數(shù)據(jù)集上訓(xùn)練sam編碼器,并利用sam編碼器權(quán)重對(duì)多尺度感知編碼器的主干網(wǎng)絡(luò)進(jìn)行初始化;
13、利用主干網(wǎng)絡(luò)預(yù)定義的卷積層對(duì)超聲圖像進(jìn)行初步編碼處理;
14、初步編碼后的超聲圖像經(jīng)過若干包含窗口注意力和殘差連接的視覺轉(zhuǎn)換器后,得到圖像的全局上下文特征。
15、優(yōu)選地,利用多尺度感知編碼器中輔助網(wǎng)絡(luò)提取超聲圖像中的細(xì)節(jié)特征,并對(duì)細(xì)節(jié)特征依次進(jìn)行拼接及維度轉(zhuǎn)換處理,得到超聲圖像的局部細(xì)節(jié)特征包括:
16、采用預(yù)定的卷積模塊對(duì)超聲圖像進(jìn)行下采樣,得到若干初始特征圖;
17、將初始特征圖作為形狀邊界自適應(yīng)感知模塊的輸入,利用形狀邊界自適應(yīng)感知模塊捕捉初始特征圖中的形狀和邊界信息,得到細(xì)節(jié)特征圖;
18、對(duì)細(xì)節(jié)特征圖依次進(jìn)行通道拼接及維度轉(zhuǎn)換,得到超聲圖像的局部細(xì)節(jié)特征。
19、優(yōu)選地,利用形狀邊界自適應(yīng)感知模塊捕捉初始特征圖中的形狀和邊界信息,得到細(xì)節(jié)特征圖包括:
20、提取初始特征圖中的形狀信息權(quán)重,將形狀信息權(quán)重與初始特征圖作乘積運(yùn)算后進(jìn)行通道拼接,得到形狀增強(qiáng)特征圖;
21、利用濾波器銳化超聲圖像分割目標(biāo)的邊緣特征得到邊緣特征圖,并集成邊緣特征圖后與初始特征圖進(jìn)行通道拼接,得到邊緣增強(qiáng)特征圖;
22、將形狀增強(qiáng)特征圖與邊緣增強(qiáng)特征圖進(jìn)行通道拼接,并結(jié)合廣播機(jī)制生成最終增強(qiáng)特征圖。
23、優(yōu)選地,將形狀增強(qiáng)特征圖與邊緣增強(qiáng)特征圖進(jìn)行通道拼接,并結(jié)合廣播機(jī)制生成最終增強(qiáng)特征圖包括:
24、將形狀增強(qiáng)特征圖與邊緣增強(qiáng)特征圖進(jìn)行通道拼接得到融合特征圖;
25、利用全局平均池化層對(duì)融合特征圖依次進(jìn)行特征抽象及升降維處理,得到增強(qiáng)注意力圖;
26、計(jì)算通道維度權(quán)重,將增強(qiáng)注意力圖與通道維度權(quán)重作乘積運(yùn)算后,得到通道維度增強(qiáng)后的特征圖;
27、獲取每個(gè)通道維度上與通道維度增強(qiáng)后的特征圖對(duì)應(yīng)位置的平均值,并計(jì)算空間維度的權(quán)重;
28、結(jié)合廣播機(jī)制將空間維度權(quán)重融合特征圖相加得到最終增強(qiáng)特征圖。
29、優(yōu)選地,將局部細(xì)節(jié)特征融入至主干網(wǎng)絡(luò)中進(jìn)行微調(diào),并在主干網(wǎng)絡(luò)和輔助網(wǎng)絡(luò)之間引入共振機(jī)制,實(shí)現(xiàn)特征圖之間的協(xié)同優(yōu)化包括:
30、將圖像的全局上下文特征及局部細(xì)節(jié)特征分別與主干網(wǎng)絡(luò)和輔助網(wǎng)絡(luò)的權(quán)重作乘積運(yùn)算,實(shí)現(xiàn)主干網(wǎng)絡(luò)和輔助網(wǎng)絡(luò)的特征共振;
31、將輔助網(wǎng)絡(luò)提取的局部細(xì)節(jié)特征融入到主干網(wǎng)絡(luò)的多頭注意力模塊中進(jìn)行微調(diào),生成多尺度感知編碼器特征嵌入。
32、優(yōu)選地,將輔助網(wǎng)絡(luò)提取的局部細(xì)節(jié)特征融入到主干網(wǎng)絡(luò)的多頭注意力模塊中進(jìn)行微調(diào),生成多尺度感知編碼器特征嵌入包括:
33、結(jié)合局部細(xì)節(jié)特征計(jì)算得到鍵向量、值向量,并基于局部細(xì)節(jié)特征在進(jìn)行窗口注意力和歸一化處理后生成的主干特征計(jì)算查詢向量;
34、基于鍵向量、值向量及查詢向量,通過注意力機(jī)制計(jì)算得到融合特征;
35、將主干特征和融合特征進(jìn)行殘差連接,并加入至主干網(wǎng)絡(luò)的多頭注意力模塊中生成最終融合特征;
36、將最終融合特征與全局上下文特征相加得到多尺度感知編碼器特征嵌入。
37、優(yōu)選地,將多尺度感知編碼器特征嵌入和圖像提示特征嵌入進(jìn)行多層次融合,并對(duì)多層次融合結(jié)果進(jìn)行特征增強(qiáng),得到超聲圖像分割結(jié)果包括:
38、將多尺度感知編碼器特征嵌入和圖像提示特征嵌入輸入至交叉注意力中得到掩碼嵌入;
39、采用預(yù)定義的卷積模塊對(duì)多尺度感知編碼器特征嵌入、圖像提示特征嵌入及掩碼嵌入依次進(jìn)行特征維度轉(zhuǎn)換及權(quán)重提取;
40、基于權(quán)重提取結(jié)果計(jì)算背景注意力圖,并將背景注意力圖與多尺度感知編碼器特征嵌入進(jìn)行元素點(diǎn)乘后輸入至空間注意力模塊中進(jìn)行特征增強(qiáng);
41、將局部細(xì)節(jié)特征與圖像提示特征嵌入進(jìn)行通道拼接并輸入至卷積模塊中進(jìn)行特征融合,并結(jié)合超聲圖像的紋理信息對(duì)超聲圖像分割;
42、將掩碼嵌入與局部細(xì)節(jié)特征進(jìn)行通道拼接后輸入至上采樣層中恢復(fù)特征圖大小,得到超聲圖像分割結(jié)果。
43、優(yōu)選地,超聲圖像分割結(jié)果的表達(dá)式為:
44、fo=up(conv(sat((1-s(fk)⊙fma))+conv(fkθfc)))
45、式中,fo表示超聲圖像分割結(jié)果,up表示上采樣層;conv表示卷積模塊;sat表示空間注意力模塊;s表示sigmoid函數(shù);⊙表示點(diǎn)乘;θ表示通道拼接;fk表示掩碼嵌入;fma表示多尺度感知編碼器特征嵌入;fc表示局部細(xì)節(jié)特征。
46、本發(fā)明的有益效果為:
47、本發(fā)明通過多尺度感知編碼器能夠增強(qiáng)編碼器對(duì)目標(biāo)的特征學(xué)習(xí)能力,并在編碼器中嵌入形狀邊界自適應(yīng)感知模塊,可以更準(zhǔn)確的捕獲目標(biāo)的形狀和邊緣信息;同時(shí)為了降低分割結(jié)果和提示信息的耦合性,通過解耦增強(qiáng)解碼器對(duì)特征經(jīng)過交叉注意力增強(qiáng)和來自多尺度感知編碼器多層次融合特征,減少了特征學(xué)習(xí)過程中提示信息的比例,同時(shí)降低了網(wǎng)絡(luò)對(duì)不良提示信息的敏感性,最后將融合后的特征輸入空間注意力模塊進(jìn)行特征增強(qiáng),從而得到最終的分割結(jié)果,進(jìn)而提升超聲圖像的分割質(zhì)量。