本發(fā)明涉及血管圖像處理，具體為一種基于混合編碼器的多任務(wù)血管分割模型構(gòu)建方法。

背景技術(shù)：

1、早期診斷和醫(yī)療干預(yù)對(duì)于改善血管類(lèi)疾病的患者和患者的預(yù)后至關(guān)重要。臨床醫(yī)生可以利用血管成像技術(shù)觀(guān)察血管的異常情況，在疾病的早期進(jìn)行干預(yù)。然而，其臨床醫(yī)生需要具有足夠臨床經(jīng)驗(yàn)才能夠準(zhǔn)確診斷，有效利用數(shù)據(jù)的深度學(xué)習(xí)(dl)技術(shù)為醫(yī)學(xué)圖像分析開(kāi)辟了重要的新研究途徑。

2、當(dāng)前進(jìn)行圖像分割任務(wù)使用的深度學(xué)習(xí)模型普遍基于編碼器-解碼器的u型結(jié)構(gòu)網(wǎng)絡(luò)，其中，在編碼器部分采用的是cnn或vision?transformer?！皍-net:convolutionalnetworks?for?biomedical?image?segmentation”中指出unet是一種用于醫(yī)學(xué)圖像分割的卷積神經(jīng)網(wǎng)絡(luò)(cnn)架構(gòu)，它以其優(yōu)異的分割性能和結(jié)構(gòu)的簡(jiǎn)潔性成為了圖像分割任務(wù)中的經(jīng)典模型。unet主要用于像素級(jí)的分類(lèi)任務(wù)，尤其適用于需要精確邊界分割的場(chǎng)景，如醫(yī)學(xué)圖像分析。unet由兩個(gè)主要部分組成：編碼器(下采樣路徑)和解碼器(上采樣路徑)，以及它們之間的跳躍連接(skip?connections)。在卷積神經(jīng)網(wǎng)絡(luò)中的每個(gè)卷積層通過(guò)小的卷積核(如3x3或5x5)對(duì)血管圖像進(jìn)行操作，雖然通過(guò)小的卷積核可以有效捕捉局部特征，但小的卷積核會(huì)導(dǎo)致感受野受到限制，即每個(gè)卷積核只能關(guān)注到圖像的局部區(qū)域，而無(wú)法直接捕捉到更大范圍的全局信息。

3、vision?transformer盡管可以捕捉全局的圖像信息但其受到注意力機(jī)制的限制，特別是在處理長(zhǎng)序列建模時(shí)具有高額的二次復(fù)雜度，這導(dǎo)致在處理下游密集預(yù)測(cè)任務(wù)(如目標(biāo)檢測(cè)、語(yǔ)義分割等)時(shí)產(chǎn)生昂貴的計(jì)算開(kāi)銷(xiāo)。此外，在醫(yī)學(xué)成像中，像整片病理圖像這樣的高分辨率圖像很常見(jiàn)，其中基于transformer的模型可能存在過(guò)擬合問(wèn)題，需要大量數(shù)據(jù)才能進(jìn)行有效訓(xùn)練。

4、swin?transformer是一種改進(jìn)的transformer變體，專(zhuān)為計(jì)算機(jī)視覺(jué)任務(wù)設(shè)計(jì)，尤其是在處理高分辨率圖像時(shí)表現(xiàn)優(yōu)越。swintransformer路徑采用層次化的設(shè)計(jì)，通常一共有多個(gè)stage，除第一個(gè)stage采用linear?embedding和多個(gè)block構(gòu)成外，其余每個(gè)stage采用patchmerging和多個(gè)block構(gòu)成，通過(guò)patch?merging與來(lái)縮小特征圖的分變率。在第一個(gè)stage之前進(jìn)行patch?partition操作，將圖像分成小塊。swin?transformer?block由layer?norm、w-msa、mlp、sw-msa等構(gòu)成。

5、w-msa(window-based?multi-head?self-attention)是視覺(jué)transformer(如swintransformer)中的一個(gè)重要組件。它在標(biāo)準(zhǔn)的自注意力機(jī)制基礎(chǔ)上進(jìn)行改進(jìn)，以適應(yīng)圖像處理任務(wù)。輸入圖像被分割成多個(gè)不重疊的窗口(例如，每個(gè)窗口大小為p×p)，在每個(gè)窗口內(nèi)，使用多頭自注意力機(jī)制來(lái)捕捉局部的上下文信息，每個(gè)頭的注意力計(jì)算是在窗口范圍內(nèi)進(jìn)行的，這樣能夠保留空間信息并提高效率。為了增強(qiáng)模型的表達(dá)能力，有時(shí)會(huì)在窗口劃分后進(jìn)行窗口的移動(dòng)操作，使得模型能夠處理跨窗口的依賴(lài)關(guān)系，這樣做可以減少窗口劃分帶來(lái)的信息丟失。然而，盡管限制窗口大小或步幅可以降低注意力計(jì)算成本，但這也限制了接受域的范圍，從而直接影響了分割精度。

6、現(xiàn)代ssm不僅建立了長(zhǎng)距離依賴(lài)關(guān)系，而且在輸入大小方面表現(xiàn)出線(xiàn)性復(fù)雜性。在現(xiàn)代基于ssm的模型中，即結(jié)構(gòu)化狀態(tài)空間序列模型(s4)和mamba都依賴(lài)于一個(gè)經(jīng)典的連續(xù)系統(tǒng)，該系統(tǒng)通過(guò)中間隱式狀態(tài)h(t)∈rn將一維輸入函數(shù)或序列映射為x(t)∈rn到輸出y(t)∈rn，特別是vision?mamba通過(guò)選擇性機(jī)制進(jìn)一步改進(jìn)了s4，使模型能夠以依賴(lài)輸入的方式選擇相關(guān)信息。然而，現(xiàn)有的mamba架構(gòu)也有需要解決的局限性，由于mamba是基于ssm的架構(gòu)，mamba模型的隱藏狀態(tài)h(t)只能訪(fǎng)問(wèn)以前和當(dāng)前時(shí)間步長(zhǎng)的信息，這是一種令牌混合的因果模式，而圖像分割作為一種理解性的任務(wù)，這種因果模式會(huì)固有地限制了其表征能力。盡管vim提出了cross-scan?moudle(csm)來(lái)緩解全局背景和空間理解的缺乏，但每個(gè)分支仍然局限于因果模式將始終限制其建模表征能力。

7、當(dāng)前的基于編碼器-解碼器的u型結(jié)構(gòu)網(wǎng)絡(luò)，盡管在大部分醫(yī)學(xué)圖像分割任務(wù)中表現(xiàn)良好，然而在血管圖像分割中存在一定的限制，主要原因在于：血管結(jié)構(gòu)表現(xiàn)出明顯的形態(tài)變化，包括厚血管、薄血管和絲狀視網(wǎng)膜血管；小血管對(duì)比度低，形狀多樣，長(zhǎng)度一般小于10像素，有的甚至小于1像素；非血管結(jié)構(gòu)或病變(如視盤(pán))可能影響分割性能；由于數(shù)據(jù)采集不當(dāng)而產(chǎn)生的人工制品的存在帶來(lái)了額外的挑戰(zhàn)導(dǎo)致深度網(wǎng)絡(luò)的單一解碼器結(jié)構(gòu)不能較好的還原血管圖像。

8、現(xiàn)階段盡管多分支解碼器可以獲得更高的精度實(shí)現(xiàn)更精確的分割，但是在血管分割任務(wù)中，缺失的血管段可能在病理學(xué)上被誤認(rèn)為中風(fēng)，或者導(dǎo)致血流全局模擬的劇烈變化，因此正確預(yù)測(cè)的空間連續(xù)序列比虛假的正確預(yù)測(cè)更為重要，且現(xiàn)有的多解碼器網(wǎng)絡(luò)的一個(gè)顯著缺點(diǎn)是忽略了分支之間的預(yù)測(cè)一致性，從而導(dǎo)致次優(yōu)的性能和缺乏分支之間的相關(guān)性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明是為了解決現(xiàn)有技術(shù)所存在的上述技術(shù)問(wèn)題，提供一種基于混合編碼器的多任務(wù)血管分割模型構(gòu)建方法。

2、本發(fā)明的技術(shù)解決方案是：一種基于混合編碼器的多任務(wù)血管分割模型構(gòu)建方法，是基于編碼器-解碼器的u型結(jié)構(gòu)網(wǎng)絡(luò)進(jìn)行構(gòu)建：

3、所述編碼器是基于mamformer模塊的swin?transformer路徑多層編碼器，所述mamformer模塊使輸入的圖像塊經(jīng)過(guò)層歸一化后分成兩個(gè)信息流，一組信息流依次通過(guò)線(xiàn)性層、3×3深度卷積層、ss2d塊、歸一化層后添加到另一組依次通過(guò)線(xiàn)性層、w-msa的信息流中，合并后的信息流再經(jīng)過(guò)線(xiàn)性層與輸入跳躍連接后，得到mamformer模塊的最終輸出；

4、所述解碼器為多任務(wù)解碼器，是由三個(gè)解碼路徑組成，分別用于血管分割、輪廓邊緣分割和血管連通性分割，每個(gè)解碼路徑采用swin?transformer?block及patchexpanding作為構(gòu)建塊，用于生成與輸入圖像具有相同尺寸的特征映射；三個(gè)解碼路徑的swintransformerblock之間設(shè)置共享注意力機(jī)制，最終將三個(gè)解碼路徑的輸出沿著信道維度進(jìn)行拼接；

5、所述血管連通性解碼路徑的損失函數(shù)表達(dá)式如下：

6、lv＝1-softcldice

7、其中，lv表示血管連通性損失函數(shù)，softcldice表示對(duì)cldice使用連續(xù)概率值進(jìn)行計(jì)算，cldice表示cldice系數(shù)，其具體表達(dá)式如下：

8、

9、其中，vp表示真值掩碼，vl表示預(yù)測(cè)分割掩碼，sp和sl分別表示從vp,vl提取骨架，tprec(sp,vl)表示sp,vl之間的拓?fù)渚?，tsens(sl,vp)表示sl,vp之間的拓?fù)潇`敏度，其具體表達(dá)式如下：

10、

11、其中，|sp∩vl|表示sp與vl交集的元素個(gè)數(shù)，|sp|表示sp的元素個(gè)數(shù)，|sl∩vp|表示sl與vp交集的元素個(gè)數(shù)，|sl|表示sl的元素個(gè)數(shù)；

12、構(gòu)建自蒸餾損失函數(shù)，用于調(diào)節(jié)三個(gè)獨(dú)立的解碼路徑之間的分割一致性，所述自蒸餾損失函數(shù)的表達(dá)式如下：

13、lsd＝1-dice(sobel(yn),ye)

14、其中，lsd表示自蒸餾損失函數(shù)，dice表示sobel(yn)與ye之間的dice損失，sobel(yn)表示血管分支預(yù)測(cè)yn的sobel操作，ye表示解碼路徑預(yù)測(cè)的血管輪廓邊緣。

15、所述ss2d塊中包括掃描擴(kuò)展操作、s6塊操作和掃描合并操作。

16、所述解碼器的總體的損失函數(shù)ltotal表達(dá)式如下：

17、ltotal＝y(tǒng)n*ln+ye*le+yv*lv+ysd*lsd

18、其中，ltotal表示解碼器的總體的損失函數(shù)，yn、ye、yv、ysd分別表示ln、le、lv、lsd對(duì)應(yīng)權(quán)重，ln表示語(yǔ)義血管掩膜損失函數(shù)，le表示血管輪廓邊緣損失函數(shù)，lv表示血管連通性損失函數(shù)，lsd表示自蒸餾損失函數(shù)。

19、本發(fā)明是基于編碼器-解碼器的u型結(jié)構(gòu)網(wǎng)絡(luò)進(jìn)行構(gòu)建，包括四個(gè)關(guān)鍵模塊：mamformer混合編碼器、基于血管、輪廓和血管連通性分析的多任務(wù)解碼器、血管蒸餾損失和共享參數(shù)機(jī)制。mamformer混合編碼器通過(guò)在特征編碼過(guò)程中將改進(jìn)的mamba與w-msa集成在一起，通過(guò)提供窗口內(nèi)的全局圖像有效緩解了類(lèi)mamba模型下采樣時(shí)因因果序列的處理模式導(dǎo)致的血管輪廓變化的問(wèn)題，同時(shí)通過(guò)限制注意力機(jī)制僅在窗口內(nèi)部進(jìn)行計(jì)算，顯著降低了類(lèi)transformer模型的計(jì)算成本；基于血管、輪廓和血管連通性分析的多任務(wù)解碼器將血管邊緣檢測(cè)方法與血管連通性?xún)?yōu)化方法相結(jié)合，在特征解碼過(guò)程中保持血管的管狀拓?fù)浣Y(jié)構(gòu)，并充分利用血管圖像的輪廓信息，避免了上采樣過(guò)程中血管拓?fù)浣Y(jié)構(gòu)的變化；通過(guò)采用共享注意機(jī)制，學(xué)習(xí)到的特征在解碼器之間共享，可以減少模型參數(shù)的數(shù)量，防止過(guò)擬合；在訓(xùn)練過(guò)程中，通過(guò)血管連通性解碼路徑的損失函數(shù)及自蒸餾損失函數(shù)等構(gòu)成總損失函數(shù)，并使用反向傳播算法更新模型參數(shù)，逐步優(yōu)化模型的分割性能，訓(xùn)練完成后，模型能夠?qū)ρ軋D像進(jìn)行精確分割。