本發(fā)明涉及一種醫(yī)學(xué)圖像自動(dòng)分割方法，特別是一種基于通道混合和自注意力機(jī)制的u型網(wǎng)絡(luò)的醫(yī)學(xué)圖像自動(dòng)分割方法。

背景技術(shù)：

1、卷積神經(jīng)網(wǎng)絡(luò)(cnn)已被證明在醫(yī)學(xué)圖像分割中非常有效，這得益于它們?cè)谌娼Ｍǖ佬畔⒑屠斫饩植靠臻g關(guān)系方面的強(qiáng)大能力。然而，受限于感受野大小，傳統(tǒng)的卷積在捕獲長(zhǎng)距離相關(guān)性和全局上下文方面存在局限性。近年來(lái)，transformers憑借其在建模長(zhǎng)距離依賴關(guān)系和隱式空間關(guān)系的能力在醫(yī)學(xué)圖像分割中顯示出良好的前景。而在transformer模型中，備受關(guān)注的就是其自注意力設(shè)計(jì)，特別是局部窗口自注意力，通過(guò)其高效的計(jì)算和出色的空間信息捕獲能力，正逐漸成為計(jì)算機(jī)視覺中的關(guān)鍵組成部分。然而盡管transformer取得了重大進(jìn)展，但目前研究主要集中在自注意力的空間維度上，而缺乏對(duì)于通道維度的關(guān)注。其中正在被廣泛使用的局部窗口自注意力機(jī)制在通道維度上共享權(quán)重，這限制了它的通道建模的能力。此外，當(dāng)前的多頭自注意力機(jī)制通常采用切分通道維度的方式實(shí)現(xiàn)，然而由于通道信息之間缺乏交互，通道特征沒(méi)有得到充分利用。有研究發(fā)現(xiàn)一些注意力頭傾向于學(xué)習(xí)相似的線性投影，從而導(dǎo)致注意力圖冗余。因此，如何有效地緩解自注意力在通道特征建模中的限制，仍需進(jìn)一步探索。近幾年主要出現(xiàn)了如下幾種方法：

2、(1)基于注意力頭順序拆分的方法：通過(guò)對(duì)每個(gè)注意力頭執(zhí)行串行計(jì)算，并將上一個(gè)頭的計(jì)算結(jié)果輸入到下一個(gè)頭的計(jì)算中。這種串行級(jí)聯(lián)的方式可以增加不同注意力頭部之間的信息交互，從而減少通道冗余，提高計(jì)算效率。

3、(2)基于注意力頭分組并設(shè)計(jì)特征聚合的方法：通過(guò)對(duì)注意力頭部進(jìn)行分組，并將最后的多個(gè)注意力頭部輸出組合，利用設(shè)計(jì)好的模塊進(jìn)行特征通道聚合。這種方式可以充分的利用多頭注意力并行計(jì)算的特性，同時(shí)通過(guò)最后的特征融合模塊聚合來(lái)自多個(gè)頭部的通道特征信息。

4、以上的兩個(gè)做法都有著其局限性，導(dǎo)致模型在醫(yī)學(xué)圖像分割任務(wù)上的表現(xiàn)有限。串行級(jí)聯(lián)的方法雖然通過(guò)順序交互促進(jìn)了信息交換，但這種方法破壞了多頭注意力計(jì)算的并行性，降低了計(jì)算效率。另一方面，雖然在最后使用特征聚合模塊有助于融合多個(gè)頭部的特征信息。但是考慮到現(xiàn)行的transformer模型中，多頭注意力層的使用通常是一系列的連續(xù)過(guò)程。在這個(gè)過(guò)程的中仍然缺乏多個(gè)頭部之間的信息交互。因此，有必要設(shè)計(jì)一種適當(dāng)?shù)慕Y(jié)構(gòu)，能夠良好的利用多頭注意力層并行計(jì)算的優(yōu)勢(shì)，同時(shí)促進(jìn)多個(gè)頭部之間的信息交流，本發(fā)明旨在提出一種新方法以克服此困難并帶來(lái)更好推理結(jié)果。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于通道混合和自注意力機(jī)制的u型網(wǎng)絡(luò)的醫(yī)學(xué)圖像自動(dòng)分割方法。實(shí)現(xiàn)本發(fā)明目的的技術(shù)解決方案為：對(duì)采樣后的圖像塊特征通過(guò)基于通道分組和通道擾動(dòng)的自注意力層思想構(gòu)建的模型進(jìn)行特征提取，包括以下步驟：

2、步驟1、基于已有醫(yī)學(xué)圖像數(shù)據(jù)集，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。

3、步驟2、將處理完數(shù)據(jù)劃分為訓(xùn)練集，驗(yàn)證集和測(cè)試集。

4、步驟3、基于訓(xùn)練集訓(xùn)練設(shè)計(jì)好的分割網(wǎng)絡(luò)模型:

5、步驟3.1、使用多級(jí)的編碼器網(wǎng)絡(luò)進(jìn)行圖形特征的提取。

6、步驟3.2、在每個(gè)編碼器中首先通過(guò)前置的補(bǔ)丁嵌入模塊進(jìn)行位置信息的提取，中間的基于通道混合和通道洗牌的自注意力層提取全局空間信息和局部通道信息后，后置的卷積層提取局部空間信息并整合全局通道特征信息。

7、步驟3.3、使用和編碼器對(duì)稱的解碼器結(jié)構(gòu)進(jìn)行特征的恢復(fù)，同時(shí)使用高效融合模塊傳遞編碼器層級(jí)中的細(xì)節(jié)信息。

8、步驟3.4、基于損失函數(shù)計(jì)算損失后使用梯度下降算法收斂模型。

9、步驟4、重復(fù)步驟3訓(xùn)練分割網(wǎng)絡(luò)模型。

10、步驟5、使用訓(xùn)練后的分割網(wǎng)絡(luò)對(duì)測(cè)試數(shù)據(jù)進(jìn)行測(cè)試。

11、與現(xiàn)有技術(shù)相比，本發(fā)明的顯著優(yōu)點(diǎn)在于：

12、(1)為了解決多頭注意力通道冗余，提出了基于通道分組和通道擾動(dòng)的策略，該策略可以充分的利用多頭注意力之間的并行計(jì)算的優(yōu)勢(shì)，并無(wú)需額外參數(shù)的引入即可實(shí)現(xiàn)多個(gè)頭部之間的信息交流。

13、(2)結(jié)合不同維度卷積的全局通道融合模塊。該模塊由不同維度的卷積構(gòu)成，每一個(gè)編碼器階段的最后使用，不僅可以更加全面的融合來(lái)自不同頭部的特征信息，還能進(jìn)一步提取模型的局部空間信息。這樣的組合有利于結(jié)合卷積網(wǎng)絡(luò)和transformer網(wǎng)絡(luò)各自的優(yōu)勢(shì)。

14、(3)補(bǔ)充了一個(gè)交叉空間和通道注意力的高效特征融合模塊，以進(jìn)一步加強(qiáng)解碼器中特征信息的恢復(fù)。

15、下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。

技術(shù)特征：

1.一種基于通道混合和自注意力機(jī)制的醫(yī)學(xué)圖像自動(dòng)分割方法，其特征包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于通道混合和自注意力機(jī)制的醫(yī)學(xué)圖像自動(dòng)分割方法，其特征在于：步驟3中所述訓(xùn)練的網(wǎng)絡(luò)模型，其具體方法為：

3.根據(jù)權(quán)利要求1所述的基于通道混合和自注意力機(jī)制的醫(yī)學(xué)圖像自動(dòng)分割方法，其特征在于：步驟3.2中所述的分割網(wǎng)絡(luò)中每個(gè)編碼器中的特征提取模塊，其具體方法為：

技術(shù)總結(jié)
本發(fā)明公開了一種基于通道混合和自注意力機(jī)制的U型網(wǎng)絡(luò)的醫(yī)學(xué)圖像自動(dòng)分割方法。該方法將通道分組和擾動(dòng)策略引入自注意力機(jī)制，有效的緩解了傳統(tǒng)自注意力方法通道冗余，運(yùn)算成本昂貴等問(wèn)題，并將卷積層提取局部空間信息和全局通道信息與自注意力層提取長(zhǎng)距離空間依賴和建模局部通道信息的能力更加緊密的結(jié)合，以對(duì)特征有更加全面的建模能力。該方法使用的網(wǎng)絡(luò)首先將輸入的醫(yī)學(xué)核磁共振圖像或計(jì)算機(jī)斷層掃描圖像經(jīng)過(guò)一個(gè)下采樣層以初步提取特征信息并縮小他的空間維度，接著將特征圖送入一個(gè)多層級(jí)對(duì)稱的編碼器?解碼器網(wǎng)絡(luò)，每個(gè)層級(jí)包含一個(gè)設(shè)計(jì)好的模塊，該模塊結(jié)構(gòu)為一個(gè)由于深度可分離卷積構(gòu)成的補(bǔ)丁嵌入模塊，一個(gè)基于通道分組和通道擾動(dòng)的的自注意力層，一個(gè)由不同維度的卷積層構(gòu)成的瓶頸卷積層。其中補(bǔ)丁嵌入模塊用于提取位置信息，中間的自注意力層用于提取長(zhǎng)距離依賴關(guān)系，并通過(guò)通道分組和擾動(dòng)提取局部通道信息。瓶頸卷積層用于探索歸納偏置并聚合全局通道信息。此外，在解碼器的跳躍連接過(guò)程中，我們構(gòu)建了一個(gè)通道和空間交叉注意力的高效融合模塊，進(jìn)一步增強(qiáng)了特征信息的恢復(fù)能力。我們?cè)诙鄠€(gè)公共數(shù)據(jù)集上對(duì)所提出的模型進(jìn)行了評(píng)估，實(shí)驗(yàn)結(jié)果表明，本方法充分利用特征之間的通道信息和空間信息，相較于現(xiàn)有方法取得了較好的分割結(jié)果，可用于改善醫(yī)學(xué)圖像分割的性能，具有重要的應(yīng)用前景和實(shí)際意義。

技術(shù)研發(fā)人員：紀(jì)則軒,陳政
受保護(hù)的技術(shù)使用者：南京理工大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26