本發(fā)明涉及圖像處理，尤其涉及一種息肉分割方法及裝置。

背景技術(shù)：

1、結(jié)直腸癌對人類的生命造成了很大的威脅，大多數(shù)的結(jié)直腸癌都是由結(jié)直腸息肉發(fā)展而來。隨著病情的加重，病人的存活率會急劇下降，因此早期的發(fā)現(xiàn)對于疾病的防治有著重要意義。醫(yī)學圖像分割在醫(yī)學影像領(lǐng)域有著重要的應(yīng)用價值，通過將醫(yī)學圖像不同組織或者病變準確地分割出來，根據(jù)病灶形狀、大小、體積等，輔助醫(yī)生對病灶進行診斷。息肉形態(tài)大小差異大、邊界模糊、對比度低、和周圍的正常組織相似等因素都是造成息肉分割精度不高的主要原因。因此，設(shè)計自動可靠的分割方法十分有必要，不僅可以減輕醫(yī)生的負擔，而且可以減少漏檢率。

2、傳統(tǒng)的分割方法主要有閾值法、邊緣檢測法、區(qū)域生長法和聚類法等。雖然傳統(tǒng)方法能對息肉進行分割，但是分割的精度并不高。近年來，深度學習方法在語義分割領(lǐng)域表現(xiàn)出其強大的效果，在分割效果上優(yōu)于傳統(tǒng)的分割算法，成為最近研究的熱點。首先提出的全卷積神經(jīng)網(wǎng)絡(luò)(full?convolution?network，fcn)作為早期使用卷積神經(jīng)網(wǎng)絡(luò)的醫(yī)學圖像分割模型。然后全連接層被卷積層代替后，提出端到端的神經(jīng)網(wǎng)絡(luò)unet，因其由簡單的編碼器和解碼器組成并且在醫(yī)學圖像分割中表現(xiàn)出很好的分割效果，而成為醫(yī)學圖像分割中的基準網(wǎng)絡(luò)。隨后很多的研究者基于unet網(wǎng)絡(luò)，提出很多的改進版，例如在跳躍連接通過多尺度融合的方法，縮小特征圖之間的語義差異的unet++，加入殘差網(wǎng)絡(luò)的resunet，加入門控注意力機制來突出重要特征同時抑制不相關(guān)特征的attention?unet等改進版，都在醫(yī)學圖像分割中取得很好的表現(xiàn)。

3、針對息肉分割，也出現(xiàn)了很多的模型，deeplabv3+主要是通過空洞卷積和空間金字塔池化，來捕捉語義信息，在息肉分割中也有良好的效果。msne主要是通過五個編碼器進行提取特征，然后通過多尺度子網(wǎng)和多尺度差分模塊，這樣可以更好捕捉特征之間的差異，突出有用的差異信息并消除冗余部分的差異，提高分割精度。pranet網(wǎng)絡(luò)，通過并行部分解碼器(ppd)模塊來聚合高級特征，用反向注意力模塊(ra)間接提取輪廓信息。caranet通過軸向反向注意力和通道特征金字塔來挖掘小目標的特征信息，來提高對小目標的分割精度。bsca-net使用普通卷積提取特征，并使用多種注意力機制來逐步解碼。

4、transformer最初在自然語言處理領(lǐng)域中被使用，因其善于捕捉全局的能力，而在自然語言處理領(lǐng)域表現(xiàn)出了極好的效果。因為卷積神經(jīng)網(wǎng)絡(luò)善于捕捉局部的語義信息，而缺乏捕捉全局語義信息的能力。隨后，便有研究者將其引入到計算機視覺中，之后又提出vision?transformer。transunet、swin-unet和xboundformer等應(yīng)運而生，展現(xiàn)了transformer在醫(yī)學圖像分割中存在很大的潛力。有人提出了polyp-pvt，通過金字塔transformer進行編碼，更好地提取深度的語義信息。級聯(lián)融合模塊(cfm)獲取息肉的予語義和位置信息。聚合模塊(sam)來挖掘來自息肉區(qū)域的局部和全局的語義線索，在息肉分割中取得了不錯的效果。有提出的fcbformer，目的是結(jié)合transformer和全卷積網(wǎng)絡(luò)的優(yōu)勢，以提高分割的精度。transfuse通過將cnn(convolutional?neural?network，卷積神經(jīng)網(wǎng)絡(luò))和transformer以并行的方式結(jié)合在一起，提出的融合模塊來高效融合兩者特征，表現(xiàn)出了很好的分割能力。基于transformer研究者提出了金字塔視覺transformer(pvt),它最大特點是可以輸出不同大小的特征圖，計算量也有所減少，成為大部分分割網(wǎng)絡(luò)的主干部分。

5、雖然隨著深度學習的不斷發(fā)展，出現(xiàn)了很多的模型，但是針對息肉分割精度還待進一步提高。主要因為醫(yī)學圖像成像環(huán)境和技術(shù)等問題，成像的質(zhì)量要比自然圖像差，表現(xiàn)在低分辨率、低對比度和較多噪聲等。息肉圖像尤為突出，息肉與周圍組織顏色十分相似，導致邊界模糊，不清晰。特別對于早期比較小，不明顯的息肉，即使專業(yè)的醫(yī)生有時也不易發(fā)現(xiàn)。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供一種息肉分割方法及裝置，用以解決現(xiàn)有技術(shù)中分割邊界不清晰，分割精度和效率較低的缺陷，實現(xiàn)提供一種新型息肉分割算法，旨在提高息肉分割的準確性和效率。

2、本發(fā)明提供一種息肉分割方法，包括：

3、使用金字塔視覺transformer模型pvt提取息肉圖像的全局特征，使用卷積神經(jīng)網(wǎng)絡(luò)u-net提取所述息肉圖像的局部特征，使用融合模塊將所述全局特征和局部特征進行融合；

4、使用多尺度增強模塊通過空間注意力機制對所述融合模塊的融合結(jié)果進行處理以逐層強調(diào)空間信息，并利用解碼模塊對處理結(jié)果進行解碼；

5、使用邊界增強模塊通過空洞卷積和注意力機制對所述融合模塊的融合結(jié)果進行處理以強調(diào)邊界信息，并將所述邊界增強模塊的處理結(jié)果與所述解碼模塊的解碼結(jié)果進行融合后再次解碼，得到所述息肉圖像的分割結(jié)果。

6、根據(jù)本發(fā)明提供的一種息肉分割方法，所述使用融合模塊將所述全局特征和局部特征進行融合，包括：

7、在所述當前融合模塊為第一層融合模塊的情況下，將同一尺度的所述全局特征和所述局部特征進行卷積，將得到的大小相同的特征經(jīng)過哈達瑪乘積進行融合；

8、在所述當前融合模塊不為第一層融合模塊的情況下，將上一層融合模塊得到的最終融合結(jié)果與所述大小相同的特征經(jīng)過哈達瑪乘積進行融合；

9、將所述哈達瑪乘積的融合結(jié)果再經(jīng)過卷積后，與同一尺度的所述全局特征和所述局部特征進行拼接操作；

10、將所述拼接操作的結(jié)果經(jīng)過殘差網(wǎng)絡(luò)，得到同一尺度的所述全局特征和所述局部特征的最終融合結(jié)果。

11、根據(jù)本發(fā)明提供的一種息肉分割方法，所述使用多尺度增強模塊通過空間注意力機制對所述融合模塊的融合結(jié)果進行處理以逐層強調(diào)空間信息，包括：

12、在所述當前融合模塊不為第一層融合模塊的情況下，將所述當前融合模塊輸出的最終融合結(jié)果通過空間注意力機制獲得權(quán)重；

13、對第i層融合模塊對應(yīng)的權(quán)重進行i-1次上采樣，將第1至第i-1次上采樣結(jié)果對應(yīng)與第i-1至第1層融合模塊輸出的最終融合結(jié)果相乘，i為所述融合模塊除第1層以外的層序號；

14、將與所述第i層融合模塊輸出的最終融合結(jié)果相乘所得結(jié)果以及所述第i層融合模塊輸出的最終融合結(jié)果進行拼接。

15、根據(jù)本發(fā)明提供的一種息肉分割方法，所述利用解碼模塊對處理結(jié)果進行解碼，包括：

16、在當前解碼模塊為第一層解碼模塊的情況下，將最后一層融合模塊的融合結(jié)果輸入ppm模塊進行處理后的輸出和所述最后一層融合模塊的融合結(jié)果的處理結(jié)果進行拼接作為所述當前解碼模塊的輸入；

17、在當前解碼模塊不為第一層解碼模塊的情況下，將前一層解碼模塊的解碼結(jié)果和第n-(j-1)層融合模塊的融合結(jié)果的處理結(jié)果進行拼接作為所述解碼模塊的輸入，n為所述融合模塊的總層數(shù)，i為所述當前解碼模塊的層序號；

18、對所述當前解碼模塊的輸入進行卷積后進行三次空洞卷積；

19、將第一次和第二次空洞卷積的結(jié)果進行拼接后再進行卷積，

20、將再次卷積后得到的結(jié)果與第三次空洞卷積的結(jié)果進行拼接后，再進行卷積和反卷積，得到當前解碼模塊的解碼結(jié)果。

21、根據(jù)本發(fā)明提供的一種息肉分割方法，在所述使用金字塔視覺transformer模型pvt提取息肉圖像的全局特征，使用卷積神經(jīng)網(wǎng)絡(luò)u-net提取所述息肉圖像的局部特征之前，還包括：

22、分別計算每層解碼模塊得到的所述息肉圖像的分割結(jié)果和所述邊界增強模塊的輸出解碼后得到分割結(jié)果的損失；

23、根據(jù)所述損失進行后向傳播，更新所述pvt、u-net、多尺度增強模塊、解碼模塊和邊界增強模塊的權(quán)重。

24、根據(jù)本發(fā)明提供的一種息肉分割方法，所述使用邊界增強模塊通過空洞卷積和注意力機制對所述融合模塊的融合結(jié)果進行處理以強調(diào)邊界信息，包括：

25、使用空洞卷積和注意力機制對第一層融合模塊輸出的融合結(jié)果增強局部細節(jié)。

26、根據(jù)本發(fā)明提供的一種息肉分割方法，所述使用邊界增強模塊通過空洞卷積和注意力機制對所述融合模塊的融合結(jié)果進行處理以強調(diào)邊界信息，并將所述邊界增強模塊的處理結(jié)果與所述解碼模塊的解碼結(jié)果進行融合后再次解碼，得到所述息肉圖像的分割結(jié)果，包括：

27、將所述第一層融合模塊輸出的融合結(jié)果通過多個分支進行卷積，其中，除最后一個分支以外的每個其他分支均包括普通卷積和空洞卷積，所述最后一個分支包括1*1的卷積塊；

28、將所述其他分支得到的結(jié)果融合后，再與所述最后一個分支得到的結(jié)果相融構(gòu)成殘差連接，并通過relu函數(shù)進行處理；

29、將所述relu函數(shù)的輸出依次使用空間注意力和通道注意力進行處理后，與最后一層解碼模塊的解碼結(jié)果分別進行相加和相乘，將相加和相乘得到的特征進行拼接，得到所述息肉圖像的分割結(jié)果。

30、本發(fā)明還提供一種息肉分割裝置，包括：

31、提取融合模塊，用于使用金字塔視覺transformer模型pvt提取息肉圖像的全局特征，使用卷積神經(jīng)網(wǎng)絡(luò)u-net提取所述息肉圖像的局部特征，使用融合模塊將所述全局特征和局部特征進行融合；

32、空間增強模塊，用于使用多尺度增強模塊通過空間注意力機制對所述融合模塊的融合結(jié)果進行處理以逐層強調(diào)空間信息，并利用解碼模塊對處理結(jié)果進行解碼；

33、邊界增強模塊，用于使用邊界增強模塊通過空洞卷積和注意力機制對所述融合模塊的融合結(jié)果進行處理以強調(diào)邊界信息，并將所述邊界增強模塊的處理結(jié)果與所述解碼模塊的解碼結(jié)果進行融合后再次解碼，得到所述息肉圖像的分割結(jié)果。

34、本發(fā)明還提供一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)如上述任一種所述息肉分割方法。

35、本發(fā)明還提供一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一種所述息肉分割方法。

36、本發(fā)明還提供一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一種所述息肉分割方法。

37、本發(fā)明提供的息肉分割方法及裝置，提出一個并行雙分支網(wǎng)絡(luò)(pdb-net)，通過卷積神經(jīng)網(wǎng)絡(luò)分支來捕捉局部信息，通過pvt分支捕捉全局信息，然后將得到的特征通過融合模塊進行融合，完成特征提取工作；為了更好低利用深層特征，在跳躍鏈接部分提出了多尺度增強模塊，通過使用空間注意力機制逐層強調(diào)空間信息；為了強調(diào)邊界信息，提出了邊界增強模塊，通過空洞卷積和多分支卷積，來提高對多尺度信息的提取能力，進而對邊界信息進行強調(diào)，從而提高息肉分割的準確性和效率。