本發(fā)明涉及圖像處理，更具體的說是涉及一種基于febe-net的膀胱腫瘤圖像分割方法及系統(tǒng)。

背景技術(shù)：

1、膀胱癌是全球范圍內(nèi)十大最常見的癌癥之一，然而，通過手術(shù)治療，早期膀胱癌的治愈率很高，因此，早期發(fā)現(xiàn)和切除膀胱腫瘤對(duì)提升膀胱癌的治愈率至關(guān)重要。目前，膀胱鏡檢查是早期膀胱腫瘤篩查的主要檢查方法之一。在臨床實(shí)踐中，為了減輕對(duì)泌尿外科醫(yī)生的視覺檢查依賴，提高膀胱腫瘤的檢測(cè)準(zhǔn)確率，開發(fā)一種基于膀胱鏡圖像的膀胱腫瘤自動(dòng)、準(zhǔn)確、魯棒的分割算法具有重要的意義。然而，由于膀胱腫瘤的形態(tài)多樣性，對(duì)比度低，紋理、亮度不均勻以及模糊的邊界，膀胱腫瘤分割任務(wù)仍然存在挑戰(zhàn)。

2、近年來，得益于卷積神經(jīng)網(wǎng)絡(luò)(cnn)強(qiáng)大的特征提取能力，cnn在醫(yī)學(xué)圖像分割任務(wù)中取得了優(yōu)異的性能，如乳腺超聲圖像分割，皮膚病變分割，多器官ct圖像分割，息肉分割，肝臟病變分割等。盡管基于cnn的醫(yī)學(xué)圖像分割方法取得了初步的成功，然而，由于卷積操作的局部性以及有限的卷積核大小，cnn通常在學(xué)習(xí)全局上下文信息方面的能力不足，而全局上下文信息對(duì)準(zhǔn)確分割形狀和大小差異較大的的病灶或器官組織至關(guān)重要。為了克服這一限制，一些研究嘗試使用基于cnn特征的非局部自注意機(jī)制來模擬全局場(chǎng)景，然而，它們僅適用于低分辨率的醫(yī)學(xué)圖像，在高分辨率圖像中，這些模塊的計(jì)算復(fù)雜度太大。另外一些研究嘗試擴(kuò)大卷積核的接受野，但這需要連續(xù)的下采樣操作和疊加足夠深的卷積層，不僅會(huì)導(dǎo)致局部細(xì)節(jié)的丟失和網(wǎng)絡(luò)的冗余，更重要的是，有效的接受野仍然局限于局部區(qū)域。

3、最近，不需要任何卷積操作，僅依賴于注意力機(jī)制的視覺轉(zhuǎn)換器(visiontransformer，vit)的出現(xiàn)解決了cnn在學(xué)習(xí)遠(yuǎn)程依賴關(guān)系方面能力不足的缺陷，具體而言，transformer通過塊向量之間的點(diǎn)積來獲得所有塊對(duì)的相似度，自適應(yīng)地提取和混合所有塊之間的特征。這使得transformer具有有效的全局接受場(chǎng)，并減少了模型的歸納偏置。因此，相比于基于cnn的方法，基于視覺轉(zhuǎn)換器的方法具有更強(qiáng)大的提取全局信息的能力以及泛化能力，極大地提高了識(shí)別，分割和診斷等醫(yī)學(xué)圖像分析任務(wù)的準(zhǔn)確性。盡管基于transformer的方法在醫(yī)學(xué)圖像分割任務(wù)上已經(jīng)取得了顯著的成功，但由于在建模局部信息時(shí)缺乏空間誘導(dǎo)偏差，它在捕獲細(xì)粒度細(xì)節(jié)信息方面仍存在局限性，可能會(huì)導(dǎo)致預(yù)測(cè)目標(biāo)區(qū)域的邊界不清晰。

4、為了實(shí)現(xiàn)cnn和transformer的優(yōu)勢(shì)，最近的一些研究嘗試將cnn和transformer相結(jié)合，主要分為串行分支結(jié)構(gòu)和并行分支結(jié)構(gòu)。串行網(wǎng)絡(luò)的編碼器以順序的方式堆疊cnn層和transformer層，然而，它們只在單一尺度上使用了上下文建模的自注意機(jī)制，而忽略了跨尺度的依賴性和一致性。并行網(wǎng)絡(luò)分別利用transformer分支提取全局特征，cnn分支提取局部特征，再融合兩個(gè)分支的特征，然而，簡(jiǎn)單粗糙的融合忽視了兩種多層次特征之間的語義差距，并行運(yùn)行的雙編碼器結(jié)構(gòu)也大幅增加了計(jì)算量。

5、目前，大多數(shù)基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分割網(wǎng)絡(luò)側(cè)重于設(shè)計(jì)一些精細(xì)的模塊來對(duì)cnn或transformer主干網(wǎng)絡(luò)提取的特征進(jìn)行增強(qiáng)，并融合上下文信息，而忽略了邊界特征信息對(duì)于預(yù)測(cè)結(jié)果的重要性，很可能會(huì)導(dǎo)致預(yù)測(cè)邊界的不準(zhǔn)確或不連續(xù)，進(jìn)而導(dǎo)致最終預(yù)測(cè)結(jié)果不理想。為了解決這一問題，一些研究設(shè)計(jì)專門的模塊來捕捉邊界特征信息，例如反向注意力模塊等，然而，由于這些方法沒有采用邊界監(jiān)督，在一些醫(yī)學(xué)圖像上，尤其是邊界模糊的圖像上，他們直接利用前景(目標(biāo))監(jiān)督探索的邊界線索可能是不準(zhǔn)確的。另外一些研究嘗試在邊界監(jiān)督的條件下來預(yù)測(cè)邊界區(qū)域，它們將邊界預(yù)測(cè)結(jié)果補(bǔ)充到目標(biāo)預(yù)測(cè)結(jié)果中，在一定程度上細(xì)化了最終的分割結(jié)果，然而，它們的邊界預(yù)測(cè)任務(wù)和目標(biāo)預(yù)測(cè)任務(wù)是獨(dú)立的，互不交流的，這些方法僅能修飾最終的目標(biāo)預(yù)測(cè)結(jié)果，而不能為目標(biāo)預(yù)測(cè)的過程提供邊界線索。

6、因此，如何提供一種能夠提取多尺度全局特征和細(xì)粒度細(xì)節(jié)特征，并生成具有清晰邊界的膀胱腫瘤預(yù)測(cè)掩碼的膀胱腫瘤圖像分割方法及系統(tǒng)是本領(lǐng)域技術(shù)人員亟需解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供了一種基于febe-net的膀胱腫瘤圖像分割方法及系統(tǒng)，以解決背景技術(shù)中的問題。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

3、一方面，本發(fā)明公開了基于febe-net的膀胱腫瘤圖像分割方法，包括：

4、獲取待分割的rgb圖像；

5、構(gòu)建febe-net預(yù)測(cè)模型，選擇pvtv2編碼器作為主干網(wǎng)絡(luò)，用于捕獲膀胱腫瘤的多尺度全局特征信息，pvtv2編碼器提取4個(gè)不同層次的金字塔特征xi，i＝1,2,3,4；將低級(jí)特征xi，i＝1,2,3發(fā)送到特征探索關(guān)注模塊中，挖掘潛在的膀胱腫瘤局部細(xì)節(jié)特征信息并濾除無關(guān)噪聲，生成特征圖i＝1,2,3；同時(shí)，將低級(jí)特征x1和高級(jí)特征x4輸入到邊界增強(qiáng)細(xì)化模塊中，生成高質(zhì)量的邊界線索并將復(fù)制四份得到高級(jí)特征x4和邊界線索被發(fā)送到解碼器端，先利用邊界線索增強(qiáng)高級(jí)特征x4中的邊界區(qū)域，再通過一個(gè)1×1卷積單元恢復(fù)全局信息以獲得特征圖d'4，特征圖d'4再經(jīng)過一個(gè)1×1卷積將通道數(shù)降為1來生成初始全局預(yù)測(cè)圖d4；將特征圖邊界線索高級(jí)特征d'i+1，i＝2,3,4發(fā)送到提出的高效自注意校準(zhǔn)解碼模塊中，利用邊界線索i＝2,3對(duì)高級(jí)特征d'i+1，i＝2,3進(jìn)行自適應(yīng)加權(quán)，逐步引導(dǎo)網(wǎng)絡(luò)關(guān)注值得注意的膀胱腫瘤邊界區(qū)域，通過特征探索關(guān)注模塊與高效自注意校準(zhǔn)解碼模塊的橫向連接，將包含豐富的局部細(xì)節(jié)信息的特征圖與前一階段解碼器端恢復(fù)的高級(jí)特征圖d'i

6、，i＝2,3,4進(jìn)行融合，通過深度解碼逐步生成的膀胱腫瘤預(yù)測(cè)圖di，i＝

7、1,2,3；對(duì)解碼器端5個(gè)階段輸出的膀胱腫瘤預(yù)測(cè)圖di，i＝1,2,3,4,b進(jìn)行深度監(jiān)督，并對(duì)生成的邊界線索進(jìn)行邊界監(jiān)督，并設(shè)計(jì)混合監(jiān)督策略，定義整體損失函數(shù)loverall來優(yōu)化網(wǎng)絡(luò)；

8、將待分割的rgb圖像所輸入所述febe-net預(yù)測(cè)模型，得到膀胱腫瘤預(yù)測(cè)圖。

9、優(yōu)選的，在上述的基于febe-net的膀胱腫瘤圖像分割方法中，febe-net預(yù)測(cè)模型數(shù)學(xué)表達(dá)式為：

10、xi＝pvtv2(x),(i＝1,2,3,4)；

11、

12、

13、di＝conv1(d'i),(i＝1,2,3,4)；

14、

15、優(yōu)選的，在上述的基于febe-net的膀胱腫瘤圖像分割方法中，特征探索關(guān)注模塊包括有4個(gè)分支，每個(gè)分支分別對(duì)低級(jí)特征x1,x2,x3進(jìn)行不同的卷積運(yùn)算來捕獲局部信息，其中，第一分支采用一個(gè)擴(kuò)展率為1的3×3卷積單元來進(jìn)行特征挖掘，在此基礎(chǔ)上，第二分支再添加一個(gè)擴(kuò)展率為3的3×3卷積單元來進(jìn)行后續(xù)的特征探索，以此類推，第三分支通過3個(gè)擴(kuò)展率分別為1，3，5的的3×3卷積單元來補(bǔ)充和探索特征；再將前三個(gè)分支的輸出在通道維度上進(jìn)行串聯(lián)操作，使用一個(gè)1×1卷積來降低通道數(shù)，第四個(gè)分支采用自校準(zhǔn)卷積來捕獲更豐富的細(xì)節(jié)特征，再進(jìn)行串聯(lián)操作，利用線性高效通道關(guān)注模塊(leca)來過濾噪聲，最后，使用一個(gè)3×3卷積單元來對(duì)特征進(jìn)一步去噪并恢復(fù)到原始通道數(shù)。

16、優(yōu)選的，在上述的基于febe-net的膀胱腫瘤圖像分割方法中，特征探索關(guān)注模塊數(shù)學(xué)表達(dá)式為：

17、f11＝dconv1(xi),(i＝1,2,3)；

18、f12＝dconv3(dconv1(xi)),(i＝1,2,3)；

19、f13＝dcon5(dconv3(dconv1(xi))),(i＝1,2,3)；

20、f1＝conv1(cat(f11,f12,f13))；

21、f2＝convsc(xi),(i＝1,2,3)；

22、xfi＝bconv3(leca(cat(f1,f2)))；

23、在上述式子中，dconvi(i＝1,3,5)分別代表擴(kuò)展率為1，3，5的3×3卷積核，batchnormalization和prelu激活函數(shù)，cat(·)表示在通道維度上的串聯(lián)操作，conv1(·)表示1×1卷積，convsc代表自校準(zhǔn)卷積，bconv3表示3×3卷積核，batch?normalization和relu激活函數(shù)。

24、優(yōu)選的，在上述的基于febe-net的膀胱腫瘤圖像分割方法中，高效自注意校準(zhǔn)解碼模塊利用卷積層將高級(jí)特征嵌入到重疊的補(bǔ)丁中，通過結(jié)合每個(gè)塊和上下左右相鄰的塊信息，對(duì)局部連續(xù)性信息進(jìn)行建模；

25、獲得的序列化令牌通過三個(gè)并行全連接層來分別計(jì)算查詢張量q、鍵張量k和值張量v；計(jì)算查詢q和鍵張量k之間的相似度得到相似度矩陣qkt，再將相似度矩陣qkt除以進(jìn)行縮放，最后將獲得的權(quán)重和值張量v相乘得到輸出osra；

26、將輸出osra與v相加再輸入到卷積前饋模塊cff中進(jìn)行進(jìn)一步解碼操作，得到輸出ocff；

27、將查詢張量q、鍵張量k相乘得到融合特征qrkr，分別通過兩個(gè)分支來校準(zhǔn)qrkr，再依次與輸出ocff相乘來強(qiáng)化全局特征，得到第一全局特征ocff1和第二全局特征ocff2；其中，第一個(gè)分支為通道注意力模塊cam，第二個(gè)分支為卷積注意力模塊；

28、將強(qiáng)化后的第二全局特征ocff2進(jìn)行上采樣，與輸出的細(xì)粒度細(xì)節(jié)特征相乘，以補(bǔ)充豐富的局部細(xì)節(jié)特征。

29、優(yōu)選的，在上述的基于febe-net的膀胱腫瘤圖像分割方法中，邊界增強(qiáng)細(xì)化模塊包括：

30、利用sobel算子分別計(jì)算低級(jí)特征x1和高級(jí)特征x4在水平方向和垂直方向的梯度來獲得整體方向上的梯度圖

31、將低級(jí)特征x1分別與水平方向的卷積矩陣cx1和垂直方向的卷積矩陣cy1進(jìn)行卷積得到水平方向梯度圖gx1和垂直方向梯度圖gy1，再結(jié)合水平方向梯度圖gx1和垂直方向梯度圖gy1獲得整體方向上的梯度圖

32、利用sigmoid激活函數(shù)對(duì)梯度圖進(jìn)行歸一化，并與原始特征x1相乘得到邊界增強(qiáng)特征圖對(duì)于高級(jí)特征x4，同理；

33、對(duì)邊界增強(qiáng)特征圖和邊界增強(qiáng)特征圖進(jìn)行卷積融合操作，膀胱腫瘤邊界預(yù)測(cè)圖

34、優(yōu)選的，在上述的基于febe-net的膀胱腫瘤圖像分割方法中，對(duì)邊界增強(qiáng)特征圖和邊界增強(qiáng)特征圖進(jìn)行卷積融合操作利用兩個(gè)1×1卷積單元來降低邊界增強(qiáng)特征圖和邊界增強(qiáng)特征圖的通道數(shù)到32；接著采用雙線性上采樣操作調(diào)整的大小，使其與大小相同；再沿著通道維度將兩者進(jìn)行拼接融合，通過兩個(gè)連續(xù)的3×3卷積單元提取邊界信息并消除無關(guān)噪聲，最后經(jīng)過一個(gè)核大小為1的卷積層將通道數(shù)降為1，生成膀胱腫瘤邊界預(yù)測(cè)圖

35、優(yōu)選的，在上述的基于febe-net的膀胱腫瘤圖像分割方法中，對(duì)解碼器端5個(gè)階段輸出的膀胱腫瘤預(yù)測(cè)圖di，i＝1,2,3,4,b進(jìn)行深度監(jiān)督，并對(duì)生成的邊界線索進(jìn)行邊界監(jiān)督；

36、將邊界增強(qiáng)細(xì)化模塊的輸出復(fù)制4份得到：邊界線索

37、將邊界線索邊界線索邊界線索集成到輸入特征x4,輸入特征d'4，輸入特征d'3中，利用下采樣操作分別將邊界線索邊界線索邊界線索邊界線索的大小調(diào)整為與輸入特征x4,輸入特征d'4，輸入特征d'3相同，然后，將經(jīng)過下采樣的邊界線索圖與輸入特征x4,輸入特征d'4，輸入特征d'3進(jìn)行相乘，并將相乘結(jié)果添加到輸入特征x4,輸入特征d'4，輸入特征d'3中來增強(qiáng)這些高級(jí)特征中的邊界區(qū)域。

38、優(yōu)選的，在上述的基于febe-net的膀胱腫瘤圖像分割方法中，設(shè)計(jì)混合監(jiān)督策略，定義整體損失函數(shù)loverall來優(yōu)化網(wǎng)絡(luò)，包括：

39、定義整體損失函數(shù)loverall：

40、

41、lsegi＝lwiou(di,gt)+lwbce(di,gt)(i＝1,2,3,4,b)；

42、

43、在上述式子中，表示5個(gè)階段的膀胱腫瘤分割的損失函數(shù)，由加權(quán)交聯(lián)損失和加權(quán)二元交叉熵?fù)p失組成，wiou和wbce分別從全局和局部角度來限制膀胱腫瘤預(yù)測(cè)掩碼；lbnd表示膀胱腫瘤邊界分割損失函數(shù)，采用dice?loss函數(shù)，n表示膀胱鏡圖像的總像素?cái)?shù)，gi和pi分別表示第i個(gè)像素的地面真值和預(yù)測(cè)標(biāo)簽；ω是平衡分割損失和邊界分割損失的權(quán)重因子。

44、另一方面，本發(fā)明公開了基于febe-net的膀胱腫瘤圖像分割系統(tǒng)，應(yīng)用上述方法，包括：

45、獲取模塊，獲取待分割的rgb圖像；

46、構(gòu)建模塊，構(gòu)建febe-net預(yù)測(cè)模型；

47、輸出模塊，將待分割的rgb圖像所輸入所述febe-net預(yù)測(cè)模型，得到膀胱腫瘤預(yù)測(cè)圖。

48、經(jīng)由上述的技術(shù)方案可知，與現(xiàn)有技術(shù)相比，本發(fā)明公開提供了一種基于febe-net的膀胱腫瘤圖像分割方法及系統(tǒng)，能夠提取多尺度全局特征和細(xì)粒度細(xì)節(jié)特征，并生成具有清晰邊界的膀胱腫瘤預(yù)測(cè)掩碼。首先，由于膀胱腫瘤的大小和形狀變化較大，采用pvtv2編碼器來學(xué)習(xí)遠(yuǎn)程依賴關(guān)系。一方面，利用提出的特征探索關(guān)注模塊(fea)來探索pvt?v2編碼器提取的淺層特征中的局部細(xì)粒度細(xì)節(jié)信息并消除噪聲，再通過橫向連接將其補(bǔ)充到對(duì)應(yīng)的解碼器端的高級(jí)特征中，填補(bǔ)語義空白；另一方面，提出了一種高效自注意校準(zhǔn)解碼模塊(escd)將低級(jí)特征與高級(jí)特征進(jìn)行連接，利用高效自注意機(jī)制來恢復(fù)全局特征，再將校準(zhǔn)強(qiáng)化后的全局特征與細(xì)粒度細(xì)節(jié)特征相融合，以還原腫瘤局部特征細(xì)節(jié)。同時(shí)，提出邊界增強(qiáng)細(xì)化模塊(ber)來捕捉邊界線索，一方面，將其發(fā)送到解碼器端前三層的輸入特征中進(jìn)行自適應(yīng)加權(quán)，以突出增強(qiáng)邊界區(qū)域；另一方面，將其與最后一層解碼器的預(yù)測(cè)輸出進(jìn)行相加，以實(shí)現(xiàn)互補(bǔ)融合，生成邊界更加清晰的預(yù)測(cè)圖。此外，我們?cè)O(shè)計(jì)了一種混合監(jiān)督策略，以實(shí)現(xiàn)對(duì)預(yù)測(cè)掩碼和邊界掩碼的雙重監(jiān)督。最后，為了驗(yàn)證所提模型的分割性能，我們?cè)诎螂啄[瘤數(shù)據(jù)集btamu上進(jìn)行了大量的實(shí)驗(yàn)，所提方法的各項(xiàng)分割性能指標(biāo)均優(yōu)于其他最先進(jìn)(sota)的方法,其中，在btamu上，所提方法的mdice和miou指標(biāo)分別達(dá)到0.9126和0.8578。