本發(fā)明涉及圖像處理，尤其涉及一種基于不確定性和淺層特征增強(qiáng)注意力網(wǎng)絡(luò)的眼底圖像分割方法。

背景技術(shù)：

1、青光眼、糖尿病性視網(wǎng)膜病變(dr)和年齡相關(guān)性黃斑變性(amd)等致盲性眼病的患者數(shù)量很大，全世界有超過(guò)4.18億人受到影響。這些眼部疾病的早期發(fā)展通常是患者無(wú)法察覺(jué)的，并且通過(guò)檢測(cè)患者眼底的視網(wǎng)膜結(jié)構(gòu)來(lái)實(shí)現(xiàn)臨床早期篩查，因?yàn)樗鼈兣c視網(wǎng)膜形態(tài)的變化高度相關(guān)。以前，這項(xiàng)工作是由經(jīng)驗(yàn)豐富的專(zhuān)家手動(dòng)完成的，但注釋大型數(shù)據(jù)集既耗時(shí)又昂貴。此外，能夠獨(dú)立完成這項(xiàng)工作的專(zhuān)家很少，使其成為一項(xiàng)具有挑戰(zhàn)性的任務(wù)。因此，開(kāi)發(fā)一種高效、自動(dòng)的視網(wǎng)膜血管分割方法仍然是很有必要的。

2、近年來(lái)，深度學(xué)習(xí)在醫(yī)學(xué)圖像分析領(lǐng)域引發(fā)了革命性變化，在圖像分割、分類(lèi)和檢測(cè)等各類(lèi)任務(wù)中均表現(xiàn)出色。卷積神經(jīng)網(wǎng)絡(luò)(cnn)尤其在從原始圖像數(shù)據(jù)中直接學(xué)習(xí)分層特征方面表現(xiàn)卓越，無(wú)需手工設(shè)計(jì)特征即可自動(dòng)提取復(fù)雜的模式和結(jié)構(gòu)。目前已經(jīng)有多種基于深度學(xué)習(xí)的方法被提出用于眼底圖像中的血管分割，它們利用不同的網(wǎng)絡(luò)架構(gòu)和訓(xùn)練策略來(lái)提高分割的準(zhǔn)確性。這些方法通常涉及全卷積網(wǎng)絡(luò)(fcn)、u-net架構(gòu)，最近還包括注意力機(jī)制和多尺度特征集成，以捕捉全局上下文和細(xì)節(jié)信息。盡管取得了顯著進(jìn)展，但諸如血管厚度變化、血管與背景之間的低對(duì)比度以及病理區(qū)域的存在等挑戰(zhàn)仍然對(duì)實(shí)現(xiàn)穩(wěn)健的分割性能構(gòu)成障礙。

3、在眼底血管分割的研究中，許多研究問(wèn)題仍然存在。例如(1)血管細(xì)節(jié)：眼底圖像中的血管結(jié)構(gòu)復(fù)雜，包括主干和眾多細(xì)小分支。細(xì)小分支的分割尤其困難，因?yàn)樗鼈兛赡茉诘头直媛蕡D像中幾乎不可見(jiàn)。(2)血管交叉和重疊：血管在圖像中可能會(huì)交叉或重疊，這使得分割算法難以區(qū)分不同血管的邊界。(3)低對(duì)比度：眼底圖像中血管與背景之間的對(duì)比度通常較低，尤其是在病理?xiàng)l件下，增加了分割的難度。(4)前景與背景不平衡：血管占圖像的面積通常很小，與背景相比，前景(血管)的像素?cái)?shù)量嚴(yán)重不足，這種類(lèi)別不平衡會(huì)影響分割算法的訓(xùn)練效果。除此之外，某些疾病(如糖尿病性視網(wǎng)膜病變)會(huì)在眼底圖像中引起異常斑點(diǎn)或出血，這些病變區(qū)域可能干擾血管分割算法的正常工作。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明提供了一種基于不確定性和淺層特征增強(qiáng)注意力網(wǎng)絡(luò)的眼底圖像分割方法，通過(guò)建模不確定性并結(jié)合深度學(xué)習(xí)的方法減少不確定性的不利影響；還使用注意力模塊關(guān)注分割細(xì)節(jié)，同時(shí)利用深層特征信息對(duì)淺層特征信息進(jìn)行增強(qiáng)來(lái)提高最終的分割效果。

2、為了實(shí)現(xiàn)上述的技術(shù)目的，本發(fā)明所采用的技術(shù)方案為：

3、一種基于不確定性和淺層特征增強(qiáng)注意力網(wǎng)絡(luò)的眼底圖像分割方法，包括如下步驟：

4、步驟1)：選取眼底視網(wǎng)膜圖像數(shù)據(jù)作為訓(xùn)練集和測(cè)試集，每個(gè)眼底視網(wǎng)膜圖像樣本包括原彩色眼底視網(wǎng)膜圖像和與其對(duì)應(yīng)的血管分割標(biāo)簽；

5、步驟2)：對(duì)訓(xùn)練集中的眼底視網(wǎng)膜圖像進(jìn)行預(yù)處理；

6、步驟3)：在pytorch上構(gòu)建神經(jīng)網(wǎng)絡(luò)模型；

7、步驟4)：使用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型對(duì)測(cè)試集進(jìn)行分割，得到最終分割結(jié)果。

8、作為一種可能的實(shí)施方式，進(jìn)一步，步驟2)具體包括如下步驟：

9、對(duì)每張眼底視網(wǎng)膜圖像進(jìn)行灰度化和歸一化處理，再使用對(duì)比度受限自適應(yīng)直方圖均衡化(clahe)和伽馬值設(shè)置為1.5的伽馬校正，調(diào)整整體對(duì)比度；

10、將每張眼底視網(wǎng)膜圖像和對(duì)應(yīng)的視網(wǎng)膜血管分割標(biāo)簽被劃分成更小的塊或子圖像。

11、作為一種可能的實(shí)施方式，進(jìn)一步，將每張眼底視網(wǎng)膜圖像和對(duì)應(yīng)的視網(wǎng)膜血管分割標(biāo)簽被劃分成更小的塊或子圖像，具體為：

12、將訓(xùn)練集圖像數(shù)據(jù)隨機(jī)裁剪為100000張寬和高為48*48的圖像。

13、作為一種可能的實(shí)施方式，進(jìn)一步，步驟3)具體包括如下步驟：

14、步驟3.1)：將原圖輸入網(wǎng)絡(luò)經(jīng)過(guò)一次卷積、bn、relu操作獲得特征圖1，再分別經(jīng)過(guò)連續(xù)三次的下采樣和卷積、bn、relu操作，獲得特征圖2、3、4，共四張?zhí)卣鲌D；

15、步驟3.2)：將特征圖1～3輸入注意力模塊，獲得注意力特征圖a1、a2、a3；

16、步驟3.3)：將注意力特征圖a3和特征圖4輸入淺層特征增強(qiáng)模塊，輸出特征圖a3；將特征圖a3和注意力特征圖a2輸入淺層特征增強(qiáng)模塊，輸出特征圖a2；將特征圖a2和注意力特征圖a1輸入淺層特征增強(qiáng)模塊輸出特征圖a1；

17、步驟3.4)：對(duì)特征圖4進(jìn)行上采樣后與特征圖a3在通道上進(jìn)行拼接后，再經(jīng)過(guò)卷積、bn、relu操作，獲得特征圖u3；對(duì)特征圖u3進(jìn)行上采樣后與特征圖a2在通道上進(jìn)行拼接后再經(jīng)過(guò)卷積、bn、relu操作，獲得特征圖u2；對(duì)特征圖u2進(jìn)行上采樣后與特征圖a1在通道上進(jìn)行拼接后再經(jīng)過(guò)卷積、bn、relu操作，獲得特征圖u1；

18、步驟3.5)：對(duì)特征圖u2和u3分別進(jìn)行2倍和4倍的上采樣和卷積操作使其形狀與特征圖u1相同，再對(duì)特征圖u1、u2、u3在通道上進(jìn)行拼接后得到特征圖c，將特征圖c輸入注意力模塊中獲得特征圖c1，最后將特征圖c和特征圖c1進(jìn)行殘差相加操作獲得粗分割圖seg；

19、步驟3.6)：對(duì)粗分割圖seg進(jìn)行不確定性建模操作，獲得證據(jù)特征圖e和不確定性特征圖f，通過(guò)粗分割圖像seg與證據(jù)特征圖e和不確定性特征圖f來(lái)生成可靠的掩膜m，最后將m和粗分割圖seg在通道上拼接后經(jīng)過(guò)1×1的卷積后輸出最終的精細(xì)化分割結(jié)果。

20、作為一種可能的實(shí)施方式，進(jìn)一步，所述注意力模塊由通道注意力模塊和空間注意力模塊組成；

21、所述通道注意力模塊，用于將輸入的feature?map經(jīng)過(guò)兩個(gè)并行的maxpool層和avgpool層，將特征圖從c×h×w變?yōu)閏×1×1的大小，然后經(jīng)過(guò)share?mlp模塊處理；其中，share?mlp模塊，用于將通道數(shù)壓縮為原來(lái)的1/r(reduction，減少率)倍，再擴(kuò)張到原通道數(shù)，經(jīng)過(guò)relu激活函數(shù)得到兩個(gè)激活后的結(jié)果；

22、接著，將這兩個(gè)輸出結(jié)果進(jìn)行逐元素相加，再通過(guò)一個(gè)sigmoid激活函數(shù)得到channel?attention的輸出結(jié)果，再將這個(gè)輸出結(jié)果乘原圖，變回c×h×w的大??；

23、所述空間注意力模塊，用于將通道注意力模塊的輸出結(jié)果通過(guò)最大池化和平均池化操作，得到兩個(gè)1×h×w的特征圖，然后經(jīng)過(guò)concat操作對(duì)兩個(gè)特征圖進(jìn)行拼接，再通過(guò)四個(gè)不同空洞率的空洞卷積獲得四張?zhí)卣鲌D，再將四個(gè)特征圖經(jīng)過(guò)concat操作拼接，再經(jīng)過(guò)一個(gè)sigmoid得到空間注意力的特征圖，最后將輸出結(jié)果乘原圖變回c×h×w大小。

24、作為一種可能的實(shí)施方式，進(jìn)一步，所述淺層特征增強(qiáng)模塊，用于將淺層特征和深層特征經(jīng)過(guò)卷積和bn后進(jìn)行concat操作拼接，接著將拼接后的特征圖分別輸入maxpool和avgpool雙分支得到兩個(gè)特征圖進(jìn)行concat拼接操作后再經(jīng)過(guò)卷積和sigmoid得到深層和淺層特征融合之后的權(quán)重，接著再和淺層特征做逐像素乘法后得到的特征圖與淺層特征圖像做逐像素加法，最終得到增強(qiáng)后的特征圖。

25、作為一種可能的實(shí)施方式，進(jìn)一步，步驟3.6)中不確定性建模，包括如下步驟：

26、s1：獲得證據(jù)特征e＝[e1，...，ek]，通過(guò)應(yīng)用softplus激活函數(shù)來(lái)確保特征值大于0，公式為：

27、e＝softplus(seg)

28、s2：將e參數(shù)化為dirichlet分布，公式為：

29、

30、其中，αk和ek分別是第k類(lèi)dirichlet分布參數(shù)和證據(jù)，(h,w)∈(h,w)且h、w分別為粗分割圖seg的寬和高；

31、s3：計(jì)算置信質(zhì)量和對(duì)應(yīng)的不確定性得分，公式為：

32、

33、其中u(h,w)分別表示對(duì)應(yīng)類(lèi)在每個(gè)像素坐標(biāo)處的概率和總體不確定性；表示狄利克雷強(qiáng)度，k表示像素類(lèi)的總數(shù)；

34、f＝{u(h,w),(h,w)∈(h,w)}表示為分割特征圖中每個(gè)像素的不確定性。

35、作為一種可能的實(shí)施方式，進(jìn)一步，步驟3.6)中通過(guò)粗分割圖像seg與證據(jù)特征圖e和不確定性特征圖f來(lái)生成可靠的掩膜m，具體如下：

36、將粗分割圖seg和證據(jù)特征圖e相加后，再與不確定性特征圖f映射到e-f函數(shù)上的特征圖fw相乘得到可靠的掩膜m。

37、作為一種可能的實(shí)施方式，進(jìn)一步，步驟4)具體包括如下步驟：

38、將預(yù)處理并擴(kuò)增后的圖像，送入到步驟3)構(gòu)建的神經(jīng)網(wǎng)絡(luò)中進(jìn)行網(wǎng)絡(luò)訓(xùn)練，并利用網(wǎng)絡(luò)分割結(jié)果與人工標(biāo)注的分割結(jié)果之間的損失指導(dǎo)網(wǎng)絡(luò)的訓(xùn)練，待損失減小到滿足要求或達(dá)到預(yù)設(shè)的迭代次數(shù)，停止網(wǎng)絡(luò)訓(xùn)練，獲得眼底血管分割網(wǎng)絡(luò)模型；

39、將待分割眼底圖像直接送入訓(xùn)練好的眼底血管分割網(wǎng)絡(luò)模型中，獲得最終的眼底血管分割結(jié)果。

40、本發(fā)明構(gòu)建了基于不確定性和淺層特征增強(qiáng)的注意力網(wǎng)絡(luò)，在眼底血管分割網(wǎng)絡(luò)基礎(chǔ)上，減少一次下采樣步驟共進(jìn)行三次下采樣減少模型的深度，提升模型的分割效率。

41、其次，在網(wǎng)絡(luò)中添加注意力模塊和淺層特征增強(qiáng)模塊來(lái)增強(qiáng)淺層特征的表達(dá)，并且在網(wǎng)絡(luò)最終輸出前使用不確定性建模模塊減少不確定性帶來(lái)的不利影響。

42、編碼部分，將前三層的特征圖在和上采樣后的特征圖拼接之前添加注意力模塊和淺層特征增強(qiáng)模塊；解碼部分，將上采樣后獲得的第二層和第三層特征圖分別進(jìn)行2倍和4倍的上采樣和卷積操作和第一層特征圖進(jìn)行拼接后輸入注意力模塊和不確定性建模模塊中；注意力模塊能夠使網(wǎng)絡(luò)關(guān)注到眼底圖像血管區(qū)域，提升網(wǎng)絡(luò)的分割精確率，淺層特征增強(qiáng)模塊可以通過(guò)深層特征圖來(lái)使淺層特征圖獲得深層特征的同時(shí)不丟失淺層特征細(xì)節(jié)；不確定性建模方法可以對(duì)圖像建模不確定性并且結(jié)合深度學(xué)習(xí)方法降低高不確定性從而獲得更加精細(xì)的分割圖像。

43、采用上述的技術(shù)方案，本發(fā)明與現(xiàn)有技術(shù)相比，其具有的有益效果為：

44、本發(fā)明提供了從眼底圖像中自動(dòng)分割視網(wǎng)膜血管的一種新型的視網(wǎng)膜眼底圖像分割方法，并通過(guò)注意力機(jī)制和深層特征增強(qiáng)淺層特征表達(dá)增強(qiáng)淺層的細(xì)節(jié)特征以及結(jié)合深度學(xué)習(xí)方式的不確定性建模的方法降低模型最終輸出的不確定性，提高了視網(wǎng)膜血管分割的精確度。