本發(fā)明屬于眼科影像和人工智能領(lǐng)域，具體涉及一種基于眼底光學(xué)相干斷層掃描的視網(wǎng)膜劈裂圖像分類方法。

背景技術(shù)：

1、高度近視黃斑劈裂(myopic?macular?retinoschisis,mrs)是高度近視常見的并發(fā)癥，是高度近視眼視力受損和致盲的重要原因之一。但是mrs分類復(fù)雜，定量分析困難。

2、目前常用的mrs檢測方式分別為光學(xué)相干斷層掃描技術(shù)(optical?coherencetomography，oct)和眼部b超。mrs在光學(xué)相干斷層掃描技術(shù)表現(xiàn)為后極部視網(wǎng)膜神經(jīng)上皮呈現(xiàn)增厚現(xiàn)象，神經(jīng)上皮層之間存在裂隙狀的光學(xué)空間，其中有斜形垂直的橋狀或柱狀光帶相連，以及視網(wǎng)膜色素上皮(retinal?pigment?epithelium，rpe)層前部呈現(xiàn)中等程度的反射。在屈光間質(zhì)混濁或干擾條件下，oct檢測圖像無法清晰顯示視網(wǎng)膜劈裂，難以分類劈裂類別。mrs的b超影像顯示后鞏膜葡萄腫后部眼球壁內(nèi)表面呈現(xiàn)欠光滑或纖細(xì)膜狀回聲帶附著于球壁，與視網(wǎng)膜脫離不同，視網(wǎng)膜劈裂呈現(xiàn)膜狀物隆起時(shí)，帶狀回聲強(qiáng)且纖細(xì)，且沒有后運(yùn)動(dòng)，難以分類劈裂類別。

技術(shù)實(shí)現(xiàn)思路

1、針對上述問題，本發(fā)明設(shè)計(jì)了一種基于眼底光學(xué)相干斷層掃描的視網(wǎng)膜劈裂圖像分類方法，通過全新的頸部neck自適應(yīng)特征融合網(wǎng)絡(luò)asff(adaptively?spatial?featurefusion，)-neck，提出基于asff-yolov5的視網(wǎng)膜劈裂檢測算法。在asff-neck部分利用asff模塊直接學(xué)習(xí)如何在其他級別對特征進(jìn)行空間濾波，從而僅保留有用的信息以進(jìn)行組合，當(dāng)視網(wǎng)膜醫(yī)學(xué)圖像中存在范圍較大的劈裂與范圍較小的劈裂時(shí)，能夠有效的減少不同層級間的不一致性，提高特征融合的有效性，得到更好的對視網(wǎng)膜劈裂進(jìn)行檢測。

2、本發(fā)明所采用的技術(shù)方案為：

3、基于眼底光學(xué)相干斷層掃描的視網(wǎng)膜劈裂圖像分類方法，包括以下步驟：

4、s1采集視網(wǎng)膜劈裂圖像數(shù)據(jù)，并在標(biāo)注中將視網(wǎng)膜劈裂情況分為內(nèi)劈裂、外劈裂與視網(wǎng)膜脫落三種情況。

5、s2建立視網(wǎng)膜劈裂檢測模型asff-yolov5；

6、視網(wǎng)膜劈裂檢測模型包括順序連接輸入端、骨干網(wǎng)絡(luò)backbone和特征融合網(wǎng)絡(luò)asff-neck。

7、s2.1.1輸入端

8、輸入端輸入的圖像為s1采集的包含劈裂信息的視網(wǎng)膜劈裂圖像，并對視網(wǎng)膜劈裂圖像進(jìn)行尺寸歸一化，得到圖片特征矩陣x。

9、s2.1.2骨干網(wǎng)絡(luò)backbone

10、骨干網(wǎng)絡(luò)backbone先通過三層跨階段局部網(wǎng)絡(luò)csp(cross?stage?partialnetwork)殘差塊和五層卷積批規(guī)范化修正線性單元cbl(convolutional?batchnorm?relu)卷積模塊增加網(wǎng)絡(luò)深度，最后使用空間金字塔池化sppf(spatial?pyramid?pooling?withfusion)模塊對卷積后的特征進(jìn)行多次最大池化后拼接以增加感受野。

11、首先，輸入圖片特征矩陣x，通過兩層cbl卷積模塊得到特征c2，通過csp_1殘差塊對c2進(jìn)行殘差處理得到特征c3，特征c3通過一層cbl卷積模塊得到特征c4，特征c4經(jīng)過csp_2得到特征c5。

12、csp殘差塊，記為csp_k，將輸入特征分成兩個(gè)部分，一部分經(jīng)過一次cbl卷積模塊進(jìn)行降維處理得到低維特征圖；另一部分經(jīng)過順序連接的一個(gè)cbl卷積模塊和k個(gè)殘差單元得到高維特征圖,將得到的兩個(gè)維度特征圖進(jìn)行拼接，再經(jīng)過一個(gè)cbl卷積模塊得到csp_k的輸出；提取較豐富的特征信息。cbl卷積模塊由標(biāo)準(zhǔn)卷積層、批標(biāo)準(zhǔn)化batchnormalization(bn)層和relu激活函數(shù)組成，能夠?qū)μ卣鬟M(jìn)行基本的提取與處理。

13、其次，特征c5先后經(jīng)過一層cbl與csp_3得到特征c7。

14、最后，特征c7先后經(jīng)過一個(gè)cbl模塊與一個(gè)sppf模塊，得到含有豐富語義信息的特征c9。

15、sppf模塊由兩層cbl卷積模塊，以及兩層cbl卷積模塊之間的三層最大池化模塊級聯(lián)而成，對于輸入特征a1經(jīng)過一個(gè)卷積層調(diào)整維度后得到特征a2，對a2采用三個(gè)小尺寸的最大池化得到三個(gè)特征a3，將三個(gè)a3和a2拼接得到特征a4，然后再經(jīng)過一層cbl卷積模塊得到最終特征a5,通過增加網(wǎng)絡(luò)深度和感受野增強(qiáng)了特征圖的表達(dá)能力。

16、s2.1.3特征融合網(wǎng)絡(luò)asff-neck，將骨干網(wǎng)絡(luò)提取的三個(gè)不同層次的特征作為輸入，經(jīng)過若干個(gè)cbl卷積模塊與asff_n自適應(yīng)特征融合層進(jìn)行特征融合。

17、具體的，將骨干網(wǎng)絡(luò)提取的兩個(gè)不同層次的特征圖c5、c7分別經(jīng)過cbl卷積模塊后交叉輸入至兩個(gè)自適應(yīng)特征融合層asff_2中，根據(jù)權(quán)重分別計(jì)算得到新特征c10和c11；將c10和c11分別輸入csp_1得到特征c12和c13；特征c12、c13和特征c9交叉輸入至三個(gè)自適應(yīng)特征融合層asff_3得到特征c14、c15和c16；特征c14、c15和c16分別通過cbl卷積模塊進(jìn)行通道數(shù)降維和特征圖縮放；最后通過sigmoid激活函數(shù)生成視網(wǎng)膜劈裂圖像預(yù)測框類別及位置信息，實(shí)現(xiàn)視網(wǎng)膜劈裂目標(biāo)精確分類。

18、asff的關(guān)鍵思想是自適應(yīng)的學(xué)習(xí)各個(gè)尺度特征圖的特征融合空間權(quán)重，asff_n的表達(dá)式如式(1)所示：

19、

20、式中，n為進(jìn)行特征融合的特征個(gè)數(shù)，αi(i∈(1,n))為asff_n模塊中對應(yīng)尺度特征圖的融合空間權(quán)重，xi為對應(yīng)尺度的特征圖，xout為自適應(yīng)特征融合層輸出的特征圖。

21、s3將采集的視網(wǎng)膜劈裂圖像數(shù)據(jù)輸入視網(wǎng)膜劈裂檢測模型進(jìn)行訓(xùn)練，并測試輸出分類結(jié)果。

22、本發(fā)明有益效果：

23、本發(fā)明設(shè)計(jì)了特征融合網(wǎng)絡(luò)assf-neck，提出了基于assf-yolov5的視網(wǎng)膜劈裂檢測算法，當(dāng)視網(wǎng)膜醫(yī)學(xué)圖像中存在范圍較大的劈裂與范圍較小的劈裂時(shí)，能夠有效的減少不同層級間的特征不一致性，提高特征融合的有效性，得到更好的對視網(wǎng)膜劈裂進(jìn)行檢測。

技術(shù)特征：

1.基于眼底光學(xué)相干斷層掃描的視網(wǎng)膜劈裂圖像分類方法，其特征在于：包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于眼底光學(xué)相干斷層掃描的視網(wǎng)膜劈裂圖像分類方法，其特征在于，s2具體過程如下：

3.根據(jù)權(quán)利要求2所述的基于眼底光學(xué)相干斷層掃描的視網(wǎng)膜劈裂圖像分類方法，其特征在于，在s2.1.2中所述csp殘差塊，記為csp_k，將輸入特征分成兩個(gè)部分，一部分經(jīng)過一次cbl卷積模塊進(jìn)行降維處理得到低維特征圖；另一部分經(jīng)過順序連接的一個(gè)cbl卷積模塊和k個(gè)殘差單元得到高維特征圖,將得到的兩個(gè)維度特征圖進(jìn)行拼接，再經(jīng)過一個(gè)cbl卷積模塊得到csp_k的輸出；

4.根據(jù)權(quán)利要求3所述的基于眼底光學(xué)相干斷層掃描的視網(wǎng)膜劈裂圖像分類方法，其特征在于，s2.1.2所述骨干網(wǎng)絡(luò)具體如下：

5.根據(jù)權(quán)利要求4所述的基于眼底光學(xué)相干斷層掃描的視網(wǎng)膜劈裂圖像分類方法，其特征在于，所述asff_n自適應(yīng)特征融合層的表達(dá)式如下：

6.根據(jù)權(quán)利要求5所述的基于眼底光學(xué)相干斷層掃描的視網(wǎng)膜劈裂圖像分類方法，其特征在于，s2.1.3具體為：將骨干網(wǎng)絡(luò)提取的兩個(gè)不同層次的特征圖c5、c7分別經(jīng)過cbl卷積模塊后交叉輸入至兩個(gè)自適應(yīng)特征融合層asff_2中，根據(jù)權(quán)重分別計(jì)算得到新特征c10和c11；將c10和c11分別輸入csp_1得到特征c12和c13；特征c12、c13和特征c9交叉輸入至三個(gè)自適應(yīng)特征融合層asff_3得到特征c14、c15和c16；特征c14、c15和c16分別通過cbl卷積模塊進(jìn)行通道數(shù)降維和特征圖縮放；最后通過sigmoid激活函數(shù)生成視網(wǎng)膜劈裂圖像預(yù)測框類別及位置信息，實(shí)現(xiàn)視網(wǎng)膜劈裂的分類。

技術(shù)總結(jié)
本發(fā)明公開了基于眼底光學(xué)相干斷層掃描的視網(wǎng)膜劈裂圖像分類方法，屬于眼科影像和人工智能領(lǐng)域，該方法先采集視網(wǎng)膜劈裂圖像數(shù)據(jù)，并進(jìn)行標(biāo)注。然后建立包括輸入端、骨干網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò)的視網(wǎng)膜劈裂檢測模型，完成視網(wǎng)膜劈裂檢測。本發(fā)明當(dāng)視網(wǎng)膜圖像中存在范圍較大的劈裂與范圍較小的劈裂時(shí)，能夠有效的減少不同層級間的特征不一致性，提高特征融合的有效性，得到更好的對視網(wǎng)膜劈裂進(jìn)行檢測。

技術(shù)研發(fā)人員：盛文燕
受保護(hù)的技術(shù)使用者：杭州市紅十字會(huì)醫(yī)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26