本發(fā)明主要涉及數(shù)字醫(yī)療,尤其涉及一種眼底圖像視盤分割方法及相關(guān)設(shè)備。
背景技術(shù):
1、視神經(jīng)盤簡稱視盤,是視網(wǎng)膜上視覺纖維匯集處,也是視神經(jīng)的始端,作為視網(wǎng)膜眼底圖像的一個重要特征和組成部分,其形狀大小等參數(shù)通常作為衡量眼底健康狀況和病灶的重要指標(biāo),輔助醫(yī)生實現(xiàn)如糖尿病視網(wǎng)膜病變、高血壓視網(wǎng)膜病變、青光眼等疾病的診斷與治療。
2、然而,在對眼底圖像進行視盤分析過程中,很容易受血管遮擋、亮度不均勻、病變等因素的干擾,導(dǎo)致無法精準(zhǔn)定位視盤,降低眼底視盤分割準(zhǔn)確性,無法保證所提取到的視盤參數(shù)準(zhǔn)確且可靠,進而影響輔助醫(yī)生確定疾病分析結(jié)果的準(zhǔn)確性和效率。
技術(shù)實現(xiàn)思路
1、為了解決上述問題,本技術(shù)提出了以下技術(shù)方案:
2、一方面,本技術(shù)提出了一種眼底圖像視盤分割方法,其特征在于,所述方法包括:
3、獲得待分割眼底圖像;
4、獲取所述待分割眼底圖像中的視盤區(qū)域的類激活映射圖;
5、依據(jù)所述類激活映射圖,獲得所述待分割眼底圖像中的視盤輪廓圖形;
6、將所述待分割眼底圖像和所述視盤輪廓圖形輸入已訓(xùn)練的視盤分割模型,輸出視盤分割圖像;
7、其中,所述視盤分割模型包括依次連接的編碼網(wǎng)絡(luò)、圖卷積網(wǎng)絡(luò)和解碼網(wǎng)絡(luò),所述編碼網(wǎng)絡(luò)和所述解碼網(wǎng)絡(luò)均基于卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建,所述圖卷積網(wǎng)絡(luò)能夠依據(jù)所述視盤輪廓圖形,調(diào)整所述編碼網(wǎng)絡(luò)輸出的特征圖對應(yīng)的特征表示。
8、可選的,所述將所述待分割眼底圖像和所述視盤輪廓圖形輸入已訓(xùn)練的視盤分割模型,輸出視盤分割圖像,包括:
9、將所述待分割眼底圖像輸入所述編碼網(wǎng)絡(luò)進行不同分辨率的特征提取,得到第一特征圖;
10、將所述第一特征圖和所述視盤輪廓圖形輸入所述圖卷積網(wǎng)絡(luò),利用所述視盤輪廓圖形中的圖形信息,調(diào)整所述第一特征圖對應(yīng)的特征表示,得到第二特征圖;
11、將所述第二特征圖輸入所述解碼網(wǎng)絡(luò),依據(jù)所述編碼網(wǎng)絡(luò)提取到的不同分辨率的特征圖進行解碼處理,得到第三特征圖;所述不同分辨率的特征圖是指在所述第一特征圖之前被所述編碼網(wǎng)絡(luò)提取到特征圖;
12、通過單位卷積層對所述第三特征圖進行處理,輸出所述待分割眼底圖像的視盤分割圖像。
13、可選的,所述編碼網(wǎng)絡(luò)包括多個編碼塊,每個所述編碼塊包括依次連接的兩個卷積層和最大池化層,各所述卷積層具有相同尺寸的卷積核,以按照相同步長進行卷積處理;
14、將所述待分割眼底圖像輸入所述編碼網(wǎng)絡(luò)進行不同分辨率的特征提取,得到第一特征圖,包括:
15、將所述待分割眼底圖像輸入所述編碼網(wǎng)絡(luò),經(jīng)過依次連接的多個編碼塊各自的所述卷積層的卷積處理以及所述最大池化層的處理,對最后一個所述編碼塊的所述最大池化層輸出特征圖進行特征提取,得到第一特征圖;
16、其中,所述多個編碼塊各自的第二個卷積層輸出的特征圖的分辨率之間的比例關(guān)系依據(jù)所述步長確定。
17、可選的,所述解碼網(wǎng)絡(luò)包括與所述編碼網(wǎng)絡(luò)所包含的所述編碼塊數(shù)量相同的解碼塊,每個所述解碼塊包括依次連接的上采樣層、特征融合層和卷積層;所述解碼塊中卷積層與所述編碼塊中卷積層的卷積核尺寸和步長相同;
18、所述將所述第二特征圖輸入所述解碼網(wǎng)絡(luò),依據(jù)所述編碼網(wǎng)絡(luò)提取到的不同分辨率的特征圖進行解碼處理,得到第三特征圖,包括:
19、將所述第二特征圖輸入所述解碼網(wǎng)絡(luò)的第一個所述解碼塊,依據(jù)所述編碼網(wǎng)絡(luò)中對應(yīng)所述編碼塊的第二個卷積層輸出的特征圖,經(jīng)過多個所述解碼塊的解碼處理,得到最后一個所述解碼塊的卷積層輸出的第三特征圖;
20、其中,在每一個所述解碼塊的解碼處理過程中,由所述解碼塊的特征融合層對上采樣層輸出的特征圖,與所述編碼網(wǎng)絡(luò)中對應(yīng)所述編碼塊的第二個卷積層輸出的特征圖進行相加處理,將得到的融合特征圖輸入所述解碼塊的卷積層進行特征提取,以將提取到的特征圖輸入下一個所述解碼塊繼續(xù)進行解碼處理。
21、可選的,所述獲取所述待分割眼底圖像中的視盤區(qū)域的類激活映射圖,包括:
22、按照預(yù)設(shè)尺寸對所述待分割眼底圖像進行裁剪,得到對應(yīng)的多個切片圖像;所述預(yù)設(shè)尺寸小于所述待分割眼底圖像中視盤區(qū)域尺寸;
23、獲得所述多個切片圖像各種的圖像類別標(biāo)簽;所述圖像類別標(biāo)簽用于指示對應(yīng)的所述切片圖像中是否包含至少部分視盤區(qū)域;
24、依據(jù)所述圖像類別標(biāo)簽,對包含至少部分視盤區(qū)域的多個所述切片圖像進行類激活映射處理,獲得所述待分割眼底圖像中的視盤區(qū)域的類激活映射圖。
25、可選的,所述依據(jù)所述類激活映射圖,獲得所述待分割眼底圖像中的視盤輪廓圖形,包括:
26、通過最遠(yuǎn)點采樣方式,對所述類激活映射圖進行點云采樣,得到針對視盤區(qū)域的預(yù)設(shè)數(shù)量個采樣點位置;其中,在所述點云采樣時的初始采樣點為隨機采樣點或與點云中心距離最大的采樣點;
27、利用所述預(yù)設(shè)數(shù)量個采樣點位置,構(gòu)成所述視盤區(qū)域的第一視盤輪廓信息;
28、對所述第一視盤輪廓信息進行下采樣,得到具有與已訓(xùn)練的視盤分割模型相匹配的分辨率的第二視盤輪廓信息;
29、利用所述第二視盤輪廓信息,構(gòu)建針對所述待分割眼底圖像的視盤輪廓圖形。
30、可選的,所述編碼網(wǎng)絡(luò)和所述解碼網(wǎng)絡(luò)的各卷積層都是由3×3尺寸的卷積核,在輸入的特征圖間隔一個像素移動后進行卷積操作;
31、所述圖卷積網(wǎng)絡(luò)包括多個疊加的圖卷積層,所輸出特征圖中每個特征點能夠依據(jù)來自高階鄰域的信息進行調(diào)整,所述高階鄰域的信息依據(jù)所述視盤輪廓圖形表征的視盤輪廓的不同特征點之間的連接關(guān)系確定。
32、另一方面,本技術(shù)還提出了一種眼底圖像視盤分割裝置,所述裝置包括:
33、待分割眼底圖像獲得模塊,用于獲得待分割眼底圖像;
34、類激活映射圖獲取模塊,用于獲取所述待分割眼底圖像中的視盤區(qū)域的類激活映射圖;
35、視盤輪廓圖形獲得模塊,用于依據(jù)所述類激活映射圖,獲得所述待分割眼底圖像中的視盤輪廓圖形;
36、視盤分割模塊,用于將所述待分割眼底圖像和所述視盤輪廓圖形輸入已訓(xùn)練的視盤分割模型,輸出視盤分割圖像;
37、其中,所述視盤分割模型包括依次連接的編碼網(wǎng)絡(luò)、圖卷積網(wǎng)絡(luò)和解碼網(wǎng)絡(luò),所述編碼網(wǎng)絡(luò)和所述解碼網(wǎng)絡(luò)均基于卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建,所述圖卷積網(wǎng)絡(luò)能夠依據(jù)所述視盤輪廓圖形,調(diào)整所述編碼網(wǎng)絡(luò)輸出的特征圖對應(yīng)的特征表示。
38、又一方面,本技術(shù)還提出了一種電子設(shè)備,包括:
39、通信模塊;
40、存儲器,用于存儲實現(xiàn)如上述的眼底圖像視盤分割方法的程序;
41、處理器,用于加載執(zhí)行所述存儲器存儲的程序,以實現(xiàn)如上述的眼底圖像視盤分割方法。
42、又一方面,本技術(shù)還提出了一種計算機可讀存儲介質(zhì),其上存儲有至少一組計算機指令集,所述計算機指令集由處理器加載執(zhí)行,實現(xiàn)如上述的眼底圖像視盤分割方法。
43、可見,本技術(shù)提出了一種眼底圖像視盤分割方法及相關(guān)設(shè)備,為了提高對眼底圖像中視盤分割效果,精準(zhǔn)定位眼底圖像中的視盤,本技術(shù)訓(xùn)練的視盤分割模型中,通過圖卷積網(wǎng)絡(luò)連接編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò),將依據(jù)待分割眼底圖像的視盤區(qū)域的類激活映射圖,獲得的視盤輪廓圖形輸入該圖卷積網(wǎng)絡(luò),使其據(jù)此調(diào)整編碼網(wǎng)絡(luò)輸出的特征圖對應(yīng)的特征表示,由解碼網(wǎng)絡(luò)對調(diào)整后的特征圖進行解碼處理,精準(zhǔn)得到待分割眼底圖像中的視盤分割圖像,從而有效輔助醫(yī)生準(zhǔn)確且快速確定眼底健康狀況和病灶。