本發(fā)明涉及眼底圖像處理領(lǐng)域,具體而言涉及一種基于深度學(xué)習(xí)的眼底圖像處理方法及系統(tǒng)。
背景技術(shù):
眼底圖像的分析在現(xiàn)有技術(shù)中主要為人工進(jìn)行,由于人工的分析帶有較強的主觀性,因此人人工分析的準(zhǔn)確性和一致性難以得到很好的保證。同時人力成本也越來越高,因此自動分析技術(shù)作為更加客觀以及人力成本的節(jié)約方面有很大的優(yōu)勢。
深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征,以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度學(xué)習(xí)的概念由Hinton等人于2006年提出?;谏疃戎眯啪W(wǎng)絡(luò)(DBN)提出非監(jiān)督貪心逐層訓(xùn)練算法,為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來希望,隨后提出多層自動編碼器深層結(jié)構(gòu)。此外Lecun等人提出的卷積神經(jīng)網(wǎng)絡(luò)是第一個真正多層結(jié)構(gòu)學(xué)習(xí)算法,它利用空間相對關(guān)系減少參數(shù)數(shù)目以提高訓(xùn)練性能。深度學(xué)習(xí)是機器學(xué)習(xí)研究中的一個新的領(lǐng)域,其動機在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò),它模仿人腦的機制來解釋數(shù)據(jù),例如圖像,聲音和文本。
深度學(xué)習(xí)技術(shù)在很多領(lǐng)域有著應(yīng)用,在醫(yī)學(xué)圖像領(lǐng)域也引起了一定的重視,代替人工經(jīng)驗分析醫(yī)學(xué)圖像特征,深度學(xué)習(xí)技術(shù)能夠自動地學(xué)習(xí)圖像數(shù)據(jù)各個層次的抽象特征,從而更好地反應(yīng)數(shù)據(jù)的本質(zhì)特征,減少人為設(shè)計特征造成的不完備性。
深度學(xué)習(xí)雖然能夠自動的學(xué)習(xí)模式特征,并可以達(dá)到很好的識別精度,但是一種數(shù)據(jù)驅(qū)動型模型,需要“相當(dāng)大”量級的數(shù)據(jù),模擬人腦視覺機理自動地學(xué)習(xí)到數(shù)據(jù)各個層次的抽象特征,從而更好地反映數(shù)據(jù)的本質(zhì)。一般先在像素層抽象圖像特征,對每個像素標(biāo)記其所屬種類,最終的輸出結(jié)果就是特征的識別,以2048×2048的一張眼底圖像為例,含有超過400萬個像素,在像素級別上尋找圖像特征的計算量是極其巨大的,這個算法的時間復(fù)雜度急劇提升,為了保證算法實時性,有些深度學(xué)習(xí)算法在預(yù)處理過程中對圖像進(jìn)行了縮小,以提高計算速度。圖像的縮小必然會導(dǎo)致像素與周圍像素的融合,進(jìn)而影響了以像素為級別選擇圖像特征的準(zhǔn)確性。如不縮小圖像,同時保證計算的準(zhǔn)確性,則需要更高的并行編程技巧以及更好更多的硬件支持,否則計算速度非常慢。由于這種時間上的不可接受性,限制了深度學(xué)習(xí)在實際應(yīng)用的推廣。
技術(shù)實現(xiàn)要素:
本申請解決的主要問題是提供一種基于深度學(xué)習(xí)的眼底圖像處理方法、裝置及系統(tǒng),現(xiàn)有技術(shù)中人工進(jìn)行眼底圖像的分析,分析結(jié)果主觀性較強同時人力成本也越來越高的技術(shù)問題。
為了解決上述技術(shù)問題,本發(fā)明公開了一種基于深度學(xué)習(xí)的眼底圖像處理方法其特征在于,包括以下步驟:首先眼底圖像預(yù)處理,對眼底圖像進(jìn)行區(qū)域的分割提取;然后對分割提取得到的區(qū)域圖像進(jìn)行重采樣;對重采樣的區(qū)域圖像進(jìn)行數(shù)據(jù)擴充;采用深度學(xué)習(xí)方法識別區(qū)域圖像特征。
優(yōu)選的,所述眼底圖像預(yù)處理還包括計算整個眼底圖像區(qū)域顏色平均值,眼底圖像任意像素減去該平均值顏色。
優(yōu)選的,所述區(qū)域包括視盤區(qū)域、視杯區(qū)域、視乳頭周圍萎縮區(qū)域和血管區(qū)域。
優(yōu)選的,所述重采樣包括將區(qū)域圖像生成小面片和剪裁區(qū)域圖像。
優(yōu)選的,所述數(shù)據(jù)擴充包括區(qū)域圖像縮放、區(qū)域圖像旋轉(zhuǎn)、區(qū)域圖像傾斜和/或區(qū)域圖像對比度的調(diào)節(jié)。
優(yōu)選的,所述采用深度學(xué)習(xí)方法識別區(qū)域圖像特征包括區(qū)域圖像特征訓(xùn)練和區(qū)域圖像特征的識別。
優(yōu)選的,所述深度學(xué)習(xí)方法為卷積神經(jīng)網(wǎng)絡(luò)方法。
本發(fā)明還公開了一種基于深度學(xué)習(xí)的眼底圖像處理裝置,其特征在于,包括:
眼底圖像預(yù)處理模塊,所述用于對眼底圖像進(jìn)行預(yù)處理,對眼底圖像進(jìn)行區(qū)域的分割提?。?/p>
重采樣模塊,所述重采樣模塊用于對分割提取得到的區(qū)域圖像進(jìn)行重采樣;
數(shù)據(jù)擴充模塊,所述數(shù)據(jù)擴充模塊對重采樣的區(qū)域圖像進(jìn)行數(shù)據(jù)擴充;以及
區(qū)域圖像特征識別模塊,所述區(qū)域圖像特征識別模塊用于采用深度學(xué)習(xí)方法識別區(qū)域圖像特征。
本發(fā)明還公開了一種基于深度學(xué)習(xí)的眼底圖像處理系統(tǒng),其特征在于,包括眼底圖像輸入裝置,所述眼底圖像輸入裝置與眼底圖像處理裝置連接,所述眼底圖像處理裝置與結(jié)果輸出裝置連接。
與現(xiàn)有技術(shù)相比,本申請所述的一種基于深度學(xué)習(xí)的眼底圖像處理方法、裝置及系統(tǒng),達(dá)到了如下效果:
(1)本申請中的基于深度學(xué)習(xí)的眼底圖像處理方法、裝置及系統(tǒng),可以實現(xiàn)自動對眼底圖像進(jìn)行分析,分析結(jié)果客觀準(zhǔn)確。
(2)本申請中的基于深度學(xué)習(xí)的眼底圖像處理方法、裝置及系統(tǒng),采用深度學(xué)習(xí)的方法,自動地學(xué)習(xí)圖像數(shù)據(jù)各個層次的抽象特征,從而更好地反應(yīng)數(shù)據(jù)的本質(zhì)特征,減少人為設(shè)計特征造成的不完備性。
(3)本申請中的基于深度學(xué)習(xí)的眼底圖像處理方法、裝置及系統(tǒng),在圖像預(yù)處理過程加入視盤、視杯、視乳頭周圍萎縮區(qū)域、血管區(qū)域的分割提取,作為隨后深度學(xué)習(xí)的數(shù)據(jù)。這樣既不需要縮小圖像,也會在可接受的時間里完成數(shù)據(jù)的訓(xùn)練,解決深度學(xué)習(xí)在時間上不可接受性的問題。
附圖說明
此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解,構(gòu)成本發(fā)明的一部分,本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明,并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中:
圖1是本發(fā)明實施例一所述的基于深度學(xué)習(xí)的眼底圖像處理方法的流程圖;
圖2是本發(fā)明實施例三所述的基于深度學(xué)習(xí)的眼底圖像處理方法的采用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程流程圖;
圖3是本發(fā)明實施例四所述的基于深度學(xué)習(xí)的眼底圖像處理裝置的結(jié)構(gòu)框圖;
圖4是本發(fā)明實施例五所述的基于深度學(xué)習(xí)的眼底圖像處理系統(tǒng)的結(jié)構(gòu)框圖;
圖5是本發(fā)明實施例五所述的眼底圖像預(yù)處理方法的流程圖;
圖6是本發(fā)明實施例五所述的眼底圖像預(yù)處理方法的眼底血管的拋物線形態(tài)圖和眼底血管的方向圖譜;
圖7是本發(fā)明實施例五所述的眼底圖像預(yù)處理方法的眼底血管走向進(jìn)行表示方法的過程圖;
圖8是本發(fā)明實施例五所述的眼底圖像預(yù)處理方法中不同亮度下的視盤;
圖9是本發(fā)明實施例五所述的眼底圖像預(yù)處理方法的中確定視盤區(qū)和黃斑區(qū)圖與對應(yīng)的血管距離場圖。
具體實施方式
如在說明書及權(quán)利要求當(dāng)中使用了某些詞匯來指稱特定組件。本領(lǐng)域技術(shù)人員應(yīng)可理解,硬件制造商可能會用不同名詞來稱呼同一個組件。本說明書及權(quán)利要求并不以名稱的差異來作為區(qū)分組件的方式,而是以組件在功能上的差異來作為區(qū)分的準(zhǔn)則。如在通篇說明書及權(quán)利要求當(dāng)中所提及的“包含”為一開放式用語,故應(yīng)解釋成“包含但不限定于”?!按笾隆笔侵冈诳山邮盏恼`差范圍內(nèi),本領(lǐng)域技術(shù)人員能夠在一定誤差范圍內(nèi)解決所述技術(shù)問題,基本達(dá)到所述技術(shù)效果。說明書后續(xù)描述為實施本申請的較佳實施方式,然所述描述乃以說明本申請的一般原則為目的,并非用以限定本申請的范圍。本申請的保護(hù)范圍當(dāng)視所附權(quán)利要求所界定者為準(zhǔn)。
以下結(jié)合附圖對本申請作進(jìn)一步詳細(xì)說明,但不作為對本申請的限定。實施例一
如圖1所示,為本實施例中的基于深度學(xué)習(xí)的眼底圖像處理方法,其特征在于,包括步驟S100至步驟S400:
S100:首先眼底圖像預(yù)處理,對眼底圖像進(jìn)行區(qū)域的分割提??;
S200:然后對分割提取得到的區(qū)域圖像進(jìn)行重采樣;
S300:對重采樣的區(qū)域圖像進(jìn)行數(shù)據(jù)擴充;
S400:采用深度學(xué)習(xí)方法識別區(qū)域圖像特征。
實施例二
在實施例一的基礎(chǔ)上,其中步驟S100包括以下步驟:首先,為了消除由于光照條件、相機分辨率的不同引起的圖像之間的差異,計算整個眼底圖像區(qū)域顏色平均值,眼底圖像任意像素減去該平均值顏色。其次,使用多層次拋物線對眼底血管形態(tài)進(jìn)行描述,識別眼底血管的中心線。然后,利用血管走向獲得視盤區(qū)域位置(血管聚集的地方),用橢圓擬合方式獲得視盤區(qū)域。以視盤中心為原點,從原點到視盤最遠(yuǎn)邊界在向外擴充50個像素的距離為半徑,提取視杯區(qū)域及視乳頭周圍萎縮區(qū)域(PPA)。
優(yōu)選的,步驟S200包括以下步驟:在提取的圖像中重新生成多個大小為128像素×128像素(也可為其他尺寸)的正方形面片,相鄰兩個正方形中心距離為32個像素。另外,為了去掉邊界效應(yīng),剪裁重采樣的圖像至原尺寸的90%。
優(yōu)選的,步驟S300包括以下步驟:隨機縮放圖像±10%,隨機在0至360度范圍內(nèi)旋轉(zhuǎn)圖像,隨機傾斜±0.2rad(rad為角度單位:弧度);還可以包括對于區(qū)域圖像對比度的調(diào)節(jié)來增加訓(xùn)練的數(shù)量;通過變化圖像的參數(shù)值,得到大量的圖像數(shù)據(jù),使得區(qū)域圖像的數(shù)量增加,從而達(dá)到擴充數(shù)據(jù)的目的。
實施例三
如圖2所示,為采用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程流程圖,首先對于眼底圖像進(jìn)行預(yù)處理,然后根據(jù)實施例二中的方法進(jìn)行重采樣和數(shù)據(jù)擴充,訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)對眼底圖像進(jìn)行識別和分析。
如圖2所示,卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)包括了5個具有權(quán)重的卷積層和2個全連接層,輸入層為圖像預(yù)處理步驟中重新采樣生成的圖像。與輸入層相連的是5個卷積層(Convolutional Layers)。第1個和第2卷積層卷積完后使用了ReLUS(rectified linear units)函數(shù)進(jìn)行處理,以加快神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度;然后又進(jìn)行了局部正則化(Local Response Normalization)(公式1),以防止過擬合,最后還進(jìn)行了最大池化(MaxPooling)。
給定表示應(yīng)用卷積核i的點(x,y)的神經(jīng)元活動,該神經(jīng)元活動在應(yīng)用ReLUS后,進(jìn)步正則化活動的表達(dá)公式為:
其中,n為同一空間位置相鄰的卷積核數(shù),N為該卷積層所有卷積核的數(shù)量,k,n,α,β為超參數(shù)。
最大池化的輸出作為輸入連接第3個卷積層。第3、4、5卷積層相互連接,并沒有正則化層及最大池化層與其相連。卷積層與兩個全連接層(FullyConnection Layers)相連,第1個全連接層以第5個卷積層的輸出作為輸入,第2個全連接層的輸出作為softmax層的輸入,softmax層的輸出為自動提取的圖像特征的標(biāo)記分類。為了減少在全連接層中的過擬合,我們采用了“dropout”的方法,在每次訓(xùn)練批次中,讓一定比例的全連接層節(jié)點值為0來減少過擬合現(xiàn)象。
本實施例中深度學(xué)習(xí)的方法我們采用的是卷積神經(jīng)網(wǎng)絡(luò),也可采用其他的神經(jīng)網(wǎng)絡(luò)方法,或其他方法,如基于自動編碼器組合或限制波爾茲曼機的深度學(xué)習(xí)方法。
實施例四
如圖3所示,為基于深度學(xué)習(xí)的眼底圖像處理裝置的結(jié)構(gòu)框圖,其中眼底圖像處理裝置2包括眼底圖像預(yù)處理模塊10、重采樣模塊20、數(shù)據(jù)擴充模塊30和區(qū)域圖像特征識別模塊40;其中眼底圖像預(yù)處理模塊10、重采樣模塊20、數(shù)據(jù)擴充模塊30和區(qū)域圖像特征識別模塊40順序連接;
眼底圖像預(yù)處理模塊10用于對眼底圖像進(jìn)行預(yù)處理,對眼底圖像進(jìn)行區(qū)域的分割提取;
重采樣模塊20重采樣模塊用于對分割提取得到的區(qū)域圖像進(jìn)行重采樣;
數(shù)據(jù)擴充模塊30數(shù)據(jù)擴充模塊對重采樣的區(qū)域圖像進(jìn)行數(shù)據(jù)擴充;
區(qū)域圖像特征識別模塊40區(qū)域圖像特征識別模塊用于采用深度學(xué)習(xí)方法識別區(qū)域圖像特征。
實施例五
本實施例是在實施例四的上得到的,本實施例為一種基于深度學(xué)習(xí)的眼底圖像處理系統(tǒng),如圖4所示,包括眼底圖像輸入裝置1,眼底圖像輸入裝置1與眼底圖像處理裝置2連接,眼底圖像處理裝置2與結(jié)果輸出裝置3連接;
本實施例中的眼底圖像輸入裝置1用于獲取眼底圖像,具體的眼底圖像輸入裝置1可以為眼底照相機、PACS(Picture Archiving and Communication Systems的縮寫,為影像歸檔和通信系統(tǒng))或影像存儲系統(tǒng)等;眼底圖像輸入裝置1獲取圖像后,將圖像傳輸給眼底圖像處理裝置2,其中眼底圖像輸入裝置1通過DICOM或TCP/IP接口與眼底圖像處理裝置2連接,圖像可以采用自動或手動上傳的方式進(jìn)行上傳,用戶也可通過互聯(lián)網(wǎng)瀏覽器以HTTP方式上傳眼底圖像;
眼底圖像處理裝置2根據(jù)本申請中實施例一至實施例三中的眼底圖像分析方法,對眼底圖像輸入裝置1傳輸來的眼底圖像進(jìn)行分析,并將分析結(jié)果傳輸給結(jié)果輸出裝置3,結(jié)果輸出裝置3將分析結(jié)果進(jìn)行輸出,具體的分析結(jié)果以圖像和/或統(tǒng)計圖表等形式,通過DICOM瀏覽器和/或網(wǎng)頁的形式輸出。
實施例六
本實施例提供的是本申請中眼底圖像預(yù)處理的一種方法,即對眼底圖像進(jìn)行區(qū)域的分割提取的一種方法,但本申請中眼底圖像與處理的方法還可以采用現(xiàn)有技術(shù)中的其他方法。
如圖5所示,為本實施例的眼底圖像預(yù)處理方法的流程圖,該實施例的眼底圖像預(yù)處理方法包括以下步驟S 10至步驟S 60:
S 10:識別在眼底圖像上的眼底血管;
S 20:對眼底血管的全局形態(tài)結(jié)構(gòu)進(jìn)行表示;對眼底血管走向進(jìn)行表示,得到血管方向圖譜;
S 30:根據(jù)步驟S 20中的眼底血管的全局形態(tài)結(jié)構(gòu),粗略定位視盤區(qū);
S 40:在步驟S 30中的粗略定位的視盤區(qū)內(nèi),確定局部高對比度或高亮度區(qū)域為視盤的像素集群;
S 50:用橢圓擬合方法在步驟S 40中的得到的視盤的像素集群上確定視盤邊界,即得到視盤區(qū);
S 60:結(jié)合步驟S 20中的血管方向圖譜確定黃斑區(qū)的基本范圍,計算血管的距離場,在黃斑區(qū)的基本范圍內(nèi)尋找血管距離場的最大值位置,即黃斑區(qū)的中央凹位置。
優(yōu)選的,在步驟S10中的識別在眼底圖像上的眼底血管的方法可以采用專利申請?zhí)枮?01410220540.0中所記錄的方法進(jìn)行眼底圖像血管的識別。包括以下步驟:從RGB格式的視網(wǎng)膜眼底圖像中提取綠色通路中的視網(wǎng)膜灰度圖;設(shè)置多個對比尺度,在每個對比尺度下均從多個方向?qū)λ鲆暰W(wǎng)膜灰度圖上的像素點進(jìn)行對比度量化,得到視網(wǎng)膜二值化對比度圖,其中所述視網(wǎng)膜二值化對比度圖中的像素分為視網(wǎng)膜血管上的像素及非視網(wǎng)膜血管上的像素;對獲取的多個所述視網(wǎng)膜二值化對比度圖進(jìn)行差分融合,并去除融合后獲得的圖像中的噪音及偽影,得到視網(wǎng)膜融合圖;從所述視網(wǎng)膜融合圖中確定中央反光區(qū)域,并對所述中央反光區(qū)域進(jìn)行填充,得到視網(wǎng)膜血管分布圖。其他的血管識別的方法在本申請中也可適用,在此不再贅述。
優(yōu)選的,在步驟S20中的眼底血管的全局形態(tài)結(jié)構(gòu)進(jìn)行表示方法為:使用多層次的拋物線對眼底血管類似傘狀的形態(tài)進(jìn)行描述,如圖6-A所示,為本實施例中的眼底圖像的眼底血管的拋物線形態(tài)圖。S 30:根據(jù)步驟S 20中的眼底血管的全局形態(tài)結(jié)構(gòu),粗略定位視盤區(qū),如圖6-A所示,其中拋物線頂點位置基本對應(yīng)視盤區(qū)的位置;在步驟S20中的對眼底血管走向進(jìn)行表示方法為:把血管離散化為一系列直線段,利用直線段來表示血管的方向,通過統(tǒng)計這些方向確定血管的走向,即得到血管方向圖譜;如圖6-B所示,為本實施例中的眼底圖像的眼底血管的方向圖譜,圖譜中的高亮區(qū)域分2視盤區(qū)和高亮區(qū)域分1為黃斑區(qū);
優(yōu)選的,在步驟S20中的對眼底血管走向進(jìn)行表示方法為更為具體的一種操作方式:如圖7所示,
首先給定圖7-A所示的眼底圖像,利用線條擬合方法(在實踐中也可采用其他方法識別血管)自動識別視網(wǎng)膜血管如圖7-B所示;
然后如圖7-B所示用規(guī)則網(wǎng)格對血管進(jìn)行分段(可采用其他方法對血管分段),每個網(wǎng)格內(nèi)血管段中軸線方向定義為兩個最遠(yuǎn)點的連線方向;。
給定圖像上一點P(x,y),用如下公式
計算血管段的方位,其中Si為給定點P周圍給定區(qū)域的血管段(Vi)的方位,Ti為點P周圍血管段的中心及點P之間的連線。用該方法計算所有網(wǎng)格內(nèi)血管段方位,得到如圖7-C所示的方向圖譜;
為了得到相對穩(wěn)定的視盤區(qū),以像素方位值為單位的原方向圖譜(圖7-C)被轉(zhuǎn)換成以像素點周圍最大方位值為單位的新方向圖譜。平滑后的新方向圖譜如圖7-D所示;
從方向圖譜中可看出黃斑區(qū)及視盤區(qū)具有相對較高的方位值,通過計算黃斑區(qū)和視盤區(qū)的血管數(shù)量來區(qū)分這兩個區(qū)域,血管數(shù)量多的區(qū)域31視為視盤區(qū),32為黃斑區(qū)。
優(yōu)選的,就步驟S 40中對于視盤的像素集群的確定的具體操作如下:首先,從RGB格式的彩色視網(wǎng)膜眼底圖像中提取綠色通道。其次,給定眼底圖像像素P(x,y),使用滑動窗口濾波器((也可采用其他方法計算相對像素亮度))計算每個像素的相對像素亮度(像素亮度值與窗口平均亮度值之差)。對眼底圖像應(yīng)用該濾波器得到一灰度對比度圖像。盡管從這個對比度圖像中可直觀辨別視盤邊界,但由于視盤邊界的不連續(xù)行導(dǎo)致仍然很難知道識別視盤邊界,因此我們逐步改變灰度對比度圖像的對比度閾值來獲得精確的代表視盤的像素集群。
優(yōu)選的,就步驟S 50中對于視盤區(qū)邊界的確定的具體操作如下:針對S40中得到的視盤的像素集群,采用霍夫變換(也可采用其他方法)獲得圓形視盤,在圓形區(qū)域的基礎(chǔ)上,確定該圓形區(qū)域周邊鄰近的像素集群,然后使用橢圓擬合的方法確定視盤邊界,最后將鄰近橢圓邊界的像素也歸類為視盤區(qū)域,最終獲取的邊界為視盤區(qū)域??紤]到不同圖像中視盤的亮度以及對比度差異較大,我們采用多尺度的策略,如圖8所示為不同亮度下的視盤,其中Threshold為亮度的閾值;逐步調(diào)整視盤的亮度,然后重復(fù)整個圓形檢測和橢圓擬合,對每個橢圓進(jìn)行評分,評分的標(biāo)準(zhǔn)是綜合考慮橢圓的長短軸之比以及橢圓的平均亮度,評分最高的即為視盤區(qū)。利用同樣的方法,在所確定的視盤區(qū)可以定位視杯。
優(yōu)選的,就步驟S 60中對于黃斑區(qū)的確定的具體操作如下:在視盤區(qū)域確定之后,根據(jù)血管的方向圖譜大致定位黃斑區(qū)域,具體方法是尋找方向圖譜中除視盤區(qū)的最大圖譜值。之后,計算血管的距離場,在黃斑大致區(qū)域中尋找最大的距離場值所在位置,這個位置即為黃斑區(qū)的中央凹所在位置;
更具體的:對于眼底血管的特征,血管末梢一般都指向黃斑區(qū)所在位置,但是與視盤相比,黃斑區(qū)的血管比較細(xì),而且黃斑區(qū)的圖像亮度比較低。為了準(zhǔn)確定位黃斑的中心區(qū)域,即中央凹,我們利用血管距離場,如圖9所示,其中圖9-A為劃分出的視盤區(qū)52和黃斑區(qū)51,圖9-B為與圖9-A對應(yīng)的眼底圖像的眼底血管的距離場,圓圈標(biāo)注的54為眼底血管距離場的最大值,即為黃斑區(qū)中的中央凹所在位置。
上述的視盤區(qū)的自動識別方法同樣適用于視杯的自動識別,如圖9-A中,在視盤區(qū)52包含視杯53(視盤包含視杯:視盤也叫視乳頭,視杯也叫視乳頭凹陷)。
本實施中的眼底圖像分析方法,眼底血管的形態(tài)體系(如:血管總體形態(tài)以及血管的走勢)、視盤/黃斑區(qū)的圖像和解剖學(xué)等特點(如:兩者都位于血管匯集的區(qū)域)有機結(jié)合起來,利用橢圓擬合的方法首先確定視盤區(qū)以及視杯區(qū)域,在確定視盤區(qū)域的基礎(chǔ)上,結(jié)合視盤與黃斑在圖像上的亮度差異和距離場分析方法,最終確定黃斑區(qū)。該方法充分利用了眼底多種組織的形態(tài)以及圖像特征,并將這些特點結(jié)合起來,利用了這些形態(tài)之間的互補關(guān)系,從而確保該方法不依賴于某種形態(tài)或者特征,最終可以適應(yīng)各種圖像質(zhì)量以及光照環(huán)境等因素,確保準(zhǔn)確、穩(wěn)定地獲取黃斑和視盤區(qū)域。
本申請中的圖像預(yù)處理方法不限于本實施例中的方法,現(xiàn)有技術(shù)中的其他方法也可作為眼底圖像的預(yù)處理,從而對眼底圖像進(jìn)行區(qū)域的分割提取,在預(yù)處理的基礎(chǔ)上采用深度學(xué)習(xí)的方法進(jìn)行進(jìn)一步的處理。再次不再贅述。
與現(xiàn)有技術(shù)相比,本發(fā)明所述的一種基于深度學(xué)習(xí)的眼底圖像處理方法、裝置及系統(tǒng),達(dá)到了如下效果:
(1)本申請中的基于深度學(xué)習(xí)的眼底圖像處理方法、裝置及系統(tǒng),可以實現(xiàn)自動對眼底圖像進(jìn)行分析,分析結(jié)果客觀準(zhǔn)確。
(2)本申請中的基于深度學(xué)習(xí)的眼底圖像處理方法、裝置及系統(tǒng),采用深度學(xué)習(xí)的方法,自動地學(xué)習(xí)圖像數(shù)據(jù)各個層次的抽象特征,從而更好地反應(yīng)數(shù)據(jù)的本質(zhì)特征,減少人為設(shè)計特征造成的不完備性。
(3)本申請中的基于深度學(xué)習(xí)的眼底圖像處理方法、裝置及系統(tǒng),在圖像預(yù)處理過程加入視盤、視杯、視乳頭周圍萎縮區(qū)域、血管區(qū)域的分割提取,作為隨后深度學(xué)習(xí)的數(shù)據(jù)。這樣既不需要縮小圖像,也會在可接受的時間里完成數(shù)據(jù)的訓(xùn)練,解決深度學(xué)習(xí)在時間上不可接受性的問題。
由于方法部分已經(jīng)對本申請實施例進(jìn)行了詳細(xì)描述,這里對實施例中涉及的系統(tǒng)與方法對應(yīng)部分的展開描述省略,不再贅述。對于系統(tǒng)中具體內(nèi)容的描述可參考方法實施例的內(nèi)容,這里不再具體限定。
上述說明示出并描述了本申請的若干優(yōu)選實施例,但如前所述,應(yīng)當(dāng)理解本申請并非局限于本文所披露的形式,不應(yīng)看作是對其他實施例的排除,而可用于各種其他組合、修改和環(huán)境,并能夠在本文所述申請構(gòu)想范圍內(nèi),通過上述教導(dǎo)或相關(guān)領(lǐng)域的技術(shù)或知識進(jìn)行改動。而本領(lǐng)域人員所進(jìn)行的改動和變化不脫離本申請的精神和范圍,則都應(yīng)在本申請所附權(quán)利要求的保護(hù)范圍內(nèi)。