本發(fā)明涉及一種視網(wǎng)膜圖像微動脈瘤自動檢測與識別方法。

背景技術：

視網(wǎng)膜圖像中的微小目標，如微動脈瘤(Microaneurysms，MAs)，可以為眼底病患者的身份識別提供有效的輔助信息。其在視網(wǎng)膜圖像中通常表現(xiàn)為暗紅色小圓點狀的目標，且部分微動脈瘤很難與背景區(qū)分開。此外，有些微動脈瘤具有不規(guī)則的形狀，或者相互聚集，或者靠近視網(wǎng)膜血管。因此，從眼底圖像中自動檢測并識別出該微小目標仍是一項十分具有挑戰(zhàn)性的工作。為此，本發(fā)明提出一種基于梯度向量分析的視網(wǎng)膜微動脈瘤自動檢測與識別方法。該視網(wǎng)膜圖像中微小目標的檢測，對輸液圖像中微小異物目標檢測、遙感圖像中微小紅外目標檢測以及工件表面圖像中的微小缺陷目標檢測具有重要的借鑒價值。

技術實現(xiàn)要素：

本發(fā)明的目的是為了完成對視網(wǎng)膜圖像中微動脈瘤自動檢測與識別，提出一種基于梯度向量分析的視網(wǎng)膜圖像微動脈瘤自動檢測與識別方法。

實現(xiàn)上述目的，本發(fā)明的技術方案是：

步驟一：候選微動脈瘤檢測；先對微動脈瘤提取，所述的微動脈瘤提取主要包含血管去除、候選微動脈瘤定位與分割三個步驟；

步驟二：候選微動脈瘤特征的提?。?/p>

步驟三：微動脈瘤識別。

本發(fā)明相對于現(xiàn)有技術的有益效果是：本發(fā)明通過分析眼底視網(wǎng)膜圖像中不同暗目標(主要包括血管、微動脈瘤等)的梯度向量分布情況，并結(jié)合樣本不均衡分類器，提出了新的基于梯度向量分析的視網(wǎng)膜圖像微動脈瘤自動檢測與識別方法。

本發(fā)明采用候選微動脈瘤檢測與分類。在候選微動脈瘤檢測階段，血管作為檢測微動脈瘤的主要干擾物被首先抑制，然后候選微動脈瘤被定位和分割出來；在候選微動脈瘤分類階段，首先提取出具有較強能力的特征集合，然后利用訓練樣本不均衡分類器來進行微動脈的識別。

本發(fā)明的方法容易操作，對提高視網(wǎng)膜微小目標的檢測與識別提供了有效的解決方案。該發(fā)明還能夠應用于輸液圖像中微小異物目標檢測、遙感圖像中微小紅外目標檢測以及工件表面圖像中的微小缺陷目標檢測。

附圖說明

圖1是預處理結(jié)果圖像；

圖2是單一尺度條件數(shù)結(jié)果圖像；

圖3是單一尺度條件數(shù)結(jié)果圖像；圖3與圖2的支撐半徑不同；

圖4是多尺度條件數(shù)結(jié)果圖像；

圖5是包含5個真實微動脈瘤的預處理圖像，也是圖1局部放大圖；

圖6是包含5個真實微動脈瘤的多尺度條件數(shù)圖像，也是圖4局部放大圖；

圖7是血管重構結(jié)果圖像；

圖8是血管去除結(jié)果圖像；

圖9是包含5個真實微動脈瘤的血管去除圖像，也是圖8局部放大圖；

圖10是包含低對比度的微動脈瘤示例圖像；

圖11是包含了靠近血管的微動脈瘤示例圖；

圖12是血管去除結(jié)果，保留了低對比度微動脈瘤示例圖；

圖13是血管去除結(jié)果，保留了靠近血管的微動脈瘤示例圖；

圖14是多方向二階導數(shù)乘積結(jié)果圖像；

圖15是微動脈瘤定位結(jié)果圖像。

具體實施方式

具體實施方式一：本實施方式披露了基于梯度向量分析的視網(wǎng)膜圖像微動脈瘤自動檢測與識別方法，所述的方法包括如下步驟：

步驟一：候選微動脈瘤檢測；先對微動脈瘤提取，所述的微動脈瘤提取主要包含血管去除、候選微動脈瘤定位與分割三個步驟；

步驟二：候選微動脈瘤特征的提取；

步驟三：微動脈瘤識別。

考慮到在視網(wǎng)膜圖像綠色通道中，微動脈瘤與背景間具有最大的對比度，將使用綠色通道作為后續(xù)操作的輸入圖像。在提取候選微動脈瘤之前，為了去除眼底圖像的噪聲同時保留微動脈的邊緣，采用基于加權最小二乘框架下的邊緣保持濾波對圖像進行平滑處理。繼而使用陰影修正方法去除圖像中的不均衡光照。圖1給出了預處理結(jié)果圖像示例。

具體實施方式二：具體實施方式一所述的基于梯度向量分析的視網(wǎng)膜圖像微動脈瘤自動檢測與識別方法，步驟一中，所述的血管去除方法是：通過分析微動脈瘤與血管的不同梯度分布特性，來實現(xiàn)血管的去除，并在去除血管的同時保留真實的微動脈瘤；將梯度向量x，y分量看作兩個隨機變量，通過計算并分析目標區(qū)域內(nèi)所有梯度向量分量組成的協(xié)方差矩陣；對于視網(wǎng)膜血管，其梯度分量協(xié)方差矩陣特征值有一個占優(yōu)的特征值；而對于微動脈，其對應特征值近似相等。

微動脈瘤所在的毛細血管在眼底視網(wǎng)膜圖像中并不可見，因此，微動脈瘤通常是與視網(wǎng)膜血管網(wǎng)絡相分離的。由于血管網(wǎng)絡會干擾微動脈瘤的檢測，本發(fā)明將首先研究血管去除的方法，以消除血管帶來的不利影響?，F(xiàn)有文獻中的血管去除方法在去除血管的同時，往往也會去除一些真實的微動脈瘤。本發(fā)明通過分析微動脈瘤與血管的不同梯度分布特性，來實現(xiàn)血管的去除，并在去除血管的同時保留真實的微動脈瘤。通過觀察眼底圖像，我們可以發(fā)現(xiàn)，對于具有分段線形結(jié)構的視網(wǎng)膜血管，其區(qū)域內(nèi)梯度分量的2D分布仍呈現(xiàn)一種線形分布，并存在一個主方向；對于圓點狀的微動脈瘤，其區(qū)域內(nèi)梯度分量的2D分布仍呈現(xiàn)一種圓形分布，即不存在顯著占優(yōu)的主方向。將梯度向量x，y分量看作兩個隨機變量，通過計算并分析目標區(qū)域內(nèi)所有梯度向量分量組成的協(xié)方差矩陣，即可描述這兩種不同的結(jié)構。對于視網(wǎng)膜血管，其梯度分量協(xié)方差矩陣特征值有一個占優(yōu)的特征值；而對于微動脈，其對應特征值近似相等。

特別地，對于預處理圖像I_p上的任意一點，本發(fā)明定義一個半徑為r的支撐區(qū)域，記作S_r，該支撐區(qū)域內(nèi)梯度向量組成的協(xié)方差記作C(x，y，r)，其對應的特征值分別記作λ₁和λ₂，且λ₁≥λ₂；上述不同結(jié)構的特性即可利用特征值之間比例λ₁/λ₂，即利用協(xié)方差矩陣C(x，y，r)的條件數(shù)κ(C(x，y，r))來進行區(qū)分。條件數(shù)κ越接近于1，目標越接近于圓形；而條件數(shù)越大，目標越接近于線形；考慮到眼底視網(wǎng)膜圖像中微動脈瘤和血管都具有一定的尺度變化，為了克服目標多尺度問題，本發(fā)明通過改變不同支撐區(qū)域的半徑，按如下公式一計算多尺度條件數(shù)，即

式中對數(shù)函數(shù)用來防止輸出值溢出，r_min和r_max分別為最小和最大支撐半徑。

圖2和圖3是不同支撐半徑下計算出的條件數(shù)結(jié)果圖像。圖4為多尺度條件數(shù)結(jié)果圖像。從圖中可以看出，眼底圖像中絕大多數(shù)血管，包括粗血管和細血管都有著較大的值。即在圖像中，血管結(jié)構被增強了，而微動脈瘤被抑制了。

接下來，本發(fā)明將利用的計算結(jié)果來將圖像中的血管與微動脈瘤分離開來。值得注意的是，如圖5和6所示，亮框所標示的微動脈瘤由于具有不規(guī)則的形狀，其值稍高于其他微動脈瘤。而如箭頭所示的血管片段具有較低的值。因此，不能直接使用閾值的方式來分離出血管網(wǎng)絡。

本發(fā)明利用基于圖像的形態(tài)學灰度重建方法進行血管去除，具體而言，首先利用經(jīng)驗閾值對圖像進行二值化處理，得到的二值化結(jié)果記作I_bw。該二值化結(jié)果中包含了絕大多數(shù)血管結(jié)果，并將作為標記圖像，從預處理圖像I_p的補圖像中重建出視網(wǎng)膜血管網(wǎng)絡，重建結(jié)果記作I_v(如圖7所示)。由于標記圖像I_bw中僅含有血管結(jié)果，在重建過程中血管結(jié)構將被重建出來。而對于微動脈瘤，其與血管網(wǎng)絡不相連，并且其不會出現(xiàn)在標記圖像I_bw中，因此，在重建過程中微動脈瘤并不會被重建出來。接下來，通過從預處理圖像I_p中減去重建結(jié)果Iv，絕大多數(shù)血管將被去除，而具有不同形狀和大小的微動脈瘤將被有效地保留下來，血管去除結(jié)果如圖8所示；圖9是圖8的局部放大結(jié)果，其對應利用圖像對圖5進行血管去除的結(jié)果；由圖可見，具有較低直的血管結(jié)果和其他血管一起被有效地去除，而具有較高值的微動脈瘤被有效地保留下來。

圖10中包含了低對比度的小微動脈瘤，圖11包含了靠近血管的微動脈瘤。利用本發(fā)明的方法進行血管去除后，這些微動脈瘤都能夠被有效地保留下來(如圖12和13所示)。

具體實施方式三：具體實施方式一所述的基于梯度向量分析的視網(wǎng)膜微小目標(微動脈瘤)的自動檢測與識別方法，步驟一中，所述的候選微動脈瘤定位的方法是：通過計算候選微動脈瘤多個方向上的二階導數(shù)，來對微動脈瘤進行精確定位。

在去除血管后，仍然會存在一些微小的血管片斷，背景噪聲以及其他的眼底暗圓形結(jié)構。接下來，本發(fā)明將在血管去除圖像中對候選微動脈瘤進行定位，同時將抑制非微動脈瘤的出現(xiàn)。考慮到上述非微動脈瘤和微動脈瘤具有相似的灰度值，直接利用灰度信息進行候選微動脈瘤的定位并不可行。

由于微動脈瘤在沿各個方向上的灰度截面輪廓都呈現(xiàn)高斯形狀分布。根據(jù)微動脈瘤的這種特性，本發(fā)明通過計算多個方向上的二階導數(shù)，來對微動脈瘤進行精確定位，同時，實現(xiàn)對非微動脈瘤的抑制。由于在任意方向上，微動脈瘤中心點都是該方向上灰度截面輪廓的最小點，所以微動脈瘤中心點應當在沿各個方向的灰度截面上有著最大的二階導數(shù)值。而對于微動脈瘤的其他位置或非微動脈瘤而言，在某些方向上，該二階導數(shù)值將會降低，甚至趨近于或小于零。只有微動脈瘤中心處才會在各個方向上具有較高的二階導數(shù)值，而其他位置在某些方向上二階導數(shù)趨近于零或等于零。基于這個觀察，本發(fā)明提出了基于多方向二階導數(shù)(即二階方向?qū)?shù))的候選微動脈瘤定位方法。

具體而言，給定一幅離散圖像I，對于圖像中任意一點(x，y)，可以在其局部鄰域內(nèi)利用Facet模型擬合出一個連續(xù)曲面，點(x，y)處離散灰度曲面的偏導數(shù)即利用該點處擬合的連續(xù)曲面上的偏導數(shù)進行估計；對于任意方向θ，其對應的單位方向向量記作u＝[cosθ，sinθ]^T，則圖像I上的梯度向量為點(x，y)處沿θ方向上的方向?qū)?shù)I′_θ(x，y)定義如下：

則該點處在θ方向上的二階方向?qū)?shù)I″_θ(x，y)通過下式進行計算：

考慮到一個負的方向?qū)?shù)表示該方向上灰度是單調(diào)下降的，其不符合從微動脈瘤中心到邊緣的灰度分布，本發(fā)明在計算方向?qū)?shù)時將負值全進行置零處理，并定義如下的二階方向?qū)?shù)即

式中符號表示負值置零操作，在此基礎上，本發(fā)明計算多個方向上二階方向?qū)?shù)的乘積

顯然，位于微動脈瘤中心處的要高于其他位置，在本發(fā)明中，計算從0°到360°之間36個方向上的值。

接下來，本發(fā)明將多方向上二階方向?qū)?shù)乘積圖像中超過經(jīng)驗閾值的所有局部極大值點作為最終的候選微動脈瘤中心點。圖14給出了多方向二階導數(shù)乘積結(jié)果圖像。圖15微動脈瘤定位結(jié)果圖像。由圖可知，本發(fā)明所提方法可以定位出幾乎所有的真實微動脈瘤。值得注意的是，聚集在一起的微動脈瘤也能夠被成功地單獨定位出來，這些微動脈瘤通常被現(xiàn)有文獻工作錯誤地檢測為同一個微動脈瘤。

具體實施方式四：具體實施方式一所述的基于梯度向量分析的視網(wǎng)膜圖像微動脈瘤自動檢測與識別方法，步驟一中，所述的候選微動脈瘤分割的方法是；采用基于局部區(qū)域能量的水平集分割方法完成對候選微動脈瘤區(qū)域的分割。

在定位出微動脈瘤中心后，本發(fā)明將進一步分割出完整的微動脈瘤病變區(qū)域。為了提高分割結(jié)果對眼底圖像灰度不一致性的魯棒性，本發(fā)明采用基于局部區(qū)域能量的水平集分割方法完成對候選微動脈瘤區(qū)域的分割。在該方法中，通過局部Chan-Vese能量來驅(qū)動活動輪廓線的演化。局部Chan-Vese能量通過將傳統(tǒng)Chan-Vese能量中的全局區(qū)域(活動輪廓線分割出的曲線內(nèi)外區(qū)域)灰度均值替換為活動輪廓線局部內(nèi)外區(qū)域的灰度均值，來提高對亮度不一致的目標邊緣的分割性能。此外，為了進一步提高算法的分割效率，本發(fā)明利用稀疏場技術來對曲線演化過程中的水平集進行表達。稀疏場技術采用鏈表的數(shù)據(jù)格式對零水平集上的點及其周邊鄰域點進行存儲，實現(xiàn)水平集的快速更新和演化，使得具有不同大小和局部對比度的微動脈瘤都被精確地分割出來。

具體實施方式五：具體實施方式一所述的基于梯度向量分析的視網(wǎng)膜圖像微動脈瘤自動檢測與識別方法，步驟二中，所述的候選微動脈瘤特征的提取包括幾何、對比度、灰度、邊緣、紋理、區(qū)域描述符以及其他特征七類。

具體實施方式六：具體實施方式五所述的基于梯度向量分析的視網(wǎng)膜圖像微動脈瘤自動檢測與識別方法，所述的幾何特征的提取方法是：

候選區(qū)域Ω的長短軸之比r₁，區(qū)域Ω等面積圓的直徑與Ω長軸之比r₂，區(qū)域Ω的面積a、圓度c、離心率e及緊致性；

所述的對比度特征的提取方法是：預處理圖像I_p以及原始眼底圖像I_o在RGB、LUV以及HSI顏色空間上各通道圖像中候選區(qū)域Ω內(nèi)最大灰度與候選區(qū)域Ω外最小灰度的差值ξ，Ω外區(qū)域通過形態(tài)學膨脹方法進行獲取；

所述的灰度特征的提取方法是：預處理圖像I_p以及原始眼底圖像I_o綠色通道上的Ω區(qū)域灰度值之和∑、中心點處歸一化灰度值ni以及Ω區(qū)域內(nèi)歸一化灰度值均值nm，原始眼底圖像I_o在RGB、LUV以及HSI顏色空間上各通道圖像中區(qū)域Ω內(nèi)外的平均灰度值μin、μout及其對應的標準差σin、σout；

所述的邊緣特征的提取方法是：預處理圖像I_p上區(qū)域Ω邊界處梯度幅值的平均值μ_e；

所述的紋理特征的提取方法是：預處理圖像I_p的高斯(LoG)濾波器響應圖像上區(qū)域Ω內(nèi)的均值μ_g(μ_l)以及標準差σ_g(σ_l)，其中濾波器尺度參數(shù)σ＝1，2，4，8；

所述的區(qū)域描述符的提取方法是：預處理圖像I_p上候選微動脈瘤中心點處局部鄰域窗口內(nèi)的區(qū)域描述符HOG、SURF和GIST，考慮到手工標記的微動脈瘤通常半徑在5～10個像素，為了利用微動脈瘤及其周邊區(qū)域的信息，本發(fā)明在31×31像素大小的鄰域窗口內(nèi)進行局部描述符的計算；

所述的其他特征的提取方法是：預處理圖像I_p上區(qū)域Ω內(nèi)梯度向量與徑向方向間夾角差異的均值μ_ξ及其標準差σ_ξ，預處理圖像I_p上區(qū)域Ω內(nèi)外條件數(shù)、收斂指數(shù)和散度值的均值μ_k、μ_ci、μ_div以及標準差σ_κ、σ_ci、σ_div。預處理圖像I_p上區(qū)域Ω內(nèi)獨立指數(shù)值的均值μ_ii和標準差σ_ii，該孤立指數(shù)是在圓形支撐區(qū)域(半徑為7像素)外的環(huán)形區(qū)域(寬度為3像素)內(nèi)平均灰度值與其標準差的比值，區(qū)域Ω內(nèi)條件數(shù)、收斂指數(shù)、孤立指數(shù)與散度值乘積的平均值μ_wi。

為了區(qū)分微動脈瘤與非微動脈瘤，本文提取了七大類特征集合，包括了幾何、對比度、灰度、邊緣、紋理、區(qū)域描述符以及其他特征。除了區(qū)域描述符，剩下的特征主要是依據(jù)微動脈瘤形狀、顏色等特性進行定義，并通常會采用在現(xiàn)有工作的微動脈瘤分類過程中。為了綜合利用候選微動脈瘤區(qū)域及其周邊區(qū)域的信息，本發(fā)明特意引入?yún)^(qū)域描述對候選微動脈瘤進行分類。本發(fā)明所提取的特征具體如下：

1.幾何特征：候選區(qū)域Ω的長短軸之比r₁。區(qū)域Ω等面積圓的直徑與Ω長軸之比r₂。區(qū)域Ω的面積a、圓度c、離心率e及緊致性。

2.對比度特征：預處理圖像I_p以及原始眼底圖像I_o在RGB、LUV以及HSI顏色空間上各通道圖像中候選區(qū)域Ω內(nèi)最大灰度與候選區(qū)域Ω外最小灰度的差值ξ。Ω外區(qū)域通過形態(tài)學膨脹方法進行獲取。

3.灰度特征：預處理圖像I_p以及原始眼底圖像I_o綠色通道上的Ω區(qū)域灰度值之和∑、中心點處歸一化灰度值ni以及Ω區(qū)域內(nèi)歸一化灰度值均值nm。原始眼底圖像I_o在RGB、LUV以及HSI顏色空間上各通道圖像中區(qū)域Ω內(nèi)外的平均灰度值μ_in、μ_out及其對應的標準差σ_in、σ_out。

4.邊緣特征：預處理圖像I_p上區(qū)域Ω邊界處梯度幅值的平均值μ_e。

5.紋理特征：預處理圖像I_p的高斯(LoG)濾波器響應圖像上區(qū)域Ω內(nèi)的均值μ_g(μ_l)以及標準差σ_g(σ_l)，其中濾波器尺度參數(shù)σ＝1，2，4，8。

6.區(qū)域描述符：預處理圖像I_p上候選微動脈瘤中心點處局部鄰域窗口內(nèi)的區(qū)域描述符HOG、SURF和GIST?？紤]到手工標記的微動脈瘤通常半徑在5～10個像素，為了利用微動脈瘤及其周邊區(qū)域的信息，本發(fā)明在31×31像素大小的鄰域窗口內(nèi)進行局部描述符的計算。

7.其他特征：預處理圖像I_p上區(qū)域Ω內(nèi)梯度向量與徑向方向間夾角差異的均值μ_ξ及其標準差σ_ξ。預處理圖像I_p上區(qū)域Ω內(nèi)外條件數(shù)、收斂指數(shù)和散度值的均值μ_κ、μ_ci、μ_div以及標準差σ_κ、σ_ci、σ_div。預處理圖像I_p上區(qū)域Ω內(nèi)獨立指數(shù)值的均值μ_ii和標準差σ_ii，該孤立指數(shù)是在圓形支撐區(qū)域(半徑為7像素)外的環(huán)形區(qū)域(寬度為3像素)內(nèi)平均灰度值與其標準差的比值。區(qū)域Ω內(nèi)條件數(shù)、收斂指數(shù)、孤立指數(shù)與散度值乘積的平均值μ_wi。

綜上所述，本發(fā)明所提特征總共含有1247維，其中區(qū)域描述符HOG、SURF和GIST特征分別為775、128和216維。由于區(qū)域描述符較少被用來進行微動脈分類，本發(fā)明將重點分析其在微動脈識別中的作用。

具體實施方式七：具體實施方式一所述的基于梯度向量分析的視網(wǎng)膜圖像微動脈瘤自動檢測與識別方法，步驟三中，所述的微動脈瘤識別的方法是：首先利用經(jīng)驗閾值去除一些明顯的非微動脈瘤，如候選微動脈瘤面積a不在2～150范圍內(nèi)，或者長短軸比r₁小于0.3，則將訓練專門的樣本不均衡分類器RUSBoost來對微動脈瘤進行識別。

考慮到在提取到的候選微動脈瘤集合中，非微動脈瘤的個數(shù)遠遠大于微動脈瘤個數(shù)，特別地，本發(fā)明在候選微動脈瘤提取過程中，為了保留盡可能多的微動脈瘤，本發(fā)明提取到的候選微動脈瘤集合中非微動脈瘤和微動脈瘤之間的比例達到500∶1。

為了解決樣本不均衡問題，本發(fā)明首先將利用經(jīng)驗閾值去除一些明顯的非微動脈瘤，如候選微動脈瘤面積a不在2～150范圍內(nèi)，或者長短軸比r₁小于0.3。接下來，本發(fā)明將訓練專門的樣本不均衡分類器(RUSBoost)來對微動脈瘤進行識別。

不均衡分類器(RUSBoost)將隨機下采樣方法與AdaBoost.M2算法相結(jié)合，可以有效解決樣本不均衡帶來的分類問題。給定少數(shù)類樣本集R和多數(shù)類樣本集S，|R|＜＜|S|。不均衡分類器(RUSBoost)在AdaBoost.M2算法的每一次循環(huán)中隨機從多數(shù)類樣本集S中下采樣樣本子集合S′，進而構建一個臨時的類別均衡樣本集R∪S′來訓練弱分類器，其中|S′|＜|S|，|S′|＝|R|。最終的強分類器通過加權組合T個弱分類器h_t(t＝1，2，...，T)得到，h_t為第t次循環(huán)過程中利用類別均衡樣本集R∪S′_t代替類別不均衡樣本集R∪S訓練得到弱分類器。

雖然本發(fā)明已以較佳實施例披露如上，然而并非用以限定本發(fā)明的，本領域技術人員還可以在本發(fā)明精神內(nèi)做其他變化，以及應用到本發(fā)明未提及的領域中，當然，這些依據(jù)本發(fā)明精神所做的變化都應包含在本發(fā)明所要求保護的范圍內(nèi)。