專利名稱：視網(wǎng)膜圖像分析系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于分析視網(wǎng)膜圖像以及用于從視網(wǎng)膜圖像獲得可在形成對(duì)于疾病 的診斷中有用的表征視網(wǎng)膜血管的信息的系統(tǒng)和方法。
背景技術(shù)：
用于監(jiān)控心血管疾病的現(xiàn)有非侵入性方法利用血壓(例如，見(jiàn)美國(guó)專利號(hào) 5961467，4669485，5365924，6135966，5634467，5178151)。然而，臨床研究已提示視 網(wǎng)膜血管分布的變化(例如，視網(wǎng)膜小動(dòng)脈的變窄和視網(wǎng)膜小靜脈的變寬)可能是心血管 疾病(CVD)和其他諸如高血壓和糖尿病等疾病的早期指示。視網(wǎng)膜小動(dòng)脈和小靜脈的狀 況反映身體其余部分中的血管的狀況。量化視網(wǎng)膜血管的特征的能力對(duì)于確定視網(wǎng)膜小 動(dòng)脈變窄和其它狀況的嚴(yán)重性是重要的。小動(dòng)脈和小靜脈分別是主要的視網(wǎng)膜動(dòng)脈和靜脈的小分支，它們的狀況指示身 體中的更小的血管。從詳細(xì)的數(shù)字視網(wǎng)膜圖像中測(cè)量小動(dòng)脈和小靜脈的直徑或?qū)挾纫约?計(jì)算動(dòng)靜脈直徑比值(AVR)是量化視網(wǎng)膜小動(dòng)脈和小靜脈口徑尺寸之間的不平衡的一種 方法。這種度量可隨納入計(jì)算的不同視網(wǎng)膜血管而變化。更重要地，AVR提供關(guān)于視網(wǎng) 膜血管變化的僅僅一個(gè)方面的信息，即視網(wǎng)膜血管口徑的信息，而并不考慮視網(wǎng)膜血管 分布中的很多結(jié)構(gòu)性變化。然而，由于該過(guò)程將涉及由訓(xùn)練過(guò)的分級(jí)人員對(duì)視網(wǎng)膜圖像 中的靜脈和動(dòng)脈的直徑的重復(fù)測(cè)量，所以難以大規(guī)模地量化視網(wǎng)膜血管的上述特征。這 使用大量勞力，并且在使用不同分級(jí)人員時(shí)結(jié)果可有所不同。由于這個(gè)原因，據(jù)我們所 知，目前不存在使用視網(wǎng)膜圖像分析的用于心血管狀況的非侵入性觀測(cè)的平臺(tái)。視網(wǎng)膜動(dòng)脈和靜脈系統(tǒng)的分支模式具有分形特征也是已知的。分形是由相似于 較大整體的各較小部分或單元組成的幾何圖樣。分形已被用于表征多種自然形狀，諸如 樹(shù)的分支模式、海岸線的形狀、心電圖機(jī)描記圖形以及視網(wǎng)膜微循環(huán)的圖樣。分形(或 分?jǐn)?shù))維數(shù)(D)是與分形相關(guān)聯(lián)的一種度量并且具有一系列定義。然而，它可被看作提 供在放大到越來(lái)越精細(xì)的尺度時(shí)一個(gè)分形看起來(lái)填充由該分形占據(jù)的空間的完全程度的 指示的統(tǒng)計(jì)量。即，分形維數(shù)可被看作構(gòu)成較大單元并且符合該較大單元的較小單元的 數(shù)量。分形維數(shù)總是小于分形被視為存在于其中的維度的數(shù)量。在Patton N、Aslam T、MacGillivray T、Pattie A、Deary I J、DhillonB.的
“作為用于腦血管疾病的潛在篩選工具的視網(wǎng)膜血管圖像分析基于腦和視網(wǎng)膜微脈 管系統(tǒng)之 I、司的同源個(gè)生的基本原理(Retinal vascular image analysis as a potential screening tool for cerebrovascular disease a rationale based on homology between cerebral and retinal microvasculatures.) ” (J Anat.2005 ； 206 319-348)中提出由于分形考慮視網(wǎng)膜血管口
徑的變化和分支模式的變化兩者，所以分形提供了對(duì)于視網(wǎng)膜血管樹(shù)的自然、全局、全 面的描述。在Mainster M.A.的“視網(wǎng)膜血管的分形屬性胚胎學(xué)和臨床意義(Thefractal properties of retinal vessels embryological and clinical implications) ” (Eye, 1990,4(Ptl) 235-241)中，對(duì)于數(shù)字化的熒光素血管造影照片拼貼的分析揭示視網(wǎng)膜動(dòng)脈和 靜脈圖樣分別具有1.63士0.05和1.71 士0.07的分形維數(shù)，這與從有限擴(kuò)散聚集中已知的 1.68 士0.05的維數(shù)一致。在Daxer A的“增生糖尿病視網(wǎng)膜病的分形幾何對(duì)于視網(wǎng)膜血管生成的過(guò)程 禾口診斷的意義(The fractal geometry of proliferative diabetic retinopathy implications for the diagnosis and the process of retinal vasculogenesis) ” (Curr Eye Res.1993 ； 12 1103—1109)
中，對(duì)具有位于或鄰近視神經(jīng)盤(NVD)的新生血管的視網(wǎng)膜血管圖樣與正常眼睛的血 管圖樣進(jìn)行了比較。眼睛中的NVD的存在是要求激光治療的嚴(yán)重視覺(jué)喪失的高風(fēng)險(xiǎn) 特征。分形維數(shù)是使用密度_密度相關(guān)函數(shù)方法從數(shù)字化的照片計(jì)算出來(lái)的。相比之 下，具有NVD的血管圖樣的平均分形維數(shù)D (D = 1.845士0.056)顯著高于對(duì)照組(D = 1.708士0.073)。分形維數(shù)的邊界值被提議設(shè)為1.8，更高值可能指示增生變化。因此，分形幾何提供了比經(jīng)典幾何對(duì)眼睛的解剖結(jié)構(gòu)的更全局且更精確的描 述。分形模式表征血管模式如何貫穿視網(wǎng)膜，并且因此可提供關(guān)于血管模式和視網(wǎng)膜疾 病之間的關(guān)系的信息。

發(fā)明內(nèi)容
本發(fā)明旨在提供一種用于自動(dòng)化分析視網(wǎng)膜圖像的平臺(tái)，該平臺(tái)包括自動(dòng)描記 視網(wǎng)膜圖像的一個(gè)或多個(gè)血管的一個(gè)或多個(gè)路徑，以及用于從視網(wǎng)膜圖像獲得可在形成 對(duì)于疾病的診斷中有用的表征視網(wǎng)膜血管的信息。本發(fā)明的第一方面概括地提出了允許提取視網(wǎng)膜的多個(gè)特征的自動(dòng)化視網(wǎng)膜圖 像分析系統(tǒng)和/或方法，以提供對(duì)于實(shí)現(xiàn)心血管風(fēng)險(xiǎn)預(yù)測(cè)的評(píng)估或者甚至心血管疾病的 診斷有用的數(shù)據(jù)。本發(fā)明的各優(yōu)選實(shí)施例允許對(duì)視網(wǎng)膜圖像的大規(guī)模分級(jí)，以用于具有 分級(jí)者內(nèi)以及分級(jí)者之間的高可靠性的心血管風(fēng)險(xiǎn)預(yù)測(cè)。在一種表述中，本發(fā)明的第一方面提出一種視網(wǎng)膜圖像分析方法，該方法包 括⑴自動(dòng)描記視網(wǎng)膜圖像的一個(gè)或多個(gè)血管的一個(gè)或多個(gè)路徑；( )自動(dòng)生成包括一個(gè)或多個(gè)所描記的路徑的描記圖像；(iii)自動(dòng)標(biāo)識(shí)多個(gè)血管段，這些血管段是所述血管的各部分；(iv)使用這些血管段來(lái)自動(dòng)計(jì)算多個(gè)參數(shù)；以及(ν)輸出所述多個(gè)參數(shù)。在另一種表述中，本發(fā)明的第一方面提出一種視網(wǎng)膜圖像分析系統(tǒng)，該系統(tǒng)包 括處理器，所述處理器用于⑴自動(dòng)描記視網(wǎng)膜圖像的一個(gè)或多個(gè)血管的一個(gè)或多個(gè)路徑；( )自動(dòng)生成包括一個(gè)或多個(gè)所描記的路徑的描記圖像；(iii)自動(dòng)標(biāo)識(shí)多個(gè)血管段，多個(gè)血管段是所述血管的各部分；(iv)使用這些血管段來(lái)自動(dòng)計(jì)算多個(gè)參數(shù)；以及(ν)輸出多個(gè)參數(shù)。在另一種表述中，本發(fā)明的第一方面提出一種視網(wǎng)膜圖像分析系統(tǒng)，該系統(tǒng)包括⑴被配置成自動(dòng)描記視網(wǎng)膜圖像的一個(gè)或多個(gè)血管的一個(gè)或多個(gè)路徑的計(jì)算機(jī) 可讀程序代碼組件；( )被配置成自動(dòng)生成包括一個(gè)或多個(gè)所描記的路徑的描記圖像的計(jì)算機(jī)可讀程 序代碼組件；(iii)被配置成自動(dòng)標(biāo)識(shí)多個(gè)血管段的計(jì)算機(jī)可讀程序代碼組件，多個(gè)血管段是 所述血管的各部分；(iv)被配置成使用這些血管段來(lái)自動(dòng)計(jì)算多個(gè)參數(shù)的計(jì)算機(jī)可讀程序代碼組 件；以及(ν)被配置成輸出多個(gè)參數(shù)的計(jì)算機(jī)可讀程序代碼組件。本發(fā)明的第二方面概括地提出一種自動(dòng)化視網(wǎng)膜圖像分析系統(tǒng)和/或方法，該 系統(tǒng)和/或方法使用對(duì)視網(wǎng)膜圖像的分形分析來(lái)提供疾病風(fēng)險(xiǎn)預(yù)測(cè)，諸如但不限于糖尿 病和高血壓。在一種表述中，本發(fā)明的第二方面提供一種視網(wǎng)膜圖像分析方法，該方法包 括自動(dòng)描記視網(wǎng)膜圖像的一個(gè)或多個(gè)血管的一個(gè)或多個(gè)路徑；自動(dòng)生成包括一個(gè)或多個(gè)所描記的路徑的描記圖像；自動(dòng)計(jì)算該描記圖像的分形容量維數(shù)；將所計(jì)算的分形容量維數(shù)與基準(zhǔn)分形容量維數(shù)作比較；以及基于該比較生成對(duì)于疾病(諸如心血管疾病)的未來(lái)風(fēng)險(xiǎn)的估計(jì)。該方法可包括細(xì)化該描記圖像以去除該描記圖像中的錯(cuò)誤，以及計(jì)算被細(xì)化的 描記圖像的細(xì)化分形容量維數(shù)。優(yōu)選地，該分形容量維數(shù)是優(yōu)于單一分形容量維數(shù)的多重分形容量維數(shù)。優(yōu)選地，該方法包括在自動(dòng)描記視網(wǎng)膜圖像之前設(shè)置視網(wǎng)膜圖像的視神經(jīng)盤的 半徑。優(yōu)選地，在自動(dòng)描記視網(wǎng)膜圖像之前，該方法包括裁剪或縮放視網(wǎng)膜圖像以最 小化視網(wǎng)膜圖像的有害方面以及實(shí)現(xiàn)視網(wǎng)膜圖像的比較。適當(dāng)?shù)?，該方法包括如果在上一次?xì)化后描記圖像中的錯(cuò)誤保留，則重復(fù)細(xì)化 該描記圖像。適當(dāng)?shù)兀摲椒òɑ谒?jì)算的細(xì)化分形容量維數(shù)來(lái)查詢數(shù)據(jù)存儲(chǔ)體以及選 擇診斷數(shù)據(jù)。適當(dāng)?shù)?，該方法包括自?dòng)生成包括所取回的診斷數(shù)據(jù)的報(bào)告。在另一種表述中，本發(fā)明的第二方面提供一種視網(wǎng)膜圖像分析系統(tǒng)，該系統(tǒng)包 括處理器，所述處理器用于自動(dòng)描記視網(wǎng)膜圖像的一個(gè)或多個(gè)血管的一個(gè)或多個(gè)路徑；自動(dòng)生成包括一個(gè)或多個(gè)所描記的路徑的描記圖像；自動(dòng)計(jì)算該描記圖像的分形容量維數(shù)；將所計(jì)算的分形容量維數(shù)與基準(zhǔn)分形容量維數(shù)作比較；以及
基于該比較生成對(duì)于疾病的未來(lái)風(fēng)險(xiǎn)的估計(jì)。優(yōu)選地，該系統(tǒng)還包括耦合成與處理器通信以用于顯示描記圖像和細(xì)化的描記 圖像的輸出設(shè)備。優(yōu)選地，該系統(tǒng)還包括耦合成與處理器通信以用于存儲(chǔ)診斷數(shù)據(jù)的數(shù)據(jù)存儲(chǔ) 體。適當(dāng)?shù)?，該處理器基于所?jì)算的分形容量維數(shù)來(lái)查詢數(shù)據(jù)存儲(chǔ)體以及選擇診斷 數(shù)據(jù)。適當(dāng)?shù)?，該處理器自?dòng)生成包括所取回的診斷數(shù)據(jù)的報(bào)告。在另一種表述中，本發(fā)明的第二方面提供一種視網(wǎng)膜圖像分析系統(tǒng)，該系統(tǒng)包 括被配置成自動(dòng)描記視網(wǎng)膜圖像的一個(gè)或多個(gè)血管的一個(gè)或多個(gè)路徑的計(jì)算機(jī)可 讀程序代碼組件；被配置成自動(dòng)生成包括一個(gè)或多個(gè)所描記的路徑的描記圖像的計(jì)算機(jī)可讀程序 代碼組件；被配置成自動(dòng)計(jì)算該描記圖像的分形容量維數(shù)的計(jì)算機(jī)可讀程序代碼組件；被配置成將所計(jì)算的分形容量維數(shù)與基準(zhǔn)分形容量維數(shù)作比較的計(jì)算機(jī)可讀程 序代碼組件；以及被配置成基于該比較生成對(duì)于疾病的未來(lái)風(fēng)險(xiǎn)的估計(jì)的計(jì)算機(jī)可讀程序代碼組 件。附圖簡(jiǎn)述僅通過(guò)示例，將參考附圖在此更全面地描述本發(fā)明的各優(yōu)選實(shí)施例，其中

圖1是根據(jù)本發(fā)明各實(shí)施例的診斷性視網(wǎng)膜圖像系統(tǒng)的示意圖；圖2是本發(fā)明第一方面的實(shí)施例的方法的流程圖；圖3示出了用于執(zhí)行圖2的方法的計(jì)算機(jī)程序的結(jié)構(gòu)和操作。圖4，包括圖4(a)到4(k)，是顯示圖2的方法中的視神經(jīng)盤檢測(cè)的三種模式的 一系列屏幕截圖；圖5是由圖2的實(shí)施例產(chǎn)生的數(shù)字視網(wǎng)膜圖像的屏幕截圖，它顯示指定的視神經(jīng) 盤；圖6包括圖6(a)和6(b)，分別顯示其中已指定視網(wǎng)膜路徑的描記圖像，以及用 于編輯圖2的方法中突出顯示的血管段的描記圖像的擴(kuò)張部分；圖7包括圖7 (a)、7 (b)和7 (c)，它們是顯示允許用戶在查看圖像和編輯組成圖 2的方法中的血管的樹(shù)結(jié)構(gòu)的中心線時(shí)移除視覺(jué)阻礙的切換能力的屏幕截圖；圖8是示出由圖2的方法生成的有關(guān)血管的信息以及諸如各個(gè)區(qū)域的CRAE和 CRVE度量等概括性屬性的屏幕截圖；圖9是示出由圖2的方法生成的各個(gè)區(qū)域中的血管以及血管寬度的標(biāo)準(zhǔn)偏差的列 表的屏幕截圖；圖10包括圖10 (a)和10(b)，它們是示出從描記圖像移除造成圖2的方法中血管 寬度的標(biāo)準(zhǔn)偏差變化較大的線條的屏幕截圖；圖11包括圖11(a)、11(b)和11(c)，它們是示出根據(jù)本發(fā)明的各實(shí)施例的圖2
8的方法中的優(yōu)化以自動(dòng)覆蓋不合格段寬的效果的屏幕截圖；圖12是示出根據(jù)本發(fā)明第二方面的實(shí)施例的方法的一般流程圖；圖13是示出根據(jù)本發(fā)明第二方面的實(shí)施例設(shè)置視神經(jīng)盤的半徑的數(shù)字視網(wǎng)膜圖 像的屏幕截圖；圖14是根據(jù)本發(fā)明第二方面的實(shí)施例從數(shù)字視網(wǎng)膜圖像生成的描記圖像的屏幕 截圖；圖15是部分示出根據(jù)本發(fā)明第二方面的實(shí)施例的描記圖像、數(shù)字視網(wǎng)膜圖像的 放大以及關(guān)于視網(wǎng)膜圖像和描記圖像的所存儲(chǔ)的數(shù)據(jù)的屏幕截圖；圖16是示出根據(jù)本發(fā)明第二方面的實(shí)施例的描記圖像以及在細(xì)化該描記圖像期 間的放大數(shù)字視網(wǎng)膜圖像的屏幕截圖；圖17是示出根據(jù)本發(fā)明第二方面的實(shí)施例在細(xì)化描記圖像期間從描記圖像移除 視乳頭周圍萎縮的一系列屏幕截圖；圖18是示出根據(jù)本發(fā)明第二方面的實(shí)施例在細(xì)化描記圖像期間從不對(duì)應(yīng)于血管 的描記圖像移除短線條的一系列屏幕截圖；圖19是示出根據(jù)本發(fā)明第二方面的實(shí)施例在細(xì)化描記圖像期間從描記圖像移除 脈絡(luò)膜血管的一系列屏幕截圖；圖20是示出根據(jù)本發(fā)明第二方面的實(shí)施例在細(xì)化描記圖像期間從描記圖像移除 偽影的一系列屏幕截圖；圖21是示出根據(jù)本發(fā)明第二方面的實(shí)施例的視網(wǎng)膜圖像以及不可分級(jí)的描記圖 像的一對(duì)屏幕截圖；圖22示出根據(jù)本發(fā)明第二方面的實(shí)施例產(chǎn)生的報(bào)告的示例；圖23示出細(xì)化的多重分形維數(shù)Dtl的分布；以及圖24示出相對(duì)收縮壓繪制的參與者的全部樣品中的細(xì)化的多重分形容量維數(shù)的 圖表。各實(shí)施例的詳細(xì)描述參考圖1，提供了根據(jù)本發(fā)明各實(shí)施例的診斷性視網(wǎng)膜圖像系統(tǒng)100。根據(jù)本發(fā) 明的優(yōu)選實(shí)施例，該系統(tǒng)100包括耦合成與輸出設(shè)備120通信的處理器110，該輸出設(shè)備 120為一對(duì)顯示器130的形式。該系統(tǒng)100包括耦合成與處理器110通信的一個(gè)或多個(gè)輸 入設(shè)備140，諸如鼠標(biāo)和/或鍵盤和/或定點(diǎn)設(shè)備。在一些實(shí)施例中，顯示器130中的一 個(gè)或多個(gè)可以是既可以顯示數(shù)據(jù)又可以例如通過(guò)定點(diǎn)設(shè)備從用戶接收輸入的觸敏屏幕。系統(tǒng)100還包括耦合成與處理器110通信的數(shù)據(jù)存儲(chǔ)體150。數(shù)據(jù)存儲(chǔ)體150可 以是具有足夠容量用于存儲(chǔ)配置的計(jì)算機(jī)可讀程序代碼組件160的任意合適的已知的存 儲(chǔ)器，這些計(jì)算機(jī)可讀程序代碼組件中的一些或全部被要求用于執(zhí)行本發(fā)明，如以下進(jìn) 一步詳細(xì)描述。根據(jù)一個(gè)實(shí)施例，處理器110是Pentium(R)D CPU 2.80GHz，而數(shù)據(jù)存儲(chǔ)體150 包括IGB的RAM和232GB的本地硬盤空間。這對(duì)顯示器130是允許1280x1024分辨率 的圖像顯示的兩個(gè)21英寸顯示器。還采用了 NVIDIAQuadro FX 1400圖形卡。本領(lǐng)域技 術(shù)人員將理解，本發(fā)明不限于這一特定實(shí)現(xiàn)。數(shù)據(jù)存儲(chǔ)體150存儲(chǔ)配置的計(jì)算機(jī)可讀程序代碼組件160，這些組件的一些或全部由處理器110來(lái)取回和執(zhí)行。本發(fā)明的各實(shí)施例駐留在診斷性視網(wǎng)膜圖像系統(tǒng)100中， 該系統(tǒng)包括被配置成自動(dòng)描記視網(wǎng)膜圖像的一個(gè)或多個(gè)血管的一個(gè)或多個(gè)路徑的計(jì)算機(jī) 可讀程序代碼組件。系統(tǒng)100還包括用于生成包括所述一個(gè)或多個(gè)所描記的路徑的描記 圖像的計(jì)算機(jī)可讀程序代碼組件。系統(tǒng)100還包括被配置成細(xì)化描記圖像以去除描記圖 像中的錯(cuò)誤的計(jì)算機(jī)可讀程序代碼組件。如以下所述，系統(tǒng)100通常包括用于自動(dòng)標(biāo)識(shí)視神經(jīng)盤的程序代碼組件。由于 與同一圖像的視神經(jīng)盤尺寸有關(guān)的定義的區(qū)域不受圖像放大率以及拍照的不同角度的影 響，所以對(duì)與視神經(jīng)盤尺寸有關(guān)的連續(xù)定義的區(qū)域的裁剪允許比較來(lái)自同一人在不同時(shí) 間拍攝的不同的圖像，以及允許比較來(lái)自不同人的圖像。系統(tǒng)100還包括全面的報(bào)告功 能，該功能自動(dòng)生成可被臨床醫(yī)生和患者兩者使用的報(bào)告并減少人為干預(yù)度，從而使視 網(wǎng)膜圖像分級(jí)以及報(bào)告的效率得以提高。本發(fā)明的各實(shí)施例允許患者的多個(gè)視網(wǎng)膜圖像 鏈接在單個(gè)報(bào)告上。如下所述，該視網(wǎng)膜圖像系統(tǒng)被配置成根據(jù)本發(fā)明的兩個(gè)方面中的任一方面來(lái) 運(yùn)行，從而分別執(zhí)行圖2和圖12中的任意一個(gè)中示出的一系列步驟。1.本發(fā)明的第一方面轉(zhuǎn)向圖2，示出了本發(fā)明的第一實(shí)施例的方法的各步驟。圖3示出了用于執(zhí)行該 方法的計(jì)算機(jī)程序的結(jié)構(gòu)(例如，如由圖1的系統(tǒng)100實(shí)現(xiàn)的)，其中標(biāo)記為1-11的步驟 對(duì)應(yīng)于圖2中的步驟。該程序包括GUI(圖形用戶界面)模塊12、圖像檢測(cè)模塊13、以 及屬性提取模塊14。圖2的方法的輸入是已被數(shù)字化的以盤為中心的視網(wǎng)膜照片，例如是可由蔡司 (Zeiss) FF3眼底照相機(jī)產(chǎn)生的那種照片。1.1視神經(jīng)盤檢測(cè)(步驟1)在圖2的方法的第一步驟中，檢測(cè)對(duì)應(yīng)于視神經(jīng)盤的照片的區(qū)域以便對(duì)視網(wǎng)膜 圖像的可靠分級(jí)。在此討論用于視神經(jīng)盤檢測(cè)的三種模式，可使用其中任一種。由GUI 12的單元12a以及圖像檢測(cè)模塊13的視神經(jīng)盤檢測(cè)器13a來(lái)執(zhí)行該過(guò)程，其中由單元 12a、13a中的每個(gè)單元執(zhí)行的工作的比例取決于使用哪一種模式。第一模式是基于小波處理和橢圓擬合的全自動(dòng)的檢測(cè)。該系統(tǒng)使用Daubechies 小波變換來(lái)逼近視神經(jīng)盤區(qū)域。接著，使用基于強(qiáng)度的模板來(lái)獲得視神經(jīng)盤的摘要表 示。這在視神經(jīng)盤強(qiáng)度是高度非勻質(zhì)的情況下產(chǎn)生穩(wěn)健的結(jié)果。接著使用橢圓擬合算 法來(lái)從這一摘要表示檢測(cè)視神經(jīng)盤的輪廓(見(jiàn)P.M.D.SPallawala、Wynne Hsu、Mong Li Lee、Kah-Guan Au Eong、利用橢圓擬合和小波變換的自動(dòng)化視神經(jīng)盤局域化和輪廓檢 測(cè)(Automated Optic DiscLocalization and Contour Detection Using Ellipse Fitting and Wavelet Transform)，第八屆歐洲計(jì)算機(jī)視覺(jué)會(huì)議(ECCV)，捷克共和國(guó)布拉格市，2004年5 月)。第二模式是其中用戶定位一個(gè)圓圈來(lái)逼近視杯區(qū)域的半自動(dòng)檢測(cè)。接著在用戶 指定的視杯區(qū)域外執(zhí)行使用上述方法的視神經(jīng)盤檢測(cè)。視神經(jīng)盤檢測(cè)的第三種模式主要是手動(dòng)的，它要求用戶準(zhǔn)確定位視神經(jīng)盤的中 心和邊緣，接著在視網(wǎng)膜圖像上描記視神經(jīng)盤的輪廓。這可使用GUI 12的視神經(jīng)盤引導(dǎo) 部分12a來(lái)完成。
圖4是示出在視神經(jīng)盤檢測(cè)的三種模式期間GUI所顯示的一系列屏幕截圖。圖4(a)和4(b)示出全自動(dòng)化的模式。起初呈現(xiàn)給用戶圖4(a)的屏幕，且在收 到命令時(shí)單元13a生成圖4(b)的屏幕。視神經(jīng)盤被檢測(cè)為具有半徑r的圓形區(qū)域40?；?于視神經(jīng)盤半徑r，單元13a從視神經(jīng)盤的中心定義如下三個(gè)區(qū)域A、B、C區(qū)域A是具 有半徑2r的圓圈41中的區(qū)域；區(qū)域B是通過(guò)從具有半徑3r的圓圈42中減去區(qū)域A形成 的同心區(qū)域；區(qū)域C是通過(guò)從具有半徑5r的圓圈43中減去區(qū)域A所形成的同心區(qū)域。圖4(c)到4(f)示出半自動(dòng)化模式中的一系列步驟。圖4(c)等同于圖4(a)。圖 4(d)示出用戶如何在視神經(jīng)盤中心附近手動(dòng)定位一個(gè)圓圈44。圖4(e)示出用戶如何通 過(guò)拖動(dòng)鼠標(biāo)來(lái)調(diào)整圓圈44的大小。在這樣做并且因此用調(diào)整大小后的圓圈覆蓋了視神經(jīng) 盤視杯之后，用戶點(diǎn)擊GUI 12上的“找到OD”(Find OD)，并且系統(tǒng)生成圖4(f)中示 出的具有以上含義的圓圈40、41、42、43。圖4(g)到4(k)示出手動(dòng)模式。圖4(g)也等同于圖4(a)。圖4(h)示出用戶如 何使用鼠標(biāo)將圓圈44放置在視神經(jīng)盤中心(調(diào)整大小還未進(jìn)行)然后點(diǎn)擊。圖4(i)示出 用戶接著如何指示命令“OD邊緣”(OD edge)。圖4 (j)示出用戶接著如何點(diǎn)擊在其想 要拖動(dòng)的視神經(jīng)盤的邊緣點(diǎn)上。圖4(k)示出屏幕接著顯示的從所選視神經(jīng)盤中心和所 選邊緣點(diǎn)生成的圓圈40、41、42、43。1.2血管結(jié)構(gòu)提取和描記用于血管結(jié)構(gòu)提取的算法是通過(guò)單元13b由GUI 12的血管發(fā)現(xiàn)單元12b控制來(lái) 執(zhí)行的，并且該算法是基于S.Garg、J.Sivaswamy、S.Chandra的“未檢查的基于曲率的視 網(wǎng)膜血管分段(Unsupervised Curvature-Based Retinal Vessel Segmentation)，，(印度海得拉 巴市信息技術(shù)研究所2007年技術(shù)報(bào)告)中的工作。視網(wǎng)膜血管被建模為槽，且這些槽的 中心線使用曲率信息來(lái)提取(圖2的步驟2)。結(jié)果為其中每個(gè)槽由一條中心線來(lái)指示的 圖像(圖3中標(biāo)記為15)。接著由屬性提取模塊14使用改進(jìn)區(qū)域生長(zhǎng)方法來(lái)提取完整的血管結(jié)構(gòu)(圖2中 的步驟3)。種子點(diǎn)被放置在區(qū)域B的起點(diǎn)來(lái)啟動(dòng)血管段的描記。每當(dāng)遇到分支點(diǎn)或交 叉時(shí)，由單元14a以深度優(yōu)先的方式描記血管。每隔固定間隔自動(dòng)確定每個(gè)血管段的寬 度樣本。這由單元14c來(lái)完成。1.3對(duì)于視網(wǎng)膜小動(dòng)脈和小靜脈的分類(步驟4)屬性提取模塊14的單元14b如下所述標(biāo)識(shí)動(dòng)脈和靜脈(在本文中術(shù)語(yǔ)“靜脈” 和“小靜脈”可互換使用，術(shù)語(yǔ)“動(dòng)脈”和“小動(dòng)脈”也是如此)。首先，為每個(gè)血 管選擇最初15個(gè)直徑線。這是為了使局部強(qiáng)度變化的影響最小化。接著，對(duì)于每個(gè)選 擇的直徑線，獲得其直方圖形式的強(qiáng)度分布圖。從直方圖選擇最頻繁出現(xiàn)的前五個(gè)值并 計(jì)算平均值。接著，應(yīng)用k-平均(k-means)算法將所有血管的這些平均值聚集到兩個(gè)類靜 脈和動(dòng)脈。k-平均算法起初挑選兩個(gè)值作為種子。然后反復(fù)地計(jì)算從每個(gè)點(diǎn)到這兩個(gè)中 心的距離。各個(gè)點(diǎn)被重新分配到最近中心的群。在多次反復(fù)操作后，各個(gè)群會(huì)收斂。在獲得這兩個(gè)群中心后，根據(jù)15個(gè)直徑線到這兩個(gè)中心的距離將它們標(biāo)記為靜 脈或動(dòng)脈。分別對(duì)被標(biāo)記為靜脈和動(dòng)脈的直徑線的數(shù)量進(jìn)行計(jì)數(shù)。使用多數(shù)表決系統(tǒng)來(lái) 將給定血管最終分類為靜脈或者動(dòng)脈。
在步驟5中通過(guò)GUI來(lái)顯示結(jié)果，如圖6所示(這是圖3中顯示為16的圖像)。 圖6 (a)示出用線條指示血管段的整體視網(wǎng)膜圖像。小靜脈中的一些由附圖標(biāo)記61、62、 63、64、65、66、67標(biāo)記。小動(dòng)脈中的一些被標(biāo)記為71、72、73。因?yàn)樾?dòng)脈81已被 用戶選擇，所以顯示為更亮一些。圖6(b)示出了用戶可如何顯示血管段的更大版本，以 及如果這樣，則通過(guò)與血管段44的長(zhǎng)度方向正交的線條來(lái)顯示沿著血管段的每一點(diǎn)處的 寬度。系統(tǒng)試圖每隔相同間隔來(lái)對(duì)這些寬度采樣。為用戶提供了多種操作來(lái)細(xì)化已被提 取和描記的血管結(jié)構(gòu)。用戶可使用在圖3中示為接收用戶輸入(“編輯血管”)的GUI 12的血管編輯單元12c來(lái)編輯數(shù)據(jù)(步驟6)。這可包括不僅僅是添加漏掉的血管段、刪 除懸掛的血管段、斷開(kāi)血管段、標(biāo)示和取消標(biāo)示交叉血管段、以及改變血管類型中的任 意一個(gè)步驟或多個(gè)步驟。結(jié)果被傳送回血管段檢測(cè)器13b。該方法循環(huán)回步驟3 (任選地很多次數(shù))直到 用戶滿意為止。在這時(shí)由GUI顯示給用戶的各種視圖中的一些被顯示在圖7中。用戶可 在這些視圖之間切換。1.4量度的計(jì)算(步驟8)單元14d基于一用于改進(jìn)標(biāo)準(zhǔn)偏差的特別啟發(fā)式方法通過(guò)放棄不合格樣本來(lái)最 優(yōu)化寬度樣本(步驟7)。這種啟發(fā)式方法采取使寬度的標(biāo)準(zhǔn)偏差(越低越好)與保留的 樣本數(shù)量(越高越好)平衡的目標(biāo)函數(shù)最大化的形式。標(biāo)準(zhǔn)的最優(yōu)化技術(shù)被用于保留使 該目標(biāo)函數(shù)最大化的各寬度。圖11示出了應(yīng)用寬度優(yōu)化器的效果。在圖Ila中，沿著段的亮線(諸如線83)是保留的樣本寬度，而暗線(諸如線85) 是被寬度優(yōu)化器放棄的樣本寬度。注意，被放棄的樣本寬度是段寬的不精確的表示。寬 度優(yōu)化器被應(yīng)用到所有段。圖IlB與圖9(圖IlB的右邊的放大部分)一起顯示在這一 過(guò)程之前的屏幕截圖，其中采樣的寬度具有大范圍變化的血管用深色方框來(lái)指示。圖Ilc 顯示在這一過(guò)程應(yīng)用后的屏幕截圖，其中該圖的右邊沒(méi)有包含深色方框。這說(shuō)明采樣的 寬度的當(dāng)前變化不是過(guò)度的。單元14e接著計(jì)算被標(biāo)識(shí)和編輯的各段的屬性。注意血管是具有每個(gè)節(jié)點(diǎn)有正 好0個(gè)或2個(gè)子節(jié)點(diǎn)的屬性的二叉樹(shù)。血管二叉樹(shù)中的每個(gè)節(jié)點(diǎn)表示一個(gè)段。段是不包 括任何分支點(diǎn)的線上的一列點(diǎn)。在血管的根節(jié)點(diǎn)處的段稱為根段，并且在根節(jié)點(diǎn)處的段 中的第一個(gè)點(diǎn)是根點(diǎn)。一個(gè)段可以分支為兩個(gè)子段。1.4.1段的量度以s表示段，以下量度被定義為s的函數(shù)。-平均寬度ω(s): s的樣本寬度是每隔固定間隔取樣的。S的平均寬度是樣本寬 度的簡(jiǎn)單平均值。ωΒ(8)和Coe(S)分別表示區(qū)域B和區(qū)域C中的樣本寬度的平均值。-標(biāo)準(zhǔn)偏差σ(S) S的樣本寬度是每隔固定間隔取樣的。S的寬度的標(biāo)準(zhǔn)偏差是 從那些樣本計(jì)算的。σΒ(8)和σ e(s)分別表示區(qū)域B和區(qū)域C中的樣本的標(biāo)準(zhǔn)偏差。-長(zhǎng)度λ(s)將s的長(zhǎng)度計(jì)算為s中的兩個(gè)相鄰點(diǎn)之間的成對(duì)歐幾里得距離的 和，即該段的弧。Xb(S)和Ac(S)分別表示區(qū)域B和區(qū)域C中的長(zhǎng)度。-簡(jiǎn)單彎曲度τ(s)將簡(jiǎn)單彎曲度作為弧弦比τ (s) = λ (s)/C (s)來(lái)計(jì)算，其 中(是8的弦，即S中第一個(gè)點(diǎn)和最后一個(gè)點(diǎn)之間的歐幾里得距離。類似地，對(duì)于區(qū)域 B和區(qū)域C，弧線比分別為τ B(s) = Ab(s)/Cb(s)和TB(s) = λ c(s)/Cc(S)，其中區(qū)域
12B和C中的弦使用其中S中的第一個(gè)點(diǎn)和最后一個(gè)點(diǎn)來(lái)測(cè)量。-曲率彎曲度 ζ (S)這是從 W.E.Hart、M.Goldbaum、B.Cote、P.Kube> M.R.Nelson 的“視網(wǎng)膜血管彎曲度的自動(dòng)化測(cè)量(Automated measurement ofretinal vascular tortuosity) ” (1997年AMIA秋季會(huì)議論文集)中給出的公式τ4來(lái)計(jì)算的。由于段中的 各點(diǎn)是離散的，使用求和來(lái)估計(jì)整數(shù)以給出，
權(quán)利要求
1.一種視網(wǎng)膜圖像分析方法，包括ω自動(dòng)描記視網(wǎng)膜圖像的一個(gè)或多個(gè)血管的一個(gè)或多個(gè)路徑； ( )自動(dòng)生成包括所述一個(gè)或多個(gè)所描記的路徑的描記圖像； ( )自動(dòng)標(biāo)識(shí)多個(gè)血管段，所述多個(gè)血管段是所述血管的各部分； (iv)使用所述血管段來(lái)自動(dòng)計(jì)算表征所述血管的多個(gè)參數(shù)；以及 (ν)輸出所述多個(gè)參數(shù)。
2.如上述任一項(xiàng)權(quán)利要求所述的方法，其特征在于，所述參數(shù)包括描述所述血管段 中的相應(yīng)一個(gè)血管段的參數(shù)，且包括以下各項(xiàng)中的一個(gè)或多個(gè)所述血管段的平均寬度；指示沿著所述血管段的至少部分長(zhǎng)度的血管段寬度變化的值； 所述血管段的長(zhǎng)度；以及 所述血管段的彎曲度。
3.如權(quán)利要求1或權(quán)利要求2所述的視網(wǎng)膜圖像分析方法，其特征在于，所述方法包 括導(dǎo)出所述視網(wǎng)膜圖像的多個(gè)區(qū)域，所述步驟Gv)包括導(dǎo)出位于每個(gè)所述區(qū)域內(nèi)的所述 血管段的任何部分的一個(gè)或多個(gè)所述參數(shù)。
4.如權(quán)利要求3所述的視網(wǎng)膜圖像分析方法，其特征在于，其中所述區(qū)域環(huán)繞所述視 網(wǎng)膜圖像的視神經(jīng)盤區(qū)域，并且具有不同的相應(yīng)直徑。
5.如上述任一項(xiàng)權(quán)利要求所述的視網(wǎng)膜圖像分析方法，其特征在于，所述方法包括 標(biāo)識(shí)作為單個(gè)血管的部分的所述血管段的組，以及獲得表征所述血管段組的參數(shù)。
6.如權(quán)利要求5所述的視網(wǎng)膜圖像分析方法，其特征在于，所述血管段組包括根段和 多個(gè)子段，以及表征所述血管段組的參數(shù)包括以下的一個(gè)或多個(gè)分支系數(shù)； 不對(duì)稱比； 連接指數(shù)偏差；指示所述子段與所述根段的延伸方向之間的角度的平均值的分支角度；以及 指示所述角度的差異的角度不對(duì)稱值。
7.如從屬于權(quán)利要求3或權(quán)利要求4的權(quán)利要求5所述的視網(wǎng)膜圖像分析方法，其特 征在于，所述血管段組在所述區(qū)域中的一個(gè)區(qū)域中延伸。
8.如上述任一項(xiàng)權(quán)利要求所述的視網(wǎng)膜圖像分析方法，其特征在于，還包括將血管 分類為靜脈和動(dòng)脈。
9.如從屬于權(quán)利要求3或權(quán)利要求4的權(quán)利要求8所述的視網(wǎng)膜圖像分析方法，其特 征在于，所述方法還包括為至少一個(gè)所述區(qū)域獲得指示所述區(qū)域中的多個(gè)最寬的靜脈的 寬度或多個(gè)最寬的動(dòng)脈的寬度的所述參數(shù)。
10.如上述任一項(xiàng)權(quán)利要求所述的視網(wǎng)膜圖像分析方法，其特征在于，所述方法包括 用于編輯步驟Gi)中產(chǎn)生的所述描記圖像和/或步驟Gii)中標(biāo)識(shí)的所述血管段的與用戶 交互的編輯步驟，步驟Gv)和(ν)在所述編輯步驟之后執(zhí)行和/或重復(fù)。
11.如上述任一項(xiàng)權(quán)利要求所述的視網(wǎng)膜圖像分析方法，其特征在于，所述方法包括 指示在步驟(iv)中確定其寬度的差異高于一閾值的任何所述血管段。
12.—種視網(wǎng)膜圖像分析方法，包括獲得用戶對(duì)所述視網(wǎng)膜圖像的特征的注解的步驟ο
13.如上述任一項(xiàng)權(quán)利要求所述的視網(wǎng)膜圖像分析方法，其特征在于，還包括使用所 述多個(gè)參數(shù)生成對(duì)于心血管疾病的未來(lái)風(fēng)險(xiǎn)的估計(jì)。
14.一種視網(wǎng)膜圖像分析系統(tǒng)，包括 處理器，所述處理器用于(i)自動(dòng)描記視網(wǎng)膜圖像的一個(gè)或多個(gè)血管的一個(gè)或多個(gè)路徑；(ii)自動(dòng)生成包括所述一個(gè)或多個(gè)所描記的路徑的描記圖像；(iii)自動(dòng)標(biāo)識(shí)多個(gè)血管段，所述多個(gè)血管段是所述血管的各部分；(iv)使用所述血管段來(lái)自動(dòng)計(jì)算多個(gè)參數(shù)；以及 (ν)輸出所述多個(gè)參數(shù)。
15.—種視網(wǎng)膜圖像分析系統(tǒng)，包括ω被配置成自動(dòng)描記視網(wǎng)膜圖像的一個(gè)或多個(gè)血管的一個(gè)或多個(gè)路徑的計(jì)算機(jī)可讀 程序代碼組件；(ii)被配置成自動(dòng)生成包括一個(gè)或多個(gè)所描記的路徑的描記圖像的計(jì)算機(jī)可讀程序代 碼組件；(iii)被配置成自動(dòng)標(biāo)識(shí)多個(gè)血管段的計(jì)算機(jī)可讀程序代碼組件，所述多個(gè)血管段是 所述血管的各部分；(iv)被配置成使用所述血管段來(lái)自動(dòng)計(jì)算多個(gè)參數(shù)的計(jì)算機(jī)可讀程序代碼組件；以及(ν)被配置成輸出所述多個(gè)參數(shù)的計(jì)算機(jī)可讀程序代碼組件。
16.—種視網(wǎng)膜圖像分析方法，包括自動(dòng)描記視網(wǎng)膜圖像的一個(gè)或多個(gè)血管的一個(gè)或多個(gè)路徑； 自動(dòng)生成包括一個(gè)或多個(gè)所描記的路徑的描記圖像； 自動(dòng)計(jì)算所述描記圖像的分形容量維數(shù)； 將所計(jì)算的分形容量維數(shù)與基準(zhǔn)分形容量維數(shù)作比較；以及 基于所述比較生成對(duì)于血管病的未來(lái)風(fēng)險(xiǎn)的估計(jì)。
17.如權(quán)利要求16所述的視網(wǎng)膜圖像分析方法，其特征在于，所述方法包括細(xì)化所述 描記圖像以去除所述描記圖像中的錯(cuò)誤，以及計(jì)算所細(xì)化的描記圖像的細(xì)化分形容量維數(shù)。
18.如權(quán)利要求16或17所述的視網(wǎng)膜圖像分析方法，其特征在于，所述分形容量維 數(shù)是多重分形容量維數(shù)。
19.如權(quán)利要求16至18中的任一項(xiàng)權(quán)利要求所述的視網(wǎng)膜圖像分析方法，其特征在 于，所述方法還包括在自動(dòng)描記所述視網(wǎng)膜圖像之前設(shè)置所述視網(wǎng)膜圖像的視神經(jīng)盤的半徑。
20.如權(quán)利要求16至19中的任一項(xiàng)權(quán)利要求所述的視網(wǎng)膜圖像分析方法，其特征在 于，所述方法還包括在自動(dòng)描記視網(wǎng)膜圖像之前剪裁或縮放所述視網(wǎng)膜圖像以使所述視 網(wǎng)膜圖像的有害方面最小化以及實(shí)現(xiàn)視網(wǎng)膜圖像比較。
21.如權(quán)利要求17所述的視網(wǎng)膜圖像分析方法，其特征在于，所述方法還包括如 果在上一次細(xì)化后所述描記圖像中的錯(cuò)誤保留，則重復(fù)細(xì)化所述描記圖像。
22.如權(quán)利要求16至21中的任一項(xiàng)權(quán)利要求所述的視網(wǎng)膜圖像分析方法，其特征在 于，所述方法還包括括基于所計(jì)算的細(xì)化分形容量維數(shù)來(lái)查詢數(shù)據(jù)存儲(chǔ)體并選擇診斷數(shù) 據(jù)。
23.如權(quán)利要求22所述的視網(wǎng)膜圖像分析方法，其特征在于，所述方法還包括自動(dòng)生 成包括所選擇的診斷數(shù)據(jù)的報(bào)告。
24.—種視網(wǎng)膜圖像分析系統(tǒng)，包括 處理器，所述處理器用于自動(dòng)描記視網(wǎng)膜圖像的一個(gè)或多個(gè)血管的一個(gè)或多個(gè)路徑； 自動(dòng)生成包括一個(gè)或多個(gè)所描記的路徑的描記圖像； 自動(dòng)計(jì)算所述描記圖像的分形容量維數(shù)； 將所計(jì)算的分形容量維數(shù)與基準(zhǔn)分形容量維數(shù)作比較；以及 基于所述比較生成對(duì)于血管病的未來(lái)風(fēng)險(xiǎn)的估計(jì)。
25.如權(quán)利要求24所述的視網(wǎng)膜圖像分析系統(tǒng)，其特征在于，所述方法還包括耦合成 與所述處理器通信并且用于顯示所述描記圖像和細(xì)化的描記圖像的輸出設(shè)備。
26.如權(quán)利要求24所述的視網(wǎng)膜圖像分析系統(tǒng)，其特征在于，所述方法還包括耦合成 與所述處理器通信并且用于存儲(chǔ)診斷數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)體。
27.如權(quán)利要求26所述的視網(wǎng)膜圖像分析系統(tǒng)，其特征在于，所述處理器基于所計(jì)算 的分形容量維數(shù)來(lái)查詢所述數(shù)據(jù)存儲(chǔ)體以及選擇診斷數(shù)據(jù)。
28.—種視網(wǎng)膜圖像分析系統(tǒng)，包括被配置成自動(dòng)描記視網(wǎng)膜圖像的一個(gè)或多個(gè)血管的一個(gè)或多個(gè)路徑的計(jì)算機(jī)可讀程 序代碼組件；被配置成自動(dòng)生成包括所述一個(gè)或多個(gè)所描記的路徑的描記圖像的計(jì)算機(jī)可讀程序 代碼組件；被配置成自動(dòng)計(jì)算所述描記圖像的分形容量維數(shù)的計(jì)算機(jī)可讀程序代碼組件； 被配置成將所計(jì)算的分形容量維數(shù)與基準(zhǔn)分形容量維數(shù)作比較的計(jì)算機(jī)可讀程序代 碼組件；以及被配置成基于所述比較生成對(duì)于血管病的未來(lái)風(fēng)險(xiǎn)的估計(jì)的計(jì)算機(jī)可讀程序代碼組件。
全文摘要
提出了一種用于視網(wǎng)膜圖像的自動(dòng)化分析的平臺(tái)，以從視網(wǎng)膜圖像獲得表征可在形成對(duì)于疾病的診斷中有用的視網(wǎng)膜血管的信息。本發(fā)明的第一方面提出了提取視網(wǎng)膜的多個(gè)特征，以提供對(duì)于實(shí)現(xiàn)心血管風(fēng)險(xiǎn)預(yù)測(cè)的評(píng)估或者甚至心血管疾病的診斷有用的數(shù)據(jù)。第二方面使用視網(wǎng)膜圖像的分形分析來(lái)提供對(duì)于諸如但不限于糖尿病和高血壓的血管病的風(fēng)險(xiǎn)預(yù)測(cè)。
文檔編號(hào)G06K9/00GK102014731SQ200980117578
公開(kāi)日2011年4月13日 申請(qǐng)日期2009年2月3日 優(yōu)先權(quán)日2008年4月8日
發(fā)明者M·L·李, T·Y·翁, W·許 申請(qǐng)人:新加坡國(guó)立大學(xué)