本發(fā)明屬于醫(yī)學影像計算機輔助診斷技術領域,尤其涉及一種用于胸部CT影像的肺結節(jié)自動檢測系統(tǒng)。
背景技術:
CT醫(yī)學影像的應用,能夠協(xié)助醫(yī)生診斷出病人是否患有肺癌。然而該應用的普及和患者數(shù)量的增多,造成了醫(yī)院放射科醫(yī)生每天的閱片負擔增重。目前已有很多計算機輔助診斷的研究工作者為減輕醫(yī)生的閱片量,發(fā)明多種肺結節(jié)計算機輔助檢測系統(tǒng),系統(tǒng)的算法大多是先利用閾值分割、區(qū)域增長、邊緣檢測等方法得到CT圖像中肺實質的大致區(qū)域,然后通過進行肺結節(jié)的真假陽性判斷。這些算法已經(jīng)不能滿足醫(yī)生、患者對肺結節(jié)判斷的需求。
為能更加準確判斷肺結節(jié)的位置、數(shù)量和種類,滿足現(xiàn)階段醫(yī)生和患者的需求,本發(fā)明提出一種新的技術方案即一種胸部CT影像的肺結節(jié)全自動檢測系統(tǒng)及方法。其主要將一種局部2D/3D特征的病灶定位和基于深度學習的病癥分類這兩種技術方案有效的結合,能避免漏檢肺壁上的結節(jié)、保留醫(yī)生感興趣的疑似結節(jié)性病變區(qū)域,從而達到減少檢測結果中的假陽性結節(jié),獲得精確的結節(jié)性病變的定位、定量、定性結果。真正地實現(xiàn)端到端(CT機端到醫(yī)生端)的結節(jié)性病變篩查,滿足醫(yī)生的準確性、易操作性的需求。
技術實現(xiàn)要素:
為解決上述的技術問題,本發(fā)明提供一種用于胸部CT影像的肺結節(jié)自動檢測系統(tǒng),具有很高的結節(jié)檢出率和較低的假陽性率,獲得精確的結節(jié)性病變的定位、定量、定性結果。
為了實現(xiàn)上述目的,本發(fā)明技術方案,包括以下步驟:
(1)獲取原始計算機斷層掃描(CT)影像序列,對原始圖像進行高斯濾波以消除噪聲等的干擾;
(2)結合最佳閾值法、數(shù)學形態(tài)學方法,對3D圖像進行粗分割,得到一個或多個組織定位區(qū)域;結合定位位置和3D連通域的大小移除背景體素,根據(jù)區(qū)域生長法移除氣管組織,剩余定位區(qū)域作為肺部組織;
(3)在每一個切片上,分別統(tǒng)計2D連通域的外輪廓邊緣點的凹凸性確定需要填充的區(qū)域,結合形態(tài)學操作填充該區(qū)域獲得最終的肺實質精確分割結果;
(4)通過最優(yōu)閾值規(guī)則確定多個閾值,利用這些閾值分別對肺實質區(qū)域的原始體素值進行二值化,并利用形態(tài)學開操作斷開狹窄的間斷,得到多組3D連通域(一個閾值對應一組3D連通域,每一組3D連通域中包含若干個3D連通域),若出現(xiàn)重疊的情況,采用位置回歸方法融合重疊的3D連通域;
(5)對每一個3D連通域進行2D/3D特征提取。所述2D 特征包括中心層的面積、中心層的圓似度,所述3D特征包括3D連通域的體積、類球度、體積與最大外接矩形體積之比、3D連通域的PCA主次軸比、xyz軸的最大截面積、最大外接矩形的長寬高、平均梯度、平均HU值;2D/3D特征經(jīng)過規(guī)則過濾后,排除大部分非結節(jié)3D連通域,獲得疑似結節(jié)的3D連通域;
(6)其后,對疑似結節(jié)的3D連通域求取中心坐標和體積作為結節(jié)性病灶定位和定量結果;
(7)構建基于深度學習的病灶分類模型,該模型由基于卷積神經(jīng)網(wǎng)絡的特征提取單元、輸出單元構成;
(8)基于卷積神經(jīng)網(wǎng)絡的特征提取單元采用卷積公式對輸入影像序列進行卷積,得到輸入樣本的卷積特征圖;采用最大池化方法,對卷積特征圖進行池化處理,通過卷積層、池化層層疊結構不斷組合低層特征形成更加抽象的高層表示,構成用于特征提取的卷積神經(jīng)網(wǎng)絡;
(9)輸出單元為全連接分類神經(jīng)網(wǎng)絡,該輸出單元的輸入為卷積神經(jīng)網(wǎng)絡輸出的3維數(shù)據(jù)拉伸所得1維數(shù)據(jù),中間為隱含層,輸出單元的輸出層由4個獨立的神經(jīng)元組成,對應醫(yī)學影像中需要辨識出的病灶類型(如實型結節(jié)、亞實型結節(jié)、磨玻璃型結節(jié)、正常組織);
(10)病灶分類模型需要先經(jīng)過大量樣本訓練,根據(jù)任務需求準備海量樣本數(shù)據(jù),將肺部CT影像數(shù)據(jù)庫中的影像序列經(jīng)過前述步驟(步驟1-6)獲得疑似結節(jié)候選區(qū)域,以疑似結節(jié)候選區(qū)域的中心為中心提取固定大小的2.5D或3D圖像塊,該圖像塊包含包括疑似結節(jié)區(qū)域及其周圍肺部區(qū)域,并結合樣本集的醫(yī)生標注和標簽,分成訓練樣本和測試樣本;
(11)將樣本數(shù)據(jù)輸入到上述病灶分類模型中,使用反向傳播(BP)算法,調整深度神經(jīng)網(wǎng)絡的參數(shù),使損失函數(shù)值最小,最終獲得具有較強泛化能力的病灶分類模型;
(12)診斷報告以影像標記和診斷書的形式顯示或打印。
對于實際應用,病人拍攝完CT影像,經(jīng)過前述肺實質分割(步驟1-3)、疑似結節(jié)檢測(步驟4-6)獲得疑似結節(jié)候選區(qū)域,以該區(qū)域的中心為中心提取固定大小的2.5D或3D圖像塊,將該圖像塊輸入到上述完成訓練的病灶分類模型,得到輸出的病灶分類結果及其預測概率,綜合疑似結節(jié)檢測步驟獲得的定位和定量結果,可以全自動獲得病人的結節(jié)性病灶的定位、定量、定性結果,并以診斷報告形式在終端顯示或打印。
與現(xiàn)有技術相比,本發(fā)明具有以下有益效果:
(1)本發(fā)明在3D空間采用最佳閾值法分割肺實質,然后在2D空間根據(jù)分割輪廓的凹凸性通過形態(tài)學操作進行邊緣補全,避免漏檢肺壁上的結節(jié);
(2)通過基于局部2D、3D特征的病灶定位技術檢測疑似結節(jié)區(qū)域,聚焦在結節(jié)及其相似區(qū)域,同時可以剔除絕大部分正常肺組織,只保留醫(yī)生感興趣的疑似結節(jié)性病變區(qū)域;
(3)通過基于深度學習的病灶分類方法可以實現(xiàn)對各種類型結節(jié)的分類,充分利用了CT序列影像的病灶局部三維信息,有效區(qū)分是否為肺結節(jié)并識別出結節(jié)的類型,可以更好的輔助醫(yī)生提高診斷準確性;
(4)本發(fā)明提供了一種端到端(CT機端到醫(yī)生端)的全自動肺結節(jié)檢測方案,并能以診斷報告形式提供結節(jié)性病變的定量、定位、定性診斷結果,具有廣泛地市場應用前景。
附圖說明
圖1 為本發(fā)明一種用于胸部CT影像的肺結節(jié)自動檢測系統(tǒng)的結構示意圖。
圖2為肺分割的每一個切片上2D連通域的外輪廓補全方法示意圖:其中,圖2a邊緣點的凹凸性統(tǒng)計方法示意圖,圖2b為原始切片肺分割圖像邊緣含有缺口,圖2c為根據(jù)凹凸特性確定缺口區(qū)域進行輪廓補全后的肺分割結果。
圖3為多閾值分割結果圖:其中,圖3a為原始肺組織圖像(圖中黃色方框表示結節(jié)位置),圖3b為閾值取T=-600HU時肺部組織二值化結果, 圖3c為閾值取T=-350HU時肺部組織二值化結果,圖3d為閾值取T=0HU時肺部組織二值化結果。
圖4為以疑似結節(jié)候選區(qū)域的中心為中心提取固定大小的2.5D或3D圖像塊示意圖:其中,圖4a為2.5D圖像塊的生成方式示意圖,圖4b為3D圖像塊的生成方式示意圖。
圖5為構建基于深度學習的病灶分類模型結構示意圖。
圖6為本發(fā)明的流程示意圖。
具體實施方式
本發(fā)明的發(fā)明思想為:提供一種“端到端”的全自動肺結節(jié)檢測方案。
下面結合附圖和實施例對本發(fā)明作進一步的描述。在下面的描述中闡述了很多具體細節(jié)以便于充分理解本發(fā)明。但是本發(fā)明能夠以很多不同于在此描述的其它方式來實施,因此本發(fā)明不受下面公開的具體實施的限制。圖1 為本發(fā)明一種用于胸部CT影像的肺結節(jié)自動檢測系統(tǒng)的結構示意圖。
包括:(1)輸入模塊U1,用于獲取CT影像,通過CT設備拍攝肺部CT影像數(shù)據(jù),并輸入到肺結節(jié)檢測系統(tǒng)。
(2)肺組織分割模塊U2,用于分割所述CT影像的肺組織;所述肺組織分割模塊U2包括基于閾值的粗分割單元U21,通過在三維空間中采用最佳閾值法分割肺實質;背景移除單元U22,根據(jù)粗分割獲得的各連通域的位置以及大小移除背景;氣管移除單元U24,通過主動搜索算法定位肺門并設立種子點,并利用區(qū)域生長法在3D鄰域內進行生長,并通過生長邊界判斷是否進入肺部區(qū)域,若進入肺部區(qū)域則停止生長,并將生長后的3D連通域標記為氣管加以移除。
(3)疑似結節(jié)檢測模塊U3,用于在分割后的肺組織中檢測疑似結節(jié)區(qū)域;所述疑似結節(jié)檢測模塊U3包括多閾值分割單元U31,通過最優(yōu)閾值規(guī)則確定多個閾值,利用這些閾值分別對肺實質區(qū)域進行二值化,得到多組3D連通域;特征提取單元U32,對每一個3D連通域進行2D、3D特征提取;檢測單元U33,前述2D、3D特征經(jīng)過先驗規(guī)則過濾后,可以獲得疑似結節(jié)的3D連通域。
(4)病灶分類模塊U4,用于分類疑似結節(jié)候選區(qū)域,分類結果包括結節(jié)類型及屬于該類型的預測概率;所述病灶分類模塊U4包括深度學習建模單元U41,構建基于卷積神經(jīng)網(wǎng)絡的病灶分類模型;訓練單元U42,基于海量肺部CT影像,通過前述輸入模塊U1、肺組織分割模塊U2、疑似結節(jié)檢測模塊U3,獲得疑似結節(jié)候選區(qū)域,結合樣本集的醫(yī)生標注和標簽,分成訓練樣本和測試樣本,將樣本輸入到深度學習建模單元U41,訓練得到模型參數(shù);預測單元U43,在實際應用中,病人CT數(shù)據(jù)經(jīng)過輸入模塊U1、肺組織分割模塊U2、疑似結節(jié)檢測模塊U3,得到該病人的疑似結節(jié)性病變區(qū)域,根據(jù)深度學習建模單元U41和訓練單元訓練得到模型參數(shù),可以給出疑似結節(jié)性病變區(qū)域的類型及屬于該類型的預測概率。
本發(fā)明的全自動肺結節(jié)檢測系統(tǒng)實施的具體步驟包括:
(1)獲取CT影像:通過CT機拍攝肺部CT影像數(shù)據(jù),通常處理的CT數(shù)據(jù)層厚為1.25-3mm,層間距為0.75-3mm,每層CT 圖像的大小為512×512個像素,像素大小為0.5-0.8mm。并輸入到肺結節(jié)檢測系統(tǒng)中,對輸入的CT影像進行高斯濾波以消除噪聲等的干擾。
(2)結合最佳閾值法、數(shù)學形態(tài)學方法,對3D圖像進行粗分割,得到一個或多個組織定位區(qū)域。
(3)結合定位位置和3D連通域的大小移除背景體素,根據(jù)區(qū)域生長法移除氣管組織,剩余定位區(qū)域作為肺部組織。
(4)在每一個切片上,如圖2a所示,分別統(tǒng)計2D連通域的外輪廓邊緣點的凹凸性,確定需要填充的區(qū)域,如圖2b所示,結合形態(tài)學操作填充該區(qū)域獲得最終的肺實質精確分割結果,如圖2c所示。
(5)通過最優(yōu)閾值規(guī)則確定多個閾值(以一組閾值[-600HU,-350HU,0HU]為例),利用這些閾值分別對肺實質區(qū)域的原始體素值進行二值化,并利用形態(tài)學開操作斷開狹窄的間斷,每一個獨立的二值連通結構代表一個3D連通域,得到多組3D連通域(一個閾值對應一組3D連通域,每一組3D連通域中包含若干個3D連通域),其單個切片的結果如圖3所示。
(6)對每一個3D連通域進行2D、3D特征提取,對于提取的2D、3D特征具體描述見表1。
(7)結合醫(yī)生對結節(jié)性病變的認知先驗,設定先驗規(guī)則,2D、3D特征經(jīng)過先驗規(guī)則過濾后,排除大部分非結節(jié)3D連通域,獲得疑似結節(jié)的3D連通域。
(8)對于多組閾值分割的3D連通域有重疊的情況,采用回歸方法融合重疊的3D連通域,進一步調整其位置和形狀,確定疑似結節(jié)的最終3D連通域。
(9)對疑似結節(jié)的3D連通域求取中心坐標和體積作為結節(jié)性病灶定位和定量結果,以疑似結節(jié)候選區(qū)域的中心為中心提取固定大?。ㄟ呴L為64pixel)的2.5D或3D圖像塊,2.5D圖像塊提取方式如圖4a所示,3D圖像塊的提取方式如圖4b所示,這種圖像塊既包含了結節(jié)所在區(qū)域信息,也包含其周圍的正常肺組織的信息。
(10)構建基于深度學習的病灶分類模型,如圖5所示,該模型由基于卷積神經(jīng)網(wǎng)絡的特征提取單元、全連接神經(jīng)網(wǎng)絡輸出單元構成,通過海量數(shù)據(jù)訓練獲得具有較高預測準確率的深度學習模型及其參數(shù)。
(11)圖像塊經(jīng)過上述深度學習模型的卷積層、池化層層疊結構不斷將輸入影像的低層特征組合形成更加抽象的高層表示,構成用于3D局部特征提取的卷積神經(jīng)網(wǎng)絡。
(12) 全連接神經(jīng)網(wǎng)絡輸出單元實現(xiàn)分類目的,其輸出層包含4個獨立的神經(jīng)元,對應醫(yī)學影像中需要辨識出的病灶類型(如實型結節(jié)、亞實型結節(jié)、磨玻璃型結節(jié)、正常組織),其輸出值表示對應病灶類型的概率。
(13)綜合步驟(9)和(12)的結果得到診斷的定位、定量、定性結果。
顯然,上述實施例僅僅是為清楚地說明所作的舉例,而并非對實施方式的限定。對于所屬領域的普通技術人員來說,在上述說明的基礎上還可以做出其它不同形式的變化或變動。這里無需也無法對所有的實施方式予以窮舉。而由此所引伸出的顯而易見的變化或變動仍處于本發(fā)明創(chuàng)造的保護范圍之中。