本發(fā)明涉及醫(yī)學(xué)圖像分割,特別是涉及一種腹部ct圖像中肝臟腫瘤的自動分割方法、一種腹部ct圖像中肝臟腫瘤的自動分割裝置、一種電子設(shè)備以及一種計(jì)算機(jī)可讀介質(zhì)。
背景技術(shù):
1、原發(fā)性肝癌的發(fā)病率與死亡率較高,在所有癌癥類型中位居前列,成為健康的重大威脅。計(jì)算機(jī)斷層掃描(ct)是一種廣泛應(yīng)用的影像工具,可用于評估肝臟的形態(tài)、質(zhì)地和局灶性病變,幫助醫(yī)生進(jìn)行準(zhǔn)確的肝癌評估和制定治療方案。然而,手動標(biāo)注腫瘤區(qū)域不僅耗時且勞力密集,也難以滿足多中心大樣本數(shù)據(jù)集的研究需要。此外,肝臟腫瘤在大小、形狀、位置和外觀上現(xiàn)出高度的異質(zhì)性,現(xiàn)有的肝臟腫瘤自動分割算法未能很好地對腫瘤區(qū)域進(jìn)行分割,特別是當(dāng)腫瘤內(nèi)部含有較大面積的壞死區(qū)域時,模型容易被誤導(dǎo)僅對壞死區(qū)域進(jìn)行分割,而忽略了外觀與正常組織相似的腫瘤包膜。因此,臨床實(shí)踐中迫切需要一種能夠快速、準(zhǔn)確且自動地從肝臟腫瘤ct圖像中分割腫瘤的方法。
2、現(xiàn)有的肝臟腫瘤分割方法可分為基于傳統(tǒng)機(jī)器學(xué)習(xí)和基于深度學(xué)習(xí)兩個類別。在早期研究中,由于可用的肝臟腫瘤分析的數(shù)據(jù)有限,機(jī)器學(xué)習(xí)方法因其對計(jì)算資源需求較低以及降低了模型過擬合風(fēng)險(xiǎn),取得了較好的腫瘤分割效果。然而,這些方法非常依賴于手工設(shè)計(jì)的特征,在面對邊界模糊且瘤內(nèi)異質(zhì)性較強(qiáng)的腫瘤時的分割效果不理想。隨著多中心數(shù)據(jù)研究的擴(kuò)展,基于傳統(tǒng)機(jī)器學(xué)習(xí)的肝臟腫瘤分割方法已無法滿足現(xiàn)代研究的需求。深度學(xué)習(xí)方法,尤其是卷積神經(jīng)網(wǎng)絡(luò)(cnn),在肝臟腫瘤分割中顯示出巨大的潛力。這些方法能夠自適應(yīng)地學(xué)習(xí)腫瘤特征,可以捕捉到腫瘤的復(fù)雜紋理和結(jié)構(gòu)。然而,深度學(xué)習(xí)方法也存在一些局限。首先,深度學(xué)習(xí)模型通常需要大量的標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練,盡管它們可以自動提取特征,但對于數(shù)據(jù)量的需求非常高。尤其在醫(yī)療影像中,獲得大規(guī)模、高質(zhì)量的標(biāo)注數(shù)據(jù)往往具有挑戰(zhàn)性。其次,現(xiàn)有的深度學(xué)習(xí)方法在肝臟腫瘤分割中經(jīng)常會發(fā)生腫瘤區(qū)域分割不完全的問題。肝臟腫瘤的侵襲性生長導(dǎo)致在ct圖像中腫瘤與周圍正常組織之間的邊界模糊,模型難以區(qū)分并準(zhǔn)確分割出腫瘤的完整輪廓。此外,腫瘤內(nèi)部的壞死區(qū)域也增加了分割的難度,這些壞死區(qū)域會誤導(dǎo)模型無法正確識別并分割出腫瘤包膜,導(dǎo)致腫瘤區(qū)域的分割不完全。再一個,不同成像設(shè)備、造影劑類型及成像參數(shù)設(shè)置的差異,導(dǎo)致ct圖像的對比度和質(zhì)量存在不一致性,這使得模型在處理不同來源的圖像時表現(xiàn)不穩(wěn)定,難以在多中心大樣本的數(shù)據(jù)環(huán)境中保持高效的分割性能。因此,改進(jìn)深度學(xué)習(xí)模型在肝臟腫瘤分割中的表現(xiàn),如何應(yīng)對腫瘤分割過程中出現(xiàn)的假陰性分割問題,具有重要的臨床意義。
技術(shù)實(shí)現(xiàn)思路
1、鑒于上述問題,提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的一種腹部ct圖像中肝臟腫瘤的自動分割方法和相應(yīng)的一種腹部ct圖像中肝臟腫瘤的自動分割裝置、一種電子設(shè)備以及一種計(jì)算機(jī)可讀介質(zhì)。
2、本發(fā)明公開了一種腹部ct圖像中肝臟腫瘤的自動分割方法,所述方法包括:
3、獲取待分割腹部ct圖像,并對所述待分割腹部ct圖像進(jìn)行重采樣和歸一化處理,得到預(yù)處理后的待分割腹部ct圖像;
4、將預(yù)處理后的待分割腹部ct圖像輸入訓(xùn)練好的肝臟腫瘤自動分割模型;
5、所述肝臟腫瘤自動分割模型以滑動窗口的形式,依次從所述預(yù)處理后的待分割腹部ct圖像截取預(yù)設(shè)大小的圖像區(qū)域進(jìn)行分割,待所有區(qū)域完成分割后得到預(yù)測的腫瘤掩膜。
6、可選地,所述肝臟腫瘤自動分割模型的生成,包括:
7、獲取腹部ct圖像數(shù)據(jù)集;所述腹部ct圖像數(shù)據(jù)集包括原始腹部ct圖像數(shù)據(jù)集和原始腹部ct圖像數(shù)據(jù)集對應(yīng)的腫瘤掩膜;
8、采用預(yù)先訓(xùn)練好的肝臟分割模型對所述原始腹部ct圖像數(shù)據(jù)集進(jìn)行肝臟分割,得到肝臟掩膜;
9、將所述肝臟掩膜與所述原始腹部ct圖像數(shù)據(jù)集相乘,得到所述原始腹部ct圖像數(shù)據(jù)集的感興趣肝臟區(qū)域圖像;
10、構(gòu)建肝臟腫瘤自動分割網(wǎng)絡(luò);
11、將所述感興趣肝臟區(qū)域圖像裁剪為預(yù)設(shè)大小的多個感興趣肝臟區(qū)域圖像塊,并輸入肝臟腫瘤自動分割網(wǎng)絡(luò)進(jìn)行腫瘤分割,輸出腫瘤分割結(jié)果;
12、對比所述腫瘤分割結(jié)果與原始腹部ct圖像數(shù)據(jù)集對應(yīng)的腫瘤掩膜,得到各個量化評價指標(biāo),并根據(jù)量化評價指標(biāo)對肝臟腫瘤自動分割網(wǎng)絡(luò)的參數(shù)進(jìn)行調(diào)優(yōu),得到所述肝臟腫瘤自動分割模型。
13、可選地,所述肝臟腫瘤自動分割網(wǎng)絡(luò)包括3d?u-net基線模型、多尺度特征聚合模塊和偽裝特征挖掘模塊,
14、所述多尺度特征聚合模塊部署于3d?u-net基線模型的瓶頸層,用于提取不同尺度下的腫瘤特征并進(jìn)行局部特征融合;
15、所述偽裝特征挖掘模塊部署于3d?u-net基線模型的跳躍連接層,用于接收編碼特征和解碼特征,采用門控注意力突出關(guān)鍵腫瘤特征,并采用特征翻轉(zhuǎn)操作引導(dǎo)網(wǎng)絡(luò)關(guān)注背景中隱藏的腫瘤特征。
16、可選地,將所述感興趣肝臟區(qū)域圖像裁剪為預(yù)設(shè)大小的多個感興趣肝臟區(qū)域圖像塊,并輸入肝臟腫瘤自動分割網(wǎng)絡(luò)進(jìn)行腫瘤分割,輸出腫瘤分割結(jié)果,包括:
17、采用3d?u-net基線模型的編碼層對感興趣肝臟區(qū)域圖像塊進(jìn)行卷積下采樣操作,得到編碼層腫瘤特征圖;
18、所述多尺度特征聚合模塊采用不同大小的卷積核對所述編碼層腫瘤特征圖進(jìn)行卷積處理得到多尺度腫瘤特征圖,并對多尺度腫瘤特征圖進(jìn)行逐元素運(yùn)算融合,得多尺度融合特征圖;
19、采用3d?u-net基線模型的解碼層對多尺度融合特征圖進(jìn)行逐層上采樣操作,并與編碼層腫瘤特征圖拼接得到解碼層腫瘤特征圖;
20、所述偽裝特征挖掘模塊將編碼層腫瘤特征圖下采樣為與解碼層腫瘤特征圖大小相同,將下采樣后的編碼層腫瘤特征圖與解碼層腫瘤特征圖相加后卷積得到融合特征,采用激活函數(shù)激活融合特征,并將與激活后的融合特征大小相同的全一矩陣與激活后的融合特征相減,相減后上采樣為與編碼層腫瘤特征圖大小相同的差異特征圖,將差異特征圖與編碼層腫瘤特征圖相乘得到目標(biāo)腫瘤特征圖;
21、通過輸出層將所述目標(biāo)腫瘤特征圖轉(zhuǎn)換為腫瘤分割結(jié)果。
22、可選地,對比所述腫瘤分割結(jié)果與原始腹部ct圖像數(shù)據(jù)集對應(yīng)的腫瘤掩膜,得到各個量化評價指標(biāo),并根據(jù)量化評價指標(biāo)對肝臟腫瘤自動分割網(wǎng)絡(luò)的參數(shù)進(jìn)行調(diào)優(yōu),得到所述肝臟腫瘤自動分割模型,包括:
23、對比所述腫瘤分割結(jié)果與原始腹部ct圖像數(shù)據(jù)集對應(yīng)的腫瘤掩膜,得到各個量化評價指標(biāo),并根據(jù)量化評價指標(biāo)采用隨機(jī)梯度下降優(yōu)化器優(yōu)化肝臟腫瘤自動分割網(wǎng)絡(luò)的參數(shù),并對學(xué)習(xí)率采用學(xué)習(xí)率線性衰減策略,直至肝臟腫瘤自動分割網(wǎng)絡(luò)收斂,得到所述肝臟腫瘤自動分割模型。
24、可選地,所述方法還包括:
25、對所述原始腹部ct圖像數(shù)據(jù)集進(jìn)行重采樣和歸一化處理,并將處理后的圖像數(shù)據(jù)集按照笛卡爾坐標(biāo)軸進(jìn)行隨機(jī)翻轉(zhuǎn)或圖像旋轉(zhuǎn)處理,并在圖像中添加隨機(jī)大小的高斯噪聲;
26、將所述原始腹部ct圖像數(shù)據(jù)集對應(yīng)的腫瘤掩膜進(jìn)行相同的翻轉(zhuǎn)或圖像旋轉(zhuǎn)處理。
27、本發(fā)明還公開了一種腹部ct圖像中肝臟腫瘤的自動分割裝置,所述裝置包括:
28、預(yù)處理模塊,用于獲取待分割腹部ct圖像,并對所述待分割腹部ct圖像進(jìn)行重采樣和歸一化處理,得到預(yù)處理后的待分割腹部ct圖像;
29、輸入模塊,用于將預(yù)處理后的待分割腹部ct圖像輸入訓(xùn)練好的肝臟腫瘤自動分割模型;
30、輸出模塊,用于所述肝臟腫瘤自動分割模型以滑動窗口的形式,依次從所述預(yù)處理后的待分割腹部ct圖像截取預(yù)設(shè)大小的圖像區(qū)域進(jìn)行分割,待所有區(qū)域完成分割后得到預(yù)測的腫瘤掩膜。
31、可選地,所述裝置還包括:
32、訓(xùn)練數(shù)據(jù)獲取模塊,用于獲取腹部ct圖像數(shù)據(jù)集;所述腹部ct圖像數(shù)據(jù)集包括原始腹部ct圖像數(shù)據(jù)集和原始腹部ct圖像數(shù)據(jù)集對應(yīng)的腫瘤掩膜;
33、肝臟分割模塊,用于采用預(yù)先訓(xùn)練好的肝臟分割模型對所述原始腹部ct圖像數(shù)據(jù)集進(jìn)行肝臟分割,得到肝臟掩膜;
34、感興趣肝臟區(qū)域確定模塊,用于將所述肝臟掩膜與所述原始腹部ct圖像數(shù)據(jù)集相乘,得到所述原始腹部ct圖像數(shù)據(jù)集的感興趣肝臟區(qū)域圖像;
35、構(gòu)建模塊,用于構(gòu)建肝臟腫瘤自動分割網(wǎng)絡(luò);
36、腫瘤分割模塊,用于將所述感興趣肝臟區(qū)域圖像裁剪為預(yù)設(shè)大小的多個感興趣肝臟區(qū)域圖像塊,并輸入肝臟腫瘤自動分割網(wǎng)絡(luò)進(jìn)行腫瘤分割,輸出腫瘤分割結(jié)果;
37、模型參數(shù)優(yōu)化模塊,用于對比所述腫瘤分割結(jié)果與原始腹部ct圖像數(shù)據(jù)集對應(yīng)的腫瘤掩膜,得到各個量化評價指標(biāo),并根據(jù)量化評價指標(biāo)對肝臟腫瘤自動分割網(wǎng)絡(luò)的參數(shù)進(jìn)行調(diào)優(yōu),得到所述肝臟腫瘤自動分割模型。
38、可選地,所述肝臟腫瘤自動分割網(wǎng)絡(luò)包括3d?u-net基線模型、多尺度特征聚合模塊和偽裝特征挖掘模塊,
39、所述多尺度特征聚合模塊部署于3d?u-net基線模型的瓶頸層,用于提取不同尺度下的腫瘤特征并進(jìn)行局部特征融合;
40、所述偽裝特征挖掘模塊部署于3d?u-net基線模型的跳躍連接層,用于接收編碼特征和解碼特征,采用門控注意力突出關(guān)鍵腫瘤特征,并采用特征翻轉(zhuǎn)操作引導(dǎo)網(wǎng)絡(luò)關(guān)注背景中隱藏的腫瘤特征。
41、可選地,所述腫瘤分割模塊包括:
42、編碼子模塊,用于采用3d?u-net基線模型的編碼層對感興趣肝臟區(qū)域圖像塊進(jìn)行卷積下采樣操作,得到編碼層腫瘤特征圖;
43、多尺度融合子模塊,用于所述多尺度特征聚合模塊采用不同大小的卷積核對所述編碼層腫瘤特征圖進(jìn)行卷積處理得到多尺度腫瘤特征圖,并對多尺度腫瘤特征圖進(jìn)行逐元素運(yùn)算融合,得多尺度融合特征圖;
44、解碼子模塊,用于采用3d?u-net基線模型的解碼層對多尺度融合特征圖進(jìn)行逐層上采樣操作,并與編碼層腫瘤特征圖拼接得到解碼層腫瘤特征圖;
45、特征挖掘子模塊,用于所述偽裝特征挖掘模塊將編碼層腫瘤特征圖下采樣為與解碼層腫瘤特征圖大小相同,將下采樣后的編碼層腫瘤特征圖與解碼層腫瘤特征圖相加后卷積得到融合特征,采用激活函數(shù)激活融合特征,并將與激活后的融合特征大小相同的全一矩陣與激活后的融合特征相減,相減后上采樣為與編碼層腫瘤特征圖大小相同的差異特征圖,將差異特征圖與編碼層腫瘤特征圖相乘得到目標(biāo)腫瘤特征圖;
46、腫瘤分割結(jié)果輸出子模塊,用于通過輸出層將所述目標(biāo)腫瘤特征圖轉(zhuǎn)換為腫瘤分割結(jié)果。
47、可選地,所述模型參數(shù)優(yōu)化模塊包括:
48、模型參數(shù)優(yōu)化子模塊,用于對比所述腫瘤分割結(jié)果與原始腹部ct圖像數(shù)據(jù)集對應(yīng)的腫瘤掩膜,得到各個量化評價指標(biāo),并根據(jù)量化評價指標(biāo)采用隨機(jī)梯度下降優(yōu)化器優(yōu)化肝臟腫瘤自動分割網(wǎng)絡(luò)的參數(shù),并對學(xué)習(xí)率采用學(xué)習(xí)率線性衰減策略,直至肝臟腫瘤自動分割網(wǎng)絡(luò)收斂,得到所述肝臟腫瘤自動分割模型。
49、可選地,所述裝置還包括:
50、訓(xùn)練數(shù)據(jù)預(yù)處理和增強(qiáng)處理模塊,用于對所述原始腹部ct圖像數(shù)據(jù)集進(jìn)行重采樣和歸一化處理,并將處理后的圖像數(shù)據(jù)集按照笛卡爾坐標(biāo)軸進(jìn)行隨機(jī)翻轉(zhuǎn)或圖像旋轉(zhuǎn)處理,并在圖像中添加隨機(jī)大小的高斯噪聲;
51、腫瘤掩膜增強(qiáng)處理模塊,用于將所述原始腹部ct圖像數(shù)據(jù)集對應(yīng)的腫瘤掩膜進(jìn)行相同的翻轉(zhuǎn)或圖像旋轉(zhuǎn)處理。
52、本發(fā)明還公開了一種電子設(shè)備,包括處理器、通信接口、存儲器和通信總線,其中,所述處理器、所述通信接口以及所述存儲器通過所述通信總線完成相互間的通信;
53、所述存儲器,用于存放計(jì)算機(jī)程序;
54、所述處理器,用于執(zhí)行存儲器上所存放的程序時,實(shí)現(xiàn)如本發(fā)明所述的腹部ct圖像中肝臟腫瘤的自動分割方法。
55、本發(fā)明還公開了一個或多個計(jì)算機(jī)可讀介質(zhì),其上存儲有指令,當(dāng)由一個或多個處理器執(zhí)行時,使得所述處理器執(zhí)行如本發(fā)明所述的腹部ct圖像中肝臟腫瘤的自動分割方法。
56、本發(fā)明包括以下優(yōu)點(diǎn):
57、本發(fā)明的腹部ct圖像中肝臟腫瘤的自動分割方法,通過獲取待分割腹部ct圖像,并對所述待分割腹部ct圖像進(jìn)行重采樣和歸一化處理,得到預(yù)處理后的待分割腹部ct圖像,將預(yù)處理后的待分割腹部ct圖像輸入訓(xùn)練好的肝臟腫瘤自動分割模型,所述肝臟腫瘤自動分割模型以滑動窗口的形式,依次從所述預(yù)處理后的待分割腹部ct圖像截取預(yù)設(shè)大小的圖像區(qū)域進(jìn)行分割,待所有區(qū)域完成分割后得到預(yù)測的腫瘤掩膜。本發(fā)明構(gòu)建和訓(xùn)練的肝臟腫瘤自動分割模型可以自動分割腹部ct圖像中肝臟腫瘤,并且克服了肝臟腫瘤的強(qiáng)異質(zhì)性和邊界模糊帶來的識別難題,以及成功解決分割過程中腫瘤區(qū)域容易出現(xiàn)的假陰性分割問題,從而提高了肝臟腫瘤分割的準(zhǔn)確性。