本發(fā)明涉及醫(yī)學(xué)成像質(zhì)量控制，特別涉及一種金屬偽影校正網(wǎng)絡(luò)模型及其金屬偽影去除方法。

背景技術(shù)：

1、計(jì)算機(jī)斷層成像(computed?tomography，ct)技術(shù)是一種以非侵入、無(wú)開(kāi)放性損傷的方式獲得物體斷層結(jié)構(gòu)圖像的成像技術(shù)。因其成像速度快、分辨率高等特點(diǎn)，ct已廣泛應(yīng)用于醫(yī)學(xué)影像診斷，并逐漸成為現(xiàn)代臨床醫(yī)學(xué)影像檢查的首選方式。然而在ct掃描過(guò)程中，患者植入的高原子序數(shù)的金屬物質(zhì)填充物，會(huì)造成x射線(xiàn)發(fā)生劇烈衰減。同時(shí)由于x射線(xiàn)射束硬化、散射、光子饑餓等多種物理效應(yīng)的影響，使得探測(cè)器接收的信號(hào)出現(xiàn)跳躍變化，造成投影數(shù)據(jù)不連續(xù)，這些異常信號(hào)使得重建圖像中會(huì)明暗相間的條紋偽影，稱(chēng)為金屬偽影。

2、現(xiàn)有的金屬偽影校正方法可以大致分為三類(lèi)：投影補(bǔ)全法、迭代重建法、深度學(xué)習(xí)法。第一類(lèi)、投影補(bǔ)全方法是指對(duì)金屬投影軌跡進(jìn)行插值來(lái)恢復(fù)ct投影中被金屬損壞的投影數(shù)據(jù)，對(duì)校正后的投影進(jìn)行濾波反投影重建便能得到去除金屬偽影的圖像。該方法恢復(fù)操作通常簡(jiǎn)單有效，但由于舍棄了金屬投影軌跡中的隱藏的結(jié)構(gòu)信息，往往會(huì)造成金屬周?chē)Y(jié)構(gòu)細(xì)節(jié)過(guò)平滑，特別是當(dāng)金屬形狀較大或數(shù)量較多時(shí)。第二類(lèi)、迭代重建的基本思想是通過(guò)迭代求解最優(yōu)化模型的最優(yōu)解來(lái)獲得高質(zhì)量圖像?；诘亟ǖ慕饘賯斡靶Ｕ椒ǎ环N是采用缺失金屬軌跡的投影數(shù)據(jù)來(lái)迭代重建ct圖像，另一種是在迭代優(yōu)化過(guò)程中添加約束正則化項(xiàng)，在迭代重建同時(shí)去除金屬偽影的影響。該方法重建圖像質(zhì)量高，但要進(jìn)行多次前投影和重建的運(yùn)算，計(jì)算量較大、耗時(shí)較長(zhǎng)，使其實(shí)際應(yīng)用推廣變得十分困難。第三類(lèi)、深度學(xué)習(xí)因?yàn)槠鋸?qiáng)大特征學(xué)習(xí)能力，逐漸應(yīng)用于mar任務(wù)中。

3、目前基于深度學(xué)習(xí)的mar算法主要是利用監(jiān)督學(xué)習(xí)，旨在訓(xùn)練有偽影圖像或投影到無(wú)偽影圖像或投影之間的變換。有監(jiān)督的網(wǎng)絡(luò)使用仿真的配對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，效果雖然穩(wěn)定但需要大量有標(biāo)簽的數(shù)據(jù)集，且在實(shí)際應(yīng)用時(shí)，性能會(huì)出現(xiàn)退化；無(wú)監(jiān)督學(xué)習(xí)利用非配對(duì)臨床數(shù)據(jù)通過(guò)對(duì)抗的方式訓(xùn)練網(wǎng)絡(luò)，可避免仿真導(dǎo)致的域差異問(wèn)題，但存在網(wǎng)絡(luò)訓(xùn)練不穩(wěn)定的問(wèn)題，測(cè)試結(jié)果的好壞具有一定不確定性。半監(jiān)督的mar方法通常在仿真的配對(duì)數(shù)據(jù)上訓(xùn)練網(wǎng)絡(luò)模型，并利用臨床不配對(duì)數(shù)據(jù)對(duì)其進(jìn)行微調(diào)。半監(jiān)督的方法試圖在仿真和臨床數(shù)據(jù)之間找到平衡，雖然結(jié)合了無(wú)監(jiān)督與監(jiān)督方法訓(xùn)練的優(yōu)勢(shì)，但是容易在兩個(gè)域的結(jié)果都不令人滿(mǎn)意，此外非成對(duì)數(shù)據(jù)的引入也給網(wǎng)絡(luò)學(xué)習(xí)帶來(lái)了不確定性與潛在危險(xiǎn)。

4、因此，針對(duì)現(xiàn)有技術(shù)不足，提供一種金屬偽影校正網(wǎng)絡(luò)模型及其金屬偽影去除方法以解決現(xiàn)有技術(shù)不足甚為必要。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的第一目的在于避免現(xiàn)有技術(shù)的不足之處而提供一種金屬偽影校正網(wǎng)絡(luò)模型。該金屬偽影校正網(wǎng)絡(luò)模型得到的去金屬偽影圖像具有較好偽影校正效果。

2、本發(fā)明的上述目的通過(guò)以下技術(shù)措施實(shí)現(xiàn)：

3、提供一種金屬偽影校正網(wǎng)絡(luò)模型，設(shè)置有：

4、可學(xué)習(xí)偽影編碼器——對(duì)未校正含金屬偽影ct圖像中的偽影信息進(jìn)行提取和特征編碼，得到對(duì)應(yīng)的多尺度偽影編碼特征圖；

5、可學(xué)習(xí)偽影去除器——去除未校正含金屬偽影ct圖像中的偽影信息；

6、可學(xué)習(xí)偽影生成器——在與所述未校正含金屬偽影ct圖像配對(duì)的無(wú)偽影ct圖像上生成偽影信息；

7、所述可學(xué)習(xí)偽影去除器的網(wǎng)絡(luò)結(jié)構(gòu)和所述可學(xué)習(xí)偽影生成器的網(wǎng)絡(luò)結(jié)構(gòu)相同。

8、優(yōu)選的，上述可學(xué)習(xí)偽影去除器的網(wǎng)絡(luò)結(jié)構(gòu)和所述可學(xué)習(xí)偽影生成器均為帶跳躍鏈接的u-net結(jié)構(gòu)。

9、優(yōu)選的，上述可學(xué)習(xí)偽影去除器和所述可學(xué)習(xí)偽影生成器均包括有八個(gè)第二殘差模塊、四個(gè)第二降采樣塊、四個(gè)空間自注意力模塊、四個(gè)用于對(duì)偽影編碼操作的第一上采樣塊和四個(gè)第二上采樣塊。

10、優(yōu)選的，上述可學(xué)習(xí)偽影編碼器包括有五個(gè)第一降采樣塊、一個(gè)深度卷積層、三個(gè)第一殘差模塊和三個(gè)卷積模塊。

11、優(yōu)選的，上述空間自注意力模塊sam利用所述可學(xué)習(xí)偽影編碼器得到的多尺度偽影編碼特征圖對(duì)跳躍連接的特征圖進(jìn)行縮放調(diào)制。

12、優(yōu)選的，上述第一降采樣塊中的降采樣算子為步長(zhǎng)等于2的卷積操作。

13、在所述第二降采樣塊中的降采樣算子為步長(zhǎng)等于2的卷積操作。

14、優(yōu)選的，上述第一上采樣塊中的上采樣操作通過(guò)upsample函數(shù)進(jìn)行插值實(shí)現(xiàn)。

15、優(yōu)選的，上述第二上采樣塊中的上采樣算子為反卷積操作。

16、優(yōu)選的，上述可學(xué)習(xí)偽影編碼器的歸一化函數(shù)為spectralnorm，激活函數(shù)為leakyrelu。

17、優(yōu)選的，上述可學(xué)習(xí)偽影去除器和所述可學(xué)習(xí)偽影生成器的歸一化函數(shù)均為instancenorm，激活函數(shù)均為leakyrelu。

18、優(yōu)選的，上述第一殘差模塊包括有卷積層和激活函數(shù)。

19、優(yōu)選的，上述第二殘差模塊包括有卷積層、歸一化函數(shù)以及激活函數(shù)。

20、分別在所述可學(xué)習(xí)偽影去除器和所述可學(xué)習(xí)偽影生成器中：

21、將四個(gè)第一上采樣塊按照傳輸方向從前至后依次定義為第一上采樣塊1、第一上采樣塊2、第一上采樣塊3和第一上采樣塊4，且所述第一上采樣塊1、所述第一上采樣塊2、所述第一上采樣塊3和所述第一上采樣塊4依次連接，所述可學(xué)習(xí)偽影編碼器的多尺度偽影編碼特征圖從第一上采樣塊1輸入；

22、將其中四個(gè)所述第二殘差模塊分別通過(guò)拼接函數(shù)concat與四個(gè)所述第二上采樣塊對(duì)應(yīng)拼接，得到四個(gè)第一拼接塊，四個(gè)所述第一拼接塊按照傳輸方向從前至后依次定義為第一拼接塊1、第一拼接塊2、第一拼接塊3和第一拼接塊4，且所述第一拼接塊1、所述第一拼接塊2、所述第一拼接塊3和所述第一拼接塊4依次連接；

23、將另外四個(gè)所述第二殘差模塊分別與四個(gè)所述第二降采樣塊對(duì)應(yīng)拼接，得到四個(gè)第二拼接塊；四個(gè)所述第二拼接塊按照傳輸方向從前至后依次定義為第二拼接塊1、第二拼接塊2、第二拼接塊3和第二拼接塊4；且所述第二拼接塊1、所述第二拼接塊2、所述第二拼接塊3和所述第二拼接塊4依次連接，所述第二拼接塊4的輸出還傳輸至所述第一拼接塊1；

24、將四個(gè)所述空間自注意力模塊分別定義為空間自注意力模塊1、空間自注意力模塊2、空間自注意力模塊3和空間自注意力模塊4；

25、所述第一上采樣塊1的輸出和所述第二拼接塊4的輸出分別輸入至所述空間自注意力模塊1，所述空間自注意力模塊1的輸出輸入至所述第一拼接塊1；

26、所述第一上采樣塊2的輸出和所述第二拼接塊3的輸出分別輸入至所述空間自注意力模塊2，所述空間自注意力模塊2的輸出輸入至所述第一拼接塊2；

27、所述第一上采樣塊3的輸出和所述第二拼接塊2的輸出分別輸入至所述空間自注意力模塊3，所述空間自注意力模塊3的輸出輸入至所述第一拼接塊3；

28、所述第一上采樣塊4的輸出和所述第二拼接塊1的輸出分別輸入至所述空間自注意力模塊4，所述空間自注意力模塊4的輸出輸入至第一拼接塊4。

29、當(dāng)在所述可學(xué)習(xí)偽影去除器中，未校正含金屬偽影ct圖像從所述第二拼接塊1的殘差模塊側(cè)輸入，所述第一拼接塊4的輸出與未校正含金屬偽影ct圖像相加后輸出無(wú)偽影ct圖像。

30、當(dāng)在所述可學(xué)習(xí)偽影生成器中，無(wú)偽影ct圖像從所述第二拼接塊1的殘差模塊側(cè)輸入，所述第一拼接塊4的輸出與無(wú)偽影ct圖像相加后輸出添加偽影ct圖像。

31、在所述可學(xué)習(xí)偽影編碼器中，未校正含金屬偽影ct圖像從一個(gè)所述第一降采樣塊進(jìn)入，然后再輸入至所述深度卷積層，再依次輸入至另外四個(gè)所述第一降采樣塊，再依次輸入至三個(gè)所述第一殘差模塊，再依次輸入至三個(gè)所述卷積模塊，最后從最后一個(gè)所述卷積模塊中輸出，得到多尺度偽影編碼特征圖。

32、本發(fā)明的第二目的在于避免現(xiàn)有技術(shù)的不足之處而提供一種金屬偽影去除方法。該金屬偽影去除方法得到較好偽影校正效果的去金屬偽影圖像。

33、本發(fā)明的上述目的通過(guò)以下技術(shù)措施實(shí)現(xiàn)：

34、提供一種金屬偽影去除方法，采用上述金屬偽影校正網(wǎng)絡(luò)模型進(jìn)行。

35、本發(fā)明的金屬偽影去除方法，由如下步驟進(jìn)行：

36、s1、將待去金屬偽影ct圖像輸入訓(xùn)練后的可學(xué)習(xí)偽影編碼器，得到偽影編碼特征圖f(xa)；

37、s2、將待去金屬偽影ct圖像輸入訓(xùn)練后的可學(xué)習(xí)偽影去除器進(jìn)行解碼，訓(xùn)練后的可學(xué)習(xí)偽影去除器在解碼過(guò)程中將待去金屬偽影ct圖像逐步嵌入至s1得到的偽影編碼特征圖f(xa)，得到最終去金屬偽影圖像。

38、本發(fā)明的金屬偽影去除方法，根據(jù)預(yù)先構(gòu)建的訓(xùn)練數(shù)據(jù)庫(kù)對(duì)所述可學(xué)習(xí)偽影編碼器、所述可學(xué)習(xí)偽影去除器和所述可學(xué)習(xí)偽影生成器進(jìn)行聯(lián)合訓(xùn)練，得到訓(xùn)練后的可學(xué)習(xí)偽影編碼器、訓(xùn)練后的可學(xué)習(xí)偽影去除器和訓(xùn)練后的可學(xué)習(xí)偽影生成器。

39、優(yōu)選的，上述訓(xùn)練數(shù)據(jù)庫(kù)設(shè)置有多對(duì)配對(duì)數(shù)據(jù)，且每對(duì)配對(duì)數(shù)據(jù)由含金屬偽影圖像xa以及與含金屬偽影圖像xa配對(duì)的無(wú)偽影圖像xc組成。

40、優(yōu)選的，上述聯(lián)合訓(xùn)練包括如下步驟：

41、a1、將含金屬偽影圖像xa輸入所述可學(xué)習(xí)偽影編碼器ea中，得到偽影編碼特征圖f(xa)；

42、a2、將同一含金屬偽影圖像xa輸入所述可學(xué)習(xí)偽影去除器gac進(jìn)行解碼，然后所述可學(xué)習(xí)偽影去除器gac在解碼過(guò)程中逐步嵌入s1得到的偽影編碼特征圖f(xa)，得到去金屬偽影圖像xac，且xac＝gac(xa，f(xa))+xa；

43、a3、將a1得到的所述偽影編碼特征圖f(xa)設(shè)置為0，然后將所述含金屬偽影圖像xa輸入所述可學(xué)習(xí)偽影去除器gac進(jìn)行解碼，在解碼過(guò)程中逐步嵌入為0的偽影編碼特征圖f(xa)，得到保持含金屬偽影圖像xaa，且xaa＝gac(xa，0)+xa；

44、a4、將同一配對(duì)數(shù)據(jù)中的無(wú)金屬偽影圖像xc輸入所述可學(xué)習(xí)偽影生成器gca進(jìn)行解碼，在解碼過(guò)程中逐步嵌入s1得到的偽影編碼特征圖f(xa)，得到含金屬偽影圖像xca，且xca＝gca(xc，f(xa))+xc；

45、a5、將a1得到的偽影編碼特征圖f(xa)設(shè)置為0，然后將同一配對(duì)數(shù)據(jù)中的無(wú)金屬偽影圖像xc輸入所述可學(xué)習(xí)偽影生成器gca進(jìn)行解碼，在解碼過(guò)程中逐步嵌入為0的偽影編碼特征圖f(xa)，得到保持無(wú)金屬偽影圖像xcc，且xcc＝gca(xa，0)+xc；

46、a6、構(gòu)建由去偽影過(guò)程損失函數(shù)、偽影生成過(guò)程損失函數(shù)和整體雙向嵌入框架一致性損失函數(shù)組成的總損失函數(shù)；

47、a7、根據(jù)a6得到的總損失函數(shù)并使用隨機(jī)梯度下降法更新所述可學(xué)習(xí)偽影編碼器ea的參數(shù)、所述可學(xué)習(xí)偽影去除器gac的參數(shù)、所述可學(xué)習(xí)偽影生成器gca的參數(shù)；

48、a8、判斷訓(xùn)練次數(shù)是否大于等于設(shè)置訓(xùn)練次數(shù)，當(dāng)大于等于時(shí)進(jìn)入a9；否則返回a1；

49、a9、訓(xùn)練結(jié)束。

50、優(yōu)選的，上述去偽影過(guò)程損失函數(shù)使用l1范數(shù)進(jìn)行約束，使用l1范數(shù)約束a2得到的去金屬偽影圖像xac與無(wú)金屬偽影圖像xc，得到去金屬偽影圖像xac與無(wú)偽影圖像xc之間的誤差lsup，且去偽影過(guò)程損失函數(shù)由式(1)表示；

51、lsup＝||xac-xc||1……式(1)。

52、優(yōu)選的，上述偽影生成過(guò)程損失函數(shù)使用感知損失函數(shù)、對(duì)抗損失函數(shù)和特征損失函數(shù)進(jìn)行約束，使用感知損失函數(shù)、對(duì)抗損失函數(shù)和特征損失函數(shù)約束a4得到的含金屬偽影圖像xca與含金屬偽影圖像xa在特征層面，得到含金屬偽影圖像xca與含金屬偽影圖像xa之間的誤差，且該誤差由感知損失誤差lper、對(duì)抗損失誤差ladv和特征損失誤差lfm組成。

53、優(yōu)選的，上述感知損失誤差lper由式(2)計(jì)算；

54、lper＝||vgg(xca)-vgg(xa)||1……式(2)；

55、vgg(·)為在imagenet上預(yù)訓(xùn)練的vgg-19中池化層的下一個(gè)激活層輸出的特征，vgg-19為使用imagenet數(shù)據(jù)預(yù)訓(xùn)練網(wǎng)絡(luò)。

56、優(yōu)選的，上述對(duì)抗損失誤差ladv由式(3)計(jì)算；

57、

58、pa(xa)為表示數(shù)據(jù)來(lái)自含金屬偽影圖像xa，pc(xc)為表示數(shù)據(jù)無(wú)偽影圖像xc，pg(xca)為表示數(shù)據(jù)來(lái)自可學(xué)習(xí)偽影生成器gca生成的含金屬偽影圖像xca，da為尺度鑒別器，e為期望值。

59、優(yōu)選的，上述特征損失誤差lfm由式(4)計(jì)算；

60、

61、t為尺度鑒別器da的總層數(shù)，ni為每層中元素的數(shù)量，為從尺度鑒別器da提取第i層下采樣塊的特征。

62、優(yōu)選的，上述整體雙向嵌入框架一致性損失函數(shù)使用l1范數(shù)約束，使用l1范數(shù)約束a4得到的含金屬偽影圖像xca與a3得到的保持含金屬偽影圖像xaa，得到含金屬偽影圖像xca與保持含金屬偽影圖像xaa之間的誤差；以及約束a4得到的含金屬偽影圖像xca與a3得到的保持無(wú)金屬偽影圖像xcc，得到含金屬偽影圖像xca與保持無(wú)金屬偽影圖像xcc之間的誤差，且所述整體雙向嵌入框架一致性損失函數(shù)由式(5)表示：

63、lart＝λa1||xaa-xca||1+λa2||xac-xcc||1……式(5)；

64、其中，λa1和λa2均為超參數(shù)。

65、優(yōu)選的，上述總損失函數(shù)由式(6)表示；

66、l＝λsuplsup+λperlper+λadladv+λfmlfm+λartlart

67、……式(6)；

68、其中，λsup、λper、λadv、λfm和λart為預(yù)設(shè)值。

69、本發(fā)明的一種金屬偽影校正網(wǎng)絡(luò)模型及其金屬偽影去除方法，其中金屬偽影校正網(wǎng)絡(luò)模型，設(shè)置有可學(xué)習(xí)偽影編碼器，對(duì)未校正含金屬偽影ct圖像中的偽影信息進(jìn)行提取和特征編碼，得到對(duì)應(yīng)的多尺度偽影編碼特征圖；可學(xué)習(xí)偽影去除器，去除未校正含金屬偽影ct圖像中的偽影信息；可學(xué)習(xí)偽影生成器，在與所述未校正含金屬偽影ct圖像配對(duì)的無(wú)偽影ct圖像上生成偽影信息；所述可學(xué)習(xí)偽影去除器的網(wǎng)絡(luò)結(jié)構(gòu)和所述可學(xué)習(xí)偽影生成器的網(wǎng)絡(luò)結(jié)構(gòu)相同。本發(fā)明構(gòu)建了一個(gè)偽影編碼器用于對(duì)含金屬偽影圖像實(shí)現(xiàn)金屬偽影與解剖結(jié)構(gòu)的分離，偽影編碼器可提取多尺度的金屬偽影編碼特征圖。然后同時(shí)對(duì)偽影去除過(guò)程及偽影生成過(guò)程進(jìn)行建模以加強(qiáng)對(duì)偽影編碼器的有效訓(xùn)練。具體構(gòu)建了網(wǎng)絡(luò)結(jié)構(gòu)完全相同的可學(xué)習(xí)偽影去除器和可學(xué)習(xí)偽影生成器，可學(xué)習(xí)偽影去除器用于去除ct未校正圖像中的偽影信息，設(shè)置有多通道的空間自注意力模塊，該空間自注意力模塊利用多尺度偽影編碼特征圖對(duì)跳躍連接的特征圖進(jìn)行縮放調(diào)制，以適應(yīng)不同尺度偽影信息的變化并輔助在解碼過(guò)程中偽影編碼信息的嵌入，而可學(xué)習(xí)偽影生成器用于在配對(duì)的ct無(wú)偽影圖像上生成偽影信息，以輔助偽影編碼器的訓(xùn)練。偽影生成器輸入為無(wú)金屬偽影的圖像，偽影去除器輸入為含金屬偽影的圖像，兩者分別對(duì)各自輸入進(jìn)行編碼，最終達(dá)到添加偽影和減去偽影的目的。本發(fā)明能夠得到較好偽影校正效果的去金屬偽影圖像。