本發(fā)明屬于圖像非剛體配準(zhǔn)，特別涉及一種基于深度學(xué)習(xí)的圖像非剛體配準(zhǔn)方法及系統(tǒng)。

背景技術(shù)：

1、放射治療（radiotherapy）是治療癌癥的重要手段之一，需要精確地定位各個(gè)病人腫瘤位置及周?chē)＜捌鞴?，在高劑量照射病灶區(qū)域同時(shí)，減輕對(duì)危及器官的損害，從而提高治療的個(gè)性化治療效果。在不同分次治療期間，由于擺位誤差、器官移動(dòng)和變形等因素，會(huì)導(dǎo)致靶區(qū)遺漏或使附近的危及器官接受較高的劑量照射，從而影響放療患者的預(yù)后。因而需要通過(guò)圖像形變配準(zhǔn)將各個(gè)不同分次間的劑量變換到同一個(gè)參考空間，進(jìn)行劑量疊加，從而監(jiān)測(cè)和評(píng)價(jià)病人在整個(gè)放療期間的實(shí)際受照總劑量。因此，圖像形變配準(zhǔn)在放射治療領(lǐng)域具有重要的研究意義。

2、圖像配準(zhǔn)是將不同時(shí)間、不同設(shè)備采集的醫(yī)學(xué)圖像轉(zhuǎn)換到統(tǒng)一的空間坐標(biāo)系下，使相同空間位置上的圖像信息對(duì)應(yīng)于相同的解剖結(jié)構(gòu)。由于不同模態(tài)成像方式與原理的差異，不同模態(tài)圖像存在固有的外觀差異，如cbct圖像的強(qiáng)度與傳統(tǒng)ct圖像強(qiáng)度(ct值)不一致，mr圖像以ct圖像結(jié)構(gòu)表征不一致等，因此尋找有效準(zhǔn)確的圖像相似性度量是一個(gè)有挑戰(zhàn)性的問(wèn)題。

3、傳統(tǒng)的圖像配準(zhǔn)假設(shè)圖像內(nèi)所有部位均符合同一個(gè)形變模型，無(wú)法根據(jù)各個(gè)危及器官形變差異自適應(yīng)選擇符合實(shí)際情況的形變模型。例如自由形變模型假設(shè)空間上各個(gè)位置上的形變場(chǎng)可利用某些控制點(diǎn)的形變場(chǎng)進(jìn)行控制，利用稀疏控制點(diǎn)處形變場(chǎng)估計(jì)，插值獲得所有位置的形變場(chǎng)。彈性形變將所有器官都視為彈性實(shí)體，滿足navier-cauchy偏微分方程。粘性流體流動(dòng)模型假設(shè)形變場(chǎng)符合粘性流體特性，形變場(chǎng)受navier-stokes方程約束。光學(xué)流動(dòng)模型則假設(shè)每一個(gè)像素點(diǎn)形變場(chǎng)是其運(yùn)動(dòng)速度的時(shí)間上的累積，符合lagrange傳輸方程要求。目前普遍采用的是自由形變模型，如商業(yè)軟件raystation和mimmaestro軟件形變圖像配準(zhǔn)的模型。這種模型具有處理時(shí)間短優(yōu)勢(shì)，但劣勢(shì)是不能很好地保留拓?fù)浣Y(jié)構(gòu)，且難于對(duì)形變場(chǎng)添加正則化約束。如marchant的研究發(fā)現(xiàn)采用基于自由形變niftyreg配準(zhǔn)的ct圖像在宮頸癌患者膀胱充盈存在較大差異、小腸環(huán)的移動(dòng)或直腸中存在氣囊的情況不能準(zhǔn)確地形變配準(zhǔn)。當(dāng)靶區(qū)存在較大運(yùn)動(dòng)幅度時(shí)，大多數(shù)基于強(qiáng)度方法的形變配準(zhǔn)算法也不能很好地在圖像中再現(xiàn)ct值。

技術(shù)實(shí)現(xiàn)思路

1、基于此，本發(fā)明實(shí)施例當(dāng)中提供了一種基于深度學(xué)習(xí)的圖像非剛體配準(zhǔn)方法及系統(tǒng)，旨在解決由于參考圖像與移動(dòng)圖像覆蓋身體范圍不一致而導(dǎo)致的配準(zhǔn)效果不佳的問(wèn)題。

2、本發(fā)明實(shí)施例的第一方面提供了一種基于深度學(xué)習(xí)的圖像非剛體配準(zhǔn)方法，所述方法包括：

3、獲取用戶的第一圖像和通過(guò)所述第一圖像剛體配準(zhǔn)得到的第二圖像，生成訓(xùn)練集；

4、建立非剛體配準(zhǔn)模型，并將所述第一圖像和所述第二圖像輸入所述非剛體配準(zhǔn)模型進(jìn)行訓(xùn)練，得到目標(biāo)模型；

5、將與所述第二圖像同類(lèi)型的待配準(zhǔn)圖像輸入所述目標(biāo)模型中，輸出配準(zhǔn)結(jié)果；

6、所述非剛體配準(zhǔn)模型包括解碼器，以及相互獨(dú)立的第一編碼器和第二編碼器；

7、所述第一編碼器和所述第二編碼器均由若干滑動(dòng)窗口變換模塊構(gòu)成，用于分別計(jì)算出所述第一圖像和所述第二圖像不同尺度的特征矢量序列；

8、所述解碼器用于根據(jù)所述特征矢量序列，確定所述第一圖像上各個(gè)位置匹配的第二圖像上體素的位置信息，其中，將尺寸最小的特征矢量序列進(jìn)行全局注意力處理，其他尺寸的特征矢量序列進(jìn)行窗口內(nèi)注意力處理。

9、進(jìn)一步的，所述第一圖像和所述第二圖像在輸入所述非剛體配準(zhǔn)模型后，首先經(jīng)過(guò)線性嵌入處理和重新排列處理，將圖像轉(zhuǎn)化為特征矢量序列。

10、進(jìn)一步的，通過(guò)將滑動(dòng)窗口變換模塊進(jìn)行組合，得到滑動(dòng)窗口變換模塊組，所述第一編碼器和所述第二編碼器中的滑動(dòng)窗口變換模塊組匹配，其中，所述滑動(dòng)窗口變換模塊組的輸出一端通過(guò)子塊合并層與下一級(jí)滑動(dòng)窗口變換模塊組連接，另一端與對(duì)應(yīng)的交互注意力模塊連接，當(dāng)滑動(dòng)窗口變換模塊組為最后一級(jí)滑動(dòng)窗口變換模塊組時(shí)，輸出僅與第一交叉注意力模塊連接，所述第一交叉注意力模塊用于將尺寸最小的特征矢量序列進(jìn)行全局注意力處理。

11、進(jìn)一步的，第二交叉注意力模塊用于將其他尺寸的特征矢量序列進(jìn)行窗口內(nèi)注意力處理，所述第一交叉注意力模塊與所述第二交叉注意力模塊之間通過(guò)上采樣模塊連接。

12、進(jìn)一步的，所述第一交叉注意力模塊和所述第二交叉注意力模塊的輸入為第一圖像的對(duì)應(yīng)級(jí)別的滑動(dòng)窗口變換模塊組輸出的特征矢量序列、第二圖像的對(duì)應(yīng)級(jí)別的滑動(dòng)窗口變換模塊組輸出的特征矢量序列、以及第二圖像的對(duì)應(yīng)級(jí)別的滑動(dòng)窗口變換模塊組輸出的特征矢量序列對(duì)應(yīng)的位置標(biāo)號(hào)。

13、進(jìn)一步的，所述建立非剛體配準(zhǔn)模型，并將所述第一圖像和所述第二圖像輸入所述非剛體配準(zhǔn)模型進(jìn)行訓(xùn)練，得到目標(biāo)模型的步驟中，非剛體配準(zhǔn)模型參數(shù)采用隨機(jī)初始化，通過(guò)損失函數(shù)指導(dǎo)，進(jìn)行參數(shù)優(yōu)化，其中，損失函數(shù)由圖像相似性測(cè)度，標(biāo)注約束以及匹配位置連續(xù)性約束組成，表達(dá)式為：

14、

15、其中，loss表示為總損失，α、β、γ為非負(fù)實(shí)數(shù)，用于控制不同損失對(duì)總體損失的貢獻(xiàn)程度，表示為圖像相似性測(cè)度損失，表示為所述第一圖像和所述第二圖像中相同器官的標(biāo)注約束損失，表示為匹配位置連續(xù)性約束損失。

16、本發(fā)明實(shí)施例的第二方面提供了一種基于深度學(xué)習(xí)的圖像非剛體配準(zhǔn)系統(tǒng)，用于實(shí)現(xiàn)第一方面提供的基于深度學(xué)習(xí)的圖像非剛體配準(zhǔn)方法，所述系統(tǒng)包括：

17、獲取模塊，用于獲取用戶的第一圖像和通過(guò)所述第一圖像剛體配準(zhǔn)得到的第二圖像，生成訓(xùn)練集；

18、訓(xùn)練模塊，用于建立非剛體配準(zhǔn)模型，并將所述第一圖像和所述第二圖像輸入所述非剛體配準(zhǔn)模型進(jìn)行訓(xùn)練，得到目標(biāo)模型；

19、輸入模塊，用于將與所述第二圖像同類(lèi)型的待配準(zhǔn)圖像輸入所述目標(biāo)模型中，輸出配準(zhǔn)結(jié)果；

20、所述非剛體配準(zhǔn)模型包括解碼器，以及相互獨(dú)立的第一編碼器和第二編碼器；

21、所述第一編碼器和所述第二編碼器均由若干滑動(dòng)窗口變換模塊構(gòu)成，用于分別計(jì)算出所述第一圖像和所述第二圖像不同尺度的特征矢量序列；

22、所述解碼器用于根據(jù)所述特征矢量序列，確定所述第一圖像上各個(gè)位置匹配的第二圖像上體素的位置信息，其中，將尺寸最小的特征矢量序列進(jìn)行全局注意力處理，其他尺寸的特征矢量序列進(jìn)行窗口內(nèi)注意力處理。

23、本發(fā)明實(shí)施例的第三方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面提供的基于深度學(xué)習(xí)的圖像非剛體配準(zhǔn)方法。

24、本發(fā)明實(shí)施例的第四方面提供了一種電子設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)第一方面提供的基于深度學(xué)習(xí)的圖像非剛體配準(zhǔn)方法。

25、本發(fā)明實(shí)施例當(dāng)中提供的一種基于深度學(xué)習(xí)的圖像非剛體配準(zhǔn)方法及系統(tǒng)，該方法通過(guò)獲取用戶的第一圖像和通過(guò)第一圖像剛體配準(zhǔn)得到的第二圖像，生成訓(xùn)練集；建立非剛體配準(zhǔn)模型，并將第一圖像和第二圖像輸入非剛體配準(zhǔn)模型進(jìn)行訓(xùn)練，得到目標(biāo)模型；將與第二圖像同類(lèi)型的待配準(zhǔn)圖像輸入目標(biāo)模型中，輸出配準(zhǔn)結(jié)果，具體的，非剛體配準(zhǔn)模型包括解碼器，以及相互獨(dú)立的第一編碼器和第二編碼器；第一編碼器和第二編碼器均由若干滑動(dòng)窗口變換模塊構(gòu)成，用于分別計(jì)算出第一圖像和第二圖像不同尺度的特征矢量序列；解碼器用于根據(jù)特征矢量序列，確定第一圖像上各個(gè)位置匹配的第二圖像上體素的位置信息，其中，將尺寸最小的特征矢量序列進(jìn)行全局注意力處理，其他尺寸的特征矢量序列進(jìn)行窗口內(nèi)注意力處理，需要說(shuō)明的是，采用獨(dú)立編碼器設(shè)計(jì)，因此該配準(zhǔn)模型不僅僅可以用于不同時(shí)間同一個(gè)病人采集的相同模態(tài)的圖像，還可用于同一病人采集的不同模態(tài)圖像進(jìn)行配準(zhǔn)，另外，考慮到解碼網(wǎng)絡(luò)中的計(jì)算效率以及顯存占用情況，采用全局注意力處理和窗口內(nèi)注意力處理的方式分別處理不同尺寸的特征矢量序列，最終達(dá)到改善第一圖像和第二圖像覆蓋身體范圍不一致而導(dǎo)致的配準(zhǔn)效果不佳的問(wèn)題。