本發(fā)明涉及圖像重建，具體涉及基于transformer的多模態(tài)mri重建方法。

背景技術：

1、圖像重建屬于計算機視覺和人工智能的一個創(chuàng)新方向，主要應用于遙感成像、安全監(jiān)控和自動駕駛等多個領域。圖像重建利用退化過程的先驗知識，通過計算機處理，去除或減少圖像中的模糊、噪聲等退化效應，使圖像恢復或接近原始的真實狀態(tài)。圖像重建技術依賴于先進的深度學習模型和算法，如卷積神經(jīng)網(wǎng)絡（cnns）和視覺transformer（visiontransformer），以提取局部和全局特征并生成高質量圖像。因此，圖像已經(jīng)成為計算機視覺和人工智能領域中的一個研究熱點，是現(xiàn)代數(shù)字媒體和圖像內(nèi)容恢復系統(tǒng)的重要組成部分。

2、核磁共振（nuclear?magnetic?resonance?imaging，mri）技術以其高分辨率、多參數(shù)成像的特點，為醫(yī)學及生物學研究提供了更為可靠的依據(jù)。但是與其他的成像方法相比，mri掃描時間過長，成像緩慢，通常需要15分鐘到1小時。此外，mri掃描過程中，對被掃描者的生理和身體運動非常敏感，如心跳、呼吸、咳嗽、吞咽都會導致圖像出現(xiàn)不同程度的偽影，這些都限制了mri的推廣與發(fā)展。

3、在早期的研究中，mri的重建過程主要依靠并行成像（parallel?imaging）和壓縮感知（compressed?sensing）。并行成像技術使用多個線圈同時對某一部位進行采樣，利用敏感度信息輔助空間定位，壓縮感知通過利用圖像在總變換（total?variation，tv）或小波變換（wavelet?transform，wt）中的稀疏性，從欠采樣k空間恢復原始數(shù)據(jù)。最近的研究表明，考慮到不同對比度的磁共振圖像之間的互補信息，全采樣輔助模式mri可以幫助更有效地重建欠采樣的目標模式mri。鑒于此，認為優(yōu)化mri重建的關鍵在于兩個方面：重構解剖細節(jié)和去除組織偽影。

技術實現(xiàn)思路

1、本發(fā)明目的：在于提供基于transformer的多模態(tài)mri重建方法，該方法能夠提升重建圖像細節(jié)質量，保證高信噪比和保真度；

2、為實現(xiàn)以上功能，本發(fā)明設計基于transformer的多模態(tài)mri重建方法，執(zhí)行如下步驟s1-步驟s3，將低分辨率的目標模態(tài)mri圖像重建為高分辨率圖像：

3、步驟s1：采集低分辨率的目標模態(tài)mri圖像，以及對應的高分辨率的輔助模態(tài)mri圖像；

4、步驟s2：構建初始多模態(tài)mri圖像重建網(wǎng)絡模型，將目標模態(tài)mri圖像、輔助模態(tài)mri圖像構成mri圖像對，并輸入初始多模態(tài)mri圖像重建網(wǎng)絡模型進行訓練，輸出重建圖像，獲得訓練好的多模態(tài)mri圖像重建網(wǎng)絡模型；

5、多模態(tài)mri圖像重建網(wǎng)絡模型包括空間配準模塊和圖像重建模塊，所述空間配準模塊將輔助模態(tài)mri圖像向目標模態(tài)mri圖像進行空間位置對齊，所述圖像重建模塊從mri圖像對中提取輔助信息；

6、步驟s3：將成對的欠采樣和全采樣mri圖像對輸入到訓練好的多模態(tài)mri圖像重建網(wǎng)絡模型中，輸出目標模態(tài)重建后的高分辨率圖像，完成目標模態(tài)mri圖像的重建。

7、有益效果：相對于現(xiàn)有技術，本發(fā)明的優(yōu)點包括：

8、本發(fā)明設計了多模態(tài)mri圖像重建網(wǎng)絡模型，該模型是級聯(lián)的，從粗到細預測流場，可以獲得準確的配準結果；

9、本發(fā)明改進了cswin?transformer（交替十字窗口transformer），使用交替的水平和垂直窗口注意力代替跨窗口注意力，避免了窗口方向順序偏置；

10、本發(fā)明采用了許多不同的掩模類型，包括笛卡爾、高斯和泊松，以及不同的欠采樣率，并進行了廣泛的實驗和結果可視化，以驗證本發(fā)明所設計的模型對不同條件的魯棒性。

技術特征：

1.基于transformer的多模態(tài)mri重建方法，其特征在于，執(zhí)行如下步驟s1-步驟s3，將低分辨率的目標模態(tài)mri圖像重建為高分辨率圖像：

2.根據(jù)權利要求1所述的基于transformer的多模態(tài)mri重建方法，其特征在于，步驟s2的具體步驟如下：

3.根據(jù)權利要求2所述的基于transformer的多模態(tài)mri重建方法，其特征在于，步驟s2.1的具體步驟如下：

4.根據(jù)權利要求3所述的基于transformer的多模態(tài)mri重建方法，其特征在于，步驟s2.1.1的具體方法如下：

5.根據(jù)權利要求3所述的基于transformer的多模態(tài)mri重建方法，其特征在于，步驟s2.1.2的具體步驟如下：

6.根據(jù)權利要求2所述的基于transformer的多模態(tài)mri重建方法，其特征在于，步驟s2.2的具體步驟如下：

7.根據(jù)權利要求6所述的基于transformer的多模態(tài)mri重建方法，其特征在于，步驟s2.2.2的具體方法如下：

8.根據(jù)權利要求6所述的基于transformer的多模態(tài)mri重建方法，其特征在于，步驟s2.2.5的迭代過程如下式：

技術總結
本發(fā)明公開了基于Transformer的多模態(tài)MRI重建方法，包括將成對的欠采樣和全采樣MRI圖像對輸入到預先訓練好的多模態(tài)MRI圖像重建網(wǎng)絡模型中，得到目標模態(tài)重建后的高分辨率圖像；其中，所述多模態(tài)MRI圖像重建網(wǎng)絡模型包括空間配準模塊和圖像重建模塊，所述空間配準模塊用于將輔助模態(tài)MRI圖像向目標模態(tài)MRI圖像進行空間位置對齊，所述圖像重建模塊用于從MRI圖像對中提取輔助信息；本發(fā)明適用于多模態(tài)MRI圖像重建，能夠有效提升重建MRI圖像的細節(jié)質量。

技術研發(fā)人員：王玉露,孫玉寶
受保護的技術使用者：南京信息工程大學
技術研發(fā)日：
技術公布日：2025/1/6