本發(fā)明屬于圖像重建，尤其涉及基于mamba的跨視圖雙目圖像超分辨重建方法及系統(tǒng)。

背景技術：

1、本部分的陳述僅僅是提供了與本發(fā)明相關的背景技術信息，不必然構成在先技術。

2、雙目成像技術的蓬勃發(fā)展，推動了雙目圖像在自動駕駛、機器人導航、醫(yī)療影像和影視制作等眾多領域的廣泛應用。在這些應用中，通過提升雙目圖像的分辨率，能夠生成引人注目的視覺效果，從而顯著優(yōu)化這些任務的性能。雙目圖像超分辨率重建的核心目標是充分利用兩個視角的豐富信息，對圖像像素進行精細復原，生成高分辨率且細節(jié)豐富的圖像。盡管雙目圖像相較于單目圖像提供了更為豐富的補充信息，但也引發(fā)了額外的挑戰(zhàn)。主要在于如何精確地建立可靠的雙目對應關系，在保證圖像一致性的同時，充分挖掘和利用雙目圖像中的潛在信息，從而實現(xiàn)卓越的視覺重建效果。

3、在解決雙目圖像超分辨重建問題中，當下提出的方法主要依賴于卷積神經(jīng)網(wǎng)絡(cnn)和transformer，并都獲得了出色的性能。由于卷積操作的局部性，基于cnn的方法在處理圖像時具有較高的計算效率，但是cnn利用局部感受野捕捉圖像特征，受限于卷積核大小，感受野范圍也較小，無法建立有效全局依賴關系。相比之下，基于transformer的方法利用全局感受野進行全局交互建模能夠更好地捕捉復雜的全局關系，使網(wǎng)絡能夠參考更多的像素進行圖像重建。然而，transformer是以二次計算復雜度為代價提供全局感受野，為模型的訓練帶來了計算負擔。雖然研究人員嘗試使用有效技術來提高模型效率，如移動窗口機制，但相應地也犧牲了感受野的有效范圍，可能會導致部分像素信息丟失。

4、最近，選擇性狀態(tài)空間模型——mamba，因其具備線性復雜度的計算成本和全局感受野的長距離建模能力受到廣泛研究人員的關注。越來越多的研究人員探索了mamba在各種領域的潛力，并在各種下游任務中取得了令人期待的成果。mamba由于其廣泛的全局感受野，能夠卓越地提取全局空間上下文信息。在圖像重建過程中，這意味著圖像中的錨像素能夠關聯(lián)到更廣泛范圍內(nèi)的像素信息。這種能力使得錨像素在參考周圍更多像素信息的基礎上，能夠生成更為細致且精確的重建圖像。然而，它在捕捉圖像通道間的交互關系方面仍然存在一定的局限性。盡管當前廣泛使用的通道注意力機制能夠有效地探索通道之間的關系，但它缺乏對空間紋理內(nèi)容的明確考慮，可能導致在局部重建過程中出現(xiàn)次優(yōu)的像素表示，使得細節(jié)處理不夠精致。

5、因此如何使用mamba實現(xiàn)跨視圖信息交互，并盡可能保留單圖像內(nèi)全局輪廓和紋理細節(jié)信息從而實現(xiàn)高質(zhì)量重建至關重要。

技術實現(xiàn)思路

1、為克服上述現(xiàn)有技術的不足，本發(fā)明提供了一種基于mamba的跨視圖雙目圖像超分辨重建方法及系統(tǒng)，本發(fā)明充分利用雙目圖像之間的對應關系，在多通道、多視圖的層次上精細化處理圖像紋理和結構，實現(xiàn)更加精確和高質(zhì)量的圖像重建。

2、為了實現(xiàn)上述目的，本發(fā)明采用如下技術方案：

3、第一方面，本發(fā)明提供基于mamba的跨視圖雙目圖像超分辨重建方法，其特征在于，包括：

4、獲取待重建的雙目圖像；

5、將待重建的雙目圖像輸入至訓練好的重建網(wǎng)絡模型，得到重建后的雙目圖像；

6、其中，所述重建網(wǎng)絡模型包括多個交叉連接的csomm深層特征提取模塊和跨視圖特征交互模塊；

7、所述csomm深層特征提取模塊，用于分別對左視圖特征和右視圖特征內(nèi)長距離依賴關系建模，提取左視圖特征、右視圖特征的輪廓和紋理信息；

8、所述跨視圖特征交互模塊，采用交叉乘法機制對經(jīng)過所述csomm深層特征提取模塊處理后的左視圖特征和右視圖特征實現(xiàn)跨視圖建模。

9、第二方面，本發(fā)明提供基于mamba的跨視圖雙目圖像超分辨重建系統(tǒng)，包括：

10、獲取模塊，其被配置為：獲取待重建的雙目圖像；

11、重建模塊，其被配置為：將待重建的雙目圖像輸入至訓練好的重建網(wǎng)絡模型，得到重建后的雙目圖像；

12、其中，所述重建網(wǎng)絡模型包括多個交叉連接的csomm深層特征提取模塊和跨視圖特征交互模塊；

13、所述csomm深層特征提取模塊，用于分別對左視圖特征和右視圖特征內(nèi)長距離依賴關系建模，提取左視圖特征、右視圖特征的輪廓和紋理信息；

14、所述跨視圖特征交互模塊，采用交叉乘法機制對經(jīng)過所述csomm深層特征提取模塊處理后的左視圖特征和右視圖特征實現(xiàn)跨視圖建模。

15、第三方面，本發(fā)明提供一種電子設備，包括存儲器和處理器以及存儲在存儲器上并在處理器上運行的計算機指令，所述計算機指令被處理器運行時，完成第一方面所述的方法。

16、第四方面，本發(fā)明提供一種計算機可讀存儲介質(zhì)，用于存儲計算機指令，所述計算機指令被處理器執(zhí)行時，完成第一方面所述的方法。

17、以上一個或多個技術方案存在以下有益效果：

18、在本發(fā)明中，通過csomm深層特征提取模塊對雙目圖像長距離依賴關系進行了建模，提取左視圖特征、右視圖特征的輪廓和紋理信息；通過跨視圖選擇掃描模塊采用交叉乘法機制在左右視圖間建立了穩(wěn)健的對應關系，使得雙目圖像之間的互補信息得到了充分利用，進一步提高了網(wǎng)絡的重建精度和穩(wěn)定性。本發(fā)明的方案不僅能夠充分利用雙目圖像之間的對應關系，還能夠在多通道、多視圖的層次上精細化處理圖像紋理和結構，實現(xiàn)更加精確和高質(zhì)量的圖像重建。

19、本發(fā)明附加方面的優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。

技術特征：

1.基于mamba的跨視圖雙目圖像超分辨重建方法，其特征在于，包括：

2.如權利要求1所述的基于mamba的跨視圖雙目圖像超分辨重建方法，其特征在于，所述csomm深層特征提取模塊包括殘差連接的多個csrmb模塊和卷積層；所述csrmb模塊對淺層輸入特征的操作過程具體為：

3.如權利要求2所述的基于mamba的跨視圖雙目圖像超分辨重建方法，其特征在于，所述視覺狀態(tài)空間模塊對歸一化處理后的淺層輸入特征內(nèi)部的長距離依賴關系進行建模，捕捉圖像的輪廓信息，具體為：

4.如權利要求3所述的基于mamba的跨視圖雙目圖像超分辨重建方法，其特征在于，所述2d選擇掃描塊對其2d圖像輸入特征的操作處理，具體為：將2d圖像輸入特征展開為四個1d序列，按照從左上到右下、右下到左上、右上到左下和左下到右上的四個不同方向進行掃描；根據(jù)ssm中離散化公式中的狀態(tài)空間方程構建每個序列的長程依賴性；將四個方向的序列進行求和合并恢復2d序列。

5.如權利要求2所述的基于mamba的跨視圖雙目圖像超分辨重建方法，其特征在于，引入通道感知處理模塊捕捉并細化不同通道內(nèi)最具參考性的鄰域特征，具體為：

6.如權利要求1所述的基于mamba的跨視圖雙目圖像超分辨重建方法，其特征在于，所述跨視圖特征交互模塊，采用交叉乘法機制對經(jīng)過所述csomm深層特征提取模塊處理后的左視圖特征和右視圖特征實現(xiàn)跨視圖建模，具體為：

7.如權利要求6所述的基于mamba的跨視圖雙目圖像超分辨重建方法，其特征在于，所述跨視圖選擇掃描模塊對其輸入特征的操作處理過程為：

8.基于mamba的跨視圖雙目圖像超分辨重建系統(tǒng)，其特征在于，包括：

9.一種電子設備，其特征在于，包括存儲器和處理器以及存儲在存儲器上并在處理器上運行的計算機指令，所述計算機指令被處理器運行時，完成權利要求1-7任一項所述的方法。

10.一種計算機可讀存儲介質(zhì)，其特征在于，用于存儲計算機指令，所述計算機指令被處理器執(zhí)行時，完成權利要求1-7任一項所述的方法。

技術總結
本發(fā)明提出了基于Mamba的跨視圖雙目圖像超分辨重建方法及系統(tǒng)，通過CSOMM深層特征提取模塊對雙目圖像長距離依賴關系進行了建模，提取左視圖特征、右視圖特征的輪廓和紋理信息；通過跨視圖選擇掃描模塊采用交叉乘法機制在左右視圖間建立了穩(wěn)健的對應關系，使得雙目圖像之間的互補信息得到了充分利用，進一步提高了網(wǎng)絡的重建精度和穩(wěn)定性；像素混洗層用于對所述跨視圖特征交互模塊的輸出進行上采樣重建，得到重建后的雙目圖像。本發(fā)明的方案不僅能夠充分利用雙目圖像之間的對應關系，還能夠在多通道、多視圖的層次上精細化處理圖像紋理和結構，實現(xiàn)更加精確和高質(zhì)量的圖像重建。

技術研發(fā)人員：張欣欣,李冰婷,劉其方,宮永順,王強昌,尹義龍
受保護的技術使用者：山東大學
技術研發(fā)日：
技術公布日：2025/1/9