本發(fā)明涉及圖像處理，具體涉及基于頻域-空間域輔助mamba的輕量級圖像超分辨重建方法。

背景技術：

1、在數字化時代背景下，圖像質量已成為衡量技術進步與用戶體驗的關鍵指標之一。隨著技術的不斷迭代和用戶需求的日益提升，高分辨率圖像已成為眾多領域內的標準配置與普遍期望。其憑借卓越的分辨率、豐富的細節(jié)表現以及更優(yōu)的視覺體驗，為用戶帶來了更為生動逼真的視覺享受。然而，現實生活中仍存在大量分辨率較低的圖像，這使得圖像超分辨技術對于提升圖像分辨率具有至關重要的意義。

2、傳統上，提高圖像超分辨的方法主要聚焦于物理層面的改進，如提升相機傳感器的質量與像素密度。盡管這種方法能提升圖像的分辨率與質量，但其亦伴隨著顯著的缺點與局限性。具體而言，物理層面的改進往往需要昂貴的硬件升級成本，且并不適用于所有場景。因此，受限于技術與成本因素，對設備進行物理層面的全面升級可能不切實際。

3、近年來，隨著深度學習技術的迅猛發(fā)展，一系列基于深度學習的圖像超分辨方法應運而生，其中包括基于卷積神經網絡(cnn)的方法與基于transformer的方法。然而，這些方法都面臨著不同問題的挑戰(zhàn)。首先，現有的基于卷積神經網絡的模型隨著模型深度的不斷增加，其計算復雜度顯著提升。同時，卷積核大小的固定性限制了模型的感受野，使其難以高效地捕獲全局上下文信息。其次，與基于卷積神經網絡模型相比，基于傳統transformer的方法雖能較好地捕獲上下文信息，但其計算復雜度與輸入token長度的平方成正比，導致了較高的計算開銷與推理時間。最近，基于mamba的圖像超分辨模型盡管實現了線性的計算復雜度，但其在捕獲局部特征方面考慮不足。

技術實現思路

1、針對現有技術中的上述不足，本發(fā)明提供了基于頻域-空間域輔助mamba的輕量級圖像超分辨重建方法，用于解決當前圖像超分辨率模型參數量較大與計算復雜度較高的技術問題。

2、為了達到上述發(fā)明目的，本發(fā)明采用的技術方案為：

3、基于頻域-空間域輔助mamba的輕量級圖像超分辨重建方法，包括以下步驟：

4、s1、獲取原始圖像數據集并對其進行數據預處理，獲取訓練數據集與測試數據集；

5、s2、引入頻域-空間域mamba層與基于轉置和自注意力特征交互層，構建基于頻域-空間域輔助mamba的輕量級圖像超分辨重建模型；

6、s3、將訓練數據集輸入基于頻域-空間域輔助mamba的輕量級圖像超分辨重建模型進行訓練，得到訓練好的帶有權重的基于頻域-空間域輔助mamba的輕量級圖像超分辨重建模型，用于將低分辨率圖像重建為高分辨率圖像；

7、s4、將測試數據集輸入訓練好的帶有權重的基于頻域-空間域輔助mamba的輕量級圖像超分辨重建模型，得到重建的高分辨率可視化圖像。

8、進一步地，步驟s1具體包括：

9、s11、獲取公開的div2k數據集，將div2k數據集作為hr圖像數據集，并采用雙三次插值法對hr圖像數據集內各圖像進行下采樣2、3以及4倍，得到多個下采樣倍數的圖像；

10、s12、將多個下采樣倍數的圖像進行隨機翻轉和旋轉操作，得到增強的低分辨率lr圖像；

11、s13、將hr圖像數據集作為第一標簽數據，將增強的低分辨率lr圖像作為第一原始數據，將第一標簽數據與第一原始數據作為訓練數據集；

12、s14、獲取公開的set5數據集、set14數據集、b100數據集、urban100數據集和manga109數據集并作為測試集的hr圖像，分別采用雙三次插值法對各數據集下采樣2、3以及4倍，得到測試集的lr圖像；

13、s15、將測試集的hr圖像作為第二標簽數據，將測試集的lr圖像作為第二原始數據，將第二標簽數據與第二原始數據作為測試數據集。

14、進一步地，步驟s2中基于頻域-空間域輔助mamba的輕量級圖像超分辨重建模型包括淺層特征提取模塊、深層特征提取模塊、高分辨率圖像重建模塊；

15、深層特征提取模塊包括m個特征混合組模塊、第二3×3卷積層；

16、特征混合組模塊包括n個多層級特征交互層、第一3×3卷積層；

17、多層級特征交互層包括第一layernorm層、頻域-空間域mamba層、第二layernorm層、基于轉置和自注意力特征交互層；

18、頻域-空間域mamba層包括視覺mamba層、頻域-空間域增強層、第一1×1卷積層；

19、視覺mamba層包括上分支模塊、下分支模塊、第三linear層；

20、上分支模塊包括第一linear層、第一3×3深度卷積層、第一silu層、2d選擇性掃描模塊、第三layernorm層；

21、下分支模塊包括第二linear層、第二silu層；

22、頻域-空間域增強層包括頻域增強模塊、空間域增強模塊；

23、頻域增強模塊包括第二3×3深度卷積層、傅里葉變換層、第二1×1卷積層、第一relu層、逆傅里葉變換層；

24、空間域增強模塊包括第三3×3深度卷積層、第三1×1卷積層；

25、基于轉置和自注意力特征交互層包括第三3×3卷積層、空間通道置換層、空間自注意力層、通道自注意力層、第五1×1卷積層；

26、空間通道置換層包括第一置換層、第五3×3深度卷積層、第二置換層、第六3×3深度卷積層；

27、通道自注意力層包括自適應平均池化層、第四3×3深度卷積層、第二sigmoid層；

28、空間自注意力層包括第二relu層、第四1×1卷積層以及第一sigmoid層。

29、進一步地，步驟s3具體包括：

30、s31、將訓練數據集輸入基于頻域-空間域輔助mamba的輕量級圖像超分辨重建模型的淺層特征提取模塊中采用3×3卷積層進行卷積處理，得到淺層特征fsh；

31、s32、將淺層特征fsh輸入深層特征提取模塊進行特征混合提取，得到深層特征

32、s33、將深層特征與淺層特征fsh相加，實現殘差連接后，并輸入高分辨率圖像重建模塊利用卷積層與pixelshuffle上采樣實現圖像重建，得到重建特征isr，并采用l1損失函數對訓練中的基于頻域-空間域輔助mamba的輕量級圖像超分辨重建模型進行優(yōu)化，得到訓練好的帶有權重的基于頻域-空間域輔助mamba的輕量級圖像超分辨重建模型。

33、進一步地，步驟s32具體包括：

34、s321、將淺層特征fsh輸入第一layernorm層進行歸一化操作，得到第一歸一化特征x，并將第一歸一化特征x從通道維度進行平均分割，得到特征x1和特征x2，即：

35、x1,x2＝split(x,dim＝c)

36、其中，split表示特征分割函數，dim表示分割維度，c表示通道數；

37、s322、將特征x1和特征x2分別輸入頻域-空間域mamba層的視覺mamba層、頻域-空間域增強層進行視覺mamba、頻域-空間域增強處理后在通道維度進行拼接，并輸入第一1×1卷積層進行初步特征交互，得到初步的全局-局部特征fg_l，具體包括：

38、s3221、將特征x1輸入視覺mamba層進行視覺mamba處理，用于捕捉上下文信息，得到全局特征fm；

39、s3222、將特征x2輸入頻域-空間域增強層進行頻域-空間域增強處理，用于增強上下文信息與局部信息，得到頻域-空間域增強特征ff_s；

40、s3223、將全局特征fm與頻域-空間域增強特征ff_s在通道維度進行拼接，并輸入第一1×1卷積層進行初步特征交互，得到初步的全局-局部特征fg_l；

41、s323、將初步的全局-局部特征fg_l與淺層特征fsh相加，實現局部殘差連接，得到最終的全局-局部特征fg_l；

42、s324、將最終的全局-局部特征fg_l輸入第二layernorm層進行歸一化操作，得到第二歸一化特征

43、s325、將第二歸一化特征輸入基于轉置和自注意力特征交互層進行特征交互融合后，與最終的全局-局部特征fg_l相加，實現局部殘差連接，得到交互特征

44、s326、將交互特征重復步驟s321-s325執(zhí)行n次后，再輸入第一3×3卷積層，得到混合特征

45、s327、將混合特征重復步驟s326執(zhí)行m次后，再輸入第二3×3卷積層，得到深層特征

46、進一步地，步驟s3221具體包括：

47、s32211、將特征x1輸入第一linear層進行線性變換操作，得到上分支變換特征fu_l，并輸入第一3×3深度卷積層進行編碼操作，得到上分支編碼特征fu_c，并輸入第一silu層進行激活操作，得到上分支激活特征fu_s，并輸入2d選擇性掃描模塊進行全局特征提取，并輸入第三layernorm層進行歸一化操作，得到第一特征fu；

48、s32212、將特征x1輸入第二linear層進行線性變換操作，得到下分支變換特征fd_l，并輸入第二silu層進行激活操作，得到第二特征fd；

49、s32213、將第一特征fu與第二特征fd相乘，并輸入第三linear層進行線性激活，得到全局特征fm。

50、進一步地，步驟s3222具體包括：

51、s32221、將特征x2輸入第二3×3深度卷積層進行深度卷積操作并提取局部特征，得到特征x2的第一局部特征，并輸入傅里葉變換層進行傅里葉變換，用于將特征x2的第一局部特征從空間域轉換到頻域，并輸入第二1×1卷積層進行卷積操作后輸入第一relu層進行激活操作，得到激活的頻域特征，并輸入逆傅里葉變換層進行逆變換，用于將激活的頻域特征從頻域轉換到空間域，得到頻域增強特征ff；

52、s32222、將特征x2輸入第三3×3深度卷積層進行深度卷積操作提取局部特征，得到特征x2的第二局部特征，并輸入第三1×1卷積層進行卷積操作，得到空間域增強特征fs；

53、s32223、將頻域增強特征ff與空間域增強特征fs相加，得到頻域-空間域增強特征ff_s。

54、進一步地，步驟s325具體包括：

55、s3251、將第二歸一化特征輸入第三3×3卷積層進行初步特征融合并進行通道壓縮，將其壓縮為c/4，得到初始化特征fi；

56、s3252、將初始化特征fi輸入空間通道置換層的第一置換層進行置換操作，通過將初始化特征fi的空間特征置換為通道維度特征，得到第一置換特征fi_p1，并輸入第五3×3深度卷積層進行細膩度特征提取，并輸入第二置換層進行置換操作，將細膩度特征從通道維度轉換為空間特征，得到第二置換特征fi_p2，并輸入第六3×3深度卷積層進行空間特征編碼，得到置換融合特征fi_p；

57、s3253、將初始化特征fi輸入空間自注意力層的第二relu層進行非線性激活，并輸入第四1×1卷積層將通道維度降為1，并輸入第一sigmoid層進行激活操作，得到第一激活特征fi_s1，將第一激活特征fi_s1與初始化特征fi相乘，得到空間自注意力融合特征fi_s；

58、s3254、將初始化特征fi輸入通道自注意力層的自適應平均池化層進行池化操作，得到空間大小為1×1的初始化特征，并輸入第四3×3深度卷積層進行編碼，并輸入第二sigmoid層進行非線性激活操作，得到第二激活特征fi_s2，將第二激活特征fi_s2與初始化特征fi相乘，得到通道自注意力融合特征fi_c；

59、s3255、將置換融合特征fi_p、空間自注意力融合特征fi_s以及通道自注意力融合特征fi_c相加，并輸入第五1×1卷積層將通道數擴張到c，再與最終的全局-局部特征fg_l相加，得到交互特征

60、進一步地，步驟s33中采用l1損失函數對訓練中的基于頻域-空間域輔助mamba的輕量級圖像超分辨重建模型進行優(yōu)化的計算公式為：

61、l1＝‖ihr-isr‖

62、其中，ihr表示hr圖像數據集對應的高分辨率圖像特征。

63、進一步地，步驟s4具體包括：

64、根據訓練好的帶有權重的基于頻域-空間域輔助mamba的輕量級圖像超分辨重建模型，將測試數據集分別輸入訓練好帶有×2、×3以及×4權重的基于頻域-空間域輔助mamba的輕量級圖像超分辨重建模型進行測試，得到定量結果與重建的高分辨率可視化圖像；

65、其中，定量結果包括峰值信噪比與結構相似度；

66、峰值信噪比的計算公式為：

67、

68、其中，mse表示測試數據集中圖像y與圖像z之間的均方誤差，a表示圖像位置的行索引，b表示圖像位置的列索引，h表示圖像的高度，w表示圖像的寬度，psnr表示峰值信噪比，n表示圖像中每個像素的比特數，log10表示對數函數；

69、結構相似度的計算公式為：

70、

71、其中，ssim(y,z)表示圖像y與圖像z之間的結構相似度值，μy表示圖像y的平均值，μz表示圖像z的平均值，σyz表示圖像y與圖像z之間的協方差，σy表示圖像y的方差，σz表示圖像z的方差，c1、c2分別表示用于防止分母為0的第一常數與第二常數，k1、k2均表示常數，l表示圖像中像素值的動態(tài)范圍。

72、本發(fā)明具有以下有益效果：

73、本發(fā)明所提出的基于頻域-空間域輔助mamba的輕量級圖像超分辨重建方法，在mamba的基礎上引入頻域、空間域增強補充局部信息和增強上下文信息，同時為了充分交互上述三種不同級別的信息，提出基于轉置和自注意力的特征交互層實現特征的交互融合，并且特征冗余的緩解促進了圖像重建的高效性，加快了模型推理與較少了計算復雜度，最終實現輕量級的圖像超分辨。