本發(fā)明涉及圖像處理，具體而言，涉及一種圖像超分辨率重建方法、裝置和存儲介質(zhì)。

背景技術(shù)：

1、單圖像超分辨率是計(jì)算機(jī)視覺和圖像處理領(lǐng)域的經(jīng)典問題，其目標(biāo)是從低分辨率圖像重建出高分辨率圖像。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，許多基于cnn(卷積神經(jīng)網(wǎng)絡(luò)，convolutional?neural?network)的方法已經(jīng)被廣泛應(yīng)用于設(shè)計(jì)各種圖像超分辨率模型。在實(shí)現(xiàn)本發(fā)明的過程中，申請人發(fā)現(xiàn)：在現(xiàn)有技術(shù)中，大多數(shù)通過殘差學(xué)習(xí)，密集連接，或注意力機(jī)制來提升圖像重建表現(xiàn)，盡管與傳統(tǒng)方法相比，這些方法表現(xiàn)出顯著的性能提升，但cnn的核心操作是對內(nèi)容不敏感的。因此，在不同圖像區(qū)域應(yīng)用相同的卷積核可能不是最優(yōu)的。此外，現(xiàn)有方法為了平衡網(wǎng)絡(luò)性能和計(jì)算成本，在相互獨(dú)立的窗口內(nèi)進(jìn)行自注意力操作，這限制了在早期層中采用大的感受野以獲取足夠的全局信息，導(dǎo)致重建出的圖像在細(xì)節(jié)層面的表現(xiàn)力欠佳。

2、因此，如何提升圖像超分辨率重建任務(wù)在實(shí)際工作中的性能表現(xiàn)成為亟待解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明旨在至少解決現(xiàn)有技術(shù)或相關(guān)技術(shù)中存在的技術(shù)問題之一，公開了一種圖像超分辨率重建方法、裝置和存儲介質(zhì)，提升了圖像超分辨率重建任務(wù)在實(shí)際工作中的性能表現(xiàn)。

2、本發(fā)明的第一方面公開了一種圖像超分辨率重建方法，包括：接收低分辨率圖像；淺層特征提?。簩Φ头直媛蕡D像進(jìn)行一次卷積操作，得到淺層特征圖；深層特征提?。夯诙鄠€(gè)swin?transformer層、一個(gè)重疊交叉注意力模塊和一個(gè)雙域卷積模塊形成rhsg單元，依次經(jīng)過多個(gè)rhsg單元對淺層特征圖進(jìn)行深層特征提取，并在經(jīng)過連續(xù)的rhsg單元后進(jìn)行一次卷積操作，得到深層特征圖；其中，重疊交叉注意力模塊是使用重疊交叉注意力算法替換swin?transformer層中的基于窗口的多頭自注意力算法形成，雙域卷積模塊包括并行的空間分支和頻率分支，空間分支用于捕獲空間域中的局部特征，頻率分支用于從頻率域獲取全局特征，兩個(gè)分支的輸出被串聯(lián)起來并經(jīng)過卷積操作得到雙域卷積模塊的輸出；圖像重建：獲取深層特征圖；利用一個(gè)全局殘差路徑獲取淺層特征圖；融合淺層特征圖與深層特征圖；基于子像素卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像重建，以獲取超分辨率圖像。

3、在該技術(shù)方案中，結(jié)合了空間域和頻域信息，以充分利用它們的互補(bǔ)優(yōu)勢。空間域更好地捕捉圖像的局部特征，而頻域則有助于分析圖像的整體結(jié)構(gòu)。得益于這些設(shè)計(jì)，使得本技術(shù)在圖像重建過程中能夠利用更多的整體信息，從而實(shí)現(xiàn)顯著的性能提升。其中，rhsg單元是一個(gè)殘差混合swin組，由一系列swin?transformer層(stls)、一個(gè)ocab(重疊交叉注意力模塊)和一個(gè)ddcb(雙域卷積模塊)組成。其中，ocab用于實(shí)現(xiàn)相鄰窗口間的像素信息傳輸，以提升性能，ddcb由兩個(gè)分支組成：頻率分支將空間特征映射到頻域，并使用resblocks促進(jìn)圖像的全局高頻學(xué)習(xí)，因?yàn)榭焖俑道锶~變換的特性，該分支能夠從早期層獲取全圖感受野?？臻g分支在空間域中使用普通卷積，更專注于局部細(xì)節(jié)。

4、根據(jù)本發(fā)明公開的圖像超分辨率重建方法，優(yōu)選地，重疊交叉注意力模塊的計(jì)算過程包括：對于維度為的輸入特征x，其中xq被分解為個(gè)非重疊的大小為m×m的窗口，xk和sv也被展開為個(gè)大小為m0×m0的重疊窗口，m和m0之間的關(guān)系如下式所示：

5、

6、其中，常數(shù)用于指定重疊區(qū)域的比例。

7、在該技術(shù)方案中，利用重疊交叉注意力模塊(ocab)增強(qiáng)相鄰窗口間的信息交互，并充分利用每個(gè)窗口內(nèi)的信息；ocab采用的設(shè)計(jì)結(jié)構(gòu)類似于標(biāo)準(zhǔn)的swin?transformer塊，但在ocab中，使用重疊交叉注意力代替標(biāo)準(zhǔn)swin?transformer塊中基于窗口的多頭自注意力(w-msa)部分，在oca中，投影特征被分割為不同的窗口大小，因此，ocab可以從更廣泛的空間范圍計(jì)算key/value，增強(qiáng)窗口間信息的交互，從而提升模型的表達(dá)能力。重疊區(qū)域的大小影響窗口交叉注意力的對稱性。通過調(diào)整重疊比例，可以控制重疊區(qū)域的大小。此外，確保窗口大小和重疊比例的乘積是一個(gè)偶數(shù)非常重要。具體來說，當(dāng)重疊比例為0.5時(shí)，窗口大小最好可以被4整除；當(dāng)窗口大小為15時(shí)，重疊比例可以設(shè)置為2/3，這有助于保持交叉注意力的對稱性，從而提高模型的穩(wěn)定性和性能。此外，將多頭自注意力應(yīng)用于上述query、key和value的嵌入中，利用transformer中的注意力機(jī)制，并采用相對位置編碼具體公式如下所示：

8、

9、其中，是一個(gè)查詢矩陣，是key和value矩陣，d表示query/key的維度，b表示相對位置編碼。

10、根據(jù)本發(fā)明公開的圖像超分辨率重建方法，優(yōu)選地，雙域卷積模塊的空間分支的計(jì)算過程包括：特征圖x輸入雙域卷積模塊；采用卷積層和殘差連接來增強(qiáng)特征的表達(dá)能力，表達(dá)式為：

11、xspatial＝hclc(x)+x

12、其中，xspatial表示空間分支的輸出特征，hclc表示首尾使用1×1的卷積層，中間使用leakyrelu激活函數(shù)的組合操作。

13、根據(jù)本發(fā)明公開的圖像超分辨率重建方法，優(yōu)選地，雙域卷積模塊的頻率分支的計(jì)算過程包括：特征圖x輸入雙域卷積模塊；通過一個(gè)卷積層，得到一個(gè)更精細(xì)的特征圖x0，表達(dá)式為：

14、x0＝hcl(x)

15、其中，hcl表示一個(gè)帶有l(wèi)eakyrelu激活函數(shù)的3×3卷積層；

16、使用快速傅里葉變換(fft，fast?fourier?transform)將空間特征轉(zhuǎn)換為頻率特征，以便在頻率域中捕獲長距離的上下文信息，隨后進(jìn)行逆傅里葉變換(ift，inversefourier?transform)將頻率特征轉(zhuǎn)換回空間特征；最后通過一個(gè)卷積操作將通道維度減半，以便與空間特征進(jìn)行拼接，表達(dá)式如下：

17、

18、其中，xfrequency表示頻率分支的輸出特征，hclc表示首尾使用1×1的卷積層，中間使用leakyrelu激活函數(shù)的組合操作，和分別表示快速傅里葉變換和逆傅里葉變換操作，hconv表示1×1卷積層。

19、根據(jù)本發(fā)明公開的圖像超分辨率重建方法，優(yōu)選地，在淺層特征提取的步驟中，卷積操作的卷積核大小為3×3。

20、在該技術(shù)方案中，進(jìn)行淺層特征提取時(shí)，給定輸入的低分辨率(lr)圖像h，w和cin分別是低分辨率圖像的高度、寬度和輸入通道數(shù)。使用一個(gè)簡單的卷積層來提取淺層特征其中c是中間特征的通道數(shù)，表達(dá)式為：

21、f0＝hsf(ilr)

22、其中hsf表示3×3卷積操作，僅使用一個(gè)卷積層不僅保持了圖像本身的低頻信息，還提供了一種簡單的將輸入圖像空間映射到更高維的特征空間的映射方式。

23、根據(jù)本發(fā)明公開的圖像超分辨率重建方法，優(yōu)選地，在經(jīng)過連續(xù)的rhsg單元后進(jìn)行一次卷積操作時(shí)，卷積核大小為3×3。

24、在該技術(shù)方案中，深層特征提取階段包括一系列連續(xù)的rhsg單元(殘差混合swin組)和一個(gè)3×3的卷積操作，表達(dá)式為：

25、

26、fdf＝hconv(frhsgs)

27、其中，表示第k個(gè)rhsg單元，k表示深層特征提取中的rhsg數(shù)量，hconv表示最后的卷積層，在進(jìn)入圖像重建階段之前使用卷積操作，能夠引入cnn的歸納偏置，這在基于transformer的網(wǎng)絡(luò)中非常有效。使得cnn和transformer架構(gòu)的優(yōu)勢能夠有效整合，從而提高整體網(wǎng)絡(luò)性能。

28、根據(jù)本發(fā)明公開的圖像超分辨率重建方法，優(yōu)選地，還包括：通過組合基于fft的頻率損失函數(shù)和l1損失函數(shù)來優(yōu)化模型，損失函數(shù)定義如下：

29、l(θ)＝l1(θ)+βlfft(θ)

30、其中，θ表示模型參數(shù)，l1()和lfft()分別表示l1損失函數(shù)和fft損失函數(shù)，β是一個(gè)通過經(jīng)驗(yàn)設(shè)置的權(quán)重參數(shù)，lfft的表達(dá)式如下所示：

31、

32、其中，isr代表低分辨率圖像，lhr代表高分辨率圖像，表示快速傅里葉變換。

33、本發(fā)明的第二方面公開了一種圖像超分辨率重建裝置，包括：存儲器，用于存儲程序指令；處理器，用于調(diào)用存儲器中存儲的程序指令以實(shí)現(xiàn)如上述任一技術(shù)方案的圖像超分辨率重建方法。

34、本發(fā)明的第三方面公開了一種計(jì)算機(jī)可讀存儲介質(zhì)，該計(jì)算機(jī)可讀存儲介質(zhì)存儲有程序代碼，程序代碼用于實(shí)現(xiàn)如上述任一技術(shù)方案的圖像超分辨率重建方法。

35、本發(fā)明的有益效果至少包括：引入的雙域卷積塊(ddcb)模塊捕獲更精細(xì)的全局特征，以提高重建高分辨率結(jié)果的質(zhì)量。同時(shí)結(jié)合了空間域和頻率域信息，綜合利用它們的互補(bǔ)優(yōu)勢，捕捉局部和全局圖像特征，同時(shí)整合低頻和高頻信息。采用了重疊交叉注意力塊(ocab)來促進(jìn)相鄰窗口之間的像素傳輸，以在保持線性計(jì)算復(fù)雜度的情況下增強(qiáng)模型的全局建模能力，提升網(wǎng)絡(luò)性能。在模型訓(xùn)練階段，額外引入了快速傅里葉變換(fft)損失，以充分發(fā)揮模型性能。