本發(fā)明涉及圖形圖像處理，特別涉及聯(lián)合圖像層級特征的壓縮感知迭代重構(gòu)方法。

背景技術(shù)：

1、傳統(tǒng)的ics重構(gòu)算法通過迭代優(yōu)化的方式求解稀疏正則化問題，從而得到重構(gòu)信號。其中，交替方向乘子法將一個大的優(yōu)化問題分解成若干個小的子問題，通過交替迭代的方式分別求解每個子問題，并在每次迭代中引入一個乘子來更新解的估計值，從而得到原始問題的解；近似消息傳遞法基于概率圖模型，在迭代過程中集成多種去噪，確保每次迭代時的信號擾動接近所要去除的高斯白噪聲，從而恢復(fù)出原始信號；迭代收縮閾值算法將原問題轉(zhuǎn)化為一階近似問題，通過梯度下降操作和軟閾值操作來不斷更新解向量的估計值，從而逐漸逼近原問題的最優(yōu)解。然而，這些方法嚴重依賴人工設(shè)計的參數(shù)，圖像重構(gòu)質(zhì)量較差。

2、得益于cnn和transformer強大的學(xué)習(xí)能力，部分學(xué)者將其引入ics領(lǐng)域來提升圖像重構(gòu)質(zhì)量?；赾nn的ics重構(gòu)算法主要分為兩類：深度前饋算法和深度展開算法。前者不受任何人工設(shè)計參數(shù)限制，通過自適應(yīng)學(xué)習(xí)進行圖像重構(gòu)。reconnet首次將cnn與ics結(jié)合，采用固定的隨機高斯矩陣對圖像塊進行線性采樣，并引入bm3d去噪器對重構(gòu)圖像進行優(yōu)化。shi等人提出csnet系列網(wǎng)絡(luò)，采用全圖重構(gòu)策略抑制分塊采樣帶來的塊效應(yīng)，并約束采樣矩陣以提高信號傳輸效率。田金鵬等人提出的dusanet通過自注意力機制學(xué)習(xí)圖像的高頻紋理信息，并采用殘差連接有效解決網(wǎng)絡(luò)深度增加所帶來的梯度消失問題。這些算法直接使用cnn將測量值映射為圖像，可解釋性較差。針對該問題，學(xué)者們提出深度展開算法，將傳統(tǒng)的迭代優(yōu)化算法映射到深度網(wǎng)絡(luò)中，從而提高圖像重構(gòu)質(zhì)量并改善算法的可解釋性。zhang等人展開amp算法的迭代去噪過程提出ampnet，利用采樣矩陣和cnn來擬合圖像差異，從而表征圖像先驗信息。在重構(gòu)過程中，該網(wǎng)絡(luò)還集成了一個去偽影模塊，旨在消除重構(gòu)圖像的塊效應(yīng)。istanet+通過深度網(wǎng)絡(luò)實現(xiàn)了端到端的ista算法，有效解決了與非線性稀疏變換相關(guān)的鄰近映射問題。在此基礎(chǔ)上，istanet++為ics重構(gòu)網(wǎng)絡(luò)引入更多先驗知識，通過動態(tài)展開策略來處理多采樣率下的重構(gòu)任務(wù)，同時采用跨塊策略減少塊效應(yīng)并提升圖像重構(gòu)質(zhì)量。opinenet+引入采樣矩陣正交約束和二元約束以規(guī)范優(yōu)化問題的正則化項，并通過自適應(yīng)采樣和聯(lián)合重構(gòu)優(yōu)化圖像塊。陳文俊等人提出fsoinet，利用近端梯度下降法將圖像映射到特征域，并建立迭代優(yōu)化的信息流動通道來實現(xiàn)圖像重構(gòu)。上述算法相較傳統(tǒng)迭代優(yōu)化算法顯著提高了圖像重構(gòu)質(zhì)量，但仍受cnn架構(gòu)提取圖像局部信息的約束，難以捕捉高分辨率圖像的長距離依賴關(guān)系。

3、transformer最初是為自然語言處理（natural?language?processing，nlp）設(shè)計的，用于處理序列數(shù)據(jù)的長距離依賴關(guān)系，其內(nèi)部的自注意力被認為是一種適用于圖像處理的非局部濾波操作；受nlp中transformer強大性能的啟發(fā)，vit開創(chuàng)性地將該架構(gòu)擴展到圖像領(lǐng)域；swin?transformer則設(shè)計了一種具有移位機制的多頭自注意力，有效降低了計算成本。近年來，transformer也被應(yīng)用于ics領(lǐng)域。transcs在重構(gòu)模塊采用迭代的transformer主干來建模圖像的長距離依賴關(guān)系，同時引入輔助cnn捕捉圖像的局部特征。但它在深度重構(gòu)網(wǎng)絡(luò)中同時使用transformer編碼器和解碼器，導(dǎo)致網(wǎng)絡(luò)參數(shù)量和圖像重構(gòu)時間顯著增加；csformer則采用多路徑前饋方法，將測量值映射到初始化主干、cnn主干和transformer主干，旨在探索圖像的局部特征和全局表示，并通過漸進式策略同時計算圖像細粒度和長距離依賴關(guān)系，有效提升了重構(gòu)算法性能，但復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)也進一步增加了圖像重構(gòu)時間。

4、現(xiàn)有技術(shù)存在以下缺陷：

5、（1）在高分辨率圖像重構(gòu)任務(wù)中，基于cnn的ics重構(gòu)算法受限于卷積核的局部感受野，難以捕捉圖像長距離依賴關(guān)系，限制了網(wǎng)絡(luò)在全局范圍內(nèi)進行空間信息交互的能力，導(dǎo)致重構(gòu)圖像的整體效果未能達到理想的視覺質(zhì)量和信息完整性標(biāo)準。

6、（2）使用transformer的ics重構(gòu)算法能夠建模圖像長距離依賴關(guān)系，并允許圖像中的每個元素（包括像素、特征等）與全局范圍內(nèi)的其他元素進行交互，進而提升重構(gòu)圖像質(zhì)量。然而，transformer架構(gòu)的引入導(dǎo)致網(wǎng)絡(luò)參數(shù)量和圖像重構(gòu)時間成倍增長，對硬件資源提出了更高要求，并可能成為實際應(yīng)用中的瓶頸，影響用戶體驗和系統(tǒng)響應(yīng)速度。

7、針對以上缺點，本發(fā)明提出了一種聯(lián)合圖像層級特征的壓縮感知迭代重構(gòu)網(wǎng)絡(luò)（combining?image?hierarchical-feature?network，chfnet），解決了引入transformer使得網(wǎng)絡(luò)參數(shù)量和圖像重構(gòu)時間成倍增長的問題，同時達到了對高分辨率圖像進行高質(zhì)量重構(gòu)并減少重構(gòu)時間的目的。

技術(shù)實現(xiàn)思路

1、本發(fā)明目的就在于為了解決上述的問題，而提供聯(lián)合圖像層級特征的壓縮感知迭代重構(gòu)方法。

2、為實現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案為：

3、根據(jù)本發(fā)明的一個方面，提供了聯(lián)合圖像層級特征的壓縮感知迭代重構(gòu)方法，包括引入圖像在空間維度上的先驗信息，構(gòu)建的chfnet整體結(jié)構(gòu)，其特征在于：構(gòu)建的chfnet整體結(jié)構(gòu)包含采樣子網(wǎng)絡(luò)、初始重構(gòu)子網(wǎng)絡(luò)和混合重構(gòu)子網(wǎng)絡(luò)三個部分：

4、采樣子網(wǎng)絡(luò)通過可學(xué)習(xí)的采樣矩陣對原始圖像進行逐塊采樣得到測量值，具體如下：

5、通過可學(xué)習(xí)的采樣矩陣對圖像進行線性采樣，將采樣矩陣重組成個大小為、步長為的不含偏置的卷積核，并通過訓(xùn)練數(shù)據(jù)對矩陣參數(shù)進行優(yōu)化，使測量值保留更多的非冗余信息。因此采樣子網(wǎng)絡(luò)可以表示為：

6、

7、其中：表示采樣操作，表示卷積操作，表示壓縮感知測量值；

8、初始重構(gòu)子網(wǎng)絡(luò)對測量值進行線性變換得到初始恢復(fù)圖像，具體如下：

9、通過采樣矩陣的轉(zhuǎn)置來完成從測量值到初始恢復(fù)圖像的線性變換。與采樣子網(wǎng)絡(luò)類似，被重組為個大小的卷積核，隨后通過“pixelshuffle”操作得到初始恢復(fù)圖像，這一過程表示為：

10、

11、其中：表示初始重構(gòu)操作。

12、混合重構(gòu)子網(wǎng)絡(luò)設(shè)計了一種迭代策略，通過交替使用梯度下降操作和特征優(yōu)化操作來逐步提升圖像重構(gòu)質(zhì)量。每個迭代階段的具體操作如下：

13、首先，構(gòu)建了一個多尺度特征豐富模塊mfem，對前一階段的重構(gòu)圖像進行不同尺度的去噪，并增強為多通道特征圖；隨后采用梯度下降操作對特征圖的細粒度信息進行更新，以第迭代階段為例，信息流動過程可以表示為：

14、

15、

16、其中：式的表示第迭代階段得到的重構(gòu)圖像，表示多尺度特征豐富操作，表示多通道特征圖；式表示梯度下降操作，為梯度下降操作的自適應(yīng)步長，通過兩個卷積層來實現(xiàn)；為蘊含高細粒度信息的特征圖。

17、其次，為了增強網(wǎng)絡(luò)對高分辨率圖像的感知能力并降低計算復(fù)雜度，設(shè)計了一個二次空間信息捕捉模塊sscm，通過輕量級cnn-transformer混合架構(gòu)建模圖像層級特征，并對其進行深度優(yōu)化。最后，通過后處理模塊ppm對二次空間信息捕捉模塊sscm優(yōu)化的特征信息進行非線性增強，在保留重構(gòu)所需關(guān)鍵信息的同時得到本階段的重構(gòu)圖像。sscm和ppm稱為特征優(yōu)化操作，數(shù)學(xué)表達式如式、式所示：

18、

19、

20、其中：分別表示二次空間信息捕捉操作和后處理操作，表示sscm的輸出信息，表示本階段重構(gòu)圖像。

21、經(jīng)過次迭代后，可以得到最終的重構(gòu)圖像。

22、進一步地，所述多尺度特征豐富模塊mfem能夠綜合不同尺度的先驗信息，有效去除前一階段重構(gòu)圖像的噪聲，并生成富含多尺度細節(jié)的圖像特征，mfem在各尺度分支均采用雙層卷積結(jié)構(gòu)，第一層輸出2c維特征，第二層則輸出c維特征，卷積核大小分別為、、和。在得到每個尺度分支的輸出特征后，通過“concat”操作和卷積操作進行融合，在得到高信噪比多通道特征圖的同時簡化后續(xù)操作的計算復(fù)雜度，mfem的信息流動過程可以表示為：

23、

24、其中：表示多尺度卷積操作，表示特征融合階段的卷積核。

25、進一步地，所述二次空間信息捕捉模塊sscm通過cnn-transformer混合架構(gòu)建模并優(yōu)化圖像層級特征。局部分支級聯(lián)兩個標(biāo)準的resblock塊，通過引入跳躍連接來提升模型性能。在區(qū)域分支引入了輕量級混合注意力塊cbam，并在執(zhí)行cbam塊之前，采用卷積操作對輸入特征進行預(yù)處理，以聚合關(guān)鍵信息并促進不同通道特征之間的交互。以第一層cnn-transformer混合架構(gòu)為例，局部分支和區(qū)域分支的特征優(yōu)化過程分別表示為式、式：

26、

27、

28、

29、其中：式表示resblock操作，為該操作的輸入信息，為兩層卷積核，為非線性激活函數(shù)，式的表示cbam操作，表示區(qū)域分支的兩層預(yù)處理卷積核。

30、進一步地，在sscm的全局分支中還設(shè)計了一種空間層級transformer，該空間層級transformer首先利用基于小窗口awsa的transformer對圖像的全局特征進行建模，隨后級聯(lián)一個使用大窗口awsa的transformer，并通過移位技術(shù)促進不同窗口間的信息交互，從而得到異于單層transformer的全局特征，全局分支特征優(yōu)化過程的具體操作可定義為：

31、

32、

33、

34、

35、其中：式、表示基于小窗口awsa的transformer操作，式、表示基于大窗口awsa的transformer操作，分別表示相對應(yīng)的兩個transformer操作的輸出信息，?分別表示采用小窗口和采用大窗口的awsa操作，為空間層級transformer的輸入信息，在第一層cnn-transformer混合架構(gòu)中即為sscm的輸入信息，為一個標(biāo)準的多層感知機，為layernorm歸一化操作；

36、在獲取全局分支的輸出后，將其他兩個分支的輸出信息通過逐元素相加的方式進行特征融合，然后輸入至標(biāo)準的mlp進行處理，從而得到單層cnn-transformer混合架構(gòu)的優(yōu)化輸出特征，以第迭代階段的第一層混合架構(gòu)為例，特征流動過程可表述為：

37、

38、其中：為逐元素相加操作。

39、進一步地，還設(shè)有后處理模塊ppm，后處理模塊ppm級聯(lián)了一個標(biāo)準resblock塊和兩層卷積，對特征信息進行空間上的變換、篩選與融合，從而確保重構(gòu)圖像在結(jié)構(gòu)、細節(jié)等方面盡可能地接近原始圖像，具體表示為：

40、

41、其中：為激活函數(shù)，分別表示級聯(lián)的兩個卷積層，后者為不帶偏置的卷積核。

42、進一步地，為實現(xiàn)端到端訓(xùn)練，設(shè)計了以下?lián)p失函數(shù)：

43、

44、其中：第一項為像素損失，用于衡量原始圖像和重構(gòu)圖像之間的差異，第二項為采樣矩陣約束損失，旨在規(guī)范矩陣中行與行的相關(guān)性，確保測量值存在更少的冗余，為單位矩陣，為測量值的數(shù)量，為正則化參數(shù)，在實驗中被設(shè)置為0.01。

45、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果：

46、（1）迭代策略與混合架構(gòu)參數(shù)優(yōu)化：混合重構(gòu)子網(wǎng)絡(luò)中迭代階段數(shù)、cnn-transformer混合架構(gòu)層數(shù)對重構(gòu)性能有顯著影響。這些參數(shù)的優(yōu)化組合是本發(fā)明的技術(shù)欲保護點之一，確保網(wǎng)絡(luò)在不同應(yīng)用場景下均能實現(xiàn)最優(yōu)的重構(gòu)效果。

47、（2）梯度下降與特征優(yōu)化操作的協(xié)同機制：本發(fā)明中，梯度下降操作和特征優(yōu)化操作的引入位置及協(xié)同機制是提升圖像重構(gòu)質(zhì)量的關(guān)鍵。合理設(shè)計這兩者的交互方式，從而最大化協(xié)同效應(yīng)，是本發(fā)明欲保護的另一重要技術(shù)點。

48、（3）多尺度特征豐富模塊的設(shè)計：多尺度特征豐富模塊通過不同的卷積操作，有效去除了前一階段重構(gòu)圖像的噪聲，并生成富含多尺度細節(jié)的圖像特征。該模塊分支的卷積核大小、輸出通道數(shù)等參數(shù)設(shè)計和整體網(wǎng)絡(luò)架構(gòu)的集成方式，對重構(gòu)圖像質(zhì)量具有重要影響，因此也是本發(fā)明欲保護的技術(shù)要點之一。