本發(fā)明公開一種圖像超分辨率的實(shí)現(xiàn)方法及裝置，涉及圖像處理領(lǐng)域。

背景技術(shù)：

1、目前，機(jī)器處理圖像的方式通常是將圖像保存為像素序列，并據(jù)此執(zhí)行一系列操作。這種方法受到分辨率的嚴(yán)格限制。特別是在深度學(xué)習(xí)領(lǐng)域，處理數(shù)據(jù)集時(shí)往往需要將所有圖像調(diào)整到統(tǒng)一尺寸，而這種尺寸調(diào)整是一種有損處理，可能以降低圖像保真度為代價(jià)。

2、隨著深度學(xué)習(xí)技術(shù)的不斷進(jìn)步，基于深度學(xué)習(xí)的圖像超分辨率任務(wù)取得了顯著成果。圖像超分辨率的英文名稱是?image?super?resolution，圖像超分辨率是指由一幅低分辨率圖像或圖像序列恢復(fù)出高分辨率圖像的過程。最初，利用卷積神經(jīng)網(wǎng)絡(luò)中的反卷積操作實(shí)現(xiàn)了圖像的上采樣，將圖像放大到指定倍數(shù)后進(jìn)行像素預(yù)測。這種方法相較于傳統(tǒng)的基于插值的超分辨率重建方法具有優(yōu)勢，能夠?qū)崿F(xiàn)較快的圖像超分辨率處理。但其局限性在于只能實(shí)現(xiàn)固定倍數(shù)的放大，且每次調(diào)整放大倍數(shù)都需要重新訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

3、隱式神經(jīng)網(wǎng)絡(luò)的出現(xiàn)為圖像表示提供了新的思路，利用局部的隱式神經(jīng)圖像函數(shù)將圖像表示為潛在的編碼集合，并在給定坐標(biāo)的情況下預(yù)測對(duì)應(yīng)像素值。但其局限性在于忽視了圖像的全局信息，且在高頻特征域表現(xiàn)較弱，無法恢復(fù)編碼器中丟失的特征信息，因而無法進(jìn)一步提高圖像超分辨率后圖像質(zhì)量。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對(duì)現(xiàn)有技術(shù)的問題，提供一種圖像超分辨率的實(shí)現(xiàn)方法及裝置，將圖像從離散域映射至連續(xù)域，更關(guān)注圖像的全局信息，以較低的計(jì)算資源實(shí)現(xiàn)了圖像超分辨率任務(wù)，同時(shí)保證了圖像的結(jié)構(gòu)一致性。

2、本發(fā)明提出的具體方案是：

3、一種圖像超分辨率的實(shí)現(xiàn)方法，包括：

4、步驟1：建立圖像超分辨率神經(jīng)網(wǎng)絡(luò)，圖像超分辨率神經(jīng)網(wǎng)絡(luò)包括編碼器網(wǎng)絡(luò)、自注意力網(wǎng)絡(luò)和隱式神經(jīng)網(wǎng)絡(luò)，編碼器網(wǎng)絡(luò)依次包括二維卷積層和傅里葉殘差模塊，

5、步驟2：將圖像數(shù)據(jù)集中圖像裁剪成預(yù)設(shè)大小的圖像塊，

6、步驟3：將圖像塊輸入編碼器網(wǎng)絡(luò)中，對(duì)圖像塊進(jìn)行特征提?。?/p>

7、步驟31：先將圖像塊輸入至二維卷積層進(jìn)行二維卷積操作，獲得特征矩陣 f 1，

8、步驟32：分別對(duì)特征矩陣 f 1和二維卷積層進(jìn)行補(bǔ)零操作，對(duì)補(bǔ)零操作后的二維卷積層進(jìn)行傅里葉變換，同時(shí)利用傅里葉殘差模塊對(duì)特征矩陣 f 1執(zhí)行傅里葉卷積操作，獲得特征矩陣 f 傅 ，

9、步驟33：利用傅里葉殘差模塊對(duì)特征矩陣 f 傅進(jìn)行逆傅里葉變換，獲得特征矩陣 f 逆傅 ，

10、步驟34：利用傅里葉殘差模塊將特征矩陣 f 逆傅與特征矩陣 f 1級(jí)聯(lián)得到潛在特征矩陣 f l，

11、步驟4：將潛在特征矩陣 f l進(jìn)行關(guān)鍵性特征提取，得到關(guān)鍵特征矩陣 f k，再將關(guān)鍵特征矩陣 f k輸入自注意力網(wǎng)絡(luò)，重建獲得與潛在特征矩陣 f l同尺度的特征矩陣 f r ，

12、步驟5：將特征矩陣 f r輸入到隱式神經(jīng)網(wǎng)絡(luò)，進(jìn)行坐標(biāo)點(diǎn)到像素的映射操作，針對(duì)圖像塊輸入的坐標(biāo)點(diǎn)，利用如下公式：

13、對(duì)像素進(jìn)行預(yù)測，實(shí)現(xiàn)圖像超分辨率，其中 i o為圖像輸出， s t是輸入坐標(biāo)點(diǎn)處的圖像塊面積， s是輸入坐標(biāo)點(diǎn)的四個(gè)鄰近點(diǎn)所組成的矩形區(qū)域的面積， t的取值范圍為{00,01,10,11}， f是映射函數(shù)， z * t是四個(gè)鄰近點(diǎn)所在區(qū)域的潛在編碼， v * t是鄰近點(diǎn)坐標(biāo)， x q是輸入點(diǎn)坐標(biāo)。

14、進(jìn)一步，所述的一種圖像超分辨率的實(shí)現(xiàn)方法的步驟31中進(jìn)行二維卷積操作，利用如下公式：

15、獲得特征矩陣 f 1，其中輸入圖像為 i（x, y），二維卷積層的大小為 k(m,n)， k i和 k j表示的是卷積核的坐標(biāo)。

16、進(jìn)一步，所述的一種圖像超分辨率的實(shí)現(xiàn)方法的步驟4中，具體包括：

17、步驟41：利用最大池化操作將潛在特征矩陣 f l進(jìn)行關(guān)鍵特征提取，獲得關(guān)鍵特征矩陣 f k，

18、步驟42：將關(guān)鍵特征矩陣 f k輸入到自注意力網(wǎng)絡(luò)中進(jìn)行全局特征提取，再根據(jù)全局特征提取后獲得的特征矩陣重建獲得與潛在特征矩陣 f l同尺度的特征矩陣 f r。

19、進(jìn)一步，所述的一種圖像超分辨率的實(shí)現(xiàn)方法的步驟1中建立圖像超分辨率神經(jīng)網(wǎng)絡(luò)的同時(shí)，使用l1范數(shù)作為圖像超分辨率神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，利用公式：

20、進(jìn)行l(wèi)1范數(shù)對(duì)輸出圖像 i o和輸入圖像 i的損失計(jì)算，提高圖像超分辨率神經(jīng)網(wǎng)絡(luò)在高頻的預(yù)測精度。

21、本發(fā)明還提供一種圖像超分辨率的實(shí)現(xiàn)裝置，包括網(wǎng)絡(luò)管理模塊、裁剪模塊、特征提取模塊、自注意力計(jì)算模塊和像素預(yù)測模塊，

22、網(wǎng)絡(luò)管理模塊建立圖像超分辨率神經(jīng)網(wǎng)絡(luò)，圖像超分辨率神經(jīng)網(wǎng)絡(luò)包括編碼器網(wǎng)絡(luò)、自注意力網(wǎng)絡(luò)和隱式神經(jīng)網(wǎng)絡(luò)，編碼器網(wǎng)絡(luò)依次包括二維卷積層和傅里葉殘差模塊，

23、裁剪模塊將圖像數(shù)據(jù)集中圖像裁剪成預(yù)設(shè)大小的圖像塊，

24、特征提取模塊將圖像塊輸入編碼器網(wǎng)絡(luò)中，對(duì)圖像塊進(jìn)行特征提?。?/p>

25、步驟31：先將圖像塊輸入至二維卷積層進(jìn)行二維卷積操作，獲得特征矩陣 f 1，

26、步驟32：分別對(duì)特征矩陣 f 1和二維卷積層進(jìn)行補(bǔ)零操作，對(duì)補(bǔ)零操作后的二維卷積層進(jìn)行傅里葉變換，同時(shí)利用傅里葉殘差模塊對(duì)特征矩陣 f 1執(zhí)行傅里葉卷積操作，獲得特征矩陣 f 傅，

27、步驟33：利用傅里葉殘差模塊對(duì)特征矩陣 f 傅進(jìn)行逆傅里葉變換，獲得特征矩陣 f 逆傅，

28、步驟34：利用傅里葉殘差模塊將特征矩陣 f 逆傅與特征矩陣 f 1級(jí)聯(lián)得到潛在特征矩陣 f l，

29、自注意力計(jì)算模塊將潛在特征矩陣 f l進(jìn)行關(guān)鍵性特征提取，得到關(guān)鍵特征矩陣 f k，再將關(guān)鍵特征矩陣 f k輸入自注意力網(wǎng)絡(luò)，重建獲得與潛在特征矩陣 f l同尺度的特征矩陣 f r，

30、像素預(yù)測模塊將特征矩陣 f r輸入到隱式神經(jīng)網(wǎng)絡(luò)，進(jìn)行坐標(biāo)點(diǎn)到像素的映射操作，針對(duì)圖像塊輸入的坐標(biāo)點(diǎn)，利用如下公式：

31、對(duì)像素進(jìn)行預(yù)測，實(shí)現(xiàn)圖像超分辨率，其中 i o為圖像輸出， s t是輸入坐標(biāo)點(diǎn)處的圖像塊面積， s是輸入坐標(biāo)點(diǎn)的四個(gè)鄰近點(diǎn)所組成的矩形區(qū)域的面積， t的取值范圍為{00,01,10,11}， f是映射函數(shù)， z * t是四個(gè)鄰近點(diǎn)所在區(qū)域的潛在編碼， v * t是鄰近點(diǎn)坐標(biāo)， x q是輸入點(diǎn)坐標(biāo)。

32、進(jìn)一步，所述的一種圖像超分辨率的實(shí)現(xiàn)裝置的特征提取模塊執(zhí)行步驟31中二維卷積操作時(shí)，利用如下公式：

33、獲得特征矩陣 f 1，其中輸入圖像為 i（x, y），二維卷積層的大小為 k(m,n)， k i和 k j表示的是卷積核的坐標(biāo)。

34、進(jìn)一步，所述的一種圖像超分辨率的實(shí)現(xiàn)裝置的自注意力計(jì)算模塊利用最大池化操作將潛在特征矩陣 f l進(jìn)行關(guān)鍵特征提取，獲得關(guān)鍵特征矩陣 f k，

35、將關(guān)鍵特征矩陣 f k輸入到自注意力網(wǎng)絡(luò)中進(jìn)行全局特征提取，再根據(jù)全局特征提取后獲得的特征矩陣重建獲得與潛在特征矩陣 f l同尺度的特征矩陣 f r。

36、進(jìn)一步，所述的一種圖像超分辨率的實(shí)現(xiàn)裝置的網(wǎng)絡(luò)管理模塊建立圖像超分辨率神經(jīng)網(wǎng)絡(luò)的同時(shí)，使用l1范數(shù)作為圖像超分辨率神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，利用公式：

37、進(jìn)行l(wèi)1范數(shù)對(duì)輸出圖像 i o和輸入圖像 i的損失計(jì)算，提高圖像超分辨率神經(jīng)網(wǎng)絡(luò)在高頻的預(yù)測精度。

38、本發(fā)明方法的有益之處是：

39、主要采用傅里葉卷積進(jìn)行特征提取，有效保留了圖像中的高頻信息，并運(yùn)用殘差連接的方式進(jìn)行學(xué)習(xí)，對(duì)編碼后的特征進(jìn)行關(guān)鍵特征引入自注意力的學(xué)習(xí)，使網(wǎng)絡(luò)能夠?qū)D像的上下文信息聯(lián)系起來，關(guān)注其全局特征，顯著節(jié)約了計(jì)算資源，提升了計(jì)算速度，最后將包含局部和全局特征信息的特征矩陣以及查詢坐標(biāo)點(diǎn)輸入到隱式神經(jīng)網(wǎng)絡(luò)中，進(jìn)行像素預(yù)測，實(shí)現(xiàn)了圖像超分辨率，與原圖像相比，隨著放大倍數(shù)的增加，圖像的結(jié)構(gòu)一致性得到了有效保證，且高頻特征的丟失也較少，圖像依然保持著較高的清晰度和對(duì)比度。