本技術(shù)涉及圖像處理,特別是涉及一種圖像超分辨率處理方法、裝置、計算機(jī)設(shè)備、存儲介質(zhì)和計算機(jī)程序產(chǎn)品。
背景技術(shù):
1、圖像超分辨率處理是從一張或多張低分辨率圖像中重建出對應(yīng)高分辨率圖像的過程,是計算機(jī)底層視覺的一個經(jīng)典問題。圖像超分辨率本身是一個不適定問題,對于一個低分辨率圖像始終存在多個與其對應(yīng)的高分辨率圖像。傳統(tǒng)圖像超分辨率算法主要分為基于插值的方法和基于學(xué)習(xí)的方法,使用稀疏編碼、多尺度等先驗知識建模實現(xiàn)高分辨率圖像的恢復(fù)。這些算法雖然能夠提升圖像分辨率,但是在恢復(fù)高頻細(xì)節(jié)信息和紋理細(xì)節(jié)方面存在不足。
2、隨著人工智能技術(shù)的再次興起和深度神經(jīng)網(wǎng)絡(luò)的迅速發(fā)展,深度神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺領(lǐng)域取得了巨大成功?;谏疃壬窠?jīng)網(wǎng)絡(luò)的圖像超分辨率算法得到了積極探索,涌現(xiàn)出一大批基于卷積神經(jīng)網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)、殘差神經(jīng)網(wǎng)絡(luò)的圖像超分辨率模型。利用深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征表示和學(xué)習(xí)非線性變換的能力,模型能夠更深入地挖掘高、低分辨率圖像之間的映射關(guān)系,更好的重建出圖像的高頻細(xì)節(jié)信息。
3、盡管基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率算法已經(jīng)取得了良好的性能。但由于卷積核感受野大小的限制,導(dǎo)致神經(jīng)網(wǎng)絡(luò)無法建模圖像中長距離像素之間的依賴關(guān)系,最終計算結(jié)果不準(zhǔn)確。并且基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率算法通常需要耗費大量計算資源,導(dǎo)致訓(xùn)練時間長、算法調(diào)優(yōu)慢。
技術(shù)實現(xiàn)思路
1、基于此,有必要針對上述技術(shù)問題,提供一種高效、且準(zhǔn)確的圖像超分辨率處理方法、裝置、計算機(jī)設(shè)備、存儲介質(zhì)和計算機(jī)程序產(chǎn)品。
2、第一方面,本技術(shù)提供了一種圖像超分辨率處理方法。所述方法包括:
3、獲取待處理的低分辨率圖像;
4、提取所述低分辨率圖像的特征,得到初始特征圖;
5、基于通道注意力機(jī)制提取所述初始特征圖中的全局通道結(jié)構(gòu)特征、并基于稠密分塊通道注意力機(jī)制提取所述初始特征圖中的局部通道細(xì)節(jié)特征;
6、融合所述全局通道結(jié)構(gòu)特征和所述局部通道細(xì)節(jié)特征,得到融合特征,并基于融合特征和空間注意力機(jī)制提取局部空間細(xì)節(jié)特征,得到具有增強(qiáng)全局通道信息、局部通道信息和局部空間信息的目標(biāo)特征圖;
7、對所述目標(biāo)特征圖進(jìn)行上采樣和下采樣,生成高分辨率圖像。
8、在其中一個實施例中,所述提取所述低分辨率圖像的特征,得到初始特征圖包括:
9、基于預(yù)設(shè)卷積核大小的卷積層,提取所述低分辨率圖像的特征,得到初始特征圖。
10、在其中一個實施例中,基于通道注意力機(jī)制提取所述初始特征圖中的全局通道結(jié)構(gòu)特征包括:
11、以所述初始特征圖作為特征嵌入;
12、對所述特征嵌入進(jìn)行映射矩陣與維度變換處理,得到映射后的矩陣;
13、基于映射后的矩陣進(jìn)行縮放點積注意力與注意力加權(quán)處理,得到通道維度上的縮放點積注意力,所述通道維度上的縮放點積注意力表征全局通道結(jié)構(gòu)特征。
14、在其中一個實施例中,基于稠密分塊通道注意力機(jī)制提取所述初始特征圖中的局部通道細(xì)節(jié)特征包括:
15、以所述初始特征圖作為特征嵌入;
16、將所述特征嵌入按照稠密窗口劃分為若干非重疊窗口,形成稠密窗口特征嵌入;
17、對每個稠密窗口特征嵌入計算通道注意力,得到注意力分?jǐn)?shù)矩陣;
18、對注意力分?jǐn)?shù)矩陣的每一行進(jìn)行歸一化,得到權(quán)重矩陣;
19、基于所述權(quán)重矩陣以及所述注意力分?jǐn)?shù)矩陣,得到稠密分塊的縮放點積通道注意力;
20、將每個稠密分塊的縮放點積通道注意力按照劃分順序重新拼接,得到局部通道細(xì)節(jié)特征。
21、在其中一個實施例中,所述融合所述全局通道結(jié)構(gòu)特征和所述局部通道細(xì)節(jié)特征,得到融合特征,并基于融合特征和空間注意力機(jī)制提取局部空間細(xì)節(jié)特征,得到具有增強(qiáng)全局通道信息、局部通道信息和局部空間信息的目標(biāo)特征圖包括:
22、交替使用通道注意力和稠密分塊通道注意力,融合所述全局通道結(jié)構(gòu)特征和所述局部通道細(xì)節(jié)特征,得到融合特征;
23、基于融合特征和空間注意力機(jī)制提取局部空間細(xì)節(jié)特征,得到具有增強(qiáng)全局通道信息、局部通道信息和局部空間信息的目標(biāo)特征圖。
24、在其中一個實施例中,所述交替使用通道注意力和稠密分塊通道注意力,融合所述全局通道結(jié)構(gòu)特征和所述局部通道細(xì)節(jié)特征,得到融合特征包括:
25、以所述初始特征圖作為特征嵌入;
26、將所述特征嵌入經(jīng)過歸一化和通道注意力,得到第一輸出特征;
27、將所述特征嵌入加上所述第一輸出特征得到中間結(jié)果;
28、將所述中間結(jié)果送入歸一化和gmlp中,得到通道注意力的第二輸出特征;
29、將所述第二輸出特征加上所述中間結(jié)果作為通道注意力的最終輸出特征;
30、以所述最終輸出特征作為稠密分塊通道注意力輸入,以融合所述全局通道結(jié)構(gòu)特征和所述局部通道細(xì)節(jié)特征,得到融合特征。
31、第二方面,本技術(shù)還提供了一種圖像超分辨率處理裝置。所述裝置包括:
32、數(shù)據(jù)獲取模塊,用于獲取待處理的低分辨率圖像;
33、初始化模塊,用于提取所述低分辨率圖像的特征,得到初始特征圖;
34、特征提取模塊,用于基于通道注意力機(jī)制提取所述初始特征圖中的全局通道結(jié)構(gòu)特征、并基于稠密分塊通道注意力機(jī)制提取所述初始特征圖中的局部通道細(xì)節(jié)特征;
35、特征融合模塊,用于融合所述全局通道結(jié)構(gòu)特征和所述局部通道細(xì)節(jié)特征,得到融合特征,并基于融合特征和空間注意力機(jī)制提取局部空間細(xì)節(jié)特征,得到具有增強(qiáng)全局通道信息、局部通道信息和局部空間信息的目標(biāo)特征圖;
36、采樣模塊,用于對所述目標(biāo)特征圖進(jìn)行上采樣和下采樣,生成高分辨率圖像。
37、第三方面,本技術(shù)還提供了一種計算機(jī)設(shè)備。所述計算機(jī)設(shè)備包括存儲器和處理器,所述存儲器存儲有計算機(jī)程序,所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)以下步驟:
38、獲取待處理的低分辨率圖像;
39、提取所述低分辨率圖像的特征,得到初始特征圖;
40、基于通道注意力機(jī)制提取所述初始特征圖中的全局通道結(jié)構(gòu)特征、并基于稠密分塊通道注意力機(jī)制提取所述初始特征圖中的局部通道細(xì)節(jié)特征;
41、融合所述全局通道結(jié)構(gòu)特征和所述局部通道細(xì)節(jié)特征,得到融合特征,并基于融合特征和空間注意力機(jī)制提取局部空間細(xì)節(jié)特征,得到具有增強(qiáng)全局通道信息、局部通道信息和局部空間信息的目標(biāo)特征圖;
42、對所述目標(biāo)特征圖進(jìn)行上采樣和下采樣,生成高分辨率圖像。
43、第四方面,本技術(shù)還提供了一種計算機(jī)可讀存儲介質(zhì)。所述計算機(jī)可讀存儲介質(zhì),其上存儲有計算機(jī)程序,所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)以下步驟:
44、獲取待處理的低分辨率圖像;
45、提取所述低分辨率圖像的特征,得到初始特征圖;
46、基于通道注意力機(jī)制提取所述初始特征圖中的全局通道結(jié)構(gòu)特征、并基于稠密分塊通道注意力機(jī)制提取所述初始特征圖中的局部通道細(xì)節(jié)特征;
47、融合所述全局通道結(jié)構(gòu)特征和所述局部通道細(xì)節(jié)特征,得到融合特征,并基于融合特征和空間注意力機(jī)制提取局部空間細(xì)節(jié)特征,得到具有增強(qiáng)全局通道信息、局部通道信息和局部空間信息的目標(biāo)特征圖;
48、對所述目標(biāo)特征圖進(jìn)行上采樣和下采樣,生成高分辨率圖像。
49、第五方面,本技術(shù)還提供了一種計算機(jī)程序產(chǎn)品。所述計算機(jī)程序產(chǎn)品,包括計算機(jī)程序,該計算機(jī)程序被處理器執(zhí)行時實現(xiàn)以下步驟:
50、獲取待處理的低分辨率圖像;
51、提取所述低分辨率圖像的特征,得到初始特征圖;
52、基于通道注意力機(jī)制提取所述初始特征圖中的全局通道結(jié)構(gòu)特征、并基于稠密分塊通道注意力機(jī)制提取所述初始特征圖中的局部通道細(xì)節(jié)特征;
53、融合所述全局通道結(jié)構(gòu)特征和所述局部通道細(xì)節(jié)特征,得到融合特征,并基于融合特征和空間注意力機(jī)制提取局部空間細(xì)節(jié)特征,得到具有增強(qiáng)全局通道信息、局部通道信息和局部空間信息的目標(biāo)特征圖;
54、對所述目標(biāo)特征圖進(jìn)行上采樣和下采樣,生成高分辨率圖像。
55、上述圖像超分辨率處理方法、裝置、計算機(jī)設(shè)備、存儲介質(zhì)和計算機(jī)程序產(chǎn)品,獲取待處理的低分辨率圖像;提取低分辨率圖像的特征,得到初始特征圖;基于通道注意力機(jī)制提取初始特征圖中的全局通道結(jié)構(gòu)特征、并基于稠密分塊通道注意力機(jī)制提取初始特征圖中的局部通道細(xì)節(jié)特征;融合全局通道結(jié)構(gòu)特征和局部通道細(xì)節(jié)特征,得到融合特征,并基于融合特征和空間注意力機(jī)制提取局部空間細(xì)節(jié)特征,得到具有增強(qiáng)全局通道信息、局部通道信息和局部空間信息的目標(biāo)特征圖;對目標(biāo)特征圖進(jìn)行上采樣和下采樣,生成高分辨率圖像。整個過程中,將注意力范圍應(yīng)用在通道維度,從而實現(xiàn)了高分辨率圖像上的全局注意力,另外還在空間維度上對圖像進(jìn)行分塊,更好融合了空間維度和通道維度上的像素信息,同時將注意力范圍縮小到分塊后的窗口,進(jìn)一步降低了計算復(fù)雜度,可以高效且準(zhǔn)確實現(xiàn)圖像超分辨率處理。