本申請實(shí)施例涉及圖像處理領(lǐng)域，具體涉及一種圖像超分辨率重建方法、電子設(shè)備以及計(jì)算機(jī)可讀存儲介質(zhì)。

背景技術(shù)：

1、圖像超分辨率重建是指利用圖像處理將低分辨率圖像重建為高分辨率圖像的技術(shù)，從而有效提升圖像的清晰度，其在智能監(jiān)控領(lǐng)域有著重要的意義。受監(jiān)控設(shè)備功耗等硬件條件的限制，電子設(shè)備獲得的視頻或圖像的分辨率會比較低，這會導(dǎo)致用戶觀感不佳，影響用戶對監(jiān)控設(shè)備的使用體檢，在重要任務(wù)(例如刑偵安裝等)進(jìn)行錄像回放時，還會影響人對重要線索的判斷準(zhǔn)確性，而且低分辨率圖像無法對下游任務(wù)(如目標(biāo)檢測和目標(biāo)識別等)進(jìn)行有效指導(dǎo)，影響任務(wù)準(zhǔn)確率。為了解決上述問題，通常會在智能監(jiān)控領(lǐng)域應(yīng)用圖像超分辨率重建技術(shù)。

2、現(xiàn)有的圖像超分辨率重建方法主要是通過將低分辨率圖像輸入到訓(xùn)練好的圖像超分模型中進(jìn)行重建，以得到需要的高分辨率圖像。具體地，現(xiàn)有的圖像超分模型的思路基本是一樣的，首先通過卷積層和殘差塊組成特征提取模塊，以提取低分辨率圖像上的特征信息，得到特征圖像，再通過卷積層構(gòu)建細(xì)化模塊和上采樣模塊(例如亞像素卷積層pixelshuffle和基于尺度scale的傳統(tǒng)插值上采樣)，以通過上采樣模塊對特征圖像進(jìn)行插值上采樣來實(shí)現(xiàn)對圖像的超分辨率重建。然而，卷積層組成的插值上采樣模塊結(jié)構(gòu)復(fù)雜，使得模型的體積較大，不易部署到手機(jī)、平板等電子設(shè)備上，而且卷積層組成的插值上采樣模塊自身不具備將圖像插值到任意分辨率的特性，若要實(shí)現(xiàn)對圖像進(jìn)行任意倍率的超分辨率重建，要么使用大量的訓(xùn)練圖像來訓(xùn)練圖像超分模型，這會導(dǎo)致模型的訓(xùn)練時間過長，要么就訓(xùn)練多個不同的圖像超分模型來處理圖像，模型的使用麻煩。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述問題，本申請實(shí)施例提供了一種圖像超分辨率重建方法、電子設(shè)備以及計(jì)算機(jī)可讀存儲介質(zhì)，用于解決現(xiàn)有技術(shù)中圖像超分模型結(jié)構(gòu)復(fù)雜，模型體積較大，不易部署到手機(jī)、平板等電子設(shè)備上的問題。

2、根據(jù)本申請實(shí)施例的一個方面，提供了一種圖像超分辨率重建方法，所述方法包括：獲取目標(biāo)圖像的尺寸和待超分圖像，待超分圖像的尺寸小于目標(biāo)圖像的尺寸；初始化圖像超分模型，并將圖像超分模型在訓(xùn)練階段保存的模型參數(shù)載入值圖像超分模型中；根據(jù)目標(biāo)圖像的尺寸對待超分圖像進(jìn)行第一插值上采樣處理，得到第一目標(biāo)特征圖像；從待超分圖像中提取像素點(diǎn)信息，得到目標(biāo)淺層特征圖；從目標(biāo)淺層特征圖中提取語義信息，得到目標(biāo)深層特征圖；將目標(biāo)淺層特征圖和目標(biāo)深層特征圖進(jìn)行殘差連接，得到目標(biāo)融合特征圖；根據(jù)目標(biāo)圖像的尺寸對目標(biāo)融合特征圖進(jìn)行第二插值上采樣處理，得到第二目標(biāo)特征圖像；將第一目標(biāo)特征圖像和第二目標(biāo)特征圖像進(jìn)行殘差連接，得到目標(biāo)融合圖像；以及從目標(biāo)融合圖像中進(jìn)行細(xì)化去噪，得到目標(biāo)超分圖像。

3、根據(jù)本申請實(shí)施例的另一方面，提供了一種電子設(shè)備，包括存儲器及處理器，存儲器用于存儲計(jì)算機(jī)程序代碼，并將計(jì)算機(jī)程序代碼傳輸給處理器；處理器用于根據(jù)所述程序代碼中的指令執(zhí)行上述的圖像超分辨率重建方法。

4、根據(jù)本申請實(shí)施例的又一方面，提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)用于存儲計(jì)算機(jī)程序代碼，該計(jì)算機(jī)程序代碼被處理器執(zhí)行時實(shí)現(xiàn)上述的圖像超分模型的訓(xùn)練方法，或該計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)上述的圖像超分辨率重建方法。

5、本申請實(shí)施例通過獲取目標(biāo)圖像的尺寸和待超分圖像，并將目標(biāo)圖像的尺寸和待超分圖像送入圖像超分模型中，以使圖像超分模型根據(jù)目標(biāo)圖像的尺寸對待超分圖像進(jìn)行超分辨率重建來得到目標(biāo)超分圖像，無論目標(biāo)圖像的尺寸和待超分圖像的尺寸之間的倍率是多少，采用上述圖像超分辨率重建方法都能夠達(dá)到較好的圖像超分辨率重建效果，很好地解決了現(xiàn)有技術(shù)中存在的隨著目標(biāo)圖像的尺寸的增大，圖像超分辨率重建效果差的問題，而且通過單個模型就能夠?qū)崿F(xiàn)任意倍率的圖像超分效果，不需要在電子設(shè)備上裝置多個模型。此外，第一上采樣模塊處理和第二上采樣模塊處理都采樣插值算法實(shí)現(xiàn)上采樣操作，而不采用網(wǎng)絡(luò)模塊實(shí)現(xiàn)上采樣操作，一方面，可以使圖像超分模型的結(jié)果更加簡單，有利于在板端、移動端和pc端等進(jìn)行部署，圖像超分模型的適用性更強(qiáng)，另一方面，可以直接利用插值算法能夠插值到任意分辨率的特性，在不增加訓(xùn)練時長的前提下，實(shí)現(xiàn)任意倍率的圖像超分效果。

技術(shù)特征：

1.一種圖像超分辨率重建方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的圖像超分辨率重建方法，其特征在于，所述圖像超分模型的訓(xùn)練步驟包括：

3.根據(jù)權(quán)利要求2所述的圖像超分辨率重建方法，其特征在于，所述步驟s200包括：

4.根據(jù)權(quán)利要求3所述的圖像超分辨率重建方法，其特征在于，所述圖像退化處理包括如下步驟：

5.根據(jù)權(quán)利要求2所述的圖像超分辨率重建方法，其特征在于，所述步驟s300包括：

6.根據(jù)權(quán)利要求2所述的圖像超分辨率重建方法，其特征在于，所述步驟s400包括：

7.根據(jù)權(quán)利要求6所述的圖像超分辨率重建方法，其特征在于，所述利用損失函數(shù)計(jì)算所述高分辨率圖像及其對應(yīng)的超分圖像的損失，具體包括：

8.根據(jù)權(quán)利要求2所述的圖像超分辨率重建方法，其特征在于，所述步驟s500包括：

9.一種電子設(shè)備，包括存儲器及處理器，其特征在于，

10.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲介質(zhì)用于存儲計(jì)算機(jī)程序代碼，該計(jì)算機(jī)程序代碼被處理器執(zhí)行時實(shí)現(xiàn)權(quán)利要求1～8任一項(xiàng)所述的圖像超分辨率重建方法。

技術(shù)總結(jié)
本申請涉及圖像處理領(lǐng)域，公開了一種圖像超分辨率重建方法、電子設(shè)備以及計(jì)算機(jī)可讀存儲介質(zhì)，該方法包括獲取目標(biāo)圖像的尺寸和待超分圖像，初始化圖像超分模型并將訓(xùn)練階段保存的模型參數(shù)載入至模型中，提取待超分圖像的像素點(diǎn)信息以及語義信息得到目標(biāo)淺層特征圖和目標(biāo)深層特征圖，再將兩個特征圖進(jìn)行殘差連接得到目標(biāo)融合特征圖；根據(jù)目標(biāo)圖像的尺寸分別對待超分圖像和目標(biāo)融合特征圖進(jìn)行插值上采樣處理，并將插值上采樣處理得到的兩個圖像進(jìn)行殘差連接得到目標(biāo)融合圖像，最后從目標(biāo)融合圖像中進(jìn)行細(xì)化去噪，得到目標(biāo)超分圖像。

技術(shù)研發(fā)人員：陳鎮(zhèn)國,陳慶接,柴彥沖
受保護(hù)的技術(shù)使用者：深圳市睿聯(lián)技術(shù)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23