本發(fā)明涉及超分重建，具體而言，涉及一種超分重建模型訓練方法、圖像超分重建方法及電子設備。

背景技術：

1、圖像超分辨率重建指的是通過采用圖像處理、深度學習等方法，將低分辨率圖像恢復成高分辨率圖像的技術。

2、現(xiàn)有技術中，基于深度學習的圖像超分辨率重建方法基本上是采用雙三次插值等方式先將低分辨率圖像上采樣到高分辨率圖像，然后在高分辨率圖像中提取特征，最后重建成超分辨率圖像。但是，該類基于深度學習的圖像超分辨率重建方法隨著網(wǎng)絡層數(shù)的增加，網(wǎng)絡參數(shù)量越來越大，計算開銷也隨著不斷提高。

技術實現(xiàn)思路

1、有鑒于此，本發(fā)明實施例的目的在于，提供一種超分重建模型訓練方法、圖像超分重建方法及電子設備以至少部分地改善上述問題。

2、為了實現(xiàn)上述目的，本發(fā)明實施例采用的技術方案如下：

3、第一方面，本發(fā)明實施例提供了一種超分重建模型訓練方法，所述方法包括：

4、將低分辨率圖像上采樣并進行小波分解，得到第一低頻子帶圖像以及第一高頻子帶圖像；

5、將所述第一低頻子帶圖像以及所述第一高頻子帶圖像輸入訓練好的教師超分重建網(wǎng)絡，得到特征提取過程中的l層教師特征圖以及超分重建后的教師超分辨率圖像；

6、將所述第一低頻子帶圖像以及所述第一高頻子帶圖像輸入學生超分重建網(wǎng)絡，得到經(jīng)過處理的第二低頻子帶圖像以及第二高頻子帶圖像、特征提取過程中的l層學生特征圖以及超分重建后的學生超分辨率圖像；其中，所述學生超分重建網(wǎng)絡的架構與所述教師超分重建網(wǎng)絡的架構相同，所述學生超分重建網(wǎng)絡的參數(shù)小于所述教師超分重建網(wǎng)絡的參數(shù)；

7、根據(jù)所述低分辨率圖像、各所述教師特征圖、所述教師超分辨率圖像、各所述學生特征圖、所述學生超分辨率圖像、所述第一低頻子帶圖像、所述第一高頻子帶圖像、所述第二低頻子帶圖像以及所述第二高頻子帶圖像，計算出損失信息；

8、根據(jù)所述損失信息對所述學生超分重建網(wǎng)絡進行迭代優(yōu)化，直至滿足預設條件，將優(yōu)化后的學生超分重建網(wǎng)絡作為超分重建模型。

9、可選地，所述學生超分重建網(wǎng)絡包括卷積網(wǎng)絡以及多個多尺度聚合模塊，所述將所述第一低頻子帶圖像以及所述第一高頻子帶圖像輸入學生超分重建網(wǎng)絡，得到經(jīng)過處理的第二低頻子帶圖像以及第二高頻子帶圖像、特征提取過程中的l層學生特征圖以及超分重建后的學生超分辨率圖像，包括：

10、將所述第一低頻子帶圖像以及所述第一高頻子帶圖像輸入所述卷積網(wǎng)絡，得到淺層特征；

11、將所述淺層特征依次輸入各所述多尺度聚合模塊，得到特征提取過程中的l層學生特征圖以及最終的深層特征；

12、將所述淺層特征與所述深層特征進行融合，得到融合后的小波系數(shù)；所述小波系數(shù)包括融合后的第二低頻子帶圖像以及第二高頻子帶圖像；

13、將所述小波系數(shù)進行逆小波重構，得到學生超分辨率圖像。

14、可選地，所述將所述淺層特征依次輸入各所述多尺度聚合模塊，得到特征提取過程中的l層學生特征圖以及最終的深層特征，包括：

15、將所述淺層特征輸入第一個所述多尺度聚合模塊，得到第一深層特征以及多個學生特征圖；

16、依次將前一個所述多尺度聚合模塊的輸入特征以及第一深層特征輸入到下一個所述多尺度聚合模塊中，直至最后一個所述多尺度聚合模塊，生成最終的深層特征。

17、可選地，所述多尺度聚合模塊包括第一融合層、分組卷積層、n個卷積層、通道混洗層以及第二融合層，所述將所述淺層特征輸入第一個所述多尺度聚合模塊，得到第一深層特征以及多個學生特征圖，包括：

18、將所述淺層特征輸入所述第一融合層，得到第一融合特征；

19、將所述第一融合特征輸入分組卷積層，得到n個第一分組特征；

20、將n個所述第一分組特征依次輸入n個所述卷積層，并將前一個所述卷積層的輸出作為當前所述卷積層的部分輸入，得到感受野增大的n個第二分組特征；

21、將n個所述第二分組特征輸入所述通道混洗層，得到通道重新排列的n個第三分組特征；

22、將n個所述第三分組特征輸入所述第二融合層，得到第二融合特征；

23、將所述淺層特征與所述第二融合特征進行融合，得到第一深層特征；

24、將所述第一融合特征、n個所述第二分組特征、n個所述第三分組特征、所述第二融合特征以及所述第一深層特征記為學生特征圖。

25、可選地，所述根據(jù)所述低分辨率圖像、各所述教師特征圖、所述教師超分辨率圖像、各所述學生特征圖、所述學生超分辨率圖像、所述第一低頻子帶圖像、所述第一高頻子帶圖像、所述第二低頻子帶圖像以及所述第二高頻子帶圖像，計算出損失信息，包括：

26、基于教師監(jiān)督損失函數(shù)，根據(jù)所述教師超分辨率圖像以及所述學生超分辨率圖像，計算出所述教師超分重建網(wǎng)絡對所述學生超分重建網(wǎng)絡監(jiān)督的教師監(jiān)督損失信息；

27、基于數(shù)據(jù)監(jiān)督損失函數(shù)，根據(jù)所述學生超分辨率圖像以及所述低分辨率圖像，計算出所述低分辨率圖像對所述學生超分重建網(wǎng)絡監(jiān)督的數(shù)據(jù)監(jiān)督損失信息；

28、根據(jù)各所述教師特征圖以及各所述學生特征圖，計算出特征蒸餾損失信息；

29、基于小波預測損失函數(shù)，根據(jù)所述第一低頻子帶圖像、所述第一高頻子帶圖像、所述第二低頻子帶圖像以及所述第二高頻子帶圖像，計算出所述學生超分辨率圖像的小波預測損失信息；

30、基于總損失函數(shù)，根據(jù)所述教師監(jiān)督損失信息、所述數(shù)據(jù)監(jiān)督損失信息、特征蒸餾損失信息以及所述小波預測損失信息，計算出損失信息。

31、可選地，所述根據(jù)各所述教師特征圖以及各所述學生特征圖，計算出特征蒸餾損失信息，包括：

32、將各所述教師特征圖以及各所述學生特征圖分別轉(zhuǎn)換為向量并歸一化處理，得到對應的教師歸一化列向量以及學生歸一化列向量；

33、計算各所述教師歸一化列向量以及各所述學生歸一化列向量的特征矩陣，分別得到對應的教師特征矩陣以及學生特征矩陣；

34、基于特征蒸餾損失函數(shù)，根據(jù)各所述教師特征矩陣以及各所述學生特征矩陣，計算出特征蒸餾損失信息。

35、可選地，所述特征蒸餾損失函數(shù)為：

36、

37、其中，|m|表示各所述教師特征矩陣以及各所述學生特征矩陣元素的數(shù)量，l表示所述學生特征圖的數(shù)量或所述教師特征圖的數(shù)量，表示第l層所述學生特征圖中提取的學生特征矩陣，表示第l層所述教師特征圖中提取的學生特征矩陣，||·||1表示l1范數(shù)。

38、可選地，所述教師監(jiān)督損失函數(shù)為：

39、

40、其中，表示所述教師超分辨率圖像，表示所述學生超分辨率圖像；

41、所述數(shù)據(jù)監(jiān)督損失函數(shù)為：

42、

43、其中，表示所述學生超分辨率圖像，表示所述低分辨率圖像；

44、所述小波預測損失函數(shù)為：

45、

46、其中，分別表示所述第一低頻子帶圖像、所述第一高頻子帶圖像，f表示所述學生超分重建網(wǎng)絡，分別表示所述第二低頻子帶圖像、所述第二高頻子帶圖像，n表示每個批次中的訓練樣本數(shù)；

47、所述總損失函數(shù)為：

48、ltotal＝α1lts+α2lds+α3lkd+α4lwav

49、其中，α1，α2，α3，α4均表示損失權重，lkd表示特征蒸餾損失函數(shù)。

50、第二方面，本發(fā)明實施例提供了一種圖像超分重建方法，所述方法包括：

51、獲取待超分重建的低分辨率圖像；

52、將所述低分辨率圖像輸入上述任一項所述的方法訓練得到的超分重建模型，得到超分重建后的超分辨率圖像。

53、第三方面，本發(fā)明實施例提供了一種電子設備，包括存儲器、處理器及存儲在存儲器上并在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)上述任一項所述的方法。

54、本發(fā)明實施例提供的一種超分重建模型訓練方法、圖像超分重建方法及電子設備，通過小波和知識蒸餾的方式，充分利用了圖像空間域和頻域的信息以及它們之間的關系，發(fā)掘圖像小波分解后的多尺度特性，獲取了圖像深層次的潛在特征，并實現(xiàn)特征先驗的知識遷移學習，減少了網(wǎng)絡的存儲開銷，提高了網(wǎng)絡的計算效率，提升了圖像超分辨率重建模型的性能；通過多尺度聚合模塊的特征提取，能夠以更少的參數(shù)提取到更豐富的圖像多尺度特征，增加了網(wǎng)絡的感受野，進一步提高了圖像超分辨率重建的性能。

55、為使本技術的上述目的、特征和優(yōu)點能更明顯易懂，下文特舉較佳實施例，并配合所附附圖，作詳細說明如下。