本公開涉及圖像處理,具體而言,涉及一種圖像增強方法、圖像增強裝置、電子設(shè)備及計算機程序產(chǎn)品。
背景技術(shù):
1、隨著深度學習的普及和大模型的發(fā)展,深度學習模型所需的計算資源成本越來越高,在實際應(yīng)用場景中,如果要實現(xiàn)更好的圖像增強效果,則對模型的復雜度有較高的要求。
2、相比之下,輕量模型能夠帶來更大收益性價比,也受到愈來愈多的關(guān)注。但輕量模型的復雜度受約束,在圖像處理過程中,難以達到平滑和銳度的平衡,無法在提升清晰度的同時,避免畫面銳化過度的問題。
3、需要說明的是,在上述背景技術(shù)部分公開的信息僅用于加強對本公開的背景的理解,因此可以包括不構(gòu)成對本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。
技術(shù)實現(xiàn)思路
1、本公開的目的在于提供一種圖像增強方法、圖像增強裝置、電子設(shè)備及計算機程序產(chǎn)品,進而至少在一定程度上能夠在提升清晰度的同時,避免畫面銳化過度的問題。
2、根據(jù)本公開的第一個方面,提供一種圖像增強方法,包括:
3、獲取原始圖像對應(yīng)的第一質(zhì)量增強圖像和第二質(zhì)量增強圖像,所述第一質(zhì)量增強圖像的圖像質(zhì)量高于所述第二質(zhì)量增強圖像;
4、根據(jù)所述第一質(zhì)量增強圖像得到所述原始圖像對應(yīng)的主邊緣引導圖;
5、根據(jù)所述主邊緣引導圖對所述第一質(zhì)量增強圖像和所述第二質(zhì)量增強圖像進行融合,得到所述原始圖像的目標增強圖像。
6、在本公開的一種示例性實施例中,所述根據(jù)所述主邊緣引導圖對所述第一質(zhì)量增強圖像和所述第二質(zhì)量增強圖像進行融合,得到所述原始圖像的目標增強圖像,包括:
7、對所述主邊緣引導圖進行取反操作,得到所述主邊緣引導圖對應(yīng)的反向主邊緣引導圖;
8、根據(jù)所述第一質(zhì)量增強圖像和所述反向主邊緣引導圖得到第一像素圖,根據(jù)所述第二質(zhì)量增強圖像和所述主邊緣引導圖得到第二像素圖;
9、將所述第一像素圖和所述第二像素圖進行融合,得到所述原始圖像的目標增強圖像。
10、在本公開的一種示例性實施例中,所述第一質(zhì)量增強圖像的銳化程度高于所述第二質(zhì)量增強圖像。
11、在本公開的一種示例性實施例中,所述獲取原始圖像對應(yīng)的第一質(zhì)量增強圖像和第二質(zhì)量增強圖像,包括:
12、將所述原始圖像輸入第一質(zhì)量增強模型,得到所述原始圖像對應(yīng)的第一質(zhì)量增強圖像;
13、將所述原始圖像輸入第二質(zhì)量增強模型,得到所述原始圖像對應(yīng)的第二質(zhì)量增強圖像。
14、在本公開的一種示例性實施例中,所述第一質(zhì)量增強模型包括通過強退化程度數(shù)據(jù)訓練得到的增強模型,或者通過平均絕對誤差損失訓練得到的增強模型;所述第二質(zhì)量增強模型包括通過弱退化程度數(shù)據(jù)訓練得到的增強模型,或者通過平均平方誤差損失訓練得到的增強模型。
15、在本公開的一種示例性實施例中,所述根據(jù)所述第一質(zhì)量增強圖像得到所述原始圖像對應(yīng)的主邊緣引導圖,包括:
16、對所述第一質(zhì)量增強圖像高斯模糊處理,得到所述第一質(zhì)量增強圖像對應(yīng)的高斯模糊圖像;
17、對所述高斯模糊圖像進行濾波處理,得到所述第一質(zhì)量增強圖像對應(yīng)的濾波圖像;
18、對所述濾波圖像進行歸一化處理,得到所述第一質(zhì)量增強圖像對應(yīng)的歸一化圖像;
19、對所述歸一化圖像中的像素點進行閾值截斷處理,得到所述原始圖像對應(yīng)的主邊緣引導圖。
20、在本公開的一種示例性實施例中,所述對所述高斯模糊圖像進行濾波處理,得到所述第一質(zhì)量增強圖像對應(yīng)的濾波圖像,包括:
21、通過水平方向的邊緣濾波器對所述高斯模糊圖像進行濾波處理,得到水平濾波圖像;
22、通過豎直方向的邊緣濾波器對所述高斯模糊圖像進行濾波處理,得到豎直濾波圖像;
23、對所述水平濾波圖像和所述豎直濾波圖像進行融合,得到所述第一質(zhì)量增強圖像對應(yīng)的濾波圖像。
24、在本公開的一種示例性實施例中,所述對所述歸一化圖像中的像素點進行閾值截斷處理,得到所述原始圖像對應(yīng)的主邊緣引導圖,包括:
25、通過預設(shè)的像素點閾值對所述歸一化圖像中的像素點進行閾值截斷處理,將像素點數(shù)值大于或等于所述像素點閾值的像素點保留,將像素點數(shù)值小于所述像素點閾值的像素點過濾,得到所述原始圖像對應(yīng)的主邊緣引導圖。
26、根據(jù)本公開的第二方面,提供一種圖像增強裝置,包括:
27、圖像獲取模塊,被配置為執(zhí)行獲取原始圖像對應(yīng)的第一質(zhì)量增強圖像和第二質(zhì)量增強圖像,所述第一質(zhì)量增強圖像的圖像質(zhì)量高于所述第二質(zhì)量增強圖像;
28、引導圖生成模塊,被配置為執(zhí)行根據(jù)所述第一質(zhì)量增強圖像得到所述原始圖像對應(yīng)的主邊緣引導圖;
29、圖像融合模塊,被配置為執(zhí)行根據(jù)所述主邊緣引導圖對所述第一質(zhì)量增強圖像和所述第二質(zhì)量增強圖像進行融合,得到所述原始圖像的目標增強圖像。
30、在本公開的一種示例性實施例中,所述圖像融合模塊包括:
31、主邊緣引導圖取反單元,被配置為執(zhí)行對所述主邊緣引導圖進行取反操作,得到所述主邊緣引導圖對應(yīng)的反向主邊緣引導圖;
32、像素圖獲得單元,被配置為執(zhí)行根據(jù)所述第一質(zhì)量增強圖像和所述反向主邊緣引導圖得到第一像素圖,根據(jù)所述第二質(zhì)量增強圖像和所述主邊緣引導圖得到第二像素圖;
33、像素圖融合單元,被配置為執(zhí)行將所述第一像素圖和所述第二像素圖進行融合,得到所述原始圖像的目標增強圖像。
34、在本公開的一種示例性實施例中,所述圖像獲取模塊包括:
35、第一質(zhì)量增強圖像獲取單元,被配置為執(zhí)行將所述原始圖像輸入第一質(zhì)量增強模型,得到所述原始圖像對應(yīng)的第一質(zhì)量增強圖像;
36、第二質(zhì)量增強圖像獲取單元,被配置為執(zhí)行將所述原始圖像輸入第二質(zhì)量增強模型,得到所述原始圖像對應(yīng)的第二質(zhì)量增強圖像。
37、在本公開的一種示例性實施例中,所述引導圖生成模塊包括:
38、高斯模糊圖像獲得單元,被配置為執(zhí)行對所述第一質(zhì)量增強圖像高斯模糊處理,得到所述第一質(zhì)量增強圖像對應(yīng)的高斯模糊圖像;
39、濾波圖像獲得單元,被配置為執(zhí)行對所述高斯模糊圖像進行濾波處理,得到所述第一質(zhì)量增強圖像對應(yīng)的濾波圖像;
40、歸一化圖像獲得單元,被配置為執(zhí)行對所述濾波圖像進行歸一化處理,得到所述第一質(zhì)量增強圖像對應(yīng)的歸一化圖像;
41、主邊緣引導圖獲得單元,被配置為執(zhí)行對所述歸一化圖像中的像素點進行閾值截斷處理,得到所述原始圖像對應(yīng)的主邊緣引導圖。
42、在本公開的一種示例性實施例中,所述濾波圖像獲得單元包括:
43、水平濾波圖像獲得單元,被配置為執(zhí)行通過水平方向的邊緣濾波器對所述高斯模糊圖像進行濾波處理,得到水平濾波圖像;
44、豎直濾波圖像獲得單元,被配置為執(zhí)行通過豎直方向的邊緣濾波器對所述高斯模糊圖像進行濾波處理,得到豎直濾波圖像;
45、濾波圖像融合單元,被配置為執(zhí)行對所述水平濾波圖像和所述豎直濾波圖像進行融合,得到所述第一質(zhì)量增強圖像對應(yīng)的濾波圖像。
46、在本公開的一種示例性實施例中,所述主邊緣引導圖獲得單元包括:
47、閾值截斷處理單元,被配置為執(zhí)行通過預設(shè)的像素點閾值對所述歸一化圖像中的像素點進行閾值截斷處理,將像素點數(shù)值大于或等于所述像素點閾值的像素點保留,將像素點數(shù)值小于所述像素點閾值的像素點過濾,得到所述原始圖像對應(yīng)的主邊緣引導圖。
48、根據(jù)本公開的第三方面,提供一種電子設(shè)備,包括:處理器;用于存儲所述處理器可執(zhí)行指令的存儲器;其中,所述處理器被配置為執(zhí)行所述指令,以實現(xiàn)上述任意一項所述的圖像增強方法。
49、根據(jù)本公開的第四方面,提供一種計算機程序產(chǎn)品,包括計算機程序,所述計算機程序被處理器執(zhí)行時實現(xiàn)上述任意一項所述的圖像增強方法。
50、本公開示例性實施例可以具有以下有益效果:
51、本公開示例實施方式的圖像增強方法中,通過將處理效果過強的第一質(zhì)量增強圖像以及處理效果較弱的第二質(zhì)量增強圖像進行融合,一方面,可以針對任意輕量模型的輸出效果進行過銳矯正,在提升清晰度的同時,避免畫面銳化過度的問題,保持畫面細節(jié)的效果,兼顧整體畫質(zhì),在輕量模型的背景下,達到主觀優(yōu)異的畫質(zhì)效果;另一方面,無需訓練復雜的深度學習模型,在輕量深度學習模型表達能力有限的情況下,兼顧計算成本和主觀畫質(zhì),快速優(yōu)化畫面過銳問題。
52、應(yīng)當理解的是,以上的一般描述和后文的細節(jié)描述僅是示例性和解釋性的,并不能限制本公開。