本技術(shù)涉及水下圖像增強(qiáng)，特別涉及一種基于特征增強(qiáng)的風(fēng)格遷移水下圖像增強(qiáng)方法、裝置及設(shè)備。

背景技術(shù)：

1、水下圖像是人類獲取海洋信息的重要途經(jīng)之一。然而，由于光在水中傳播時會受到水體的吸收和散射效應(yīng)等影響，水下圖像經(jīng)常出現(xiàn)低對比度、模糊、色彩失真等退化現(xiàn)象，嚴(yán)重影響了后續(xù)處理的精度和有效性。

2、在水下圖像增強(qiáng)領(lǐng)域，早期的工作可以分為兩個分支，基于非物理模型和基于物理模型?；诜俏锢砟Ｐ偷姆椒ㄖ荚谥苯犹岣呦袼貜?qiáng)度，獲得更好的圖像質(zhì)量，例如顏色校正、對比度拉伸、去霧等；基于物理模型的方法將任務(wù)視為反問題，通過自然圖像先驗解決不適定問題，如水下暗通道先驗(udcp)、廣義暗通道先驗(gdcp)等。近年來，基于深度學(xué)習(xí)的方法在計算機(jī)視覺和圖像處理方面取得了顯著的進(jìn)展。與傳統(tǒng)方法相比，基于深度學(xué)習(xí)的方法傾向于設(shè)計端到端的模塊或者結(jié)合物理模型先驗的網(wǎng)絡(luò)集成來解決問題。然而，基于學(xué)習(xí)的方法通常需要退化和高質(zhì)量的對應(yīng)圖像對來進(jìn)行監(jiān)督學(xué)習(xí)，在現(xiàn)實世界中，收集大量無失真的真實水下圖像是不切實際的，很多基于合成水下圖像的研究忽略了合成圖像和真實圖像之間存在領(lǐng)域差距。

3、在基于深度學(xué)習(xí)的方法中，風(fēng)格遷移的方法在計算機(jī)視覺領(lǐng)域也取得了不錯的效果，廣泛應(yīng)用于風(fēng)格轉(zhuǎn)換、圖像生成等方面。在數(shù)據(jù)增強(qiáng)領(lǐng)域，zhou等人提出基于跨域風(fēng)格增強(qiáng)的醫(yī)學(xué)影像跨模態(tài)泛化，有效解決了模型泛化能力差的問題。由于缺乏帶注釋的水下數(shù)據(jù)集，mohamed?e.fathy等人利用風(fēng)格遷移技術(shù)，利用現(xiàn)有的空中數(shù)據(jù)集來創(chuàng)建視覺上可信的水下場景。在水下圖像增強(qiáng)領(lǐng)域，利用風(fēng)格遷移中內(nèi)容風(fēng)格分離的理論知識，chen等人提出了一種內(nèi)容風(fēng)格分離的領(lǐng)域自適應(yīng)水下圖像增強(qiáng)框架，以減少合成圖像域與真實水下圖像域之間的域差異。

4、現(xiàn)有技術(shù)的缺陷與不足：

5、(1)傳統(tǒng)方法在處理不同的水下圖像背景方面存在不足，泛化能力有限；

6、(2)基于學(xué)習(xí)的方法通常需要退化和高質(zhì)量的對應(yīng)圖像對來進(jìn)行監(jiān)督學(xué)習(xí)而實際難以獲取高質(zhì)量的數(shù)據(jù)集；

7、(3)現(xiàn)有的基于合成水下圖像的方法忽略了領(lǐng)域差異。

8、為解決這些困難，我們通過深度學(xué)習(xí)的方法，從風(fēng)格遷移的角度處理水下圖像增強(qiáng)問題，提出特征匹配風(fēng)格選擇模塊以解決高質(zhì)量數(shù)據(jù)集難以獲取的挑戰(zhàn)；此外，風(fēng)格圖像的選擇是在水下域中進(jìn)行選擇的，彌合了領(lǐng)域的差異。

技術(shù)實現(xiàn)思路

1、本技術(shù)的目的是提供一種基于特征增強(qiáng)的風(fēng)格遷移水下圖像增強(qiáng)方法、裝置及設(shè)備，以解決上述現(xiàn)有技術(shù)存在的問題。

2、為實現(xiàn)上述目的，本技術(shù)采用的技術(shù)方案為：

3、第一方面，本技術(shù)提供了一種基于特征增強(qiáng)的風(fēng)格遷移水下圖像增強(qiáng)方法，所述方法應(yīng)用于計算機(jī)設(shè)備當(dāng)中，所述方法包括：

4、獲取待增強(qiáng)的退化水下圖像；

5、構(gòu)建水下圖像增強(qiáng)模型，所述水下圖像增強(qiáng)模型包括紅色通道先驗?zāi)K、特征匹配風(fēng)格選擇模塊、以及風(fēng)格遷移模塊；

6、利用所述紅色通道先驗?zāi)K對所述待增強(qiáng)的退化水下圖像進(jìn)行先驗增強(qiáng)預(yù)處理，分離出紅色、綠色、藍(lán)色三通道，對所述紅色、綠色、藍(lán)色三通道進(jìn)行通道補(bǔ)償，輸出初步增強(qiáng)圖像；

7、利用所述特征匹配風(fēng)格選擇模塊確定目標(biāo)風(fēng)格圖像；

8、將所述目標(biāo)風(fēng)格圖像以及所述初步增強(qiáng)圖像輸入所述風(fēng)格遷移模塊，輸出最終增強(qiáng)圖像。

9、在一種可能的實現(xiàn)方式中，所述利用所述紅色通道先驗?zāi)K對所述待增強(qiáng)的退化水下圖像進(jìn)行先驗增強(qiáng)預(yù)處理，分離出紅色、綠色、藍(lán)色三通道，對所述紅色、綠色、藍(lán)色三通道進(jìn)行通道補(bǔ)償，輸出初步增強(qiáng)圖像，包括：

10、利用所述紅色通道先驗?zāi)K對所述待增強(qiáng)的退化水下圖像進(jìn)行先驗增強(qiáng)預(yù)處理，分離出紅色、綠色、藍(lán)色三通道；

11、對所述綠色通道和所述藍(lán)色通道進(jìn)行通道補(bǔ)償，使所述藍(lán)色通道與所述綠色通道之間的像素平均值一致，輸出校正后的藍(lán)色通道和綠色通道；

12、將所述校正后的藍(lán)色通道和綠色通道作為增量對所述紅色通道進(jìn)行迭代調(diào)整，輸出初步增強(qiáng)圖像。

13、在一種可能的實現(xiàn)方式中，所述對所述綠色通道和所述藍(lán)色通道進(jìn)行通道補(bǔ)償，使所述藍(lán)色通道與所述綠色通道之間的像素平均值一致，輸出校正后的藍(lán)色通道和綠色通道，包括：

14、基于所述藍(lán)色通道的像素平均值以及所述綠色通道的像素平均值的大小，確定第一補(bǔ)償系數(shù)；

15、基于所述藍(lán)色通道的像素平均值與所述綠色通道的像素平均值的差值、以及所述第一補(bǔ)償系數(shù)，對所述藍(lán)色通道和所述綠色通道中像素平均值小的一者進(jìn)行補(bǔ)償，輸出初次校正后的藍(lán)色通道和綠色通道；

16、基于所述初次校正后的藍(lán)色通道和綠色通道的像素平均值，輸出二次校正后的藍(lán)色通道和綠色通道。

17、在一種可能的實現(xiàn)方式中，所述將所述校正后的藍(lán)色通道和綠色通道作為增量對所述紅色通道進(jìn)行迭代調(diào)整，輸出初步增強(qiáng)圖像，包括：

18、基于所述二次校正后的藍(lán)色通道和綠色通道中像素平均值小的一者、以及當(dāng)前所述紅色通道的像素平均值，確定第二補(bǔ)償系數(shù)；

19、基于所述二次校正后的藍(lán)色通道和綠色通道中像素值小的一者、以及所述第二補(bǔ)償系數(shù)，確定補(bǔ)償后所述紅色通道的像素值，輸出初步增強(qiáng)圖像。

20、在一種可能的實現(xiàn)方式中，所述基于所述二次校正后的藍(lán)色通道和綠色通道中像素平均值小的一者與當(dāng)前所述紅色通道的像素平均值一致。

21、在一種可能的實現(xiàn)方式中，所述利用所述特征匹配風(fēng)格選擇模塊確定目標(biāo)風(fēng)格圖像，包括：

22、將所述初步增強(qiáng)圖像以及風(fēng)格數(shù)據(jù)集輸入所述特征匹配風(fēng)格選擇模塊，所述特征匹配風(fēng)格選擇模塊基于預(yù)訓(xùn)練的感知相似度衡量網(wǎng)絡(luò)確定目標(biāo)風(fēng)格圖像；其中，所述風(fēng)格數(shù)據(jù)集為uieb數(shù)據(jù)集。

23、在一種可能的實現(xiàn)方式中，所述風(fēng)格遷移模塊采用revnet編碼器-解碼器結(jié)構(gòu)。

24、第二方面，本技術(shù)提供了一種基于特征增強(qiáng)的風(fēng)格遷移水下圖像增強(qiáng)裝置，包括：

25、獲取模塊，用于獲取待增強(qiáng)的退化水下圖像；

26、構(gòu)建模塊，用于構(gòu)建水下圖像增強(qiáng)模型，所述水下圖像增強(qiáng)模型包括紅色通道先驗?zāi)K、特征匹配風(fēng)格選擇模塊、以及風(fēng)格遷移模塊；

27、輸出模塊，用于利用所述紅色通道先驗?zāi)K對所述待增強(qiáng)的退化水下圖像進(jìn)行先驗增強(qiáng)預(yù)處理，分離出紅色、綠色、藍(lán)色三通道，對所述紅色、綠色、藍(lán)色三通道進(jìn)行通道補(bǔ)償，輸出初步增強(qiáng)圖像；

28、確定模塊，用于利用所述特征匹配風(fēng)格選擇模塊確定目標(biāo)風(fēng)格圖像；

29、所述輸出模塊，還用于將所述目標(biāo)風(fēng)格圖像以及所述初步增強(qiáng)圖像輸入所述風(fēng)格遷移模塊，輸出最終增強(qiáng)圖像。

30、第三方面，本技術(shù)提供了一種計算機(jī)設(shè)備，計算機(jī)設(shè)備包括處理器和存儲器，存儲器中存儲有至少一條指令、至少一段程序、代碼集或指令集，處理器可加載并執(zhí)行至少一條指令、至少一段程序、代碼集或指令集，以實現(xiàn)如上提供的基于特征增強(qiáng)的風(fēng)格遷移水下圖像增強(qiáng)方法。

31、第四方面，本技術(shù)提供了一種計算機(jī)可讀存儲介質(zhì)，可讀存儲介質(zhì)中存儲有至少一條指令、至少一段程序、代碼集或指令集，處理器可加載并執(zhí)行至少一條指令、至少一段程序、代碼集或指令集，以實現(xiàn)如上提供的基于特征增強(qiáng)的風(fēng)格遷移水下圖像增強(qiáng)方法。

32、第五方面，本技術(shù)提供了一種計算機(jī)程序產(chǎn)品或計算機(jī)程序，該計算機(jī)程序產(chǎn)品或計算機(jī)程序包括計算機(jī)程序指令，該計算機(jī)程序指令存儲于計算機(jī)可讀存儲介質(zhì)中。處理器從計算機(jī)可讀存儲介質(zhì)讀取該計算機(jī)指令，并執(zhí)行該計算機(jī)指令，使得該計算機(jī)設(shè)備執(zhí)行如上提供的基于特征增強(qiáng)的風(fēng)格遷移水下圖像增強(qiáng)方法。

33、本技術(shù)提供的技術(shù)方案帶來的有益效果至少包括：

34、本技術(shù)通過獲取待增強(qiáng)的退化水下圖像；構(gòu)建水下圖像增強(qiáng)模型，水下圖像增強(qiáng)模型包括紅色通道先驗?zāi)K、特征匹配風(fēng)格選擇模塊、以及風(fēng)格遷移模塊；利用紅色通道先驗?zāi)K對待增強(qiáng)的退化水下圖像進(jìn)行先驗增強(qiáng)預(yù)處理，分離出紅色、綠色、藍(lán)色三通道，對紅色、綠色、藍(lán)色三通道進(jìn)行通道補(bǔ)償，輸出初步增強(qiáng)圖像；利用特征匹配風(fēng)格選擇模塊確定目標(biāo)風(fēng)格圖像；將目標(biāo)風(fēng)格圖像以及初步增強(qiáng)圖像輸入風(fēng)格遷移模塊，輸出最終增強(qiáng)圖像。在此情況下，能夠?qū)ν嘶乃聢D像進(jìn)行增強(qiáng)，在修正顏色和增強(qiáng)清晰度方面都表現(xiàn)出了不錯的效果，在增強(qiáng)亮度的同時也細(xì)化了物體邊緣，達(dá)到更加真實的效果。