本發(fā)明屬于計(jì)算機(jī)視覺，尤其是涉及一種基于先驗(yàn)引導(dǎo)的水下增強(qiáng)圖像質(zhì)量評(píng)價(jià)方法、設(shè)備和介質(zhì)。

背景技術(shù)：

1、通過水下機(jī)器人或水下自主航行器獲取的原始水下圖像存在嚴(yán)重的退化，包括但不限于色偏、模糊、背景光不均勻和低對(duì)比度等問題，這會(huì)導(dǎo)致圖像質(zhì)量下降，不僅影響人們的觀看體驗(yàn)，還嚴(yán)重影響著各類機(jī)器對(duì)圖像內(nèi)容的識(shí)別等任務(wù)。水下圖像增強(qiáng)方法被廣泛用于改善水下圖像的質(zhì)量問題，準(zhǔn)確的質(zhì)量評(píng)價(jià)對(duì)于引導(dǎo)水下圖像增強(qiáng)任務(wù)具有重要的意義，但由于缺少相應(yīng)的質(zhì)量評(píng)價(jià)指標(biāo)，往往難以準(zhǔn)確衡量增強(qiáng)結(jié)果的質(zhì)量。

2、現(xiàn)有的水下增強(qiáng)圖像質(zhì)量評(píng)價(jià)方法主要基于物理模型，公開的水下圖像質(zhì)量評(píng)價(jià)方法主要包括uciqe、uiqm、ccf和nuiq算法，其中，uciqe提取圖像的色度、飽和度和對(duì)比度這三方面的特征，通過回歸計(jì)算得到圖像的質(zhì)量分?jǐn)?shù)；uiqm基于色彩、清晰度和對(duì)比度這三個(gè)指標(biāo)，各指標(biāo)的權(quán)重系數(shù)由訓(xùn)練圖像數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)回歸得到，uiqm與uciqe類似，但更注重一幅圖像整體的色彩與清晰度；ccf為顏色指標(biāo)、對(duì)比度指標(biāo)、霧濃度指標(biāo)的加權(quán)融合，其中，由于光吸收，將顏色指標(biāo)用于評(píng)估水下圖像會(huì)導(dǎo)致色偏問題，由于光散射，將對(duì)比度指標(biāo)和霧濃度指標(biāo)用于評(píng)估水下圖像會(huì)導(dǎo)致模糊問題；nuiq是基于首個(gè)真實(shí)水下圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)集saud的一種無參水下圖像質(zhì)量度量方法，其分別從圖像的色度與亮度分量中提取質(zhì)量感知特征，之后通過訓(xùn)練svmrank模型進(jìn)行預(yù)測(cè)，該方法在評(píng)估圖像中存在色偏、亮度不理想、圖像模糊和細(xì)節(jié)丟失的問題。

3、綜上，現(xiàn)有的水下圖像質(zhì)量評(píng)價(jià)指標(biāo)都基于特征的手工提取與回歸，它們只注重水下圖像中原本存在的失真(色偏與模糊)，而忽略了增強(qiáng)后圖像可能存在的過增強(qiáng)、結(jié)構(gòu)損失等失真，這些失真由各種圖像增強(qiáng)算法引入，同樣嚴(yán)重影響著水下增強(qiáng)后圖像的質(zhì)量。因此，現(xiàn)有的水下圖像質(zhì)量評(píng)價(jià)指標(biāo)與人類視覺感知系統(tǒng)的相關(guān)性較差，不能直接反映圖像的主觀視覺質(zhì)量?jī)?yōu)劣。因此在水下圖像增強(qiáng)領(lǐng)域中，研究人員仍然會(huì)采取主觀質(zhì)量評(píng)價(jià)的方式來衡量一幅增強(qiáng)后圖像的視覺感知質(zhì)量。但該方法需要消耗大量的人力物力，在面對(duì)大數(shù)量的圖像庫(kù)時(shí)顯得尤為乏力。因此，亟需設(shè)計(jì)一種水下增強(qiáng)圖像質(zhì)量評(píng)價(jià)方法，進(jìn)一步提高水下增強(qiáng)圖像質(zhì)量評(píng)價(jià)的準(zhǔn)確性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于先驗(yàn)引導(dǎo)的水下增強(qiáng)圖像質(zhì)量評(píng)價(jià)方法、設(shè)備和介質(zhì)，進(jìn)一步提高水下增強(qiáng)圖像質(zhì)量評(píng)價(jià)的準(zhǔn)確性。

2、本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：

3、本發(fā)明提供一種基于先驗(yàn)引導(dǎo)的水下增強(qiáng)圖像質(zhì)量評(píng)價(jià)方法，包括以下步驟：

4、獲取未經(jīng)增強(qiáng)的水下圖像和增強(qiáng)后的水下圖像，輸入基于先驗(yàn)引導(dǎo)的水下增強(qiáng)圖像質(zhì)量評(píng)價(jià)網(wǎng)絡(luò)，獲得水下增強(qiáng)圖像的質(zhì)量得分；

5、其中，所述基于先驗(yàn)引導(dǎo)的水下增強(qiáng)圖像質(zhì)量評(píng)價(jià)網(wǎng)絡(luò)包括依次相連的先驗(yàn)估計(jì)模塊、先驗(yàn)引導(dǎo)模塊和質(zhì)量評(píng)估模塊，所述先驗(yàn)估計(jì)模塊用于根據(jù)未經(jīng)增強(qiáng)的水下圖像提取先驗(yàn)信息，所述先驗(yàn)信息包括二維深度圖和一維先驗(yàn)參數(shù)，所述一維先驗(yàn)參數(shù)包括吸收系數(shù)ac(λ)、散射系數(shù)bc(λ)、最大最小物體與水面的距離d(x)和背景光

6、所述先驗(yàn)引導(dǎo)模塊用于將基于所述先驗(yàn)信息提取的先驗(yàn)特征與基于增強(qiáng)水下圖像提取的卷積特征fe(x)進(jìn)行融合，獲得融合特征fe′(x)；

7、所述質(zhì)量評(píng)估模塊用于根據(jù)增強(qiáng)后的水下圖像和所述融合特征fe′(x)預(yù)測(cè)增強(qiáng)后的水下圖像的質(zhì)量得分。

8、進(jìn)一步地，所述先驗(yàn)估計(jì)模塊包括并列的第一子網(wǎng)絡(luò)和第二子網(wǎng)絡(luò)，所述第一子網(wǎng)絡(luò)為多個(gè)殘差密集塊組成的unet網(wǎng)絡(luò)，用于提取所述二維深度圖；所述第二子網(wǎng)絡(luò)為多個(gè)密集塊組成的densenet網(wǎng)絡(luò)，用于提取所述一維先驗(yàn)參數(shù)。

9、進(jìn)一步地，所述第一子網(wǎng)絡(luò)的具體結(jié)構(gòu)如下：所述第一子網(wǎng)絡(luò)包括結(jié)構(gòu)對(duì)稱的編碼器和解碼器，所述編碼器包括多個(gè)級(jí)聯(lián)的殘差密集塊，所述編碼器中的各個(gè)殘差密集塊與所述解碼器中同級(jí)的殘差密集塊跳躍連接。

10、進(jìn)一步地，所述殘差密集塊包括依次相連的多個(gè)卷積單元和一個(gè)融合單元，每個(gè)卷積單元包括卷積層、歸一化層和relu激活函數(shù)，用于進(jìn)行特征提取，所述融合單元包括級(jí)聯(lián)器和卷積層，用于進(jìn)行特征融合，各卷積單元間引入密集連接，所述融合單元后引入殘差連接。

11、進(jìn)一步地，所述第二子網(wǎng)絡(luò)的具體結(jié)構(gòu)如下：所述第二子網(wǎng)絡(luò)包括多個(gè)依次相連的密集塊，通過不同層級(jí)的密集塊分別輸出不同的一維先驗(yàn)參數(shù)。

12、進(jìn)一步地，所述先驗(yàn)特征包括二維深度圖的特征fd(x)和所有一維先驗(yàn)參數(shù)的特征總和fp(x)，所述先驗(yàn)引導(dǎo)模塊中，首先，將fp(x)與卷積特征fe(x)相級(jí)聯(lián)，獲得fe,p(x)；然后，將fd(x)、fp(x)和fe(x)共同輸入全局最大池化層進(jìn)行特征降維，通過全連接層網(wǎng)絡(luò)計(jì)算通道系數(shù)λe,p(x)；最后，基于λe,p(x)和fe,p(x)輸出融合特征fe′(x)，所述融合特征fe′(x)的表達(dá)式具體如下：fe′(x)＝fe,p(x)*λe,p(x)+fe,p(x)。

13、進(jìn)一步地，所述質(zhì)量評(píng)估模塊包括依次連接的多個(gè)密集塊和一個(gè)全連接層，在最后兩個(gè)密集塊之后分別引入所述先驗(yàn)引導(dǎo)模塊提取的融合特征fe′(x)。

14、進(jìn)一步地，所述基于先驗(yàn)引導(dǎo)的水下增強(qiáng)圖像質(zhì)量評(píng)價(jià)網(wǎng)絡(luò)通過損失函數(shù)進(jìn)行訓(xùn)練，所述損失函數(shù)的表達(dá)式具體如下：

15、l1＝||qout-qlabel||

16、其中，l1為損失函數(shù)，qout為網(wǎng)絡(luò)預(yù)測(cè)的增強(qiáng)后的水下圖像的質(zhì)量得分，qlabel為該圖像的主觀質(zhì)量標(biāo)簽mos。

17、本發(fā)明還提供一種電子設(shè)備，包括存儲(chǔ)器、處理器，以及存儲(chǔ)于所述存儲(chǔ)器中的程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述方法。

18、本發(fā)明還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述方法。

19、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

20、1、本發(fā)明提出了一種基于先驗(yàn)引導(dǎo)的水下增強(qiáng)圖像質(zhì)量評(píng)價(jià)方法，通過基于先驗(yàn)引導(dǎo)的水下增強(qiáng)圖像質(zhì)量評(píng)價(jià)網(wǎng)絡(luò)實(shí)現(xiàn)，該網(wǎng)絡(luò)包括依次相連的先驗(yàn)估計(jì)模塊、先驗(yàn)引導(dǎo)模塊和質(zhì)量評(píng)估模塊，其中，先驗(yàn)估計(jì)模塊用于根據(jù)未經(jīng)增強(qiáng)的水下圖像提取先驗(yàn)信息，包括二維深度圖和一維先驗(yàn)參數(shù)，一維先驗(yàn)參數(shù)包括吸收系數(shù)ac(λ)、散射系數(shù)bc(λ)、最大最小物體與水面的距離d(x)和背景光bc∞，這些先驗(yàn)信息共同決定了一張水下圖像中的色偏與模糊的程度；先驗(yàn)引導(dǎo)模塊用于將基于先驗(yàn)信息提取的先驗(yàn)特征與基于增強(qiáng)水下圖像提取的卷積特征進(jìn)行融合，獲得融合特征；質(zhì)量評(píng)估模塊用于根據(jù)增強(qiáng)后的水下圖像和融合特征預(yù)測(cè)增強(qiáng)后的水下圖像的質(zhì)量得分，通過融合特征可以引入原始圖像的特征，可以使質(zhì)量評(píng)價(jià)網(wǎng)絡(luò)更加關(guān)注圖像的內(nèi)容和失真，進(jìn)一步提高水下增強(qiáng)圖像質(zhì)量評(píng)價(jià)的準(zhǔn)確性。

21、2、本發(fā)明的第一子網(wǎng)絡(luò)基于u-net結(jié)構(gòu)構(gòu)建，計(jì)算量相對(duì)較小，且具有較強(qiáng)的泛化能力，可以提取并結(jié)合不同感受野的信息，更好地融合全局信息與局部信息，能夠更準(zhǔn)確地估計(jì)二維深度圖；第一子網(wǎng)絡(luò)的殘差密集塊中同時(shí)引入殘差連接和密集連接，其中殘差連接可以解決網(wǎng)絡(luò)深度增加帶來的退化問題，密集連接可以實(shí)現(xiàn)特征重用，提高訓(xùn)練效率；第二子網(wǎng)絡(luò)通過不同層級(jí)的密集塊分別輸出不同的一維先驗(yàn)參數(shù)，可以進(jìn)一步提高一維先驗(yàn)參數(shù)對(duì)后續(xù)質(zhì)量評(píng)價(jià)的引導(dǎo)作用。

22、3、本發(fā)明的先驗(yàn)引導(dǎo)模塊通過二維深度圖特征和一維先驗(yàn)參數(shù)特征的交替引導(dǎo)，將水下成像先驗(yàn)引入質(zhì)量評(píng)估模塊，這種獨(dú)特的組合模仿了原始水下圖像的物理成像過程中先驗(yàn)參數(shù)結(jié)合的方式，更有利于網(wǎng)絡(luò)模仿主觀感知規(guī)則進(jìn)行質(zhì)量評(píng)估，從而提高質(zhì)量評(píng)價(jià)結(jié)果的準(zhǔn)確性。