本發(fā)明屬于圖像數(shù)據(jù)處理的，更具體地，涉及一種基于物理模型的單圖像雨滴去除方法、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和程序產(chǎn)品。

背景技術(shù)：

1、附著在相機(jī)鏡頭上的雨滴會(huì)引起視覺(jué)圖像的嚴(yán)重退化。與非雨滴區(qū)域不同，雨滴區(qū)域是由來(lái)自更廣闊環(huán)境的反射光線形成的。由于雨滴區(qū)域的模糊，圖像的數(shù)據(jù)很多被遮擋，這不利于以圖像為原始數(shù)據(jù)的視覺(jué)系統(tǒng)。舉例，目標(biāo)檢測(cè)、特征匹配、尺寸測(cè)量、定位與建圖等基于視覺(jué)傳感器的任務(wù)由于附著雨滴的存在都不能可靠地運(yùn)行。因此，研究消除圖像上的附著雨滴的算法是至關(guān)重要的。

2、早期的研究通過(guò)傳統(tǒng)方式獲取附著雨滴的統(tǒng)計(jì)特性，并以此為依據(jù)進(jìn)行雨滴檢測(cè)和去除。kshitiz?garg等人首次全面分析了雨水對(duì)成像系統(tǒng)的視覺(jué)影響并開(kāi)發(fā)了一個(gè)捕捉雨水動(dòng)態(tài)的相關(guān)模型和一個(gè)基于物理的運(yùn)動(dòng)模糊模型?；谶@些模型，他們提出了從視頻中檢測(cè)和去除雨水的有效算法?；谟甑蔚木植繒r(shí)空導(dǎo)數(shù)，shaodi?you等人提出了一種在視頻中自動(dòng)檢測(cè)和去除附著雨滴的方法。對(duì)于由雨滴造成的局部圖像退化，他們使用時(shí)間強(qiáng)度導(dǎo)數(shù)求解檢測(cè)到的部分遮擋區(qū)域的混合函數(shù)，并使用視頻完成技術(shù)恢復(fù)完全遮擋區(qū)域。david?eigen等人設(shè)計(jì)了具有2層隱藏層的神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)退化圖像塊和清潔圖像之間的映射，隱式地捕獲自然圖像中污垢和水滴的特征外觀。

3、近些年來(lái)，越來(lái)越多的研究致力于通過(guò)深度學(xué)習(xí)的方法來(lái)消除圖像的雨滴。ruiqian等人使用對(duì)抗性訓(xùn)練應(yīng)用注意力生成網(wǎng)絡(luò)，將視覺(jué)注意力注入生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)。通過(guò)這種操作，生成網(wǎng)絡(luò)將更加關(guān)注雨滴區(qū)域和周圍結(jié)構(gòu)，而識(shí)別網(wǎng)絡(luò)將能夠評(píng)估恢復(fù)區(qū)域的局部一致性。yuhui?quan等人開(kāi)發(fā)了一種基于卷積神經(jīng)網(wǎng)絡(luò)(cnn)的雙重注意機(jī)制來(lái)去除圖像上的雨滴。該機(jī)制同時(shí)指導(dǎo)cnn使用形狀驅(qū)動(dòng)的注意和通道重新校準(zhǔn)。ruijiequan等人使用神經(jīng)結(jié)構(gòu)搜索(nas)構(gòu)建退化圖像恢復(fù)網(wǎng)絡(luò)?？傮w方式是以互補(bǔ)的方式去除雨滴和雨條紋，即去除雨滴后再去除雨帶，反之亦然。

4、雖然這些研究在一定程度上去除了雨滴，但是圖像上附著雨滴的去除問(wèn)題仍然是一個(gè)挑戰(zhàn)。目前的圖像雨滴去除成果，無(wú)法很好地將圖像模糊區(qū)域進(jìn)行恢復(fù)，仍會(huì)留下退化殘留區(qū)域，不能融合物理模型和深度學(xué)習(xí)進(jìn)行深度優(yōu)化，無(wú)法適應(yīng)不同尺度的雨滴區(qū)域，且在真實(shí)場(chǎng)景和合成場(chǎng)景中泛化能力較差。

5、中國(guó)專利文獻(xiàn)cn112767280b公開(kāi)一種基于循環(huán)迭代機(jī)制的單幅圖像雨滴去除方法，包括：對(duì)原始附著雨滴退化圖像和干凈圖像的訓(xùn)練圖像對(duì)進(jìn)行預(yù)處理，得到原始附著雨滴退化圖像和干凈圖像的訓(xùn)練圖像對(duì)組成的圖像塊數(shù)據(jù)集；利用不斷迭代去雨的動(dòng)機(jī)，設(shè)計(jì)一個(gè)單幅圖像雨滴去除的卷積神經(jīng)網(wǎng)絡(luò)；設(shè)計(jì)一個(gè)用于優(yōu)化網(wǎng)絡(luò)的目標(biāo)損失函數(shù)loss，以圖像塊數(shù)據(jù)集為訓(xùn)練數(shù)據(jù)，根據(jù)所設(shè)計(jì)的目標(biāo)損失函數(shù)loss，利用反向傳播方法計(jì)算所設(shè)計(jì)的圖像雨滴去除卷積神經(jīng)網(wǎng)絡(luò)中各參數(shù)的梯度，并利用隨機(jī)梯度下降方法更新參數(shù)，最終學(xué)習(xí)到模型的最優(yōu)參數(shù)；將待測(cè)圖像輸入，利用訓(xùn)練好的模型預(yù)測(cè)生成雨滴去除之后的干凈圖像。

6、中國(guó)專利文獻(xiàn)cn113658074a公開(kāi)一種基于lab顏色空間多尺度融合網(wǎng)絡(luò)的單幅圖像雨滴去除方法，包括以下步驟；步驟a：根據(jù)同場(chǎng)景下的原始附著雨滴退化狀態(tài)和干凈狀態(tài)生成訓(xùn)練圖像對(duì)，針對(duì)訓(xùn)練圖像對(duì)進(jìn)行顏色空間變換，得到對(duì)應(yīng)lab顏色空間的訓(xùn)練圖像對(duì)；步驟b：對(duì)訓(xùn)練圖像對(duì)進(jìn)行預(yù)處理，得到lab顏色空間的圖像塊數(shù)據(jù)集；步驟c：基于圖像對(duì)在lab顏色空間上的特性，利用多尺度學(xué)習(xí)策略設(shè)計(jì)單幅圖像雨滴去除的卷積神經(jīng)網(wǎng)絡(luò)；步驟d：設(shè)計(jì)目標(biāo)損失函數(shù)loss，以圖像塊數(shù)據(jù)集為訓(xùn)練數(shù)據(jù)，利用反向傳播方法計(jì)算卷積神經(jīng)網(wǎng)絡(luò)中各參數(shù)的梯度，利用隨機(jī)梯度下降方法更新參數(shù)；步驟e：以圖像雨滴去除網(wǎng)絡(luò)生成雨滴去除之后的圖像，恢復(fù)至rgb顏色空間。

7、上述專利忽略了圖像附著水滴退化的內(nèi)在機(jī)理，沒(méi)有將圖像附著水滴退化物理模型引入到圖像恢復(fù)過(guò)程中，而是把附著水滴圖像當(dāng)做了常規(guī)的圖像恢復(fù)任務(wù)來(lái)處理，不能深度挖掘圖像附著水滴退化的內(nèi)在特征，因此在方法論和測(cè)試結(jié)果上均具有局限性。

8、有鑒于此，本發(fā)明設(shè)計(jì)本文提出了一種基于物理模型的單圖像雨滴去除方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明旨在克服上述現(xiàn)有技術(shù)的缺陷，提供一種基于物理模型的單圖像雨滴去除方法；

2、本發(fā)明還公開(kāi)一種實(shí)現(xiàn)上述方法的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)；

3、本發(fā)明還公開(kāi)一種實(shí)現(xiàn)上述方法的程序產(chǎn)品。

4、本發(fā)明詳細(xì)的技術(shù)方案如下：

5、一種基于物理模型的單圖像雨滴去除方法，所述方法包括以下步驟：

6、s1、由雨滴造成的退化圖像的物理模型，推導(dǎo)相應(yīng)的圖像恢復(fù)模型；

7、s2、設(shè)計(jì)基于卷積神經(jīng)網(wǎng)絡(luò)cnn的參數(shù)估計(jì)網(wǎng)絡(luò)對(duì)圖像恢復(fù)模型所需要的參數(shù)雨滴掩膜m和雨滴層b進(jìn)行估計(jì)；

8、s3、將參數(shù)代入圖像恢復(fù)模型得到初步的雨滴去除圖像；

9、s4、引入合成的干凈-退化圖像對(duì)對(duì)圖像恢復(fù)模型進(jìn)行端對(duì)端的微調(diào)；

10、s5、將微調(diào)后的圖像恢復(fù)模型輸出的恢復(fù)圖像輸入到優(yōu)化模塊中，輸出最終的雨滴去除圖像。

11、根據(jù)本發(fā)明優(yōu)選的，所述步驟s1的詳細(xì)推導(dǎo)過(guò)程如下：

12、由雨滴造成的退化圖像的物理模型的公式如下：

13、i＝j(luò)(1-m)+bm???(1)

14、式(1)中，i表示由雨滴造成的退化圖像；j表示沒(méi)有雨滴的干凈圖像；m是雨滴掩膜，當(dāng)數(shù)值為1時(shí)表示雨滴區(qū)域，否則為干凈區(qū)域；b是雨滴層；

15、根據(jù)所述退化圖像的物理模型，推導(dǎo)出圖像恢復(fù)模型，如下：

16、

17、式(2)中，j表示沒(méi)有雨滴的干凈圖像；i表示由雨滴造成的退化圖像；m是雨滴掩膜；b是雨滴層。

18、根據(jù)本發(fā)明優(yōu)選的，所述設(shè)計(jì)基于卷積神經(jīng)網(wǎng)絡(luò)cnn的參數(shù)估計(jì)網(wǎng)絡(luò)分為以下步驟：

19、s21、數(shù)據(jù)預(yù)處理：

20、首先對(duì)雨滴掩膜m和雨滴層b進(jìn)行頻域分析，雨滴掩膜m表示雨滴的位置、尺寸、形狀信息，相當(dāng)于圖像的噪聲部分，具有高頻特性；雨滴層b是干凈圖像j經(jīng)過(guò)背景信息與周圍環(huán)境混合得到的復(fù)雜模糊結(jié)果，既具有高頻特性又具有低頻特性；

21、然后，為了增強(qiáng)參數(shù)估計(jì)的數(shù)據(jù)源，根據(jù)頻域分析結(jié)果將輸入圖像的特征進(jìn)行預(yù)處理：采用基于導(dǎo)向?yàn)V波的頻域?yàn)V波方法將輸入圖像的原始rgb數(shù)據(jù)分為高頻部分和低頻部分；

22、s22、設(shè)置雨滴掩膜m估計(jì)網(wǎng)絡(luò)：

23、設(shè)置具有三條并行通道的掩膜估計(jì)網(wǎng)絡(luò)，三條并行通道分別對(duì)應(yīng)估計(jì)大、中、小三種尺度的雨滴掩膜，即ml，mm，ms，輸入經(jīng)導(dǎo)向?yàn)V波處理后的高頻部分，并最終合成為完整的雨滴掩膜m；

24、在所述雨滴掩膜m估計(jì)網(wǎng)絡(luò)中，每條通道都包括卷積層、密集連接的殘差塊和反卷積層，估計(jì)不同尺度的雨滴掩膜時(shí)使用不同的卷積核尺寸，雨滴掩膜的尺度越大，對(duì)應(yīng)的卷積核尺寸越大；優(yōu)選設(shè)置對(duì)應(yīng)的ml，mm，ms卷積核尺寸分別為7、5、3；

25、s23、設(shè)置雨滴層b估計(jì)網(wǎng)絡(luò)：

26、在雨滴層b估計(jì)網(wǎng)絡(luò)前端，高頻部分、低頻部分以及原始rgb數(shù)據(jù)在通道方向串聯(lián)形成融合特征，雨滴層b估計(jì)網(wǎng)絡(luò)的卷積層和池化層組成自動(dòng)編碼器用于從融合特征中學(xué)習(xí)并推斷出雨滴層b；為了綜合考慮局部圖像域與周圍環(huán)境的作用，在雨滴層b估計(jì)網(wǎng)絡(luò)后端，設(shè)置一個(gè)金字塔池化模塊用于融合局部特征和全局特征的功效，可以幫助獲取更加精準(zhǔn)的b；

27、s24、組合所述雨滴掩膜m估計(jì)網(wǎng)絡(luò)和雨滴層b估計(jì)網(wǎng)絡(luò)，得到完整的雨滴退化模型的參數(shù)估計(jì)網(wǎng)絡(luò)。

28、根據(jù)本發(fā)明優(yōu)選的，所述步驟s4的詳細(xì)過(guò)程如下：

29、首先根據(jù)清晰的干凈圖像，通過(guò)添加模擬的大氣散射效應(yīng)來(lái)生成相應(yīng)的退化圖像，從而構(gòu)建了干凈-退化圖像對(duì)；接著，利用干凈-退化圖像對(duì)對(duì)圖像恢復(fù)模型執(zhí)行監(jiān)督學(xué)習(xí)，使圖像恢復(fù)模型能夠?qū)W習(xí)到從有雨滴輸入中恢復(fù)出清晰無(wú)雨滴輸出的有效映射關(guān)系，從而提升模型在實(shí)際去雨滴任務(wù)中的表現(xiàn)，經(jīng)過(guò)合成退化圖像的微調(diào)后，該模型達(dá)到了在合成雨滴圖像上的最佳狀態(tài)；

30、根據(jù)本發(fā)明優(yōu)選的，所述優(yōu)化模塊是一個(gè)基于cnn的編碼器-解碼器，編碼器和解碼器均包括4層網(wǎng)絡(luò)，輸入網(wǎng)絡(luò)微調(diào)后輸出的恢復(fù)圖像，輸出最終的雨滴去除圖像。

31、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)可實(shí)現(xiàn)上述方法的步驟。

32、一種加載有上述方法的計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)可實(shí)現(xiàn)上述方法的步驟。

33、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：

34、(1)本發(fā)明充分挖掘了附著水滴圖像退化的內(nèi)在機(jī)理，利用了附著水滴圖像退化物理模型實(shí)現(xiàn)了圖像退化恢復(fù)，能融合物理模型和深度學(xué)習(xí)進(jìn)行深度優(yōu)化，能夠針對(duì)性的對(duì)圖像模糊區(qū)域進(jìn)行恢復(fù)，不會(huì)留下退化殘留區(qū)域，提出了基于卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)估計(jì)方法，獲取了雨滴退化模型的關(guān)鍵參數(shù)。

35、(2)本發(fā)明使用了合成圖像進(jìn)行了微調(diào)并引入真實(shí)的干凈-退化圖像對(duì)對(duì)基于物理模型的雨滴去除算法進(jìn)行優(yōu)化，實(shí)現(xiàn)了退化圖像恢復(fù)的精細(xì)化，具有細(xì)節(jié)保持能力，能夠適應(yīng)不同尺度的雨滴區(qū)域，且在真實(shí)場(chǎng)景和合成場(chǎng)景中泛化能力較好，在附著水滴圖像恢復(fù)方面取得了最佳的恢復(fù)效果。