一種視頻雨滴去除方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視頻雨滴去除技術(shù)領(lǐng)域，尤其涉及一種視頻雨滴去除方法。
【背景技術(shù)】
[0002] 由于擁有包括自動(dòng)性、智能性、高效性等諸多優(yōu)點(diǎn)，戶外計(jì)算機(jī)視覺系統(tǒng)被廣泛使 用在軍事國(guó)防、醫(yī)療技術(shù)、智能交通等領(lǐng)域。但是惡劣天氣會(huì)嚴(yán)重影響其性能，甚至導(dǎo)致其 完全失效。所以消除惡劣天氣影響的有效方法，對(duì)于一個(gè)全天候的戶外視覺系統(tǒng)來(lái)說(shuō)必不 可少。在諸多惡劣天氣情況中，雨由于擁有較大粒子（雨滴）半徑及其他復(fù)雜物理特性，會(huì) 對(duì)視覺系統(tǒng)所攝取的圖像質(zhì)量造成較大程度的影響。視頻雨滴去除技術(shù)通過(guò)使用雨的物 理、頻率等特性，對(duì)視頻幀中的雨滴進(jìn)行識(shí)別、去除。其不僅能夠顯著提升圖像質(zhì)量，還有利 于圖像的進(jìn)一步處理。因此，視頻雨滴去除技術(shù)已經(jīng)成為計(jì)算機(jī)視覺領(lǐng)域不可缺少的關(guān)鍵 性技術(shù)。
[0003] 近些年來(lái)關(guān)于視頻及圖像中雨滴檢測(cè)與去除的研宄已然成為熱點(diǎn)。Starik等在 2003年最早提出了時(shí)域均值的雨滴去除策略，作者認(rèn)為在視頻圖像序列中，雨滴對(duì)像素的 影響只存在于少數(shù)幾幀中，故可直接對(duì)視頻幀進(jìn)行平均就可以得到去除了雨的影響的原圖 像。同時(shí)，他們認(rèn)為雨會(huì)對(duì)背景產(chǎn)生亮度加強(qiáng)，且造成一定程度上的模糊，最終產(chǎn)生的視覺 效果是雨及被覆蓋背景的空間混合。對(duì)于遠(yuǎn)處的雨，由于失焦效果，會(huì)呈現(xiàn)霧狀特征。遺 憾的是，他們并沒有對(duì)方法進(jìn)行試驗(yàn)驗(yàn)證。Garg和Nayar最早使用了雨的動(dòng)態(tài)及光度特性 (K. Garg and S. K. Nayar, "Detection and removal of rain from videos, " in Proc. IEEE Conf. Comput. Vis. Pattern Recognit.，Jun. 2004, vol. 1，pp. 528 - 535)，分別建立了 兩種模型，并基于這兩個(gè)模型提出了檢測(cè)和去除雨的方法。對(duì)于雨的動(dòng)態(tài)模型，其表明了 雨在其下落方向具有時(shí)域相關(guān)性；對(duì)于光度模型，其分為靜態(tài)雨及動(dòng)態(tài)雨模型。對(duì)于靜態(tài) 雨滴，其亮度顯著高于其覆蓋的背景；對(duì)于動(dòng)態(tài)雨滴（雨線），其亮度由靜態(tài)雨滴亮度、背 景亮度及相機(jī)曝光時(shí)間決定。之后，作者提出了一種使用幀差法進(jìn)行雨滴初檢，使用兩種 特性進(jìn)行誤檢去除，并最終利用前后幀圖像信息進(jìn)行雨滴去除的方法。雖然此方法性能較 好，但其對(duì)于嚴(yán)重失焦（遠(yuǎn)處）的雨、明亮背景上的雨及雨勢(shì)變化無(wú)法處理。2006年Zhang 等人（Zhang X P, Li H, Qi Y Y, Leow ff K, Ng T K. Rain removal in video by combining temporal and chromatic properties. In:Proceedings of the 2006International Conferenceon Multimedia and Expo. Toronto, Canada: IEEE,2006.461 丨464)使用了雨 的時(shí)域分布及色彩特性。由于雨的時(shí)域分布直方圖顯示兩個(gè)峰（分別代表雨滴亮度及背 景亮度），且近似構(gòu)成高斯混合模型，故非監(jiān)督學(xué)習(xí)方法一一K-means聚類算法能夠有效 地對(duì)之進(jìn)行分離。之后，作者發(fā)現(xiàn)被雨滴影響像素的幀間RGB值的變化基本相同，故誤檢 能夠進(jìn)一步被去除。此方法實(shí)驗(yàn)效果較好，但是在整個(gè)視頻利用聚類的方法辨別雨滴和背 景，計(jì)算效率不高，不能進(jìn)行實(shí)時(shí)的處理。2007年Barnum等人（Barnum P C，Narasimhan S G,Kanade T.Analysis of rainand snow in frequency space. Internatio-nal Journal of Computer Vision, 2010，86(2丨3):256丨274)注意到之前的多數(shù)方法嚴(yán)重依賴于清晰雨 線的提取，而雨線由于會(huì)造成重復(fù)的模式，在頻域中對(duì)雨進(jìn)行分析是合理的。作者建立高斯 模型來(lái)近似雨的影響，并通過(guò)求在三維傅里葉變換中的模型所占比例進(jìn)行雨滴檢測(cè)，進(jìn)而 通過(guò)迭代去雨，最后反變換至視頻圖像。實(shí)驗(yàn)結(jié)果表明此種方法擁有較好的處理性能，但此 方法由于算法較為簡(jiǎn)單，容易出現(xiàn)過(guò)多錯(cuò)誤檢測(cè)；同時(shí)，由于使用了混合高斯模型，具有較 高的時(shí)間復(fù)雜度，且在存在不顯眼的雨（明亮背景下的雨）及雨勢(shì)變化時(shí)，其處理性能會(huì)出 現(xiàn)顯著下降。
[0004] 由于使用雨的頻率特性能夠在特定情況下顯著提升算法去雨性能，且在僅處理單 幅圖像（即無(wú)時(shí)域信息）時(shí)，頻率特性能夠發(fā)揮更大的作用。Yu-Hsiang Fu等（Fu Y H，Kang L W,Lin C W, et al. Single-frame-based rain removal via imagedecomposition. In:Proceeding of 2011IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Prague，Czech: IEEE Press，2011:1453-1456.)首先提 出了基于MCA(形態(tài)學(xué)成分分析）及圖像分解的單幅圖像去雨算法，作者首先使用雙邊 濾波將圖像分為高頻及低頻部分，之后進(jìn)行字典學(xué)習(xí)，并通過(guò)將雨部分字典系數(shù)設(shè)置為 0得到去雨圖像。由于此方法存在字典選擇非自動(dòng)性的缺點(diǎn)，Li-Wei Kang等（Kang L W, Lin C W, Fu Y H. Automatic single-image-based rain streaks removalvia image decomposition. Image Processing,IEEE Transactions on，2012, 21 (4):1742-1755.)提 出了一種基于自學(xué)習(xí)的自動(dòng)改進(jìn)算法。之后，De-An Huang等（Huang D A, Kang L W, Yang M C，et al. Context-aware single image rain removal. In:Proceeding of 2012IEEE International Conference on Multimedia and Expo (ICME). Melbourne, Australia:IEE EPress, 2012:164-169.)提出了基于上下文感知的單幅圖像去雨算法，此方法僅需要單幅 圖像進(jìn)行學(xué)習(xí)工作，故可以大幅減少算法所需時(shí)間。而Duan-Yu Chen等（Chen D Y, Chen C C, Kang L ff. Visual depth guided image rain streaks removal via sparse coding. In:Proceeding of2012International Symposium on Intelligent Signal Processing and Communications Systems. NewTaipei, Taiwan: IEEE, 2012:151-156.)弓|入了 DoD(深度 差異）的概念，深度差異能夠衡量圖像的局部相關(guān)性信息，故能夠?yàn)閱畏鶊D像去雨提供幫 助，同時(shí)，他們使用引導(dǎo)濾波替代原先使用的雙邊濾波，因?yàn)槠鋼碛懈玫男阅堋?br>[0005] 現(xiàn)有技術(shù)在雨滴去除時(shí)大量使用值簡(jiǎn)單替換法，會(huì)對(duì)輸出視頻的質(zhì)量造成降低； 而對(duì)于遠(yuǎn)處的失焦的雨，現(xiàn)有的去雨算法大多選擇忽略或者進(jìn)行額外的去霧操作，但此種 方法存在如缺乏圖像整體特性考慮等缺點(diǎn)，對(duì)圖像的質(zhì)量提升不明顯。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明提供了一種視頻雨滴去除方法，旨在解決現(xiàn)有的基于雨光度特性的去雨算 法處理時(shí)間較長(zhǎng)，計(jì)算效率不高，不利于實(shí)時(shí)應(yīng)用的技術(shù)問題。
[0007] 本發(fā)明提供的視頻雨滴去除方法還可以解決以下技術(shù)問題：
[0008] 現(xiàn)有的基于靜態(tài)雨滴光度特性的去雨算法較為簡(jiǎn)單，容易出現(xiàn)過(guò)多錯(cuò)誤檢測(cè)點(diǎn)， 且時(shí)間復(fù)雜度較高；
[0009] 現(xiàn)有技術(shù)在雨滴去除時(shí)大量使用值簡(jiǎn)單替換法，會(huì)對(duì)輸出視頻的質(zhì)量造成降低；
[0010] 現(xiàn)有技術(shù)大多忽略遠(yuǎn)處的失焦雨或?qū)ζ溥M(jìn)行額外的去霧操作，忽略遠(yuǎn)處的失焦雨 對(duì)圖像的質(zhì)量提升不明顯，進(jìn)行額外的去霧操作存在如缺乏圖像整體特性考慮等缺點(diǎn)。
[0011] 本發(fā)明是這樣實(shí)現(xiàn)的，一種視頻雨滴去除方法，包括：
[0012] 步驟a :讀取視頻幀，并將視頻幀進(jìn)行色彩空間轉(zhuǎn)換；
[0013] 步驟b :通過(guò)基于靜態(tài)雨滴的光度特性進(jìn)行雨滴初檢，通過(guò)引導(dǎo)濾波器進(jìn)行圖像 邊緣部分識(shí)別，并從初檢結(jié)果中減去邊緣部分，得到優(yōu)化的候選雨滴；
[0014] 步驟c :利用Canny邊緣檢測(cè)算法在上述候選雨滴的基礎(chǔ)上得到初檢雨滴，及利用 動(dòng)態(tài)雨滴的光度學(xué)特性進(jìn)行誤檢消除；
[0015] 步驟d:在誤檢消除的初檢雨滴上利用a混合及圖像亮度矯正技術(shù)得到最終去雨 結(jié)果圖。
[0016] 本發(fā)明實(shí)施例采取的技術(shù)方案還包括：在所述步驟a中，所述將視頻幀進(jìn)行色彩 空間轉(zhuǎn)換具體包括：
[0017] 步驟al:將視頻幀從RGB色彩空間轉(zhuǎn)換到Y(jié)CbCr色彩空間；所述色彩空間轉(zhuǎn)換公 式為：
[0018]
[0019] 步驟a2 :將步驟al的公式的R、G、B分量寫成兩部分的組合，且提取出Cb和Cr分 量，步驟al的公式重寫為：
[0020]
[0021] 其中，Rbg、Gbg與Bbg分別是沒有被雨滴覆蓋的像素在三個(gè)分量上的背景強(qiáng)度值， A R、A G與A B是雨滴引起的背景強(qiáng)度在R、G與B