本發(fā)明屬于圖像處理和分析技術(shù)領(lǐng)域,特別是在存在吸收和散射光學(xué)衰減的環(huán)境中,例如霧天及水下環(huán)境中拍攝彩色圖像的基于暗通道理論的水下彩色圖像增強(qiáng)方法。
背景技術(shù):
水下視覺是海洋探測、海洋生物調(diào)查、水下工程監(jiān)測中重要的科學(xué)研究依據(jù)。在水中,水體光學(xué)衰減、散射及光源照明使得拍攝的水下圖像存在可見距離小、低對(duì)比度、模糊、非均勻照明、亮斑、色彩投射和各種噪聲等復(fù)雜退化,因此在應(yīng)用計(jì)算機(jī)視覺方法進(jìn)行各種水下視頻分析及圖像的處理應(yīng)用中,水下圖像的復(fù)原或增強(qiáng)都是必要的處理過程。光在水中傳輸,水體內(nèi)部光學(xué)屬性(iop)決定的吸收和散射影響了整個(gè)水下成像的效果。浮游生物、彩色溶解有機(jī)質(zhì)和總懸浮物質(zhì)的濃度和目標(biāo)距離成也是影響水下彩色圖像質(zhì)量的主要因素。前向散射導(dǎo)致圖像特征的模糊,后向散射通常使圖像的對(duì)比度降低,產(chǎn)生霧狀模糊疊加在圖像上。隨著水下深度的增加,色彩按照波長依次消失,在靠近光譜紅色一端的波長的吸收速度大約是靠近藍(lán)色端光譜吸收速度的100倍,藍(lán)色由于波長最短,在水下傳播的距離最長。運(yùn)動(dòng)作業(yè)時(shí)所引起的浪花、漩渦、泥沙及各種海洋生物的影響也導(dǎo)致了圖像的不規(guī)則模糊。除此以外,成像系統(tǒng)、光源色溫都將對(duì)水下彩色圖像的質(zhì)量產(chǎn)生影響。
水下圖像增強(qiáng)主要包括了對(duì)圖像對(duì)比度、清晰度和色彩補(bǔ)償?shù)确矫娴难芯?。近年來,研究人員基于he等人提出的圖像去霧理論提出了很多水下圖像增強(qiáng)方法,he等人對(duì)自然白天的圖像進(jìn)行統(tǒng)計(jì),提出暗通道假設(shè),認(rèn)為無霧自然圖像中至少有一個(gè)彩色通道有非常低的亮度值,因此暗通道的亮度增加是因?yàn)殪F,經(jīng)典暗通道法通過選擇暗通道中最亮的像素對(duì)應(yīng)的彩色分量值作為背景光估計(jì)值。chiang等在暗通道的基礎(chǔ)上,假設(shè)已知衰減系數(shù),通過估計(jì)圖像的深度圖,將圖像分割為前景和背景部分然后通過顏色矯正對(duì)圖像進(jìn)行增強(qiáng),但是這種方法僅對(duì)于偏藍(lán)色背景的清澈水下圖像較為有效。galdran等提出了紅通道假設(shè),提出在水中隨著距離增加紅通道衰減的更快,后向散射背景光通過紅通道的最大值來估計(jì)。carlevaris-bianco等人提出的暗通道法從藍(lán)-綠通道與紅通道差值的最大值來估計(jì)傳輸圖,用傳輸圖的最小值作為后向散射背景光。在已有的水下圖像去霧增強(qiáng)方法中,后向散射背景光都是被假設(shè)為在整幅圖像中是均勻的。但實(shí)際上,在水下環(huán)境中,水中的懸浮顆粒的濃度較高,光線-顆粒的交互散射作用結(jié)果使圖像的背景光亮度并不均勻。在經(jīng)典暗通道的基礎(chǔ)上,emberton等人提出了分層后向散射背景光估計(jì)法,但是必須根據(jù)一些圖像特征找到圖像中最模糊的區(qū)域。ancuti等人提出了基于局部暗通道最大值的后向散射背景光估計(jì)法來實(shí)現(xiàn)多尺度的水下圖像融合增強(qiáng)。基于局部背景光的兩個(gè)方法中,都是對(duì)暗通道直接求局部最大值,目前的這些方法雖然取得了一定的去霧及色彩增強(qiáng)效果,但增強(qiáng)的水下圖像清晰度不佳。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明要解決的技術(shù)問題是針對(duì)存在吸收、散射引起的模糊、對(duì)比度降低、飽和度降低和非均勻色彩投射等退化因素的水下彩色圖像特別是近岸水下彩色圖像,提出一種有效的基于暗通道理論的水下彩色圖像增強(qiáng)方法,可實(shí)現(xiàn)對(duì)水下彩色圖像的清晰度、對(duì)比度和色彩的有效增強(qiáng)。
本發(fā)明提出了利用光線和粒子交互概率模型的局部后散射光估計(jì)法和基于retinex光照反射模型的傳輸圖估計(jì)法。本發(fā)明適用于存在飽和度下降、非均勻色彩投射、模糊等退化的水下彩色圖像及其他具有相同退化的光衰減環(huán)境。
本發(fā)明所要解決的技術(shù)問題是通過以下的技術(shù)方案來實(shí)現(xiàn)的。本發(fā)明是一種基于暗通道理論的水下彩色圖像增強(qiáng)方法,其特點(diǎn)是:該方法步驟如下:對(duì)水下退化圖像,在jaffe-mcglamery成像模型基礎(chǔ)上,對(duì)暗通道圖像采用retinex方法估計(jì)傳輸圖,然后利用泊松分布擬合的局部散射背景光估計(jì)法,將暗通道圖像塊中最接近估計(jì)值像素點(diǎn)對(duì)應(yīng)的水下彩色圖像像素值作為該圖像塊后向散射背景光,在求得復(fù)原圖像后,應(yīng)用對(duì)比度拉伸進(jìn)行色彩增強(qiáng),最后獲得增強(qiáng)后水下圖像輸出。
本發(fā)明所述的一種基于暗通道理論的水下彩色圖像增強(qiáng)方法,其特點(diǎn)是:所述的retinex方法選自:
1、單尺度視網(wǎng)膜增強(qiáng)ssr(singlescaleretinex);
2、多尺度視網(wǎng)膜增強(qiáng)算法msr(multi-scaleretinex);
3、帶色彩恢復(fù)的多尺度視網(wǎng)膜增強(qiáng)算法msrcr(multi-scaleretinexwithcolorrestoration);
4、mccannretinex算法(也稱迭代retinex)。
本發(fā)明所述的一種基于暗通道理論的水下彩色圖像增強(qiáng)方法,其特點(diǎn)是:其具體步驟如下:
根據(jù)jaffe-mcglamery成像模型,對(duì)rgb空間水下退化圖像i可描述為:
其中,x為圖像像素,jc(x)為目標(biāo)輻照度,c={r,g,b},
miny∈ω(x)(minc∈r,g,bjc(x))=0(2)
其中,ω(x)表示以像素x為中心的一個(gè)窗口。本發(fā)明解決方案步驟如下:
第一步,對(duì)歸一化后彩色圖像i∈(0,1),計(jì)算暗通道圖像ldc:
ldc(x)=miny∈ω(x)(minc∈r,g,bic(x))(3)
由式(1),(2)和(3)可得:
第二步,設(shè)t(x)=tr(x),對(duì)式(4)兩邊應(yīng)用對(duì)數(shù)運(yùn)算得:
其中,
tr(x)=1-rr(x)(16)
第三步,估計(jì)傳輸圖tr(x)
retinex理論認(rèn)為圖像是由場景中光照信息圖像和物體固有的反射系數(shù)圖像組成的,所謂光照信息圖像是指照射在物體上的入射光信息的圖像的形式,而物體的反射系數(shù)圖像是不受光照條件影響的目標(biāo)本身的反射圖像。retinex理論的核心思想就是排除光照條件的影響,恢復(fù)出物體本身反射系數(shù)。本發(fā)明應(yīng)用retinex算法估計(jì)式(15)中的rr(x),由(16)求得tr(x)。
第四步,計(jì)算tg(x),tb(x),由
其中,λ0為參考波長,通常為440nm或400nm,sx為吸收系數(shù)曲線斜率經(jīng)驗(yàn)值,在380~600nm波長范圍內(nèi),吸收系數(shù)光譜斜率sx經(jīng)驗(yàn)值在0.0049~0.0175nm-1分布。
第五步,對(duì)暗通道圖像ldc中的像素x,對(duì)其鄰域ω(x)(ω大小的選擇可以為15×15,32×32,56×56,72×72等),假設(shè)圖像塊內(nèi)目標(biāo)距離一致,應(yīng)用泊松分布擬合,獲得擬合后泊松分布均值為mean(poissonfit(ldc(y))),用塊ω中暗通道圖像灰度值與擬合后泊松分布均值最接近的像素對(duì)應(yīng)的r,g,b值作為后向散射
第六步,根據(jù)得到tc(x)和
第七步,彩色對(duì)比度拉伸,由下式計(jì)算jc(x)的最大值
其中,
最后,增強(qiáng)圖像的最后輸出
本發(fā)明方法中,動(dòng)態(tài)范圍μ取值越小,圖像的對(duì)比度越強(qiáng)。優(yōu)選的動(dòng)態(tài)范圍μ取值為2-3。
以下對(duì)本發(fā)明方法的原理闡述如下:
水體的光學(xué)特性是決定水下成像的重要因素,天然水的固有光學(xué)特性是純水(分子散射和吸收)、海水中溶質(zhì)(分子散射和吸收)和懸浮顆粒(顆粒散射和吸收)的固有光學(xué)特性的復(fù)合。光在水中的傳播受兩種因素的影響:吸收和散射。吸收是光沿媒介傳輸過程中的功率丟失,取決于媒介的光折射率。水中光散射是指水中光在傳播過程中,受到介質(zhì)微粒的作用,偏離原來直線傳播的現(xiàn)象。前向散射導(dǎo)致圖像特征的模糊,后向散射通常使圖像的對(duì)比度降低,產(chǎn)生霧狀模糊疊加在圖像上。通過增加人工照明雖然可以增加可視距離,但經(jīng)常會(huì)導(dǎo)致非均勻照明情況,在圖像中產(chǎn)生亮斑,而亮斑周圍卻很暗。隨著水下深度的增加,色彩按照波長依次消失。除了由于水下傳播距離的衰減,水中微粒的大小和屬性也同樣影響散射、反射、傳播和吸收的速度。因此,水下彩色圖像的綜合退化表現(xiàn)為飽和度降低,非均勻色彩投射,且對(duì)比度降低,細(xì)節(jié)模糊和噪聲。
根據(jù)jaffe-mcglamery成像模型,相機(jī)接收到的光由三部分構(gòu)成(i)物體直接反射光ed,(ii)前向散射部分ef(來自目標(biāo)小角度光反射),(iii)后向散射(非目標(biāo)反射光)eb,
直接成分為反射光的衰減,
其中,jc(x)為目標(biāo)輻照度,c={r,g,b},cλ為衰減系數(shù),為吸收系數(shù)aλ和散射系數(shù)bλ的和。
cλ=aλ+bλ(18)
d(x)為目標(biāo)距相機(jī)距離,前向散射通常為水下圖像退化的一小部分,eb為后向散射,也就是背景光,
忽略前向散射,可得式(1)所示的退化模型,根據(jù)該退化模型,要求出jc(x),必須盡可能好的去估計(jì):tc和
在水體光學(xué)性質(zhì)中,對(duì)水體光學(xué)性質(zhì)有顯著影響的包括:總顆粒物(tsm),非色素顆粒物(tripton)和黃色物質(zhì)cdom。我國近岸水域水深較淺,水體以ii類水體為主,主要為d類和e類水體,d類水體比較渾濁,多呈現(xiàn)黃色和黃綠色,懸浮泥沙占主導(dǎo)地位,在吸收過程中,非色素顆粒物的吸收為主要退化因素,黃色物質(zhì)吸收作用次之。e類水體十分渾濁,受陸源輸入影響嚴(yán)重,懸浮泥沙含量非常高,主要分布在河口、淺灘等,非色素顆粒物的吸收占絕對(duì)主導(dǎo)地位。因此對(duì)近岸水域,非色素顆粒物和黃色物質(zhì)是吸收系數(shù)貢獻(xiàn)率的主要因素,其中,非色素顆粒物對(duì)吸收系數(shù)貢獻(xiàn)率一般超過60%,黃色物質(zhì)吸收作用次之,貢獻(xiàn)率一般小于35%。另外tsm不吸收光,其對(duì)可見光范圍內(nèi)(400-700nm)的全散射表現(xiàn)為白色霧狀模糊。對(duì)我國近岸水體的光學(xué)調(diào)查結(jié)果表明,近岸水體光學(xué)系數(shù)在一定深度變化較小,其中,吸收系數(shù)相對(duì)與散射系數(shù)有較高的平均值,散射系數(shù)值量值較小,分布在(10-2~10-1)之間,隨波長改變較小。因此,在近岸水體的衰減中,式(18)中的衰減系數(shù)cλ可近似等于吸收系數(shù)aλ,吸收系數(shù)占絕對(duì)主要的地位,另外,黃色物質(zhì)和非色素顆粒物的吸收系數(shù)成隨波長的e指數(shù)衰減趨勢,有:
其中,λ0為參考波長,通常為440nm或400nm,sx為吸收系數(shù)曲線斜率經(jīng)驗(yàn)值,在380~600nm波長范圍內(nèi),利用最小二乘法擬合非色素顆粒物吸收系數(shù)光譜斜率sx經(jīng)驗(yàn)值及范圍在0.0049~0.0175nm-1分布。紅、綠、藍(lán)主要波長為紅640-780nm,綠505-525,藍(lán)505-470,由上式可得式(6)、(7):
由于,紅色波長最長,所以在水中衰減比較快,對(duì)淺水水下圖像來說,暗通道往往就是紅色通道,因此,本發(fā)明假設(shè)t(x)=tr(x)。
retinex理論認(rèn)為圖像是由場景中光照信息圖像和物體固有的反射系數(shù)圖像組成的,所謂光照信息圖像是指照射在物體上的入射光信息的圖像的形式,而物體的反射系數(shù)圖像是不受光照條件條件影響的目標(biāo)本身的反射圖像。retinex理論的核心思想就是排除光照條件的影響,恢復(fù)出物體本身反射系數(shù)。本發(fā)明提出了應(yīng)用retinex算法估計(jì)式(15)中的rr,由(16)求得tr(x)的方法。
當(dāng)獲得傳輸圖tr(x)后,可通過式(8)、(9)估計(jì)得到tg(x)和tb(x)。
散射背景光不是源于目標(biāo),是由環(huán)境光散射而來,在近岸自然光照條件下,通常假設(shè)自然光照在目標(biāo)成像水深范圍內(nèi)變化是輕微的,
在均勻顆粒大小的前提下,背景光經(jīng)相同距離的n次交互后,亮度應(yīng)符合均值為λ=bl的泊松分布。因此,本發(fā)明提出了局部
利用式(12),恢復(fù)圖像后,對(duì)計(jì)算結(jié)果jc(x),本發(fā)明采用無色偏色彩拉伸方法,應(yīng)用式(13)計(jì)算jc(x)的最大值
本發(fā)明涉及基于暗通道理論的圖像去霧、圖像增強(qiáng)及圖像增強(qiáng),具體涉及一種基于retinex照度反射系數(shù)分解的傳輸圖估計(jì)法和一種光粒子交互泊松分布擬合的局部散射背景光估計(jì)法,本發(fā)明不僅僅可以用于水下圖像增強(qiáng)及增強(qiáng),同樣適用于其他光學(xué)屬性與散射和衰減相關(guān)的成像介質(zhì)中,例如霧天、煙霧環(huán)境下拍攝的圖像,本發(fā)明也可以用于醫(yī)學(xué)成像,用于增強(qiáng)受生物散射介質(zhì)如血液和組織影響而拍攝的圖像。
本發(fā)明與現(xiàn)有技術(shù)相比有如下優(yōu)點(diǎn):
(1)本發(fā)明提出了首個(gè)可應(yīng)用于近岸水域水下圖像的增強(qiáng)解決方案。
(2)本發(fā)明首次提出了利用retinex照度、反射系數(shù)分解估計(jì)模型(1)中傳輸圖t的方法;
(3)本發(fā)明提出了應(yīng)用近岸水體黃色物質(zhì)和非色素顆粒吸收衰減模型估計(jì)(1)中傳輸圖t的方法。
(4)本發(fā)明首次提出了局部后向散射光估計(jì)法。
(5)本發(fā)明首次提出利用光線和粒子交互概率模型的局部后向散射光估計(jì)法。
(6)本發(fā)明與現(xiàn)有的其他水下圖像增強(qiáng)方法相比,能夠更好的實(shí)現(xiàn)水下圖像的清晰度和色彩增強(qiáng),更適用于應(yīng)用在近岸水域水體渾濁的水下圖像增強(qiáng)問題。
附圖說明
圖1為水下彩色圖像原圖;
圖2為現(xiàn)有技術(shù)carlevaris-bianco等人提出的水下圖像增強(qiáng)方法結(jié)果圖;
圖3為現(xiàn)有技術(shù)galdran等人提出的水下圖像增強(qiáng)方法結(jié)果圖;
圖4為現(xiàn)有技術(shù)fu等人提出的水下圖像增強(qiáng)方法結(jié)果圖;
圖5為現(xiàn)有技術(shù)ancuti等人提出的水下圖像增強(qiáng)方法單尺度結(jié)果圖;
圖6為本發(fā)明方法的水下圖像增強(qiáng)方法結(jié)果圖;
具體實(shí)施方式
以下進(jìn)一步對(duì)本發(fā)明的技術(shù)方案進(jìn)行描述,使本領(lǐng)域技術(shù)人員進(jìn)一步理解本發(fā)明,而不構(gòu)成對(duì)本發(fā)明權(quán)利的限制。
實(shí)施例1,一種基于暗通道理論的水下彩色圖像增強(qiáng)方法,該方法步驟如下:對(duì)水下退化圖像,在jaffe-mcglamery成像模型基礎(chǔ)上,對(duì)暗通道圖像采用retinex方法估計(jì)傳輸圖,然后利用泊松分布擬合的局部散射背景光估計(jì)法,將暗通道圖像塊中最接近估計(jì)值像素點(diǎn)對(duì)應(yīng)的水下彩色圖像像素值作為該圖像塊后向散射背景光,在求得復(fù)原圖像后,應(yīng)用對(duì)比度拉伸進(jìn)行色彩增強(qiáng),最后獲得增強(qiáng)后水下圖像輸出。
對(duì)一幅r,g,b空間歸一化后水下彩色圖像i∈(0,1)具體方法步驟如下:
第一步,對(duì)水下成像模型式(1),采用式(3)計(jì)算暗通道圖像ldc,本實(shí)施例中ω大小為15*15。
第二步,設(shè)t(x)=tr(x),對(duì)式(4)兩邊應(yīng)用對(duì)數(shù)運(yùn)算。
第三步,對(duì)式(15)應(yīng)用mccann’sretinex算法,估計(jì)式(15)中的rr,由(16)求得tr(x)。
第四步,由式(8),(9)估計(jì)tg(x)和tb(x),其中λr=620nmλg=540nm,λb=450nm,sx=0.0049。
對(duì)暗通道圖像ldc中的像素x,對(duì)其鄰域ω(x),ω(x)大小的選擇可以為15×15,32×32,56×56,72×72等,塊大小越小,越有利于提高增強(qiáng)后圖像的清晰度,快越大有利于提高增強(qiáng)后圖像的色彩,本實(shí)施例中ω(x)=15×15。
第五步,應(yīng)用式(10)、(11)獲得后向散射
第六步,利用式(12),計(jì)算jc(x)。
最后,通過計(jì)算式(13),(14)獲得增強(qiáng)圖像的最后輸出,動(dòng)態(tài)范圍μ取值越小,圖像的對(duì)比度越強(qiáng)。一般來說取值在2-3之間能取得較為明顯的效果。本實(shí)施例中μ=2。
圖1為水下彩色圖像原圖,圖2-5為現(xiàn)有技術(shù)中其他幾種方法對(duì)圖1水下圖像增強(qiáng)的結(jié)果,圖6是采用本發(fā)明方法得到的水下彩色圖像增強(qiáng)結(jié)果??梢钥闯霰景l(fā)明提出的水下彩色圖像增強(qiáng)方法可有效的提高水下圖像的清晰度和色彩失真,特別是在清晰度方面,效果優(yōu)于現(xiàn)有其他方法。
實(shí)施例2,本發(fā)明水下彩色圖像增強(qiáng)方法對(duì)增強(qiáng)圖像清晰度和色彩的性能對(duì)比實(shí)驗(yàn):
在本實(shí)施例中,水池長2.53米,寬1.02米,高1.03米。試驗(yàn)?zāi)繕?biāo)為imatestsfrplus清晰度板和colorchecker24x-ritechart(21.59×27.94cm)。采用oti-uwc-325/p/e彩色相機(jī),分別在94.5cm(duntley法則)條件下拍攝水下圖像。
imatest是美國imatest公司開發(fā)的一款被廣泛應(yīng)用的圖像評(píng)測軟件,它的系統(tǒng)基于matlab建立。imatest是一個(gè)用來對(duì)數(shù)碼相機(jī)圖像進(jìn)行數(shù)據(jù)測試的軟件包,這個(gè)軟件的功能有很多,比如說:分辨率測試(sfr--mtf)、色差、色彩還原度、色彩空間等,它是目前最權(quán)威的成像分析軟件。
采用imatest4.3圖像質(zhì)量評(píng)價(jià)軟件對(duì)清晰度板和彩色板水下圖像采用其他方法增強(qiáng)后及本發(fā)明提出方法增強(qiáng)后的圖像進(jìn)行自動(dòng)分析,對(duì)比結(jié)果如附表1和附表2所示:
附表1:imatestsfr清晰度分析
附表2:imatest4.3彩色板數(shù)據(jù)分析
由附表1和表2中數(shù)據(jù)可以看出,本發(fā)明方法在增強(qiáng)水下圖像清晰度和色彩方面優(yōu)于現(xiàn)有技術(shù)其他方法。
其中,mtf(調(diào)制傳輸函數(shù),modulationtransferfunction)mtf50是當(dāng)mtf數(shù)值下降至最大值的50%時(shí),對(duì)應(yīng)的頻率(周期每像素,cycleperpixel),lw/ph=cycleperpixel*總像素*2。
其中評(píng)價(jià)彩色色板圖像質(zhì)量時(shí),采用cielab空間,l表示明度值;a表示紅-綠值;b表示黃-藍(lán)值。色彩誤差有兩種,一種是δc,另一種是δe,兩種的區(qū)別就在于δc不考慮亮度信號(hào)y的色差值,而δe包括了亮度信號(hào)y的色差值,通常情況下色差數(shù)值越小說明圖像質(zhì)量越好,計(jì)算公式如下,其中l(wèi)1,a1,b1,表示色板lab空間標(biāo)準(zhǔn)值,l2,a2,b2表示待測量圖像lab空間的值。