一種基于YUV空間的彩色夜視圖像融合方法與流程
本發(fā)明涉及計算機視覺領域，具體涉及一種基于yuv空間的彩色夜視圖像融合方法。
背景技術：
夜視圖像包括微光圖像和紅外圖像。隨著微光與紅外成像技術的發(fā)展，綜合和發(fā)掘微光與紅外圖像的特征信息，使其融合成信息更全面的圖像已發(fā)展成為一種有效的技術手段。由于微光圖像和紅外圖像都是單色圖像，其最大的缺陷是低信噪比且圖像缺乏深度感，不利于對目標的探測。
之所以彩色圖像融合技術得到重視，是因為彩色圖像提供的場景信息更多，能幫助觀察者提高對場景理解的能力。圖像色彩的真實性和自然性是對彩色夜視技術研究的主要組成部分，使融合后的圖像與白天自然場景的圖像色彩相同是彩色夜視技術的最終目標。
技術實現(xiàn)要素：
針對上述已有技術的不足，本發(fā)明提供了一種基于yuv空間的彩色夜視圖像融合方法，其能夠很好綜合其他算法的優(yōu)點，基于彩色空間與控向金字塔變換融合結合的方法提高了圖像的細節(jié)信息，改善了彩色圖像融合的自然性。
本發(fā)明的技術方案是：
一種基于yuv空間的彩色夜視圖像融合方法，包括以下步驟，首先確定參考圖像以及夜視圖像，夜視圖像包括微光圖像和紅外圖像。設定參考圖像是為了最終得到的微光與紅外彩色夜視圖像的色彩傳遞效果；然后對夜視圖像進行預處理，預處理之后的夜視圖像即為待融合的微光與紅外圖像。把經(jīng)預處理后的得到圖像進行彩色融合。把彩色融合后的微光與紅外圖像進行yuv色彩空間轉換，同樣的對參考圖像進行yuv色彩空間轉換；接著通過控向金字塔分解將經(jīng)色彩空間轉換處理后的微光與紅外圖像、參考圖像分解到相同尺度的子帶，將經(jīng)色彩空間轉換處理后的微光與紅外圖像、參考圖像在對應通道和子帶內(nèi)進行一階(均值)和二階統(tǒng)計值(標準方差)的傳遞，經(jīng)上述處理后的微光與紅外圖像中的各子帶的均值和方差均與參考圖像的相同，對上述處理后的微光與紅外圖像進行控向金字塔重構，并對重構后的圖像進行rgb空間轉換，就獲得了一副色彩與參考圖像類似的微光與紅外彩色夜視圖像。
s1.對夜視圖像(包括微光圖像和紅外圖像)即源圖像進行預處理
s1.1將夜視圖像分成一系列互不重疊的相同大小的子圖像；
s1.2采用式(1)對各子圖像分別進行局部增強；
其中：n＝m×n,k＝0,1,...,l-1；m×n表示當前子圖像的大小，ni表示當前子圖像中灰度級為i的像素個數(shù)，l為當前子圖像的圖像灰度級數(shù)；t為拉伸系數(shù)；k為圖像灰度級數(shù)范圍。
s1.3為了消除人為產(chǎn)生的邊緣信息，采用雙線性內(nèi)插法融合相鄰子圖像，對于相鄰子圖像邊界上的任一像素點h(i,j)，其插值后的新值f'(i,j)為：
其中：f(i,j)，f(i,j+1)，f(i+1,j)、f(i+1,j+1)分別為增強后圖像中像素h(i,j)，h(i,j+1)，h(i+1,j)，h(i+1,j+1)的灰度值。
s1.4夜視圖像增強過程中，噪聲也會得到放大。中值濾波器較其他平滑濾波器在消除噪聲時可以較好地保持圖像的細節(jié)，因此，對增強后的圖像進行中值平滑濾波：
其中，g(i,j)、f'(i-k,j-1)分別為以像素h(i,j)為中心的窗口a內(nèi)的中值以及窗口a內(nèi)除中值以外的其他像素值。(k,l)為窗口a的尺寸大小。
經(jīng)上述s1.1至s1.4處理后的夜視圖像即為待融合的微光與紅外圖像。
s2將經(jīng)s1預處理后得到的圖像進行彩色融合
通過對紅、綠、藍三基色進行賦值就能得到彩色融合圖像，融合的映射公式(按美國海軍研究室nrl表示)表示為：
式(4)中ir是紅外圖像，vis是微光圖像。
s3將經(jīng)s2彩色融合后的微光與紅外圖像進行yuv色彩空間轉換，采用同樣的方法對參考圖像也進行yuv色彩空間轉換；
將rgb空間轉換到y(tǒng)uv空間，rgb彩色空間與yuv色彩空間轉換關系如下：
s4控向金字塔的分解與重構
控向金字塔分解的方法是：控向金字塔分解在頻域進行，如圖2。待進行金字塔分解的圖像通過傅里葉變換變換到頻率域f(u,v)，先經(jīng)過高通濾波器fh0和低通濾波器fl0分成高通自帶h0和低通子帶l0，l0再分解為方向q的帶通子帶bq(使用方向帶通濾波器fbq)和1個經(jīng)1/2欠采樣后頻率更低的低通子帶l1(使用窄帶低通濾波器fl1)，q＝1時代表水平(0°)和垂直(90°)兩個方向，q＝3時代表0°、45°、90°、135°四個方向。第一級低通子帶l1可繼續(xù)分解，獲得多尺度多方向的金字塔結構?？叵蚪鹱炙貥嬤^程與控向金字塔分解過程相反。
通過控向金字塔分解將經(jīng)s3色彩空間轉換處理后的微光與紅外圖像、參考圖像分解到相同尺度的子帶，將經(jīng)s3色彩空間轉換處理后的微光與紅外圖像與參考圖像在對應通道和子帶內(nèi)進行一階(均值)和二階統(tǒng)計值(標準方差)的傳遞，其表達式為：
其中：圖像的均值和標準方差分別通過式(7)和式(8)求得：
式(7)中，μ是子帶圖像的均值，f(i,j)是子帶圖像，o×t是子帶圖像大小。
式(8)中σ是子帶圖像的標準方差。
式(6)中，參考圖像的參量用下標r表示，微光與紅外圖像的參量用下標s表示，x表示顏色空間，
b'x,p,q表示帶通子帶
經(jīng)式(6)處理后的微光與紅外圖像中的各子帶(b',l',h')的均值和方差均與參考圖像的相同，對經(jīng)式(6)處理后的微光與紅外圖像進行控向金字塔重構。
s5.對控向金字塔重構后的微光與紅外圖像進行yuv空間到rgb空間轉換，就獲得了一副色彩與參考圖像類似的傳遞圖像。
yuv空間到rgb空間的轉換公式為：
采用本發(fā)明可以達到以下技術效果：
控向金字塔分解結構，把圖像分解成不同尺度、不同方向的子帶。相比拉普拉斯、梯度等金字塔結構，其可進行多方向的分解，提取圖像的方向信息，更符合人眼辨別失誤的特點，且具有平移不變性和旋轉不變性、過完備和防混疊的特性。本發(fā)明以獲得人眼視覺感知的彩色夜視圖像為目的，提出了一種基于yuv空間的彩色夜視圖像融合方法，研究yuv空間基于微光和紅外彩色融合結構，為進一步改善彩色融合圖像的色彩自然性，突出紅外熱目標，利用控向金字塔多尺度、多方向的特點，提出了基于多分辨率分解的色彩傳遞方法。不僅使彩色夜視圖像擁有更符合真實場景的色彩，還可以提高其細節(jié)信息，改善場景感知，提升了融合圖像目標探測能力。
本發(fā)明提出了一種基于yuv空間的彩色夜視圖像融合方法，提出了利用多分辨率分解將參考圖像的色彩傳遞給微光/紅外的彩色融合入圖像，選取一幅自然場景彩色圖像作為參考，使用控向金字塔對彩色融合入圖像和參考圖像進行多分辨率分解，并在各子帶圖像內(nèi)進行色彩傳遞，最終得到類似參考圖像的彩色夜視圖像。本發(fā)明不僅可以獲得自然的場景信息，還能突出觀察目標和邊緣細節(jié)，既符合人眼的色彩感知，人眼觀察舒適，還能提高融合圖像目標檢測能力。
附圖說明
本發(fā)明目的的實現(xiàn)、功能特點及優(yōu)點將結合實施例，參照附圖做進一步說明。
圖1為本發(fā)明的流程圖；
圖2為本發(fā)明中的控向金字塔分解圖；
圖3為本發(fā)明的測試結果圖對比。
具體實施方式
為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚，下面將結合附圖對本發(fā)明實施方式作進一步地詳細描述。
一種基于yuv空間的彩色夜視圖像融合方法，包括以下步驟，首先確定參考圖像以及夜視圖像，夜視圖像包括微光圖像和紅外圖像。設定參考圖像是為了最終得到的微光與紅外彩色夜視圖像的色彩傳遞效果；然后對夜視圖像進行預處理，預處理之后的夜視圖像即為待融合的微光與紅外圖像。把經(jīng)預處理后的得到圖像進行彩色融合。把彩色融合后的微光與紅外圖像進行yuv色彩空間轉換，同樣的對參考圖像進行yuv色彩空間轉換；接著通過控向金字塔分解將經(jīng)色彩空間轉換處理后的微光與紅外圖像、參考圖像分解到相同尺度的子帶，將經(jīng)色彩空間轉換處理后的微光與紅外圖像、參考圖像在對應通道和子帶內(nèi)進行一階(均值)和二階統(tǒng)計值(標準方差)的傳遞，經(jīng)上述處理后的微光與紅外圖像中的各子帶的均值和方差均與參考圖像的相同，對上述處理后的微光與紅外圖像進行控向金字塔重構，并對重構后的圖像進行rgb空間轉換，最終得到的微光與紅外彩色夜視圖像獲得類似參考圖像的自然感色彩。
s1.對夜視圖像即源圖像進行預處理
s1.1將夜視圖像分成一系列互不重疊的相同大小的子圖像；
s1.2采用式(1)對各子圖像分別進行局部增強；
其中：n＝m×n,k＝0,1,...,l-1；m×n表示當前子圖像的大小，ni表示當前子圖像中灰度級為i的像素個數(shù)，l為當前子圖像的圖像灰度級數(shù)；t為拉伸系數(shù)；k為圖像灰度級數(shù)范圍。
s1.3為了消除人為產(chǎn)生的邊緣信息，采用雙線性內(nèi)插法融合相鄰子圖像，對于相鄰子圖像邊界上的任一像素點h(i,j)，其插值后的新值f'(i,j)為：
其中：f(i,j)，f(i,j+1)，f(i+1,j)、f(i+1,j+1)分別為增強后圖像中像素h(i,j)，h(i,j+1)，h(i+1,j)，h(i+1,j+1)的灰度值。
s1.4夜視圖像增強過程中，噪聲也會得到放大。中值濾波器較其他平滑濾波器在消除噪聲時可以較好地保持圖像的細節(jié)，因此，對增強后的圖像進行中值平滑濾波：
其中，g(i,j)、f'(i-k,j-1)分別為以像素h(i,j)為中心的窗口a內(nèi)的中值以及窗口a內(nèi)除中值以外的其他像素值。(k,l)為窗口a的尺寸大小。
經(jīng)上述s1.1至s1.4處理后的夜視圖像即為待融合的微光與紅外圖像。
s2將經(jīng)s1預處理后的圖像進行彩色融合
通過對紅、綠、藍三基色進行賦值就能得到彩色融合圖像，融合的映射公式表示為：
式(4)中ir是紅外圖像，vis是微光圖像。
s3將經(jīng)s2彩色融合后的微光與紅外圖像進行yuv色彩空間轉換，采用同樣的方法對參考圖像也進行yuv色彩空間轉換；
將rgb空間轉換到y(tǒng)uv空間，rgb彩色空間與yuv色彩空間轉換關系如下：
s4控向金字塔的分解與重構
控向金字塔分解的方法是：控向金字塔分解在頻域進行，如圖2。待進行金字塔分解的圖像通過傅里葉變換變換到頻率域f(u,v)，先經(jīng)過高通濾波器fh0和低通濾波器fl0分成高通自帶h0和低通子帶l0，l0再分解為方向q的帶通子帶bq(使用方向帶通濾波器fbq)和1個經(jīng)1/2欠采樣后頻率更低的低通子帶l1(使用窄帶低通濾波器fl1)，q＝1時代表水平(0°)和垂直(90°)兩個方向，q＝3時代表0°、45°、90°、135°四個方向。第一級低通子帶l1可繼續(xù)分解，獲得多尺度多方向的金字塔結構。控向金字塔重構過程與控向金字塔分解過程相反。
通過控向金字塔分解將經(jīng)s3色彩空間轉換處理后的微光與紅外圖像、參考圖像分解到相同尺度的子帶，將經(jīng)s3色彩空間轉換處理后的微光與紅外圖像與參考圖像在對應通道和子帶內(nèi)進行一階(均值)和二階統(tǒng)計值(標準方差)的傳遞，其表達式為：
其中：子帶圖像的均值和標準方差分別通過式(7)和式(8)求得：
式(7)中，μ是子帶圖像的均值，f(i,j)是子帶圖像，o×t是子帶圖像的大小。
式(8)中σ是子帶圖像的標準方差。
式(6)中，參考圖像的參量用下標r表示，微光與紅外圖像的參量用下標s表示，x表示顏色空間，
b'x,p,q表示帶通子帶
經(jīng)式(6)處理后的微光與紅外圖像中的各子帶(b',l',h')的均值和方差均與參考圖像的相同，對經(jīng)式(6)處理后的微光與紅外圖像進行控向金字塔重構。
s5.對控向金字塔重構后的微光與紅外圖像進行yuv空間到rgb空間轉換，就獲得了一副色彩與參考圖像類似的傳遞圖像。
yuv空間到rgb空間的轉換公式為：
控向金字塔分解結構，把圖像分解成不同尺度、不同方向的子帶。相比拉普拉斯、梯度等金字塔結構，其可進行多方向的分解，提取圖像的方向信息，更符合人眼辨別失誤的特點，且具有平移不變性和旋轉不變性、過完備和防混疊的特性。本發(fā)明以獲得人眼視覺感知的彩色夜視圖像為目的，提出了一種基于yuv空間的彩色夜視圖像融合方法，研究yuv空間基于微光和紅外彩色融合結構，為進一步改善彩色融合圖像的色彩自然性，突出紅外熱目標，利用控向金字塔多尺度、多方向的特點，提出了基于多分辨率分解的色彩傳遞方法。不僅使彩色夜視圖像擁有更符合真實場景的色彩，還可以提高其細節(jié)信息，改善場景感知，提升了融合圖像目標探測能力。
如圖3所示處理效果圖比較可知，本發(fā)明提出的方法處理的結果，色彩自然，且邊緣突出。仔細觀察可知，圖像中細節(jié)信息豐富，熱目標也更清晰。
圖3(a)和圖3(b)分別為紅外圖像和微光圖像，即原始夜視圖像(也即源圖像)，圖3(c)是通過nrl融合方法處理后的融合圖像，可看出圖像對比度太高，不適合人眼觀察。圖3(d)為參考圖像。圖3(e)是色彩傳遞的結果圖像，這個圖像是利用參考圖像進行的。圖3(f)是本發(fā)明算法處理后的圖像，色彩自然，且邊緣突出。仔細觀察可知，圖像中細節(jié)信息豐富，目標也更清晰。
本發(fā)明中提出的方法實際上可嵌入fpga實現(xiàn)，開發(fā)具有圖像融合的相機或攝像機。以上實施例僅起到解釋本發(fā)明技術方案的作用，本發(fā)明所要求的保護范圍并不局限于上述實施例所述的實現(xiàn)系統(tǒng)和具體實施步驟。因此，僅對上述實施例中具體的公式及算法進行簡單替換，但其實質(zhì)內(nèi)容仍與本發(fā)明所述方法相一致的技術方案，均應屬于本發(fā)明的保護范圍。
以上所述僅是本發(fā)明的優(yōu)選實施方式，本發(fā)明的保護范圍并不局限于上述實施例，凡屬于本發(fā)明思路下的技術方案均屬于本發(fā)明的保護范圍。應當指出，對于本技術領域的普通技術人員來說，在不脫離本發(fā)明原理前提下的若干改進和潤飾，這些改進和潤飾也應視為本發(fā)明的保護范圍。
- 還沒有人留言評論。精彩留言會獲得點贊！