專利名稱：基于場景景深的霧天可見光/紅外圖像彩色融合方法
技術領域：
本發(fā)明涉及一種基于場景景深的霧天可見光/紅外圖像彩色融合方法，屬于多波段圖像融合領域。
背景技術：
紅外和可見光圖像傳感器在軍事、安全監(jiān)控領域具有廣泛用途?？梢姽鈭D像是反射圖像，高頻成分多，在一定照度下能反映場景的細節(jié)信息；紅外圖像是輻射圖像，灰度由目標與背景的溫差決定，不能反映真實的場景，但是紅外圖像可以突出場景中的熱目標或冷目標，尤其是場景中存在煙霧的情況下，紅外線可以穿透煙霧探測到被遮擋的目標。可見光和紅外圖像融合技術能夠有效地綜合和發(fā)掘二者的特征信息，突出目標， 增強場景細節(jié)，有利于在隱藏、偽裝和迷惑的情況下更快、更精確地探測目標。1996年，荷蘭國家應用科學研究院人力因素實驗室(TNO)提出了 TNO融合結構(簡稱TNO法)。TNO結構可將紅外與微光圖像差別較大的部分通過色彩突出出來。這種方法操作較為簡單，便于實時實現(xiàn)，但彩色融合后圖像動態(tài)范圍降低，色彩對比過于強烈，不利于長時間觀察。美國麻省理工學院(MIT)林肯實驗室于20世紀90年代中期提出了基于生物視覺特性的彩色融合方法(簡稱MIT法)。MIT融合結構來源于生物的彩色視覺模型，即基于靈長類動物視覺模型和響尾蛇對可見光和熱的感應模型,構造出前饋中心-周邊分離網絡(CSSN)，也稱為拮抗處理?；赥NO方法和拮抗方法的線性組合法是目前最常用的融合方法，即融合圖像是可見光圖像與紅外圖像的線性組合，組合系數(shù)的選擇沒有特定的標準，一般根據(jù)經驗獲得。色彩傳遞技術最早由Reinhard等人在2001年提出，色彩傳遞技術使用一幅顏色飽和度好、對比度高的白天自然圖像作為參考圖像，在參考圖像和色彩不佳的源圖像之間建立一種映射關系，調整源彩色圖像各個顏色分量的均值和方差，使處理后的源圖像具有與參考圖像類似的色彩。2003年Toet將色彩傳遞技術引入到多波段的圖像融合中，用以調整融合圖像的色彩，但這種基于全局均值和方差的色彩傳遞方法的效果依賴于參考圖像與源圖像場景顏色的相似度，且目前沒有成熟的參考圖像選取準則。隨著單幅霧天圖像增強技術的發(fā)展，根據(jù)霧天成像物理模型，圖像的場景景深信息可以通過多種途徑計算得到。2008年,Raanan Fattal假設場景點反射率與大氣中懸浮顆粒的散射率是相互獨立的兩個量，根據(jù)獨立成分分析方法計算出了場景的景深信息。2009 年，KaimingHe基于暗通道先驗知識也得到了與場景景深相關的傳遞參數(shù)。2009年，Peter Carr假設戶外霧天圖像中位于圖像上方的場景點景深往往大于圖像下方場景點的景深，用圖像分割和a膨脹的方法計算出了場景景深。在國內，2007年，孫玉寶構建了一個包含場景景深與圖像梯度的能量泛函，推導了相應的包含圖像梯度和場景景深的偏微分方程，再通過用戶簡單的交互操作，估計出了場景點的景深。2008年，陳功利用晴天參考圖像、霧天參考圖像和場景的先驗知識計算出霧天物理模型的部分參數(shù)，并借助于這些參數(shù)估算出場景中每個點與某一固定點的深度比。因此，場景景深信息的計算已經有了比較成熟的發(fā)展， 根據(jù)單幅霧天圖像計算場景景深是可行的。

發(fā)明內容
本發(fā)明的目的是為解決現(xiàn)有可見光/紅外圖像融合技術中融合系數(shù)選取沒有特定標準，融合圖像色彩不自然，以及不能有效處理霧天降質圖像融合的問題，提出一種基于場景景深的霧天可見光/紅外圖像彩色融合方法。該基于場景景深的霧天可見光/紅外圖像彩色融合方法，包括如下步驟步驟一、根據(jù)可見光圖像，計算場景的景深信息；步驟二、計算步驟一得到的場景景深的最大值，然后用景深圖像除以該最大值，得到場景的歸一化景深信息；步驟三、根據(jù)步驟二得到的歸一化景深信息，在YUV顏色空間進行可見光和紅外圖像的非線性加權彩色融合；步驟四、選取參考圖像，將參考圖像變換至YUV顏色空間，并分別計算參考圖像在 Y、U、V通道的均值和方差；步驟五、計算均值矩陣和方差矩陣，并進行色彩傳遞；步驟六、將色彩傳遞后的YUV空間融合圖像變換至RGB顏色空間。步驟一中場景的景深信息為一幅與可見光圖像大小相同的灰度圖像，其中景深圖像中灰度值大的像素點對應于可見光圖像中景深大的像素點，且可見光圖像中霧較厚區(qū)域的灰度值大于霧較薄區(qū)域的灰度值。步驟二中歸一化景深信息的取值范圍在0和I之間。步驟三中非線性加權彩色融合采用以下方法首先新建一幅Y、U、V三個通道值全為0的YUV圖像；然后，將可見光圖像像素值賦給新建YUV圖像的U通道，將紅外圖像像素值賦給新建YUV圖像的V通道，得到融合圖像的色差通道；最后將可見光圖像和紅外圖像進行非線性組合得到新建YUV圖像的Y通道，其中紅外圖像的非線性組合系數(shù)為步驟二中的歸一化景深，可見光圖像的非線性組合系數(shù)是用步驟一中場景的景深減去歸一化景深。步驟五中計算均值矩陣和方差矩陣采用以下方法首先用步驟二得到的歸一化景深乘以方差，分別得到Y、U、V通道的方差矩陣，用步驟一的景深減去步驟二得到的歸一化景深，乘以均值，分別得到Y、U、V通道的均值矩陣；然后建立映射關系，將Y、U、V通道的方差矩陣和均值矩陣作為參考圖像的均值和方差信息傳遞給融合圖像，得到YUV空間色彩傳遞后的融合圖像。用于彩色融合的可見光圖像和紅外圖像是灰度圖像。用于彩色融合的可見光圖像和紅外圖像是霧天拍攝的圖像。本發(fā)明的有益效果本發(fā)明所提供的基于場景景深的霧天可見光/紅外圖像彩色融合方法，與現(xiàn)有技術相比，主要改進之處在于①基于場景景深的彩色融合方法對可見光圖像質量沒有嚴格要求，本發(fā)明所提供的方法更適用于霧天降質圖像的融合。②將場景細節(jié)信息與景深大小關聯(lián)起來。根據(jù)人眼視覺特性及受霧天影響的可見光圖像特點，場景細節(jié)豐富程度與景深存在反比關系，結合景深信息的融合既能包含可見光細節(jié)信息，又能突出紅外圖像中的熱目標或冷目標。
③將參考圖像的均值和方差與場景景深聯(lián)系起來，將與景深相關的方差矩陣和均值矩陣作為參考圖像的顏色特征信息傳遞給融合圖像。


圖I為本發(fā)明基于場景景深的霧天可見光/紅外圖像自然感彩色融合方法的流程圖；圖2為具體實施例中受人工煙霧影響的實際場景圖像；其中，(a)為彩色可見光圖像、(b)為中波紅外圖像；圖3為具體實施例中由圖2(a)計算出的場景景深信息；其中，(a)為歸一化場景景深、(b)為用I減去(a)得到的信息；圖4為具體實施例中與圖I具有相似場景的彩色參考圖像；圖5為具體實施例中基于圖3的場景景深信息的RGB空間自然感彩色融合圖像。
具體實施例方式為了進一步說明本發(fā)明的目的和優(yōu)點，下面結合附圖和具體實施例對本發(fā)明作進一步的說明。本發(fā)明所述方法的工作原理為霧天情況下，可見光圖像中的場景細節(jié)信息被淹沒，而紅外線可以穿透煙霧，紅外圖像可以突出被遮擋的目標。根據(jù)霧天成像物理模型，可見光圖像的退化程度與場景景深存在指數(shù)關系，隨著景深的增大，圖像退化速度指數(shù)增加， 因此圖像融合過程中考慮場景的景深信息是合理可行的。本實施例中采用同一場景受人工煙霧影響而降質的中波紅外圖像與可見光圖像(如附圖2)來進行基于場景景深的霧天可見光/紅外圖像自然感彩色融合。其具體實現(xiàn)過程包括如圖I所示的步驟。a.根據(jù)可見光圖像計算場景景深；可見光圖像如附圖2(a)，根據(jù)成像物理模型和暗通道先驗知識，計算出場景的景深圖像，如附圖3(a)，場景的景深圖像是一幅與可見光圖像大小相同的灰度圖像，其中景深圖像中灰度值大的像素點對應于可見光圖像中景深大的像素點，且可見光圖像中霧較厚區(qū)域的灰度值大于霧較薄區(qū)域的灰度值。b.景深圖像歸一化；首先計算景深圖像灰度值的最大值，然后用景深圖像的每個灰度值除以該最大值，得到歸一化的景深信息，記作normd,歸一化景深信息的取值范圍在0和I之間；c. YUV空間彩色融合；首先新建一幅Y、U、V三個通道值全為0的YUV圖像F ;然后，將可見光圖像像素值賦給新建YUV圖像的U通道，將紅外圖像像素值賦給新建YUV圖像的V通道，得到融合圖像的色差通道；最后，將可見光圖像和紅外圖像進行非線性組合得到新建YUV圖像的Y通道， 其中紅外圖像的非線性組合系數(shù)是步驟b中得到的歸一化景深normd，可見光圖像的非線性組合系數(shù)是用I減去步驟b中得到的歸一化景深normd，用公式表示為
其中F表示YUV空間融合圖像，IR表示紅外圖像，Vis表示可見光圖像，normd表示歸一化景深，下標Y、U、V分別表示YUV顏色空間的三個通道。d. YUV空間非線性色彩傳遞；首先，選擇一幅與可見光圖像具有相似場景的彩色圖像作為參考圖像，如附圖4 所示；其次，將參考圖像變換至YUV顏色空間，并分別計算參考圖像在Y、U、V通道的均值和方差，記作yYMf、yuMf、yVM、。^、。^、；再次，用步驟b得到的歸一化景深乘以方差，分別得到Y、U、V通道的方差矩陣0Yd、O'、0vd，用I減去步驟b得到的歸一化景深乘以均值，分別得到Y、U、V通道的均值矩陣yYd、uud, Uvd，用公式表示為
權利要求
1.基于場景景深的霧天可見光/紅外圖像彩色融合方法，其特征在于，包括如下步驟步驟一、根據(jù)可見光圖像，計算場景的景深信息；步驟二、計算步驟一得到的場景景深的最大值，然后用景深圖像除以該最大值，得到場景的歸一化景深信息；步驟三、根據(jù)步驟二得到的歸一化景深信息，在YUV顏色空間進行可見光和紅外圖像的非線性加權彩色融合；步驟四、選取參考圖像，將參考圖像變換至YUV顏色空間，并分別計算參考圖像在Y、U、 V通道的均值和方差；步驟五、計算均值矩陣和方差矩陣，并進行色彩傳遞；步驟六、將色彩傳遞后的YUV空間融合圖像變換至RGB顏色空間。
2.如權利要求I所述的基于場景景深的霧天可見光/紅外圖像彩色融合方法，其特征在于，步驟一中場景的景深信息為一幅與可見光圖像大小相同的灰度圖像，其中景深圖像中灰度值大的像素點對應于可見光圖像中景深大的像素點，且可見光圖像中霧較厚區(qū)域的灰度值大于霧較薄區(qū)域的灰度值。
3.如權利要求I所述的基于場景景深的霧天可見光/紅外圖像彩色融合方法，其特征在于，步驟二中歸一化景深信息的取值范圍在0和I之間。
4.如權利要求I或2或3所述的基于場景景深的霧天可見光/紅外圖像彩色融合方法，其特征在于，步驟三中非線性加權彩色融合采用以下方法首先新建一幅Y、U、V三個通道值全為0的YUV圖像；然后，將可見光圖像像素值賦給新建YUV圖像的U通道，將紅外圖像像素值賦給新建YUV圖像的V通道，得到融合圖像的色差通道；最后將可見光圖像和紅外圖像進行非線性組合得到新建YUV圖像的Y通道，其中紅外圖像的非線性組合系數(shù)為步驟二中的歸一化景深，可見光圖像的非線性組合系數(shù)是用步驟一中場景的景深減去歸一化景深。
5.如權利要求I或2或3所述的基于場景景深的霧天可見光/紅外圖像彩色融合方法，其特征在于，步驟五中計算均值矩陣和方差矩陣采用以下方法首先用步驟二得到的歸一化景深乘以方差，分別得到Y、U、V通道的方差矩陣，用步驟一的景深減去步驟二得到的歸一化景深，乘以均值，分別得到Y、U、V通道的均值矩陣；然后建立映射關系，將Y、U、V通道的方差矩陣和均值矩陣作為參考圖像的均值和方差信息傳遞給融合圖像，得到YUV空間色彩傳遞后的融合圖像。
6.如權利要求I或2或3所述的基于場景景深的霧天可見光/紅外圖像彩色融合方法，其特征在于用于彩色融合的可見光圖像和紅外圖像為灰度圖像。
7.如權利要求I或2或3所述的基于場景景深的霧天可見光/紅外圖像彩色融合方法，其特征在于用于彩色融合的可見光圖像和紅外圖像為霧天拍攝的圖像。
全文摘要
本發(fā)明涉及一種基于場景景深的霧天可見光/紅外圖像彩色融合方法，屬于多波段圖像融合領域。本發(fā)明的目的是為解決現(xiàn)有可見光/紅外圖像融合技術中融合系數(shù)選取沒有特定標準，融合圖像色彩不自然，以及不能有效處理受霧天或人工煙霧影響的圖像的問題。首先根據(jù)霧天可見光圖像計算場景的景深圖像，并歸一化，得到景深信息；然后，將歸一化景深信息作為可見光和紅外圖像融合的權重因子，進行可見光和紅外圖像的非線性加權彩色融合；最后，建立映射關系，用非線性色彩傳遞技術修正非線性加權的彩色融合結果，得到熱目標突出、顏色真實自然的彩色融合圖像。
文檔編號G06T5/50GK102609927SQ20121000938
公開日2012年7月25日 申請日期2012年1月12日 優(yōu)先權日2012年1月12日
發(fā)明者張貝, 王嶺雪, 陳榕齊 申請人:北京理工大學