基于超現(xiàn)實(shí)亮度對比度傳遞算法的可見光與紅外視頻融合方法
【專利摘要】基于超現(xiàn)實(shí)亮度對比度傳遞算法的可見光與紅外視頻融合方法，它涉及一種可見光與紅外視頻融合方法，本發(fā)明是要解決現(xiàn)有的紅外和可見光圖像融合方法，無法既能滿足視頻處理的實(shí)時(shí)性要求和又能在煙霧環(huán)境中獲得理想的可見光與紅外視頻融合效果的問題。本發(fā)明按以下步驟進(jìn)行：將可見光視頻與背景信息進(jìn)行超現(xiàn)實(shí)融合得到融合后的可見光視頻序列，并計(jì)算其亮度分量；將該亮度分量與紅外圖像分別進(jìn)行兩層提升小波變換得到稀疏系數(shù)；按一定的融合規(guī)則將兩類稀疏系數(shù)進(jìn)行融合得到融合后稀疏系數(shù)并進(jìn)行小波逆變換得灰度融合圖像并進(jìn)行亮度調(diào)整，最后對調(diào)整后的圖像變換回彩色空間，便得到最終的融合圖像即視頻序列。本發(fā)明適用于圖像處理【技術(shù)領(lǐng)域】。
【專利說明】基于超現(xiàn)實(shí)亮度對比度傳遞算法的可見光與紅外視頻融合方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及圖像處理【技術(shù)領(lǐng)域】，尤其涉及一種基于超現(xiàn)實(shí)亮度對比度傳遞算法的可見光與紅外視頻融合方法。
【背景技術(shù)】
[0002]圖像融合是指通過某種計(jì)算方法把不同傳感器拍攝的多幅圖像合并成一幅高質(zhì)量的圖像的過程，從而可以有效地發(fā)揮各種圖像傳感器的優(yōu)點(diǎn)，提高圖像信息的可分析性?，F(xiàn)實(shí)生活中要獲取某一場景的圖像可以使用可見光相機(jī)、紅外熱像儀等傳感器，可見光像機(jī)拍攝的圖像色彩鮮明、對比度高、符合人類的視覺特點(diǎn)，但是在有煙霧或者光線不足的情況下效果較差。紅外熱像儀通過感應(yīng)物體輻射出來的紅外線來成像，它能夠在存在煙霧或者光線不足的條件下正常工作，但是它所拍攝的圖像往往對比度不高，成像清晰度低。如果希望能夠全天候地觀察某一場景或目標(biāo)，則單一傳感器就不能夠完成任務(wù)，這時(shí)就需要融合多種傳感器拍攝的圖像信息，使融合圖像同時(shí)具有多種傳感器各自成像的優(yōu)點(diǎn)。
[0003]目前圖像融合的經(jīng)典方法主要有:1、劉坤等人提出了像素級多傳感器圖像融合的研究(見劉坤，郭雷，李暉暉.像素級多傳感器圖像融合的研究[J].計(jì)算機(jī)工程與應(yīng)用，2007,43(12):59-61)，主要針對紅外與可見光圖像進(jìn)行融合處理。2、趙高鵬等人提出了基于提升小波的紅外和可見光圖像融合方法(見趙高鵬，薄煜明，劉娣.基于提升小波的紅外和可見光圖像融合方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2009，30 (7):1697-1699)，以提升小波為分析工具，獲得了比普通小波更高的效率。而針對小波變換在描述圖像高維紋理細(xì)節(jié)時(shí)不具有各向異性的缺陷，3、宋江山、Arash等人提出了基于曲波變換的圖像融合方法(見宋江山，徐建強(qiáng)，司書春.改進(jìn)的曲波變換圖像融合方法[J].中國光學(xué)與應(yīng)用光學(xué)，2009，2
(2):145-149 和 Arash，Golibagh，Mahyari，etal.ANovel Image Fusion Method UsingCurvelet Transform Based on Linear Dependency Test [C].1nternational Conferenceon Digital Image Processing, 2009:351_354)，與傳統(tǒng)的小波變換相比，獲得了更好的效果，并能有效地抑制噪聲，但是曲波變換復(fù)雜度較高，速度較慢。4、Zejing Guang等人提出了基于Contourlet變換的圖像融合方法(見Zejing Guang, Zhenbing Zhao，QiangGa0.1nfrared and Visible Images Fusion Based on Contourlet-domain HiddenMarkov Tree Model[C].1nternational Congress on Image and Signal Processing,2011:1916-1920),將Contourlet變換這一新的多尺度分析工具應(yīng)用到了圖像融合中，相比于傳統(tǒng)的小波變換其效果有了明顯的改善。針對普通Contourlet變換不具有移位不變性的缺陷，5、黃克宇、W.Kong等人提出了非釆樣Contourlet變換(見黃克宇，李敏，何玉杰等.一種基于非釆樣Contourlet變換的圖像融合算法[J].現(xiàn)代電子技術(shù)，2011，34
(24):96-98 和 I Kong, Y.Lei, X.N1.Fusion technique for grey-scale visiblelight and infrared images based on non-subsampled contourlet transform andintensity-hue-saturation transform[J].1ET Signal Processing,2011,5(1):75-80),該算法在圖像融合中取得了很好的效果，但是上述五種圖像融合的經(jīng)典方法，在環(huán)境中存在大面積煙霧時(shí)，可見光與紅外圖像融合的效果很差。6、李光鑫等人提出了紅外和彩色可見光亮度對比度傳遞融合算法(見李光鑫，吳偉平，胡君.紅外和彩色可見光亮度對比度傳遞融合算法.中國光學(xué)，2011，4 (2):162-167)，但由于正交小波變換計(jì)算量大，導(dǎo)致該方法的運(yùn)算時(shí)間過長，無法滿足視頻處理的實(shí)時(shí)性要求。7、蔡琴慧等人提出了超現(xiàn)實(shí)的圖像融合方法(見蔡琴慧.超現(xiàn)實(shí)的圖像融合及在視頻中的應(yīng)用.杭州:浙江大學(xué)碩士學(xué)位論文，2007,5:11-21)，但該方法需要進(jìn)行梯度域的圖像重建，計(jì)算相對復(fù)雜，也無法滿足視頻處理的實(shí)時(shí)性要求。

【發(fā)明內(nèi)容】

[0004]本發(fā)明是要解決現(xiàn)有的紅外和可見光圖像融合方法，無法既能滿足視頻處理的實(shí)時(shí)性要求和又能在煙霧環(huán)境中獲得理想的可見光與紅外視頻融合效果的問題，而提出基于超現(xiàn)實(shí)亮度對比度傳遞算法的可見光與紅外視頻融合方法。
[0005]基于超現(xiàn)實(shí)亮度對比度傳遞算法的可見光與紅外視頻融合方法，其實(shí)現(xiàn)步驟包括如下:
[0006]步驟一:采用加權(quán)平均法從η幀可見圖像中提取出所拍攝場景的背景信息background,其中η為大于300且小于3000的正整數(shù)；
[0007]步驟二:如需更換背景信息background,則采用加權(quán)平均法從另外m巾貞可見圖像中提取出所拍攝場景的背景信息background,其中m為大于300且小于3000的正整數(shù)；
[0008]步驟三:采用加權(quán)平均法對可見光視頻與背景信息background進(jìn)行超現(xiàn)實(shí)融合，得到融合后的可見光視頻序列visible，具體過程采用如下經(jīng)驗(yàn)公式:
[0009]Visible=0.15Xbackground+0.9Xvisible ；
[0010]步驟四:使用如下經(jīng)驗(yàn)公式求解可見光視頻序列visible的亮度分量Yvis,
[0011]Yvis=0.299XR+0.587XG+0.114XB，其中R，G，B分別表示可見光視頻序列的紅，
綠，藍(lán)通道；
[0012]步驟五:將可見光視頻序列visible的亮度分量Yvis與紅外圖像IR分別進(jìn)行兩層提升小波變換得到亮度分量的稀疏系數(shù)Ytmp與紅外圖像的稀疏系數(shù)IRtmp ；
[0013]步驟六:按著一定融合規(guī)則對亮度分量的稀疏系數(shù)Ytmp與紅外圖像的稀疏系數(shù)IRtmp進(jìn)行融合，得到融合后的稀疏系數(shù)Ftmp，具體的融合規(guī)則如下:
[0014]a、稀疏系統(tǒng)低頻分量直接選取紅外圖像的低頻分量，以融入更多的目標(biāo)信息；
[0015]b、二層分解的高頻分量采取絕對值取大的融合準(zhǔn)則，這樣可以更好地選取圖像中的細(xì)節(jié)變化比較明顯的像素點(diǎn)；
[0016]C、一層分解的高頻分量采取加權(quán)平均的融合準(zhǔn)則；
[0017]步驟七:對融合后的稀疏系數(shù)Ftmp進(jìn)行兩層提升小波逆變換得灰度融合圖像F ；
[0018]步驟八:使用現(xiàn)有的亮度對比度傳遞算法對將灰度融合圖像F進(jìn)行調(diào)整得到調(diào)整后的圖像F%并求F*與亮度分量Yvis之差I(lǐng)mid ；
[0019]步驟九:使用如下公式得到融合結(jié)果的三個(gè)分量Re、Ge、Be并將其合并為最終結(jié)果視頻序列，
【權(quán)利要求】
1.基于超現(xiàn)實(shí)亮度對比度傳遞算法的可見光與紅外視頻融合方法，其特征在于它按以下步驟進(jìn)行: 步驟一:采用加權(quán)平均法從η幀可見圖像中提取出所拍攝場景的背景信息background,其中η為大于300且小于3000的正整數(shù)； 步驟二:如需更換背景信息background，則采用加權(quán)平均法從另外m幀可見圖像中提取出所拍攝場景的背景信息background,其中m為大于300且小于3000的正整數(shù)； 步驟三:采用加權(quán)平均法對可見光視頻與背景信息background進(jìn)行超現(xiàn)實(shí)融合，得到融合后的可見光視頻序列visible，具體過程采用如下經(jīng)驗(yàn)公式:visible=0.15Xbackground+0.9X visible ； 步驟四:使用如下經(jīng)驗(yàn)公式求解可見光視頻序列visible的亮度分量Yvis, Yvis=0.299XR+0.587XG+0.114XB，其中R，G，B分別表示可見光視頻序列的紅，綠，藍(lán)通道； 步驟五:將可見光視頻序列visible的亮度分量Yvis與紅外圖像IR分別進(jìn)行兩層提升小波變換得到亮度分量的稀疏系數(shù)Ytmp與紅外圖像的稀疏系數(shù)IRtmp ； 步驟六:按著一定融合規(guī)則對亮度分量的稀疏系數(shù)Ytmp與紅外圖像的稀疏系數(shù)IRtmp進(jìn)行融合，得到融合后的稀疏系數(shù)Ftmp ； 步驟七:對融合后的稀疏系數(shù)Ftmp進(jìn)行兩層提升小波逆變換得灰度融合圖像F ；步驟八:使用現(xiàn)有的亮度對比度傳遞算法對將灰度融合圖像F進(jìn)行調(diào)整得到調(diào)整后的圖像F%并求F*與亮度分量Yvis之差I(lǐng)mid ； 步驟九:使用如下公式得到融合結(jié)果的三個(gè)分量Re、Ge、Be并將其合并為最終結(jié)果視頻序列，
2.如權(quán)利要求1所述的基于超現(xiàn)實(shí)亮度對比度傳遞算法的可見光與紅外視頻融合方法，其特征在于步驟六中所述融合規(guī)則為: a.稀疏系統(tǒng)低頻分量直接選取紅外圖像的低頻分量； b.二層分解的高頻分量采取絕對值取大的融合準(zhǔn)則； c.一層分解的高頻分量采取加權(quán)平均的融合準(zhǔn)則。
3.如權(quán)利要求1所述的基于超現(xiàn)實(shí)亮度對比度傳遞算法的可見光與紅外視頻融合方法，其特征在于步驟八中所述現(xiàn)有的亮度對比度傳遞算法公式為:
F*= ( 0 Ref+ 0 F) X (F_ Ii f) + Ii Eef 式中F*為經(jīng)過亮度對比度調(diào)整后的灰度融合圖像，(μ F，σ F)和(μ Eef, σ Eef)分別是調(diào)整前的灰度融合圖像F以及及灰度參考圖像Ref的一階統(tǒng)計(jì)量和二階統(tǒng)計(jì)量。
【文檔編號】G06T5/50GK103761724SQ201410041858
【公開日】2014年4月30日 申請日期:2014年1月28日 優(yōu)先權(quán)日:2014年1月28日
【發(fā)明者】宋華軍, 任鵬, 百曉, 祝艷宏, 肖渤濤, 孫文健, 王玉霞, 邸萌萌 申請人:中國石油大學(xué)(華東)