基于dm642的三路圖像金字塔融合算法的實(shí)現(xiàn)方法
【專利摘要】本發(fā)明提供一種基于DM642的三路圖像金字塔融合算法的實(shí)現(xiàn)方法，涉及光電圖像處理【技術(shù)領(lǐng)域】，用于解決現(xiàn)有技術(shù)中還未有能夠直接有效實(shí)施三路圖像的融合算法的問題，該方法包括步驟：實(shí)時(shí)采集三路傳感器當(dāng)前幀圖像并在DM642中緩存；分別構(gòu)造當(dāng)前緩存的三路傳感器的當(dāng)前幀圖像的高斯金字塔圖像；分別構(gòu)造三路傳感器的當(dāng)前幀圖像的拉普拉斯金字塔圖像；對三路傳感器的當(dāng)前幀圖像的拉普拉斯金字塔圖像的對應(yīng)級進(jìn)行融合得到融合圖像拉普拉斯金字塔；對融合圖像拉普拉斯金字塔進(jìn)行重構(gòu)運(yùn)算。上述方案中，基于DM642軟硬件資源，實(shí)時(shí)實(shí)現(xiàn)了三路圖像尤其是中波紅外、長波紅外和可見光圖像的拉普拉斯金字塔融合。
【專利說明】基于DM642的三路圖像金字塔融合算法的實(shí)現(xiàn)方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及光電圖像處理【技術(shù)領(lǐng)域】，特別是指一種基于DM642的三路圖像金字塔 融合算法的實(shí)現(xiàn)方法。

【背景技術(shù)】
[0002] 圖像融合是采用某種算法對兩幅或多幅不同的圖像進(jìn)行綜合與處理，最終形成一 幅新的圖像。其目的是通過對多幅圖像信息的提取與綜合，從而獲得對同一場景/目標(biāo)的 更為準(zhǔn)確、更為全面、更為可靠的圖象描述。根據(jù)融合處理所處的不同階段，圖像融合可分 為三個(gè)層次：像素級、特征級和決策級融合。像素級圖像融合指的是直接對各幅圖像的像素 點(diǎn)進(jìn)行信息綜合的過程。特征級圖像融合是對圖像進(jìn)行特征抽取后，將邊沿、形狀、輪廓等 信息進(jìn)行綜合處理的過程。而在進(jìn)行決策級圖像融合前，每種傳感器已經(jīng)獨(dú)立地完成了決 策或分類任務(wù)，融合工作實(shí)質(zhì)上是做出全局的最優(yōu)決策。
[0003] 目前，大部分融合算法都是在像素級展開的，主要有：加權(quán)平均法、邏輯濾波法、多 分辨金字塔算法、小波變換法、卡爾曼濾波算法等。在上述幾種算法中，加權(quán)平均法易實(shí)時(shí) 實(shí)現(xiàn)，但效果不理想。多分辨塔式圖像融合算法中的高斯-拉普拉斯金字塔和高斯-對比度 金字塔是效果比較好的兩種方法。但對比度金字塔因?yàn)橹貥?gòu)時(shí)的乘法關(guān)系，導(dǎo)致了在融合 灰度相差較大的圖像時(shí)會(huì)帶來較明顯的灰度失真，而且對比度金字塔算法中有除法運(yùn)算， 使得整個(gè)算法的運(yùn)算量比拉普拉斯金字塔算法大許多。小波變換效果較好，但由于該算法 主要是基于Matlab算法實(shí)現(xiàn)的，大量的卷積運(yùn)算使得該算法計(jì)算量大，計(jì)算復(fù)雜度高，對 存儲(chǔ)空間的要求高，不利于硬件實(shí)現(xiàn)。綜合考慮算法效果和硬件實(shí)現(xiàn)難度，目前主要采用拉 普拉斯金字塔算法作為實(shí)時(shí)圖像融合實(shí)現(xiàn)算法。
[0004] 在多路圖像融合算法實(shí)現(xiàn)方面，當(dāng)前主要是采取以下三種方案：①單DSP(數(shù)字信 號處理器）或多DSP并行處理方案。該方案通過單個(gè)或多個(gè)高性能的信號處理器件來實(shí)現(xiàn) 相應(yīng)的預(yù)處理與融合算法。②DSP+FPGA處理方案。③大規(guī)模FPGA處理方案。該方式通過 FPGA器件內(nèi)部所帶的豐富的邏輯資源、加法器和乘法器等資源來實(shí)現(xiàn)預(yù)處理與融合算法。 但是，目前業(yè)內(nèi)只有理論上的多路圖像拉普拉斯金字塔融合算法，仍未有能夠?qū)崿F(xiàn)該算法 的有效方法，尤其是針對中波紅外、長波紅外和可見光三路圖像的融合處理方法，這給實(shí)際 的多路圖像融合工作帶來了一定的困難，因此，急需一種能夠?qū)崿F(xiàn)多路圖像尤其是中波紅 夕卜、長波紅外和可見光三路圖像的融合的實(shí)際方法。


【發(fā)明內(nèi)容】

[0005] 為了解決現(xiàn)有技術(shù)中還未有能夠直接有效實(shí)施三路圖像的融合算法的問題，本發(fā) 明提供一種基于DM642的三路圖像金字塔融合算法的實(shí)現(xiàn)方法，通過該方法實(shí)現(xiàn)中波紅 夕卜、長波紅外和可見光三路圖像融合處理功能，同時(shí)該方法也可用于紅外中波/長波、紅外 中波/可見、紅外長波/可見等三種模式的雙路融合處理。
[0006] 本發(fā)明提供的一種基于DM642的三路圖像金字塔融合算法的實(shí)現(xiàn)方法，包括步 驟：
[0007] 實(shí)時(shí)采集三路傳感器當(dāng)前幀圖像并在DM642中緩存；
[0008] 分別構(gòu)造當(dāng)前緩存的三路傳感器的當(dāng)前幀圖像的高斯金字塔圖像；
[0009] 以三路傳感器的當(dāng)前幀圖像的高斯金字塔圖像為基礎(chǔ)，分別構(gòu)造三路傳感器的當(dāng) 前幀圖像的拉普拉斯金字塔圖像；
[0010] 對三路傳感器的當(dāng)前幀圖像的拉普拉斯金字塔圖像的對應(yīng)級進(jìn)行融合，得到融合 圖像拉普拉斯金字塔；
[0011] 對融合圖像拉普拉斯金字塔進(jìn)行重構(gòu)運(yùn)算，得到最終融合圖像。
[0012] 其中，在所述實(shí)時(shí)采集三路傳感器當(dāng)前幀圖像之前，還包括步驟：預(yù)先在 DM642DSP的外部SDRAM中開辟三塊乒乓緩沖區(qū)作為三路傳感器的采集圖像的緩存區(qū)；
[0013] 所述實(shí)時(shí)采集三路傳感器當(dāng)前幀圖像并在DM642中緩存，包括：通過DM642的DSP 的3個(gè)視頻口作為視頻捕捉口實(shí)時(shí)采集三路傳感器的當(dāng)前幀圖像、GJms ,同時(shí) 利用DM642的DSP中EDM的自動(dòng)搬運(yùn)數(shù)據(jù)功能，在CPU不干涉的情況下將3個(gè)視頻口采集 的三路傳感器的當(dāng)前幀圖像Giw、<7(f1w、（?%緩存到預(yù)先開辟的所述緩存區(qū)。
[0014] 其中，所述分別構(gòu)造當(dāng)前緩存的三路傳感器的當(dāng)前幀圖像的高斯金字塔圖像，包 括步驟：
[0015] 對三路傳感器的當(dāng)前幀圖像、Giw、<^7|8分別進(jìn)行高斯分解，得到三路傳 感器的當(dāng)前幀圖像的第一層高斯金字塔圖像G1mwAG1viS并緩存到所述緩存區(qū)；
[0016] 讀取緩存的所述三路傳感器的當(dāng)前幀圖像的第一層高斯金字塔圖像Gjlw、 G1mW、G1viS并分別對其進(jìn)行高斯分解，得到三路傳感器的當(dāng)前幀圖像的第二層高斯金字 塔圖像_(社w、G2MW、62^并緩存到所述緩存區(qū)；
[0017] 對三路傳感器的當(dāng)前幀圖像的第一層高斯金字塔圖像-Gjlw,GiMW、G1viS 和第二層高斯金字塔圖像Gfw、（72MW、<^VIS分別進(jìn)行EXPAND運(yùn)算，得到三路 傳感器的當(dāng)前幀圖像的第零層插值圖像G/f、Ggw、Gff以及第一層插值圖像 W、（7嚴(yán)、句:丨s。
[0018] 其中，對三路傳感器的當(dāng)前幀圖像Cfw、Gfis分別進(jìn)行高斯分解以及對 第一層高斯金字塔圖像（^w、Gfw、分別進(jìn)行高斯分解的方法為采用REDUCE函 數(shù)進(jìn)行計(jì)算，REDUCE函數(shù)定義如下： m=2n-2
[0019] REDUCEiG-,) =G；{Lj)= 4 ^w(nun)G；, (2/ +m,2j+/?) m=-2n=-2
[0020] 其中，所述I彡I彡N，N是高斯金字塔的總級數(shù)，I彡i彡C1,I彡j彡R1ApR1是 高斯金字塔第1級的大??；W(m，η)為5X5的Gaussian模板，S為LW、MW或VIS，G/采用不 同的s上標(biāo)分別表示對應(yīng)于長波紅外熱像儀、中波紅外熱像儀、可見光相機(jī)三路傳感器的 圖像。
[0021] 其中，所述EXPAND運(yùn)算定義為：

【權(quán)利要求】
1. 一種基于DM642的三路圖像金字塔融合算法的實(shí)現(xiàn)方法，其特征在于，包括步驟： 實(shí)時(shí)采集三路傳感器當(dāng)前幀圖像并在DM642中緩存； 分別構(gòu)造當(dāng)前緩存的三路傳感器的當(dāng)前幀圖像的高斯金字塔圖像； 以三路傳感器的當(dāng)前幀圖像的高斯金字塔圖像為基礎(chǔ)，分別構(gòu)造三路傳感器的當(dāng)前幀 圖像的拉普拉斯金字塔圖像； 對三路傳感器的當(dāng)前幀圖像的拉普拉斯金字塔圖像的對應(yīng)級進(jìn)行融合，得到融合圖像 拉普拉斯金字塔； 對融合圖像拉普拉斯金字塔進(jìn)行重構(gòu)運(yùn)算，得到最終融合圖像。
2. 如權(quán)利要求1所述的基于DM642的三路圖像金字塔融合算法的實(shí)現(xiàn)方法，其特征 在于，在所述實(shí)時(shí)采集三路傳感器當(dāng)前幀圖像之前，還包括步驟：預(yù)先在DM642DSP的外部 SDRAM中開辟三塊乒乓緩沖區(qū)作為三路傳感器的采集圖像的緩存區(qū)； 所述實(shí)時(shí)采集三路傳感器當(dāng)前幀圖像并在DM642中緩存，包括：通過DM642的DSP的 3個(gè)視頻口作為視頻捕捉口實(shí)時(shí)采集三路傳感器的當(dāng)前幀圖像、G^mw、Gj;IS，同時(shí)利 用DM642的DSP中EDM的自動(dòng)搬運(yùn)數(shù)據(jù)功能，在CPU不干涉的情況下將3個(gè)視頻口采集的 三路傳感器的當(dāng)前幀圖像、Gf s緩存到預(yù)先開辟的所述緩存區(qū)。
3. 如權(quán)利要求2所述的基于DM642的三路圖像金字塔融合算法的實(shí)現(xiàn)方法，其特征在 于，所述分別構(gòu)造當(dāng)前緩存的三路傳感器的當(dāng)前幀圖像的高斯金字塔圖像，包括步驟： 對三路傳感器的當(dāng)前幀圖像Gjw、GtJ4w、Gfis分別進(jìn)行高斯分解，得到三路傳感器 的當(dāng)前幀圖像的第一層高斯金字塔圖像、^vis并緩存到所述緩存區(qū)； 讀取緩存的所述三路傳感器的當(dāng)前幀圖像的第一層高斯金字塔圖像Gfw、 G1Mw、G1viS并分別對其進(jìn)行高斯分解，得到三路傳感器的當(dāng)前幀圖像的第二層高斯金字 塔圖像(g' w、G2MW、G2vlS并緩存到所述緩存區(qū)； 對三路傳感器的當(dāng)前幀圖像的第一層高斯金字塔圖像6iw、GiMW、G1 viS和第二層高 斯金字塔圖像G2LW、G2MW、（\VIS別進(jìn)行 EXPAND運(yùn)算，得到三路傳感器的當(dāng)前幀圖像的 第零層插值圖像G/f、G1^iw、Gff以及第一層插值圖像、G^w、G 2vP。
4. 如權(quán)利要求3所述的基于DM642的三路圖像金字塔融合算法的實(shí)現(xiàn)方法，其特征在 于，對三路傳感器的當(dāng)前幀圖像Ciw、（7 (fv、Gfs分別進(jìn)行高斯分解以及對第一層高斯 金字塔圖像、GlMw、G1viS分別進(jìn)行高斯分解的方法為采用REDUCE函數(shù)進(jìn)行計(jì)算， REDUCE函數(shù)定義如下： m-2 n=2 REDUCE(G； . ) - G；(L j) = 4 ΣΣ h-(/?7,n)Gs, . (2/ + m2j + n) Yn--IM--I 其中，所述I彡I彡N，N是高斯金字塔的總級數(shù)，I彡i彡C1, I彡j彡RpCpR1是高斯 金字塔第1級的大??；W(m，η)為5X5的Gaussian模板，S為LW、MW或VIS，G/采用不同的 s上標(biāo)分別表示對應(yīng)于長波紅外熱像儀、中波紅外熱像儀、可見光相機(jī)三路傳感器的圖像。
5. 如權(quán)利要求4所述的基于DM642的三路圖像金字塔融合算法的實(shí)現(xiàn)方法，其特征在 于，所述EXPAND運(yùn)算定義為：
其中，表示對G/進(jìn)行EXPAND運(yùn)算k次后得到的圖像，w(m，n)為5X5的
為整數(shù)坐標(biāo)時(shí)方計(jì)算入上述和式。
6. 如權(quán)利要求5所述的基于DM642的三路圖像金字塔融合算法的實(shí)現(xiàn)方法，其特 征在于，所述以三路傳感器的當(dāng)前幀圖像的高斯金字塔圖像為基礎(chǔ)，分別構(gòu)造三路傳感 器的當(dāng)前幀圖像的拉普拉斯金字塔圖像，包括：讀取緩存的三路傳感器的當(dāng)前幀圖像 G^LW、G^w、G^vis和第零層插值圖像，根據(jù)二者生成三路傳感 器的第零層拉普拉斯金字塔圖像、gIS并緩存到所述緩存區(qū)；同時(shí)讀取緩存 的三路傳感器的當(dāng)前幀圖像的第一層高斯金字塔圖像、6f w、Gfs和第一層插 值圖像GDv、Ggw、G 2vIs,根據(jù)二者生成三路傳感器的第一層拉普拉斯金字塔圖像 < w、Zfw、Z^is并緩存到所述緩存區(qū)；同時(shí)讀取緩存的三路傳感器的當(dāng)前幀圖像的第 二層高斯金字塔圖像 w、G2MW、（^is并將其作為三路傳感器的第二層拉普拉斯金字 塔圖像、Zfv、I^is后將其緩存到所述緩存區(qū)。
7. 如權(quán)利要求6所述的基于DM642的三路圖像金字塔融合算法的實(shí)現(xiàn)方法，其特征在 于，第1層拉普拉斯金字塔圖像#的生成方法為：
其中，N是拉普拉斯金字塔的總級數(shù)，s上標(biāo)為LW、麗或VIS。
8. 如權(quán)利要求7所述的基于DM642的三路圖像金字塔融合算法的實(shí)現(xiàn)方法，其特征在 于，所述對三路傳感器的當(dāng)前幀圖像的拉普拉斯金字塔圖像的對應(yīng)級進(jìn)行融合，得到融合 圖像拉普拉斯金字塔，包括： DM642的CPU依次從所述緩存區(qū)中讀取三路傳感器的當(dāng)前幀圖像的第零層、第一層和 第二層拉普拉斯金字塔圖像，同時(shí)采用加權(quán)平均融合規(guī)則計(jì)算對應(yīng)層的融合拉普拉斯金字 塔圖像，并將處理得到的第零層融合圖像拉普拉斯金字塔^、第一層融合圖像拉普拉斯金 字塔和第二層融合圖像拉普拉斯金字塔依次緩存到所述緩存區(qū)中。
9.如權(quán)利要求8所述的基于DM642的三路圖像金字塔融合算法的實(shí)現(xiàn)方法，其特征在 于，所述對融合圖像拉普拉斯金字塔進(jìn)行重構(gòu)運(yùn)算，包括： DM642的CPU從所述緩存區(qū)中讀取所述第二層融合圖像拉普拉斯金字塔，同時(shí)利用 所述EXPAND運(yùn)算進(jìn)行處理，得到第一層融合插值圖像并緩存到所述緩存區(qū)； (PU依次從所述緩存區(qū)中讀取所述第一層融合圖像拉普拉斯金字塔和所述第一層 融合插值圖像，同時(shí)利用公式：
進(jìn)行處理，得到融合圖像第一層高斯金字塔并緩存到所述緩存區(qū)； 讀取緩存的融合圖像第一層高斯金字塔〇?，同時(shí)利用所述EXPAND運(yùn)算進(jìn)行處理，得 到第零層融合插值圖像Gf1并緩存到所述緩存區(qū)； 讀取緩存的第零層融合圖像拉普拉斯金字塔^和所述第零層融合插值圖像Gf1，同時(shí) 利用公式：
進(jìn)行處理，得到最終融合圖像G'i并存儲(chǔ)到所述緩存區(qū)中。
【文檔編號】G06T5/50GK104376546SQ201410585061
【公開日】2015年2月25日 申請日期:2014年10月27日 優(yōu)先權(quán)日:2014年10月27日
【發(fā)明者】宋亞軍, 楊舒 申請人:北京環(huán)境特性研究所