一種寬動態(tài)圖像合成方法
【專利摘要】本發(fā)明公開了一種寬動態(tài)圖像合成方法，首先根據寬動態(tài)場景的單幀圖像進行曝光選擇，獲取待合成曝光圖像，對獲取的待合成曝光圖像進行區(qū)域分割，對分割后的每個區(qū)域塊計算其對應的運動矢量，以頻數最多的運動矢量作為幀運動配準的運動矢量，進行幀運動配準；通過對待合成曝光圖像的輻照圖進行MTM分級，然后通過輻照圖的差值求出運動圖像，對待合成曝光圖像中的物體運動進行配準；最后對配準后的待合成曝光圖像進行圖像融合得到最終的輸出寬動態(tài)圖像。本發(fā)明的寬動態(tài)圖像合成方法能夠有效的消除相機抖動以及物體運動造成的拖影、鬼影、重影等畫面模糊的情況，計算量適中，合成的圖像效果好。
【專利說明】一種寬動態(tài)圖像合成方法

【技術領域】
[0001] 本發(fā)明屬于圖像處理【技術領域】，尤其涉及一種寬動態(tài)圖像合成方法。

【背景技術】
[0002] 動態(tài)范圍是指給定場景中最亮區(qū)域與最暗區(qū)域的光照強度差異，目前廣泛應用的 傳統數字圖像所能表示的動態(tài)范圍是非常有限的，這使得場景中的高亮區(qū)域由于曝光過度 丟失了細節(jié)，而黑暗區(qū)域由于曝光不足，細節(jié)信息也有丟失。對于室內那些明暗反差很大的 場景，傳統的網絡攝像機IPC受CCD或CMOS感光特性所限，亮區(qū)和暗區(qū)的細節(jié)均難以保持， 嚴重影響圖像質量。因此需要獲取一組不同曝光度的圖像，再通過圖像融合對這組圖像進 行多幀寬動態(tài)合成，使最終呈現的圖像亮區(qū)和暗區(qū)細節(jié)均能得到體現。
[0003] 在許多理論研究中，對靜態(tài)圖像僅僅有好的曝光結果和融合算法就能得到好的寬 動態(tài)圖像了，但是在實際監(jiān)控應用中，更多的是要觀察存在運動物體的場景，并且相機裝在 室外時，受到風力、震動影響，不可避免的會發(fā)生抖動。無論是相機抖動造成的畫面整體運 動，還是場景中存在運動物體，如果不進行特殊的偽影去除操作，所觀察到的景象將是充滿 拖影、重影、鬼影等，邊緣和細節(jié)模糊不清。
[0004] 現有技術中，對于相機抖動造成畫面整體運動，通常采用基于MTB的圖像配準算 法，一般是對兩幅長、短曝光圖像直接二值化，計算位移結果，或者進行金字塔分解后，再計 算位移結果。但是無論是否使用金字塔分解，都存在以下幾個問題：
[0005] (1)如果曝光場景的中值附近像素所占比例較大時，差異評價相當不穩(wěn)定，非常容 易導致配準結果錯誤；
[0006] (2)更為重要的是，該方法受到運動物體的影響，如果畫面中存在運動物體，很容 易導致判斷結果錯誤。
[0007] 而寬動態(tài)圖像合成過程中的偽影去除方案有很多，主要差別在于運動檢測方法的 不同和運動部分偽影消除方式的不同，運動檢測方法有基于方差、塊匹配、MTB等許多方法。 但是現有方法存在的主要問題有：運動物體的偽影去除不夠徹底；運動物體與靜止背景的 融合性不夠好，拼接效果明顯；用到了迭代過程，運算量大，不適合視頻監(jiān)控實時處理的需 求。


【發(fā)明內容】

[0008] 本發(fā)明的目的是提供一種寬動態(tài)圖像合成方法，用于寬動態(tài)場景下多幀待合成曝 光圖像的合成，可以有效避免相機抖動，以及場景中存在運動物體造成的拖影、重影、鬼影 等畫面模糊的情況。
[0009] 為了實現上述目的，本發(fā)明技術方案如下：
[0010] 一種寬動態(tài)圖像合成方法，用于對圖像采集設備獲取的當前寬動態(tài)場景的至少兩 幀待合成曝光圖像進行合成，該方法包括步驟：
[0011] 對于獲取的待合成曝光圖像，選取其中一幀為參考圖像，其他幀為待配準圖像，將 每一幀待合成曝光圖像進行區(qū)域分割，對于每一幀待配準圖像，對分割后的每個區(qū)域塊計 算其對應于參考圖像的運動矢量，以頻數最多的運動矢量作為幀運動配準的運動矢量，對 該待配準圖像進行幀運動配準；
[0012] 對于幀運動配準后的待合成曝光圖像重建其輻照圖，對重建的輻照圖進行分級得 到各自的多門限圖，計算兩兩待合成曝光圖像多門限圖的差值得到運動圖像，將得到的運 動圖像進行或運算得到最終的運動圖像，利用得到的最終運動圖像提取每幀待合成曝光圖 像的運動區(qū)域，對運動區(qū)域計算信息熵，選擇信息熵最大的一幀待合成曝光圖像作為參考 圖像，其他的幀作為待配準圖像，將參考圖像的運動區(qū)域匹配到待配準圖像的運動區(qū)域，進 行物體運動配準；
[0013] 對配準后的待合成曝光圖像進行圖像融合得到最終的輸出寬動態(tài)圖像。
[0014] 由于圖像中的偽影是由于圖像中物體運動和相機抖動造成的，為了去除偽影，如 果先進行物體運動配準，再進行幀運動配準容易造成幀配準過度，還需要進行回調，操作較 為麻煩。本發(fā)明首先進行幀運動配準，然后再進行物體運動配準，無論運動物體的大小，都 可以很好的去除相機抖動和物體運動造成的偽影。
[0015] 進一步地，所述方法在獲取待合成曝光圖像時，還包括曝光選擇步驟，所述曝光選 擇方法包括步驟：
[0016] 對判斷為寬動態(tài)場景的單幀圖像的像素點按照像素值的大小順序均分為至少兩 級；
[0017] 選擇其中的至少兩級對應的像素點作為曝光對象，分別進行自動曝光，得到至少 兩幀待合成曝光圖像。
[0018] 本發(fā)明方法中，所述對分割后的每個區(qū)域塊計算其對應于參考圖像的運動矢量， 包括步驟：
[0019] 步驟1. 1)、對分割的每個區(qū)域塊分別求MTB二值圖像；
[0020]

【權利要求】
1. 一種寬動態(tài)圖像合成方法，用于對圖像采集設備獲取的當前寬動態(tài)場景的至少兩幀 待合成曝光圖像進行合成，其特征在于，該方法包括步驟： 對于獲取的待合成曝光圖像，選取其中一幀為參考圖像，其他幀為待配準圖像，將每一 幀待合成曝光圖像進行區(qū)域分割，對于每一幀待配準圖像，對分割后的每個區(qū)域塊計算其 對應于參考圖像的運動矢量，以頻數最多的運動矢量作為幀運動配準的運動矢量，對該待 配準圖像進行幀運動配準； 對于幀運動配準后的待合成曝光圖像重建其輻照圖，對重建的輻照圖進行分級得到各 自的多門限圖，計算兩兩待合成曝光圖像多門限圖的差值得到運動圖像，將得到的運動圖 像進行或運算得到最終的運動圖像，利用得到的最終運動圖像提取每幀待合成曝光圖像的 運動區(qū)域，對運動區(qū)域計算信息熵，選擇信息熵最大的一幀待合成曝光圖像作為參考圖像， 其他的幀作為待配準圖像，將參考圖像的運動區(qū)域匹配到待配準圖像的運動區(qū)域，進行物 體運動配準； 對配準后的待合成曝光圖像進行圖像融合得到最終的輸出寬動態(tài)圖像。
2. 根據權利要求1所述的寬動態(tài)圖像合成方法，其特征在于，所述方法在獲取待合成 曝光圖像時，還包括曝光選擇步驟，所述曝光選擇包括步驟： 對判斷為寬動態(tài)場景的單幀圖像的像素點按照像素值的大小順序均分為至少兩級； 選擇其中的至少兩級對應的像素點作為曝光對象，分別進行自動曝光，得到至少兩幀 待合成曝光圖像。
3. 根據權利要求1所述的寬動態(tài)圖像合成方法，其特征在于，所述對分割后的每個區(qū) 域塊計算其對應于參考圖像的運動矢量，包括步驟： 步驟1. 1)、對分割的每個區(qū)域塊分別求MTB二值圖像；
其中，MTB(x，y)為像素點（X，y)的MTB值，（X，y)表示區(qū)域塊內的像素坐標，Z(x，y) 為該像素點的灰度值，Zmral為該區(qū)域塊的中值像素灰度值； 步驟1. 2)、對每一幀待配準圖像，按照如下公式計算每個區(qū)域塊對應于參考圖像的評 估值 EV(u，v):
其中，（u，v)表示區(qū)域塊的位移矢量，MTB'（X+u，y+v)表示待配準圖像區(qū)域塊中像素點 (x+u，y+v)對應的MTB值，MTB(x，y)表示參考圖像中對應像素點（X，y)的MTB值，xor為 異或運算； 步驟1.3)、根據評估值，按照如下公式計算每個區(qū)域塊的運動矢量（U，V): (U, V) = (u, v) |min[EV(u；v), (u, v) e [-r,+r], 其中，r為圖像采集設備在水平和垂直方向單側可能運動的最大位移量。
4. 根據權利要求3所述的寬動態(tài)圖像合成方法，其特征在于，所述以頻數最多的運動 矢量作為幀運動配準的運動矢量，對該待配準圖像進行幀運動配準，包括步驟： 對于每一幀待配準圖像，統計其每個區(qū)域塊的運動矢量，以頻數最多的運動矢量作為 該幀待配準圖像的運動矢量； 將待配準圖像向參考圖像方向平移其運動矢量對應的像素。
5. 根據權利要求1所述的寬動態(tài)圖像合成方法，其特征在于，所述計算兩兩待合成曝 光圖像多門限圖的差值得到運動圖像，包括步驟： 步驟2. 1)、對重建得到的兩幅輻照圖Ei和E2，分別統計得到直方圖Hist〇1和Hist〇2 ; 步驟2. 2)、將HistOi和Histo2等分成K部分； 步驟2. 3)、對Hist〇1和Hist〇2等分后的各段分別賦值，得到兩幅多門限圖； 步驟2. 4)、對兩幅多門限圖求差值，得到運動圖像Μ ; 步驟2. 5)、對運動圖像Μ做形態(tài)學運算，以去除多余雜點和空洞。
6. 根據權利要求1所述的寬動態(tài)圖像合成方法，其特征在于，所述利用得到的最終運 動圖像提取每幀待合成曝光圖像的運動區(qū)域，對運動區(qū)域計算信息熵，具體包括步驟： 步驟3. 1)、按照如下公式提取每幀待合成曝光圖像的運動區(qū)域： Μ, = Ε · Me 其中，Μ'為該待合成曝光圖像的運動區(qū)域，E為該待合成曝光圖像的輻照圖，為最終 的運動圖像； 步驟3. 2)、統計各幀待合成曝光圖像的運動區(qū)域的直方圖，按照如下公式計算各幀待 合成曝光圖像運動區(qū)域的信息熵： Η = - Σ p (q) logp (q) 其中P(q)表示輻照值為q的像素數量占運動區(qū)域像素總數量的比率。
7. 根據權利要求1所述的寬動態(tài)圖像合成方法，其特征在于，所述將參考圖像的運動 區(qū)域匹配到待配準圖像的運動區(qū)域，進行物體運動配準，包括步驟： 步驟4. 1)、對最終的運動圖像進行高斯濾波； 步驟4. 2)、對于每一幀待配準圖像，根據高斯濾波后的運動圖像從參考圖像中按照下 式獲取用于配準的運動區(qū)域亮度圖Μκ:
其中，Μ"為高斯濾波后的運動圖像，Ικ為參考圖像,tK為參考圖像的曝光時間，tP為待 配準圖像的曝光時間； 步驟4. 3)、將獲取的用于配準的運動區(qū)域亮度圖Μκ與待配準圖像中的靜止區(qū)域SK疊 力口，對待配準圖像進行物體運動配準，其中待配準圖像中的靜止區(qū)域SK為： SK = (1-M" ) · IP， 其中，Ip為待配準圖像。
8. 根據權利要求1所述的寬動態(tài)圖像合成方法，其特征在于，所述對配準后的待合成 曝光圖像進行圖像融合得到最終的輸出寬動態(tài)圖像，采用的是基于多分辨率分解的圖像融 合方法，其中對應的權重為： weight = weight-Exposure · weight_Contrast · weight_Saturation ; 其中，weight_Exposure 為曝光權重，weight_Contrast 為對比度權重，weight_ Saturation為飽和度權重，各自為：

其中，R、G、B表示紅、綠、藍三個顏色通道的像素值，u和δ為常數， Η 為低通濾波器。
【文檔編號】H04N5/235GK104144298SQ201410339033
【公開日】2014年11月12日 申請日期:2014年7月16日 優(yōu)先權日:2014年7月16日
【發(fā)明者】李嬋, 朱旭東, 王智玉 申請人:浙江宇視科技有限公司