一種利用圖像融合技術(shù)消除圖像反影的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種利用圖像融合技術(shù)消除圖像反影的 方法。
【背景技術(shù)】
[0002] 當(dāng)透過(guò)透明媒介去拍攝場(chǎng)景的時(shí)候，獲取的圖像往往表現(xiàn)為背景層和反射層的混 合疊加，背景層表示所拍攝的目標(biāo)場(chǎng)景，反射層是由于光線在媒介表面的反射作用而產(chǎn)生 的一些未知場(chǎng)景的反射影像，該使得所拍攝的圖像質(zhì)量嚴(yán)重下降。該種情況在日常生活中 會(huì)經(jīng)常見(jiàn)到，比如拍攝商場(chǎng)樞窗里展示的時(shí)裝，柜臺(tái)里用玻璃保護(hù)的首飾品，還有博物館里 展示的字畫(huà)文物等等。
[0003] 目前，根據(jù)算法輸入圖像的數(shù)量可W將消除圖像反影的方法分成兩大類(lèi)，第一類(lèi) 算法只要求輸入一幅圖像，比如Levin和Weiss在2004年提出一種反影消除方法，該方 法要求用戶先標(biāo)注出屬于背景層和屬于反射層的邊緣信息，然后將標(biāo)注信息和圖像梯度的 稀疏先驗(yàn)信息輸入一個(gè)優(yōu)化模型優(yōu)化求解得到反影消除結(jié)果。由于該種方法需要用戶交 互，而且標(biāo)注圖像邊緣信息既費(fèi)時(shí)又枯燥，因此不便于應(yīng)用。隨后，Levin又提出一種自動(dòng) 消除反射的算法，該算法首先構(gòu)造一個(gè)自然圖像數(shù)據(jù)庫(kù)，然后使用機(jī)器學(xué)習(xí)的思想在圖像 庫(kù)中搜索優(yōu)化出背景層和反射層的最優(yōu)組合，從而得到消除反射的圖像。但是該種基于樣 例的學(xué)習(xí)方法對(duì)數(shù)據(jù)庫(kù)的依賴性比較強(qiáng)，而且當(dāng)圖像中包含比較復(fù)雜的結(jié)構(gòu)信息時(shí)也會(huì)失 效。第二類(lèi)方法要求輸入多幅圖像，因?yàn)槎喾鶊D像能夠?yàn)閱?wèn)題的求解提供更多的有用信息。 N. Kong等人在2012年提出一種采用偏振的方法，在相機(jī)鏡頭前面加上偏光鏡，通過(guò)旋轉(zhuǎn)偏 光鏡頭采集多幅圖像，該樣采集的圖像具有一個(gè)特點(diǎn)就是背景層和反射層的混合比例會(huì)發(fā) 生變化，基于該種特點(diǎn)可W用優(yōu)化方法得到消除反射的圖像。A. Agrawal等人在2005年提 出的方法中要求分別在不使用閃光燈和使用閃光燈的情況下采集兩幅圖像，然后采用梯度 投影的方法消除反射。該一類(lèi)方法對(duì)拍攝有一定的專業(yè)技術(shù)要求同時(shí)還要求相機(jī)在拍攝的 時(shí)候必須固定，W保證采集的圖像能夠嚴(yán)格對(duì)齊。但是對(duì)于業(yè)余攝影者來(lái)說(shuō)該些要求顯然 增加了拍攝的難度，在實(shí)踐中不便于操作。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是提供了一種利用圖像融合技術(shù)消除圖像反影的方法，該方法需要 在打開(kāi)閃光燈和關(guān)閉閃光燈的情況下分別拍攝兩幅圖像。如圖2所示，打開(kāi)閃光燈拍攝圖 像可W有效抑制反影，但是會(huì)受到光斑的"污染"，而關(guān)閉閃光燈拍攝的圖像雖然不會(huì)受到 光斑"污染"，但存在反影，所W可W考慮將兩幅圖像進(jìn)行融合來(lái)消除反影和光斑。
[0005] 為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：一種利用圖像融合技術(shù)消除圖像 反影的方法，其特征在于包含如下步驟： 51 ;在閃光和非閃光的條件下分別采集兩幅圖像標(biāo)記為閃光圖像巧日非閃光圖像也 52 ;將非閃光圖像與閃光圖像巧對(duì)齊后標(biāo)記為對(duì)齊非閃光圖像4 ; 53 ;定位閃光圖像每中光斑的位置并計(jì)算光斑直徑； 54 ;將對(duì)齊非閃光圖像4進(jìn)行色調(diào)變換，使其與閃光圖像勾的色調(diào)保持一致； S5;根據(jù)光斑位置及其屬性值生成一個(gè)高斯掩模，利用該高斯掩模將色調(diào)變換后的對(duì) 齊非閃光圖像4和閃光圖像每平滑的融合在一起得到最終消除反影的圖像/。
[0006] 其中，所述步驟S2中，分別計(jì)算閃光圖像巧日非閃光圖像馬的ORB特征，然后用 PR0SAC算法計(jì)算得到兩幅圖像之間的單應(yīng)性矩陣，根據(jù)單應(yīng)性矩陣對(duì)非閃光圖像馬進(jìn)行投 影得到與閃光圖像馬對(duì)齊的對(duì)齊非閃光圖像4，其具體步驟為： S2-1 ;分別計(jì)算閃光圖像巧日非閃光圖像帶方向信息的FAST特征點(diǎn)，然后用BRIEF 描述符對(duì)特征點(diǎn)描述得到ORB特征向量； S2-2 ;應(yīng)用PR0SAC算法對(duì)閃光圖像與和非閃光圖像與的ORB特征向量進(jìn)行匹配，計(jì)算 得到單應(yīng)性矩陣巧 52- 3 ;根據(jù)單應(yīng)性矩陣巧才非閃光圖像與重投影得到與閃光圖像與對(duì)齊的對(duì)齊非閃光 圖像4。
[0007] 所述步驟S3中，閃光圖像每中光斑的定位和其屬性值的計(jì)算過(guò)程為： 53- 1 ;用高斯分巧
【主權(quán)項(xiàng)】
1. 一種利用圖像融合技術(shù)消除圖像反影的方法，其特征在于包含如下步驟： 51 :在閃光和非閃光的條件下分別采集兩幅圖像標(biāo)記為閃光圖像Ti和非閃光圖像4 52 :將非閃光圖像4與閃光圖像7^對(duì)齊后標(biāo)記為對(duì)齊非閃光圖像& ; 53 :定位閃光圖像心中光斑的位置并計(jì)算光斑直徑； 54 :將對(duì)齊非閃光圖像4進(jìn)行色調(diào)變換，使其與閃光圖像7^的色調(diào)保持一致，變換后 的圖像像素顏色值通過(guò)如下公式計(jì)算得到：
其中，表示對(duì)齊非閃光圖像Ii中某個(gè)給定的像素，Cjr(Ji)為閃光圖像心中像素 Z的 顏色值，權(quán)值是度量像素 X% "相鄰"性的似然值，其滿足條件^
，并可以通過(guò)如下公式計(jì)算得到：
其中，Zraisr(X2X0)表示像素 X% A顏色的相似性，(X3X0)表示像素 X% 4距 離的相近程度，表示像素 Z距離光斑中心位置A73sa的遠(yuǎn)近程度； 55 :根據(jù)光斑位置及其屬性值生成一個(gè)高斯掩模，利用該高斯掩模將色調(diào)變換后的對(duì) 齊非閃光圖像和閃光圖像//F滑的融合在一起得到最終消除反影的圖像/， 所述步驟S3中，閃光圖像中光斑的定位和其屬性值的計(jì)算過(guò)程為： S3-1 :用高斯分布
建模閃光圖像Ti中光斑的亮度分布，生成 一個(gè)高斯模板，的取值范圍為圖像寬度的0.01-0. 05倍，寬度和高度分別為10* σ +1 ; S3-2 :用該高斯模板與閃光圖像心做卷積運(yùn)算，響應(yīng)的最大值& J卩為光斑的中心位 置，其中
S3-3 :將圖像閾值化得到二值圖像，然后對(duì)二值圖像進(jìn)行連通操作得到多個(gè)連通域； S3-4:最后選出包含光斑中心位置的連通域并計(jì)算其直徑作為所求光斑的有效直徑 d〇
2. 根據(jù)權(quán)利要求1所述的利用圖像融合技術(shù)消除圖像反影的方法，其特征在于：所述 步驟S2中，分別計(jì)算閃光圖像T7和非閃光圖像&的ORB特征，然后用PROSAC算法計(jì)算得 到兩幅圖像之間的單應(yīng)性矩陣，根據(jù)單應(yīng)性矩陣對(duì)非閃光圖像Λ進(jìn)行投影得到與閃光圖像 Λ對(duì)齊的對(duì)齊非閃光圖像其具體步驟為： S2-1 :分別計(jì)算閃光圖像Ti和非閃光圖像J/帶方向信息的FAST特征點(diǎn)，然后用BRIEF 描述符對(duì)特征點(diǎn)描述得到ORB特征向量； S2-2 :應(yīng)用PROSAC算法對(duì)閃光圖像Ti和非閃光圖像&的ORB特征向量進(jìn)行匹配，計(jì)算 得到單應(yīng)性矩陣^ S2-3 :根據(jù)單應(yīng)性矩陣/??非閃光圖像Λ重投影得到與閃光圖像Ti對(duì)齊的對(duì)齊非閃光 圖像4。
3. 根據(jù)權(quán)利要求1所述的利用圖像融合技術(shù)消除圖像反影的方法，其特征在于：所述 步驟S4中，顏色相似性似然值Iw(JC aJC0)由如下公式計(jì)算得到：
其中，III表示2_范數(shù)，Cjl(JC0)表示變換前像素％的顏色值，AEei3r是控制參數(shù)，取值 為 0. 1。
4. 根據(jù)權(quán)利要求1所述的利用圖像融合技術(shù)消除圖像反影的方法，其特征在于：所述 步驟S4中，像素位置的相近程度似然值2^(&3%)由如下公式計(jì)算得到 ：
其中，產(chǎn)U)表示像素 Z的坐標(biāo)位置，GTefe是控制參數(shù)，取值為圖像寬度的倒數(shù)。
5. 根據(jù)權(quán)利要求1所述的利用圖像融合技術(shù)消除圖像反影的方法，其特征在于：所述 步驟S4中，像素^距離光斑中心位置A73sa的遠(yuǎn)近程度似然值I osba(X)由如下公式計(jì)算得 到：
其中，0W是控制參數(shù)，取值為W。
6. 根據(jù)權(quán)利要求1所述的利用圖像融合技術(shù)消除圖像反影的方法，其特征在于：所述 步驟S5中，圖像融合步驟包括： S5-1，利用公式
生成一個(gè)和輸入圖像相同大小的高斯掩模 私其中心位置在，CT值為光斑的有效直徑4 S5-2,通過(guò)如下公式將色調(diào)變換后的對(duì)齊非閃光圖像匕和閃光圖像Ti進(jìn)行融合得到 最終消除反影的圖像/:
【專利摘要】本發(fā)明公開(kāi)了一種利用圖像融合技術(shù)消除圖像反影的方法，包含如下步驟：S1：在閃光和非閃光的條件下分別采集兩幅圖像標(biāo)記為閃光圖像 IF 和非閃光圖像 IR ；S2：將非閃光圖像 IR 與閃光圖像 IF 對(duì)齊后標(biāo)記為對(duì)齊非閃光圖像 ；S3：定位閃光圖像 IF 中光斑的位置并計(jì)算光斑直徑；S4：將對(duì)齊非閃光圖像進(jìn)行色調(diào)變換，使其與閃光圖像 IF 的色調(diào)保持一致；S5：根據(jù)光斑位置及其屬性值生成一個(gè)高斯掩模，利用該高斯掩模將色調(diào)變換后的對(duì)齊非閃光圖像和閃光圖像 IF 平滑的融合在一起得到最終消除反影的圖像 I 。本發(fā)明具有算法簡(jiǎn)單有效、對(duì)拍攝者要求低和便于實(shí)際應(yīng)用等特點(diǎn)。
【IPC分類(lèi)】G06T5-50
【公開(kāi)號(hào)】CN104537633
【申請(qǐng)?zhí)枴緾N201410783257
【發(fā)明人】伍博, 王燕, 王芳, 吳雪冰, 劉恒
【申請(qǐng)人】河南師范大學(xué)
【公開(kāi)日】2015年4月22日
【申請(qǐng)日】2014年12月18日