通過(guò)運(yùn)動(dòng)物體檢測(cè)和擴(kuò)展去除鬼影的高動(dòng)態(tài)范圍成像方法
【專利摘要】本發(fā)明提供一種通過(guò)運(yùn)動(dòng)物體檢測(cè)和擴(kuò)展去除鬼影的高動(dòng)態(tài)范圍成像方法，本發(fā)明的重要思想是對(duì)運(yùn)動(dòng)區(qū)域在邊緣的約束下進(jìn)行擴(kuò)展來(lái)增強(qiáng)運(yùn)動(dòng)區(qū)域檢測(cè)的結(jié)果；本發(fā)明使用一種基于馬爾可夫隨機(jī)場(chǎng)框架的方法來(lái)檢測(cè)運(yùn)動(dòng)區(qū)域，并使用一種基于圖像分割的方法對(duì)運(yùn)動(dòng)區(qū)域進(jìn)行擴(kuò)展；根據(jù)擴(kuò)展后的運(yùn)動(dòng)區(qū)域的掩膜圖像調(diào)整各像素的權(quán)重，并將各像素權(quán)重應(yīng)用到最終的曝光融合中，可以有效地解決在高動(dòng)態(tài)范圍成像中出現(xiàn)的鬼影問(wèn)題。
【專利說(shuō)明】
通過(guò)運(yùn)動(dòng)物體檢測(cè)和擴(kuò)展去除鬼影的高動(dòng)態(tài)范圍成像方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其是高動(dòng)態(tài)范圍成像（HDRI，High Dynamic Range Imaging)領(lǐng)域，是一種通過(guò)運(yùn)動(dòng)物體檢測(cè)和擴(kuò)展去除鬼影的高動(dòng)態(tài)范圍成像方法。
【背景技術(shù)】
[0002] 實(shí)際場(chǎng)景的動(dòng)態(tài)范圍比大多數(shù)的傳感器和顯示設(shè)備可以支持的動(dòng)態(tài)范圍更廣泛。 為了使顯示的圖像更貼近現(xiàn)實(shí)，人們提出了高動(dòng)態(tài)成像（HDRI，High Dynamic Range Imaging)技術(shù)，通過(guò)將多張不同曝光度的圖像進(jìn)行合成來(lái)克服傳感器和顯示設(shè)備的限制。 這種合成技術(shù)主要分為兩種:一種是先生成高動(dòng)態(tài)范圍（HDR，High Dynamic Range)圖像， 然后通過(guò)色調(diào)映射（Tone Mapping)得到一張低動(dòng)態(tài)范圍（LDR，Low-Dynamic Range)圖像， 另一種是直接將多張不同曝光度的圖像合成出LDR圖像。本發(fā)明屬于后者。
[0003] 多曝光圖像合成的一個(gè)主要問(wèn)題是由于場(chǎng)景中物體運(yùn)動(dòng)而產(chǎn)生的鬼影，這也是目 前多曝光圖像融合算法需要關(guān)注的主要問(wèn)題。一個(gè)普遍的想法是先檢測(cè)運(yùn)動(dòng)區(qū)域，然后在 圖像合成時(shí)將運(yùn)動(dòng)區(qū)域排除在外，或者分配很小的權(quán)重。Li、Gallo、Huang分別使用頂F(強(qiáng) 度映射函數(shù)Intensity Mapping Function)、RANSAC(隨機(jī)抽樣一致性算法RANdom Sample Consensus)、塊匹配(Block Matching)來(lái)尋找運(yùn)動(dòng)區(qū)域。最近，Zhou提出了一種假設(shè)背景圖 像是一個(gè)低秩矩陣并計(jì)算最優(yōu)解的方法來(lái)檢測(cè)運(yùn)動(dòng)區(qū)域，Lee將這種低秩檢測(cè)方法引入到 了高動(dòng)態(tài)范圍圖像合成中。這些算法嘗試先檢測(cè)運(yùn)動(dòng)區(qū)域，然后在合成時(shí)調(diào)整運(yùn)動(dòng)區(qū)域的 權(quán)重。然而，準(zhǔn)確地檢測(cè)運(yùn)動(dòng)區(qū)域是非常困難的，圖像中曝光不足或者曝光過(guò)度的部分都會(huì) 對(duì)檢測(cè)結(jié)果造成影響。此外，即使運(yùn)動(dòng)區(qū)域被檢測(cè)和標(biāo)記，鬼影仍然會(huì)存在于最終的圖像 中，一個(gè)主要的問(wèn)題就是如果在曝光融合時(shí)將運(yùn)動(dòng)區(qū)域排除在外，那么運(yùn)動(dòng)區(qū)域邊緣兩側(cè) 的像素在合成時(shí)將會(huì)有不同的輸入值，這會(huì)導(dǎo)致合成出的圖像會(huì)出現(xiàn)與運(yùn)動(dòng)區(qū)域形狀相同 的鬼影。由于這些因素，現(xiàn)有的很多算法不能很好地去除鬼影。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明要解決的問(wèn)題是:在高動(dòng)態(tài)范圍成像中，如果直接使用多曝光融合，那么可 能會(huì)因?yàn)閳?chǎng)景中有物體運(yùn)動(dòng)而出現(xiàn)"鬼影"現(xiàn)象。而使用現(xiàn)有的鬼影去除算法，最終生成的 圖像中仍然可能存在鬼影現(xiàn)象。本發(fā)明提供一種通過(guò)運(yùn)動(dòng)物體檢測(cè)和擴(kuò)展去除鬼影的高動(dòng) 態(tài)范圍成像方法，可以有效地解決在高動(dòng)態(tài)范圍成像中出現(xiàn)的鬼影問(wèn)題。
[0005] 本發(fā)明的技術(shù)方案為:本發(fā)明一種通過(guò)運(yùn)動(dòng)物體檢測(cè)和擴(kuò)展去除鬼影的高動(dòng)態(tài)范 圍成像方法，包括以下步驟：
[0006] (1)運(yùn)動(dòng)區(qū)域檢測(cè):將一組不同曝光度的圖像按曝光時(shí)間升序排列，計(jì)算相機(jī)響應(yīng) 函數(shù)，并選取一張能夠全部參與最終合成的圖像作為參考圖像，則運(yùn)動(dòng)區(qū)域的檢測(cè)就是要 找出其他圖像中與參考圖像不同的區(qū)域；
[0007] 根據(jù)相機(jī)響應(yīng)函數(shù)將參考圖像的曝光度調(diào)整為其他圖像的曝光度，然后計(jì)算其他 圖像與調(diào)整后的參考圖像對(duì)應(yīng)的像素點(diǎn)的差值，差值越大則像素點(diǎn)屬于運(yùn)動(dòng)區(qū)域的可能性 越大；
[0008] 建立一個(gè)基于馬爾可夫隨機(jī)場(chǎng)的能量函數(shù)，將運(yùn)動(dòng)區(qū)域檢測(cè)這個(gè)標(biāo)記問(wèn)題轉(zhuǎn)換為 能量最小化問(wèn)題，并使用圖割解決能量最小化問(wèn)題;得到一個(gè)掩膜圖像，背景區(qū)域被標(biāo)記為 0，運(yùn)動(dòng)區(qū)域被標(biāo)記為1;
[0009] (2)運(yùn)動(dòng)區(qū)域擴(kuò)展:擴(kuò)展算法需要兩個(gè)標(biāo)記區(qū)域，一個(gè)是hard object，一個(gè)是hard background，分別記作Ho和Hb區(qū)域，這兩個(gè)區(qū)域分別表示必定是物體的區(qū)域即運(yùn)動(dòng)區(qū)域和必 定是背景的區(qū)域即非運(yùn)動(dòng)區(qū)域;Ho使用步驟（1)檢測(cè)到的運(yùn)動(dòng)區(qū)域代替，Hb使用一種基于圖 像分割的方法得到；
[0010] 擴(kuò)展算法就是將Ho和Hb兩個(gè)區(qū)域擴(kuò)展，將這兩個(gè)區(qū)域周圍像素值與區(qū)域內(nèi)像素值 相近的像素?cái)U(kuò)展進(jìn)該區(qū)域內(nèi)；擴(kuò)展算法也是將區(qū)域擴(kuò)展這個(gè)標(biāo)記問(wèn)題轉(zhuǎn)換為能量最小化問(wèn) 題進(jìn)行求解;得到擴(kuò)展后的運(yùn)動(dòng)區(qū)域的掩膜圖像，并由此計(jì)算出各個(gè)像素的權(quán)重；
[0011] (3)曝光融合:使用步驟2)中得到的各個(gè)像素的權(quán)重，進(jìn)行曝光融合來(lái)合成多張不 同曝光度的圖像，最終得到無(wú)鬼影的高動(dòng)態(tài)范圍圖像。
[0012] 進(jìn)一步的，步驟（1)所述根據(jù)相機(jī)響應(yīng)函數(shù)將參考圖像的曝光度調(diào)整為其他圖像 的曝光度，然后計(jì)算其他圖像與調(diào)整后的參考圖像對(duì)應(yīng)的像素點(diǎn)的差值，具體如下：
[0013] 首先將調(diào)整后的參考圖像劃分為low、well、high三個(gè)部分來(lái)分別對(duì)應(yīng)圖像中曝光 不足、曝光良好、曝光過(guò)度的部分，（2)式展示了這三個(gè)部分的定義，ref表示選取的參考圖 像在圖像序列中的索引：
[0014]
[0015]其中：A(i，p)表示第i張圖中p像素所屬的區(qū)域曝光度情況，1表示low，w表示well， h表不high;
[0016] 然后分別計(jì)算在l〇w、well、high區(qū)域，其他圖像與調(diào)整后的參考圖像的差值，（3) (4)(5)(6)式展示了差值的計(jì)算方法;差值表示圖像與調(diào)整過(guò)的參考圖像對(duì)應(yīng)像素之間的 差異，也代表了像素屬于運(yùn)動(dòng)區(qū)域的可能性；
[0021]其中：D(i，p)表示第i張圖中p像素與參考幀之間的距離值,D1(Ip)表示當(dāng)?shù)趇張 圖中P像素曝光不足時(shí)與參考幀之間的距離值，Dw(i，p)表示當(dāng)?shù)趇張圖中P像素曝光適當(dāng)時(shí)
[0017]
[0018]
[0019]
[0020] 與參考幀之間的距離值，Dh(i，p)表示當(dāng)?shù)趇張圖中p像素曝光過(guò)度時(shí)與參考幀之間的距離 值，I(i，P)表示第i張圖像的像素 P，R(i，P)表示參考幀被調(diào)整為曝光時(shí)間T(i)后p像素值。
[0022]進(jìn)一步的，步驟（1)所述建立一個(gè)基于馬爾可夫隨機(jī)場(chǎng)的能量函數(shù)，將運(yùn)動(dòng)區(qū)域檢 測(cè)這個(gè)標(biāo)記問(wèn)題轉(zhuǎn)換為能量最小化問(wèn)題，并使用圖割解決能量最小化問(wèn)題;得到一個(gè)掩膜 圖像，背景區(qū)域被標(biāo)記為〇，運(yùn)動(dòng)區(qū)域被標(biāo)記為1;具體步驟如下：
[0023] 如（7)式展示了步驟（1)所述能量函數(shù)的定義，能量函數(shù)分為data cost和smooth cost兩個(gè)部分，data cost表示某個(gè)點(diǎn)被歸為某個(gè)標(biāo)記時(shí)的代價(jià)，smooth cost表示某個(gè)點(diǎn) 與周圍點(diǎn)之間標(biāo)記關(guān)系產(chǎn)生的代價(jià);N表示所有相鄰像素點(diǎn)的集合，L(p)、L(q)分別表示像 素點(diǎn)P和q的標(biāo)記，標(biāo)記值為〇或1，〇代表背景，1代表運(yùn)動(dòng)區(qū)域；
[0024]
[0025]
[0026]
[0027] 如(9)(10)(11)(12)式展示了步驟（1)所述能量函數(shù)的data cost;其中，th是一個(gè) 閾值參數(shù)，σι、〇w、〇h分別代表第i張圖像中l(wèi)ow、wel Uhigh三個(gè)部分的差值的標(biāo)準(zhǔn)差，β是一 個(gè)能夠被調(diào)整的參數(shù)；
[0030] Ed,w=[0031] L(i，p)G(D(i，p)，0〇w)(2y )[0032] +a-L(i，p))a-G(D(i，p)，^w))(|D(i，p)-0〇w| )[0033] (11)
[0028]
[0029]
[0034]
[0035]
[0036]
[0037] 將能量函數(shù)應(yīng)用在每一張圖像上，并使用圖割算法求解;使用M表示得到的掩膜圖 像，M中的每個(gè)像素點(diǎn)都被標(biāo)記為0或者1。
[0038] 進(jìn)一步的，步驟(2)所述運(yùn)動(dòng)區(qū)域擴(kuò)展，具體步驟如下：
[0039] Ho和Hb的計(jì)算如（14)式所示：
[0040]
[0041]
[0042]
[0043] HB = Grode(H7B)
[0044]其中:M表示步驟(1)得到的掩膜圖像，B表示被標(biāo)記為運(yùn)動(dòng)區(qū)域的像素位置集合，M (P)表示掩膜圖像像素 P的值，Rs(P)表示R圖像經(jīng)過(guò)平滑濾波和分割的圖像P像素值，Be表示B 集合的補(bǔ)集，H'b(p)表示靜止區(qū)域掩膜圖像p像素值，Hb表示經(jīng)過(guò)腐蝕操作的掩膜圖像， erode是用于去噪的腐蝕函數(shù)；
[0045] 如（15)式展示了步驟(2)所述能量函數(shù)，使用了權(quán)重函數(shù)W'（i，p，q)將邊緣的影響 弓丨入到了能量函數(shù)中;N是所有相鄰像素點(diǎn)的集合，K是一個(gè)大到能夠保證被Ho或者Hb所標(biāo)記 的區(qū)域都會(huì)被標(biāo)記為1或〇的值;Std(RKi))是第i個(gè)R f的標(biāo)準(zhǔn)差，為了計(jì)算Hb，先將參考圖像 轉(zhuǎn)化為灰度圖像，然后使用coherence濾波器進(jìn)行過(guò)濾，coherence濾波器將會(huì)平滑圖像并 且增強(qiáng)邊緣，之后將處理的結(jié)果表示為Rf;當(dāng)|心(1， ？)-^(1，9)|〈〇時(shí)，權(quán)重函數(shù)對(duì)亮度相似 的像素點(diǎn)很不利，σ由λ控制，能夠被看作是權(quán)重函數(shù)的一個(gè)閾值；
[0046]
[0047]
[0048]
[0049]
[0050] 通過(guò)求解這個(gè)能量最小化問(wèn)題，能夠獲得一個(gè)掩膜圖像序列，在掩膜圖像中，擴(kuò)展 后的運(yùn)動(dòng)區(qū)域被標(biāo)記為1;這些掩膜圖像被用于最后的曝光融合中，記做M'。
[0051] 進(jìn)一步的，步驟(3)所述曝光融合中，采用如（16)式修改后的權(quán)重函數(shù)，在M'中被 標(biāo)記為]的像棄敕重為〇.即擴(kuò)屏后的伝動(dòng)反城不參與合成，
[0052]
[0053] 其中：C表示對(duì)比度，S表示飽和度，S通過(guò)RGB通道值的標(biāo)準(zhǔn)差計(jì)算，E表示曝光度的 好壞，像素值越接近0.5也就是中間值時(shí)認(rèn)為像素的曝光度越好，本發(fā)明使用高斯函數(shù) exp(- ):來(lái)計(jì)算E，M' (i，p)表示第i張掩膜圖像p像素值。
[0054] 有益效果:本發(fā)明使用一種基于馬爾可夫隨機(jī)場(chǎng)(MRF，Markov Random Filed)框 架的方法來(lái)檢測(cè)運(yùn)動(dòng)區(qū)域，并使用一種基于圖像分割的方法對(duì)運(yùn)動(dòng)區(qū)域進(jìn)行擴(kuò)展。根據(jù)擴(kuò) 展后的運(yùn)動(dòng)區(qū)域的掩膜圖像調(diào)整各像素的權(quán)重，并將各像素權(quán)重應(yīng)用到最終的曝光融合 中，能夠有效地去除鬼影。
【附圖說(shuō)明】
[0055]圖1為本發(fā)明的具體流程。
[0056] 圖2為本發(fā)明中運(yùn)動(dòng)區(qū)域檢測(cè)和擴(kuò)展與傳統(tǒng)運(yùn)動(dòng)區(qū)域檢測(cè)的對(duì)比：
[0057] (a)中的黑色部分為傳統(tǒng)方法得到的運(yùn)動(dòng)區(qū)域；
[0058] (b)中的黑色部分為本發(fā)明中檢測(cè)并擴(kuò)展的運(yùn)動(dòng)區(qū)域。
[0059] 圖3為本發(fā)明中運(yùn)動(dòng)區(qū)域檢測(cè)和擴(kuò)展的結(jié)果：
[0060] (a)為多張不同曝光度的圖像，按曝光時(shí)間升序排列，選取中間圖像為參考圖像；
[0061] (b)為檢測(cè)到的運(yùn)動(dòng)區(qū)域；
[0062] (C)為擴(kuò)展后的運(yùn)動(dòng)區(qū)域的掩膜圖像。
[0063]圖4為本發(fā)明與其他現(xiàn)有技術(shù)的效果對(duì)比。
[0064]圖4(a)-組多曝光圖像；
[0065]圖4(b)為Mertens算法的結(jié)果；
[0066]圖4(c)為Gallo算法的結(jié)果；
[0067]圖4(d)為L(zhǎng)ee算法的結(jié)果；
[0068]圖4(e)本發(fā)明的結(jié)果。
【具體實(shí)施方式】
[0069] 下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步的說(shuō)明。
[0070] -種通過(guò)運(yùn)動(dòng)物體檢測(cè)和擴(kuò)展去除鬼影的高動(dòng)態(tài)范圍成像方法，本發(fā)明的重要思 想是對(duì)運(yùn)動(dòng)區(qū)域在圖像中邊緣的約束下進(jìn)行擴(kuò)展來(lái)增強(qiáng)運(yùn)動(dòng)物體檢測(cè)的結(jié)果。在說(shuō)明書(shū)附 圖2中，圖2(a)左圖中圓的部分被標(biāo)記為運(yùn)動(dòng)區(qū)域，右圖沒(méi)有運(yùn)動(dòng)區(qū)域，當(dāng)兩張圖像合成時(shí)， 左圖圓的區(qū)域不會(huì)參與合成，而整個(gè)場(chǎng)景中長(zhǎng)方形區(qū)域是一個(gè)整體，從肉眼來(lái)看，長(zhǎng)方形區(qū) 域內(nèi)圖像變化很小，而左圖圓區(qū)域會(huì)使得這個(gè)區(qū)域與周邊在合成操作上存在差異，而長(zhǎng)方 形區(qū)域的整體性會(huì)使得這個(gè)差異更加明顯，易被察覺(jué)，也就造成了鬼影。本發(fā)明的想法就是 對(duì)圖2(a)左圖中的標(biāo)記進(jìn)行擴(kuò)展，獲得圖2(b)左圖中的標(biāo)記，這樣在合成時(shí)就可以使得在 同一區(qū)域內(nèi)的合成可以做到具有相同的合成源，以去除鬼影。本發(fā)明使用一種基于馬爾可 夫隨機(jī)場(chǎng)(MRF，Markov Random Filed)框架的方法來(lái)檢測(cè)運(yùn)動(dòng)區(qū)域，并使用一種基于圖像 分割的方法對(duì)運(yùn)動(dòng)區(qū)域進(jìn)行擴(kuò)展。根據(jù)擴(kuò)展后的運(yùn)動(dòng)區(qū)域的掩膜圖像調(diào)整各像素的權(quán)重， 并將各像素權(quán)重應(yīng)用到最終的曝光融合中。
[0071] 如圖1所示，本發(fā)明通過(guò)檢測(cè)和擴(kuò)展運(yùn)動(dòng)區(qū)域，在多曝光融合時(shí)將擴(kuò)展后的運(yùn)動(dòng)區(qū) 域的權(quán)重記為0來(lái)獲得無(wú)鬼影的高動(dòng)態(tài)范圍圖像。步驟如下：
[0072] (1)運(yùn)動(dòng)區(qū)域的檢測(cè)
[0073] 我們將一組不同曝光度的圖像按曝光時(shí)間升序排列。I(i，p)表示第i張圖像的像 素p，T(i)表示第i張圖像的曝光時(shí)間。
[0074] 首先，使用Debevec的方法獲得相機(jī)響應(yīng)函數(shù)(CRF，Camera Response Function)， 文獻(xiàn)[1]詳細(xì)描述了這種方法。（1)式展示了場(chǎng)景輻照度E(P)、曝光時(shí)間T(i)和圖像像素值I (i，P)之間的關(guān)系，其中g(shù)是根據(jù)文獻(xiàn)[1]中的方法計(jì)算出的映射函數(shù)。
[0075] g(I(i，p)) = lnE(p)+lnT(i) (1)
[0076] 如圖3(a)所示，我們選擇圖像序列中間的圖像作為參考圖像，參考圖像會(huì)全部參 與最終的合成，所以運(yùn)動(dòng)區(qū)域的檢測(cè)就是要找出其他圖像中與參考圖像不同的區(qū)域，我們 先將參考圖像調(diào)整到其他各圖像的曝光時(shí)間上來(lái)減少曝光度不同產(chǎn)生的影響。由于 Debevec方法獲得的CRF會(huì)在兩段(也就是極暗或極亮)產(chǎn)生比較大的誤差，我們將調(diào)整后的 參考圖像劃分為l〇w、well、high三個(gè)部分來(lái)分別對(duì)應(yīng)圖像中曝光不足、曝光良好、曝光過(guò)度 的部分，在計(jì)算其他圖像與參考圖像的差異時(shí)將這三個(gè)部分分開(kāi)討論。（2)式展示了這三個(gè) 部分的定義，ref表示選取的參考圖像在圖像序列中的索引。
[0077]
[0078] 其中：1表不low,w表不well，h表不high;
[0079] 然后我們分別計(jì)算在l〇w、well、high區(qū)域，其他圖像與調(diào)整后的參考圖像的差值， (3)(4)(5)(6)式展示了差值的計(jì)算方法。差值表示圖像與調(diào)整過(guò)的參考圖像對(duì)應(yīng)像素之間 的差異，也代表了像素屬于運(yùn)動(dòng)區(qū)域的可能性。
[0080]
)
[0081]
[0082]
[0083]
[0084] 我們假定運(yùn)動(dòng)區(qū)域是連續(xù)的。我們使用一個(gè)基于馬爾可夫隨機(jī)場(chǎng)(MRF，Markov Random FiIed)的能量函數(shù)將運(yùn)動(dòng)區(qū)域檢測(cè)這個(gè)標(biāo)記問(wèn)題轉(zhuǎn)化為能量最小化問(wèn)題。（7)式展 示了這個(gè)能量函數(shù)的定義，這個(gè)能量函數(shù)分為data cost和smooth cost兩個(gè)部分，data cost表示某個(gè)點(diǎn)被歸為某個(gè)標(biāo)記時(shí)的代價(jià)，smooth cost表示某個(gè)點(diǎn)與周圍點(diǎn)之間標(biāo)記關(guān) 系產(chǎn)生的代價(jià)。N表示所有相鄰像素點(diǎn)的集合，L(p)、L(q)分別表示像素點(diǎn)p和q的標(biāo)記，這個(gè) 標(biāo)記值為0 (代衷背景)或1 (代衷運(yùn)動(dòng)岡域）。
[0085]
[0086]
[0087]
[0088] 我們對(duì)low、well、high三個(gè)部分的data cost分別進(jìn)行討論。
[0089] 以曝光度小于參考圖像的某一圖像為例，記該圖像為A，參考圖像為R，參考圖像調(diào) 整后與A對(duì)應(yīng)的(具有相同曝光度)的圖像為R '。
[0090] 對(duì)于well區(qū)域，我們假定在非運(yùn)動(dòng)區(qū)域R'與A是很接近的，也就是R'與A的差值是 比較小的，當(dāng)某個(gè)區(qū)域這個(gè)差值很大時(shí)，可以認(rèn)為這個(gè)區(qū)域是運(yùn)動(dòng)區(qū)域，我們假定R'與A之 間的差值符合以〇為平均值的正態(tài)分布，因此我們可以用差值的標(biāo)準(zhǔn)差乘上一個(gè)系數(shù)作為 閾值來(lái)過(guò)濾掉誤差，當(dāng)差值大于閾值時(shí)，這個(gè)像素更有可能為運(yùn)動(dòng)區(qū)域，且差值越大，可能 性也越大。
[0091] 對(duì)于low區(qū)域，由于A的曝光時(shí)間要比R短，而low區(qū)域在R的曝光時(shí)間下已經(jīng)處于曝 光不足的狀態(tài)，也就意味著，在曝光時(shí)間更短的A中，這些區(qū)域的值應(yīng)該是接近0的?？紤]到 相機(jī)本身可能會(huì)產(chǎn)生一些噪聲，因此加入一個(gè)閾值，這個(gè)閾值通常是比較小的，當(dāng)A的值大 于這個(gè)閾值時(shí)認(rèn)為這個(gè)區(qū)域更有可能為運(yùn)動(dòng)區(qū)域，值越大，可能性也越大。
[0092] 對(duì)于high區(qū)域，在R的曝光時(shí)間下處于過(guò)曝，也就意味著這些區(qū)域是場(chǎng)景輻照度比 較高的區(qū)域，準(zhǔn)確講也就是大于等于在R的曝光時(shí)間下相機(jī)所能接受的最大輻照度，但并不 能確定準(zhǔn)確的輻照度值，因此，當(dāng)曝光時(shí)間縮短至A時(shí)，這些區(qū)域有可能低于此時(shí)相機(jī)接受 的最大輻照度，也有可能依舊是過(guò)曝。因此，我們簡(jiǎn)單假定，當(dāng)A大于某個(gè)值時(shí)是可以接受 的，這個(gè)值也就是在R曝光時(shí)間下相機(jī)所能接受的最大輻照度被調(diào)整至A的曝光時(shí)間的值。
[0093] (9)(10)(11)(12)式展示了data cost的細(xì)節(jié)。其中，th是一個(gè)閾值參數(shù)，O1Jw^h 分別代表第i張圖像中l(wèi)〇w、well、high三個(gè)部分的差值的標(biāo)準(zhǔn)差，β是一個(gè)可以被調(diào)整的參 數(shù)。
[0094；
[0095；
[0096] Ed,w=
[0103]這個(gè)能量最小化問(wèn)題可以使用圖割解決。文獻(xiàn)[2]描述了通過(guò)圖割來(lái)解決能量最 小化問(wèn)題的方法。我們把這個(gè)能量函數(shù)應(yīng)用在每一張圖像上，并使用圖割算法求解。我們使 用M表示得到的掩膜圖像，M中的每個(gè)像素點(diǎn)都被標(biāo)記為0(代表背景）或者1(代表運(yùn)動(dòng)區(qū) 域)。
[0104] (2)運(yùn)動(dòng)區(qū)域擴(kuò)展
[0105]我們將運(yùn)動(dòng)區(qū)域的掩膜在邊緣的約束下進(jìn)行擴(kuò)展。本發(fā)明的擴(kuò)展算法基于文獻(xiàn) [3]描述的方法。擴(kuò)展算法需要兩個(gè)標(biāo)記區(qū)域，一個(gè)是hard object，一個(gè)是hard background，為了方便討論，分別記作Ho和Hb區(qū)域，這兩個(gè)區(qū)域分別表示必定是物體(也就是 運(yùn)動(dòng)區(qū)域）的區(qū)域和必定是背景（也就是非運(yùn)動(dòng)區(qū)域）的區(qū)域。算法要做的就是將這兩個(gè)區(qū) 域擴(kuò)展，將這兩個(gè)區(qū)域周圍像素值與區(qū)域內(nèi)像素值相近的像素?cái)U(kuò)展進(jìn)該區(qū)域內(nèi)。這個(gè)問(wèn)題 同樣可以通過(guò)建立MRF模型進(jìn)行解決。
[0106] Ho可以用步驟（1)檢測(cè)到的運(yùn)動(dòng)區(qū)域代替，而Hb不是現(xiàn)成的。為了計(jì)算Hb，我們先將 參考圖像轉(zhuǎn)化為灰度圖像，然后使用coherence濾波器進(jìn)行過(guò)濾。coherence濾波器的細(xì)節(jié) 在文獻(xiàn)[4]中描述。coherence濾波器將會(huì)平滑圖像并且增強(qiáng)邊緣。我們將處理的結(jié)果表示 為Rf。然后使用文獻(xiàn)[5]所描述的圖像分割算法對(duì)R f進(jìn)行分割，分割結(jié)果用Rs表示，Rs包含了 每個(gè)像素的分割標(biāo)記。我們將R s與Ho有交集的區(qū)域擴(kuò)展，這個(gè)擴(kuò)展后的標(biāo)記是很粗略的，覆 蓋了我們需要的區(qū)域，同時(shí)也多擴(kuò)展了一些我們不需要的區(qū)域，我們可以將這個(gè)擴(kuò)展后的 標(biāo)記取反來(lái)獲得Hb，這個(gè)流程獲得的Hb會(huì)有一些噪點(diǎn)影響我們的算法，我們?cè)僮鲆淮胃g操 作來(lái)去噪，這個(gè)Hb比起精確的背景區(qū)域要小，但已經(jīng)足夠支持我們進(jìn)行接下來(lái)的擴(kuò)展操作。
[0107] Ho和Hb的計(jì)算如（14)式所示，erode是用于去噪的腐蝕函數(shù)。
[0108]
[0109]
[0110]
[0111] HB = Grode(H7B)
[0112] 運(yùn)動(dòng)區(qū)域的擴(kuò)展問(wèn)題也是一個(gè)標(biāo)記問(wèn)題，同樣可以轉(zhuǎn)化為能量最小化問(wèn)題求解。 (15)式展示了這個(gè)能量函數(shù)，該函數(shù)和運(yùn)動(dòng)區(qū)域檢測(cè)部分的函數(shù)相似，主要的不同之處在 于此處我們使用了權(quán)重函數(shù)W'（i，p，q)將邊緣的影響引入到了能量函數(shù)中。N是所有相鄰像 素點(diǎn)的集合，K是一個(gè)大到可以保證被Ho或者Hb所標(biāo)記的區(qū)域都會(huì)被標(biāo)記為1(代表物體)或0 (代表背景）的值。Std(RKi))是第i個(gè)R f的標(biāo)準(zhǔn)差。當(dāng)|沿（1，？)-心（1，(1)|〈〇時(shí)，權(quán)重函數(shù)對(duì) 亮度相似的像素點(diǎn)很不利。σ由λ控制，可以被看作是權(quán)重函數(shù)的一個(gè)閾值。
[0113]
[0114]
[0115]
[0116]
[0117] 通過(guò)求解這個(gè)能量最小化問(wèn)題，我們可以獲得一個(gè)掩膜圖像序列，在掩膜圖像中， 擴(kuò)展后的運(yùn)動(dòng)區(qū)域被標(biāo)記為1。這些掩膜圖像被用于最后的曝光融合中，記做M'。說(shuō)明書(shū)附 圖3(b)和(c)展示了運(yùn)動(dòng)區(qū)域檢測(cè)和擴(kuò)展的結(jié)果。
[0118] (3)曝光融合
[0119] 本發(fā)明使用曝光融合算法來(lái)合成多曝光圖像。文獻(xiàn)[6]描述了曝光融合算法的細(xì) -K- To
[0120] 為了去除鬼影，我們對(duì)曝光融合算法中的權(quán)重函數(shù)做了修改，（16)式展示了修改 后的權(quán)重函數(shù)，在M'中被標(biāo)記為1的像素權(quán)重為0，即擴(kuò)展后的運(yùn)動(dòng)區(qū)域不參與合成。
[0121]
[0122]實(shí)驗(yàn)結(jié)果：
[0123]我們使用以下參數(shù)值進(jìn)行實(shí)驗(yàn)：γ =4〇，th = 5，0=l .9, γ ' =10，λ=50。說(shuō)明書(shū)附 圖4展示了本發(fā)明的實(shí)驗(yàn)結(jié)果與其他現(xiàn)有技術(shù)實(shí)驗(yàn)結(jié)果的對(duì)比。結(jié)果表明本發(fā)明可以有效 地去除鬼影。
[0124] 文獻(xiàn)：
[0125] [l]P.E.Debevec，J.Malik. "從照片中恢復(fù)高動(dòng)態(tài)范圍輻射圖" .ACM SIGGRAPH, 2008,p31
[0126] [2]Y. Boykov，0. VeksIer，R. Zabih. "基于圖割的快速近似能量最小化" .IEEE模式 分析與機(jī)器智能匯刊，vol · 23，no · 11，pp · 1222-1239，2001
[0127] [3]Y.Boykov,G.Funka-Lea. "圖割與高效的ND圖像分割".國(guó)際計(jì)算機(jī)視覺(jué)學(xué)報(bào)， vol.70，no.2，pp.109-131，2006
[0128] [4]D.Kr〇〇n，C.Slump. "使用相干濾波增強(qiáng)錐形束CT數(shù)據(jù)中的下頌管" .2009
[0129] [5]P.F.Felzenszwalb,D·Ρ·Huttenlocher· "基于圖的高效圖像分割" ·國(guó)際計(jì)算 機(jī)視覺(jué)學(xué)報(bào)，vol · 59，ηο · 2，ρρ · 167-181，2004
[0130] [6]T.Mertens，J.Kautz，F(xiàn). Van Reeth · "曝光融合" ·第15屆IEEE太平洋會(huì)議，計(jì)算 機(jī)圖形學(xué)及應(yīng)用，2007，ρρ· 382-390。
【主權(quán)項(xiàng)】
1. 一種通過(guò)運(yùn)動(dòng)物體檢測(cè)和擴(kuò)展去除鬼影的高動(dòng)態(tài)范圍成像方法，其特征在于，包括 以下步驟： (1) 運(yùn)動(dòng)區(qū)域檢測(cè)：將一組不同曝光度的圖像按曝光時(shí)間升序排列，計(jì)算相機(jī)響應(yīng)函 數(shù)，并選取一張能夠全部參與最終合成的圖像作為參考圖像，則運(yùn)動(dòng)區(qū)域的檢測(cè)就是要找 出其他圖像中與參考圖像不同的區(qū)域； 根據(jù)相機(jī)響應(yīng)函數(shù)將參考圖像的曝光度調(diào)整為其他圖像的曝光度，然后計(jì)算其他圖像 與調(diào)整后的參考圖像對(duì)應(yīng)的像素點(diǎn)的差值，差值越大則像素點(diǎn)屬于運(yùn)動(dòng)區(qū)域的可能性越 大； 建立一個(gè)基于馬爾可夫隨機(jī)場(chǎng)的能量函數(shù)，將運(yùn)動(dòng)區(qū)域檢測(cè)這個(gè)標(biāo)記問(wèn)題轉(zhuǎn)換為能量 最小化問(wèn)題，并使用圖割解決能量最小化問(wèn)題;得到一個(gè)掩膜圖像，背景區(qū)域被標(biāo)記為0,運(yùn) 動(dòng)區(qū)域被標(biāo)記為1; (2) 運(yùn)動(dòng)區(qū)域擴(kuò)展：擴(kuò)展算法需要兩個(gè)標(biāo)記區(qū)域，一個(gè)是hard object，一個(gè)是hard background，分別記作Ho和Hb區(qū)域，這兩個(gè)區(qū)域分別表示必定是物體的區(qū)域即運(yùn)動(dòng)區(qū)域和必 定是背景的區(qū)域即非運(yùn)動(dòng)區(qū)域;Ho使用步驟（1)檢測(cè)到的運(yùn)動(dòng)區(qū)域代替，Hb使用一種基于圖 像分割的方法得到； 擴(kuò)展算法就是將Ho和Hb兩個(gè)區(qū)域擴(kuò)展，將這兩個(gè)區(qū)域周圍像素值與區(qū)域內(nèi)像素值相近 的像素?cái)U(kuò)展進(jìn)該區(qū)域內(nèi)；擴(kuò)展算法也是將區(qū)域擴(kuò)展這個(gè)標(biāo)記問(wèn)題轉(zhuǎn)換為能量最小化問(wèn)題進(jìn) 行求解;得到擴(kuò)展后的運(yùn)動(dòng)區(qū)域的掩膜圖像，并由此計(jì)算出各個(gè)像素的權(quán)重； (3) 曝光融合:使用步驟2)中得到的各個(gè)像素的權(quán)重，進(jìn)行曝光融合來(lái)合成多張不同曝 光度的圖像，最終得到無(wú)鬼影的高動(dòng)態(tài)范圍圖像。2. 根據(jù)權(quán)利要求1所示的一種通過(guò)運(yùn)動(dòng)物體檢測(cè)和擴(kuò)展去除鬼影的高動(dòng)態(tài)范圍成像方 法，其特征在于，步驟(1)所述根據(jù)相機(jī)響應(yīng)函數(shù)將參考圖像的曝光度調(diào)整為其他圖像的曝 光度，然后計(jì)算其他圖像與調(diào)整后的參考圖像對(duì)應(yīng)的像素點(diǎn)的差值，具體如下： 首先將調(diào)整后的參考圖像劃分為l〇w、well、high三個(gè)部分來(lái)分別對(duì)應(yīng)圖像中曝光不 足、曝光良好、曝光過(guò)度的部分，（2)式展示了這三個(gè)部分的定義，ref表示選取的參考圖像 在圖像序列中的索引；其中：A(i，p)表示第i張圖中p像素所屬的區(qū)域曝光度情況，1表示low，w表示well，h表 示high; 然后分別計(jì)算在1〇?、仰11、1^811區(qū)域，其他圖像與調(diào)整后的參考圖像的差值，（3)(4) (5) (6)式展示了差值的計(jì)算方法；差值表示圖像與調(diào)整過(guò)的參考圖像對(duì)應(yīng)像素之間的差 異，也代表了像素屬于運(yùn)動(dòng)區(qū)域的可能性；其中：D(i，p)表示第i張圖中p像素與參考幀之間的距離值ΑΚ?,ρ)表示當(dāng)?shù)趇張圖中p 像素曝光不足時(shí)與參考幀之間的距離值，Dw(i，p)表示當(dāng)?shù)趇張圖中p像素曝光適當(dāng)時(shí)與參 考幀之間的距離值，D h(i，p)表示當(dāng)?shù)趇張圖中p像素曝光過(guò)度時(shí)與參考幀之間的距離值，I (1^)表示第1張圖像的像素口，以1^)表示參考幀被調(diào)整為曝光時(shí)間!'(1)后?像素值。3.根據(jù)權(quán)利要求2所示的一種通過(guò)運(yùn)動(dòng)物體檢測(cè)和擴(kuò)展去除鬼影的高動(dòng)態(tài)范圍成像方 法，其特征在于，步驟（1)所述建立一個(gè)基于馬爾可夫隨機(jī)場(chǎng)的能量函數(shù)，將運(yùn)動(dòng)區(qū)域檢測(cè) 這個(gè)標(biāo)記問(wèn)題轉(zhuǎn)換為能量最小化問(wèn)題，并使用圖割解決能量最小化問(wèn)題;得到一個(gè)掩膜圖 像，背景區(qū)域被標(biāo)記為0，運(yùn)動(dòng)區(qū)域被標(biāo)記為1;具體步驟如下： 如(7)式展示了步驟（1)所述能量函數(shù)的定義，能量函數(shù)分為data cost和smooth cost 兩個(gè)部分，data cost表示某個(gè)點(diǎn)被歸為某個(gè)標(biāo)記時(shí)的代價(jià)，smooth cost表示某個(gè)點(diǎn)與周 圍點(diǎn)之間標(biāo)記關(guān)系產(chǎn)生的代價(jià);N表示所有相鄰像素點(diǎn)的集合，L(p)、L(q)分別表示像素點(diǎn)p 和q的標(biāo)記，標(biāo)記值為〇或1，〇代表背景，1代表運(yùn)動(dòng)區(qū)域；如（8)式展示了能量函數(shù)的smooth cost;如(9)(10)(11)(12)式展示了步驟（1)所述能量函數(shù)的data cost;其中，th是一個(gè)閾值 參數(shù)，σ 1、〇w、〇h分別代表第i張圖像中1 ow、we 11、h i gh三個(gè)部分的差值的標(biāo)準(zhǔn)差，β是一個(gè)能 夠被調(diào)整的參數(shù)；如（13)式展示了函數(shù)G的定義：將能量函數(shù)應(yīng)用在每一張圖像上，并使用圖割算法求解;使用Μ表示得到的掩膜圖像，Μ 中的每個(gè)像素點(diǎn)都被標(biāo)記為〇或者1。4.根據(jù)權(quán)利要求3所示的一種通過(guò)運(yùn)動(dòng)物體檢測(cè)和擴(kuò)展去除鬼影的高動(dòng)態(tài)范圍成像方 法，其特征在于，步驟(2)所述運(yùn)動(dòng)區(qū)域擴(kuò)展，具體步驟如下： Ho和Ηβ的計(jì)算如（14)式所示： Ηο=ΜHB = erode(H/ b) 其中：Μ表示步驟（1)得到的掩膜圖像，B表示被標(biāo)記為運(yùn)動(dòng)區(qū)域的像素位置集合，M(p) 表示掩膜圖像像素 P的值，RS(P)表示R圖像經(jīng)過(guò)平滑濾波和分割的圖像P像素值，Be表示B集 合的補(bǔ)集，H'b(p)表示靜止區(qū)域掩膜圖像p像素值，Hb表示經(jīng)過(guò)腐蝕操作的掩膜圖像，erode 是用于去噪的腐蝕函數(shù)； 如（15)式展示了步驟(2)所述能量函數(shù)，使用了權(quán)重函數(shù)W'（i，p，q)將邊緣的影響引入 到了能量函數(shù)中;N是所有相鄰像素點(diǎn)的集合，K是一個(gè)大到能夠保證被Ho或者Hb所標(biāo)記的區(qū) 域都會(huì)被標(biāo)記為1或〇的值;std(R f(i))是第i個(gè)Rf的標(biāo)準(zhǔn)差，為了計(jì)算Hb，先將參考圖像轉(zhuǎn)化 為灰度圖像，然后使用coherence濾波器進(jìn)行過(guò)濾，coherence濾波器將會(huì)平滑圖像并且增 強(qiáng)邊緣，之后將處理的結(jié)果表示為Rf;當(dāng)|沿（14)_1^(14)|〈〇時(shí)，權(quán)重函數(shù)對(duì)亮度相似的像 素點(diǎn)很不利，σ由λ控制，能夠被看作是權(quán)重函數(shù)的一個(gè)閾值；通過(guò)求解這個(gè)能量最小化問(wèn)題，能夠獲得一個(gè)掩膜圖像序列，在掩膜圖像中，擴(kuò)展后的 運(yùn)動(dòng)區(qū)域被標(biāo)記為1;這些掩膜圖像被用于最后的曝光融合中，記做Μ'。5.根據(jù)權(quán)利要求4所示的一種通過(guò)運(yùn)動(dòng)物體檢測(cè)和擴(kuò)展去除鬼影的高動(dòng)態(tài)范圍成像方 法，其特征在于，步驟(3)所述曝光融合中，采用如（16)式修改后的權(quán)重函數(shù)，在Μ'中被標(biāo)記 為1的像素權(quán)重為〇,即擴(kuò)展后的運(yùn)動(dòng)區(qū)域不參與合成：其中：C表示的是對(duì)比度，S表示飽和度，S通過(guò)RGB通道值的標(biāo)準(zhǔn)差計(jì)算，Ε表示曝光度的 好壞，像素值越接近0.5也就是中間值時(shí)認(rèn)為像素的曝光度越好，使用高斯函數(shù)來(lái)計(jì)算E，M'（ i，p)表示第i張掩膜圖像p像素值。
【文檔編號(hào)】G06T7/20GK106056629SQ201610375939
【公開(kāi)日】2016年10月26日
【申請(qǐng)日】2016年5月31日
【發(fā)明人】劉欽, 張本康, 王豪, 蘇子權(quán), 宋強(qiáng), 王子杰
【申請(qǐng)人】南京大學(xué)