一種視頻的時(shí)域一致性半透明邊緣提取方法
【專利摘要】本發(fā)明公開了一種視頻的時(shí)域一致性半透明邊緣提取方法。對(duì)視頻的圖像幀進(jìn)行逐幀半交互式分割，然后進(jìn)行優(yōu)化完成視頻時(shí)域一致性分割；根據(jù)視頻的時(shí)域一致性分割結(jié)果，在自適應(yīng)邊緣的圖像顏色復(fù)雜度的前提下自動(dòng)膨脹分割邊緣生成三色圖；利用三色圖和視頻像素在時(shí)域上的光流信息進(jìn)行時(shí)域一致性摳圖。本發(fā)明能夠提取視頻物體的時(shí)域一致性半透明邊緣，還能夠得到時(shí)域一致性分割結(jié)果，在影視2D轉(zhuǎn)3D制作中合成立體新視圖時(shí)避免邊緣的抖動(dòng)和黑邊現(xiàn)象，保證了立體視頻的高質(zhì)量轉(zhuǎn)制。
【專利說明】一種視頻的時(shí)域一致性半透明邊緣提取方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種視頻提取方法，特別是涉及3D立體影視轉(zhuǎn)制【技術(shù)領(lǐng)域】的一種視 頻的時(shí)域一致性半透明邊緣提取方法。

【背景技術(shù)】
[0002] 自2009年《阿凡達(dá)3D》上映以來，3D立體影視成為電影制作的主流，但是用立體 攝像機(jī)直接拍攝3D立體影視的成本高、時(shí)間長、立體效果調(diào)整難度大，因此如何將2D影視 轉(zhuǎn)制成3D立體影視成為3D立體影視制作領(lǐng)域的研究熱點(diǎn)。
[0003] 2D影視轉(zhuǎn)制成3D立體影視的基礎(chǔ)技術(shù)流程包括：1、鏡頭分解；2、深度反求；3、 立體合成。其中最關(guān)鍵的是深度反求技術(shù)，即直接恢復(fù)視頻圖像上每一個(gè)像素到攝像機(jī)的 距離。由于視頻圖像是一個(gè)2D平面，而且影視場景中的物體復(fù)雜多變，視頻深度的反求是 很困難的技術(shù)問題。很多研究者提出了機(jī)器學(xué)習(xí)方法恢復(fù)單目視頻深度，從而實(shí)現(xiàn)立體化 [K. Karsch, C. Liu and S.B. Kang. Depth Extraction from Video Using Non-parametric Sampling. European Conference on Computer Vision (ECCV), 2012·]，該方法雖然有較高 的自動(dòng)化，但得到的3D立體影視的質(zhì)量無法保證。另外一種基于視頻分割的3D立體視頻 轉(zhuǎn)制方法雖然需要較多的人工交互，但是能夠得到更好的立體效果。
[0004] 基于視頻分割的3D立體視頻轉(zhuǎn)制流程細(xì)化如下：1、鏡頭分解；2、圖層預(yù)置；3、圖 層分割；4、圖層深度反求；5、圖層立體合成；6、視頻立體合成。其中，圖層就是視頻分割的 結(jié)果，根據(jù)后期制作人員的需求，將視頻中的物體分割成獨(dú)立的圖層，然后分別對(duì)每一個(gè)圖 層進(jìn)行立體化。對(duì)于邊緣比較銳利、明顯的物體，簡單的分割前景背景就可以做到無縫的立 體化，但是在出現(xiàn)毛發(fā)、運(yùn)動(dòng)模糊等半透明邊緣時(shí)，簡單的分割往往會(huì)在圖層背景上殘留前 景，或者前景上殘留背景，導(dǎo)致立體效果大打折扣。因此3D立體影視轉(zhuǎn)制必須采用半透明 邊緣提取方法，將半透明區(qū)域的前景和背景徹底分離，才能避免立體視覺上的明顯瑕疵。
[0005] 現(xiàn)有的視頻分割方法一般采用半交互半自動(dòng)的方式，如用戶在第一幀交互分割， 然后將分割結(jié)果傳遞到下一幀，并根據(jù)分割結(jié)果繼續(xù)交互優(yōu)化。為了得到更好的效果，在 最后分割完成之后，現(xiàn)有技術(shù)還在分割結(jié)果的邊緣上計(jì)算半透明邊緣，如[Xue Bai，Jue Wang, David Simons, and Guillermo Sapiro. Video SnapCut:Robust Video Object Cutout Using Localized Classifiers. ACM SIGGRAPH 2009·]和[Fan Zhong，Xueying Qin, Qunsheng Peng, and Xiangxu Meng:Discontinuity-Aware Video Object Cutout, ACM Transactions on Graphics, 2012, VOL. 31(6)，pp 175:1-175:10]，但是現(xiàn)有技術(shù)都沒有充 分考慮時(shí)域上的一致性，而是直接逐幀進(jìn)行摳圖，因此無法保證半透明邊緣在時(shí)域上的一 致性。而如何使半透明邊緣求解結(jié)果在時(shí)域上具有高度的一致性，視覺上不會(huì)閃爍，在3D 立體影視制作中是至關(guān)重要的。目前的視頻半透明邊緣方法在時(shí)域的一致性上做得還不夠 理想，普遍存在嚴(yán)重的抖動(dòng)現(xiàn)象，亟待進(jìn)一步突破。
[0006] 總而言之，現(xiàn)有的方法無法很好地對(duì)毛發(fā)等半透明物體進(jìn)行時(shí)域一致性摳圖，導(dǎo) 致3D立體影視的轉(zhuǎn)制效果很差。因此，需要一種視頻的時(shí)域一致性半透明邊緣提取方法， 解決以上問題。


【發(fā)明內(nèi)容】

[0007] 為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種視頻的時(shí)域一致性半透明邊緣 提取方法，以在影視2D轉(zhuǎn)3D制作過程中實(shí)現(xiàn)時(shí)域一致性視頻圖層分割，并能夠提取視頻的 時(shí)域一致性半透明邊緣。
[0008] 本發(fā)明采用的技術(shù)方案包括：
[0009] A)對(duì)視頻的圖像幀進(jìn)行逐幀半交互式分割，然后進(jìn)行優(yōu)化完成視頻時(shí)域一致性分 割；
[0010] B)根據(jù)視頻的時(shí)域一致性分割結(jié)果，在自適應(yīng)邊緣的圖像顏色復(fù)雜度的前提下自 動(dòng)膨脹分割邊緣生成三色圖；
[0011] C)利用三色圖和視頻像素在時(shí)域上的光流信息進(jìn)行時(shí)域一致性摳圖。
[0012] 所述的步驟A)具體包括：
[0013] al)對(duì)視頻的圖像幀進(jìn)行逐幀半交互式分割，生成前景視頻圖像和背景視頻圖 像；
[0014] a2)由以上步驟得到的半交互式分割結(jié)果通過優(yōu)化進(jìn)行視頻時(shí)域一致性分割。
[0015] 所述的步驟a2)中半交互式分割結(jié)果通過以下分割目標(biāo)函數(shù)Ε(α，ζ)進(jìn)行優(yōu)化， 完成視頻時(shí)域一致性分割：
[0016]

【權(quán)利要求】
1. 一種視頻的時(shí)域一致性半透明邊緣提取方法，其特征在于，包括以下步驟： A) 對(duì)視頻的圖像幀進(jìn)行逐幀半交互式分割，然后進(jìn)行優(yōu)化完成視頻時(shí)域一致性分割； B) 根據(jù)視頻的時(shí)域一致性分割結(jié)果，在自適應(yīng)邊緣的圖像顏色復(fù)雜度的前提下自動(dòng)膨 脹分割邊緣生成三色圖； C) 利用三色圖和視頻像素在時(shí)域上的光流信息進(jìn)行時(shí)域一致性摳圖。
2. 根據(jù)權(quán)利要求1所述的一種視頻的時(shí)域一致性半透明邊緣提取方法，其特征在于： 所述的步驟A)具體包括： al)對(duì)視頻的圖像幀進(jìn)行逐幀半交互式分割，生成前景視頻圖像和背景視頻圖像； a2)由以上步驟得到的半交互式分割結(jié)果通過優(yōu)化進(jìn)行視頻時(shí)域一致性分割。
3. 根據(jù)權(quán)利要求2所述的一種視頻的時(shí)域一致性半透明邊緣提取方法，其特征在于： 所述的步驟a2)中半交互式分割結(jié)果通過以下分割目標(biāo)函數(shù)Ε(α，ζ)進(jìn)行優(yōu)化，完成視頻 時(shí)域一致性分割：
式中，ζ表示視頻圖像的所有像素的顏色集合，α為視頻分割標(biāo)記，λ λ 2, λ 3分別為 數(shù)據(jù)項(xiàng)權(quán)重、控制空域平滑權(quán)重和控制時(shí)域平滑權(quán)重，D(a，z)為分割數(shù)據(jù)項(xiàng)，V(a，z)為 分割空域平滑項(xiàng)，Τ(α，ζ)為分割時(shí)域平滑項(xiàng)。
4. 根據(jù)權(quán)利要求3所述的一種視頻的時(shí)域一致性半透明邊緣提取方法，其特征在于： 所述的分割數(shù)據(jù)項(xiàng)D ( α，ζ)采用以下公式計(jì)算：
式中，pt(zx)是像素點(diǎn)X在第t幀背景視頻圖像的概率函數(shù)，ζχ為像素點(diǎn)X的顏色值， 其定義為RGB的顏色空間，α χ為像素點(diǎn)X的視頻分割標(biāo)記，Γ為第t巾貞視頻圖像,Κ為視頻 圖像的總幀數(shù)。
5. 根據(jù)權(quán)利要求3所述的一種視頻的時(shí)域一致性半透明邊緣提取方法，其特征在于： 所述的分割空域平滑項(xiàng)V ( α，ζ)采用以下公式計(jì)算：
式中，C是視頻圖像中以兩個(gè)相鄰像素為一組組成的所有像素組集合，相鄰像素定義為 像素的四鄰域上，（m，η)為所有像素組集合C中的一組像素組，m、n表示像素組（m，η)中的 兩個(gè)像素點(diǎn)，απ、α η分別為像素點(diǎn)m和像素點(diǎn)η的視頻分割標(biāo)記，|.|表示絕對(duì)值函數(shù)， d(.)是像素在圖像上的位置之間的歐拉距離函數(shù)。
6. 根據(jù)權(quán)利要求3所述的一種視頻的時(shí)域一致性半透明邊緣提取方法，其特征在于： 所述的分割時(shí)域平滑項(xiàng)T ( α，z)采用以下公式計(jì)算：
式中，η表示時(shí)域平滑項(xiàng)要往前和往后計(jì)算的η幀相鄰圖像，W(x)是以像素點(diǎn)χ為中心 的3X3局部窗口中的9個(gè)像素集合，y為局部窗口 W(x)中的任一像素點(diǎn)，<7二為像素點(diǎn)y 在第k幀的對(duì)應(yīng)像素點(diǎn)/的光流置信度，分別表示位置、顏色的控制系數(shù)，k為像素點(diǎn)yk所 在的圖像幀，是第k幀圖像在像素點(diǎn)yk的分割標(biāo)記，exp ()是以自然常數(shù)e為底的指數(shù) 函數(shù)。
7. 根據(jù)權(quán)利要求1所述的一種視頻的時(shí)域一致性半透明邊緣提取方法，其特征在于： 所述的步驟C)中時(shí)域一致性摳圖具體采用以下?lián)笀D目標(biāo)函數(shù)F(i3，z)進(jìn)行摳圖：
式中，β表示像素點(diǎn)的半透明值集合，υ(Γ)表示圖像Γ的三色圖中待求解的未知區(qū) 域包含的像素集合，λ Q，λ ρ，λ Η，λ e為摳圖數(shù)據(jù)項(xiàng)權(quán)重、控制摳圖時(shí)域平滑權(quán)重、控制摳圖 空域局部平滑權(quán)重和控制摳圖空域平滑權(quán)重，Q(i3，z，x)為摳圖數(shù)據(jù)項(xiàng)，G(i3，z)為摳圖空 域平滑項(xiàng)，以0， 2，1)為摳圖空域局部平滑項(xiàng)，？〃+1(12，1)為第七幀視頻圖像到后一幀視 頻圖像的正向摳圖時(shí)域平滑項(xiàng)，ρ?Η(β，z，X)為第t幀視頻圖像到前一幀視頻圖像的反向 摳圖時(shí)域平滑項(xiàng)。
8. 根據(jù)權(quán)利要求7所述的一種視頻的時(shí)域一致性半透明邊緣提取方法，其特征在于： 所述的摳圖數(shù)據(jù)項(xiàng)Q(i3，z，x)表示為：
式中，pt(zx)是像素點(diǎn)X在第t幀背景視頻圖像的概率函數(shù)，zx為像素點(diǎn)X的顏色值， 其定義為RGB的顏色空間，β χ為像素點(diǎn)X的半透明值。
9. 根據(jù)權(quán)利要求7所述的一種視頻的時(shí)域一致性半透明邊緣提取方法，其特征在于： 所述的摳圖空域平滑項(xiàng)G(i3，z)表示為：
式中，C是視頻圖像中以兩個(gè)相鄰像素為一組組成的所有像素組集合，（m，η)為所有像 素組集合C中的一組像素組，m、η表示像素組（m，η)中的兩個(gè)像素點(diǎn)，βπ、βη分別為像素 點(diǎn)m和像素點(diǎn)η的半透明值，I. |表示絕對(duì)值函數(shù)，d(.)是像素在圖像上位置之間的歐拉距 離函數(shù)。
10. 根據(jù)權(quán)利要求7所述的一種視頻的時(shí)域一致性半透明邊緣提取方法，其特征在于： 所述的摳圖空域局部平滑項(xiàng)Η(β，ζ，χ)表示為 ：
式中，W(x)是以像素點(diǎn)X為中心的3X3局部窗口中的9個(gè)像素的集合，βχ、h分別 為像素點(diǎn)X和像素點(diǎn)y的半透明值，Μ是視頻圖像中包含像素點(diǎn)X，y的3X3局部窗口的集 合，i是從Μ中取一個(gè)局部窗口的下標(biāo)指不，μ pCc%分別為局部窗口 ％內(nèi)顏色的期望和協(xié) 方差，ε為規(guī)范化系數(shù)，B為3X3單位矩陣,zx為像素點(diǎn)X的顏色值,zy為像素點(diǎn)y的顏色 值。
11. 根據(jù)權(quán)利要求7所述的一種視頻的時(shí)域一致性半透明邊緣提取方法，其特征在于： 所述的正向摳圖時(shí)域平滑項(xiàng)產(chǎn)t+1 ( β，z，X)對(duì)于每個(gè)像素點(diǎn)X表示為以下公式： 其中，X'為像素點(diǎn)X在后一幀視頻圖像中的光流對(duì)應(yīng)像素點(diǎn)
為像素點(diǎn)X和像素
點(diǎn)X'的光流置信度，β x為像素點(diǎn)X的半透明值，β x，為像素點(diǎn)X'的半透明值； 所述的反向摳圖時(shí)域平滑項(xiàng)pt'Η ( β，Z，X)對(duì)于每個(gè)像素點(diǎn)X表示為以下公式：
其中，X"為像素點(diǎn)X在前一幀視頻圖像中的光流對(duì)應(yīng)像素點(diǎn)，
^像素點(diǎn)X和像素 點(diǎn)X"的光流置信度，像素點(diǎn)X的半透明值，βχ?為像素點(diǎn)X"的半透明值。
12.根據(jù)權(quán)利要求6或11所述的一種視頻的時(shí)域一致性半透明邊緣提取方法，其特征 在于：所述的光流置信度
光流置信度
?光流置信度
均采用以下計(jì)算方式： 通過計(jì)算視頻運(yùn)動(dòng)信息生成光流，獲得光流誤差，由光流誤差采用以下公式得到置信度：
其中，r為視頻圖像中的任意像素點(diǎn)，S為像素點(diǎn)r的光流對(duì)應(yīng)像素點(diǎn)
為像素點(diǎn) r和像素點(diǎn)s的光流置信度，exp是以自然常數(shù)e為底的指數(shù)函數(shù),s)為像素點(diǎn)r和 像素點(diǎn)s的光流誤差，z1?為像素點(diǎn)r的顏色值，zs為像素點(diǎn)s的顏色值，δ flw為光流控制 系數(shù)，δ。。1?·為顏色控制系數(shù)。
【文檔編號(hào)】G06T15/00GK104159098SQ201410437346
【公開日】2014年11月19日 申請(qǐng)日期:2014年8月29日 優(yōu)先權(quán)日:2014年8月29日
【發(fā)明者】董子龍 申請(qǐng)人:杭州道玄影視科技有限公司