針對帶深度信息的視頻摳像方法
【技術領域】
[0001] 本發(fā)明屬于圖像處理領域，特別是針對帶有深度信息的視頻摳像方法。
【背景技術】
[0002] 圖像的摳取作為計算機視覺領域中一項具有眾多用途的技術一直備受學者和企 業(yè)的關注，在許多領域有著大量成功的實際應用。而從視頻的圖像序列中摳取感興趣目標 的技術是對單幅圖像摳像的更深層次研宄，目前雖處于起步階段，但因其廣泛的應用前景 使得越來越多的學者開始致力于該領域的研宄。
[0003] 單幀圖像的摳像過程即計算圖像中每個像素點的前景像素值F，背景像素值B和 alpha透明度值，為欠約束問題，計算復雜。而視頻摳像是對圖像序列的摳像，所牽涉問題更 復雜，存在幾個方面的難點需要解決，重點有：1.待處理的數(shù)據(jù)量巨大，需要高效處理視頻 序列中的大量像素點，提高摳像效率；2.視頻摳像需要保持序列間的時空一致性，減少摳 像產生閃爍和視覺突變；
[0004] 目前，現(xiàn)有的視頻摳像方法主要分以下幾類：
[0005] 逐幀的摳像算法。這種算法把視頻中的圖像序列視作獨立的圖像幀，然后對每一 幀圖像應用現(xiàn)有的單幅圖像摳取算法來實現(xiàn)摳像過程。這種方法較為便捷，容易實現(xiàn)，可由 于對每幀圖像的單獨處理導致未妥善考慮相鄰幀間的相關性，會使得連續(xù)的序列圖像之間 對應的像素透明度值產生差異，無法確保摳取結果的幀間連續(xù)性，產生閃爍和視覺突變。
[0006] 三維立體的摳像方法。此類算法把視頻序列看作一個三維的幾何體，將三維幾何 體視作一個整體來進行摳像處理。這種方法往往需要進行多步摳像來獲得一個較為理想的 結果，由于其初步摳像結果獲得的效果不夠精確，需要繼續(xù)的優(yōu)化處理來獲得更好的效果， 故摳像效率較低。
[0007] 連續(xù)幀的摳像算法。該類方法同樣應用了一些較為成熟的單幅摳像方法，同時將 相鄰幀之間的摳像結果作為幀間連續(xù)性的限制條件施加到當前幀的摳像步驟中。由于考慮 了前后相鄰幀間的關聯(lián)，能夠獲得相對較好的摳像效果。但由于對所有幀都采用單幀摳像， 此類方法所耗費時間較多。
[0008] 本發(fā)明基于利用視頻的幀間連貫性，設計一種快速前景和透明度的估算及優(yōu)化方 法，對視頻序列中的感興趣前景目標進行提取。在該方法中使用了基于深度信息的自動三 分圖生成及視頻分段、快速的前景及透明度值估算，并進行了幀內優(yōu)化和幀間集束優(yōu)化，最 終獲得理想的摳像效果。

【發(fā)明內容】

[0009] 本發(fā)明的目的在于解決現(xiàn)有該領域的上述的問題，提供一種視頻圖像序列快速摳 像方法，適合于對具有幀間連貫性的視頻序列進行快速高效的前景目標提取，包括以下步 驟：
[0010] 計算每幀圖像的三分圖，即將每幀圖像劃分為前景區(qū)域、背景區(qū)域以及二者之間 的未知區(qū)域；對視頻進行分段，使每個視頻分段內的幀間保持連貫；獲得各幀的未知區(qū)域 內各像素最優(yōu)的前景和透明度估算值；獲得該視頻分段中所有未知區(qū)域內像素的全局優(yōu)化 解；完成整段視頻的摳像處理。
[0011] 作為優(yōu)選，將每幀圖像劃分為前景區(qū)域、背景區(qū)域以及二者之間的未知區(qū)域，通過 以下步驟實現(xiàn)：
[0012] 1)選定一個深度閾值，對深度圖進行分割獲得一個二值化分割結果，小于閾值的 區(qū)域作為前景；
[0013] 2)對二值化的前景區(qū)域進行形態(tài)學腐蝕操作，腐蝕后所獲區(qū)域作為確定的前景區(qū) 域R f;
[0014] 3)對二值化前景區(qū)域進行形態(tài)學膨脹操作并求反，所得區(qū)域作為確定的背景區(qū)域 Rb;
[0015] 4)確定的前景、背景區(qū)域之間即為未知區(qū)域化，計算其面積S"。
[0016] 作為優(yōu)選，對視頻進行分段，使每個視頻分段內的幀間保持連貫通過以下方式實 現(xiàn)：
[0017]計算前后連續(xù)幀之間的未知區(qū)域間重疊的面積比Pu= (s Jn s :1)/ Max^，S，1)，選取P/0. 8的幀為關鍵幀F(xiàn)rkey;將某關鍵幀F(xiàn)r_與下一關鍵幀F(xiàn)rkey，i+1之 間的圖像序列歸到同一分I
其中Frt，t =1，2.. .，n為關鍵幀之間的普通幀。
[0018] 作為優(yōu)選，獲得各幀的未知區(qū)域內各像素最優(yōu)的前景和透明度估算值，通過以下 方式實現(xiàn)：對視頻分段的首末兩幀應用閉合式摳像；基于光流法原理求解像素的運動參 數(shù)；結合幀間連續(xù)性逐幀估算各幀未知區(qū)域內像素點的信息；以模擬退火算法對各幀內估 算得到的參數(shù)優(yōu)化。
[0019] 進一步，所述對視頻分段的首末兩幀應用閉合式摳像，通過以下方法實現(xiàn)：對 Seg[Fr key，i]中的關鍵幀F(xiàn)rkey，i，基于經典閉合式摳像（Closed Form Matting)方法獲得其 未知區(qū)域^中每一個像素的前景、背景和透明度（F，B，a)值。
[0020] 進一步，所述基于光流法原理求解像素的運動參數(shù)，通過以下方法實現(xiàn)：
[0021] 令I為圖像的灰度值，D為圖像的深度值，根據(jù)光流法的基本原理，對每一個像素 點均滿足下列兩個公式：
[0022] Ix ? u+Iy ? v+It= 0 (1)
[0023] Dx ? u+Dy ? v+Dt= 0 (2)
[0024] 其中Ix，Iy，仁和D x，Dy，Dt分別為灰度值和深度值在x，y方向和時間t上的偏導 數(shù)，均可以通過幀序列的顏色圖和深度圖直接計算得到；
[0025] M v = f為該像素點沿x，y方向上的速度分量；通過解上述兩個公式，可 at at 求得每個像素點的運動參數(shù)4，其中p代表速度大小，0=tan ^代表速 度方向，如圖2所示。
[0026]進一步，所述結合幀間連續(xù)性逐幀估算各幀未知區(qū)域內像素點的信息，通過以下 方法實現(xiàn)：
[0027]對于當前幀F(xiàn)rt未知區(qū)域R/中的第k個像素點p^Uy)，根據(jù)其運動參數(shù) _口/(/7,沒），計算其在FrH中的位置p kH(x'，y');使用pkH(x，y)處的背景值BkH(x，y) 作為Pkt(x，y)的背景估計值5，使用p廣HxW)處3X3鄰域內已知值來估算pkt(x，y) 處的前景值F和透明度值歹；
[0032] 作為優(yōu)選，所述以模擬退火算法對各幀內估算得到的參數(shù)進行優(yōu)化，通過以下方 法實現(xiàn)：
[0033] 假定p^Oc，y)處的像素背景顏色值B不變，利用模擬退火算法對前景像素值F和 透明度值歹進行優(yōu)化；
[0034] 其中，模擬退火優(yōu)化算法使用的解系S為：
[0035]
[0036]其中A 〇 a = 〇 aA3 .N), A 〇 F= 〇 丨(3 .N) ; 〇 F和 〇 a分別為 Pkt-1(x'，y') 處3X3鄰域內前景和透明度值的方差；N為常量，用來控制步長；
[0037] 模擬退火優(yōu)化算法使用的評價函數(shù)C (S)為：
[0038]
[0039] 其中02, 03為常量系數(shù)，Color(x，y)為像素點的顏色RGB向量，互、F和 歹為初始背景、前景和透明度的估計值，F(xiàn)4和^^為當前迭代求出的前景和透明度值。
[0040] 作為優(yōu)選，獲得該視頻分段中所有未知區(qū)域內像素的全局優(yōu)化解，通過求如下能 量方程最小化解來進行：
[0041]
[0042] 其中Frm為步驟3中的圖像幀，Aa/1%和AF/# 2分別表示Fr#知區(qū)域 R"m中的待定像素的前景和透明度值在向前（后）推導過程中的幀間差值，F(xiàn)k'F/、a: 和a，為中第k個待定像素通過向前（后）推導分別得到的前景值和透明度值；
為滿足正態(tài)分布的系數(shù)，在Frm處達到峰值；N為控制常量。
[0043] 本發(fā)明具有以下有益效果：適合于對具有幀間連貫性的視頻序列進行快速高效的 前景目標提取，能夠保持視頻摳像的時空一致性，減少閃爍和視覺突變，提高了摳像計算效 率。
【附圖說明】
[0044]圖1是針對帶深度信息的視頻摳像方法的流程圖；
[0045] 圖2視頻分段幀的三分圖及未知區(qū)域像素在幀間的運動變化圖。
【具體實施方式】
[0046] 下面結合具體實施例，并結合附圖，對本發(fā)明的技術方案作進一步的說明：
[0047] 實施例1:使用深度攝像頭（如微軟的Kinect)