專利名稱：對視頻進(jìn)行多體深度恢復(fù)和分割的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種深度恢復(fù)和分割的方法，對存在多個剛性物體運(yùn)動的視頻進(jìn)行深 度恢復(fù)和分割。
背景技術(shù)：
基于深度的三維恢復(fù)和圖像(或視頻)分割一直以來都是計(jì)算機(jī)視覺中的基礎(chǔ)問 題，因?yàn)橛?jì)算出來的深度圖像和分割圖像可以被分別或共同用于很多重要的應(yīng)用中，比如 物體識別、基于圖像的渲染、和圖像(或視頻)編輯。然而對這兩類問題的研究經(jīng)常是獨(dú)立 的，直到最近才有人開始對他們一同進(jìn)行研究。比如L. Quan, J. Wang, P. Tan, and L. Yuan. Image-based modeling by joint segmentation. International Journal of Compu ter Vision (IJCV，0 7 )。多視圖的立體恢復(fù)(深度恢復(fù))技術(shù)(Multi-View Stereo，即MVS)可以用來從一 組圖像中計(jì)算深度和三維幾何信息。基于三維重建的重要性，已經(jīng)有人對存在運(yùn)動物體的 動態(tài)場景進(jìn)行重建進(jìn)行了研究。三維運(yùn)動分割是將多個運(yùn)動物體的特征軌跡區(qū)分開來， 目的是恢復(fù)他們的實(shí)際位置和對應(yīng)的攝像機(jī)運(yùn)動信息。為了簡單起見，這類方法大多數(shù) 都采用仿射攝像機(jī)模型(affine camera motion)，比如 J. P. Costeira and Τ. Kanade. A multi-body factorization method for motion analysis. IEEE International Conference on Computer Vision (ICCV’ 95)，也有少數(shù)已經(jīng)提出來的方法處理透視攝像 機(jī)模型下的三維分割問題，比如 K. Schindler, J. U, and H. Wang. Perspective -view multibody structure-and-motion through model selection. (ECCV'06)。然而，這些方 法都不能被直接用到高質(zhì)量的三維重建上面來，特別是在需要得到圖像分割的前提下。如果運(yùn)動的剛性物體都分別被遮住了，那么可以對每一個物體獨(dú)立地運(yùn)用MVS。經(jīng) 典的圖像分割方法比如 mean shift、normalized cuts 禾口 weighted aggregation (SWA)，都 只是簡單的處理二維圖像而沒有考慮MVS中的整體幾何信息。為了抽取出前景中的運(yùn)動物體和該物體一些可能的可見邊界，一些雙層分割方法 被提了出來，比如 A. Criminisi, G. Cross, A. Blake, and V. Kolmogorov. Bilayer
segmentation of live video. CVPR，06。這些方法假定攝像機(jī)是靜止的，背景顏色也 很容易估計(jì)或者模擬。然而值得注意的是這些方法也不適用于MVS，因?yàn)樵贛VS中攝像機(jī)是 需要移動的。最近，章國鋒等人在G. Zhang, J. Jia, W. Hua, and H. Bao. Robust bilayer segmentation and motion/depth estimation with a handheld camera. IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI ’ 2010)中用運(yùn)動 信息和深度信息來模擬背景環(huán)境并且抽取出高質(zhì)量的前景層?？梢圆粩嗟貙τ?jì)算得到的深 度運(yùn)動場和雙層分割結(jié)果進(jìn)行迭代優(yōu)化。然而此方法僅限于雙層分割。另外對于前景層來 說只計(jì)算了其運(yùn)動信息而沒有計(jì)算深度信息，這對于三維重建來說是不夠的。在二維運(yùn)動分割中，運(yùn)動趨勢相同的像素被大致分到一組，最后再分成多個不同層次。這種方法嚴(yán)重依賴于運(yùn)動估計(jì)的精確性，并且很難得到高質(zhì)量的分割結(jié)果，特別是當(dāng) 出現(xiàn)嚴(yán)重遮擋的時候。另外，二維運(yùn)動分割也需要得到運(yùn)動和分割的計(jì)算，這二者是“雞和蛋”的問題，也 就是說，對運(yùn)動估計(jì)的不精確會造成分割的不準(zhǔn)確，反過來對分割的不準(zhǔn)確又會造成運(yùn)動 計(jì)算的不精確。于是對這二者的優(yōu)化經(jīng)常會得到一個局部的最優(yōu)值而結(jié)束。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種對視頻進(jìn)行多體深度恢復(fù)和分割的方法，可對存在多 個剛性物體運(yùn)動的視頻進(jìn)行深度恢復(fù)和分割。為實(shí)現(xiàn)上述目的，本發(fā)明所采取的技術(shù)方案是該對視頻進(jìn)行多體深度恢復(fù)和分 割的方法包括如下步驟
(1)利用式(1)的能量方程對視頻用迭代方法進(jìn)行能量最小化，得到視頻的每一幀的 初始標(biāo)號，所述初始標(biāo)號由像素的深度信息和分割信息組成，
權(quán)利要求
1. 一種對視頻進(jìn)行多體深度恢復(fù)和分割的方法，其特征在于，包括如下步驟 (1)利用式(1)的能量方程對視頻用迭代方法進(jìn)行能量最小化，得到視頻的每一幀的 初始標(biāo)號，所述初始標(biāo)號由像素的深度信息和分割信息組成，5'Cl；/)=i 0-^sji( Λ( ))+^ Σ KhWhhiyM(ι)其中，
2.根據(jù)權(quán)利要求1所述的對視頻進(jìn)行多體深度恢復(fù)和分割的方法，其特征在于，步驟 (2)所述“用多體平面擬合方法對所述初始標(biāo)號進(jìn)行優(yōu)化”的方法如下對每一幀進(jìn)行圖像分割后，對每個分割塊逐次賦予一個物體標(biāo)號，同一分割塊每次所 賦予的物體標(biāo)號互不相同，然后對每個分割塊的每次賦值結(jié)果利用式(1)所示的能量方程 得到相應(yīng)的最小能量值和該分割塊所在平面的參數(shù)；將每個分割塊中的最小能量值中的最 小值與初始標(biāo)號所對應(yīng)的最小能量值進(jìn)行比較若分割塊中的最小能量值中的最小值小于 初始標(biāo)號所對應(yīng)的最小能量值，則將該分割塊中的最小能量值中的最小值所對應(yīng)的物體標(biāo) 號作為分割標(biāo)號賦給該分割塊中的像素，得到該分割塊的優(yōu)化后的標(biāo)號；否則，以所述初始 標(biāo)號作為該分割塊的優(yōu)化后的標(biāo)號。
全文摘要
本發(fā)明公開一種對視頻進(jìn)行多體深度恢復(fù)和分割的方法，包括如下步驟(1)對視頻用迭代方法進(jìn)行能量最小化，得到視頻的每一幀的初始標(biāo)號，初始標(biāo)號由像素的深度和分割信息組成；(2)對每一幀進(jìn)行圖像分割后，用多體平面擬合方法對每一幀圖像的初始標(biāo)號進(jìn)行優(yōu)化，得到每一幀圖像所有分割塊的優(yōu)化后的標(biāo)號；(3)利用優(yōu)化后的標(biāo)號，為每一幀上的每個像素從鄰近幀中選出一組可見幀和一組不可見幀；(4)對所述視頻的每一幀用迭代方法進(jìn)行能量最小化，得到視頻的每一幀的迭代后的標(biāo)號，然后用層次置信度傳播算法進(jìn)一步擴(kuò)展迭代后的標(biāo)號中深度的級數(shù)。本發(fā)明可對存在多個剛性物體運(yùn)動的視頻進(jìn)行深度恢復(fù)和分割。
文檔編號G06T7/20GK102074020SQ201010616940
公開日2011年5月25日 申請日期2010年12月31日 優(yōu)先權(quán)日2010年12月31日
發(fā)明者章國鋒, 鮑虎軍 申請人:浙江大學(xué)