專利名稱：基于人機(jī)交互的平面視頻轉(zhuǎn)立體視頻的方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)多媒體技術(shù)領(lǐng)域，特別涉及一種將普通平面視頻轉(zhuǎn)為立體視頻的技術(shù)。技術(shù)背景看過3D電影的人都會(huì)對其真實(shí)感留下深刻的印象，那種身臨其境的感受讓人難以忘 懷，而現(xiàn)在，立體視頻正在全世界范圍內(nèi)并在多個(gè)行業(yè)中得到越來越多的推廣和青睞，比 如，中國一些中心城市的大型購物場所和娛樂場所已經(jīng)開始布置立體播放器，用這些立體 播放器播放事先制作好的廣告或其他宣傳視頻，給人以很強(qiáng)的視覺沖擊力，非常能吸引觀 眾的眼球。平面視頻就是單目視頻序列，而上述的3D電影屬于立體視頻，所謂立體視頻，就是 雙目視頻序列，即包含兩個(gè)視頻序列，分別為左視圖序列和右視圖序列，兩個(gè)序列分別給 觀眾的左眼看和右眼看。人眼看世界之所以有立體感，是因?yàn)樽笱酆陀已劭词澜绲囊暯怯?少許不同而存在視差(disparity),而立體視頻的兩個(gè)序列對應(yīng)的每一幀也有視差，這也 是使觀眾觀看立體視頻可以產(chǎn)生如臨其境的立體感的原因。目前立體視頻的片源制作是立體視頻領(lǐng)域一個(gè)主要難題之一。由于直接獲取立體視頻 難度大成本高，所以將平面視頻轉(zhuǎn)為立體視頻技術(shù)正在得到越來越多的重視。上述視差(disparity)是指左視圖和右視圖對應(yīng)于同一個(gè)世界點(diǎn)的兩個(gè)象素點(diǎn)的水平位移。計(jì)算機(jī)視覺領(lǐng)域的定理指出，某點(diǎn)的視差和它所對應(yīng)的世界點(diǎn)的深度(d印th) 成反比，也就是說，離觀看點(diǎn)越遠(yuǎn)的點(diǎn)的視差值越小，無窮遠(yuǎn)點(diǎn)的視差為0， 一張圖像所 有點(diǎn)的深度值組成了深度圖(d印th m即)。如果給定了左視圖(右視圖)和深度圖，就可 以得到右視圖(左視圖)。平面視頻轉(zhuǎn)為立體視頻，就是設(shè)法獲取原序列(平面視頻)的每幀的深度信息從而得 到深度序列，然后將原序列和深度序列做一定的處理得到新視頻序列，從而得到立體視頻。本申請發(fā)明人已在申請?zhí)枮?2007101176542"題為"基于光流場的平面視頻的方法" 的專利中公開了一種平面視頻轉(zhuǎn)立體視頻的自動(dòng)方法，主要是基于視頻的幀間運(yùn)動(dòng)信息來 計(jì)算深度圖。此方法的優(yōu)點(diǎn)是簡單易行，而且可以自動(dòng)實(shí)現(xiàn)平面視頻到立體視頻的轉(zhuǎn)換。但該基于幀間運(yùn)動(dòng)的自動(dòng)方法還會(huì)有如下問題1. 通過分析幀間的圖像運(yùn)動(dòng)得到的深度信息事實(shí)上只能算作"偽信息"，而不是真 實(shí)的深度信息，因此得到的的深度圖經(jīng)常會(huì)和實(shí)際情況不符。2. 由于是基于幀間運(yùn)動(dòng)來獲取深度信息，所以如果圖像里沒有運(yùn)動(dòng)的部分，則無法獲取任何深度信息。當(dāng)然現(xiàn)在也有一些自動(dòng)的方法基于遮擋、陰影、紋理等深度線索來獲取靜止圖像的深 度信息，但是一般來說這些方法通用性很差。因此，自動(dòng)的平面視頻轉(zhuǎn)立體視頻方法，不論是基于靜態(tài)圖像的深度線索(遮擋、陰 影、紋理等等)，還是基于幀間的圖像運(yùn)動(dòng)，得到的深度信息都經(jīng)常會(huì)和實(shí)際情況不符。與本發(fā)明的方法中采用的相關(guān)技術(shù)介紹如下1. KLT方法KLT是一種計(jì)算機(jī)視覺領(lǐng)域中成熟的而且魯棒的特征點(diǎn)跟蹤方法(參 考文獻(xiàn)，"特征點(diǎn)的探測和跟蹤"，卡內(nèi)基梅隆大學(xué)技術(shù)報(bào)告，作者Carlo Tomasi ， Takeo Kanade ， 原標(biāo)題 "Detection and Tracking of Point Features " ， Technical Report CMU-CS-91-132 )，主要包括對特征點(diǎn)的選取和跟蹤，該特征點(diǎn)為圖像里的WxiV的像素 塊(也稱窗口) (iV—般為奇數(shù))，而且這樣的窗口必須滿足一定的條件才可以被KLT方法 選作特征點(diǎn)，這個(gè)條件主要是窗口包含的像素值需要有較大的變化范圍。特征點(diǎn)選取之后， KLT會(huì)自動(dòng)的在后續(xù)幀里對這些特征點(diǎn)的位置變化進(jìn)行跟蹤，具體跟蹤算法主要基于最小化SSD (窗口對應(yīng)像素值差的平方和)。2. B樣條插值法這是一種由離散點(diǎn)擬合為光滑曲線的方法。3. warping技術(shù)，這種技術(shù)的基本原理是，因?yàn)樯疃葓D代表左右視圖對應(yīng)的點(diǎn)的視差， 那么根據(jù)深度圖，將左視圖每一點(diǎn)做相應(yīng)的偏移就可得到右視圖的點(diǎn)。發(fā)明內(nèi)容本發(fā)明的目的是不為克服已有技術(shù)的不足之處，提出一種基于人機(jī)交互的平面視頻轉(zhuǎn) 立體視頻的方法，本方法采用用戶與計(jì)算機(jī)交互的方法實(shí)現(xiàn)，可以得到一個(gè)視頻序列的每 一幀的準(zhǔn)確的深度圖，從而很好得實(shí)現(xiàn)平面視頻轉(zhuǎn)立體視頻，而且用戶的工作量得到最大 程度的簡化。本發(fā)明提出的基于光流場的平面視頻轉(zhuǎn)立體視頻的方法，其特征在于，包括以下步驟1) 對要處理的平面視頻序列的第一幀以繪圖的方式對前景物體進(jìn)行物體分割并對每 個(gè)分割出來的物體指定一個(gè)表示該物體深度的深度值，同時(shí)對背景區(qū)域給定一個(gè)表示該背 景深度的深度值，從而生成第一幀的深度圖2) 在第一幀分割出來的前景物體的輪廓上用KtT方法選取多個(gè)特征點(diǎn)，并在第一幀之 后的各后續(xù)幀中對第一幀選取出的多個(gè)特征點(diǎn)進(jìn)行跟蹤，得到該多個(gè)特征點(diǎn)在后續(xù)幀中的 位置；3) 采用輪廓復(fù)原法根據(jù)每一后續(xù)幀的特征點(diǎn)的位置生成該幀中多個(gè)物體的閉合的輪 廓'曲線，從而恢.復(fù)這些特征點(diǎn)在各后續(xù)幀中所對應(yīng)的物體輪廓；4) 根據(jù)第一幀中各物體及背景的深度值生成每一后續(xù)幀的深度圖；5) 將原序列的每一幀作為一個(gè)左視圖，把該左視圖和對應(yīng)的深度圖合成得到一個(gè)右 視圖，再將左、右視圖合成得到一個(gè)立體視頻幀；所有立體視頻幀組成立體視頻序列。所述步驟l)中的生成第一幀的深度圖的具體步驟可包括-11) 對要處理的平面視頻序列第一幀后，沿著該幀中每一個(gè)待分割的前景物體的輪廓 隔一段距離取一個(gè)點(diǎn)，所有點(diǎn)依次連接成該物體的閉合的輪廓線；12) 對每個(gè)物體用輸入數(shù)值的方式指定一個(gè)深度值，對該整幀圖像除去所有物體之外 的背景區(qū)域輸入一個(gè)指定的深度值；13) 根據(jù)所有物體及背景區(qū)域的深度值，生成第一幀的深度圖。所述步驟3)中采用輪廓復(fù)原法生成該幀中多個(gè)物體的閉合的輪廓曲線的具體步驟可包括31) 每后續(xù)幀一個(gè)物體的特征點(diǎn)的集合S里任選一點(diǎn)作為初始特征點(diǎn)P,，設(shè)S。,d為待生成特征點(diǎn)的集合，將特征點(diǎn)P,包含進(jìn)S。w;32) 在集合S中尋找距離特征點(diǎn)P,最近的點(diǎn)作為特征點(diǎn)P2 ，同時(shí)將特征點(diǎn)P2包含進(jìn)S。id :33) 在集合3中尋找與特征點(diǎn)&最近的且不屬于3。|(1的特征點(diǎn)& (P3gS。ld)，同時(shí)將特 征點(diǎn)&包含進(jìn)S。w;34) 用尋找&的方法得到特征點(diǎn)P4， P5, P6， PN，同時(shí)將特征點(diǎn)P4， P5， P6， PN包含進(jìn)S。,d;若滿足以下終止條件，則停止尋找； 終止條件l:當(dāng)將特征點(diǎn)Pw包含進(jìn)S。,d后，S=S。|d,或終止條件2:在集合S中仍有點(diǎn)P滿足PgS。,d，但是IPwP^T,, i;為距離閾值；35) 使用B樣條插值的方法將尋找出的點(diǎn)依次連成該物體的封閉的輪廓曲線；36) 重復(fù)進(jìn)行步驟31) -35),得到各后續(xù)幀中各物體的封閉的輪廓曲線。所述距離閾值T,取值范圍可為40-60個(gè)像素長度。 本發(fā)明的特點(diǎn)及有益效果本發(fā)明的方法可采用人機(jī)交互的半自動(dòng)方法，通過用戶操作得到一個(gè)平面視頻序列里 第一幀的準(zhǔn)確的深度圖，則可再自動(dòng)生成各后續(xù)幀的較準(zhǔn)確的深度圖，最后合成立體視頻 序列，從而很好得實(shí)現(xiàn)平面視頻轉(zhuǎn)立體視頻。進(jìn)行圖像分割的目的在于可以將圖像里處于一個(gè)深度層的區(qū)域或者是物體分割出來， 這對于得到精確的深度圖是必須的步驟。目前的自動(dòng)分割方法，包括靜態(tài)圖形分割方 和運(yùn)動(dòng)圖像分割，都無法魯棒且準(zhǔn)確得分割圖像，而如果不能準(zhǔn)確得分割就無法得到準(zhǔn)確 的深度圖。本發(fā)明方法是由用戶操作計(jì)算機(jī)來分割圖像及設(shè)計(jì)深度值，可以得到最好的分 割效果和精確的深度值，從而為很好得實(shí)現(xiàn)平面視頻轉(zhuǎn)立體視頻打下良好的基礎(chǔ)。附'圖說明

圖1為本發(fā)明方法總體流程框圖。圖2為本發(fā)明的實(shí)施例中待處理的平面視頻序列的第一幀圖像。 圖3為對第一幀進(jìn)行物體分割并選取特征點(diǎn)之后的結(jié)果圖。圖4為生成的第一幀的深度圖。圖5為本實(shí)施例的輪廓復(fù)原方法示意圖。圖6本實(shí)施例生成的第2-6幀的深度圖。
具體實(shí)施方式
本發(fā)明提出的基于用戶交互的平面視頻轉(zhuǎn)立體視頻的方法結(jié)合附圖及實(shí)施例詳細(xì)說明如下本發(fā)明提出的基于光流場的平面視頻轉(zhuǎn)立體視頻的方法，如圖l所示，包括以下步驟 1 )對要處理的平面視頻序列的第一幀以繪圖的方式對前景物體進(jìn)行物體分割并對每 個(gè)分割出來的物體指定一個(gè)表示該物體深度的深度值，同時(shí)對背景區(qū)域給定一個(gè)表示該背 景深度的深度值，從而生成第一幀的深度圖；生成第一幀的深度圖的具體步驟為11) 計(jì)算機(jī)屏幕顯示對要處理的平面視頻序列第一幀后，用戶沿著該幀中每一個(gè)待分 割的前景物體的輪廓隔一段距離取一個(gè)點(diǎn)(點(diǎn)間距視具體情況而定，曲線越復(fù)雜，要求取 點(diǎn)就越密集)，所有點(diǎn)依次連接成該物體的閉合的輪廓線；12) 用戶對每個(gè)物體用輸入數(shù)值的方式指定一個(gè)深度值(深度值的范圍是0-255，深 度值越大表示離觀察者越近)，對該整幀圖像除去所有物體之外的背景區(qū)域輸入一個(gè)指定 的深度值；13) 根據(jù)所有物體及背景區(qū)域的深度值，生成第一幀的深度圖；2) 在所述第一幀分割出來的前景物體的輪廓上用KLT方法選取多個(gè)特征點(diǎn)，并在第 一幀之后的各后續(xù)幀中對第一幀選取出的多個(gè)特征點(diǎn)進(jìn)行跟蹤，得到該多個(gè)特征點(diǎn)在后續(xù) 幀中的位置；3) 采用輪廓復(fù)原法根據(jù)每一后續(xù)幀的特征點(diǎn)的位置生成該幀中多個(gè)物體的閉合的輪 廓曲線，從而恢復(fù)這些特征點(diǎn)在各后續(xù)幀中所對應(yīng)的物體輪廓；上述步驟中采用輪廓復(fù)原法生成該幀中多個(gè)多個(gè)物體的閉合的輪廓曲線的具體步 驟包括31) 每后續(xù)幀一個(gè)物體的特征點(diǎn)的集合S里任選一點(diǎn)作為初始特征點(diǎn)P,，設(shè)S。w為待生 成特征點(diǎn)的集合，將特征點(diǎn)P,包含進(jìn)S。w;32) 在集合S中尋找距離特征點(diǎn)P,最近的點(diǎn)作為特征點(diǎn)P2，同時(shí)將特征點(diǎn)&包含進(jìn)s。id;33) 在集合S中尋找與特征點(diǎn)P2最近的且不屬于S。w的特征點(diǎn)P3 (P3gS。ld)，同時(shí)將特 征點(diǎn)&包含進(jìn)S。,d;34) 用尋找&的方法得到特征點(diǎn)P4， P5， P6，…P『同時(shí)將特征點(diǎn)P4， P5, P6，…Pn 包含進(jìn)S。,d;若滿足以下終止條件，則停止尋找；終止條件l:當(dāng)將特征點(diǎn)Pw包含進(jìn)S。w后，S=S。ld，或終止條件2:在集合S中仍有點(diǎn)P滿足PgS。,d,但是lPwP卜T,， T,為距離閾值，該閾 值取值范圍為40-60個(gè)像素長度；35) 使用B樣條插值的方法將尋找出的點(diǎn)依次連成該物體的封閉的輪廓曲線；36) 重復(fù)進(jìn)行步驟31) -35)，得到各后續(xù)幀中各物體的封閉的輪廓曲線；4) 根據(jù)第一幀中各物體及背景的深度值生成各后續(xù)幀的深度圖；上述生成各后續(xù)幀的深度圖的方法為利用歩驟2)的跟蹤的過程中對當(dāng)前幀的每一個(gè)跟蹤到的物體的面積與第一幀相應(yīng)物體的面積進(jìn)行比較，并根據(jù)面積的變化對第一幀給定的物體深度值進(jìn)行修正，修改后的深度值作為當(dāng)前幀該物體的深度值(這個(gè)物體的深度的改變一定會(huì)導(dǎo)致它所對的區(qū)域R的面 積的改變，如果面積變大則說明離觀察者近了，反之則說明離觀察者遠(yuǎn)了，則可以根據(jù)R的面積大小的改變來修正深度值)；5) 將原序列的每一幀作為左視圖，把左視圖和深度圖合成得到右視圖，再將左、右視圖合成得到立體視頻幀；所有立體視頻幀組成立體視頻序列(具體方法采用已有常規(guī)方 法)。本發(fā)明方法的一種實(shí)施例包括以下步驟1) 對要處理的平面視頻序列(本實(shí)施例的總幀數(shù)M為20)的第一幀以繪圖的方式對前景物體進(jìn)行物體分割并對每個(gè)分割出來的物體指定一個(gè)表示該物體深度的深度值，同時(shí)對背景區(qū)域給定一個(gè)表示該背景深度的深度值，從而生成第一幀的深度圖，具體方法為 計(jì)算機(jī)屏幕顯示對要處理的平面視頻序列第一幀如圖2所示，可以看到主要有兩個(gè)前景物體(N=2)，這兩個(gè)前景物體是兩個(gè)人物，距離觀察著較近的人物向左運(yùn)動(dòng)，較遠(yuǎn)的人物向右運(yùn)動(dòng)。用戶沿著該幀中每一個(gè)待分割的前景人物的輪廓隔一段距離取一個(gè)點(diǎn)，由于 人的頭部和腳部輪廓較復(fù)雜，所以取點(diǎn)應(yīng)該比較密集，這樣就得到兩個(gè)人物的閉合的輪廓線，同時(shí)用戶對每個(gè)物體用輸入數(shù)值的方式來指定一個(gè)深度值(深度值的范圍是0-255， 深度值越大表示離觀察者越近)，較近的人物深度值為200，較遠(yuǎn)的為150，再對背景的深 度值給定為50，這樣就生成了第一幀的深度圖；2) 在第一幀分割出來的前景物體的輪廓上用KLT方法選取多個(gè)特征點(diǎn)，在第一幀之 后的各后續(xù)幀中對第一幀選取出的多個(gè)特征點(diǎn)進(jìn)行跟蹤，得到該多個(gè)特征點(diǎn)在后續(xù)幀中的 位置；具體方法為對每一個(gè)被分割出來的區(qū)域R，在R的輪廓線附近應(yīng)用KLT算法自動(dòng)選取特征點(diǎn)。本 實(shí)施例的特征窗口設(shè)定為7X7個(gè)大小的像素塊，特征點(diǎn)之間的最小間距(兩個(gè)特征窗口 中心距離的最小值的限定)設(shè)定為為10個(gè)像素。圖3為在第一幀里兩個(gè)前景人物的輪廓 上選取特征點(diǎn)的結(jié)果，小點(diǎn)表示KLT方法自動(dòng)選取的特征點(diǎn)。對第一幀之后的后續(xù)幀應(yīng)用KLT算法進(jìn)行自動(dòng)的特征點(diǎn)跟蹤，得到該多個(gè)特征點(diǎn)在后 續(xù)幀中的位置；3) 采用輪廓復(fù)原的方法根據(jù)每一后續(xù)幀的特征點(diǎn)的位置生成該幀中多個(gè)閉合的輪廓曲線；7本發(fā)明提出的輪廓復(fù)原就是把跟蹤到的離散的特征點(diǎn)用光滑曲線連接起來，從而恢復(fù) 這些特征點(diǎn)所對應(yīng)的區(qū)域輪廓。具體復(fù)原方法，如圖4所示31) 在后續(xù)幀的一個(gè)物體的特征點(diǎn)的集合S里任選一點(diǎn)A作為初始點(diǎn)P,，設(shè)S。w為選 好的點(diǎn)的集合，此時(shí)S。w僅包含一個(gè)點(diǎn)P。32) 在S里尋找距離A最近的點(diǎn)作為P2 ，同時(shí)&被包含進(jìn)S。w ;33) 在S里尋找與P2最近的且不屬于S。,d的點(diǎn)作為P; (P3gS。ld)，同時(shí)&被包含進(jìn)S。w;34) 用尋找&的方法得到P,， P5, P6，…Pw，若滿足以下終止條件，則停止尋找；終止條件l:當(dāng)將Pw包含進(jìn)S。,d后，S=S。ld，或終止條件2:仍有點(diǎn)p滿足pgs。w，但是IPwPI〉t;(距離閾值，取50個(gè)像素長度)。35) 使用B樣條插值的方法將尋找出的點(diǎn)連成光滑的輪廓曲線。 提出第二個(gè)判斷條件是因?yàn)榭赡艽嬖谶@樣一種情況，如圖5。以一個(gè)任意點(diǎn)"點(diǎn)1"為起始點(diǎn)，然后按照本發(fā)明的方法依次找到"點(diǎn)2"，"點(diǎn)3","點(diǎn)4"，"點(diǎn)5"，"點(diǎn) 6"，"點(diǎn)7"。當(dāng)發(fā)現(xiàn)在此過程中點(diǎn)8由于偏離輪廓而被"拋棄了"。找到"點(diǎn)7"后， 發(fā)現(xiàn)還有一個(gè)"點(diǎn)8"是新點(diǎn)(即屬于S但不屬于S。,d )。如果只有判斷條件1，就會(huì)把"點(diǎn) 8"當(dāng)作最后一個(gè)點(diǎn)，這當(dāng)然是不希望看到的，因?yàn)?點(diǎn)8"作為壞點(diǎn)不應(yīng)該被選入輪廓點(diǎn)。 因此本發(fā)明提出了第二個(gè)判斷條件，這樣就可以避免讓"點(diǎn)8"入選，而"點(diǎn)7"就作為 最后一個(gè)入選的點(diǎn)。事實(shí)上上述這種情況在實(shí)際情況中是經(jīng)常出現(xiàn)的。4) 根據(jù)第一幀中各物體及背景的深度值生成每一幀的深度圖；具體方法為在跟蹤的過程中對當(dāng)前幀的每一個(gè)跟蹤到的區(qū)域的面積與第一幀相應(yīng)區(qū) 域的面積進(jìn)行比較(面積的計(jì)算和比較均為常規(guī)技術(shù))，并根據(jù)面積的變化對第一幀用戶 給定的深度值進(jìn)行修正，修改后的深度值作為當(dāng)前幀該物體的深度值(這個(gè)物體的深度的 改變一定會(huì)導(dǎo)致它所對的區(qū)域R的面積的改變，如果面積變大則說明離觀察者近了，反之 則說明離觀察者遠(yuǎn)了，這樣就可以根據(jù)R的面積大小的改變來修正深度值)；在本實(shí)施例 里人物深度保持不變。第2幀到第6幀的原圖以及生成的深度圖見圖6，其中(a)-(e)為原 圖，(A)-(E)為深度圖。5) 將原序列的每一幀作為左視圖，把左視圖和深度圖合成得到右視圖，再將左、右 視圖合成得到立體視頻幀；所有立體視頻幀組成立體視頻序列。上述步驟已有常規(guī)方法實(shí) 現(xiàn)，采用warping技術(shù)可將左視圖和深度圖合成右視圖，然后左右視圖用奇偶數(shù)列交叉的 方式合成得到立體視圖(立體視圖的奇數(shù)列為左視圖奇數(shù)列，偶數(shù)列為右視圖的偶數(shù)列)。
權(quán)利要求
1、基于人機(jī)交互的平面視頻轉(zhuǎn)立體視頻的方法，該方法包括以下步驟1)對要處理的平面視頻序列的第一幀以繪圖的方式對前景物體進(jìn)行物體分割并對每個(gè)分割出來的物體指定一個(gè)表示該物體深度的深度值，同時(shí)對背景區(qū)域給定一個(gè)表示該背景深度的深度值，從而生成第一幀的深度圖；2)在第一幀分割出來的前景物體的輪廓上用KLT方法選取多個(gè)特征點(diǎn)，并在第一幀之后的各后續(xù)幀中對第一幀選取出的多個(gè)特征點(diǎn)進(jìn)行跟蹤，得到該多個(gè)特征點(diǎn)在后續(xù)幀中的位置；3)采用輪廓復(fù)原法根據(jù)每一后續(xù)幀的特征點(diǎn)的位置生成該幀中多個(gè)物體的閉合的輪廓曲線，從而恢復(fù)這些特征點(diǎn)在各后續(xù)幀中所對應(yīng)的物體輪廓；4)根據(jù)第一幀中各物體及背景的深度值生成每一后續(xù)幀的深度圖；5)將原序列的每一幀作為一個(gè)左視圖，把該左視圖和對應(yīng)的深度圖合成得到一個(gè)右視圖，再將左、右視圖合成得到一個(gè)立體視頻幀；所有立體視頻幀組成立體視頻序列。
2、 如權(quán)利要求l所述方法，其特征在于，所述步驟l)中的生成第一幀的深度圖的具 體步驟包括11) 對要處理的平面視頻序列第一幀后，沿著該幀中每一個(gè)待分割的前景物體的輪廓 隔一段距離取一個(gè)點(diǎn)，所有點(diǎn)依次連接成該物體的閉合的輪廓線；12) 對每個(gè)物體用輸入數(shù)值的方式指定一個(gè)深度值，對該整幀圖像除去所有物體之外 的背景區(qū)域輸入一個(gè)指定的深度值；13) 根據(jù)所有物體及背景區(qū)域的深度值，生成第一幀的深度圖。
3、 如權(quán)利要求1所述方法，其特征在于，所述步驟3)中采用輪廓復(fù)原法生成該幀 中多個(gè)物體的閉合的輪廓曲線的具體步驟包括31) 每后續(xù)幀一個(gè)物體的特征點(diǎn)的集合S里任選一點(diǎn)作為初始特征點(diǎn)P,，設(shè)S。,d為待生 成特征點(diǎn)的集合，將特征點(diǎn)P,包含進(jìn)S。,d;32) 在集合S中尋找距離特征點(diǎn)P,最近的點(diǎn)作為特征點(diǎn)&，同時(shí)將特征點(diǎn)&包含進(jìn)33) 在集合3中尋找與特征點(diǎn)&最近的且不屬于3。|()的特征點(diǎn)& (P3eS。ld)，同時(shí)將特 征點(diǎn)&包含進(jìn)S。w;34) 用尋找&的方法得到特征點(diǎn)P,， P5， P6，…Pw，同時(shí)將特征點(diǎn)^, P5， P6, PN 包含進(jìn)S。,d;若滿足以下終止條件，則停止尋找；終止條件l:當(dāng)將特征點(diǎn)Pw包含進(jìn)S。,d后，S=S。|d，或終止條件2:在集合S中仍有點(diǎn)P滿足PgS。,d,但是IPnP卜T,, T,為距離閾值；35) 使用B樣條插值的方法將尋找出的點(diǎn)依次連成該物體的封閉的輪廓曲線；36) 重復(fù)進(jìn)行步驟31) -35)，得到各后續(xù)幀中各物體的封閉的輪廓曲線。
4、 如權(quán)利要求3所述方法，其特征在于，所述距離閾值T,取值范圍為40-60個(gè)像素 長度。
全文摘要
本發(fā)明涉及基于人機(jī)交互的平面視頻轉(zhuǎn)立體視頻的方法，屬于計(jì)算機(jī)多媒體技術(shù)領(lǐng)域，該方法包括對平面視頻序列的第一幀的前景物體進(jìn)行物體分割并指定其深度值，對背景區(qū)域給定一個(gè)深度值，生成第一幀的深度圖在第一幀分割出來的前景物體的輪廓上用KLT方法選取多個(gè)特征點(diǎn)，并進(jìn)行跟蹤，得到多個(gè)特征點(diǎn)在后續(xù)幀中的位置；采用輪廓復(fù)原法生成該幀中多個(gè)物體的閉合的輪廓曲線；生成深度圖；將原序列的左視圖，及左視圖和對應(yīng)的深度圖合成得到的右視圖，合成得到一個(gè)立體視頻幀；所有立體視頻幀組成立體視頻序列。本發(fā)明的優(yōu)點(diǎn)是可以得到每一幀的準(zhǔn)確的深度圖，從而很好得實(shí)現(xiàn)平面視頻轉(zhuǎn)立體視頻，而且本方法對用戶的工作量得到最大程度的簡化。
文檔編號G06T7/00GK101257641SQ20081010203
公開日2008年9月3日 申請日期2008年3月14日 優(yōu)先權(quán)日2008年3月14日
發(fā)明者戴瓊海, 濤 李 申請人:清華大學(xué)