專利名稱：一種平面視頻立體化的深度圖生成方法及裝置的制作方法
技術領域：
本發(fā)明涉及計算機多媒體技術領域，特別涉及一種平面視頻立體化的深度圖生成方法及裝置。
背景技術：
立體視頻技術(也稱3D視頻技術)是未來多媒體技術的發(fā)展方向，立體視頻能夠提供立體感的新型視頻技術。與單通道視頻相比，立體視頻一般有兩個視頻通道，數(shù)據(jù)量要遠遠大于單通道視頻。立體視頻可以提供人類視覺能感受到的立體感。現(xiàn)如今，3D技術已經(jīng)被廣泛應用在許多方面，包括通訊、廣播、醫(yī)療、教育、電腦游戲、動畫等等。此外，3D顯示器的快速發(fā)展使得人們能感受到較好的立體感并且獲得眼睛的最大舒適度。傳統(tǒng)的2D視頻轉(zhuǎn)換成立體視頻的方法，是利用一幅圖像中單一的深度線索比如物體紋理信息、場景的空間幾何信息、物體相對大小信息等等，進行深度信息的提取，最終獲得圖像在三維世界的投影。但是，大多數(shù)的視頻中的場景往往變化復雜，既包括動態(tài)場景也包括靜態(tài)場景，因此單一的深度線索，并不能從開始到結(jié)束適用于所有的鏡頭。此外，傳統(tǒng)運動視差信息是假設距離觀看者近的物體比距離遠的物體運動的速度更快，因此利用物體之間的相對運動速度的快慢可以得到視差深度圖。但是一段視頻的場景往往是很多樣的。視頻中經(jīng)常會出現(xiàn)距離觀看者遠的物體運動快，距離近的物體運動慢， 此時再采用傳統(tǒng)的方法處理，就會得到錯誤的視差圖。

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述技術缺陷之一。本發(fā)明的第一個目的在于提供一種平面視頻立體化的深度圖生成方法，該方法融合靜態(tài)模型和動態(tài)模型，生成更加適應場景真實情況的深度圖，從而獲得效果更加逼真的立體視頻。本發(fā)明的第二個目的在于提供一種平面視頻立體化的深度圖生成裝置。為實現(xiàn)上述目的，本發(fā)明第一方面的實施例提出了一種平面視頻立體化的深度圖生成方法，包括如下步驟對當前幀圖像進行基于場景靜態(tài)模型分布的圖像分割，包括利用所述當前幀圖像中像素的特征向量構建圖拓撲結(jié)構，根據(jù)所述當前幀圖像的圖拓撲結(jié)構對所述當前幀圖像進行圖像分割以得到分割區(qū)域，將所述分割區(qū)域中屬于同一個區(qū)域的像素進行標記以生成所述當前幀圖像的靜態(tài)模型深度圖；選擇所述當前幀圖像和所述參考幀圖像的特征點，跟蹤所述特征點，計算所述當前幀圖像和所述參考幀圖像中的運動物體的運動矢量，對所述運動矢量進行運動分析以得到所述當前幀圖像和所述參考幀圖像的運動分析結(jié)果；根據(jù)所述當前幀圖像的分割區(qū)域和所述當前幀圖像和所述參考幀圖像的運動分析結(jié)果，生成所述當前幀圖像的動態(tài)模型深度圖；將所述當前幀圖像的靜態(tài)模型深度圖和所述當前幀圖像的動態(tài)模型深度圖進行深度融合。根據(jù)本發(fā)明實施例的平面視頻立體化的深度圖生成方法，融合靜態(tài)模型和動態(tài)模型，生成既適合運動場景也適合靜止場景的深度圖，從而獲得效果更加逼真的立體視頻，達到較好的立體效果。本發(fā)明第二方面的實施例提出一種平面視頻立體化的深度圖生成裝置，包括靜態(tài)模型深度圖生成模塊，所述靜態(tài)模型深度圖生成模塊用于利用所述當前幀圖像中像素的特征向量構建所述當前幀圖像的圖拓撲結(jié)構，根據(jù)所述當前幀圖像的圖拓撲結(jié)構對所述當前幀圖像進行圖像分割以得到分割區(qū)域，將所述分割區(qū)域中屬于同一個區(qū)域的像素進行標記生成所述當前幀圖像的靜態(tài)模型深度圖；運動分析模塊，所述運動分析模塊用于選擇所述當前幀圖像和所述參考幀圖像的特征點，并跟蹤所述特征點，計算所述當前幀圖像和所述參考幀圖像中的運動物體的運動矢量，對所述運動矢量進行運動分析以得到所述當前幀圖像和所述參考幀圖像的運動分析結(jié)果；動態(tài)模型深度圖生成模塊，所述動態(tài)模型深度圖生成模塊分別與所述靜態(tài)模型深度圖生成模塊和所述運動分析模塊相連，用于根據(jù)所述當前幀圖像的分割區(qū)域和所述當前幀圖像和所述參考幀圖像的運動分析結(jié)果，生成所述當前幀圖像的動態(tài)模型深度圖；深度融合模塊，所述深度融合模塊分別與所述靜態(tài)模型深度圖生成模塊和所述動態(tài)模型深度圖生成模塊相連，用于將所述當前幀圖像的靜態(tài)模型深度圖和所述當前幀圖像的動態(tài)模型深度圖進行自適應的深度融合。根據(jù)本發(fā)明實施例的平面視頻立體化的深度圖生成裝置，融合靜態(tài)模型和動態(tài)模型，生成既適合運動場景也適合靜止場景的深度圖，從而獲得效果更加逼真的立體視頻，達到較好的立體效果。本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結(jié)合附圖對實施例的描述中將變得明顯和容易理解，其中圖1為根據(jù)本發(fā)明實施例的平面視頻立體化的深度圖生成方法的流程圖；圖2為根據(jù)本發(fā)明實施例的靜態(tài)模型深度圖的生成流程；圖3為根據(jù)本發(fā)明實施例的動態(tài)模型深度圖的生成流程；圖4為根據(jù)本發(fā)明實施例的運動信息分析示意圖；圖5為根據(jù)本發(fā)明實施例的平面視頻立體化的深度圖生成裝置的示意圖。
具體實施例方式下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。本發(fā)明實施例提供的平面視頻立體化的深度圖生成方法，首先輸入平面視頻，然后將平面視頻分為當前幀、當前幀和參考幀兩個分支，分別生成當前幀圖像的靜態(tài)模型深度圖和動態(tài)模型深度圖，再將靜態(tài)模型深度圖和動態(tài)模型深度圖進行深度融合，從而得到當前幀融合后的深度圖。下面參考圖1至圖4描述根據(jù)本發(fā)明實施例的平面視頻立體化的深度圖生成方法。如圖1所示，根據(jù)本發(fā)明實施例的平面視頻立體化的深度圖生成方法，包括如下步驟SlOl 對當前幀圖像進行基于場景靜態(tài)模型分布的圖像分割。如圖2所示，圖像分割包括如下幾個步驟SlOll 將當前幀圖像輸入到內(nèi)存后，首先對該當前幀圖像進行灰度化處理?；叶然幚淼牟襟E包括將當前幀圖像的每個像素RGB通道M位的顏色空間轉(zhuǎn)換為單通道8位顏色空間。通過對當前幀圖像進行灰度化處理，從而可以降低后續(xù)步驟中處理數(shù)據(jù)的數(shù)量。 然后對灰度化處理后的當前幀圖像進行聚類操作?？梢岳斫馐?，上述對當前幀圖像進行灰度化處理的步驟是可選的，即可以對當前幀圖像不經(jīng)過灰度化處理而直接進行聚類操作。S1012:圖像分割的過程可以當作元素聚類問題進行處理，具體而言，將當前幀圖像的基本元素(例如像素)或者其他的成分聚集分組在一個具有相似成分的組塊中，即對當前幀圖像進行聚類操作。根據(jù)圖像分割過程中處理圖像的數(shù)據(jù)結(jié)構的不同，聚類操作包括以下兩種方式1)在向量空間中，將當前幀圖像的元素作為一個獨立的的向量。將像素的部分特征分量作為特征向量，通過中央聚簇算法將上述特征向量進行歸并分組。通過上述方法得到的當前幀圖像的全局特征很有效。但是也存在下述缺點，該方法由于沒有利用向量的空間結(jié)構信息，從而不能保存當前幀圖像的很多細節(jié)信息，因此經(jīng)常會將實際不連通的區(qū)域錯誤地歸并到一個組中。2)利用當前幀圖像中元素的空間關系和連通邊界信息，在空間域中處理當前幀圖像，然后將當前幀圖像轉(zhuǎn)化為二維的圖拓撲結(jié)構。該方法利用了元素的空間關系和聯(lián)通邊界信息，從而可以保存當前幀圖像的細節(jié)信息。優(yōu)選地，采用第二種方式對當前幀圖像進行聚類操作。將當前幀圖像轉(zhuǎn)換為圖拓撲結(jié)構G (V，E)，其中，V是圖像中的節(jié)點，E是相鄰節(jié)點之間的邊的權重。Vi可以為單獨的像素也可以為一個有著均勻形狀、相似紋理或其他特征結(jié)構的微小子區(qū)域，例如可以將一幅圖像分成若干個5X5的小塊，每個小塊作為一個基本節(jié)點。在本發(fā)明的一個實施例中，采用顏色向量作為特征向量表述因子。在特征空間中，Xi 為RGB顏色信息的向量，邊的代價Ei，j有一個正值的權重Wi，j，其中Wi，j反映了節(jié)點(i， j)之間的相似性程度。本發(fā)明采用兩個節(jié)點之間的歐幾里得距離衡量Wi，j的大小。
權利要求
1.一種平面視頻立體化的深度圖生成方法，其特征在于，包括如下步驟對當前幀圖像進行基于場景靜態(tài)模型分布的圖像分割，包括利用所述當前幀圖像中像素的特征向量構建圖拓撲結(jié)構，根據(jù)所述當前幀圖像的圖拓撲結(jié)構對所述當前幀圖像進行圖像分割以得到分割區(qū)域，將所述分割區(qū)域中屬于同一個區(qū)域的像素進行標記以生成所述當前幀圖像的靜態(tài)模型深度圖；選擇所述當前幀圖像和所述參考幀圖像的特征點，跟蹤所述特征點，計算所述當前幀圖像和所述參考幀圖像中的運動物體的運動矢量，對所述運動矢量進行運動分析以得到所述當前幀圖像和所述參考幀圖像的運動分析結(jié)果；根據(jù)所述當前幀圖像的分割區(qū)域和所述當前幀圖像和所述參考幀圖像的運動分析結(jié)果，生成所述當前幀圖像的動態(tài)模型深度圖；將所述當前幀圖像的靜態(tài)模型深度圖和所述當前幀圖像的動態(tài)模型深度圖進行自適應的深度融合。
2.如權利要求1所述平面視頻立體化的深度圖生成方法，其特征在于，在所述構建圖拓撲結(jié)構之前，還包括對所述當前幀圖像進行灰度化處理，包括將所述當前幀圖像的像素RGB三通道M位的顏色空間轉(zhuǎn)化為單通道8位顏色空間。
3.如權利要求1所述的平面視頻立體化的深度圖生成方法，其特征在于，所述構建所述當前幀圖像的圖拓撲結(jié)構，包括如下步驟將所述當前幀圖像的元素作為一個獨立的向量，將所述當前幀圖像的像素的部分特征分量作為特征向量，構造所述當前幀圖像的圖拓撲結(jié)構。
4.如權利要求1所述的平面視頻立體化的深度圖生成方法，其特征在于，所述構建所述當前幀圖像的圖拓撲結(jié)構，包括如下步驟利用所述當前幀圖像中元素的空間關系和連通邊界信息，在空間域中處理所述當前幀圖像，將所述當前幀圖像轉(zhuǎn)化為二維的圖拓撲結(jié)構。
5.如權利要求1所述的平面視頻立體化的深度圖生成方法，其特征在于，所述對所述當前幀圖像進行圖像分割，包括如下步驟采用最小生成樹方法將所述當前幀圖像的圖拓撲結(jié)構進行分割以將所述當前幀圖像分割為多個有效區(qū)域。
6.如權利要求5所述的平面視頻立體化的深度圖生成方法，其特征在于，將所述多個有效區(qū)域中屬于同一個區(qū)域的像素進行標記之前還包括如下步驟設置所述每個有效區(qū)域中的至少包括的子區(qū)域的數(shù)量；根據(jù)設置的所述子區(qū)域的數(shù)量對所述多個有效區(qū)域進行歸并融合。
7.如權利要求1所述的平面視頻立體化的深度圖生成方法，其特征在于，所述對運動矢量進行運動分析包括如下步驟將所述當前幀圖像和所述參考幀圖像劃分為中部區(qū)域和邊界區(qū)域，其中，所述中部區(qū)域為圖像的中部區(qū)域，表示前景運動物體的所處區(qū)域；所述邊界區(qū)域包括圖像的頂部邊界區(qū)域、左部邊界區(qū)域和右部邊界區(qū)域，表示用于拍攝所述運動物體的相機的運動區(qū)域；對所述中部區(qū)域和所述邊界區(qū)域進行分析得到所述運動分析結(jié)果。
8.如權利要求7所述的平面視頻立體化的深度圖生成方法，其特征在于，所述運動分析結(jié)果包括運動物體運動分量、相機運動分量和復雜運動分量，
9.如權利要求1所述的平面視頻立體化的深度圖生成方法，其特征在于，所述將當前幀圖像的靜態(tài)模型深度圖和所述當前幀圖像的動態(tài)模型深度圖進行深度融合，包括如下步驟設置所述當前幀圖像的靜態(tài)模型深度圖的權重和所述當前幀圖像的動態(tài)模型深度圖的權重，計算所述當前幀圖像深度融合后的深度圖Ddepth為其中，Dp為所述當前幀圖像的靜態(tài)模型深度圖，Dm為所述當前幀圖像的動態(tài)模型深度圖，wl為所述當前幀圖像的靜態(tài)模型深度圖的權重，w2為所述當前幀圖像的動態(tài)模型深度圖的權重，wl和w2滿足Wl+W2 = 1。
10.一種平面視頻立體化的深度圖生成裝置，其特征在于，包括靜態(tài)模型深度圖生成模塊，所述靜態(tài)模型深度圖生成模塊用于利用所述當前幀圖像中像素的特征向量構建所述當前幀圖像的圖拓撲結(jié)構，根據(jù)所述當前幀圖像的圖拓撲結(jié)構對所述當前幀圖像進行圖像分割以得到分割區(qū)域，將所述分割區(qū)域中屬于同一個區(qū)域的像素進行標記生成所述當前幀圖像的靜態(tài)模型深度圖；運動分析模塊，所述運動分析模塊用于選擇所述當前幀圖像和所述參考幀圖像的特征點，并跟蹤所述特征點，計算所述當前幀圖像和所述參考幀圖像中的運動物體的運動矢量，對所述運動矢量進行運動分析以得到所述當前幀圖像和所述參考幀圖像的運動分析結(jié)果；動態(tài)模型深度圖生成模塊，所述動態(tài)模型深度圖生成模塊分別與所述靜態(tài)模型深度圖生成模塊和所述運動分析模塊相連，用于根據(jù)所述當前幀圖像的分割區(qū)域和所述當前幀圖像和所述參考幀圖像的運動分析結(jié)果，生成所述當前幀圖像的動態(tài)模型深度圖；深度融合模塊，所述深度融合模塊分別與所述靜態(tài)模型深度圖生成模塊和所述動態(tài)模型深度圖生成模塊相連，用于將所述當前幀圖像的靜態(tài)模型深度圖和所述當前幀圖像的動態(tài)模型深度圖進行自適應的深度融合。
11.如權利要求10所述的平面視頻立體化的深度圖生成裝置，其特征在于，所述靜態(tài)模型深度圖生成模塊在構建所述圖拓撲結(jié)構之前，對所述當前幀圖像進行灰度化處理，包括將所述當前幀圖像的像素RGB三通道M位的顏色空間轉(zhuǎn)化為單通道8位顏色空間。
12.如權利要求10所述的平面視頻立體化的深度圖生成裝置，其特征在于，所述靜態(tài)模型深度圖生成模塊采用以下兩種方式之一分割圖像圖拓撲結(jié)構1)將所述當前幀圖像的元素作為一個獨立的向量，將所述當前幀圖像的像素的部分特征分量作為特征向量，采用中央聚簇算法將所述特征向量歸并分組，分割圖像圖拓撲結(jié)構；2)利用所述當前幀圖像中元素的空間關系和連通邊界信息，在空間域中處理所述當前幀圖像，將所述當前幀圖像轉(zhuǎn)化為二維的圖拓撲結(jié)構，基于所述圖拓撲結(jié)構分割圖像。
13.如權利要求10所述的平面視頻立體化的深度圖生成裝置，其特征在于，所述靜態(tài)模型深度圖生成模塊采用最小生成樹方法將所述當前幀圖像的圖拓撲結(jié)構進行圖像分割以將所述當前幀圖像分割為多個有效區(qū)域。
14.如權利要求13所述的平面視頻立體化的深度圖生成裝置，其特征在于，所述靜態(tài)模型深度圖生成模塊設置所述每個有效區(qū)域中的至少要包括的子區(qū)域的數(shù)量，根據(jù)設置的所述子區(qū)域的數(shù)量對所述多個有效區(qū)域進行歸并融合以生成所述當前幀圖像的靜態(tài)模型深度圖。
15.如權利要求10所述的平面視頻立體化的深度圖生成裝置，其特征在于，所述動態(tài)模型深度圖生成模塊將所述當前幀圖像和所述參考幀圖像劃分為中部區(qū)域和邊界區(qū)域，并對所述中部區(qū)域和所述邊界區(qū)域進行分析得到所述運動分析結(jié)果，其中，所述中部區(qū)域為圖像的中部區(qū)域，表示前景運動物體的所處區(qū)域；所述邊界區(qū)域包括圖像的頂部邊界區(qū)域、 左部邊界區(qū)域和右部邊界區(qū)域，表示用于拍攝所述運動物體的相機的運動區(qū)域。
16.如權利要求15所述的平面視頻立體化的深度圖生成裝置，其特征在于，所述運動分析結(jié)果包括運動物體運動分量、相機運動分量和復雜運動分量，
17.如權利要求10所述的平面視頻立體化的深度圖生成裝置，其特征在于，所述深度融合模塊設置所述當前幀圖像的靜態(tài)模型深度圖的權重和所述當前幀圖像的動態(tài)模型深度圖的權重，計算所述當前幀圖像深度融合后的深度圖Ddepth為
全文摘要
本發(fā)明公開一種平面視頻立體化的深度圖生成方法，包括如下步驟對當前幀圖像進行基于場景靜態(tài)模型分布的圖像分割得到分割區(qū)域，標記像素并將像素聚類到不同區(qū)域生成當前幀圖像的靜態(tài)模型深度圖；選擇當前幀圖像和參考幀圖像的特征點，計算運動物體的運動矢量，對運動矢量進行運動分析以得到當前幀圖像和參考幀圖像的運動分析結(jié)果；根據(jù)當前幀圖像的分割區(qū)域和當前幀圖像和參考幀圖像的運動分析結(jié)果，生成當前幀圖像的動態(tài)模型深度圖；將當前幀圖像的靜態(tài)模型深度圖和動態(tài)模型深度圖進行自適應的融合。本發(fā)明還公開一種平面視頻立體化的深度圖生成裝置。本發(fā)明融合場景的靜態(tài)模型和動態(tài)模型，獲得效果更加逼真的立體視頻，達到較好的立體效果。
文檔編號H04N9/77GK102263979SQ20111022380
公開日2011年11月30日 申請日期2011年8月5日 優(yōu)先權日2011年8月5日
發(fā)明者戴瓊海, 李唯一 申請人:清華大學