專利名稱：生成深度圖的方法及其設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種生成深度圖的方法及其設(shè)備，更具體地，涉及一種從單目視頻生 成深度圖的方法及其設(shè)備。
背景技術(shù)：
近年來，隨著3D技術(shù)的不斷發(fā)展，市場上出現(xiàn)了多種配備有3D特征的電子產(chǎn)品 (諸如，配備有3D特征的顯示器、電視機、移動終端等)。然而，大多數(shù)現(xiàn)有的視頻是通過普 通的單目攝像機捕捉的，因此這些視頻不能直接用于3D產(chǎn)品的輸入內(nèi)容。如何從這些單目 視頻有效地提取3D信息成為了主要任務(wù)。針對上述任務(wù)，目前出現(xiàn)了很多方法。大部分方法主要用于生成單個深度圖，而不 是深度圖序列，因此無法實時生成在線播放的視頻的深度圖。此外，現(xiàn)有的方法受相機運動 的影響和約束很大，例如，使用這些方法需要相機一直保持水平移動。而且，這些方法使用運動估計結(jié)構(gòu)(SFM)來計算相機的參數(shù)，這會導(dǎo)致計算的相 機參數(shù)具有較高的誤差，從而會很大程度上影響最終結(jié)果。同時，加上平滑處理的時間，這 些方法需要大量的時間。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種生成深度圖的方法，所述方法通過將深度圖劃分為多 個區(qū)域并更新所述多個區(qū)域，以及檢測新區(qū)域并僅計算新區(qū)域的像素深度來減少了生成深 度圖的計算量和所花費的時間，并且能夠獲得清晰的深度圖。本發(fā)明的另一目的在于提供一種生成深度圖的設(shè)備，所述設(shè)備通過將深度圖劃分 為多個區(qū)域并更新所述多個區(qū)域，以及檢測新區(qū)域并僅計算新區(qū)域的像素深度來減少了生 成深度圖的計算量和所花費的時間，并且能夠獲得清晰的深度圖。本發(fā)明的一方面在于提供一種從單目視頻生成深度圖的方法，包括(a)通過稠 密匹配方法，使用單目視頻流的第一幀和第二幀獲得表示第二幀的像素深度的第一深度 圖；(b)檢測所述單目視頻流的第二幀和第三幀的特征點，將第三幀的特征點與第二幀的 特征點進行匹配以獲得特征向量，并根據(jù)所述第二幀的像素深度將第一深度圖劃分為多個 區(qū)域；(C)通過對檢測到的特征點進行運動估計來獲得運動參數(shù)，并基于所述運動參數(shù)和 所述特征向量更新所述多個區(qū)域的參數(shù)，從而更新所述多個區(qū)域以作為表示第三幀的像素 深度的第二深度圖的一部分；(d)在第三幀中檢測新區(qū)域，所述新區(qū)域是在第三幀中出現(xiàn) 而未在第二幀中出現(xiàn)的區(qū)域，并通過計算所述第三幀中的新區(qū)域的像素深度作為第二深度 圖的另一部分，從而獲得第二深度圖；以及(e)對第二深度圖進行平滑處理。當所述新區(qū)域是與首次出現(xiàn)的場景相應(yīng)的區(qū)域時，通過第三幀和第四幀對該區(qū)域 進行稠密匹配方法來獲得該區(qū)域的像素深度，并且當所述新區(qū)域是與被覆蓋的場景相應(yīng)的 區(qū)域時，基于該區(qū)域的相鄰區(qū)域的像素深度通過圖像修復(fù)方法計算該區(qū)域的像素深度。所述稠密匹配方法可以是是圖分割算法、信任傳播算法和動態(tài)規(guī)劃算法中的任何一種?？梢詫λ鎏卣飨蛄窟M行濾波處理以提高匹配準確度。所述多個區(qū)域的參數(shù)可以是像素深度、幾何形狀和位置。所述視頻流的格式可以是AVI和MPG中的任何一種。本發(fā)明的另一方面在于提供一種從單目視頻生成深度圖的設(shè)備，包括初始化模塊，通過稠密匹配方法，使用單目視頻流的第一幀和第二幀獲得表示第二幀的像素深度的 第一深度圖；處理模塊，檢測所述單目視頻流的第二幀和第三幀的特征點，將第三幀的特征 點與第二幀的特征點進行匹配以獲得特征向量，根據(jù)第二幀的特征點的像素深度將第一深 度圖劃分為多個區(qū)域，通過對檢測到的特征點進行運動估計來獲得運動參數(shù)，基于所述運 動參數(shù)和所述特征向量更新所述多個區(qū)域參數(shù)，從而更新所述多個區(qū)域以作為表示第三幀 的像素深度的第二深度圖的一部分，在第三幀中檢測新區(qū)域，所述新區(qū)域是在第三幀中出 現(xiàn)而未在第二幀中出現(xiàn)的區(qū)域，并計算所述第三區(qū)域中的新區(qū)域的像素深度作為第二深度 圖的另一部分，從而獲得第二深度圖；以及平滑模塊，對第二深度圖進行平滑處理。當所述新區(qū)域是與首次出現(xiàn)的場景相應(yīng)的區(qū)域時，處理模塊通過第三幀和第四幀 對該區(qū)域進行稠密匹配方法來獲得該區(qū)域的像素深度，并且當所述新區(qū)域是與被覆蓋的場 景相應(yīng)的區(qū)域時，處理模塊基于該區(qū)域的相鄰區(qū)域的像素深度通過圖像修復(fù)方法計算該區(qū) 域的像素深度。所述稠密匹配方法可以是圖分割算法、信任傳播算法和動態(tài)規(guī)劃算法中的任何一 種。處理模塊可對所述特征向量進行濾波處理以提高匹配準確度。所述多個區(qū)域的參數(shù)可以是像素深度、幾何形狀和位置。所述視頻流的格式可以是AVI和MPG中的一種。


通過下面結(jié)合附圖進行的詳細描述，本發(fā)明的上述和其他目的和特點將會變得更 加清楚，其中圖1是示出根據(jù)本發(fā)明示例性實施例的生成深度圖的設(shè)備的框圖；圖2是示出根據(jù)本發(fā)明示例性實施例的生成深度圖的方法的流程圖；圖3是第二幀和根據(jù)第一幀和第二幀計算的第一深度圖；圖4是示出通過特征點匹配產(chǎn)生的特征向量的示圖；圖5是示出根據(jù)本發(fā)明示例性實施例的新區(qū)域檢測結(jié)果和不同新區(qū)域的示圖；圖6是示出根據(jù)本發(fā)明示例性實施例的彩色幀與其深度圖的示圖；圖7是通過根據(jù)本發(fā)明示例性實施例的生成深度圖的方法獲得的深度圖序列；以 及圖8是通過傳統(tǒng)方法和本發(fā)明的生成深度圖的方法獲得的深度圖的比較結(jié)果。
具體實施例方式以下，參照附圖來詳細說明本發(fā)明的實施例。圖1是示出根據(jù)本發(fā)明示例性實施例的生成深度圖的設(shè)備的框圖。參照圖1，根據(jù)本發(fā)明示例性實施例的生成深度圖的設(shè)備100包括初始化模塊101、處理模塊102和平滑模塊103。初始化模塊101通過稠密匹配方法，使用單目視頻流的第一幀和第二幀獲得第一深度圖。這里，第一幀表示單目視頻流的初始幀，第二幀表示第一幀的下一幀，第一深度圖 是計算出的第二幀的深度圖。圖3的(a)表示第二幀，(b)表示第一深度圖。所述視頻流的 格式可以是AVI、MPG等普通視頻流格式，并且所述稠密匹配方法可以是圖分割算法(Graph Cut)、信任傳播算法(Belief Propagation)、動態(tài)規(guī)劃算法(Dynamic Programming)等。優(yōu) 選地，可以采用圖分割算法來獲得第一深度圖。所述圖分割算法應(yīng)用于各種不同的場合，例 如，圖像恢復(fù)、圖像分割和立體稠密匹配等，該算法是一種使用圖形原理的針對立體匹配問 題的解決方案，其特點在于將立體相應(yīng)性匹配問題轉(zhuǎn)換為全局能量功能的最小化，通過在 特定圖形中找到最優(yōu)分割來實現(xiàn)該最小化。所述圖分割算法、信任傳播算法和動態(tài)規(guī)劃算 法都是本領(lǐng)域公知技術(shù)，這里將不再詳細描述。需要注意的是，在以下描述中出現(xiàn)的第三幀表示第二幀的下一幀，第二深度圖表 示第三幀的深度圖?？梢砸来祟愅疲?，第四幀表示第三幀的下一幀，第三深度圖表示第 四幀的深度圖。上述第一深度圖用作獲得第二深度圖的依據(jù)，第二深度圖用作獲得第三深 度圖的依據(jù)。也就是，利用先前深度圖獲得當前深度圖，為了描述的方便，將不再重復(fù)獲得 第二深度圖之后的多個深度圖的過程。處理模塊102，檢測單目視頻流中的第二幀和第三幀特征點，將第三幀的特征點與 第二幀的特征點進行匹配以獲得特征向量，根據(jù)深度將第一深度圖劃分為多個區(qū)域，通過 對檢測到的特征點進行運動估計來獲得運動參數(shù)，基于所述運動參數(shù)和所述特征向量更新 所述多個區(qū)域的參數(shù)，從而更新所述多個區(qū)域以作為第二深度圖的一部分，在第三幀中檢 測新區(qū)域，所述新區(qū)域是在第三幀中出現(xiàn)而未在第二幀中出現(xiàn)的區(qū)域，并計算所述新區(qū)域 的像素深度作為第二深度圖的另一部分，從而獲得第二深度圖。下面將對此進行詳細描述?，F(xiàn)有技術(shù)中有很多方法可以檢測多個幀中的特征點，這里采用SURF(升速穩(wěn)健特 征，Speed Up Robust Features)來檢測多個幀中的特征點，SURF是一種新的尺度和旋轉(zhuǎn)不 變興趣點檢測器和描述器。具體說來，通過依靠完整圖像進行圖像旋轉(zhuǎn)來實現(xiàn)SURF，基于來 自興趣點周圍的圓形區(qū)域的信息固定可再現(xiàn)的方向，構(gòu)建調(diào)整為所述方向的方形區(qū)域，并 提取SURF描述符。實驗證明，SURF可更加有效且快速地被計算。此外，處理模塊102對特 征點進行的匹配是一種不同于上述的稠密匹配方法的稀疏匹配方法，因此相比于稠密匹配 算法，顯著減少計算量和計算時間。圖4表示通過第二幀和第三幀獲得的特征向量。之后，處理模塊102可通過對特 征向量進行濾波以提高匹配準確度。具體地，可計算特征向量的平均長度和方向，并將每個 特征向量與平均值進行比較，如果相差大于預(yù)定閥值，則過濾出該特征向量。處理模塊102檢測到的新區(qū)域是指第二幀中未出現(xiàn)而在第三幀中出現(xiàn)的區(qū)域?？?以對所述新區(qū)域進行上述稠密匹配方法來計算新區(qū)域的像素深度。具體地，通過利用單目 視頻流的第三幀和隨后的第四幀，如獲得第一深度圖一樣，按照上述稠密匹配方法獲得新 區(qū)域的像素深度作為第二深度圖的另一部分?；蛘?，處理模塊102可首先判斷上述新區(qū)域的類型。新區(qū)域可以分為與首次出現(xiàn) 的場景相應(yīng)的區(qū)域和與被覆蓋的場景相應(yīng)的區(qū)域這兩種類型。當所述新區(qū)域是與首次出現(xiàn)的場景相應(yīng)的區(qū)域時，處理模塊102通過第三幀和第四幀對該區(qū)域進行稠密匹配方法來 獲得該區(qū)域的像素深度，并且當所述新區(qū)域是與被覆蓋的場景相應(yīng)的區(qū)域時，處理模塊102 基于該區(qū)域的相鄰區(qū)域的深度通過圖像修復(fù)方法計算該區(qū)域的像素深度。由于與被覆蓋的 區(qū)域相鄰的區(qū)域的像素深度通常與被覆蓋的區(qū)域的像素深度相似，因此，通過該區(qū)域的信 息來獲得被覆蓋的區(qū)域的信息，從而獲得被覆蓋的區(qū)域的像素深度。上述圖像修復(fù)方法將 在下面進一步描述。平滑模塊103，對第二深度圖進行平滑處理。平滑處理的目的在于不同幀中的相 同區(qū)域應(yīng)該保持相似的像素深圖以避免顯著的深度變化。將在下面進一步描述所述平滑處理。以下，將詳細描述生成深度圖的步驟。如上所述，在以下描述中出現(xiàn)的第一幀表 示視頻流的初始幀，第二幀表示第一幀的下一幀，第一深度圖是計算出的第二幀的深度圖， 第三幀表示第二幀的下一幀，第二深度圖表示第三幀的深度圖?？梢砸来祟愅疲?，第四 幀表示第三幀的下一幀，第三深度圖表示第四幀的深度圖。第一深度圖用作獲得第二深度 圖的依據(jù)，第二深度圖用作獲得第三深度圖的依據(jù)。也就是，利用先前深度圖獲得當前深度 圖，為了描述的方便，將不再重復(fù)生成第二深度圖之后的多個深度圖的過程。圖2是示出根據(jù)本發(fā)明示例性實施例的生成深度圖的方法的流程圖。參照圖2，在 步驟S201，初始化模塊101通過稠密匹配方法，使用視頻流的第一幀和第二幀獲得第一深 度圖。實際上，該步驟所花費的時間最長，因為第一深度圖的準確度在隨后的計算中非常重 要，需要在該步驟中盡量準確地獲得第一深度圖。這里，所述視頻流的格式可以是AVI、MPG 等普通視頻流格式，并且所述稠密匹配方法可以是圖分割算法(Graph Cut)、信任傳播算法 (Belief Propagation)、動態(tài)規(guī)劃算法(Dynamic Programming)等。優(yōu)選地，可以選擇結(jié)果 較好的圖分割算法來獲得第一深度圖。由于這些算法都是本領(lǐng)域公知技術(shù)，因此將省略對 此的詳細描述。在步驟S202，處理模塊102檢測單目視頻流的第二幀和第三幀的特征點，將第三 幀的特征點與第二幀中的特征點進行匹配以獲得特征向量。處理模塊102還可對所述特征 向量進行濾波處理以提高匹配準確度。具體地，可計算特征向量的平均長度和方向，并將每 個特征向量與平均值進行比較，如果相差大于預(yù)定閥值，則過濾出該特征向量。在步驟S203，處理模塊102根據(jù)像素深度將第一深度圖劃分為多個區(qū)域，其中，每 個區(qū)域的像素具有相似的深度。這樣，每個區(qū)域中包含在步驟S202獲得的特征向量。在步驟S204，處理模塊102通過對檢測到的特征點進行運動估計來獲得運動參 數(shù)，并基于所述運動參數(shù)和所述特征向量更新所述多個區(qū)域的參數(shù)，從而更新所述多個區(qū) 域以作為第二深度圖的一部分?？赏ㄟ^在2D空間中的歐氏變換來更新所述多個區(qū)域的參 數(shù)，即，可通過以下等式1來計算運動參數(shù)
^χ'λ rcosO -τ ηθ dx二 ν ηθ rcos^ dy *(x γ l)7·等式 1
V1 J [ο 0 1其中，！·指示縮放因子，S卩，表示區(qū)域沿著ζ軸(垂直于圖像平面)的運動，如果r 大于1，則認為區(qū)域朝相機運動，否則認為區(qū)域朝相機的相反方向移動。θ表示運動的角 度，dx和dy分別表示位移向量，χ和y表示原來的坐標，χ'和y'表示運動后的新坐標。
優(yōu)選地，所述多個區(qū)域的參數(shù)可以是像素深度、幾何形狀和位置。在步驟S205，處理模塊102在第三幀中檢測新區(qū)域，所述新區(qū)域是在第三幀中出 現(xiàn)而未在第二幀中出現(xiàn)的區(qū)域，并計算該區(qū)域的像素深度作為第二深度圖的另一部分，從 而獲得第二深度圖。這里，處理模塊102檢測到的新區(qū)域是指第二幀中未出現(xiàn)而在第三幀 中出現(xiàn)的區(qū)域。在步驟S205，處理模塊102可使用上述稠密匹配方法，如計算第一深度圖 一樣，通過單目視頻流的第三幀和隨后的第四幀計算該新區(qū)域的像素深度?；蛘?，處理模塊 102也可以將檢測到的新區(qū)域分類為兩種類型的區(qū)域。第一種類型的區(qū)域為與首次出現(xiàn)的 場景相應(yīng)的區(qū)域，第二種類型的區(qū)域為與被覆蓋的場景相應(yīng)的區(qū)域。圖5是示出根據(jù)本發(fā)明示例性實施例的新區(qū)域檢測結(jié)果和不同新區(qū)域的示圖。其中，圖5中的(a)是第二幀，(b)是第三幀，(c)是檢測到的新區(qū)域。如圖5(c)所示，區(qū)域1 是與首次出現(xiàn)的場景相應(yīng)的區(qū)域，區(qū)域2是與被覆蓋的場景相應(yīng)的區(qū)域。對區(qū)域1，處理模塊102通過第三幀和第四幀對該區(qū)域進行稠密匹配方法來獲得 該區(qū)域的像素深度。所述稠密匹配方法與在計算第一深度圖時使用的稠密匹配方法相同。 由于與首次出現(xiàn)的場景相應(yīng)的區(qū)域較小，因此所花費的時間也較短。對區(qū)域2，處理模塊基 于該區(qū)域的相鄰區(qū)域的像素深度通過圖像修復(fù)方法計算該區(qū)域的像素深度。圖像修復(fù)方法 可由以下等式2表示d(q) 二 ^^^-----等式 1
λ洲—,尸)其中，q表示與被覆蓋的場景相應(yīng)的區(qū)域的像素，d(q)表示q的像素深度，ρ表示 該區(qū)域的相鄰區(qū)域的像素，d(p)表示ρ的像素深度，ω (q，ρ)是像素q和ρ之間的權(quán)重，q 和P越靠近權(quán)重就越大，V^(P)是像素P的梯度，(q-p)是像素q和P之間的距離。在步驟S206，平滑模塊103對第二深度圖進行平滑處理。平滑處理的目的在于不 同幀中的相同區(qū)域應(yīng)該保持相似的像素深圖以避免顯著的深度變化。平滑模塊103可通過 已經(jīng)獲得的在不同幀中的相同區(qū)域的像素深度對第二深度圖進行平滑。可通過以下等式3 對第二深度圖進行平滑處理d,{q) 二+...+ fVllVoM + …+ fj^M 等式 3
‘Iti + 1其中，Clt(Qi)表示在第t幀中的區(qū)域Qi的像素深度，ω是權(quán)重，距離第t幀越近， 權(quán)重就越大，即ω _比ω (t_m)大，m是小于t的正整數(shù)。圖6示出根據(jù)本發(fā)明示例性實施例的彩色幀與其深度圖。圖6中，上面一排是彩 色幀，下面一排是根據(jù)本發(fā)明示例性實施例獲得的彩色幀的深度圖。圖7示出通過根據(jù)本 發(fā)明示例性實施例的生成深度圖的方法獲得的視頻流的深度圖序列。該深度圖序列的順序 為從左到右，從上到下。如圖6和圖7所示，通過根據(jù)本發(fā)明示例性實施例的生成深度圖的方法，可實時提 供視頻的深度圖，從而不僅能夠提供已經(jīng)下載的視頻的深度圖，而且還能夠提供在線播放 的視頻流的深度圖。圖8是通過傳統(tǒng)方法和本發(fā)明的生成深度圖的方法獲得的深度圖的比較結(jié)果。圖 8中的(a)是基于傳統(tǒng)的深度圖生成方法生成的深度圖，圖8中的(b)是根據(jù)本發(fā)明的生成 深度圖的方法生成的深度圖。從圖8可以看出與通過傳統(tǒng)方法生成的深度圖比較，根據(jù)本發(fā)明生成的深度圖顯著提高了深度圖的準確度，從而能夠給用戶提供更清晰的立體效果。根據(jù)本發(fā)明示例性實施例的生成深度圖的方法及其系統(tǒng)，通過將深度圖劃分為多個區(qū)域并更新所述多個區(qū)域，以及僅對新區(qū)域分類并計算深度圖來減少了生成深度圖的計 算量和所花費的時間。同時，通過保證先前深度圖的準確率來提高了隨后的深度圖的準確 率。此外，通過參照先前深度圖來計算當前深度圖，能夠?qū)崟r生成在線播放的視頻流的深度 圖。本發(fā)明不限于上述實施例，在不脫離本發(fā)明的精神和范圍的情況下，可以對本發(fā) 明進行形式和細節(jié)上的各種改變。產(chǎn)業(yè)上的可利用性根據(jù)本發(fā)明示例性實施例的生成深度圖的方法及其系統(tǒng)可應(yīng)用于將普通視頻流 作為輸入內(nèi)容以輸出立體視頻的立體電視機、多視點顯示器、移動終端和個人數(shù)字助理。
權(quán)利要求
一種從單目視頻生成深度圖的方法，包括步驟(a)通過稠密匹配方法，使用單目視頻流的第一幀和第二幀獲得表示第二幀的像素深度的第一深度圖；(b)檢測所述單目視頻流的第二幀和第三幀的特征點，將第三幀的特征點與第二幀的特征點進行匹配以獲得特征向量，并根據(jù)所述第二幀的像素深度將第一深度圖劃分為多個區(qū)域；(c)通過對檢測到的特征點進行運動估計來獲得運動參數(shù)，并基于所述運動參數(shù)和所述特征向量更新所述多個區(qū)域的參數(shù)，從而更新所述多個區(qū)域以作為表示第三幀的像素深度的第二深度圖的一部分；(d)在第三幀中檢測新區(qū)域，所述新區(qū)域是在第三幀中出現(xiàn)而未在第二幀中出現(xiàn)的區(qū)域，并通過計算所述新區(qū)域的像素深度作為第二深度圖的另一部分，從而獲得第二深度圖；以及(e)對第二深度圖進行平滑處理。
2.如權(quán)利要求1所述的方法，其特征在于步驟(d)進一步包括步驟當所述新區(qū)域是與首次出現(xiàn)的場景相應(yīng)的區(qū)域時，通過第三幀和第四幀對該區(qū)域進行 稠密匹配方法來獲得該區(qū)域的像素深度，并且當所述新區(qū)域是與被覆蓋的場景相應(yīng)的區(qū)域 時，基于該區(qū)域的相鄰區(qū)域的像素深度通過圖像修復(fù)方法計算該區(qū)域的像素深度。
3.如權(quán)利要求1所述的方法，其特征在于所述稠密匹配方法是圖分割算法、信任傳播 算法和動態(tài)規(guī)劃算法中的任何一種。
4.如權(quán)利要求1所述的方法，其特征在于步驟(b)進一步包括步驟對所述特征向量 進行濾波處理以提高匹配準確度。
5.如權(quán)利要求1所述的方法，其特征在于步驟(c)中所述多個區(qū)域的參數(shù)為像素深度、 幾何形狀和位置。
6.如權(quán)利要求1所述的方法，其特征在于所述視頻流的格式是AVI和MPG中的任何一種。
7.一種從單目視頻生成深度圖的設(shè)備，包括初始化模塊，通過稠密匹配方法，使用單目視頻流的第一幀和第二幀獲得表示第二幀 的像素深度的第一深度圖；處理模塊，檢測所述單目視頻流的第二幀和第三幀的特征點，將第三幀的特征點與第 二幀的特征點進行匹配以獲得特征向量，根據(jù)第二幀的特征點的像素深度將第一深度圖劃 分為多個區(qū)域，通過對檢測到的特征點進行運動估計來獲得運動參數(shù)，基于所述運動參數(shù) 和所述特征向量更新所述多個區(qū)域的參數(shù)，從而更新所述多個區(qū)域以作為表示第三幀的像 素深度的第二深度圖的一部分，在第三幀中檢測新區(qū)域，所述新區(qū)域是在第三幀中出現(xiàn)而 未在第二幀中出現(xiàn)的區(qū)域，并計算所述第三區(qū)域中的新區(qū)域的像素深度作為第二深度圖的 另一部分，從而獲得第二深度圖；以及平滑模塊，對第二深度圖進行平滑處理。
8.如權(quán)利要求7所述的設(shè)備，其特征在于當所述新區(qū)域是與首次出現(xiàn)的場景相應(yīng)的 區(qū)域時，處理模塊通過第三幀和第四幀對該區(qū)域進行稠密匹配方法來獲得該區(qū)域的像素深 度，并且當所述新區(qū)域是與被覆蓋的場景相應(yīng)的區(qū)域時，處理模塊基于該區(qū)域的相鄰區(qū)域的像素深度通過圖像修復(fù)方法計算該區(qū)域的像素深度。
9.如權(quán)利要求7所述的設(shè)備，其特征在于所述稠密匹配方法是圖分割算法、信任傳播 算法和動態(tài)規(guī)劃算法中的任何一種。
10.如權(quán)利要求7所述的設(shè)備，其特征在于處理模塊對所述特征向量進行濾波處理以 提高匹配準確度。
11.如權(quán)利要求7所述的設(shè)備，其特征在于所述多個區(qū)域的參數(shù)為像素深度、幾何形狀 和位置。
12.如權(quán)利要求7所述的設(shè)備，其特征在于所述視頻流的格式是AVI和MPG中的一種。
全文摘要
提供一種生成深度圖的方法及其設(shè)備，所述方法包括通過稠密匹配方法，使用單目視頻流的第一幀和第二幀獲得表示第二幀的像素深度的第一深度圖；檢測所述單目視頻流的第二幀和第三幀的特征點，將第三幀的特征點與第二幀的特征點進行匹配以獲得特征向量，并根據(jù)所述第二幀的像素深度將第一深度圖劃分為多個區(qū)域；通過對檢測到的特征點進行運動估計來獲得運動參數(shù)，并基于所述運動參數(shù)和所述特征向量更新所述多個區(qū)域的參數(shù)，從而更新所述多個區(qū)域以作為表示第三幀的像素深度的第二深度圖的一部分；在第三幀中檢測新區(qū)域，并通過計算所述第三幀中的新區(qū)域的像素深度作為第二深度圖的另一部分，從而獲得第二深度圖。
文檔編號H04N13/00GK101815225SQ200910118218
公開日2010年8月25日 申請日期2009年2月25日 優(yōu)先權(quán)日2009年2月25日
發(fā)明者王海濤, 王西穎, 金智淵, 馬賡宇 申請人:三星電子株式會社;北京三星通信技術(shù)研究有限公司