專利名稱：2d/3d視頻轉(zhuǎn)換中的深度歸一化方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于三維視頻(包括3DTV、3D電影等)技術(shù)領(lǐng)域，具體涉及2D/3D ( 二維至三維)的視頻轉(zhuǎn)換技術(shù)，特別是一種基于深度圖渲染的2D/3D視頻轉(zhuǎn)換中的深度歸一化方
法及裝置。
背景技術(shù)：
目前，三維(3D)視頻逐漸普及，中國中央電視臺(CCTV)也在2012年元旦之際試播了 3D頻道，3D視頻已經(jīng)逐漸成為了當前發(fā)展的一種趨勢。然而，視頻源不足成為制約這一產(chǎn)業(yè)興起的主要瓶頸。在這種情況下，將2D視頻轉(zhuǎn)為3D視頻是解決此問題的有效途徑。將2D視頻轉(zhuǎn)為3D視頻總的來說存在兩種渲染方式其中一種是通過采用某種方法從單一的視頻幀中直接重建出具有視差的左右眼圖像對；另一種是基于深度圖的渲染 (Depth Image-based Rendering, DIBR),它的轉(zhuǎn)換結(jié)果是在原視頻的基礎(chǔ)上附加了每一中貞所對應(yīng)的深度圖，最后由嵌入DIBR處理模塊的顯示終端輸出轉(zhuǎn)換為雙目立體視頻后就可以進行觀賞(參見“電影2D/3D轉(zhuǎn)換技術(shù)概述[J]”，劉偉、吳毅紅、胡占義，《計算機輔助設(shè)計與圖形學(xué)學(xué)報》，2012，24(1) :14-28)。與前者相比，后者以其具有的三個獨到特點高效的壓縮傳輸效率、與現(xiàn)有2D技術(shù)和不同設(shè)備的兼容性強以及在實時立體視頻生成上具有的景深調(diào)整和快速渲染合成等技術(shù)優(yōu)勢，在新興的3DTV、3D移動終端等市場占有絕對的主導(dǎo)地位，是3D渲染技術(shù)未來發(fā)展的方向。圖I顯示了現(xiàn)有的基于深度圖渲染的2D/3D視頻轉(zhuǎn)換方法，如圖I所示，對于輸入的2D視頻，首先通過解碼從該2D視頻的視頻流中分解得到視頻幀，同時，利用某種深度線索從該2D視頻中提取出有效的深度信息，從而得到與所述視頻幀對應(yīng)的初始深度圖；然后，經(jīng)過深度歸一化模塊調(diào)整生成歸一化深度圖；接著，將該歸一化深度圖與所述視頻幀再經(jīng)過基于深度圖的3D渲染處理，從而得到3D視頻并輸出。其中，深度歸一化模塊將由某種深度線索得到的初始深度圖按照DIBR渲染標準進行了調(diào)整，該歸一化調(diào)整步驟是基于深度圖渲染的2D/3D轉(zhuǎn)換方法中的重要步驟。前述的“電影2D/3D轉(zhuǎn)換技術(shù)概述[J] ”中指出的當前2D/3D視頻轉(zhuǎn)換技術(shù)雖然方法眾多，但是不同的深度線索只能在特定的條件下提供有限的深度信息，所以，如何保證在轉(zhuǎn)換過程中深度信息在時間域上的穩(wěn)定性是一個亟待解決的難題。對此，傳統(tǒng)的解決方法是對深度進行歸一化并采用平滑濾波器對連續(xù)的深度圖進行底層圖像處理，然而，這種平滑效果十分有限。不僅如此，目前常用的深度歸一化方法以初始深度圖中深度的上下限為基準，采用線性的方法對深度范圍進行調(diào)整，如果上下限受到了噪聲的影響，則少數(shù)的噪聲點就可以影響到整個場景的深度范圍的分布。因此在2D/3D 視頻轉(zhuǎn)換中使用現(xiàn)有的深度歸一化方法無法有效保證視頻流中深度提取的穩(wěn)定性，從而影響了 3D視頻的實際轉(zhuǎn)換效果
發(fā)明內(nèi)容
(一 )要解決的技術(shù)問題本發(fā)明所要解決的技術(shù)問題是提供一種基于深度圖渲染的2D/3D視頻轉(zhuǎn)換中的 深度歸一化方法及裝置，以提高2D/3D視頻轉(zhuǎn)換中使用的深度歸一化方法的深度提取穩(wěn)定 性。(二)技術(shù)方案為解決上述技術(shù)問題，本發(fā)明提供了一種用于2D/3D視頻轉(zhuǎn)換的深度歸一化方 法，包括如下步驟提取與2D視頻幀相對應(yīng)的初始深度圖的場景高層信息；基于3D視差區(qū) 域原理，根據(jù)所述場景高層信息對場景的深度范圍進行歸一化調(diào)整。其中，可通過深度直方圖提取與2D視頻幀相對應(yīng)的初始深度圖的所述場景高層信息。所述的場景高層信息是場景中的最大深度、最小深度和主導(dǎo)深度。所述提取場景高層信息的步驟包括通過深度圖統(tǒng)計直接獲得場景中的最大深 度和最小深度；以所述最大深度和最小深度分別作為上限和下限基準，將連續(xù)的深度變化 空間劃分為若干等間隔的深度區(qū)域，并統(tǒng)計出在初始深度圖中每個區(qū)域所對應(yīng)的像素點個 數(shù)；以像素點個數(shù)最多的深度區(qū)域的均值作為所處視角下的場景的主導(dǎo)深度。所述歸一化調(diào)整的步驟是以主導(dǎo)深度和零視差平面作為基準來對場景的深度范 圍進行歸一化調(diào)整。所述歸一化調(diào)整的步驟包括選定要采用的非線性變換算子及對應(yīng)的歸一化后的 初始深度上限&和初始深度下限B2;根據(jù)所述歸一化后的初始深度上限&和歸一化后的初 始深度下限民計算得到與零視差平面對應(yīng)的歸一化深度值B3;根據(jù)深度歸一化函數(shù)計算出 歸一化后的深度值。所述非線性變換算子為爐
權(quán)利要求
1.一種用于2D/3D視頻轉(zhuǎn)換的深度歸一化方法，其特征在于包括如下步驟提取與2D視頻幀相對應(yīng)的初始深度圖的場景高層信息；基于3D視差區(qū)域原理，根據(jù)所述場景高層信息對場景的深度范圍進行歸一化調(diào)整。
2.如權(quán)利要求I所述的深度歸一化方法，其特征在于，所述提取與2D視頻幀相對應(yīng)的初始深度圖的所述場景高層信息是通過深度直方圖實現(xiàn)的。
3.如權(quán)利要求2所述的深度歸一化方法，其特征在于，所述的場景高層信息是場景中的最大深度、最小深度和主導(dǎo)深度。
4.如權(quán)利要求3所述的深度歸一化方法，其特征在于，所述提取場景高層信息的步驟包括通過初始深度圖統(tǒng)計直接獲得場景中的最大深度和最小深度；以所述最大深度和最小深度分別作為上限和下限基準，將連續(xù)的深度變化空間劃分為若干等間隔的深度區(qū)域，并統(tǒng)計出在初始深度圖中每個區(qū)域所對應(yīng)的像素點個數(shù)；以像素點個數(shù)最多的深度區(qū)域的均值作為所處視角下的場景的主導(dǎo)深度。
5.如權(quán)利要求I所述的深度歸一化方法，其特征在于，所述根據(jù)所述場景高層信息對場景的深度范圍進行歸一化調(diào)整的步驟是以所述主導(dǎo)深度和零視差平面作為基準來對場景的深度范圍進行歸一化調(diào)整。
6.如權(quán)利要求5所述的深度歸一化方法，其特征在于，所述歸一化調(diào)整的步驟包括 選定要采用的轉(zhuǎn)換算子及對應(yīng)的初始深度轉(zhuǎn)換值上限B1和初始深度轉(zhuǎn)換值下限B2 ； 根據(jù)所述初始深度轉(zhuǎn)換值上限B1和初始深度轉(zhuǎn)換值下限B2計算得到與零視差平面對應(yīng)的初始深度轉(zhuǎn)換值B3 ；根據(jù)深度歸一化函數(shù)計算出歸一化深度圖的深度值。
7.如權(quán)利要求6所述的深度歸一化方法，其特征在于，所述轉(zhuǎn)換算子為爐(X)= lg|j|，X表示初始深度值，此時初始深度轉(zhuǎn)換值上限B1和初始深度轉(zhuǎn)換值下限B2的取值范圍為0<B1 < B2 < I。
8.如權(quán)利要求6所述的深度歸一化方法，其特征在于，所述轉(zhuǎn)換算子為爐(X)= e'",x表示初始深度值，此時初始深度轉(zhuǎn)換值上限B1和初始深度轉(zhuǎn)換值下限B2的取值范圍為0<B1 < B2 < + 00 o
9.如權(quán)利要求7或8所述的深度歸一化方法，其特征在于，所述計算與零視差平面對應(yīng),(Arafto ￠)( S1)+ ￠)( S2)的初始深度轉(zhuǎn)換值B3的公式為盡=0-1 二、V ，其中入rati。為正視差區(qū)
10.如權(quán)利要求9所述的深度歸一化方法，其特征在于，所述入rati。為I 6。
11.如權(quán)利要求10所述的深度歸一化方法，其特征在于，所述歸一化函數(shù)為其中，Nmax表示歸一化深度圖的最大深度值，Dm表示場景的主導(dǎo)深度，D1表示場景的最大深度，Ds表示場景的最小深度，X表示初始深度值，y表示歸一化深度圖的深度值。
12.—種用于2D/3D視頻轉(zhuǎn)換的深度歸一化裝置(I)，用于對2D視頻的初始深度圖進行歸一化調(diào)整，包括預(yù)處理模塊(2)和深度歸一化模塊(3)，二者彼此電性連接，其特征在于該預(yù)處理模塊(2)用于提取與2D視頻幀相對應(yīng)的所述初始深度圖的高層信息，并將所提取的高層信息傳送到深度歸一化模塊(3)；所述深度歸一化模塊(3)基于3D視差區(qū)域原理，根據(jù)所述高層信息對場景的深度范圍進行歸一化調(diào)整。
13.如權(quán)利要求12所述的深度歸一化裝置，其特征在于，所述該預(yù)處理模塊(2)通過深度直方圖提取與2D視頻幀相對應(yīng)的初始深度圖的所述場景高層信息。
14.如權(quán)利要求13所述的深度歸一化裝置，其特征在于，所述的場景高層信息是場景中的最大深度、最小深度和主導(dǎo)深度。
15.如權(quán)利要求14所述的深度歸一化裝置，其特征在于，所述預(yù)處理模塊(2)用于 通過初始深度圖統(tǒng)計直接獲得場景中的最大深度和最小深度；以所述最大深度和最小深度分別作為上限和下限基準，將連續(xù)的深度變化空間劃分為若干等間隔的深度區(qū)域，并統(tǒng)計出在初始深度圖中每個區(qū)域所對應(yīng)的像素點個數(shù)；以像素點個數(shù)最多的深度區(qū)域的均值作為所處視角下的場景的主導(dǎo)深度。
16.如權(quán)利要求12所述的深度歸一化裝置，其特征在于，所述深度歸一化模塊(3)用于以所述主導(dǎo)深度和零視差平面作為基準來對場景的深度范圍進行歸一化調(diào)整。
17.如權(quán)利要求16所述的深度歸一化裝置，其特征在于，所述深度歸一化模塊(3)用于選定要采用的轉(zhuǎn)換算子及對應(yīng)的初始深度轉(zhuǎn)換值上限B1和初始深度轉(zhuǎn)換值下限B2 ； 根據(jù)所述初始深度轉(zhuǎn)換值上限B1和初始深度轉(zhuǎn)換值下限B2計算得到與零視差平面對應(yīng)的初始深度轉(zhuǎn)換值B3 ；根據(jù)深度歸一化函數(shù)計算出歸一化深度圖的深度值。
18.如權(quán)利要求17所述的深度歸一化裝置，其特征在于，所述轉(zhuǎn)換算子為
19.如權(quán)利要求18所述的深度歸一化裝置，其特征在于，所述轉(zhuǎn)換算子為爐(X)= e"，X表示初始深度值，此時初始深度轉(zhuǎn)換值上限B1和初始深度轉(zhuǎn)換值下限B2的取值范圍為0< B1 < B2 < + 00 o
20.如權(quán)利要求18或19所述的深度歸一化裝置，其特征在于，所述計算與零視差平面對應(yīng)的初始深度值轉(zhuǎn)換值B3的公式為
21.如權(quán)利要求20所述的深度歸一化裝置，其特征在于，所述入rati。為I 6。
22.如權(quán)利要求21所述的深度歸一化裝置，其特征在于，所述歸一化函數(shù)為
23. —種2D/3D視頻轉(zhuǎn)換裝置，其特征在于，包括權(quán)利要求12-22中任一項所述的用于 2D/3D視頻轉(zhuǎn)換的深度歸一化裝置(I)。
全文摘要
本發(fā)明屬于3D視頻技術(shù)領(lǐng)域，具體涉及了一種基于視差區(qū)域原理的用于2D/3D視頻轉(zhuǎn)換的深度歸一化方法及裝置，所述方法包括提取與2D視頻幀相對應(yīng)的初始深度圖的場景高層信息；基于3D視差區(qū)域原理，根據(jù)所述場景高層信息對場景的深度范圍進行歸一化調(diào)整。本發(fā)明不僅能夠降低噪聲的干擾，保證深度提取的穩(wěn)定性，而且能夠使深度分布的調(diào)整更符合3D立體成像特點，有利于增強3D渲染效果。
文檔編號H04N7/01GK102595167SQ20121005896
公開日2012年7月18日 申請日期2012年3月7日 優(yōu)先權(quán)日2012年3月7日
發(fā)明者劉偉, 吳毅紅, 胡占義 申請人:中國科學(xué)院自動化研究所