深度圖處理的制作方法
【專利摘要】對三維[3D]視頻信號中的深度圖進行處理。根據(jù)3D視頻信號，導出第一深度圖（Z1）。通過多維濾波器（22）生成第二深度圖（Z2），該多維濾波器造成第二深度圖具有溢出的偽像，而第一深度圖在相應地點中具有較少的或者沒有這樣的偽像。深度差值是在第一深度圖與第二深度圖之間確定的，正的深度差值指示第二深度圖中的深度更靠近觀看者。通過依照取決于深度差值的組合功能組合第一深度圖值和第二深度圖值而生成最終的第三深度圖。該組合功能在深度差值為正的情況下優(yōu)先考慮第一值。
【專利說明】
深度圖處理

【技術領域】
[0001]本發(fā)明涉及一種處理三維[3D]視頻信號的方法，該方法包括：根據(jù)3D視頻信號導出包括第一深度值的第一深度圖和與第一深度圖相應的包括圖像值的2D圖像，以及由多維濾波器根據(jù)3D視頻信號和/或第一深度圖生成具有第二深度值的第二深度圖。
[0002]本發(fā)明進一步涉及一種3D視頻設備和計算機程序。
[0003]本發(fā)明涉及處理3D視頻數(shù)據(jù)以便改進3D顯示設備上的再現(xiàn)的領域。特別地，可用的或者生成的深度圖可能是不精確的，并且可以通過由多維濾波器進行濾波(例如平滑）而改進。圖像通常在二個空間維度下進行濾波，而視頻數(shù)據(jù)中的時間可以用作第三維度。進一步使用不同域的圖像數(shù)據(jù)（比如對深度圖濾波時的圖像視亮度（brightness)值）的雙邊濾波器或者交叉雙邊濾波器是這樣的多維濾波器的典型實例。深度圖可能由于這樣的濾波而具有深度偽像。本發(fā)明涉及用于減少深度偽像的改進。

【背景技術】
[0004]文件“Discontinuity-adaptive Depth Map Filtering for 3D ViewGeneration, by Sang-Beom Lee and Yo-Sung Ho， Gwangju Institute of Science andTechnology, Korea (GIST), Immerscom 2009，May 27-29，2009，Berkley, USA; ICSTISBN # 978-963-9799-39-4”描述了一種基于深度圖像的再現(xiàn)技術，該技術是利用彩色圖像和相應的深度圖的虛擬視圖的再現(xiàn)處理之一。基于深度圖像的再現(xiàn)技術的一個問題在于，虛擬視圖沒有新暴露的區(qū)域(所謂的去除遮蔽)的信息。一般的解決方案是在3D彎曲變形之前使用高斯平滑濾波器對深度圖進行平滑。然而，濾波的深度圖造成幾何失真，并且深度質量嚴重劣化。深度圖濾波算法用來解決所述去除遮蔽，同時維持深度質量。為了保持虛擬視圖的視覺質量，在進一步降低變形的情況下對深度圖進行平滑。在根據(jù)虛擬視圖的位置提取出對象邊界之后，依照對象邊界的距離和深度間斷的量應用間斷自適應平滑濾波器。


【發(fā)明內容】

[0005]上面描述的方法是對深度圖濾波的一個實例，該深度圖要用于在3D再現(xiàn)系統(tǒng)中生成各種不同的視圖。該已知方法的一個問題在于，深度圖可能具有深度偽像。
[0006]本發(fā)明的目的是提供對于深度圖的處理以便減少深度偽像。
[0007]為此目的，依照本發(fā)明的第一方面，如開篇段落中所描述的方法包括，對于造成第二深度圖具有溢出的偽像，而第一深度圖在相應地點中具有較少的或者沒有這樣的偽像的多維濾波器，
-確定第一深度圖與第二深度圖之間的深度差值，深度差值的正值指示第二深度圖中的深度更靠近觀看者，以及
-通過依照取決于深度差值的組合功能組合第一深度值和第二深度值而生成第三深度圖，該組合功能在深度差值為正的情況下優(yōu)先考慮第一值。
[0008]為此目的，依照本發(fā)明的另一方面，一種用于處理3D視頻信號以便在3D顯示器上顯示的3D視頻設備包括：輸入裝置，其用于接收3D視頻信號并且根據(jù)3D視頻信號導出第一深度圖和與第一深度圖相應的2D圖像，第一深度圖包括第一深度值并且2D圖像包括圖像值；以及視頻處理器，其被布置用于由多維濾波器根據(jù)3D視頻信號和/或第一深度圖生成具有第二深度值的第二深度圖，確定第一深度圖與第二深度圖之間的深度差值，深度差值的正值指示第二深度圖中的深度更靠近觀看者，并且通過依照取決于深度差值的組合功能組合第一深度值和第二深度值而生成第三深度圖，該組合功能在深度差值為正的情況下優(yōu)先考慮第一值。
[0009]這些措施具有減少深度偽像的效果，尤其是它可以降低從前景深度值到圖像背景的溢出。此外，通過允許從背景深度值到前景對象的一些溢出，在一定程度上降低了深度跳躍。在實踐中，這意味著當這樣的深度圖(其具有更小的深度跳躍/轉變）用于針對新視點再現(xiàn)圖像時，新視點中具有由移動前景對象而造成的去除遮蔽的紋理的區(qū)塊將更小。
[0010]基于多維濾波器和第一深度圖的源，第一和第二深度圖將是相關的，因為各深度圖中的深度跳躍/轉變的空間地點基本上相應。而且，第二深度圖盡管作為濾波的結果而更穩(wěn)定，但是會在一些空間地點具有溢出偽像，在這些空間地點處，第一深度圖具有較少的或者沒有這樣的偽像。特別地，多維濾波器使得第二深度圖具有溢出偽像，而第一深度圖在相應的地點處具有較少的或者沒有這樣的偽像。例如，在原始3D視頻信號或者第一深度圖中的大的深度差值(所謂的深度跳躍）可能影響第二深度圖在其鄰近處的值。再者，多維濾波器的輸入值中的其他間斷點或者由于例如引導濾波器中的復雜濾波器策略而引起的其他不希望的效應可以因此影響輸出值。溢出偽像的一個實例可以是，多維濾波器在深度跳躍、視亮度跳躍或者顏色跳躍附近將背景中的值向前移動。出現(xiàn)這種情況時，與第一深度圖的深度差值將為正，并且輸出或第三深度圖將通過所述組合功能基本上基于第一深度值而生成。
[0011]應當指出的是，深度的實際表示可以是由特定系統(tǒng)使用的深度值范圍內的值，所述范圍例如0-255，其中高值靠近觀看者且零為無限遠，或者-512至+511，其中負數(shù)字值表示顯示屏幕前方的深度。再者，在提及基于深度的值和/或濾波的情況下，這樣的術語應當被視為也覆蓋了基于視差的表示。在實踐中，視差圖和值典型地基于1/Z，Z為深度。在當前文件中，“正深度差值”中的正的定義指示第二深度圖中的元素(例如被所述溢出損害的濾波的深度圖中的像素)比第一深度圖中的相應元素更靠近觀看者。如果這樣的話，那么由于優(yōu)先考慮組合功能中體現(xiàn)的第一值，第三深度圖將具有基本上基于第一深度圖(例如濾波之前的原始深度圖）的值。有利的是，由于所述濾波的原因，深度干擾在沒有深度跳躍的區(qū)域中將不太明顯，而在深度跳躍附近，背景將由于減少了深度偽像而失真較少。
[0012]本發(fā)明也基于以下認識。現(xiàn)有技術文件描述了一種用于深度圖的平滑濾波器。通常，平滑濾波器將由于輸入值中的深度跳躍或者其他間斷的原因而具有失真效應(所謂的溢出）。溢出在前景對象的邊界處可能是有利的，因為溢出導致對象具有向后變圓的邊緣，這符合大多數(shù)現(xiàn)實生活的對象(例如臉)。然而，本發(fā)明人看到，溢出特別地在背景中不是所希望的。例如，尤其是當照相機或者前景對象在運動時，對象(例如臉)的前景深度值到背景的溢出在緊挨對象的背景中造成可見的非線性拉伸效應。通過所提出的組合功能，避免了前景到背景的溢出，仍然允許背景到前景的溢出。
[0013]可選地，所述組合功能包括在深度差值為正的情況下輸出第一深度值，并且在深度差值為負的情況下輸出第二深度值。有利的是，該功能的有限復雜度允許實現(xiàn)感知的深度不準確性的重大改進。
[0014]可選地，所述組合功能包括在深度差值為正的情況下輸出第一深度值的多數(shù)部分和第二深度值的少數(shù)部分的混合，并且在深度差值為負的情況下輸出第二深度值。效果在于，在其中深度差值為正的深度跳躍附近，深度輸出值超過50%基于第一深度值，即原始第一深度值。因此，實現(xiàn)了平滑效果，其在深度跳躍附近的背景中降低。該降低取決于多數(shù)部分和少數(shù)部分的比值。可選地，少數(shù)部分為25%或者更少?？蛇x地，可以使得該比值取決于該深度跳躍的估計大小和/或到該深度跳躍的距離，其中大的深度跳躍和/或小的距離可以導致低的少數(shù)部分，例如10%，并且在深度跳躍為小或者距離為大的情況下，少數(shù)部分更高，例如50%。
[0015]可選地，所述組合功能包括在深度差值的絕對值在預定閾值以下的情況下輸出第二深度值。這具有以下效果：在出現(xiàn)小的深度差值的情況下，僅僅利用濾波的深度圖。在所述差值在閾值以上的情況下，該功能可以與上面的組合功能的選項組合。
[0016]可選地，濾波包括雙邊濾波器或者交叉雙邊濾波器或者雙邊網(wǎng)格濾波器或者交叉雙邊網(wǎng)格濾波器。由于雙邊濾波的原因，邊緣被保持。交叉雙邊濾波器不僅使用深度值，而且使用諸如亮度（Iuma)和/或顏色之類的圖像值。網(wǎng)格濾波器使用平均值網(wǎng)格而非近鄰的所有單獨的像素值，以減少計算工作。所稱的雙邊濾波器具有平滑深度值同時保持邊緣的效果，然而出現(xiàn)一定的溢出量。因此，它們?yōu)樯厦婷枋龅纳傻谌疃葓D的步驟提供了適當?shù)念A處理，其局部地降低了所述溢出。可能造成溢出的多維濾波器的其他實例是引導濾波器。
[0017]可選地，所述方法包括至少一個另外的級聯(lián)處理步驟，該級聯(lián)處理步驟包括從第一深度圖中減去第三深度圖以便生成差值深度圖，對差值深度圖穩(wěn)定化以便生成穩(wěn)定化的差值深度圖，并且通過將穩(wěn)定化的差值深度圖和第三深度圖相加生成第四深度圖。級聯(lián)的效果是進一步減少剩余的偽像。特別地，在使用基于深度和圖像值的交叉雙邊濾波器的情況下，可以進一步降低圖像值中的對象的溢出效應。
[0018]所附權利要求書中給出了依照本發(fā)明的方法、3D設備和信號的另外的優(yōu)選實施例，該權利要求書的公開內容通過引用合并于此。

【專利附圖】

【附圖說明】
[0019]本發(fā)明的這些和其他方面根據(jù)在以下描述中通過實例的方式且參照附圖描述的實施例將是清楚明白的，并且將參照這些實施例而被進一步闡述，在附圖中
圖I示出了用于顯示3D圖像數(shù)據(jù)的系統(tǒng)中的用于處理3D視頻數(shù)據(jù)的設備，
圖2示出了用于處理3D視頻數(shù)據(jù)的3D視頻處理器，
圖3示出了深度值的處理，
圖4示出了級聯(lián)方式的增強深度穩(wěn)定化，
圖5示出了具有并行濾波器的3D視頻處理器，以及圖6示出了具有深度圖生成和并行濾波器的3D視頻處理器。
[0020]在圖中，與已經(jīng)描述的元素相應的元素具有相同的附圖標記。

【具體實施方式】
[0021]應當指出的是，當前的這個發(fā)明可以用于任何類型的3D視頻數(shù)據(jù)。所述系統(tǒng)處理3D視頻數(shù)據(jù)中提供的深度圖。該深度圖可以最初存在于系統(tǒng)的輸入處，或者可以如下文中所描述的例如根據(jù)立體（L+R)視頻信號中的左/右?guī)蛘吒鶕?jù)2D視頻生成。假設3D視頻數(shù)據(jù)作為電子的、數(shù)字編碼的數(shù)據(jù)而可用。當前的這個發(fā)明涉及這樣的圖像數(shù)據(jù)并且在數(shù)字域操縱圖像數(shù)據(jù)。
[0022]存在可以據(jù)以格式化并且傳輸3D視頻數(shù)據(jù)的許多不同的方式，稱為3D視頻格式。一些格式基于使用2D通道以便也攜帶立體信息。例如，左右視圖可以隔行掃描，或者可以并排上下放置?？商鎿Q地，可以傳輸2D圖像和深度圖，以及可能地另外的3D數(shù)據(jù)，比如遮蔽或透明度數(shù)據(jù)。提供或者傳輸視頻數(shù)據(jù)的任何方法(例如互聯(lián)網(wǎng)或者藍光光盤（BD))都可以提供3D視頻數(shù)據(jù)。
[0023]圖I示出了用于顯示三維（3D)圖像數(shù)據(jù)的系統(tǒng)中的用于處理3D視頻數(shù)據(jù)的設備。稱為3D源的第一 3D視頻設備40向稱為3D播放器的另一 3D視頻設備50提供和傳輸3D視頻信號41，所述另一 3D視頻設備耦合到3D顯示設備60以便傳輸3D顯示信號56。
[0024]圖I進一步示出了作為3D視頻信號的載體的記錄載體54。該記錄載體為盤狀并且具有軌道和中心孔。由物理上可檢測的痕跡的圖案構成的軌道依照螺旋形或者同心的圓圈圖案布置，該圖案構成一個或多個信息層上的基本上平行的軌道。記錄載體可以是光學可讀的，稱為光盤，例如CD、DVD或BD (藍光光盤)。信息通過沿著軌道的光學可檢測的痕跡(例如凹坑和凸臺)而包含在信息層上。軌道結構也包括用于指示通常稱為信息塊的信息單元的地點的位置信息，例如頭部和地址。記錄載體54承載以像DVD或BD格式那樣的預定義記錄格式表示例如依照MPEG2或MPEG4編碼系統(tǒng)編碼的像視頻那樣的數(shù)字編碼的3D圖像數(shù)據(jù)的信息。
[0025]3D源具有用于處理經(jīng)由輸入單元47接收的3D視頻數(shù)據(jù)的處理單元42。輸入3D視頻數(shù)據(jù)43可以從存儲系統(tǒng)、記錄工作室獲得，從3D照相機獲得，等等。視頻處理器42生成包括3D視頻數(shù)據(jù)的3D視頻信號41。該源可以被布置用于經(jīng)由輸出單元46將來自視頻處理器的3D視頻信號傳輸至另一 3D視頻設備，或者用于提供例如經(jīng)由記錄載體分發(fā)的3D視頻信號。3D視頻信號基于例如通過經(jīng)由編碼器48對輸入3D視頻數(shù)據(jù)43編碼并且依照預定義格式對其格式化而處理3D視頻數(shù)據(jù)。
[0026]3D源可以是服務器、廣播器、記錄設備或者用于制造像藍光光盤那樣的光學記錄載體的創(chuàng)作和/或制作系統(tǒng)。藍光光盤提供了一種用于為內容創(chuàng)建者分發(fā)視頻的交互式平臺。關于藍光光盤格式的信息可以從關于視聽應用格式的論文中的藍光光盤協(xié)會網(wǎng)站(例如 http://www. blu-raydisc. com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269. pdf)獲得。光學記錄載體的制作過程進一步包括步驟：在軌道中提供物理痕跡圖案，該圖案體現(xiàn)可能包括3D噪聲元數(shù)據(jù)的3D視頻信號；以及隨后依照該圖案對記錄載體的材料定形以便在至少一個存儲層上提供痕跡的軌道。
[0027]3D播放器設備具有用于接收3D視頻信號41的輸入單元51。例如，該設備可以包括耦合到輸入單元的光盤單元58，該光盤單元用于從像DVD或者藍光光盤那樣的光學記錄載體54獲取3D視頻信息?？商鎿Q地(或者此外)，3D播放器設備可以包括用于耦合到網(wǎng)絡45 (例如互聯(lián)網(wǎng)或者廣播網(wǎng)絡）的網(wǎng)絡接口單元59，這樣的設備通常稱為機頂盒。3D視頻信號可以從遠程網(wǎng)站或者如由3D源40所指示的媒體服務器獲取。3D播放器也可以是衛(wèi)星接收器或者媒體播放器。
[0028]3D播放器設備具有耦合到輸入單元51的處理單元52，該處理單元用于處理3D信息以便生成要經(jīng)由輸出接口單元55傳輸至顯示設備的3D顯示信號56，例如依照HDMI標準白勺顯不/[言號，參見“High Definition Multimedia Interface; Specification Version I. 4aof March 4, 2010，，,其 3D 部分在 http://hdmi. org/manufacturer/specification. aspx 處可供公共下載。處理單元52被布置用于生成包含在3D顯示信號56中的圖像數(shù)據(jù)以便在顯示設備60上顯示。
[0029]3D顯示設備60用于顯示3D圖像數(shù)據(jù)。該設備具有輸入接口單元61，該輸入接口單元用于接收傳輸自3D播放器50的包括3D視頻數(shù)據(jù)的3D顯示信號56。傳輸?shù)?D視頻數(shù)據(jù)在處理單元62中進行處理以便在3D顯示器63 (例如雙IXD或者透鏡狀IXD)上顯示。顯示設備60可以是任何類型的立體顯示器，也稱為3D顯示器。
[0030]3D視頻設備中的視頻處理器，即3D視頻設備50中的處理器單元52被布置用于執(zhí)行以下用于處理3D視頻信號的功能。3D視頻信號由輸入裝置51、58、59接收，該輸入裝置提供表示至少包括第一深度圖（Zl)和與該深度圖相應的2D圖像的3D視頻數(shù)據(jù)的3D視頻信號。例如，第一深度圖可以通過視差估計從立體（L+R)輸入信號生成。第一深度圖具有第一深度值，并且2D圖像包括二維像素陣列的圖像值。應當指出的是，該深度圖也具有二維像素陣列，并且與2D圖像相應，盡管該深度圖可能具有不同的分辨率。
[0031 ] 3D顯示設備60中的視頻處理器62被布置用于處理3D視頻數(shù)據(jù)以便改進深度圖。深度圖處理包括通過多維濾波器對第一深度圖濾波以便生成具有第二深度值的第二深度圖，確定第一深度圖與第二深度圖之間的深度差值，深度差值的正值指示第二深度圖中的深度更靠近觀看者，以及通過依照取決于深度差值的組合功能組合第一深度值和第二深度值而生成第三深度圖，該組合功能在深度差值為正的情況下優(yōu)先考慮第一值。多維濾波器可以是使用兩個空間維度的二維濾波器。另一維度可以是時間。下文中進一步闡述了深度圖處理的詳細實施例。
[0032]可替換地，3D播放器設備50中的視頻處理器52或者3D源設備中的處理單元42可以被布置成執(zhí)行所述深度圖處理。
[0033]同樣已知的是，深度圖處理之前可以進一步為根據(jù)2D視頻信號生成深度圖。所述提供3D視頻/[目號包括：接收包括2D視頻巾貞序列的2D視頻/[目號，以及基于對2D視頻巾貞序列的處理生成第一深度圖。應當指出的是，這樣生成的深度圖經(jīng)常具有有限的質量，并且如本文中所描述的增強深度圖可以大幅改進所述質量。生成深度圖的功能可以在3D播放器的輸入單元51中或者在3D顯示設備60的視頻處理器62中或者在3D源設備的處理單元42中實現(xiàn)。
[0034]應用到深度圖的濾波可以是雙邊網(wǎng)格處理以便在時間和空間上使深度圖穩(wěn)定。除了對于深度圖的積極效果之外，也存在如參照圖2和圖3所闡述的不希望的副作用。
[0035]圖2示出了用于處理3D視頻數(shù)據(jù)的3D視頻處理器。在操作中，生成器單元GEN21接收立體3D信號，該立體3D信號也稱為左右視頻信號，具有表示要為觀看者的對應眼睛顯示以便生成3D效果的左視圖和右視圖的左幀L和右?guī)琑的時間序列。該單元然后通過左視圖和右視圖的視差估計生成第一深度圖，并且基于左視圖和/或右視圖提供2D圖像。視差估計可以基于用來比較L和R幀的運動估計算法。對象的L和R視圖之間的大的差值被轉換成高的深度值，指示靠近觀看者的對象位置。生成器單元的輸出是第一深度圖Z1。應當指出的是，其他輸入單元可以用來提供第一深度圖Zl和相應的2D圖像數(shù)據(jù)。
[0036]可替換地，生成器單元可以被布置用于接收包括2D視頻幀的時間序列的2D視頻信號，例如正常(單視場)2D視頻信號，并且基于對2D視頻幀的時間序列的處理生成第一深度圖。
[0037]第一深度圖Zl耦合到濾波器22，該濾波器用于通過多維濾波器對第一深度圖濾波以便生成具有第二深度值的第二深度圖Z2?；旧?，該濾波器可以實施由Z2 = f(Zl)表達的深度圖的任何適當?shù)暮筇幚?。多維濾波器可以是二維空間濾波器。另一維可以是時間。
[0038]例如，該濾波器可以是任何平滑濾波器，尤其是抹掉邊緣的任何濾波操作；比如例如高斯濾波器?？蛇x地，該濾波器可以是雙邊濾波器、交叉雙邊濾波器或者雙邊網(wǎng)格濾波器。
[0039]如此，濾波是圖像處理的基本操作。在術語“濾波”的最寬泛的意義上，濾波圖像在給定地點的值是輸入圖像在相同地點的小鄰域中的值的函數(shù)。例如，高斯低通濾波計算鄰域中的像素值的加權平均，其中權重隨著離鄰域中心的距離的增加而減小。圖像典型地在空間上緩慢變化，因而接近的像素很可能具有相似的值，并且因此將它們一起平均是合適的。破壞這些接近的像素的噪聲值的互相關比信號值更小，因而噪聲被平均掉，而信號被保持。
[0040]然而，緩慢空間變化的假設在邊緣處失效，所述邊緣因而被線性低通濾波弄得模糊。雙邊濾波是一種用于邊緣保持平滑的已知非迭代方案。雙邊濾波隱含的基本思想是在圖像的范圍內做傳統(tǒng)濾波器在其域中所做的事情。兩個像素可能彼此靠近，即占據(jù)接近的空間地點，或者它們可以彼此相似，即可能地以知覺上有意義的方式具有接近的值。在平滑區(qū)塊中，小鄰域中的像素值彼此相似，并且雙邊濾波器基本上充當標準域濾波器，平均掉由噪聲造成的像素值之間的小的弱相關差異。在暗區(qū)與亮區(qū)之間的明顯邊界處，考慮值的范圍。當雙邊濾波器以邊界的亮側的像素為中心時，相似性函數(shù)對于相同側的像素采用接近I的值并且對于暗側的像素采用接近零的值。結果，濾波器用中心近鄰處的亮像素的平均值代替中心處的亮像素，并且基本上忽略暗像素。由于范圍分量的原因，在邊界處實現(xiàn)了良好的濾波行為，并且同時保持了清晰的邊緣。
[0041]由于雙邊濾波的原因，邊緣被保持。此外，可以使用交叉雙邊濾波器；措詞交叉指示使用了相同圖像的兩個不同的，但是相應的表示。交叉雙邊濾波的一個實例可以見于(尤其參見解釋了聯(lián)合（=交叉）雙邊上采樣的表）：http://www. Stanford, edu/class/cs448f/lectures/3. l/Fast%20Filtering%20Continued. pdf。
[0042]所提出的交叉雙邊濾波器不僅使用深度值，而且具有用于基于視亮度和/或顏色的圖像值(通常稱為亮度值）的另一輸入。該另一輸入在圖2中被示為標記LU的箭頭。如虛線箭頭20所示，亮度值可以根據(jù)2D輸入數(shù)據(jù)，例如立體輸入信號中的L幀導出。交叉濾波基于亮度值方面的邊緣與深度方面的邊緣的總體一致性。然而，在這樣的一致性不存在的情況下，將出現(xiàn)深度圖中的交叉亮度偽像。
[0043]可選地，雙邊濾波器(或者交叉雙邊濾波器）可以由所謂的網(wǎng)格濾波器實現(xiàn)以便降低計算量。代替使用各像素值作為用于濾波器的輸入的是，將圖像細分成網(wǎng)格，并且跨網(wǎng)格的一段進行值平均。值的范圍可以進一步以帶進行細分，這些帶可以用于設置雙邊濾波器中的權重。雙邊網(wǎng)格濾波的一個實例可以見于例如可從http://groups.csail.mit.edu/graphics/bilagrid/bilagrid_web.pdf 獲得的文件“Real-time Edge-AwareImage Processing with the Bilateral Grid, by Jiawen Chen, Sylvain Paris, FredoDurand; Computer Science and Artificial Intelligence Laboratory, MassachusettsInstitute of Technology”。具體地，參見該文件的圖3。
[0044]可選地，為了實現(xiàn)濾波器22，可以使用例如通常應用于立體到自動立體轉換的引導濾波器實現(xiàn)方式。如此，引導濾波器例如從可從http://research, microsoft. com/en-us/um/people/ j i an sun/papers/GuidedF i I ter_ECCV10. pdf 獲得的文件“Guided ImageFiltering, by Kaiming He (Department of Information Engineering, The ChineseUniversity of Hong Kong,香港中文大學信息工程系）、Jian Sun (Microsoft ResearchAsia,微軟亞洲研究院），and Xiaoou Tang (Shenzhen Institutes of AdvancedTechnology, Chinese Academy of Sciences, China,中國科學院深圳先進技術研究院)”獲知。
[0045]濾波器22的輸出，第二深度圖Z2耦合到標記為DT+C0的混合單元23的輸入，參見確定深度差值和組合深度圖的功能。該混合單元具有用于接收原始(未濾波的）深度圖Zl的第二輸入。深度差值是在第一深度圖與第二深度圖之間確定的，深度差值的正值指示第二深度圖中的深度更靠近觀看者。組合深度圖的功能包括通過依照取決于深度差值的組合功能組合第一深度值和第二深度值而生成第三深度圖Z3。該組合功能在深度差值為正的情況下優(yōu)先考慮第一值。各種不同的選項可用于實現(xiàn)所述優(yōu)先考慮。
[0046]在第一實施例中，組合功能在深度差值為正的情況下輸出第一深度值，并且在深度差值為負的情況下輸出第二深度值。基本上，組合功能可以表示為：
如果（Z2>Z1)，輸出=Z1，否則輸出=Z2。
[0047]可替換地，組合功能可以執(zhí)行以下準則：
(Z2〈Z1，因而Zl更近）：輸出為Z2 ；
(Z2>Z1,因而Z2更近）：輸出為Z1。
[0048]此外,可以添加閾值TH :
(Z2- ZKTH):輸出為 Z2 ；
(Z2- Z1>TH):輸出為 Z1。
[0049]在第二實施例中，組合功能包括在深度差值為正的情況下輸出第一深度值的多數(shù)部分和第二深度值的少數(shù)部分的混合，并且在深度差值為負的情況下輸出第二深度值。因此，當Z2的值低于Zl (負的深度差值)時，輸出基于Z2，即濾波的深度圖。然而，當Z2的值高于Zl (正的深度差值)時，輸出主要基于Z1，即至少50%的多數(shù)部分基于Zl (未濾波的深度圖）并且小于50%的少數(shù)部分基于Z2。用于衰減Z2的實際值為25%。少數(shù)部分于是為25%，或者甚至更小的百分比。
[0050]在另一實施例中，組合功能包括在深度差值的絕對值在預定閾值(例如深度范圍的10%)以下的情況下輸出第二深度值。例如，圖像的深度范圍使用8比特值表示，即深度范圍為0-255。因此,小的差值將不被認為是邊緣并且深度值將不被剪切或操縱。
[0051]在實踐中，組合功能可以執(zhí)行以下準則：
(Z2〈Z1，因而Zl更近）：輸出為100%的Z2 ；
(Z2>Z1,因而Z2更近）：輸出為10%的Z2+90%的Zl。
[0052]此外，可以添加閾值TH :
(Z2- ZKTH):輸出為 100% 的 Z2 ；
(Z2- Z1>TH):輸出為 10% 的 Z2，90% 的 Zl0
[0053]此外，用于Zl和Z2的適當比值可以為75-25%或者60_40%。
[0054]在另一實施例中，確定深度差值通過評估區(qū)域中的深度值并且單獨地檢測深度跳躍而進一步增強。如果沒有檢測到深度跳躍(例如通過應用閾值)，那么混合單元將輸出Z2。當檢測到深度跳躍時，將依照預定義比值應用Zl和Z2的混合。因此，當在離最近的跳躍一定距離處時，將僅僅使用Z2。所述距離或比值可以基于深度差值而進一步加以調節(jié)。大的跳躍可能因此造成陡峭的比值，在其近鄰處基本上僅僅使用Z1。
[0055]圖3示出了深度值的處理。圖的頂部示出了包括背景之前的對象31 (例如臉）的深度圖的橫截面。第一深度圖Zl示意性地示出，深度值33指示該對象的深度位置。應用上面描述的處理以便改進深度圖的空間和時間穩(wěn)定性。Zl是來自深度或視差估計器的不太穩(wěn)定的深度圖。Z2為濾波，例如基于構建具有關系亮度和深度的表格的雙邊網(wǎng)格處理之后的穩(wěn)定化深度。然而，由于深度邊緣處的亮度轉變以及亮度和Zl的不理想對準的原因，亮度和深度關系以及拋雪球算法（splatting)函數(shù)的使用造成邊緣周圍的深度失真，在Z2中稱為溢出36、38。
[0056]深度值33和該對象側面處的深度跳躍34、35被示意性地示為含噪聲的。在實踐中，邊緣位置處的深度值將是不穩(wěn)定的。應用平滑濾波器以生成Z2，更穩(wěn)定的深度圖。
[0057]在深度圖Z2中，示出了溢出偽像。第一區(qū)域36指示由于前景深度的溢出而引起的深度偽像。第二區(qū)域38指示由于背景深度的溢出而引起的另一深度偽像。最后，該圖示出了深度圖Z3。在Z3中，第三區(qū)域37指示本發(fā)明的效果，其中通過使用Zl的深度值而移除溢出。通過濾波，接著通過組合功能而對深度圖Z穩(wěn)定化的增強功能ZSTAB 24在圖2中由箭頭指示。
[0058]應當指出的是，當必須從不同的觀看角度（即觀看者的眼睛位置）生成多個視圖時，對象相對于背景的深度跳躍決定了遮蔽。Zl中的深度跳躍的大小由箭頭32指示，而處理過的深度圖Z3中的深度跳躍39的大小更小。更小的深度跳躍具有以下優(yōu)點：需要為所述多個視圖生成更少的遮蔽數(shù)據(jù)。降低對于精確的遮蔽數(shù)據(jù)的需求允許簡單的背景拉伸以填充遮蔽孔。
[0059]圖4示出了級聯(lián)方式的增強深度穩(wěn)定化。電路基于圖2中所示的電路，具有用于生成第一深度圖Zl的相應生成器單元GEN 21。第一深度圖Zl由與圖2中標記為ZSTAB的部分相應的增強深度圖穩(wěn)定器25穩(wěn)定化。ZSTAB的交叉雙邊濾波器實現(xiàn)方式具有用于亮度值的另一輸入（由虛線輸入信號LU示出）?？蛇x地，ZSTAB功能25可替換地可以僅僅為如上面所描述的(交叉)雙邊濾波器22，或者任何其他適當?shù)纳疃葓D穩(wěn)定化功能。穩(wěn)定器25的穩(wěn)定化的深度圖Za耦合到減法器26，該減法器從穩(wěn)定化的深度圖Za中減去原始深度圖Zl以便生成差值深度圖Zb。差值深度圖Zb輸入到另一增強穩(wěn)定器27，因而構成級聯(lián)深度穩(wěn)定器。該另一增強穩(wěn)定器27可以再次為如上面所描述的ZSTAB功能，可選地具有亮度輸入?？梢允褂门c針對第一增強穩(wěn)定器25的情況相同的亮度值。穩(wěn)定化的差值深度圖Zc耦合到加法器28，其加上穩(wěn)定化的深度圖Za，得到最終的深度圖Zd。
[0060]實際上，仍然存在于穩(wěn)定化的深度圖Za中的偽像也將存在于差值深度圖Zb中，由于減法功能而被反向。來自Zl的噪聲也可能存在于Zb中，但是將通過所述另一增強穩(wěn)定器27而消除，這保持了偽像的結構。最后，反向的偽像將被添加到穩(wěn)定化的深度圖Za。例如，具有黑色眼睛的臉和黑色背景可能導致眼睛的深度位置受背景的影響(交叉亮度效應)。眼睛將被向后推送。在原始深度圖Zl中，眼睛將基本上具有臉的深度，因而差值深度圖Zb反映眼睛地點中的向前效果，這將在加法器28中補償所述向后推送。因此，該電路允許降低雙邊濾波器對深度圖的交叉亮度效應，同時仍然具有空間和時間穩(wěn)定化的深度圖的益處。
[0061]圖5示出了具有并行濾波器的3D視頻處理器。在操作中，第一濾波器FILT-I 71接收3D視頻信號，該3D視頻信號可以包括深度圖和2D圖像數(shù)據(jù)或者3D視頻數(shù)據(jù)的任何其他表不。FILT-I構成生成第一深度圖Zl的另一多維濾波器。可選地，第一濾波器可以是具有用于亮度值的另一輸入LUl的交叉雙邊濾波器。在操作中，第二濾波器FILT-2 72也接收3D視頻信號。第二濾波器FILT-2與上面參照圖2描述的多維濾波器22相應，其造成所述溢出?？蛇x地，第二濾波器可以是具有用于亮度值的另一輸入LU2的交叉雙邊濾波器?？蛇x地，第二濾波器單元82可以具有用于接收Zl的另一輸入。像在圖2中那樣，濾波器72的輸出，第二深度圖Z2耦合到標記為DT+C0的混合單元73的輸入，混合單元73參見如上面針對混合單元23所描述的確定深度差值和組合深度圖的功能。該混合單元具有用于接收第一深度圖Zl的另一輸入。類似于上面描述的串聯(lián)布置，該混合單元實施用于在背景中基本上移除所述溢出的組合功能。
[0062]在一個實際的實例中，使用已知的技術基于單視場或立體圖像生成輸入深度圖，并且隨后對其進行后處理，即，使用兩個并行的具有相似濾波器特性，但是具有不同濾波器覆蓋區(qū)（footprint)的二維高斯濾波器進行濾波。第一深度圖由第一高斯濾波器生成，該第一高斯濾波器具有比用來生成第二深度圖的第二高斯濾波器的第二濾波器覆蓋區(qū)更小的第一濾波器覆蓋區(qū)。結果，與第一高斯濾波器相比，第二高斯濾波器將在更大的區(qū)域上抹掉深度轉變。
[0063]代替上面提到的高斯濾波器的是，也可以有可能使用兩個交叉雙邊后處理濾波器。交叉雙邊濾波器使用來自單視場圖像的照度（luminance)和/或顏色信息將深度圖中的深度轉變與圖像內容中的照度和/或顏色轉變重新對準。
[0064]更加可替換地，第一深度圖使用諸如例如(交叉）雙邊濾波器或者引導濾波器之類的邊緣保持和/或重建濾波器生成，而第二深度圖使用諸如上面提到的二維高斯濾波器之類的邊緣平滑濾波器生成。
[0065]應當進一步指出的是，可選地，局部地應用后處理?？梢栽O想各種不同的準則用于選擇其中應用本發(fā)明的深度圖中的空間區(qū)塊。例如，依照本發(fā)明的方法可以利用用于深度轉變的閾值以便確定是否將該方法應用到特定的空間區(qū)塊。可替換地或者此外，可以基于第一和第二深度圖中的邊緣之間的證實的相關性選擇用于應用該方法的空間區(qū)塊。為此目的，可以向依照本發(fā)明的方法添加附加的空間相關性步驟，該步驟將第一深度圖中的空間區(qū)塊中的深度值與第二深度圖中的相應空間區(qū)塊相關以便例如通過對找到的相關性應用閾值而標識是否可以將本發(fā)明應用于該特定的空間地點。
[0066]圖6示出了具有深度圖生成和并行濾波器的3D視頻處理器。在操作中，深度圖生成器80 (標記為3DRS CABE disp est)接收具有左幀L和右?guī)琑的立體3D信號。該單元然后通過左視圖和右視圖的視差估計生成第一深度圖Z0，并且基于左視圖和/或右視圖提供2D圖像數(shù)據(jù)。生成器80的輸出ZO耦合到生成第一深度圖Zl的第一濾波器81。第一濾波器示意性地被示為具有小的核心雙邊網(wǎng)格和參數(shù)集合B以及用于亮度值的輸入LB。ZO還耦合到生成第二深度圖Z2的第二濾波器82。第二濾波器示意性地被示為具有大的核心雙邊網(wǎng)格和參數(shù)集合A以及用于亮度值的輸入LA。像在圖2中那樣，第一深度圖Zl和第二深度圖Z2耦合到混合單元83的輸入，該混合單元示意性地被標記為具有組合功能：
如果（Z2>Z1)，則Z1，否則Z2。
[0067]組合功能涉及如上面針對混合單元23所描述的確定深度差值和組合深度圖的各種不同的功能。參數(shù)集合A被選擇用于較大的核心，導致更多地減少噪聲和/或偽像，但是也導致更多的溢出。參數(shù)集合B被選擇用于較小的核心，導致更少的偽像減少，但是也導致更少的溢出。如上面所指示的，3D視頻設備可以與3D內容源設備或者3D顯示設備相應。3D顯示設備被理解為包括立體顯示設備，諸如例如快門眼鏡或者基于偏振器的立體顯示設備，其中本發(fā)明可以用來將單視場內容轉換成立體內容，或者其中本發(fā)明用來對立體內容進行后處理。
[0068]然而，本發(fā)明可以以相同的效果應用于自動立體顯示設備，例如透鏡狀或者基于屏障的多視圖顯示設備，其中本發(fā)明用來將單視場/立體內容轉換成供這樣的顯示器使用的多視圖。
[0069]事實上，3D視頻設備被理解為包括調用深度圖的單視場到立體的轉換或立體(后）處理的設備，例如基于立體照相機系統(tǒng)裝備輸出深度圖的3D照相機。
[0070]應當理解的是，為了清楚起見，上面的描述參照功能單元和處理器描述了本發(fā)明的實施例。然而，應當清楚的是，可以使用不同功能單元或處理器之間的任何適當?shù)墓δ芊植级粶p損本發(fā)明。例如，被圖示為由單獨的單元、處理器或控制器執(zhí)行的功能可以由相同的處理器或控制器執(zhí)行。因此，對于特定功能單元的引用應當僅僅視作對于用于提供所描述的功能的適當裝置的引用，而不是指示嚴格的邏輯或物理結構或組織。本發(fā)明可以以任何適當?shù)男问綄崿F(xiàn)，包括硬件、軟件、固件或者這些的任意組合。
[0071]盡管在上文中大多數(shù)實施例針對設備而給出，但是相同的功能由相應的方法提供。這樣的方法可選地可以至少部分地被實現(xiàn)為運行在一個或多個數(shù)據(jù)處理器和/或數(shù)字信號處理器上的計算機軟件。本發(fā)明的實施例的元件和部件可以以任何適當?shù)姆绞皆谖锢砩?、功能上和邏輯上實現(xiàn)。
[0072]如果特征看起來結合特定實施例而被描述，那么本領域技術人員應當認識到，依照本發(fā)明可以組合所描述的實施例的各種不同的特征。單獨的特征可以有利地加以組合，并且包含于不同的權利要求中并不意味著特征的組合不可行和/或不是有利的。再者，特征包含于一種權利要求類別中并不意味著限于該類別，而是指示該特征同樣可適用于其他權利要求類別，如果適當?shù)脑?。此外，權利要求中特征的順序并不意味著特征必須?jù)以起作用的任何特定順序，并且特別地，方法權利要求中各步驟的順序并不意味著這些步驟必須按照該順序來執(zhí)行。相反地，這些步驟可以以任何適當?shù)捻樞驁?zhí)行。此外，單數(shù)引用并沒有排除復數(shù)。因此，對于“一”、“一個”、“第一”、“第二”等等的引用并沒有排除復數(shù)。權利要求中的附圖標記僅僅作為澄清的實例而被提供，不應當以任何方式被視為限制了權利要求的范圍。
【權利要求】
1.一種處理三維[3D]視頻信號的方法，該方法包括： -根據(jù)3D視頻信號導出（21)包括第一深度值的第一深度圖（Zl)和與第一深度圖相應的包括圖像值的2D圖像， -由多維濾波器（22)根據(jù)3D視頻信號和/或第一深度圖生成具有第二深度值的第二深度圖（Z2)，該多維濾波器造成第二深度圖具有溢出的偽像，而第一深度圖在相應地點中具有較少的或者沒有這樣的偽像， -確定第一深度圖與第二深度圖之間的深度差值，深度差值的正值指示第二深度圖中的深度更靠近觀看者，以及 -通過依照取決于深度差值的組合功能組合第一深度值和第二深度值而生成（23)第三深度圖，該組合功能在深度差值為正的情況下優(yōu)先考慮第一值。
2.如權利要求I所述的方法，其中組合功能包括在深度差值為正的情況下輸出第一深度值，并且在深度差值為負的情況下輸出第二深度值。
3.如權利要求I所述的方法，其中組合功能包括在深度差值為正的情況下輸出第一深度值的多數(shù)部分和第二深度值的少數(shù)部分的混合，并且在深度差值為負的情況下輸出第二深度值。
4.如權利要求3所述的方法，其中少數(shù)部分為25%或者更少。
5.如權利要求I所述的方法，其中組合功能包括在深度差值的絕對值在預定閾值以下的情況下輸出第二深度值。
6.如權利要求I所述的方法，其中濾波包括雙邊濾波器或者交叉雙邊濾波器或者雙邊網(wǎng)格濾波器或者交叉雙邊網(wǎng)格濾波器。
7.如權利要求I所述的方法，其中該方法包括至少一個另外的級聯(lián)處理步驟，該級聯(lián)處理步驟包括： -從第一深度圖（Zl)中減去（26)第三深度圖（Za)以便生成差值深度圖（Zb)， -對差值深度圖穩(wěn)定化（27)以便生成穩(wěn)定化的差值深度圖（Zc)，以及-通過將穩(wěn)定化的差值深度圖（Zc)和第三深度圖（Za)相加（28)生成第四深度圖(Zd)。
8.如權利要求I所述的方法，其中該方法包括： -接收包括左視圖幀（L)和右視圖幀（R)的立體3D視頻信號，并且基于對L和R幀的處理導出第一深度圖；或者 -接收包括2D視頻幀的時間序列的2D視頻信號，并且基于對2D視頻幀的時間序列的處理導出第一深度圖；或者 -接收3D視頻信號并且通過另一多維濾波器導出第一深度圖。
9.一種用于處理三維[3D]視頻信號的3D視頻設備（40，50)，該設備包括： -輸入裝置（47，51，58，59，61，71)，其用于接收3D視頻信號并且根據(jù)3D視頻信號導出第一深度圖（Zl)和與第一深度圖相應的2D圖像，第一深度圖包括第一深度值并且2D圖像包括圖像值，以及 -視頻處理器（42，52，53)，其被布置用于 -由多維濾波器（22)根據(jù)3D視頻信號和/或第一深度圖生成具有第二深度值的第二深度圖（Z2)，該多維濾波器造成第二深度圖具有溢出的偽像，而第一深度圖在相應地點處具有較少的或者沒有這樣的偽像， -確定第一深度圖與第二深度圖之間的深度差值，深度差值的正值指示第二深度圖中的深度更靠近觀看者，并且 -通過依照取決于深度差值的組合功能組合第一深度值和第二深度值而生成（23)第三深度圖，該組合功能在深度差值為正的情況下優(yōu)先考慮第一值。
10.如權利要求9所述的設備，其中組合功能包括在深度差值為正的情況下輸出第一深度值，并且在深度差值為負的情況下輸出第二深度值。
11.如權利要求9所述的設備，其中組合功能包括在深度差值為正的情況下輸出第一深度值的多數(shù)部分和第二深度值的少數(shù)部分的混合，并且在深度差值為負的情況下輸出第二深度值。
12.如權利要求9所述的設備，其中濾波包括雙邊濾波器或者交叉雙邊濾波器或者雙邊網(wǎng)格濾波器或者交叉雙邊網(wǎng)格濾波器。
13.如權利要求9所述的設備，其中輸入裝置包括生成器（21)，該生成器用于 -接收左右視頻信號，該信號至少包括要為觀看者的對應眼睛顯示以便生成3D效果的左視圖和右視圖，并且 -通過左視圖和右視圖的視差估計生成第一深度圖，并且 -基于左視圖和/或右視圖提供2D圖像。
14.一種計算機程序，包括計算機程序代碼裝置，該計算機程序代碼裝置在計算機程序運行于計算機上時操作來使得處理器執(zhí)行依照權利要求1-9中任何一項的方法的各步驟。
15.一種計算機可讀介質，包括如權利要求14所述的計算機程序。
【文檔編號】H04N13/00GK104185857SQ201280049776
【公開日】2014年12月3日 申請日期:2012年10月5日 優(yōu)先權日:2011年10月10日
【發(fā)明者】W.H.A.布魯爾斯 申請人:皇家飛利浦有限公司