專利名稱：三維視頻的景深圖的壓縮方法和裝置的制作方法
技術(shù)領(lǐng)域：
本揭露是有關(guān)于一種三維(three dimension，簡稱3D)視頻的技術(shù)，且特別是有關(guān)于一種三維視頻的景深圖(depth map)的壓縮方法。
背景技術(shù)：
隨著近年來3D風(fēng)潮再起，各類的影音娛樂商品也搭上這股潮流，推出像是3D電影、3D游戲等數(shù)位內(nèi)容，而消費性電子產(chǎn)品也不斷的推出支援觀看甚至自制3D內(nèi)容的新產(chǎn)品，像是3D螢?zāi)弧?D相機、3D攝影機等，可以看出各大消費性電子廠商都想搶占先機。然而，目前在制作3D影片這方面，并沒有一個通用的影片壓縮標準，這點將造成影片的不相容，也就是影片可能沒辦法在每一臺終端設(shè)備上播放，因而對3D數(shù)位內(nèi)容的推廣造成了阻礙。動態(tài)影像專家組(Moving Picture Experts Group,簡稱MPEG)組織正在制定一個新的3D影片壓縮標準，這個標準希望能夠僅使用2到3圖框(frame)彩色的紋理影像(texture image)及灰階的景深圖，來產(chǎn)生多個圖框的虛擬影像，以做到多視點(mult1-view)觀看之目的。前述的紋理影像為攝影機拍攝的自然影像，而景深圖一般為8位元的灰階影像，其中的每一像素值代表物體距離攝影機的遠近，也就是說景深圖展現(xiàn)的是物體間在空間座標的相對應(yīng)關(guān)系，而與物體本身的色彩無關(guān)。圖1為一種使用3圖框的紋理影像及景深圖來合成9圖框的多視點影像的方塊示意圖，請參考圖1。圖中每一個紋理影像稱為一個視點(view)，用V1，V2…V9代表視點的編號，通過景深影像為基礎(chǔ)渲染(Depth Image Based Rendering,簡稱DIBR)的演算法,使用3圖框的紋理影像及景深圖，來合成9個視點。故當觀眾站在不同的位置來觀看時，例如:位置1( 081)、位置2( 082)或位置3(Pos3)等，讓左右眼接收到對應(yīng)的紋理影像就可以做到多視點這個功能，也就是說，不管從哪個角度來觀看，只要讓左右眼接收到對應(yīng)的影像就能觀賞到3D的效果。

發(fā)明內(nèi)容
根據(jù)一實施范例，提供一種三維視頻的景深圖(depth map)的壓縮方法，包括下列步驟。步驟之一是對三維視頻中一圖框(frame)的景深圖進行邊緣偵測(edgedetection)。步驟之另一是當圖框中的至少一宏模塊(macroblock)沒有物體邊緣通過時，對這種宏模塊進行均勻化處理。步驟之又一是對景深圖進行編碼。根據(jù)一實施范例，提供一種三維視頻的景深圖的壓縮裝置，其包括:邊緣偵測模塊、均勻化模塊以及壓縮編碼模塊。邊緣偵測模塊對三維視頻中一圖框的景深圖進行邊緣偵測。均勻化模塊耦接至邊緣偵測模塊，當圖框中的宏模塊沒有物體邊緣通過或不屬于邊緣區(qū)域中的宏模塊時，均勻化模塊對宏模塊進行均勻化處理。壓縮編碼模塊耦接至均勻化模塊，壓縮編碼模塊對均勻化后 的景深圖進行編碼。基于上述，本揭露對非邊緣區(qū)域中的宏模塊或沒有物體邊緣通過的宏模塊進行均勻化處理。因此，對景深圖進行壓縮編碼時，本揭露可能降低其數(shù)據(jù)量。
為讓本揭露之上述特征和優(yōu)點能更明顯易懂，下文特舉實施范例，并配合所附圖式作詳細說明如下。


圖1為一種使用3圖框的紋理影像及景深圖來合成9圖框的多視點影像的方塊示意圖。圖2為一種三維視頻的景深圖的壓縮方法的實施范例的流程圖。圖3為一種三維視頻的景深圖的壓縮裝置的實施范例的方塊圖。附圖標記說明510:邊緣偵測模塊520:均勻化模塊530:壓縮編碼模塊D1，D5，D9:景深圖DIBR:景深影像為基礎(chǔ)渲染演算法Posl，Pos2, Pos3:位置 1，位置 2，位置 3S210 S230:用以說明圖2的實施范例的各步驟Vl V9:紋理影像
具體實施例方式三維視頻中的景深圖(depth map)具有如下的特性:(I)對于圖片里缺乏圖形特征的區(qū)域，例如:相同顏色且距離相近的一片區(qū)域、單純沒有其他物體的區(qū)域、距離逐漸變化的區(qū)域等等，對這種區(qū)域進行拍攝或其他處理，而所獲得相對應(yīng)的景深圖中的像素值，亦即景深值，容易得到類似雜訊的錯誤結(jié)果，也就是產(chǎn)生錯誤的視差。(2)使用紋理影像及景深圖來合成視點影像，所合成的影像對景深圖里物體的邊緣錯誤很敏感，錯誤的邊緣會造成合成影像中物體的邊緣產(chǎn)生破碎的圖像。結(jié)合前述兩點，如果能適當?shù)南ヒ恍┚吧顖D本身的雜訊，并保留物體邊緣的重要資訊，原則上，可以在不降低視頻影片品質(zhì)的情況下，減少視頻壓縮后的數(shù)據(jù)量。在此揭露一種新的三維視頻的景深圖的壓縮方法，如圖2所示，圖2為一種三維視頻的景深圖的壓縮方法的實施范例的流程圖，請參照圖2。步驟S210是對三維視頻中一圖框(frame)的景深圖進行邊緣偵測(edge detection)。待處理的三維視頻的數(shù)據(jù)包括多個圖框的紋理影像及景深圖的數(shù)據(jù)串流，首先針對一個圖框的景深圖進行邊緣偵測，進行邊緣偵測的方法可以有很多種，本揭露并不限制，例如:索貝爾(Sobel)方法、Prewitt方法、羅伯特(Roberts)方法、高斯的拉普拉斯(Laplacian of Gaussian)方法、零跨越(zero-cross)方法或坎尼(Canny)方法等等，都可以對景深圖進行邊緣偵測。執(zhí)行過步驟S210后，就可以知道景深圖中各物體的邊緣在哪里。步驟S220是當圖框中的至少一宏模塊(at least one macroblock)沒有物體邊緣通過時,對這種沒有物體邊緣通過的宏模塊進行均勻化處理。宏模塊一般為4x4、8x8或16x16個像素所組成，但本揭露并未限制。一個圖框的景深圖可以分解成眾多個宏模塊，例如=1024x768的景深圖可以分解成128x92個8x8的宏模塊，一個圖框中沒有物體邊緣通過的宏模塊可能有很多，故要針對所有沒有物體邊緣通過的宏模塊進行均勻化處理可以有很多種方法，以下將步驟S220細分成數(shù)個步驟為例。步驟S221是于圖框中選擇一開始宏模塊為一目前宏模塊。一般宏模塊是依照由左而右由上而下的次序來處理，故開始宏模塊一般為左上角的第一個宏模塊，但本揭露并未限制，開始宏模塊也可以是其他位置的宏模塊，處理的順序也可能是如Z字型等等的順序。步驟S222是判斷此目前宏模塊有沒有物體邊緣通過，當目前宏模塊有物體邊緣通過時執(zhí)行步驟S223，當目前宏模塊沒有物體邊緣通過時執(zhí)行步驟S224。步驟S223是當目前宏模塊有物體邊緣通過時，則保留目前宏模塊中的像素值，亦即，不變更或不處理目前宏模塊中的景深值，將此時的數(shù)據(jù)串流略過或是直接儲存等等。步驟S224是當目前宏模塊沒有物體邊緣通過時，則對目前宏模塊進行均勻化處理。均勻化處理的方法有很多種，可以對目前宏模塊使用中值濾波器(median filter)或是一些如巴特沃斯濾波器(Butterworth filter)或高斯濾波器(Gaussian filter)等的低通濾波器(low pass filter),來消除可能是雜訊的訊號，達到均勻化處理之目的。另外，也可以用平均值將目前宏模塊中每個像素的像素值取代，例如:先計算目前宏模塊的所有像素的算術(shù)平均值，接著以此平均值來取代目前宏模塊中每個像素的像素值。但本揭露并未限定一定要使用前述方法，任何可以進行均勻化處理的方法皆可。步驟S225是判斷是否所有的宏模塊都被選擇過，當還有宏模塊沒被選擇過時，則執(zhí)行步驟S226，亦即，于該圖框中選擇另一宏模塊，并使其為目前宏模塊，再回到步驟S222去執(zhí)行。當所有的宏模塊都被選擇過時，則執(zhí)行步驟S230。簡言之，就是于圖框中選擇另一宏模塊為目前宏模塊，重復(fù)步驟S222、步驟S223及步驟S224這3個步驟，直到圖框中所有的宏模塊都被選擇過為止。步驟S230是對景深圖進行編碼。經(jīng)過前述步驟處理完的景深圖再經(jīng)過H.264或是進階視頻編碼(Advanced Video Coding,簡稱 AVC)的 I 圖像(Intra pictures)的 intracoding的壓縮編碼，或其他任何有關(guān)三維視頻的壓縮編碼后，其檔案大小會比原先沒經(jīng)過前述步驟處理就以intra coding來壓縮編碼的數(shù)據(jù)串流來的小。前述步驟S225為判斷是否所有的宏模塊都被選擇過，但并非用以限定本揭露，也可以是只選擇圖框中部份的宏模塊，本揭露并不限制圖框中所有的宏模塊都要被選擇過。另一種實施范例可以是先找出景深圖里物體的邊緣區(qū)域以及非邊緣區(qū)域，再針對非邊緣區(qū)域中的宏模塊進行均勻化處理，請再參照圖2的流程圖。步驟S210中對三維視頻中一圖框的景深圖進行邊緣偵測，可以還找出邊緣區(qū)域以及非邊緣區(qū)域，所謂邊緣區(qū)域包括所有有物體邊緣通過的宏模塊，但本揭露并未限定，邊緣區(qū)域也可以是包括所有有物體邊緣通過的宏模塊以及與其相鄰的宏模塊，或以有物體邊緣通過的宏模塊為中心范圍更廣的區(qū)域等等。前述非邊緣區(qū)域為圖框中除了邊緣區(qū)域外的宏模塊的集合。此實施范例針對非邊緣區(qū)域的宏模塊進行均勻化。因此，步驟S220就可以是對非邊緣區(qū)域中的每一宏模塊進行均勻化處理，而步驟S222就可以是判斷目前宏模塊是否屬于非邊緣區(qū)域，當目前宏模塊屬于非邊緣區(qū)域時，對目前宏模塊進行均勻化處理。又一種實施范例可以是先找出景深圖里物體的邊緣區(qū)域，當宏模塊不屬于邊緣區(qū)域時就進行均勻化處理，請再參照圖2的流程圖。步驟S210中對三維視頻中一圖框的景深圖進行邊緣偵測，可以還找出邊緣區(qū)域。此邊緣區(qū)域的定義與前一實施范例相同或類似。此種實施范例中步驟S220可以是當圖框中的至少一宏模塊不屬于前述邊緣區(qū)域時，對這種宏模塊進行均勻化處理，而步驟S222可以是判斷目前宏模塊是否屬于邊緣區(qū)域，當目前宏模塊不屬于邊緣區(qū)域時，對目前宏模塊進行均勻化處理。前述方法的步驟S230中是在整個圖框的宏模塊被選擇過后，才針對整個景深圖進行壓縮編碼，但非以限定本揭露，所謂對景深圖進行編碼，也可以解釋為針對景深圖中每一個宏模塊進行壓縮編碼，則此步驟變成可以放在進入判斷步驟S225之前，其結(jié)果并不會對本揭露的技術(shù)發(fā)生影響。本揭露的另一種實施范例是一種內(nèi)儲程式的電腦可讀取記錄媒體，當電腦載入前述程式并執(zhí)行后，可完成如同前述的壓縮方法。本揭露的又一種實施范例是一種電腦程式產(chǎn)品，當電腦載入前述電腦程式并執(zhí)行后，可完成如同前述的壓縮方法。圖3為一種三維視頻的景深圖的壓縮裝置的實施范例的方塊圖。請參照圖3。圖3中的壓縮裝置包括:邊緣偵測模塊510、均勻化模塊520以及壓縮編碼模塊530。邊緣偵測模塊510對三維視頻中一圖框的景深圖進行邊緣偵測。均勻化模塊520耦接至邊緣偵測模塊510，當圖框中的宏模塊沒有物體邊緣通過或不屬于邊緣區(qū)域中的宏模塊時，均勻化模塊520對宏模塊進行均勻化處理。壓縮編碼模塊530耦接至均勻化模塊520，壓縮編碼模塊530對均勻化后的景深圖進行編碼。此裝置中的運作方法與原理與前述方法相同故不再贅述。基于上述，本揭露對非邊緣區(qū)域中的宏模塊或沒有物體邊緣通過的宏模塊進行均勻化處理。因此，對景深圖進行壓縮編碼的時候，本揭露可能降低其數(shù)據(jù)量。雖然本揭露已以實施范例揭露如上，然其并非用以限定本揭露，任何本領(lǐng)域技術(shù)人員在不脫離本揭露的精神和范圍內(nèi)，當可作些許之更動與潤飾，故本揭露的保護范圍以權(quán)利要求書為準。
權(quán)利要求
1.一種三維視頻的景深圖的壓縮方法，執(zhí)行于一三維視頻的景深圖的壓縮裝置，該壓縮方法包括: 對三維視頻中一圖框的景深圖進行邊緣偵測； 當該圖框中的至少一宏模塊沒有物體邊緣通過時，對該宏模塊進行一均勻化處理；以及 對景深圖進行編碼。
2.如權(quán)利要求1所述的三維視頻的景深圖的壓縮方法，其特征在于，當該圖框中的至少一宏模塊沒有物體邊緣通過時，對該宏模塊進行該均勻化處理的步驟，包括: 于該圖框中選擇一開始宏模塊為一目前宏模塊； 判斷該目前宏模塊有沒有物體邊緣通過； 當該目前宏模塊有物體邊緣通過時，保留該目前宏模塊中的像素值； 當該目前宏模塊沒有物體邊緣通過時，對該目前宏模塊進行該均勻化處理；以及 于該圖框中選擇另一宏模塊為該目前宏模塊，重復(fù)前3個步驟，直到該圖框中所有或部分的宏模塊都被選擇過為止。
3.如權(quán)利要求1所述的三維視頻的景深圖的壓縮方法，其特征在于，對該宏模塊進行該均勻化處理的步驟，包括: 計算該宏模塊的所有像素的一平均值；以及 以該平均值來取代該宏模塊中每個像素的像素值。
4.如權(quán)利要求1所述的三維視頻的景深圖的壓縮方法，其特征在于，對該宏模塊進行該均勻化處理的步驟，包括: 對該宏模塊使用中值濾波器、巴特沃斯濾波器或高斯濾波器。
5.如權(quán)利要求1所述的三維視頻的景深圖的壓縮方法，其特征在于，進行邊緣偵測的方法為索貝爾方法、Prewitt方法、羅伯特方法、高斯的拉普拉斯方法、零跨越方法或坎尼方法。
6.如權(quán)利要求1所述的三維視頻的景深圖的壓縮方法，其特征在于，對景深圖進行邊緣偵測的步驟，還找出一邊緣區(qū)域以及一非邊緣區(qū)域，該邊緣區(qū)域包括所有有物體邊緣通過的宏模塊，該非邊緣區(qū)域為該圖框中除了該邊緣區(qū)域外的宏模塊的集合，則對沒有物體邊緣通過的該宏模塊進行該均勻化處理的步驟包括: 對該非邊緣區(qū)域中的每一宏模塊進行該均勻化處理。
7.如權(quán)利要求6所述的三維視頻的景深圖的壓縮方法，其特征在于，對該非邊緣區(qū)域中的每一宏模塊進行該均勻化處理的步驟，包括: 于該圖框中選擇一開始宏模塊為一目前宏模塊； 判斷該目前宏模塊是否屬于該非邊緣區(qū)域； 當該目前宏模塊屬于該非邊緣區(qū)域時，對該目前宏模塊進行該均勻化處理；以及 于該圖框中選擇另一宏模塊為該目前宏模塊，重復(fù)前2個步驟，直到該圖框中所有的宏模塊都被選擇過為止。
8.如權(quán)利要求6所述的三維視頻的景深圖的壓縮方法，其特征在于，邊緣區(qū)域是包括所有有物體邊緣通過的宏模塊以及與其相鄰的宏模塊。
9.如權(quán)利要求6所述之三維視頻的景深圖的壓縮方法，其特征在于，邊緣區(qū)域是包括以有物體邊緣通過的宏模塊為中心范圍更廣的區(qū)域。
10.一種三維視頻的景深圖的壓縮裝置，包括: 一邊緣偵測模塊，用以對三維視頻中一圖框的景深圖進行邊緣偵測； 一均勻化模塊，耦接至該邊緣偵測模塊，當該圖框中的宏模塊沒有物體邊緣通過或不屬于一邊緣區(qū)域中的宏模塊時，對宏模塊進行一均勻化處理；以及 一壓縮編碼模塊，耦接至該均勻化模塊，用以對均勻化后的景深圖進行編碼。
11.如權(quán)利要求10所述的三維視頻的景深圖的壓縮裝置，其特征在于，該均勻化模塊計算宏模塊的所有像素的一平均值，且以該平均值來取代宏模塊中每個像素的像素值。
12.如權(quán)利要求10所述的三維視頻的景深圖的壓縮裝置，其特征在于，該均勻化模塊對宏模塊使用中值濾波器、巴特沃 斯濾波器或高斯濾波器。
13.如權(quán)利要求10所述的三維視頻的景深圖的壓縮裝置，其特征在于，該邊緣偵測模塊使用索貝爾方法、Prewitt方法、羅伯特方法、高斯的拉普拉斯方法、零跨越方法或坎尼方法來進行邊緣偵測。
全文摘要
在此提供一種三維視頻的景深圖的壓縮方法及裝置，此壓縮裝置包括邊緣偵測模塊、均勻化模塊以及壓縮編碼模塊。本揭露的方法對三維視頻中一圖框的景深圖進行邊緣偵測，當圖框中的至少一宏模塊沒有物體邊緣通過時，對這種宏模塊進行均勻化處理，再對景深圖進行編碼。因此，本揭露對景深圖進行壓縮編碼時，原則上可降低其數(shù)據(jù)量。
文檔編號H04N7/26GK103139583SQ20111044752
公開日2013年6月5日 申請日期2011年12月23日 優(yōu)先權(quán)日2011年12月2日
發(fā)明者涂日昇, 高榮揚 申請人:財團法人工業(yè)技術(shù)研究院