專利名稱：遮擋層擴展的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及編碼層深度格式(layer depth format)的可視數(shù)據(jù)的技術(shù)領(lǐng)域。
背景技術(shù)：
分層深度圖像(LDI)是編碼呈現(xiàn)三維圖像的信息的方式。類似地，分層深度視頻(LDV)是編碼呈現(xiàn)三維視頻的信息的方式。LDI/LDV將前景層和至少一個背景層用于傳達信息。背景層也稱為遮擋層。前景層包含主彩色圖像/視頻幀以及相關(guān)聯(lián)的主深度圖。至少一個背景層包含背景彩色圖像/視頻幀以及相關(guān)聯(lián)的背景深度圖。通常，遮擋層是稀疏的，因為它只包括主層中的前景物體覆蓋的圖像內(nèi)容和前景物體遮擋的圖像內(nèi)容的相應深度信息。生成LDI或LDV的方式是從不同視點利用兩臺或更多臺攝像機捕獲同一場景。然后，扭曲(warp)，即，偏移，和融合兩臺攝像機捕獲的圖像/視頻，以便生成從位于不同視點之間的中心視點描繪同一場景的主圖像/視頻。另外，可以使用兩個捕獲圖像/視頻幀生成與主圖像/視頻幀相關(guān)聯(lián)的主深度圖。深度圖將深度值、差異值(disparity value)或等同于該差異的換算值(scaled value)指定給主圖像/視頻幀的每個像素，其中指定的差異值與各自像素所屬的物體相對于主圖像平面的距離成反比。

發(fā)明內(nèi)容
按照現(xiàn)有技術(shù)，前景層和背景層具有相同水平寬度。本發(fā)明人認識到，這種相同尺寸不允許傳達存在于至少兩臺攝像機捕獲的圖像/視頻中的所有信息。因此，本發(fā)明人提出了一種用于分層深度圖像/視頻幀的數(shù)據(jù)結(jié)構(gòu)，它允許分層深度圖像/視頻幀的至少一個遮擋層具有比分層深度圖像/視頻幀的前景層更寬的水平寬度，其中遮擋層的水平寬度與在包含在前景層中的主深度圖的橫向邊界區(qū)中包括的最大差異值成正比，該橫向邊界區(qū)由主深度圖的預定數(shù)量的最外面列組成。本發(fā)明人進一步提出了攜帶至少一個編碼分層深度圖像/視頻幀的存儲媒體，其中分層深度圖像/視頻幀的至少一個遮擋層具有比分層深度圖像/視頻幀的前景層更寬的水平寬度，其中遮擋層的水平寬度與在包含在前景層中包括的主深度圖的橫向邊界區(qū)中的最大差異值成正比，該橫向邊界區(qū)由主深度圖的預定數(shù)量的最外面列組成。并且，本發(fā)明人提出一種用于分層深度圖像/視頻幀編碼的方法，所述方法包含編碼具有比分層深度圖像/視頻幀的前景層更寬的水平寬度的分層深度圖像/視頻幀的至少一個遮擋層，其中遮擋層的水平寬度與在包含在前景層中的主深度圖的橫向邊界區(qū)中包括的最大差異值成正比，該橫向邊界區(qū)由主深度圖的預定數(shù)量的最外面列組成。類似地，還提出一種用于分層深度圖像/視頻幀編碼的設(shè)備，所述設(shè)備適用于編碼具有比分層深度圖像/視頻幀的前景層更寬的水平寬度的分層深度圖像/視頻幀的至少一個遮擋層，其中遮擋層的水平寬度與包括在包含在前景層中的主深度圖的橫向邊界區(qū)中的最大差異值成正比，該橫向邊界區(qū)由主深度圖的預定數(shù)量的最外面列組成。附加水平寬度可以用于傳達存在于至少兩臺攝像機捕獲的圖像/視頻中但未包含在前景層中的信息部分。進一步有利實施例的特征規(guī)定在從屬權(quán)利要求中。


在附圖中例示了以及在如下描述中更詳細地說明了本發(fā)明的示例性實施例。說明這些示例性實施例只是為了闡明本發(fā)明，而不是限制本發(fā)明的公開、定義在權(quán)利要求書中的范圍或精神。在附圖中圖1描繪了示例性深度圖；圖2描繪了示例性多攝像機系統(tǒng)；圖3描繪了示例性立體拍攝；以及圖4描繪了示例性遮擋層擴展。
具體實施例方式本發(fā)明可以在包含相應適用的處理設(shè)備的電子設(shè)備上實現(xiàn)。例如，本發(fā)明可以在移動電話、個人計算機、數(shù)碼相機系統(tǒng)或數(shù)字視頻攝像機系統(tǒng)中實現(xiàn)。圖1描繪了示例性深度圖Mdm。深度圖Mdm由深度值，差異值或等同于該差異的換算值組成。這些值按列C
,...,C[n]和行R
，…，R[m]排列。深度圖具有也稱為橫向邊界或橫向邊緣的垂直邊界vbl、vbr，和也稱為頂部和底部邊界或頂部和底部邊緣的水平邊界hbt,hbb0左垂直邊界vbl的寬度k的鄰區(qū)Nkl包含列_，C[l]，· · ·，C[k-1]，以及右垂直邊界vbr的寬度k的鄰區(qū)Nkr包含列C[n-k+l]，C[n-k+2]，. . .，C[n]。對鄰區(qū)的寬度沒有限制，也就是說，單個鄰區(qū)可以覆蓋整個深度圖Mdm，S卩，k = n，或者，左垂直邊界vbl的寬度kl的鄰區(qū)和右垂直邊界vbr的寬度k2的鄰區(qū)可以覆蓋整個幀，在這種情況下，kl+k2 = n+1。鄰區(qū)寬度也可以限制在僅一個像素列上。在LDI/LDV中，這樣的示例性深度圖Mdm與示例性圖像相關(guān)聯(lián)。對于示例性圖像中的每個像素，在示例性深度圖中存在一個值。該組深度圖和圖像稱為一層。如果該層是也稱為主層的前景層，則該圖像稱為前景圖像，并且布滿像素。在下文中將相關(guān)聯(lián)的深度圖稱為主深度圖Mdm。在一個示例性實施例中，主深度圖Mdm和相關(guān)聯(lián)的前景圖像CV來自兩個視圖LV、RV的處理結(jié)果。如圖2所示，這兩個視圖LV、RV由具有平行光軸0A1、0A2、焦距f和攝像機間基線距離2*b的兩臺攝像機CAM1、CAM2捕獲。另外，讓ζ conv表示會聚平面的深度，如果未對矯正視圖進行后處理偏移，則該會聚平面可以處在無窮遠距離上。兩臺攝像機CAM1、CAM2位于所述兩個不同視點上。兩個視圖LV、RV從兩個不同視點描繪所述場景，并且經(jīng)過預處理，以便均衡顏色和矯正幾何失真。因此，攝像機的內(nèi)在和外在參數(shù)是統(tǒng)一的。在雙攝像機設(shè)置中，前景圖像CV因此看起來像位于兩臺攝像機CAM1、CAM2之間、具有到每臺所述攝像機的攝像機間距離為b的虛擬攝像機CAMv拍攝。在奇數(shù)臺攝像機設(shè)置中，前景圖像CV通過矯正中央攝像機拍攝的畫面計算出來。
在這些條件下，位于深度ζ的物體的差異d由下式給出d = h_f*b/z (1)其中h相當于調(diào)整會聚平面的位置所需的傳感器偏移。如前所述，如果未進行處理，則會聚平面處在無窮遠距離上，并且h等于零。如圖3所示例性描繪，其中，z_C0nv處在有限距離上h = f*b/z_conv (2)在主深度圖Mdm包含等同于差異d的換算值D的情況下，兩者之間的關(guān)系可以是D = 255氺(d_max-d)/(d_max-d_min) (3)在換算值包含在主深度圖中的情況下，發(fā)送參數(shù)d_maX和d_min作為元數(shù)據(jù)，或發(fā)送相應深度值z_near和z_far，其中，依照方程(1)z_near = f氺b/ (h_d_max) (4)以及z_far = f*b/ (h_d_min) (5)選擇示例性實施例只是為了說明本發(fā)明的主旨。本發(fā)明可以應用于攝像機具有非平行光軸的多攝像機系統(tǒng)，例如，通過將這樣的攝像機捕獲的圖像變換成虛擬平行光軸攝像機虛擬捕獲的相應虛擬圖像。而且，本發(fā)明也可以適用于未矯正視圖和/或不止兩臺攝像機。本發(fā)明另外不涉及如何確定前景層圖像或主深度圖。該示例性實施例包含在主深度圖Mdm的橫向邊緣vbl，vbr的鄰區(qū)Nkl，Nkr內(nèi)，確定最鄰近物體，這對應于確定最小差異min(d)。由于對于位于會聚平面前面的物體差異是負的，所以這對應于確定橫向邊緣的鄰區(qū)中的負差異當中的最大絕對值。在主深度圖Mdm包含等同于差異的換算值的情況下，可以使用作為元數(shù)據(jù)發(fā)送的參數(shù)從主深度圖Mdm中的最大換算值max (D)當中確定|min(d)|。在發(fā)送d_max和d_min的情況下，可以按照如下方程來完成Imin(d)| = |d_max-max(D)氺(d_max-d_min)/255|(6)在發(fā)送z_near和z_far的情況下，可以使用方程(4)、(5)和(6)確定|min(d) |。在z_conv未確定的情況下，確定I (min (d) _h) |。兩個橫向邊緣vbl，vbr的鄰區(qū)Nkl，Nkr中的負差異當中的所確定最大絕對值是必須在兩側(cè)擴展遮擋層圖像EOV和/或遮擋層深度圖，以便使未包含在前景圖像中但由兩個視圖提供的所有信息都得到傳達的附加寬度?？梢圆煌剡x擇鄰區(qū)的寬度。例如，鄰區(qū)可以只由最外面列以0]，C[η]組成。或者，為了魯棒性起見，鄰區(qū)可以每側(cè)由八個列CW]，. . .，C[7]和C[n-7]，. . . ,C[η]組成。或者，為了詳盡起見，可以選擇鄰區(qū)，使得它們覆蓋整個主深度圖，以便確定包含在主深度圖中的所有負差異當中的最大絕對值。在后一種情況下，可以使用折算值(reduced value)來取代所確定最大絕對值。該折算值通過具有最大絕對值的列相對于各自最接近橫向邊緣的距離補償負差異當中的最大絕對值。也就是說，假設(shè)負差異當中的最大絕對值是I min (d) I，并且在寬度η的主深度圖的第j列中找到，則在兩側(cè)將遮擋層擴展(|min(d) -min(j ；n+1-j))。因此，遮擋層圖像EOV和/或遮擋層深度圖的寬度是n+2*(|min(d) -min(j ；n+1-j))。如圖4所示例性描繪，遮擋層圖像EOV是稀疏的，S卩，只布局著未存在于前景圖像之中的信息。可以通過投影在中央視圖上復制或扭曲該信息。在LDV的情況下，可以獨立地為每個幀確定遮擋層擴展。或者，可以針對各個幀的橫向邊緣的鄰區(qū)中的負差異當中的最大絕對值分析數(shù)組幀或整個視頻，然后將所確定最大絕對值用于擴展各組幀或整個視頻的遮擋層。可以在解碼器側(cè)以與編碼器側(cè)相同的方式進行對橫向邊緣的鄰區(qū)中的負差異當中的最大絕對值的分析，以便正確解碼遮擋層?；蛘?，提供有關(guān)擴展的邊信息。前者關(guān)于編碼更有效，后者在解碼器側(cè)所需計算少。
權(quán)利要求
1.一種用于分層深度圖像的數(shù)據(jù)結(jié)構(gòu)，其中，分層深度圖像的至少一個遮擋層具有比分層深度圖像的前景層更寬的水平寬度，其中遮擋層的水平寬度與在包含在前景層中的主深度圖的橫向邊界區(qū)中包括的最大差異值成正比，該橫向邊界區(qū)由主深度圖的預定數(shù)量的最外面列組成。
2.一種攜帶至少一個編碼分層深度圖像的存儲媒體，其中，分層深度圖像的至少一個遮擋層具有比分層深度圖像的前景層更寬的水平寬度，其中遮擋層的水平寬度與在包含在前景層中的主深度圖的橫向邊界區(qū)中包括的最大差異值成正比，該橫向邊界區(qū)由主深度圖的預定數(shù)量的最外面列組成。
3.一種用于分層深度圖像編碼的方法，所述方法包含編碼具有比分層深度圖像的前景層更寬的水平寬度的分層深度圖像的至少一個遮擋層，其中遮擋層的水平寬度與在包含在前景層中的主深度圖的橫向邊界區(qū)中包括的最大差異值成正比，該橫向邊界區(qū)由主深度圖的預定數(shù)量的最外面列組成。
4.一種用于分層深度圖像解碼的方法，所述方法包含解碼具有比分層深度圖像的前景層更寬的水平寬度的分層深度圖像的至少一個遮擋層，其中遮擋層的水平寬度與在包含在前景層中的主深度圖的橫向邊界區(qū)中包括的最大差異值成正比，該橫向邊界區(qū)由主深度圖的預定數(shù)量的最外面列組成。
5.一種用于分層深度圖像編碼的設(shè)備，所述設(shè)備適用于編碼具有比分層深度圖像的前景層更寬的水平寬度的分層深度圖像的至少一個遮擋層，其中遮擋層的水平寬度與在包含在前景層中的主深度圖的橫向邊界區(qū)中包括的最大差異值成正比，該橫向邊界區(qū)由主深度圖的預定數(shù)量的最外面列組成。
6.一種用于分層深度圖像解碼的設(shè)備，所述設(shè)備適用于解碼具有比分層深度圖像的前景層更寬的水平寬度的分層深度圖像的至少一個遮擋層，其中遮擋層的水平寬度與在包含在前景層中的主深度圖的橫向邊界區(qū)中包括的最大差異值成正比，該橫向邊界區(qū)由主深度圖的預定數(shù)量的最外面列組成。
7.如權(quán)利要求1所述的數(shù)據(jù)結(jié)構(gòu)，如權(quán)利要求2所述的存儲媒體，如權(quán)利要求3或4所述的方法，或如權(quán)利要求5或6所述的設(shè)備，其中該橫向邊界區(qū)由主深度圖的所有列組成。
8.如權(quán)利要求1所述的數(shù)據(jù)結(jié)構(gòu)，如權(quán)利要求2所述的存儲媒體，如權(quán)利要求3或4所述的方法，或如權(quán)利要求5或6所述的設(shè)備，其中遮擋層的水平寬度進一步與前景深度圖的橫向邊界相對于包含所述最大差異值的主深度圖的列的、以像素表示的距離的最小值成正比。
9.如權(quán)利要求1所述的數(shù)據(jù)結(jié)構(gòu)，如權(quán)利要求2所述的存儲媒體，如權(quán)利要求3或4所述的方法，或如權(quán)利要求5或6所述的設(shè)備，其中分層深度圖像包含在遮擋層寬度相同的分層深度圖像的序列中。
10.如權(quán)利要求1所述的數(shù)據(jù)結(jié)構(gòu)，如權(quán)利要求2所述的存儲媒體，如權(quán)利要求3或4所述的方法，或如權(quán)利要求5或6所述的設(shè)備，其中包含在遮擋層中的背景圖像具有比包含在前景層中的前景圖像更寬的水平寬度。
11.如權(quán)利要求1所述的數(shù)據(jù)結(jié)構(gòu)，如權(quán)利要求2所述的存儲媒體，如權(quán)利要求3或4所述的方法，或如權(quán)利要求5或6所述的設(shè)備，其中包含在遮擋層中的背景深度圖具有比包含在前景層中的前景深度圖更寬的水平寬度。
12.如權(quán)利要求2所述的存儲媒體，其中所述存儲媒體進一步攜帶指示水平寬度相差的列數(shù)的編碼值。
13.如權(quán)利要求4所述的方法，進一步包含解碼指示水平寬度相差的列數(shù)的值。
14.如權(quán)利要求6所述的設(shè)備，進一步適用于解碼指示水平寬度相差的列數(shù)的值。
15.如權(quán)利要求1所述的數(shù)據(jù)結(jié)構(gòu)，如權(quán)利要求2所述的存儲媒體，如權(quán)利要求3或4所述的方法，或如權(quán)利要求5或6所述的設(shè)備，其中分層深度圖像包含在改變遮擋層寬度的分層深度圖像的序列中。
全文摘要
本發(fā)明涉及編碼兩臺或更多臺攝像機以分層深度格式捕獲的可視數(shù)據(jù)。本發(fā)明提出了用于分層深度圖像編碼的方法和設(shè)備。該設(shè)備適用于編碼具有比分層深度圖像的前景層更寬的水平寬度的分層深度圖像的至少一個遮擋層，其中遮擋層的水平寬度與在包含在前景層中的主深度圖的橫向邊界區(qū)中包括的最大差異值成正比，該橫向邊界區(qū)由主深度圖的預定數(shù)量的最外面列組成。該方法包含對應步驟。附加水平寬度可以用于傳達存在于至少兩臺攝像機捕獲的圖像/視頻中但未包含在前景層中的信息部分。
文檔編號H04N7/26GK102572471SQ201110383950
公開日2012年7月11日 申請日期2011年11月28日 優(yōu)先權(quán)日2010年11月26日
發(fā)明者G.波伊森, P.洛佩茲, P.科比里奧 申請人:湯姆森特許公司