一種分區(qū)域的3d視頻映射方法
【專利摘要】一種分區(qū)域的3D視頻映射方法，屬于3D視頻合成【技術領域】，通過區(qū)分不同區(qū)域的像素進行不同處理、避免無效信息的映射和重復映射。我們隨機選擇一個視點作為主視點，根據主視點的深度圖分析區(qū)域特征以劃分區(qū)域，分別為邊界無效應區(qū)域（BNER）、邊界單效應區(qū)域（BSER）、雙效應區(qū)域（DER）、前景單效應區(qū)域（FSER）、前景無效應區(qū)域（FNER）；對主視點，除了無效應區(qū)域（包括BNER和FNER）的所有區(qū)域都映射至虛擬視點，而對非主視點，只將其單效應區(qū)（包括BSER和FSER）映射到虛擬視點；而后對3D映射過程中產生的“裂縫”采用周圍像素進行內插填補。
【專利說明】一種分區(qū)域的3D視頻映射方法

【技術領域】
[0001]本發(fā)明屬于邪視頻合成【技術領域】，具體涉及一種分區(qū)域的3D視頻映射方法。

【背景技術】
[0002] 在3D視頻中，視點合成是一項很重要的技術，目前大多數(shù)采用 DIBR(Depth-image-based Rendering，即基于深度圖像的繪制）技術來合成虛擬視點。DIBR 的核心是利用深度信息和攝像機參數(shù)把像素從已知的原始視點映射到未知的合成視點。 DIBR主要有兩種方法：單視點方法和多視點方法。單視點DIBR -般包括兩個步驟：（1) 3D 映射；(2)空洞填補。多視點DIBR方法還包括一個額外步驟：視點融合，即將各個原始視點 合成的虛擬視點融合為一個最終的視點，一般來說有兩種融合方法：（1)使用一個線性權 重函數(shù)混合兩個視點；(2)選擇一個映射的視點作為主視點，另一個映射的視點作為輔助 視點來填補空洞。
[0003] 單視點方法是使用一個原始視點和對應的深度信息得到合成視點，方法簡單，計 算復雜度低；但是這種方法有一個缺點，由于原始視點遮擋部分背景信息的缺失，會產生很 大的空洞，影響視覺質量；多視點方法是使用左右視點作為原始視點合成中間視點，因此遮 擋的信息可以用兩個視點的信息相互補充，能產生較好質量的合成視點，但是因為多視點 方法對每個視點的公共區(qū)域重復進行3D映射，且在多個視點中進行有用信息的選擇性融 合，造成計算復雜度增加，影響DIBR的實時實現(xiàn)。
[0004] 在實用的3D視頻中，多視點解碼必須結合實時性虛擬視點合成。由于多視點方法 的數(shù)據量較大，對DIBR技術的實時性是一個很大的挑戰(zhàn)。同時，3D映射是DIBR中一個計算 量最大的環(huán)節(jié)，對多個原始視點的重復3D映射將給DIBR造成很大的負擔。


【發(fā)明內容】

[0005] 本發(fā)明的目的是提供一種對3D視頻快速解碼方法，能夠有效地提高現(xiàn)有的DIBR 方法的速度，提高實時性。
[0006] 本發(fā)明是這樣實現(xiàn)的，其特征是包括下列步驟：
[0007] 第一步：攝取3D視頻兩個相鄰視點的紋理圖和深度圖，即攝像機獲取的兩個視點 分別記為視點\和視點v3，用視點Vi和視點v 3來合成中間的虛擬視點V2。
[0008] 對于3D映射后產生的空洞，應用分類處理：首先，對于尺寸小于等于兩個像素的 空洞，稱為"裂縫"，將利用同一視點中相鄰像素進行插值來填補；而對于尺寸大于兩個像素 的空洞，稱為"非遮擋空洞"，則使用另外一個視點的信息來填補，因此需區(qū)分開"非遮擋空 洞"和"裂縫"，通過計算一個閾值Λ Zmax來區(qū)分二者：
[0009]

【權利要求】
1. 一種分區(qū)域的3D視頻映射方法，其特征在于具體操作方法為： 第一步：攝取3D視頻兩個相鄰視點的紋理圖和深度圖，攝取的兩個視點分別記為視點V1和視點V3，假設用視點V1和視點V3來合成中間的虛擬視點V2 : 對于3D映射后產生的空洞，應用分類處理：首先，對于尺寸小于等于兩個像素的空洞， 稱為"裂縫"，將利用同一視點中相鄰像素進行插值來填補；而對于尺寸大于兩個像素的空 洞，稱為"非遮擋空洞"，則使用另外一個視點的信息來填補，因此需區(qū)分開"非遮擋空洞"和 "裂縫"，通過計算一個閾值ΛZ_來區(qū)分二者：
如果深度差值大于ΛZmax，則會產生"非遮擋空洞"，否則是"裂縫"，其中，zn_和Zfm是 自然場景與攝像機之間的距離范圍，也可稱為深度范圍，L是兩個視點攝相機之間的距離， 即基線長度，fx是照相機焦距； 第二步：從視點V1或者視點V3中任選取一個視點為主視點，檢測主視點深度圖中的邊 界： 首先計算主視點深度圖中每兩個相鄰像素之間的深度值之差ΛΖ，然后根據AZmax進 行邊界檢測，
d(x，y)代表（x，y)處的深度值，即：如果F(x，y) = 1，則認為相鄰像素（x，y)和（x-1，y)之間有一個左邊界，（x，y)屬于前景，（x-l，y)屬于背景，此時將會在虛擬視點V2中發(fā)生 "遮擋"；如果F(x,y) = -1,認為（x+1,y)和（X,y)之間有一個右邊界，（X,y)屬于前景， (x+1，y)屬于背景，此時會在虛擬視點V2中引起"非遮擋空洞";如果F(x，y)等于0,則相 鄰像素之間沒有邊界； 第三步：對主視點執(zhí)行區(qū)域分割，并逐區(qū)域進行3D映射： 對不同區(qū)域采用不同的處理方法以節(jié)省計算量，首先考慮背景為平面且與成像平面T平行的情況，稍后再進行一般情況的分區(qū)域；假設視點V1被選為主視點，如果視點V3被選為 主視點，方法類似；3D映射過程按照虛擬視點V2所需的區(qū)域"從左到右"順序進行，可分為 六個步驟： 1)求取區(qū)域AB在視點V1中的長度#〇1|^，并跳過此區(qū)域不做3D映射： 由于區(qū)域AB超出了虛擬視點V2的視覺范圍，所以不需要將其在視點V1中的對應區(qū)域 映射到虛擬視點V2中，設氏^^代表區(qū)域ah的長度，同理Hab代表A、B兩點間距離，Za 和Zb分別代表A點、B點的物理深度值， ^ = ^ (3) hABzB 由于虛擬視點V2位于視點V1和視點V3的中點處，所以Hab等于L/2,由于背景是一個平 面，24和4具有相同的長度,所以·^?01可表示為：
其中，Da代表A點在視點V1和虛擬視點V2間的視差，可以通過ai點的深度值dfli計算 得到：
2) 首先利用公式⑶計算左邊界區(qū)域EF在視點V1中的長然后由視點V1中 左邊界點的坐標減去來確定"e/'點的位置，最后將視點V1中的區(qū)域"biei"映射到 虛擬視點V2的"b2e2"區(qū)域，因為
對比（6) (7)兩式可得， HBifl =Dm -DfC8) 其中，DM、Df的求取方法同上述Da ; 3) 求取區(qū)域麗在視點V1中的對應區(qū)域"mini"，將"mini "映射到虛擬視點^中： 現(xiàn)在需要從視點V1的區(qū)域"mini"繪制虛擬視點V2的"e2h2"區(qū)域，由于M對應左邊界， N對應一個右邊界，可以很容易地根據M和N在視點V1中的坐標位置確定區(qū)域"mini"，然后 根據3D映射將此區(qū)域映射到虛擬視點V2中的"e2h2"區(qū)域； 4) 計算區(qū)域HI在視點V3中的長度Α3?3，并將視點V3中區(qū)域"h3i3"映射到虛擬視點 V2中： 因為虛擬視點V2需要的HI區(qū)域在視點V1中被遮擋，因此需要從視點V3中尋找對應的 區(qū)域"h山"，并將其映射到虛擬視點V2的"h2i2"，由三角形相似性得： H (9) 2Zn 因此可得， Hji3 ^ =D|| -〇ι (10) 根據上式計算區(qū)域長度1--，并通過將視點V1中的邊界點"i/'映射到視點V3中來尋 找對應點"i3"，利用點"i3"的坐標減去來確定"h3"的位置，最后將區(qū)域"h3i3"映射 到虛擬視點V2的區(qū)域"h2i2"中，DN、D1的求取方法同上述Da ; 5) 將視點V1的區(qū)域"映射到虛擬視點V2中： 利用主視點V1的區(qū)域"繪制虛擬視點V2的"i2j2"區(qū)域；因為在視點V1中" 緊鄰"mini"，而且J1點是視點V1成像平面T的終點，因此，可通過將區(qū)域?"作為一整個 區(qū)域映射到虛擬視點V2中來完成對區(qū)域"的映射，而不再需要確定"的大??； 6)計算視點V3中區(qū)域"j3k3"的長度％|^，將區(qū)域"j3k3"從視點V3映射到虛擬視點V2 中： 最后，對于虛擬視點V2需要的區(qū)域"j2k2"，由于在主視點V1中不可得，因此需要從視點V3的相應區(qū)域來得到；對此，需要首先確定視點V3中"j3"點位置，通過將點"j/'映射到視 點V3中來得到"j3"點,其次，由于4 =Zk,可以通過下式來計算區(qū)域長度/^3&3，
綜上所述，根據虛擬視點V2所需區(qū)域"從左至右"的順序，通過分區(qū)域映射得到了虛擬 視點V2, 3D映射過程結束； 一般情況的區(qū)域分割：迭代求解法：當背景為非平面時，每個區(qū)域的大小將會改變，例 如視點V1中的邊界無效區(qū)BNER將會從AB變?yōu)锳Bn，因此目的變?yōu)檎业街饕朁cV1中的區(qū)域 #η1的長度，并跳過區(qū)域aibnl，從bnl開始映射，對此，提出一種迭代求解bnl位置的 方法： 首先假設Ai是點A經過第i次迭代所得點，在視點V1的成像平面T中與A點位于同一 位置；然后設點Bi和Ai具有相同的物理深度、但與Ai水平方向距離為L/2 ; 迭代初始條件：i= 〇、=絶4，如公式（4)所示，迭代過程按照以下 步驟重復執(zhí)行： 1) 在視點V1中，使用Ha 確定cn在深度圖中的位置，cn對應場景中的 Ci點，此時可得Ci點的深度值及其視差，即視點V1和虛擬視點V2間視差； 2) 將Ci點的深度值和視差賦給Bi點，通過式⑷計算區(qū)域AiBi的大小，因此 可得： Hatibii =DBi(i=l,2, ···, ?) (12) 當遇到以下兩種情況之一時，迭代過程停止： 1) 當Bi和Bg的深度值之差的絕對值小于ΛZmax/2時，此時這個深度值之差不會造成 映射后的虛擬視點V2中出現(xiàn)大于一個采樣精度的改變，即認為Ci點收斂于Bn ; 2) 最大的迭代次數(shù)小于5次； 在仿真過程中發(fā)現(xiàn)，一般經過一到兩次迭代，Ci點即可收斂于Bn，通過類似的迭代算法 可以得到：

最后，區(qū)域HI在非平坦背景中將變化為區(qū)域HnI，因此需要計算視點V3中對應的區(qū)域 ，由于HnI由區(qū)域HnH和區(qū)域HI組成，馬313可以通過式（10)計算； 設在視點V3中點Qi是點H第i次迭代所得的點，在成像平面T中與點H在同一位置， 因此i4t3h3等于，點Hi和點Qi具有相同的物理深度，由于已知，Qtl的物理深 度可由Zqii= 2?得到,可得：
結合以上兩式，得 HhQ3h3 = ?hmqm =D?^Dl ( 19) 所以1的初始值設為，下一個迭代過程將Hi點的深度值和對應的視差作 為變量： ^hi3H3 = = - Ι?ι(?=1, 2, *··,η) (20) 區(qū)域#?^3的大小可以通過下式計算得到： Hknsi3 =Hhnsh3+Hhah =Dliu^Dm^ID1 (21) 至此，在3D映射前計算區(qū)域大小所必需的未知點，例如Bn、En、Hn和Kn可以根據提出的 迭代方法計算獲得，然后計算區(qū)域的大小并進行分區(qū)域映射。
【文檔編號】H04N13/00GK104270624SQ201410524561
【公開日】2015年1月7日 申請日期:2014年10月8日 優(yōu)先權日:2014年10月8日
【發(fā)明者】王安紅, 邢志偉, 金鑒, 武迎春, 李東紅 申請人:太原科技大學