本發(fā)明屬于自由立體成像以及圖像內(nèi)容處理領(lǐng)域，具體涉及虛擬視點繪制領(lǐng)域的一種基于逆向映射的空洞填補方法。

背景技術(shù)：

隨著3d顯示技術(shù)和交互多媒體系統(tǒng)的發(fā)展，3d視頻技術(shù)在3d電視、自由視點電視、遠程視頻會議、3d視頻監(jiān)控等新技術(shù)中得到了廣泛的應(yīng)用。在3d視頻系統(tǒng)中，mvd(multiviewvideoplusdepth)視頻格式可以利用dibr(depth-image-basedrendering)在解碼終端繪制出所需的視點圖像，從而大大降低了3d視頻系統(tǒng)對存儲容量和傳輸帶寬的要求。雖然dibr技術(shù)在圖像映射和圖像融合方面已經(jīng)非常成熟，然而繪制的虛擬視點中的空洞填補問題，仍然是dibr技術(shù)的一個非常棘手的問題。

空洞產(chǎn)生的主要原因是參考視點中被前景物體遮擋住的背景區(qū)域在虛擬視點中重新變得可見，而這些區(qū)域在原始的參考視點圖像中找不到對應(yīng)的信息，從而導致虛擬視圖中產(chǎn)生較大的空洞；圖像融合消除了虛擬視圖中的大部分空洞，但有些空洞在參考圖像中均位于遮擋區(qū)域，從而無法使用圖像融合方法進行填充。對于這部分空洞通常使用空洞外側(cè)一定范圍內(nèi)的像素作為進行填充，通常所采用的方法有相鄰像素插值法或周圍一定區(qū)域內(nèi)像素加權(quán)填充法。

為了減少虛擬視圖中的空洞，在一些文獻中通過對深度圖進行了低通濾波處理,以平滑深度圖中尖銳的邊緣，盡管這種方法有可能減少或者消除虛擬視圖中空洞區(qū)域，但也使得前景物體的邊界產(chǎn)生幾何失真。目前比較流行的空洞填補方法是criminisi提出的圖像修復(imageinpainting)技術(shù)，該方法利用相鄰像素對空洞區(qū)域進行填補。圖像修復技術(shù)提供了一種利用周圍信息對圖像中的損壞區(qū)域或者指定區(qū)域進行填充的方法。還有一些參考文獻通過采用空洞邊界上的背景像素對空洞區(qū)域進行填充。雖然圖像修復方法和邊界背景填充方法能夠有效的填充大部分的空洞區(qū)域。但是，這兩種方法在進行空洞填補時都需要借助空洞邊界的深度信息，以識別邊界上的背景信息。因此，當空洞邊界上沒有背景信息時，由于缺少有效的背景信息則很難正確的填充空洞。同時，這兩種空洞填補方法本身就是一種對空洞區(qū)域的近似估計，并不是一種精確的空洞填補方法。此外，在進行3dwarping時由于參考視點的深度圖中前景物體與背景之間的深度的不連續(xù)性，在3d映射的過程中會導致將前景像素映射到背景中的現(xiàn)象，從而使得虛擬視圖中出現(xiàn)類似于前景物體輪廓的偽影瑕疵。因此，對于虛擬視點繪制技術(shù)而言，準確地填充空洞是非常有意義且有價值的。

技術(shù)實現(xiàn)要素：

為克服現(xiàn)有技術(shù)的不足，本發(fā)明旨在提出空洞填補方法，實現(xiàn)有效填補空洞。本發(fā)明采用的技術(shù)方案是，基于逆映射的虛擬視點空洞填補方法，步驟如下：

1)首先獲取左、右視點映射的虛擬視圖中的深度值為零的空洞區(qū)域，并對空洞區(qū)域利用形態(tài)學處理的膨脹方法進行處理，經(jīng)過膨脹之后，虛擬視圖中的前景偽影輪廓就變成空洞區(qū)域，進一步利用空洞填補方法進行填充；

2)利用圖像膨脹方法，提取出消除偽影后的左右視點映射的虛擬視圖中的空洞邊界；

3)將左、右視點映射的虛擬視圖中的空洞邊界點利用3dwarping映射技術(shù)分別投影到右、左參考視點中；

4)根據(jù)空洞與提取的邊界點的相對位置，選取參考視圖中的對應(yīng)位置上的像素點填補虛擬視圖中的空洞；

5)重復步驟3)和4)，并利用圖像融合方法將空洞填補后的左右視點映射的虛擬視點圖像進行融合，得到最終的虛擬視點圖像。

其中，步驟1)進一步細化為：首先獲取左、右視點映射的虛擬視圖中的深度值為零的空洞區(qū)域標記，記為holes：

其中，holes為空洞標記圖，(i,j)為像素位置，vird為映射得到虛擬視點的深度圖；

對holes利用形態(tài)學處理的膨脹方法進行處理，得到膨脹后空洞標記矩陣h：

其中s為結(jié)構(gòu)元素，表示利用結(jié)構(gòu)元素s對holes進行膨脹；膨脹之后，空洞區(qū)域擴展了一個像素的寬度，虛擬視圖中的偽影輪廓轉(zhuǎn)變?yōu)榭斩磪^(qū)域的公式為：

其中，vir和vird分別為虛擬視點紋理圖像和深度圖，k＝{1,2,3}當取不同值時分別代表紅、綠、藍三個顏色通道，經(jīng)過轉(zhuǎn)換之后，偽影輪廓就變成了空洞區(qū)域，從而進一步利用空洞填補方法進行填充。

s選為7×7的矩形形狀。

步驟2)進一步細化為：首先3×3的矩形形狀的結(jié)構(gòu)元素對消除偽影后的空洞區(qū)域進行膨脹，然后提取出空洞邊界，邊界的提取公式為：

其中，virb和virdb分別表示映射得到的虛擬視點圖像和深度圖中的邊界，vir和vird分別表示映射得到的虛擬視點圖像和深度圖。

步驟3)進一步細化為，找出virdb中不為0的點即為提取出的邊界點，將左、右視點映射的虛擬視圖中的空洞邊界點分別投影到右、左參考視點中，具體由下列公式實現(xiàn)：

[rc]＝find(virdb≠0),

[un,vn,dn]＝k·r^-1·{r′·k′^-1·[r(n),c(n),1]^t·d(r(n),c(n))+(t′-t)},

其中，r和c分別表示空洞邊界上像素點的行坐標矩陣和列坐標矩陣；find為定義的查找函數(shù)；n表示第n個邊界點；k,r,t分別表示參考視點的內(nèi)參矩陣、旋轉(zhuǎn)矩陣和平移矩陣；k′,r′和t′分別對應(yīng)于虛擬視點的內(nèi)參、旋轉(zhuǎn)和平移矩陣；un,vn,dn分別表示映射后的水平方向的坐標分量，垂直方向的坐標分量以及映射后的深度值，(u,v)為映射后在參考視點中的坐標位置。

步驟4)進一步細化為：選取參考視圖中的對應(yīng)區(qū)域填補虛擬視圖中的空洞。當vird(r(n),c(n)±m(xù))＝0時，有

其中，m表示空洞與當前邊界點坐標(r(n),c(n))在水平方向的相對距離；k＝{1,2,3}當取不同值時分別代表紅、綠、藍三個顏色通道；ref和dep分別表示原始參考視點的紋理圖和深度圖。

本發(fā)明的特點及有益效果是：

本發(fā)明從空洞產(chǎn)生的基本原理出發(fā)，提出了一種基于逆向映射的空洞填補方法。此外為了消除虛擬視圖中的偽影瑕疵，在進行空洞填補之前對空洞進行膨脹處理，將偽影作為空洞區(qū)域進行處理，實現(xiàn)了對空洞的精確填補。該方法可以適用于虛擬視點繪制過程中出現(xiàn)的各種空洞的填補，尤其針對空洞邊界上沒有背景像素的情況下，也能夠正確的填充空洞，避免了將前景像素填充到背景空洞中的誤填現(xiàn)象的發(fā)生。

附圖說明：

圖1給出了由遮擋引起的空洞示意圖。其中，(a)左視點圖像(b)右視點圖像(c)左視點映射的虛擬視點圖像(d)右視點映射的虛擬視點圖像

圖2給出了利用逆映射方法填充空洞的示意圖：(a)左視點映射的虛擬視圖的空洞區(qū)域輪廓圖；(b)右視點映射的虛擬視圖的空洞區(qū)域的輪廓圖；(c)空洞填補之后的左視點映射的虛擬視圖；(d)空洞填補之后的右視點映射的虛擬視圖。

圖3給出了ballet序列第53幀對比結(jié)果：(a)利用鄰域插值法進行空洞填補獲得的虛擬視點圖像；(b)利用邊界背景填充法獲得的虛擬視點圖像；(c)利用基于逆映射的空洞填補方法獲得的虛擬視點圖像。

圖4給出了breakdancers序列第12幀對比結(jié)果：(a)利用鄰域插值法進行空洞填補獲得的虛擬視點圖像；(b)利用邊界背景填充法獲得的虛擬視點圖像；(c)利用基于逆映射的空洞填補方法獲得的虛擬視點圖像。

圖5給出了不同測試序列的psnr曲線對比結(jié)果：(a)ballet測試序列；(b)breakdancers測試序列；(c)bookarrvial測試序列；(d)balloons測試序列。

圖6是技術(shù)方案的流程圖。

具體實施方式

本發(fā)明的目的是依據(jù)一個參考視點中的遮擋區(qū)域在另一個參考視點中變得可見的原理，利用3dwarping將虛擬視圖中的空洞邊界逆映射到原始參考視點圖像中，并利用參考圖像中相對位置上的像素填充虛擬視圖中的空洞區(qū)域，以達到有效填補空洞的目的。

由于遮擋問題的存在，導致繪制的虛擬視點圖像中出現(xiàn)空洞區(qū)域，如果空洞區(qū)域沒有得到有效的填充則會嚴重影響繪制的虛擬視點的質(zhì)量。因此，有效的填充空洞，對于繪制高質(zhì)量的虛擬視點圖像至關(guān)重要。在進行空洞填補時，由先驗知識可得左視點被前景遮擋的背景區(qū)域如圖1(a)中的前景區(qū)域中折線框部分，映射到虛擬視圖會變成如圖1(c)所示的空洞區(qū)域；而圖1(b)中的前景區(qū)域中折線框部分，映射后會變成圖1(d)所示的空洞區(qū)域。由圖1可得，左視點映射的虛擬視圖中的空洞區(qū)域在右視點中位于可見區(qū)域，同樣右視點映射的空洞區(qū)域，在左視點也是可見的，如圖1(a)和1(b)中背景區(qū)域中的折線框部分所示。因此，可以利用逆映射的方法在參考視點中尋找有效信息進行空洞填補。為了有效的進行空洞填補，本發(fā)明依據(jù)公共空洞的特殊性以及圖像映射的基本原理，實現(xiàn)空洞填補的目的，具體的技術(shù)方案分為下列步驟：

1：首先獲取左、右視點映射的虛擬視圖中的深度值為零的空洞區(qū)域，并對空洞區(qū)域利用形態(tài)學處理的膨脹方法進行處理。經(jīng)過膨脹之后，虛擬視圖中的前景偽影輪廓就變成了空洞區(qū)域，可以進一步利用空洞填補方法進行填充。

2：利用圖像膨脹方法，提取出消除偽影后的左右視點映射的虛擬視圖中的空洞邊界。

3：將左、右視點映射的虛擬視圖中的空洞邊界點利用3dwarping映射技術(shù)分別投影到右、左參考視點中。

4：根據(jù)空洞與提取的邊界點的相對位置，選取參考視圖中的對應(yīng)位置上的像素點填補虛擬視圖中的空洞。

5：重復步驟3和4，并利用圖像融合方法將步驟4中獲得空洞填補后的左右視點映射的虛擬視點圖像進行融合，得到最終的虛擬視點圖像。

下面具體說明本專利提出的基于逆向映射的虛擬視點空洞填補方法的實施過程。

1：首先獲取左、右視點映射的虛擬視圖中的深度值為零的空洞區(qū)域標記，記為holes：

其中，holes為空洞標記圖，(i,j)為像素位置，vird為映射得到虛擬視點的深度圖；

對holes利用形態(tài)學處理的膨脹方法進行處理，得到膨脹后空洞標記矩陣h：

其中s為結(jié)構(gòu)元素且選為7×7的矩形形狀，表示利用結(jié)構(gòu)元素s對holes進行膨脹；膨脹之后，空洞區(qū)域擴展了一個像素的寬度，虛擬視圖中的偽影輪廓轉(zhuǎn)變?yōu)榭斩磪^(qū)域的公式為：

其中，vir和vird分別為虛擬視點紋理圖像和深度圖，k＝{1,2,3}當取不同值時分別代表紅、綠、藍三個顏色通道，經(jīng)過轉(zhuǎn)換之后，偽影輪廓就變成了空洞區(qū)域，從而進一步利用空洞填補方法進行填充。

2：首先3×3的矩形形狀的結(jié)構(gòu)元素對消除偽影后的空洞區(qū)域進行膨脹，這里，步驟1與步驟2中都進行了膨脹，也就是說進行了了兩次膨脹。然后提取出空洞邊界，邊界的提取公式為：

其中，virb和virdb分別表示映射得到的虛擬視點圖像和深度圖中的邊界，vir和vird分別表示映射得到的虛擬視點圖像和深度圖，提取出的空洞邊界如圖2(a)和2(b)所示。

3:找出virdb中不為0的點即為提取出的邊界點，將左、右視點映射的虛擬視圖中的空洞邊界點分別投影到右、左參考視點中，具體由下列公式實現(xiàn)：

[rc]＝find(virdb≠0),

[un,vn,dn]＝k·r^-1·{r′·k′^-1·[r(n),c(n),1]^t·d(r(n),c(n))+(t′-t)},

其中，r和c分別表示空洞邊界上像素點的行坐標矩陣和列坐標矩陣；find為定義的查找函數(shù)；n表示第n個邊界點；k,r,t分別表示參考視點的內(nèi)參矩陣、旋轉(zhuǎn)矩陣和平移矩陣；k′,r′和t′分別對應(yīng)于虛擬視點的內(nèi)參、旋轉(zhuǎn)和平移矩陣；un,vn,dn分別表示映射后的水平方向的坐標分量，垂直方向的坐標分量以及映射后的深度值，(u,v)為映射后在參考視點中的坐標位置。

4:選取參考視圖中的對應(yīng)區(qū)域填補虛擬視圖中的空洞。當vird(r(n),c(n)±m(xù))＝0時，有

其中，m表示空洞與當前邊界點坐標(r(n),c(n))在水平方向的相對距離；k＝{1,2,3}當取不同值時分別代表紅、綠、藍三個顏色通道；ref和dep分別表示原始參考視點的紋理圖和深度圖。

5：重復步驟3和4，直到n＝length(r)為止，其中l(wèi)ength為求一維矩陣元素個數(shù)的函數(shù)，得到經(jīng)過空洞填補之后的左右視點映射的虛擬視圖，如圖2(c)和(d)所示。最后，融合空洞填補后的左右視點映射的虛擬視點圖像，得到最終的虛擬視點圖像。

下面結(jié)合附圖說明實驗效果：

為使本發(fā)明的效果具有可比性，我們分別采用了ballet和breakdancers中的view3和view5進行實驗驗證。

從圖3-4的對比圖中可以看出利用鄰域填充法以及邊界背景填充法，雖然能夠填充空洞區(qū)域，但會存在誤填的現(xiàn)象。例如，圖3中的放大區(qū)域所示，手和胳膊之間的空洞區(qū)域由于空洞的周圍均為前景像素，從而導致利用鄰域填充法和邊界背景填充方法時會將前景區(qū)域填充到背景空洞上的現(xiàn)象。圖4中的圖像邊界區(qū)域的空洞，這種空洞是最難填的一種空洞，利用鄰域填充法進行填充時，會使得空洞區(qū)域的填充比較突兀不自然，而利用邊界背景方法進行填充時，又會使得背景像素填充到了前景區(qū)域上，從而造成失真。而利用參考圖像中的相對區(qū)域進行空洞填補，可以有效防止上述問題的出現(xiàn)。

圖5給出了不同測試序列的psnr曲線對比結(jié)果，通過psnr曲線可得，通過與領(lǐng)域插值法和邊界背景填充法相比，具有一定的優(yōu)勢，雖然在ballet序列和bookarrival序列的對比中，psnr在一些圖像幀的對比結(jié)果低于邊界背景填充法，但是該發(fā)明中所設(shè)計的逆向映射空洞填補方法針對惡劣空洞的填補是十分有效的，對于整體的平均psnr值也有一定的提高。