針對虛擬視點圖像的帶方向fmm圖像修復方法
【技術領域】
[0001]本發(fā)明屬于空洞圖像修復領域，涉及一種針對虛擬視點圖像的帶方向FMM圖像修復方法，特別是針對基于深度圖的虛擬視點繪制后得到的帶空洞圖像。
【背景技術】
[0002]隨著由于3D技術的發(fā)展以及3D硬件設備的逐漸增強，人們對于3D產(chǎn)品的需求日益增大。這使得2D轉3D技術得以發(fā)展，同時也使基于模型的繪制技術(Model BasedRendering，MBR)和基于圖像的繪制技術(Image Based Rendering，I BR)成為虛擬視點合成的關鍵技術。由于基于圖像的繪制技術具有繪制速度快、帶寬需求小的特點，它逐漸成為主流。其中基于深度圖的虛擬視點繪制(Depth Image Based Rendering,DIBR)使用較為廣泛。而對于DIBR技術繪制的新視點圖像，會存在一系列可見性問題、重采樣問題和空洞問題。
[0003]在新的虛擬視點圖像中，往往會出現(xiàn)一些大小不一的空洞。空洞產(chǎn)生的原因是那些在原視點圖像中被遮擋的像素點在新的虛擬視點圖像中變成可見。空洞問題是DIBR中最重要的問題，同時也是最難解決的問題。一般可以通過對深度圖進行預處理、利用多個參考視點來繪制虛擬視點和對空洞采用一系列算法進行填補來解決。針對一些只有一兩個像素寬的細小裂縫型的空洞，往往使用圖像修復算法就能取得較好的效果。而由于前景區(qū)域和背景區(qū)域的深度信息相差較大，會導致新虛擬視點中前景區(qū)域偏移的距離較大，產(chǎn)生較大的空洞。對于這種空洞，使用Telea在2004年提出的快速行進算法(Fast MarchingMethod, FMM)進行空洞修復，會導致圖像前景區(qū)域邊緣信息的模糊化。
[0004]圖1為FMM算法的修復方向，其原理是先修復空洞邊界上的區(qū)域，再層層遞進，將整個空洞修復完。它將空洞區(qū)域周邊所有的非空洞像素點的值都根據(jù)權值函數(shù)利用起來，計算空洞區(qū)域的像素值。這就會把前景區(qū)域的像素值，按一定的權值比例，傳遞給空洞區(qū)域。從而導致空洞區(qū)域受到前景區(qū)域像素的影響。

【發(fā)明內(nèi)容】

[0005]本發(fā)明針對DIBR后的新虛擬視點圖像，提供了一種帶方向的快速行進圖像修復方法。
[0006]本發(fā)明解決其技術問題所采用的技術方案如下:
本發(fā)明在不改變傳統(tǒng)快速行進算法原理的基礎上，改變其修復方向來達到修復目的。
[0007]具體，針對右虛擬視點圖像，空洞區(qū)域從右往左修復；針對左虛擬視點圖像，空洞區(qū)域從左往右修復。最先修復的是邊緣像素點，每個邊緣像素點，需要采樣固定鄰域內(nèi)的所有已知像素點。該鄰域內(nèi)的所有已知像素點應都是背景像素點，而這些像素點會對該邊緣像素點產(chǎn)生一定影響。而該鄰域內(nèi)的已知像素點對要修復的像素點產(chǎn)生的影響是各不相同的。影響程度由到空洞像素點的距離、到空洞邊緣線的距離等因素組成的權值函數(shù)來確定。大致原理同傳統(tǒng)快速行進算法。
[0008]再次，使用改進的膨脹核對空洞區(qū)域進行T形膨脹和矩形膨脹，獲得單側的邊界，從邊界開始按特定方向進行修復。
[0009]最后得到修復完成的新視點圖像。
[0010]本發(fā)明有益效果:相比于傳統(tǒng)快速行進圖像修復算法在修復較大空洞時，會造成前景區(qū)域邊緣模糊化。本發(fā)明在處理虛擬視點繪制后的空洞圖像時，能較好地保持前景邊緣信息的完整。
【附圖說明】
[0011 ] 圖1為FMM算法的修復方向圖；
圖2為繪制的右虛擬視點圖像；
圖3為傳統(tǒng)快速行進算法中的一對膨脹核；
圖4為本發(fā)明實施例中的一對膨脹核；
圖5為本發(fā)明實施例中的另一對膨脹核。
【具體實施方式】
[0012]以下結合附圖對本發(fā)明作進一步說明
針對DIBR后的新虛擬視點圖像前景周圍會產(chǎn)生較大的空洞。而這些空洞應盡量采用背景區(qū)域的像素值來填充。因此會產(chǎn)生兩種情況:對于繪制的左虛擬視點圖像，前景區(qū)域向右側偏移，空洞產(chǎn)生于前景區(qū)域的左側，此時采樣空洞左側的背景區(qū)域像素值來填充空洞區(qū)域。右虛擬視點圖像則相反。
[0013]如圖2為繪制的右虛擬視點圖像，圖示陰影的空洞區(qū)域應該使用空洞右側的背景像素來填充。這樣可以在無多個參考視點或其他條件不具備的情況下，僅使用圖像修復算法，對修復較大的空洞區(qū)域有較好的效果。
[0014]本實施例的具體實施如下:
步驟1.針對右虛擬視點圖像的空洞mask圖，使用圖4所示的膨脹核代替?zhèn)鹘y(tǒng)快速行進算法如圖3的膨脹核，分別進行T形膨脹和矩形膨脹。T形膨脹后，減去空洞mask區(qū)域，得到空洞邊緣的窄邊，該窄邊在空洞的右側。矩形膨脹后，減去空洞mask區(qū)域，得到空洞右側邊緣的較大區(qū)域。該區(qū)域中的像素點會對空洞區(qū)域產(chǎn)生影響。因此，將該區(qū)域中的像素點到空洞邊緣的距離求出，并存于數(shù)組中。
[0015]步驟2.從步驟I中得到的窄邊開始，依次取出窄邊中的像素點。此時取出的像素點是已知像素點。這時對已知像素點的左側，上側，下側三個方向的像素點進行判斷。若存在空洞點，則進行帶方向的修復。
[0016]步驟3.以空洞像素點為圓心，以一定像素距離(一般取三個像素點)為半徑獲得用于修復該空洞像素的圓。在右半圓中所有已知像素點通過權值函數(shù)得到空洞點的像素值，最終對空洞進行修復。
[0017]若是左虛擬視點圖像，則利用圖5所示的膨脹核代替步驟I中圖4所示的膨脹核，并在步驟2和3中，將所有的右操作改成左即可，若是彩色圖，則分別處理三個通道。
【主權項】
1.針對虛擬視點圖像的帶方向FMM圖像修復方法，其特征在于該方法包括以下步驟: 針對右虛擬視點圖像，其圖像修復具體是: 步驟1.針對右虛擬視點圖像的空洞mask圖，使用兩種膨脹核分別進行膨脹；其中第一種膨脹核為第一 T形膨脹核，第二種膨脹核為第一矩形膨脹核；T形膨脹后，減去空洞mask區(qū)域，得到空洞邊緣的窄邊，該窄邊在空洞的右側；矩形膨脹后，減去空洞mask區(qū)域，得到空洞右側邊緣的較大區(qū)域；記錄該區(qū)域中的像素點到空洞邊緣的距離； 步驟2.依次取出所述窄邊中的像素點，對像素點的左側，上側，下側三個方向的像素點進行判斷；若存在空洞點，則進行帶方向的修復； 步驟3.以空洞像素點為圓心，以設定像素距離為半徑獲得用于修復該空洞像素的圓；在右半圓中所有已知像素點通過權值函數(shù)得到空洞點的像素值，最終對空洞進行修復；針對左虛擬視點圖像，其圖像修復具體是: 步驟4.針對左虛擬視點圖像的空洞mask圖，使用兩種膨脹核分別進行膨脹；其中第一種膨脹核為第二 T形膨脹核，第二種膨脹核為第二矩形膨脹核；T形膨脹后，減去空洞mask區(qū)域，得到空洞邊緣的窄邊，該窄邊在空洞的左側；矩形膨脹后，減去空洞mask區(qū)域，得到空洞左側邊緣的較大區(qū)域；記錄該區(qū)域中的像素點到空洞邊緣的距離； 步驟5.依次取出所述窄邊中的像素點，對像素點的左側，上側，下側三個方向的像素點進行判斷；若存在空洞點，則進行帶方向的修復； 步驟6.以空洞像素點為圓心，以設定像素距離為半徑獲得用于修復該空洞像素的圓；在左半圓中所有已知像素點通過權值函數(shù)得到空洞點的像素值，最終對空洞進行修復。
【專利摘要】本發(fā)明公開了一種針對虛擬視點圖像的帶方向FMM圖像修復方法。本發(fā)明針對基于深度圖的虛擬視點繪制后的新視點圖像，利用帶方向的快速行進算法進行圖像修復，得到前景邊緣較為清晰的新視點圖像。針對左虛擬視點圖像，從左向右修復空洞；右視點圖像，從右向左修復空洞。本發(fā)明首先兩種膨脹核，對空洞標記mask圖進行類似的T形膨脹和矩形膨脹并減去原mask圖，以獲得單側的窄邊和寬邊；然后將單側的寬邊中的所有像素點到空洞邊緣的距離求出；最后從窄邊開始，按特定方向進行圖像修復。從而達到與傳統(tǒng)快速行進算法不同的，能較好修復稍大空洞的效果。與傳統(tǒng)快速行進算法相比，本發(fā)明能更好地保持前景邊緣信息。
【IPC分類】H04N13/00
【公開號】CN105141936
【申請?zhí)枴緾N201510324837
【發(fā)明人】楊柏林, 王聰聰
【申請人】浙江工商大學
【公開日】2015年12月9日
【申請日】2015年6月15日