專利名稱：一種合成虛擬視點圖像的新方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于立體圖像和對應(yīng)的視差圖進行虛擬視點圖像合成的新方法，具體來說，涉及一種能夠在視差圖不準確的情況下，依然得到高質(zhì)量虛擬視點圖像的新方法。
背景技術(shù)：
虛擬視點圖像的合成方法是立體顯示中的關(guān)鍵技術(shù)之一，是指通過兩個或者兩個以上同一場景的立體圖像，來合成其他視角的虛擬視點圖像的方法。隨著三維立體顯示技術(shù)突飛猛進地發(fā)展，越來越多的3D元素融入到了日常生活之中。與以往2D平面顯示方式相·t匕，立體顯示技術(shù)往往能給觀看者帶來身臨其境的視覺感受和體驗，因而也備受人們喜愛?！鹘y(tǒng)的立體顯示系統(tǒng)中一般有兩個視圖，分別稱為左視圖和右視圖，通過特定的顯示方式，如佩戴立體眼鏡，使觀眾的左右眼分別觀看到不同視角的二幅圖像，就能在大腦中融合并產(chǎn)生立體感。然而，為了適應(yīng)不同尺寸的屏幕以及對視差調(diào)整以滿足舒適感要求等原因，往往需要對輸入的左右視圖進行處理，生成新的虛擬視點圖像進行顯示。此外，自由視角電視技術(shù)中，虛擬視點合成也是一項關(guān)鍵技術(shù)，它允許觀眾自由地選取三維場景中的任意視點進行觀看。通常地，視點合成方法可以歸結(jié)為三類不依靠幾何結(jié)構(gòu)的繪制、依靠部分幾何結(jié)構(gòu)的繪制和完全依靠幾何結(jié)構(gòu)的繪制。由于第三種方法能夠?qū)⒖家晥D縮減為最少(為左視圖和右視圖)，因此具有較廣的適用性。在進行視點合成時，視差圖的質(zhì)量十分關(guān)鍵，盡管目前已經(jīng)提出了許多立體匹配方法，但精確地估計出立體圖像的視差圖依然是一項十分困難的任務(wù)，視差圖中的錯誤點會導(dǎo)致合成的虛擬視點圖像中包含許多錯誤區(qū)域，如錯誤的邊緣、色塊和空洞點等。另一方面，由于視點的變換也會使得原先在左右視圖中被遮擋的區(qū)域變得可見，如果不正確地對這些只在新視點圖像中可見的區(qū)域進行可靠填充，將會影響合成的虛擬視點圖像的質(zhì)量。常用的處理方法是對視差圖進行預(yù)處理，如用平滑濾波來減小虛擬視點圖像上的瑕疵和空洞區(qū)域，然后采用圖像修復(fù)、插值等方法來填補剩余空洞。但這樣的方法很難得到滿意的結(jié)果，常常造成新視點圖像中物體的幾何失真。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足，提供了一種合成虛擬視點圖像的新方法，通過本發(fā)明所述的新方法，在視差圖質(zhì)量較差的情況下仍舊能夠合成高質(zhì)量的虛擬視點圖像。本發(fā)明的目的是通過以下技術(shù)方案來實現(xiàn)的一種合成虛擬視點圖像的新方法，該方法包括以下步驟(I)生成初始虛擬視點圖像輸入立體圖像的左右視圖和左右視差圖，按照視角調(diào)整的要求，通過雙向投影方法生成初始虛擬視點圖像；
(2)瑕疵檢測對初始虛擬視點圖像進行瑕疵檢測，檢測出其中的錯誤區(qū)域和空洞區(qū)域，統(tǒng)一標記為待填充區(qū)域；(3)分層次空洞填補對標記出的待填充區(qū)域進行分層次空洞填補，得到高質(zhì)量的虛擬視點圖像。本發(fā)明的有益效果是傳統(tǒng)的虛擬視點合成方法對輸入的視差圖的精度有較高的要求，如果視差圖不準確，則生成的虛擬視點圖像會包含很多瑕疵區(qū)域。本發(fā)明通過初始虛擬視點圖像生成、瑕疵檢測和分層次空洞填補三個主要步驟，即使在輸入視差圖包含許多錯誤的情況下仍舊能夠得到高質(zhì)量的虛擬視點圖像，從而有效降低虛擬視點合成方法對高精度視差圖的依賴性。


圖I為本發(fā)明方法的流程圖；
圖2為本發(fā)明方法中生成初始虛擬視點圖像的雙向投影方法示意圖；圖3為本發(fā)明方法中修復(fù)P點時所構(gòu)成的9個搜索塊示意圖。
具體實施例方式下面結(jié)合附圖和具體實施方式
對本發(fā)明作進一步詳細描述，本發(fā)明的目的和效果將變得更加明顯。圖I給出了依照本發(fā)明進行虛擬視點合成的方法流程圖。本發(fā)明所述的虛擬視點合成方法是針對立體圖像進行，且所處理立體圖像應(yīng)是已經(jīng)經(jīng)過了外極線校正的，這樣外極線與圖像的行掃描線重合，即對于立體圖像左右視圖的匹配像素而言，它們的縱坐標是相同的，或者說匹配像素點位于左右視圖的同一行。輸入立體圖像的左右視圖以及對應(yīng)的左右視差圖，按照視點調(diào)整的要求，通過本發(fā)明所述方法可以得到在新視角下的虛擬視點圖像，也可以將本方法用于立體視頻的每一幀，得到在新視角下的虛擬視點立體視頻。如圖I所示，在步驟101中，輸入立體圖像的左右視圖和左右視差圖，按照視點調(diào)整的要求，通過雙向投影方法生成初始虛擬視點圖像。如圖2所示，在輸入的立體圖像的左視圖中有一點Py該點的橫坐標為Xy由左視差圖得到該點的視差值為4。根據(jù)視差的計算關(guān)系，可知&點在右視圖中的匹配點Pk的橫坐標為=相對應(yīng)的，對于在右視圖中的ρκ點而言，它在左視圖中的匹配點也為點Pu它的視差值dK也應(yīng)等于4。對于合成的虛擬視點圖像中的像素點PintOT，它的橫坐標為xintCT，可由左視圖中的某點九根據(jù)某種視差變換關(guān)系投影而來，即表示為dinte=f⑷，其中dinte為Pinto點的視差值，f(*)為視差變換函數(shù)。不失一般性，f(*)函數(shù)可以線性變換來表示，如c^intea=SXdddtjffsrt,其中s為一個比例因子,(Itxffsrt則是一個固定的偏差。由于左右視圖的對應(yīng)點通過視差圖互相聯(lián)系，因此像素點PintCT同樣可以由右視圖中的某點Pk根據(jù)某種視差變換關(guān)系投影而來，表示為dinte=f’(dK)，式中f’(·)為與f(·)相對應(yīng)的另一視差變換函數(shù)當給定視差變換函數(shù)的具體形式后，我們可以確定合成的虛擬視點圖像中的像素和輸入的左右視圖像素之間的對應(yīng)關(guān)系，就可以通過投影得到在新視角下的初始虛擬視點圖像。為了生成初始虛擬視點圖像，本發(fā)明采用雙向投影方法，包含以下步驟( I)生成一幅空白的初始虛擬視點圖像。( 2 )對初始虛擬視點圖像進行按行遍歷，逐點進行賦值初始虛擬視點圖像中的像素點Pinto，其橫坐標記為Xinte。為了確定該點的像素值，分別對輸入的左視圖和右視圖中與Pinte位于同一行，且距離Pinte在最大視差范圍內(nèi)進行搜索，尋找所有可能投影到Pinte的像素點，其中最大視差指的是左右視差圖中最大的視差。如果左視圖上的搜索點滿足
IXinter-(xL_f (dL)) I〈thre 及右視圖上的搜索點滿足| Xinter-(xE+f' (dE)) |〈thre 時，將這些點標記為候選的投影點，從而形成候選投影點集合。上述公式中，thre為預(yù)設(shè)的閾值。 (3)在所有的候選投影點集合中選擇對應(yīng)的視差值最大的點作為最佳的投影點，因為擁有最大視差值的點是前景點，前景點將遮擋背景點；(4)當最佳投影點的坐標為非整數(shù)像素時，則將線性插值后得到的像素值賦給初始虛擬視點圖像中的像素點PintOT。由于立體匹配的困難性，輸入的左右視差圖中通常會包含很多錯誤的視差值，使用這些錯誤視差值得到的初始虛擬視點圖像中會包含很多錯誤區(qū)域。另一方面，當視角變化后，有些原本在左右視圖中不可見的遮擋區(qū)域在合成的虛擬視點圖像中會變得可見，從而形成了空洞區(qū)域。為了將這些錯誤的投影點檢測出來，如圖I所示，在步驟102中，對初始虛擬視點圖像進行瑕疵檢測，檢測出錯誤區(qū)域和空洞區(qū)域，統(tǒng)一標記為待填充區(qū)域。本發(fā)明的瑕疵檢測方法可參考文獻Andrew, J. , Woods, NicolasS. , Holliman, Neil A. ,Dodgson. !Adapting stereoscopic movies to the viewingconditions usingdepth-preserving and artifact-free novel view synthesis.In:Stereoscopic Displaysand Applications. San Francisco，California(2011)。如圖I所示，在步驟103中，對初始虛擬視點圖像中標記出的待填充區(qū)域進行分層次空洞填補，得到高質(zhì)量的虛擬視點圖像，具體包括以下步驟(I)對初始虛擬視點圖像、左視圖和右視圖分別進行降采樣，建立各圖像的N層降采樣圖像金字塔{MN，MN_i，…，M2, MJ，N為自然數(shù)，Mi (i = 1,2,…N-1，N)表示圖像金字塔中第i層的圖像，其中最底層^,層)與原圖具有同樣的尺寸，Mp1層圖像從％層通過降采樣得到。通過降采樣，初始虛擬視點圖像所對應(yīng)的圖像金字塔中的待填充區(qū)域?qū)⒉粩鄿p小，圖像金字塔的層數(shù)確定以最頂層金字塔圖像中的待填充區(qū)域變得足夠小為準。(2)自頂向下(M1) M2—…)開始對初始虛擬視點圖像中標記出的待填充區(qū)域逐點做基于塊搜索的空洞修復(fù)處理，填充修復(fù)后將此點標記為已知點。(3)向低一層金字塔圖像傳遞修補結(jié)果；(4)重復(fù)步驟(2)、(3)直至處理完Mn得到完整修復(fù)后的虛擬視點圖像。在修補每一層金字塔圖像時，對待填充區(qū)域中的每個空洞點P，以像素點P和其八鄰域像素中第i個鄰域像素為中心的窗口為一個搜索塊，由此可以構(gòu)成共9個搜索塊，如圖3所示。對于每個搜索塊，在左右視圖的同一層金字塔圖像的同一行上搜索與巧的最佳匹配塊，標記為g，即<=爭^1{咐,;)};
Vp^上式中，Φ表示左右視圖的同一層金字塔圖像中在最大視差搜索范圍內(nèi)所有的搜索窗口集合。表示搜索窗口G和丨％之間的非相似性度量，可以取傳統(tǒng)的SSD或者SAD度量?！ぴ谟嬎惴窍嗨菩远攘繒r如果％包含待填充像素，則不能將這些像素計算在內(nèi)，并統(tǒng)計窗口^中待填充像素所占的比例，記為Dit5若巧包含的待填充像素所占的比例Di> η(η為某一預(yù)設(shè)的閾值)，則放棄此窗口的搜索，并將此亍 為無效。通過圖像金字塔的降采樣過程必然會使待填充區(qū)域逐漸變小，因此必定可以在某個尺度下讓P點有足夠的搜索 窗P。為確定待填充區(qū)域中的點P的像素值C，我們可以將所有有效的巧所對應(yīng)的最佳匹配塊G中的對應(yīng)位置的像素值Ci取出，通過加權(quán)平均得到
Y Wi-ClC = ^-.
Σ,μ ’上式中，Wi表示某一有效搜索塊^所對應(yīng)的權(quán)值，它由下式確定Wi=(I-Di) · Si ；其中，Si用來評仏與其最佳匹配塊》Z間的相似程度，可用下式計算
d(V；K)\ 2 '
Si =e 2(7 ；其中，σ為某一預(yù)設(shè)參數(shù)，表示最佳匹配塊<和％之間的非相似性度量，可以取傳統(tǒng)的SSD或者SAD度量。上述實施例用來解釋說明本發(fā)明，而不是對本發(fā)明進行限制，在本發(fā)明的精神和權(quán)利要求的保護范圍內(nèi)，對本發(fā)明作出的任何修改和改變，都落入本發(fā)明的保護范圍。
權(quán)利要求
1.一種合成虛擬視點圖像的新方法，其特征在于，該方法包括以下步驟 (1)生成初始虛擬視點圖像輸入立體圖像的左右視圖和左右視差圖，按照視角調(diào)整的要求，通過雙向投影方法生成初始虛擬視點圖像； (2)瑕疵檢測對初始虛擬視點圖像進行瑕疵檢測，檢測出其中的錯誤區(qū)域和空洞區(qū)域，統(tǒng)一標記為待填充區(qū)域； (3)分層次空洞填補對標記出的待填充區(qū)域進行分層次空洞填補，得到高質(zhì)量的虛擬視點圖像。
2.根據(jù)權(quán)利要求I所述的一種合成虛擬視點圖像的新方法，其特征在于，所述的步驟I中，所述通過雙向投影方法生成初始虛擬視點圖像具體包括以下子步驟 (I. O生成一幅空白的初始虛擬視點圖像； (I. 2)對初始虛擬視點圖像進行按行遍歷，逐點進行賦值對初始虛擬視點圖像中任一像素點Pinto，其橫坐標記為xintOT ;為了確定該點的像素值，分別對輸入的左視圖和右視圖中與Pinte位于同一行，且距離Pinter在最大視差范圍內(nèi)進行搜索，尋找所有可能投影到Pinte的像素點，其中最大視差指的是左右視差圖中最大的視差值；如果左視圖上的搜索點滿足Xinter- (xL_f (dL)) I〈thre 且右視圖上的搜索點滿足 I Xinter- (xE+f' (dE)) I〈thre 時,將這些點標記為候選的投影點，從而形成候選投影點集合；上述公式中，thre為預(yù)設(shè)的閾值，xL為左視圖上某點的橫坐標，dL為該點對應(yīng)的視差值，xK與dK同理，函數(shù)f ( ·)與f’( ·)為視差變換函數(shù)； (I. 3)在所有的候選投影點集合中選擇對應(yīng)的視差值最大的點作為最佳的投影點，因為擁有最大視差值的點是前景點，前景點將遮擋背景點； (I. 4)當最佳投影點的坐標為非整數(shù)像素時，則將線性插值后得到的像素值賦給初始虛擬視點圖像中的像素點PintOT。
3.根據(jù)權(quán)利要求I所述的一種合成虛擬視點圖像的新方法，其特征在于，所述步驟3具體包括以下步驟 (3. I)對初始虛擬視點圖像、左視圖和右視圖分別進行降采樣，建立各圖像的N層降采樣圖像金字塔{MN，MN_i，…，M2, MJ，N為自然數(shù)，Mi (i = 1,2,…N-1，N)表示圖像金字塔中第i層的圖像，其中最底層(Mn層)與原圖具有同樣的尺寸，Mp1層圖像從Mi層通過降采樣得到；通過降采樣，初始虛擬視點圖像所對應(yīng)的圖像金字塔中的待填充區(qū)域?qū)⒉粩鄿p小，圖像金字塔的層數(shù)確定以最頂層金字塔圖像中的待填充區(qū)域變得足夠小為準； (3.2)自頂向下(M1) M2—…)開始對初始虛擬視點圖像中標記出的待填充區(qū)域逐點做基于塊搜索的空洞修復(fù)處理，填充修復(fù)后將此點標記為已知點； (3. 3)向低一層金字塔圖像傳遞修補結(jié)果； (3. 4)重復(fù)步驟(3. 2)、(3. 3)直至處理完Mn得到完整修復(fù)后的虛擬視點圖像。
4.根據(jù)權(quán)利要求3所述的一種合成虛擬視點圖像的新方法，其特征在于，所述步驟(3. 2)的基于塊搜索的空洞修復(fù)處理，具體方法如下 (3. 2. I)對于待修復(fù)“待填充區(qū)域”中的每個待填充像素點P，以像素點P和其八鄰域像素中第i個鄰域像素為中心的窗口％為一個搜索塊，由此可以構(gòu)成共9個搜索塊。
(3. 2. 2)對于每個搜索塊，在同一層圖像金字塔的左右視圖的同一行上搜索與巧的最佳匹配塊，標記為G。
( 3. 2. 3)將搜索得到的所有有效％的最佳匹配塊中對應(yīng)位置像素進行加權(quán)平均，得到待修復(fù)空洞像素點的像素值。
全文摘要
本發(fā)明公開了一種合成虛擬視點圖像的新方法，該方法首先通過雙向投影生成初始虛擬視點圖像，然后檢測初始虛擬視點圖像上的瑕疵區(qū)域，將這些區(qū)域統(tǒng)一標記成待填充區(qū)域；對于待填充區(qū)域，通過基于塊搜索的分層次空洞填補算法進行填充，最終獲得高質(zhì)量的虛擬視點圖像；本發(fā)明在視差圖質(zhì)量較差的情況下仍能夠得到高質(zhì)量的虛擬視點圖像，從而有效降低虛擬視點合成方法對視差圖精度的依賴性。
文檔編號H04N13/04GK102892021SQ20121038976
公開日2013年1月23日 申請日期2012年10月15日 優(yōu)先權(quán)日2012年10月15日
發(fā)明者杜歆, 葉剛, 朱云芳 申請人:浙江大學