專利名稱：虛擬視點繪制方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理及立體成像領(lǐng)域，涉及一種基于深度的虛擬視點繪制方法。
背景技術(shù)：
傳統(tǒng)的平面視頻以平面圖像來描述三維場景，已不能滿足人們對立體感的要求。 與傳統(tǒng)的平面視頻相比立體視頻具有更直觀的視覺表達效果，它可以使人們感受到真切的深度感和沉浸感。虛擬視點繪制技術(shù)指通過兩個或多個攝像機視點所得到的同一場景的視頻圖像，生成其他各個攝像機視點該場景視頻圖像的過程，是實現(xiàn)自由立體電視和自由視點電視等立體視頻應(yīng)用的關(guān)鍵技術(shù)之一。虛擬視點繪制技術(shù)主要包括基于模型的繪制(Model Based Rendering,MBR)和基于圖像的繪制(Image Based Rendering, IBR)。傳統(tǒng)的基于模型的繪制利用計算機圖形學(xué)技術(shù)，對場景進行定義，從而建立三維場景模型，然后利用計算機實現(xiàn)場景模型的繪制、著色、光照以及投影等處理過程，最終生成給定視點的圖像。因此，能否準(zhǔn)確逼真地構(gòu)建出場景的幾何模型對最終成像效果產(chǎn)生決定性的影響。由于場景的復(fù)雜程度往往不易于控制， 復(fù)雜場景下通過MBR成像效果并不是非常理想，無法滿足用戶不斷發(fā)展的對圖像真實感和沉浸感的需求?；趫D像的繪制主要研究如何采用已知視點圖像來直接生成虛擬視點下的對應(yīng)圖像，其繪制過程避免了復(fù)雜的幾何建模與計算工作，因此具有快速、簡單、逼真的優(yōu)點，已成為當(dāng)前最為活躍的研究方向。不同的IBR技術(shù)可理解為全光函數(shù)(Plenoptic Function)在一定條件下的具體表現(xiàn)。全光函數(shù)將場景表示為在時刻τ，從三維空間坐標(biāo)為(Vx，Vy，Vz)的視點出發(fā)，視角為 ⑷,妁，采用波長為λ的光線進行采樣的信息總和。由此可以將場景表示為一個7維函數(shù)，
W，的4，稱為全光函數(shù)。IBR可描述為給定全光函數(shù)的樣本集合，生成其連續(xù)表示的過程。基于這一描述，IBR過程可分解為全光函數(shù)的采樣，重建和重采樣三個過程。 但在實際情況下，無法預(yù)先獲得場景全光函數(shù)的全集，同時7維函數(shù)形式需要巨大的存儲和計算量，因此研究者針對應(yīng)用和簡化展開了大量研究。根據(jù)采用場景幾何信息的多少，可以將IBR技術(shù)分為三類1)無幾何信息的IBR方法；2)使用隱含幾何信息的IBR方法；3) 使用明確幾何信息的IBR方法。無幾何信息的IBR方法基于場景的密集采樣繪制三維場景，主要包括2維的全景圖技術(shù)(Panoramas), 3維的同心拼圖技術(shù)(Concentric Mosaics), 4維的光場技術(shù) (Light fields)和光線空間實現(xiàn)方法(Ray Space Representation), 5維的全光建模技術(shù) (Plenoptic Modeling)等繪制方法。使用隱含幾何信息的IBR方法只需要很少的輸入圖像，可以在一定誤差條件下， 以較小的代價來快速生成場景畫面，同時所生成的圖像質(zhì)量很高。使用隱含幾何信息的IBR 方法主要包括視圖變形技術(shù)(View Morphing)和視圖插值技術(shù)(View Interpolation)等。 視圖變形技術(shù)利用幾何投影原理從兩個不同視點的圖像重構(gòu)出光心連線上的每一個新視點的圖像。視圖插值技術(shù)基于相鄰圖像之間的連貫性，利用圖像各像素點的深度信息通過視覺基本原理來建立相鄰采樣點真實感圖像之間像素的對應(yīng)關(guān)系。使用明確幾何信息的IBR方法主要包括紋理映射(Text Mapping)、分層深度圖像技術(shù)(Layered Depth Image, LDI)和基于深度圖像的3D圖像變形技術(shù)(3D Image Warping) 等。紋理映射的實質(zhì)是將圖像重映射到3D場景的表面上，用紋理來顯示復(fù)雜模型的表面細節(jié)。分層深度圖像技術(shù)采用按照深度信息對圖像分層的方法，所利用的幾何信息是一些分層面上的深度信息?；谏疃葓D像的繪制(Depth Image Based Rendering, DI BR)由于將場景的深度信息引入到IBR中，利用源圖像及其對應(yīng)的深度圖像通過三維圖像映射來生成虛擬視點視圖，從而大大減少了參考圖像的數(shù)目，節(jié)省了存儲空間和傳輸帶寬。DIBR技術(shù)近年來發(fā)展迅速，是當(dāng)前研究的熱點。McMillan最早提出了 3D image warping方程，通過圖像映射得到虛擬視圖，大大降低了生成新視圖的復(fù)雜度，但也面臨著如何進行有效空洞填補的問題。Cooke提出了利用采樣密度圖選取最好的表面生成虛擬視圖的多視圖合成方法，由于沒有考慮生成的單視點中空洞的影響，并不能得到完整的采樣密度圖，不能成功的應(yīng)用于復(fù)雜的場景之中。Muller圍繞3D映射的方法提出了由兩個參考視圖的參數(shù)推導(dǎo)虛擬視點參數(shù)的方法，從而可以得到兩個參考視圖之間任何視點的虛擬視圖，但仍沒有有效的解決空洞問題。Mori通過使用3D warping來進行虛擬視點繪制并通過將深度圖投影到虛擬圖像平面并且對映射后得到的深度圖進行后濾波處理來解決空洞問題，但對得到的深度圖進行后濾波處理模糊了深度圖，會影響虛擬視圖的繪制質(zhì)量。

發(fā)明內(nèi)容
本發(fā)明旨在克服現(xiàn)有技術(shù)的不足，提供一種虛擬視點繪制方法，實現(xiàn)高質(zhì)量的虛擬視點繪制。為達到上述目的，本發(fā)明采取的技術(shù)方案是，虛擬視點繪制方法，包括下列步驟(I)采用基于邊緣檢測的邊界重構(gòu)算法對深度圖進行預(yù)處理；(2)利用兩個視點參考視圖及其對應(yīng)的深度圖，通過三維圖像變換得到虛擬視點視圖繪制虛擬視點圖像時,采用3D Image Warping方法,利用深度圖像和標(biāo)定的相機參數(shù)，將參考圖像中的像素點映射到目標(biāo)圖像中，首先將源參考圖像的像素利用其深度信息和參考相機的相機參數(shù)重投影到它們對應(yīng)的三維空間點位置，然后利用虛擬視點的位置及虛擬視點的相機參數(shù)將這些三維空間點再投影到虛擬相機平面進行成像，得到虛擬視點圖像；(3)對兩幅虛擬視點圖像進行圖像融合消除大部分空洞，生成一幅初始虛擬視圖利用距離加權(quán)值融合兩幅虛擬視圖，從而得到融合的初始虛擬視圖；(4)對初始虛擬視圖利用基于背景分離的方法進行空洞填補，得到最終的虛擬視點圖像。步驟(I)中的所述采用基于邊緣檢測的邊界重構(gòu)算法對深度圖進行預(yù)處理具體為首先對深度圖利用canny算子進行邊緣檢測，提取出深度圖中前景物體的邊緣，然后進行深度邊界重構(gòu)濾波對提取的邊緣進行處理，采用如下代價函數(shù)(k)=JF(k)+Js(k)+JJk)，對提取的邊緣計算當(dāng)前像素的相鄰像素代價值，找到具有最大代價的最好的亮度值來代替當(dāng)前像素的亮度值，其中，k代表像素的亮度值，Jram代表像素值為k 時的代價函數(shù)，第一個子代價函數(shù)Jf代表每個像素的出現(xiàn)頻率，它由像素的出現(xiàn)次數(shù)來得到；第二個子代價函數(shù)Js代表當(dāng)前像素點與其相鄰像素之間的亮度的相似性；第三個子代價函數(shù)Jc代表當(dāng)前像素與相鄰像素之間的靠近程度，最后，為了平滑邊界重構(gòu)后的深度圖， 利用中值濾波和形態(tài)學(xué)處理平滑深度圖的邊緣，從而獲得質(zhì)量較好的深度圖。步驟(4)中的所述對初始虛擬視圖利用基于背景分離的方法進行空洞填補，得到最終的虛擬視點圖像具體為首先利用融合后虛擬視點的深度圖的深度值，選取門限值Y，對深度圖進行劃分， 即將背景區(qū)域與前景物體相互分離；然后分離出的背景區(qū)域通過鄰域插值的方法進行填充；最后將前景區(qū)域重置到虛擬視圖中，為確保將所有的空洞全部填充上，再利用鄰域插值的方法對整個虛擬視圖進行空洞填補，得到最終的虛擬視圖。步驟(1)中的所述邊界重構(gòu)算法代價函數(shù)具體為第一個子代價函數(shù)Jf定義如下
權(quán)利要求
1.一種虛擬視點繪制方法，其特征是，包括下列步驟(1)采用基于邊緣檢測的邊界重構(gòu)算法對深度圖進行預(yù)處理；(2)利用兩個視點參考視圖及其對應(yīng)的深度圖，通過三維圖像變換得到虛擬視點視圖繪制虛擬視點圖像時，采用3D Image Warping方法,利用深度圖像和標(biāo)定的相機參數(shù), 將參考圖像中的像素點映射到目標(biāo)圖像中，首先將源參考圖像的像素利用其深度信息和參考相機的相機參數(shù)重投影到它們對應(yīng)的三維空間點位置，然后利用虛擬視點的位置及虛擬視點的相機參數(shù)將這些三維空間點再投影到虛擬相機平面進行成像，得到虛擬視點圖像；(3)對兩幅虛擬視點圖像進行圖像融合消除大部分空洞，生成一幅初始虛擬視圖 利用距離加權(quán)值融合兩幅虛擬視圖，從而得到融合的初始虛擬視圖；(4)對初始虛擬視圖利用基于背景分離的方法進行空洞填補，得到最終的虛擬視點圖像。
2.如權(quán)利要求1所述的方法，其特征在于，步驟(1)中的所述采用基于邊緣檢測的邊界重構(gòu)算法對深度圖進行預(yù)處理具體為首先對深度圖利用canny算子進行邊緣檢測，提取出深度圖中前景物體的邊緣， 然后進行深度邊界重構(gòu)濾波對提取的邊緣進行處理，采用如下代價函數(shù)JM_(k)= JF(k)+Js(k)+JJk)，對提取的邊緣計算當(dāng)前像素的相鄰像素代價值，找到具有最大代價的最好的亮度值來代替當(dāng)前像素的亮度值，其中，k代表像素的亮度值，Jram代表像素值為k 時的代價函數(shù)，第一個子代價函數(shù)Jf代表每個像素的出現(xiàn)頻率，它由像素的出現(xiàn)次數(shù)來得到；第二個子代價函數(shù)Js代表當(dāng)前像素點與其相鄰像素之間的亮度的相似性；第三個子代價函數(shù)Jc代表當(dāng)前像素與相鄰像素之間的靠近程度，最后，為了平滑邊界重構(gòu)后的深度圖， 利用中值濾波和形態(tài)學(xué)處理平滑深度圖的邊緣，從而獲得質(zhì)量較好的深度圖。
3.如權(quán)利要求I所述的方法，其特征在于，步驟(4)中的所述對初始虛擬視圖利用基于背景分離的方法進行空洞填補，得到最終的虛擬視點圖像具體為首先利用融合后虛擬視點的深度圖的深度值，選取門限值Y，對深度圖進行劃分，即將背景區(qū)域與前景物體相互分離；然后分離出的背景區(qū)域通過鄰域插值的方法進行填充；最后將前景區(qū)域重置到虛擬視圖中，為確保將所有的空洞全部填充上，再利用鄰域插值的方法對整個虛擬視圖進行空洞填補，得到最終的虛擬視圖。
4.如權(quán)利要求1所述的方法，其特征在于，步驟(1)中的所述邊界重構(gòu)算法代價函數(shù)具體為第一個子代價函數(shù)Jf定義如下
全文摘要
本發(fā)明屬于圖像處理及立體成像領(lǐng)域。為一種虛擬視點繪制方法，實現(xiàn)高質(zhì)量的虛擬視點繪制。為達到上述目的，本發(fā)明采取的技術(shù)方案是，虛擬視點繪制方法，包括下列步驟(1)采用基于邊緣檢測的邊界重構(gòu)算法對深度圖進行預(yù)處理；(2)利用兩個視點參考視圖及其對應(yīng)的深度圖，通過三維圖像變換得到虛擬視點視圖(3)對兩幅虛擬視點圖像進行圖像融合消除大部分空洞，生成一幅初始虛擬視圖利用距離加權(quán)值融合兩幅虛擬視圖，從而得到融合的初始虛擬視圖；(4)對初始虛擬視圖利用基于背景分離的方法進行空洞填補，得到最終的虛擬視點圖像。本發(fā)明主要應(yīng)用于圖像處理及立體成像。
文檔編號G06T7/00GK102592275SQ201110428998
公開日2012年7月18日 申請日期2011年12月16日 優(yōu)先權(quán)日2011年12月16日
發(fā)明者侯春萍, 吳冬燕, 張海龍, 王來花, 范科峰, 雷建軍 申請人:天津大學(xué)