專利名稱：基于透視投影的實時虛擬視點生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及立體視頻處理方法，具體的講是基于透視投影的實時虛擬視點生成方法。
背景技術(shù)：
在視頻顯示領(lǐng)域中，與二維視頻顯示相比，立體視頻顯示與人的視覺特征更加匹配，使得人們在觀看圖像時富有立體感和沉浸感。目前的立體電視主要分為眼鏡式和裸眼 式兩種，其中眼鏡式立體顯示主要以主動快門式和被動偏光式為主，裸眼式主要分為視差屏障式、柱狀透鏡式等。眼鏡式立體技術(shù)主要集中在消費級市場，如立體電視、立體投影等，裸眼式立體技術(shù)由于技術(shù)及成本因素，目前主要于機場、展覽等商用顯示及小尺寸消費電子產(chǎn)品。裸眼式立體顯示技術(shù)因為不需要額外的設(shè)備即可讓觀眾欣賞到立體效果，因而受到了消費者的普遍期待和各國廠家的重視，正成為下一代立體顯示的發(fā)展方向?，F(xiàn)有大尺寸裸眼立體電視通常為多視點自由立體顯示方式，這就要求視頻信號源為多視點立體視頻。多視點立體視頻是指由位置不同的多個攝像機在相同時刻對相同場景進行拍攝時產(chǎn)生的多個視圖的序列，一個視圖對應(yīng)一個視點。目前立體拍攝主要采用雙目攝像機實現(xiàn)立體攝制，這對攝像設(shè)備和攝像技術(shù)要求較高，國內(nèi)外已有多家公司推出立體攝像機和立體照相機產(chǎn)品。而針對多視點視頻采集還存在一定的技術(shù)瓶頸，目前多視點視頻通常采用立體建模制作或雙目立體視頻轉(zhuǎn)多目立體視頻方式產(chǎn)生。為了讓現(xiàn)有雙目立體視頻可在多視點裸眼立體電視上進行顯示，如何將雙目立體視頻實時轉(zhuǎn)換為多目立體視頻正成為裸眼立體領(lǐng)域的一個研究熱點。

發(fā)明內(nèi)容
本發(fā)明提供了一種基于透視投影的實時虛擬視點生成方法，可用于多視點立體視頻的實時生成，滿足裸眼立體電視播放要求，保證雙目立體視頻轉(zhuǎn)多目立體視頻的實時性，提高轉(zhuǎn)換的多視點視頻的主觀質(zhì)量和舒適度。本發(fā)明基于透視投影的實時虛擬視點生成方法，包括a.對雙目立體視頻進行解碼得到雙目立體視頻序列，并依次將所述的雙目立體視頻序列送入緩沖區(qū)；b.對緩沖區(qū)的雙目立體視頻序列進行立體匹配，計算左右圖像的視差關(guān)系，統(tǒng)計左右圖像正視差最大值；c.根據(jù)步驟b計算的雙目立體視頻序列的視差關(guān)系和左右圖像正視差最大值，確定虛擬視點的插入位置及三維透視投影的偏移角度；d.根據(jù)步驟c計算的偏移角度分別對左右圖像進行透視投影，得到對應(yīng)的多點虛擬視點圖像；e.根據(jù)光柵式裸眼3D的顯示特性對多視點圖像進行RGB重排列，使得多點虛擬視點的3D圖像合成與光柵排列相一致。
通過對雙目立體圖像進行立體匹配計算雙目立體圖像的左右視差關(guān)系，可自適應(yīng)確定虛擬視點插入的位置及投影透視的偏移角度，得到對應(yīng)的虛擬視點圖像，這樣不僅能夠保證雙目立體視頻轉(zhuǎn)多目立體視頻的實時性，還能夠大幅度提高轉(zhuǎn)換的多視點視頻的主觀質(zhì)量和舒適度。具體的，步驟a中所述的對雙目立體視頻進行解碼包括對左右圖像進行分離，如過圖像在水平或垂直方向 上有分辨率損失，對分辨率有損失的方向按照正常寬高比進行還原。記錄單路圖像的分辨率為hXv，其中h為水平方向上的分辨率，V為垂直方向上的分辨率，依次將解碼的雙目立體圖像送入緩沖區(qū)進行處理。具體的，步驟b中所述的立體匹配，是基于區(qū)域的匹配方法對該對雙目立體視頻序列進行立體匹配。為加快計算的速度，可針對圖像特定區(qū)域進行立體匹配。立體匹配的方法還有很多中，例如基于特征點的匹配等，這里采用基于區(qū)域的匹配方法有利于保證雙目立體圖像視差的準確性。一種具體實現(xiàn)步驟b中所述基于區(qū)域的匹配方法包括bl.將左路或右路的像素點通過立體匹配找到該像素點在另一路圖像的匹配點，采用模板進行像素匹配；b2.通過比較左右視差圖像在各個位置的相關(guān)系數(shù)，相關(guān)性最大的值為最佳匹配點，并根據(jù)所述最佳匹配點求得左右圖像匹配的像素點；b3.根據(jù)左右圖像對應(yīng)匹配的像素點水平方向值的大小，判斷出像素點與屏幕的相對立體關(guān)系；b4.統(tǒng)計左右圖像像素點正視差最大值。除了這種具體實現(xiàn)方法外，還可以通過步驟b3所計算出的當(dāng)前像素的視差關(guān)系，得到當(dāng)前像素的視差值，并對左右圖像所有像素的視差值進行統(tǒng)計，得到正視差的最大值。具體的，步驟c中計算虛擬視點的插入位置及三維透視投影的偏移角度包括計算在已有的雙目立體圖像內(nèi)側(cè)插入的虛擬視點個數(shù)；計算在已有的雙目立體圖像外側(cè)插入的虛擬視點個數(shù)；計算相鄰的左右兩路圖像間的視差；計算相鄰的左右兩路圖像進行透視投影的偏移角度。具體的，步驟d包括以垂直于圖像中軸線的平面為轉(zhuǎn)軸，以對應(yīng)的旋轉(zhuǎn)角度進行旋轉(zhuǎn)，從垂直于該圖像的視角得到的透視投影畫面即是所求是虛擬視點圖像。具體的，步驟e中所述多點虛擬視點的3D圖像合成是根據(jù)光柵周期、光柵傾斜度、2D顯示屏子像素寬度和所采用的視點數(shù)進行計算的。本發(fā)明基于透視投影的實時虛擬視點生成方法，能夠?qū)崿F(xiàn)多視點立體視頻的實時生成，滿足裸眼立體電視播放要求，并且保證雙目立體視頻轉(zhuǎn)多目立體視頻的實時性，有效的提高了轉(zhuǎn)換的多視點視頻的主觀質(zhì)量和舒適度。以下結(jié)合實施例的具體實施方式
，對本發(fā)明的上述內(nèi)容再作進一步的詳細說明。但不應(yīng)將此理解為本發(fā)明上述主題的范圍僅限于以下的實例。在不脫離本發(fā)明上述技術(shù)思想情況下，根據(jù)本領(lǐng)域普通技術(shù)知識和慣用手段做出的各種替換或變更，均應(yīng)包括在本發(fā)明的范圍內(nèi)。


圖I為本發(fā)明基于透視投影的實時虛擬視點生成方法的流程圖。
具體實施例方式本實施例中均以左路圖像為參考。如圖I所示本發(fā)明基于透視投影的實時虛擬視點生成方法，包括a.對雙目立體視頻進行解碼得到雙目立體視頻序列，并依次將所述的雙目立體視頻序列送入緩沖區(qū)。對雙目立體視頻進行解碼包括對左右圖像進行分離，如果在獲取雙目立體視頻內(nèi)容時，雙目立體視頻是采用拼接方式進行壓縮的，則先調(diào)用2D視頻解碼庫得到雙目立體視頻序列，如果是藍光3D視頻壓縮格式，則先調(diào)用H. 264MVC解碼庫對左右路圖像進行解碼，然后再對左右圖像進行分離。如過圖像在水平或垂直方向上有分辨率損失，對分辨率有損失的方向按照正常寬高比進行還原。記錄單路圖像的分辨率為hXv，其中h為水
平方向上的分辨率，V為垂直方向上的分辨率，依次將解碼的雙目立體圖像送入緩沖區(qū)進行處理。b.對緩沖區(qū)的雙目立體視頻序列進行立體匹配，計算左右圖像的視差關(guān)系，統(tǒng)計左右圖像正視差最大值。所述的立體匹配，是基于區(qū)域的匹配方法對該對雙目立體視頻序列進行立體匹配。為加快計算的速度，可針對圖像特定區(qū)域進行立體匹配。具體步驟包括bl.將左路或右路的像素點通過立體匹配找到該像素點在另一路圖像的匹配點，采用模板進行像素匹配。假設(shè)左路圖像像素點(X1, yi)，通過立體匹配可找到該像素在右路圖像的匹配像素點(\，K)，采用MXN子塊模板進行像素匹配。假設(shè)左路圖像以像素點(Xl，yi)為中心的模板為T，匹配右路圖像的子圖像為T'，可通過下列公式計算T和T'的相似度
Σ Σ[(Γ' (u)-num2CiTT)="jM N
JE Σκηυ) \ Σ Σ το^') 2
y i=i j=iy i=i j=i通過相似度的計算，可以得知左路圖像模板T和對應(yīng)的右路子圖像T,是否匹配。b2.通過比較左右視差圖像在各個位置的相關(guān)系數(shù)，相關(guān)性最大的值為最佳匹配點，并根據(jù)所述最佳匹配點求得左右圖像匹配的像素點；b3.根據(jù)左右圖像對應(yīng)匹配的像素點水平方向值的大小，判斷出像素點與屏幕的相對立體關(guān)系。以左路圖像為參考，在該圖像中位于像素點(X1, Y1)處對應(yīng)的視差值大小為D (X1, Y1) =x「xr當(dāng)X1SX1 時,視差DU1, Y1)為正，該像素點(X^y1)是凸出立體顯示屏的
時，視差DU1, Y1)為負，該像素點(X1J1)是凹進立體顯示屏的；當(dāng)X1=X1 時，視差DU1, Y1)為零，該像素點(U1)是位于立體顯示屏上的。在計算各點的視差之后，需要將視差值從最小到最大映射到灰度級O 255上，可得到左右路圖像的深度圖，并對深度圖進行平滑處理。b4.以左路圖像為參考統(tǒng)計左右圖像像素點正視差最大值
Dmax=max {D (X1, y!)，…，D (xh, yv)}c.根據(jù)步驟b計算的雙目立體視頻序列的視差關(guān)系和左右圖像正視差最大值，確定虛擬視點的插入位置及三維透視投影的偏移角度，具體為通過步驟b中得到的左右視點像素點正視差最大值Dmax，假設(shè)最終生成的多視點立體視頻視點數(shù)為K，插入虛擬視點的位置可通過以下公式進行計算在已有雙目立體圖像內(nèi)側(cè)插入的虛擬視點個數(shù)為
權(quán)利要求
1.基于透視投影的實時虛擬視點生成方法，其特征包括 a.對雙目立體視頻進行解碼得到雙目立體視頻序列，并依次將所述的雙目立體視頻序列送入緩沖區(qū)； b.對緩沖區(qū)的雙目立體視頻序列進行立體匹配，計算左右圖像的視差關(guān)系，統(tǒng)計左右圖像正視差最大值； c.根據(jù)步驟b計算的雙目立體視頻序列的視差關(guān)系和左右圖像正視差最大值，確定虛擬視點的插入位置及三維透視投影的偏移角度； d.根據(jù)步驟C計算的偏移角度分別對左右圖像進行透視投影，得到對應(yīng)的多點虛擬視點圖像； e.根據(jù)光柵式裸眼3D的顯示特性對多視點圖像進行RGB重排列，使得多點虛擬視點的3D圖像合成與光柵排列相一致。
2.如權(quán)利要求I所述的基于透視投影的實時虛擬視點生成方法，其特征為步驟a中所述的對雙目立體視頻進行解碼包括對左右圖像進行分離，如過圖像在水平或垂直方向上有分辨率損失，對分辨率有損失的方向按照正常寬高比進行還原。
3.如權(quán)利要求I所述的基于透視投影的實時虛擬視點生成方法，其特征為步驟b中所述的立體匹配，是基于區(qū)域的匹配方法對該對雙目立體視頻序列進行立體匹配。
4.如權(quán)利要求3所述的基于透視投影的實時虛擬視點生成方法，其特征為所述基于區(qū)域的匹配方法包括 bl.將左路或右路的像素點通過立體匹配找到該像素點在另一路圖像的匹配點，采用模板進行像素匹配； b2.通過比較左右視差圖像在各個位置的相關(guān)系數(shù)，相關(guān)性最大的值為最佳匹配點，并根據(jù)所述最佳匹配點求得左右圖像匹配的像素點； b3.根據(jù)左右圖像對應(yīng)匹配的像素點水平方向值的大小，判斷出像素點與屏幕的相對立體關(guān)系； b4.統(tǒng)計左右圖像像素點正視差最大值。
5.如權(quán)利要求I所述的基于透視投影的實時虛擬視點生成方法，其特征為步驟c中計算虛擬視點的插入位置及三維透視投影的偏移角度包括 計算在已有的雙目立體圖像內(nèi)側(cè)插入的虛擬視點個數(shù)； 計算在已有的雙目立體圖像外側(cè)插入的虛擬視點個數(shù)； 計算相鄰的左右兩路圖像間的視差； 計算相鄰的左右兩路圖像進行透視投影的偏移角度。
6.如權(quán)利要求I所述的基于透視投影的實時虛擬視點生成方法，其特征為步驟d包括以垂直于圖像中軸線的平面為轉(zhuǎn)軸，以對應(yīng)的旋轉(zhuǎn)角度進行旋轉(zhuǎn)，從垂直于該圖像的視角得到的透視投影畫面即是所求是虛擬視點圖像。
7.如權(quán)利要求I所述的基于透視投影的實時虛擬視點生成方法，其特征為步驟e中所述多點虛擬視點的3D圖像合成是根據(jù)光柵周期、光柵傾斜度、2D顯示屏子像素寬度和所采用的視點數(shù)進行計算的。
全文摘要
本發(fā)明涉及基于透視投影的實時虛擬視點生成方法，包括a．對雙目立體視頻解碼；b．對解碼后的雙目立體視頻序列進行立體匹配，計算左右圖像的視差關(guān)系和左右圖像正視差最大值；c．確定虛擬視點的插入位置及三維透視投影的偏移角度；d．根據(jù)步驟c計算的偏移角度分別對左右圖像進行透視投影，得到對應(yīng)的多點虛擬視點圖像；e．根據(jù)光柵式裸眼3D的顯示特性對多視點圖像進行RGB重排列，使得多點虛擬視點的3D圖像合成與光柵排列相一致。本發(fā)明的方法，能夠?qū)崿F(xiàn)多視點立體視頻的實時生成，滿足裸眼立體電視播放要求，并且保證雙目立體視頻轉(zhuǎn)多目立體視頻的實時性，有效的提高了轉(zhuǎn)換的多視點視頻的主觀質(zhì)量和舒適度。
文檔編號H04N13/00GK102938845SQ20121048677
公開日2013年2月20日 申請日期2012年11月26日 優(yōu)先權(quán)日2012年11月26日
發(fā)明者曾超, 程遠兵 申請人:四川長虹電器股份有限公司