專利名稱：一種從單目圖像序列生成立體圖像序列的方法
技術(shù)領域：
本發(fā)明涉及一般的視頻數(shù)據(jù)立體化方法，尤其涉及一種從單目圖像序列生成立體圖像序列的方法。
背景技術(shù)：
從無三維幾何信息的單目視頻構(gòu)造雙目立體視頻，有三種主要方法一種是使用同步攝像硬件；一種是基于稠密三維幾何恢復的圖像繪制方法；一種是基于稠密采樣的圖像繪制技術(shù)。這幾種方法都有其局限性，高度自動、精確的稠密三維重建仍然是計算機視覺里的難題。
基于視頻的繪制利用多個同步視頻生成三維視頻，需要特殊的硬件設備或重建三維模型。
早期工作主要是利用場景的三維幾何信息。然而，現(xiàn)實場景的三維模型通常很難獲得。也有人提出了基于兩幅或多幅圖像的三維重建方法，然而這類方法全自動尚不能得到理想的結(jié)果，需要人工介入，成本高。
一些基于圖像繪制的方法通過稠密的采樣而避免三維重建，也能合成立體圖像。如Light-field，可參考M.Levoy and P.Hanrahan.Lightfieldrendering.In SIGGRAPH’96Proceedings of the 23rd annual conference onComputer graphics and interactive techniques，pages 31.42，New York，NY，USA，1996.ACM Press；Lumigraph，可參考S.J.Gortler，R.Grzeszczuk，R.Szeliski，and M.F.Cohen.The lumigraph.In SIGGRAPH’96Proceedingsof the 23rd annual conference on Computer graphics and interactivetechniques，pages 43.54，New York，NY，USA，1996.ACM Press。采用的方法都是使用多個攝像機從各角度對場景進行密集采樣，在沒有任何場景三維幾何信息的條件下合成立體圖像。這種方法所需數(shù)據(jù)量大，處理過程復雜。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足，提出一種從單目圖像序列生成立體圖像序列的方法，該方法不需要硬件輔助、無需恢復深度和三維幾何就能從單目視頻圖像序列構(gòu)建出立體圖像序列。
為了達到上述目的，本發(fā)明采用的技術(shù)方案如下一種從單目圖像序列生成立體圖像序列的方法，包括以下步驟
1)由單目圖像序列Pmono＝{pi}創(chuàng)建對應的單目攝像機參數(shù)序列(QB，VB)單目攝像機序列B＝{bi}的參數(shù)序列包括旋轉(zhuǎn)向量序列QB＝{qi}與空間位置序列VB＝{vi}，通過攝像機跟蹤算法得到每一幀單目圖像pi對應的攝像機參數(shù)(qbi，vbi)；2)由單目攝像機參數(shù)序列(QB，VB)和單目圖像序列Pmono構(gòu)造雙目攝像機序列S＝{si}以及對應的參數(shù)序列(QS，VS)和索引序列(∏L，∏R)令左眼索引序列∏L＝i，然后對選擇到單目攝像機bi距離最接近雙目距離deye的單目攝像機bk，令∏R[i]＝k；雙目攝像機旋轉(zhuǎn)向量q(si)＝(q(bi)+q(bk))/2，中心位置c(si)＝(v(bi)+v(bk))/2，由此可確定雙目攝像機左右眼參數(shù)(q(si)，v(si))；3)用已知的(QS，VS)和(∏L，∏R)計算控制誤差E，若E在誤差允許范圍之內(nèi)，則直接進行下一步，否則，調(diào)整(QS，VS)和(∏L，∏R)的值使E減小至誤差允許范圍之內(nèi)；調(diào)整方法分兩步首先，固定(∏L，∏R)，調(diào)整(QS，VS)，得到使E最小的(QS，VS)，然后，固定(QS，VS)，調(diào)整(∏L，∏R)，得到使E最小的(∏L，∏R)；重復這兩個步驟直至E減少到誤差允許范圍之內(nèi)；4)依據(jù)索引序列(∏L，∏R)構(gòu)造雙目源圖像序列(Plwarp，Prwarp)，其中左眼源圖像序列Plwarp＝{p∏L[i]}，右眼源圖像序列Prwarp＝{p∏R[i]}，根據(jù)雙目攝像機參數(shù)序列(QS，VS)，對雙目源圖像序列(Plwarp，Prwarp)進行視圖變換，得到立體圖像序列(Plstereo，Prstereo)。
所述的控制誤差E(S，∏L，∏R)＝ES+EQ+(ECV+ECO)，包括以下幾個部分1)立體感誤差ESL(s)指雙目攝像機s的左眼攝像機，R(s)指雙目攝像機s的右眼攝像機δ(s，l，r)＝‖v(bl)-v(L(s))‖2+‖v(br)-v(R(s))‖2ES(S,ΠL,ΠR)=Σi=1N(δ(S[i],ΠL[i],ΠR[i]))]]>2)相似性誤差EQγ(s，l，r)＝‖q(s)-q(bl)‖2+‖q(s)-q(br)‖2EQ(S,ΠL,ΠR)=Σi=1Nγ(S[i],Πl[i],Πr[i])]]>3)方向連續(xù)性誤差ECOECQ(S,ΠL,ΠR)=Σi=2N=1||2q(si)-q(si+1)-q(si-1)||2]]>
4)位置連續(xù)性誤差ECVECV(S,ΠL,ΠR)=Σi=2N=1||2v(si)-v(si+1)-v(si-1)||2]]>+Σi=2N-1||2v(bΠL[i])-v(bΠL[i+1])-v(bΠL[i-1])||2]]>+Σi=2N-1||2v(bΠR[i])-v(bΠR[i+1])-v(bΠR[i-1])||2]]>所述的固定(∏L，∏R)，調(diào)整(QS，VS)，得到使E最小的(QS，VS)的方法可以是固定(∏L，∏R)，以E為目標函數(shù)，使用非線性最優(yōu)化方法調(diào)整(QS，VS)，得到使E最小的(QS，VS)；所述的固定(QS，VS)，調(diào)整(∏L，∏R)，得到使E最小的(∏L，∏R)的方法可以是固定(QS，VS)，將(∏L，∏R)分段，每次同時調(diào)整其中某一段中的所有連續(xù)幀，同時每個∏L[i]，∏R[i]都在各自臨近的若干幀內(nèi)進行枚舉配對。對所有的情況重新計算控制誤差E，找出使E最小的一組作為調(diào)整結(jié)果。對每個分段逐個調(diào)整，直至全部調(diào)整完畢。
本發(fā)明與背景技術(shù)相比，具有的有益效果是本發(fā)明針對以往立體視頻制作方法昂貴，復雜，數(shù)據(jù)量大，處理時間長等缺點，提出了一種將普通的單目視頻圖像序列轉(zhuǎn)化為立體圖像序列的新思路。本發(fā)明不需要特殊的硬件，或基于圖像的密集采樣以及三維建模，不需要深度信息的恢復，僅需要一段包括運動鏡頭的單目視頻圖像序列，即可構(gòu)造出制作立體視頻所需的立體圖像序列。
本發(fā)明計算效率高，結(jié)果穩(wěn)定，由該方法產(chǎn)生的立體圖像序列可用于制作立體視頻等用途。由于單目視頻素材豐富，因此適合用于將單目視頻立體化的場合。


下面結(jié)合附圖和實施方式對本發(fā)明作進一步說明。
圖1是本發(fā)明方法的四個步驟的流程圖；圖2是步驟一中單目攝像機b以及單目攝像機序列B的示意圖；圖3是步驟二中雙目攝像機s的結(jié)構(gòu)示意圖；圖4是步驟二中索引序列∏L，∏R的用途示意圖；圖5是步驟二中的雙目攝像機序列和索引攝像機序列的初始化方法。
具體實施例方式
本發(fā)明提出了一種從單目圖像序列生成立體圖像序列的方法，包括四個步驟首先，由單目圖像序列創(chuàng)建對應的單目攝像機參數(shù)序列；接著構(gòu)造雙目攝像機序列、對應的參數(shù)序列和索引序列；然后，調(diào)整雙目攝像機參數(shù)序列和索引序列的值，使控制誤差在誤差允許范圍之內(nèi)；最后，依據(jù)索引序列構(gòu)造雙目源圖像序列，根據(jù)雙目攝像機參數(shù)序列對雙目源圖像序列進行視圖變換，得到立體圖像序列。
具體流程如圖1所表示，現(xiàn)具體介紹每一步驟的實現(xiàn)細節(jié)1)單目圖像序列Pmono＝{pi}創(chuàng)建對應的單目攝像機參數(shù)序列(QB，VB)本文所指攝像機參數(shù)包括某個時刻攝像機的兩個外部參數(shù)空間位置v以及旋轉(zhuǎn)向量q，其中旋轉(zhuǎn)向量q用歐拉角形式表達，如(qx，qy，qz)，qx，qy，qz分別為繞x，y，z軸旋轉(zhuǎn)的歐拉角。攝像機在一個時間段內(nèi)的參數(shù)構(gòu)成攝像機參數(shù)序列空間位置序列V和旋轉(zhuǎn)向量序列Q。
如圖2，單目攝像機b代表某幀單目視頻圖像對應的攝像機。B指單目攝像機b的序列，B[i]指第i個單目攝像機，即bi。v(b)是單目攝像機b的空間位置，q(b)是單目攝像機b的旋轉(zhuǎn)向量。
單目攝像機序列B＝{bi}的參數(shù)序列包括旋轉(zhuǎn)向量序列QB＝{qbi}與空間位置序列VB＝{vbi}。
通過攝像機跟蹤算法得到每一幀單目圖像pi對應的攝像機參數(shù)(qbi，vbi)。
有許多種可用于攝像機跟蹤的算法，一般采用非實時的基于結(jié)構(gòu)和運動恢復(Structure And Motion Recovery，簡稱SMR)的攝像機跟蹤方法，即可對大部分的視頻圖像序列高精度地恢復攝像機運動參數(shù)。如2D3公司的boujou、REALVIZ公司的matchmover或ranovae公司的WecamTrack等都可以用于攝像機跟蹤。
這一步得到(QB，VB)和一些稀疏點的三維深度，在步驟四中可以取這些稀疏點當中的深度作為視圖變換的參數(shù)。
2)由單目攝像機參數(shù)序列(QB，VB)和單目圖像序列Pmono構(gòu)造雙目攝像機序列S＝{si}以及對應的參數(shù)序列(QS，VS)和索引序列(∏L，∏R)如圖3，雙目攝像機s指用于生成立體圖像的兩臺攝像機組成的系統(tǒng)，由相同旋轉(zhuǎn)向量且距離不變的同步左右眼攝像機構(gòu)成，且兩攝像機旋轉(zhuǎn)向量和攝像機連線垂直。其中v(L(s))，v(R(s))為立體攝像機的左右眼攝像機的空間位置；L(s)與R(s)的中點c(s)稱為雙目攝像機中心；左右眼攝像機距離d稱為攝像機雙目距離；并定義L(s)與R(s)的旋轉(zhuǎn)向量為s的旋轉(zhuǎn)向量q(s)；L(s)與R(s)連線為雙目攝像機x軸，ex為x軸的單位矢量，q(s)和ex垂直。S指雙目攝像機s的序列，S[i]指第i個雙目攝像機，即si。
∏指索引序列，∏L，∏R分為左眼索引序列和右眼索引序列。左眼索引序列的某一項∏L[i]指雙目攝像機序列S的每一個左眼攝像機L(S[i])所對應的單目攝像機B[k]在單目攝像機序列中的索引k；右眼索引攝像機序列的某一項∏R[i]指雙目攝像機序列的每一個右眼攝像機R(S[i])所對應的單目攝像機B[m]在單目攝像機序列中的索引m。
如圖4，從單目攝像機序列中按要求挑出的是b27、b1、b30、b9四個攝像機，其中b27、b1對應的單目視頻幀f27、f1將用來生成雙目攝像機S[i]的左右眼圖像，b30、b9對應的單目視頻幀f30、f9用于生成雙目攝像機S[i+1]的左右眼圖像。則∏L＝{27，30}，∏R＝{1，9}，BL＝{b27、b30}，BR＝{b1、b9}。
構(gòu)造左右眼索引序列∏L，∏R如圖5，令∏L[i]＝i，即左眼索引序列即為單目攝像機序列的序號，然后再為右眼索引序列選擇初始值?？紤]第i個左眼攝像機，其對應的單目攝像機是bi，選擇到bi距離最接近雙目距離deye的單目攝像機bk，以k作為相應的右眼攝像機的索引，即∏R[i]＝k。
雙目攝像機序列S的參數(shù)雙目攝像機旋轉(zhuǎn)向量q(si)初始值就是bi和bk的旋轉(zhuǎn)向量的平均值q(si)＝(q(bi)+q(bk))/2；中心位置c(si)即bi和bk空間位置的中點，c(si)＝(v(bi)+v(bk))/2。則相應的雙目攝像機左右眼攝像機的空間位置分別為c(si)±0.5deve·ex，即在x軸上與中點相距deye/2的兩個空間點，旋轉(zhuǎn)向量即為q(si)。ex為x軸的單位矢量(我們把攝像機的正左方向作為x軸正方向)。
雙目攝像機si除q，v外的其它內(nèi)部參數(shù)如焦距f等，與構(gòu)造它的相應單目攝像機BL[i]或BR[i]相同(這里假定攝像機不變焦)。
3)調(diào)整雙目攝像機參數(shù)序列(QS，VS)和索引序列(∏L，∏R)的值，使控制誤差E在誤差允許范圍之內(nèi)用已知的(QS，VS)和(∏L，∏R)計算控制誤差E，若E在誤差允許范圍之內(nèi)，則直接進行下一步；否則，調(diào)整(QS，VS)和(∏L，∏R)的值使E減小至誤差允許范圍之內(nèi)。
控制誤差E(S，∏L，∏R)＝ES+EQ+(ECV+ECO)；立體感誤差ESδ(s，l，r)＝‖v(bl)-v(L(s))‖2+‖v(br)-v(R(s))‖2ES(S,ΠL,ΠR)=Σi=1N(δ(S[i],ΠL[i],ΠR[i]))]]>
相似性誤差EQγ(s，l，r)＝‖q(s)-q(bl)‖2+‖q(s)-q(br)‖2EQ(S,ΠL,ΠR)=Σi=1Nγ(S[i],Πl[i],Πr[i])]]>連續(xù)性誤差EC，包括方向連續(xù)性目標函數(shù)ECQ，空間連續(xù)性目標函數(shù)ECVECQ(S,ΠL,ΠR)=Σi=2N=1||2q(si)-q(si+1)-q(si-1)||2]]>ECV(S,ΠL,ΠR)=Σi=2N=1||2v(si)-v(si+1)-v(si-1)||2]]>+Σi=2N-1||2v(bΠL[i])-v(bΠL[i+1])-v(bΠL[i-1])||2]]>+Σi=2N-1||2v(bΠR[i])-v(bΠR[i+1])-v(bΠR[i-1])||2]]>控制誤差E的允許范圍為經(jīng)驗常數(shù)，用于控制最后輸出立體圖像的效果，如果輸出結(jié)果不夠精確，可以通過縮小該范圍，通過調(diào)整(QS，VS)和(Π∏L，∏R)的值對結(jié)果進行優(yōu)化求精。
調(diào)整(QS，VS)和(∏L，∏R)的方法有很多，最簡單的策略是枚舉所有可能，但由于枚舉出的組合過多，大大增加了計算復雜度。因此，可將調(diào)整分為兩部分首先，固定(∏L，∏R)，調(diào)整(QS，VS)，得到使E最小的(QS，VS)；然后，固定(QS，VS)，調(diào)整(∏L，∏R)，得到使E最小的(∏L，∏R)；重復這兩個步驟直至E變化不大，如(Ei-Ei-1)/Ei＜0.0001時即可停止。
采用分兩部分枚舉所有組合的計算量仍是很大，因此，實際采用最優(yōu)化算法和局部枚舉法相結(jié)合的策略，分別降低調(diào)整(QS，VS)和(∏L，∏R)的計算復雜度。
例如，首先，固定(∏L，∏R)，以E為目標函數(shù)，使用非線性最優(yōu)化方法如Levenberg-Marquardt方法調(diào)整(QS，VS)，得到使E最小的(QS，VS)。
然后分段局部枚舉法調(diào)整(∏L，∏R)固定(QS，VS)，將(∏L，∏R)分段，前后段有重復元素，每次同時調(diào)整(∏L，∏R)中某一段中的所有連續(xù)幀，同時每個∏L[i]，∏R[i]都在各自臨近的幾幀內(nèi)進行枚舉配對。對所有的情況重新計算控制誤差E，找出使E最小的一組作為調(diào)整結(jié)果。對每個分段逐個調(diào)整，直至全部調(diào)整完畢。
分段局部枚舉法舉例如下假設采用同時調(diào)整連續(xù)三幀，每一幀的調(diào)整范圍為包括自己5幀的策略。對于第一組被調(diào)整的三幀S
，S[1]，S[2]，其對應的左右眼索引為(∏l
，∏r
)，(∏l[1]，∏r[1])，(∏l[2]，∏r[2])，假設其中第0幀的雙目攝像機對應左右眼索引為∏L
＝31，∏R
＝9，那么第0幀左眼索引調(diào)整范圍∏L
＝{29，30，31，32，33}，右眼索引調(diào)整范圍∏R
＝{7，8，9，10，11}，其他幀同理。對于每一幀共25組(∏l[i]，∏r[i])的組合，連續(xù)三幀(∏l
，∏r
)，(∏l[1]，∏r[1])，(∏l[2]，∏r[2])總共有253種組合。在其中若發(fā)現(xiàn)有某個組合能使總目標函數(shù)E最小，則取該值。這樣依次調(diào)整，先同時調(diào)整0，1，2幀，再接著調(diào)整1，2，3幀，直至全部調(diào)整完畢。
4)依據(jù)索引序列(∏L，∏R)構(gòu)造雙目源圖像序列(Plwarp，Prwarp)，根據(jù)雙目攝像機參數(shù)序列(QS，VS)，對雙目源圖像序列(Plwarp，Prwarp)進行視圖變換，得到立體圖像序列(Plstereo，Prstereo)。
視圖變換的方法是為圖像上的每個像素賦予一個常深度Zc，將每個像素先投影到三維空間的正確位置上，然后再投影到雙目攝像機參數(shù)指定的圖像平面上，從而生成立體圖像的左右眼圖像。這里的zc＝2(1/zmin+1/zmax)-1，其中[zmin，zmax]是場景的深度范圍，在攝像機跟蹤步驟中，恢復攝像機運動參數(shù)的同時，可以得到一些稀疏點的三維深度，可以取這些稀疏點當中的最小深度作為zmin，最大深度作為zmax。
權(quán)利要求
1.一種從單目圖像序列生成立體圖像序列的方法，其特征在于包括以下步驟1)由單目圖像序列Pmono＝{pi}創(chuàng)建對應的單目攝像機參數(shù)序列(QB，VB)單目攝像機序列B＝{bi}的參數(shù)序列包括旋轉(zhuǎn)向量序列QB＝{qi}與空間位置序列VB＝{vi}，通過攝像機跟蹤算法得到每一幀單目圖像pi對應的攝像機參數(shù)(qbi，vbi)；2)由單目攝像機參數(shù)序列(QB，VB)和單目圖像序列Pmono構(gòu)造雙目攝像機序列S＝{si}以及對應的參數(shù)序列(QS，VS)和索引序列(∏L，∏R)令左眼索引序列∏L＝i，然后對選擇到單目攝像機bi距離最接近雙目距離deve的單目攝像機bk，令∏R[i]＝k；雙目攝像機旋轉(zhuǎn)向量q(si)＝(q(bi)+q(bk))/2，中心位置c(si)＝(v(bi)+v(bk))/2，由此可確定雙目攝像機左右眼參數(shù)(q(si)，v(si))；3)用已知的(QS，VS)和(∏L，∏R)計算控制誤差E，若E在誤差允許范圍之內(nèi)，則直接進行下一步，否則，調(diào)整(QS，VS)和(∏L，∏R)的值使E減小至誤差允許范圍之內(nèi)；調(diào)整方法分兩步首先，固定(∏L，∏R)，調(diào)整(QS，VS)，得到使E最小的(QS，VS)，然后，固定(QS，VS)，調(diào)整(∏L，∏R)，得到使E最小的(∏L，∏R)；重復這兩個步驟直至E減少到誤差允許范圍之內(nèi)；4)依據(jù)索引序列(∏L，∏R)構(gòu)造雙目源圖像序列(Plwarp，Prwarp)，其中左眼源圖像序列Plwarp={pΠL[i]},]]>右眼源圖像序列Prwarp={pΠR[i]},]]>根據(jù)雙目攝像機參數(shù)序列(QS，VS)，對雙目源圖像序列(Plwarp，Prwarp)進行視圖變換，得到立體圖像序列(Plstereo，Prstereo)。
2.根據(jù)權(quán)利要求1所述的一種從單目圖像序列生成立體圖像序列的方法，其特征在于所述的控制誤差E(S，∏L，∏R)＝ES+EQ+(ECV+ECO)，包括以下幾個部分1)立體感誤差ESL(s)指雙目攝像機s的左眼攝像機，R(s)指雙目攝像機s的右眼攝像機δ(s,l,r)=||v(bi)-v(L(s))||N2+||v(br)-v(R(s))||2]]>ES(S,ΠL,ΠR)=Σi=1(δ(S[i],ΠL[i],ΠR[i]))]]>2)相似性誤差EQγ(s,l,r)=||q(s)-q(bi)||2+||q(s)-q(br)||2]]>EQ(S,ΠL,ΠR)=Σi=1N(γ(S[i],Πl[i],Πr[i])]]>3)方向連續(xù)性誤差ECOECQ(S,ΠL,ΠR)=Σi=2N-1||2q(si)-q(si+1)-q(si-1)||2]]>4)位置連續(xù)性誤差ECVECV(S,ΠL,ΠR)=Σi=2N-1||2v(si)-v(si+1)-v(si-1)||2]]>+Σi=2N-1||2v(bΠL[i])-v(bΠL[i+1])-v(bΠL[i-1])||2]]>+Σi=2N-1||2v(bΠR[i])-v(bΠR[i+1])-v(bΠR[i-1])||2.]]>
3.根據(jù)權(quán)利要求1所述的一種從單目圖像序列生成立體圖像序列的方法，其特征在于所述的固定(∏L，∏R)，調(diào)整(QS，VS)，得到使E最小的(QS，VS)的方法可以是固定(∏L，∏R)，以E為目標函數(shù)，使用非線性最優(yōu)化方法調(diào)整(QS，VS)，得到使E最小的(QS，VS)。
4.根據(jù)權(quán)利要求1所述的一種從單目圖像序列生成立體圖像序列的方法，其特征在于所述的固定(QS，VS)，調(diào)整(∏L，∏R)，得到使E最小的(∏L，∏R)的方法可以是固定(QS，VS)，將(∏L，∏R)分段，每次同時調(diào)整其中某一段中的所有連續(xù)幀，同時每個∏L[i]，∏R[i]都在各自臨近的若干幀內(nèi)進行枚舉配對。對所有的情況重新計算控制誤差E，找出使E最小的一組作為調(diào)整結(jié)果。對每個分段逐個調(diào)整，直至全部調(diào)整完畢。
全文摘要
本發(fā)明公開了一種從單目圖像序列生成立體圖像序列的方法，包括四個步驟首先，由單目圖像序列創(chuàng)建對應的單目攝像機參數(shù)序列；接著構(gòu)造雙目攝像機序列、對應的參數(shù)序列和索引序列；然后，調(diào)整雙目攝像機參數(shù)序列和索引序列的值，使控制誤差在誤差允許范圍之內(nèi)；最后，依據(jù)索引序列構(gòu)造雙目源圖像序列，再根據(jù)雙目攝像機參數(shù)序列對雙目源圖像序列進行視圖變換，得到立體圖像序列。本發(fā)明針對現(xiàn)有立體視頻制作技術(shù)的高成本、制作方法復雜的缺點，提出一種把單目視頻轉(zhuǎn)化為立體視頻的方法，該方法不需要特殊硬件輔助、制作過程簡單、制作素材豐富且易獲得。
文檔編號H04N15/00GK1917658SQ200610052740
公開日2007年2月21日 申請日期2006年8月1日 優(yōu)先權(quán)日2006年8月1日
發(fā)明者華煒, 鮑虎軍, 章國鋒, 何治 申請人:杭州鐳星科技有限公司