一種用于車載多目攝像機(jī)環(huán)視系統(tǒng)的虛擬視點(diǎn)合成方法
【專利摘要】本發(fā)明一種用于車載多目攝像機(jī)環(huán)視系統(tǒng)的虛擬視點(diǎn)合成方法，包括如下步驟；S1向環(huán)視系統(tǒng)中輸入左右視點(diǎn)參考圖像，進(jìn)行視差估計(jì)得到左右視點(diǎn)深度圖；S2根據(jù)左右視點(diǎn)深度圖，分別對(duì)應(yīng)生成左右視點(diǎn)預(yù)測(cè)深度圖；S3根據(jù)左右視點(diǎn)參考圖像及其對(duì)應(yīng)的左右視點(diǎn)預(yù)測(cè)深度圖，分別生成左右視點(diǎn)預(yù)測(cè)圖；S4利用左右視點(diǎn)預(yù)測(cè)圖，合成虛擬視點(diǎn)圖像。通過引入深度可信圖的思想，利用深度可信圖生成遮擋圖，而該遮擋圖能夠清楚準(zhǔn)確地描述出在合成虛擬視點(diǎn)圖像時(shí)，插值信息應(yīng)該來自哪個(gè)視點(diǎn)的具體什么區(qū)域。理論和實(shí)驗(yàn)結(jié)果證明，這種方法能夠有效的得出遮擋區(qū)域，提高虛擬視點(diǎn)合成圖像的質(zhì)量，而現(xiàn)有方法都無(wú)法有效地檢測(cè)，跟無(wú)法得到高質(zhì)量的虛擬視點(diǎn)圖像。
【專利說明】一種用于車載多目攝像機(jī)環(huán)視系統(tǒng)的虛擬視點(diǎn)合成方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及虛擬視點(diǎn)合成【技術(shù)領(lǐng)域】，具體為一種用于車載多目攝像機(jī)環(huán)視系統(tǒng)的虛擬視點(diǎn)合成方法。
【背景技術(shù)】
[0002]虛擬視點(diǎn)合成技術(shù)是指利用兩個(gè)或多個(gè)來自于同一場(chǎng)景的真實(shí)視點(diǎn)圖像生成一個(gè)新視點(diǎn)的圖像。它在環(huán)境認(rèn)知、虛擬現(xiàn)實(shí)、地理信息系統(tǒng)、遠(yuǎn)程視頻會(huì)議、軍事、醫(yī)療、教育、娛樂和影視特技等多個(gè)領(lǐng)域都有著廣泛的應(yīng)用。基于深度圖的繪制(Depth ImageBased Rendering,DIBR)技術(shù)是虛擬視點(diǎn)合成技術(shù)中最有發(fā)展前景的技術(shù)之一。該技術(shù)根據(jù)參考圖像的深度信息和攝像機(jī)參數(shù)，通過3D圖像映射，將參考圖像投影到目標(biāo)圖像坐標(biāo)系，能夠?qū)崿F(xiàn)任意視點(diǎn)虛擬圖像的快速繪制。然而，單一地通過DIBR技術(shù)合成的虛擬視點(diǎn)圖像的質(zhì)量往往并不理想，存在的主要問題是空洞問題、重疊問題和重采樣問題。
[0003]空洞問題是虛擬視點(diǎn)合成的最大難點(diǎn)所在?，F(xiàn)在對(duì)空洞問題的研究已經(jīng)有很多。預(yù)處理法是對(duì)場(chǎng)景深度圖像采用二維非對(duì)稱高斯濾波器通過平滑預(yù)處理的方法以改善其不連續(xù)性，這種方法可以較好地改善深度的不連續(xù)性，并能最大程度地保留物體邊緣信息。但從客觀上來說，由于對(duì)深度光滑已完全改變了三維場(chǎng)景中物體的實(shí)際深度，所以這種方法會(huì)導(dǎo)致繪制出的圖像中的物體出現(xiàn)嚴(yán)重的變形，合成圖像的視覺效果也會(huì)大大降低。圖像修復(fù)(Image Inpainting)是利用背景、紋理和相鄰像素對(duì)虛擬視點(diǎn)圖像中的空洞進(jìn)行填充。這類方法對(duì)復(fù)雜度比較高的場(chǎng)景進(jìn)行視點(diǎn)生成時(shí)，不僅合成的效果比較差，而且計(jì)算復(fù)雜度也特別高。
[0004]解決重疊問題的最簡(jiǎn)便易行的算法是簡(jiǎn)單的順序繪制。這種方法假設(shè)了在DIBR映射時(shí)，虛擬視點(diǎn)中物體的左右關(guān)系與在參考視點(diǎn)中的順序基本相同。當(dāng)兩個(gè)物體的景深差別不大時(shí)，這種左右位置關(guān)系可以較好地維持應(yīng)有的順序而不改變。然而，如果它們?cè)谌S空間中的深度相差較大，那么這兩個(gè)物體經(jīng)過DIBR映射后，其空間位置排列順序就有可能會(huì)被顛倒。也就是說，DIBR在合成虛擬視點(diǎn)圖像時(shí)，可能會(huì)錯(cuò)誤地把參考視點(diǎn)圖像中原來在相對(duì)右邊的物體映射到了左邊。因此，雖然這種順序繪制的視點(diǎn)合成算法簡(jiǎn)單易行，但在解決重疊問題時(shí)效果并不理想。Chen等提出了另一種視點(diǎn)獨(dú)立可見優(yōu)先算法。但這種算法也不能完全解決重疊問題。比較常用并且有效的算法是Z-Buffer算法。該方法首先需要為虛擬視點(diǎn)圖像平面上的所有像素點(diǎn)開辟一個(gè)適當(dāng)大小的緩存。當(dāng)繪制新視點(diǎn)時(shí)，就可以把與虛擬視點(diǎn)圖像中的該像素對(duì)應(yīng)的在參考視點(diǎn)圖像中的像素點(diǎn)的深度值存儲(chǔ)到與其對(duì)應(yīng)的緩存中。因此，虛擬視點(diǎn)圖像中該像素點(diǎn)的像素值，可在該像素點(diǎn)對(duì)應(yīng)的緩存內(nèi)通過選擇具有最小深度值的像素點(diǎn)作為虛擬視點(diǎn)圖像中該像素點(diǎn)的估計(jì)值。該方法能夠比較有效地解決重疊問題，算法復(fù)雜度也較低。然而，該算法的不足之處就是需要開辟一些存儲(chǔ)空間，從而能夠?yàn)樘摂M視點(diǎn)圖像平面中的所有像素分配一個(gè)適當(dāng)大小的緩存。
[0005]解決重采樣的算法已有很多種。最臨近點(diǎn)插值法簡(jiǎn)單地把非整數(shù)點(diǎn)的像素值賦值給臨近的整數(shù)點(diǎn)。然而，這種方法通常會(huì)導(dǎo)致虛擬視點(diǎn)圖像出現(xiàn)細(xì)小的空洞，降低了的合成圖像的視覺效果。子像素視點(diǎn)合成算法在合成前對(duì)參考圖像進(jìn)行上采樣，以增加3D映射時(shí)圖像的分辨率，然后對(duì)合成后的結(jié)果進(jìn)行下采樣得到最終的虛擬視點(diǎn)圖像。由于這種方法是對(duì)參考圖像上采樣后的圖像進(jìn)行處理，因而合成時(shí)的計(jì)算量將會(huì)大大地增加。

【發(fā)明內(nèi)容】

[0006]針對(duì)現(xiàn)有技術(shù)中存在的問題，本發(fā)明的目的在于提供一種用于車載多目攝像機(jī)環(huán)視系統(tǒng)的虛擬視點(diǎn)合成方法，合成效果好，虛擬視點(diǎn)圖像質(zhì)量高，能夠用于道路交通視景中。
[0007]本發(fā)明是通過以下技術(shù)方案來實(shí)現(xiàn):
[0008]一種用于車載多目攝像機(jī)環(huán)視系統(tǒng)的虛擬視點(diǎn)合成方法，包括如下步驟；
[0009]步驟SI:向環(huán)視系統(tǒng)中輸入左右視點(diǎn)參考圖像，進(jìn)行視差估計(jì)得到左右視點(diǎn)深度圖；
[0010]步驟S2:根據(jù)左右視點(diǎn)深度圖，分別對(duì)應(yīng)生成左右視點(diǎn)預(yù)測(cè)深度圖；步驟S3:根據(jù)左右視點(diǎn)參考圖像及其對(duì)應(yīng)的左右視點(diǎn)預(yù)測(cè)深度圖，分別生成左右視點(diǎn)預(yù)測(cè)圖；步驟S4:利用左右視點(diǎn)預(yù)測(cè)圖，合成虛擬視點(diǎn)圖像；合成時(shí)步驟如下；
[0011]步驟S41，根據(jù)左右視點(diǎn)深度圖，計(jì)算得到左右視點(diǎn)深度可信圖，
[0012]左視點(diǎn)深度可信圖計(jì)算公式為:
[0013]
【權(quán)利要求】
1.一種用于車載多目攝像機(jī)環(huán)視系統(tǒng)的虛擬視點(diǎn)合成方法，其特征在于，包括如下步驟； 步驟S1:向環(huán)視系統(tǒng)中輸入左右視點(diǎn)參考圖像，進(jìn)行視差估計(jì)得到左右視點(diǎn)深度圖；步驟S2:根據(jù)左右視點(diǎn)深度圖，分別對(duì)應(yīng)生成左右視點(diǎn)預(yù)測(cè)深度圖；步驟S3:根據(jù)左右視點(diǎn)參考圖像及其對(duì)應(yīng)的左右視點(diǎn)預(yù)測(cè)深度圖，分別生成左右視點(diǎn)預(yù)測(cè)圖；步驟S4:利用左右視點(diǎn)預(yù)測(cè)圖，合成虛擬視點(diǎn)圖像；合成時(shí)步驟如下； 步驟S41，根據(jù)左右視點(diǎn)深度圖，計(jì)算得到左右視點(diǎn)深度可信圖， 左視點(diǎn)深度可信圖計(jì)算公式為:
2.根據(jù)權(quán)利要求1所述的一種用于車載多目攝像機(jī)環(huán)視系統(tǒng)的虛擬視點(diǎn)合成方法，其特征在于，步驟S2包括如下步驟； 步驟S21，根據(jù)左右視點(diǎn)深度圖，利用正向映射方法分別計(jì)算出左右視點(diǎn)在虛擬視點(diǎn)處的左右視點(diǎn)預(yù)測(cè)深度圖； 步驟S22，采用中值濾波法去除正向映射過程中在左右視點(diǎn)預(yù)測(cè)深度圖中形成的細(xì)小空洞區(qū)域，其中細(xì)小空洞區(qū)域指寬度小于5個(gè)像素的空洞區(qū)域。
3.根據(jù)權(quán)利要求2所述的一種用于車載多目攝像機(jī)環(huán)視系統(tǒng)的虛擬視點(diǎn)合成方法，其特征在于，步驟S2還包括步驟S23，在正向映射過程中采用基于距離和深度的子像素加權(quán)算法；步驟S23包括如下步驟， 步驟S231，采用基于距離和深度的點(diǎn)集篩選方法獲取有效候選點(diǎn)點(diǎn)集，具體如下； 虛擬視點(diǎn)圖像中某個(gè)位于整數(shù)坐標(biāo)xO的像素點(diǎn)的候選點(diǎn)集S為:
S= {x I X-X01〈1} (I); 式中:?為虛擬視點(diǎn)圖像中某個(gè)目標(biāo)像素點(diǎn)的整數(shù)坐標(biāo)的水平分量；X為從參考圖像映射到虛擬視點(diǎn)圖像并位于Xtl附近的像素點(diǎn)的浮點(diǎn)坐標(biāo)的水平分量；s為Xtl的候選浮點(diǎn)坐標(biāo)點(diǎn)集； 且S由重疊點(diǎn)集A和重采樣點(diǎn)集B構(gòu)成，則S為: S=A U B (2)； a.采用基于距離的方法對(duì)重疊點(diǎn)集進(jìn)行分類，對(duì)應(yīng)于虛擬視點(diǎn)圖像中的浮點(diǎn)坐標(biāo)xk，其重疊點(diǎn)集Ak為:
Ak= {x I I x-xk| < a and | χ-χ01〈1}，k=l, 2,..., K (3)； 其中:Ixk-XciRl (4)； 式中:α為閾值，用于判斷處于位置X的像素點(diǎn)是否屬于Ak ;Κ為對(duì)應(yīng)于Xtl的重疊點(diǎn)集的個(gè)數(shù)，由統(tǒng)計(jì)方法得到； 重疊點(diǎn)集A又能夠表示為: A= {χ IA1 U A2 U …U Ακ} (5)； b.采用基于深度的方法對(duì)Ak進(jìn)行篩選得到有效重疊點(diǎn)集Ak’，Ak’表示為:
A，k={x| D(x, y) -Dmin；k(x, y) I < β andx e Aj , k=l, 2，...，K (6)；
其中:Dmin,k(x，y) =min{D(x, y) I x e Ak} (7)； 式中:D(x，y)為在參考圖像中與虛擬視點(diǎn)圖像中點(diǎn)(x，y)對(duì)應(yīng)的像素點(diǎn)的深度值；β為閾值，用于判斷處于位置χ的像素點(diǎn)是否屬于Ak’，由統(tǒng)計(jì)方法得到；C.根據(jù)式(6)和式(7)，有效重疊點(diǎn)集A’表示為: Aj=(X)Aj1 U Aj2 U...U A，J (8)； d.虛擬視點(diǎn)圖像中位于整數(shù)坐標(biāo)Xtl的像素的有效候選點(diǎn)集S’為: S，=A，U B (9)； 步驟S232:通過子像素權(quán)重模型進(jìn)行插值計(jì)算，得到虛擬視點(diǎn)圖像中位于整數(shù)位置點(diǎn)的像素預(yù)測(cè)值，具體如下； A.建立基于Xtl與χ之間距離的權(quán)重模型:
p(x,X0) = eF 41 q* —e 1,% ( 10) 式中:P (x, X0)為映射到點(diǎn)X的像素在虛擬視點(diǎn)圖像合成時(shí)對(duì)位于整數(shù)點(diǎn)Xtl的權(quán)重，C0為常數(shù)項(xiàng)； B.根據(jù)步驟A中的權(quán)重模型，得到虛擬視點(diǎn)圖像中位于整數(shù)位置的Xtl的像素點(diǎn)的預(yù)測(cè)值為，
(w)=I: 式中.X (x0, y)為虛擬視點(diǎn)圖像中點(diǎn)(Xo，y)處的像素預(yù)測(cè)值；x(x，y)為在參考圖像中對(duì)應(yīng)于虛擬視點(diǎn)圖像中點(diǎn)(x，y)處的像素值。
4.根據(jù)權(quán)利要求3所述的一種用于車載多目攝像機(jī)環(huán)視系統(tǒng)的虛擬視點(diǎn)合成方法，其特征在于，所述的公式(10)中取Ctl=0.1。
5.根據(jù)權(quán)利要求1-4中任意一項(xiàng)所述的一種用于車載多目攝像機(jī)環(huán)視系統(tǒng)的虛擬視點(diǎn)合成方法，其特征在于，步驟Si中，利用圖割的方法對(duì)輸入的左右視點(diǎn)參考圖像進(jìn)行視差估計(jì)。
6.根據(jù)權(quán)利要求1-4中任意一項(xiàng)所述的一種用于車載多目攝像機(jī)環(huán)視系統(tǒng)的虛擬視點(diǎn)合成方法，其特征在于，步驟S3中，采用逆向映射的方法分別生成從左右視點(diǎn)預(yù)測(cè)圖。
【文檔編號(hào)】G06T5/00GK103581651SQ201310518794
【公開日】2014年2月12日 申請(qǐng)日期:2013年10月28日 優(yōu)先權(quán)日:2013年10月28日
【發(fā)明者】劉躍虎, 來毅, 張馳, 蘇遠(yuǎn)歧 申請(qǐng)人:西安交通大學(xué)