專利名稱：一種對(duì)dibr技術(shù)生成的目標(biāo)圖像進(jìn)行空洞填充的方法
技術(shù)領(lǐng)域：
本發(fā)明屬于3D電視系統(tǒng)中的基于深度圖像繪制(D印th-Image-Based Rendering,簡(jiǎn)稱DIBR)技術(shù)領(lǐng)域，更為具體地講，涉及一種對(duì)DIBR技術(shù)生成的目標(biāo)圖像進(jìn)行空洞填充的方法。
udes-uref ={-ιγ
2h_-
背景技術(shù)：
基于深度圖像繪制技術(shù)是根據(jù)參考圖像(reference image)及其對(duì)應(yīng)的深度圖像 (depth image)來(lái)生成一幅新的虛擬視點(diǎn)圖像，即目標(biāo)圖像(destination image) 0與利用左右兩路平面視頻合成三維影像即傳統(tǒng)三維視頻格式相比，采用DIBR技術(shù)之后僅需要傳遞一路視頻及其深度圖像序列就可合成三維影像，而且可以很方便的實(shí)現(xiàn)二維和三維的切換，同時(shí)避免了由傳統(tǒng)視圖生成方法所帶來(lái)的三維空間變換的計(jì)算復(fù)雜性。正因?yàn)槿绱耍?DIBR技術(shù)在3D電視合成三維影像中得到了廣泛應(yīng)用，它也引起了人們愈來(lái)愈濃厚的興趣。DIBR技術(shù)的核心步驟是三維圖像變換(3d image warping) 0三維圖像變換能夠?qū)⒖紙D像中的點(diǎn)投影到三維空間，再將三維空間中的點(diǎn)重投影到目標(biāo)圖像平面上，從而生成新視點(diǎn)視圖，即目標(biāo)圖像。三維圖像變換的公式如式(1)所示
0005
權(quán)利要求
1. 一種對(duì)DIBR技術(shù)生成的目標(biāo)圖像進(jìn)行空洞填充的方法，其特征在于，包括以下步驟(1)、檢測(cè)較大空洞按行以從左到右的順序遍歷視差圖，若連續(xù)出現(xiàn)閾值點(diǎn)數(shù)Ien bighole個(gè)及其以上的空洞點(diǎn)，則認(rèn)為此處是較大空洞，記錄下該較大空洞的起點(diǎn)和終點(diǎn)； O)、膨脹較大空洞區(qū)分目標(biāo)圖像是左視圖還是右視圖，如果是左視圖，執(zhí)行步驟a)；如圖是右視圖，執(zhí)行步驟b)；a)、首先區(qū)分較大空洞邊緣區(qū)域是背景像素點(diǎn)還是前景像素點(diǎn)以視差圖中的較大空洞區(qū)域?yàn)橹行模瑥淖笙蛴覚z測(cè)較大空洞右邊緣非空洞點(diǎn)的視差值變化，當(dāng)視差值在兩相繼的非空洞點(diǎn)處第一次出現(xiàn)躍變，并且躍變是從較小值躍變到較大值時(shí)，較大空洞右邊緣區(qū)域?yàn)楸尘跋袼攸c(diǎn)，并記錄下該較大視差值作為前景像素點(diǎn)視差值；當(dāng)視差值在兩相繼的非空洞點(diǎn)處第一次出現(xiàn)躍變，并且躍變是從較大值躍變到較小值，或者視差值一致沒有躍變時(shí)，較大空洞右邊緣區(qū)域?yàn)榍熬跋袼攸c(diǎn)，并記錄下第一個(gè)非空洞點(diǎn)的視差值作為前景像素點(diǎn)視差值；然后膨脹空洞邊緣若較大空洞右邊緣區(qū)域?yàn)楸尘跋袼攸c(diǎn)，則較大空洞左右邊緣為匹配誤差區(qū)域，需要進(jìn)行膨脹，將較大空洞的起點(diǎn)橫坐標(biāo)減去1個(gè)像素點(diǎn)和終點(diǎn)橫坐標(biāo)加上1 個(gè)像素點(diǎn)作為目標(biāo)圖像中需要填充的空洞的起點(diǎn)和終點(diǎn)；若較大空洞右邊緣區(qū)域?yàn)榍熬跋袼攸c(diǎn)，則較大空洞的左邊緣為匹配誤差區(qū)域，只膨脹較大空洞的左邊緣，將較大空洞的起點(diǎn)橫坐標(biāo)減去1個(gè)像素點(diǎn)和終點(diǎn)維持不變作為目標(biāo)圖像中需要填充的空洞的起點(diǎn)和終點(diǎn)；b)、首先區(qū)分較大空洞邊緣區(qū)域是背景像素點(diǎn)還是前景像素點(diǎn)以視差圖中的較大空洞區(qū)域?yàn)橹行模瑥挠蚁蜃髾z測(cè)較大空洞左邊緣非空洞點(diǎn)的視差值變化，當(dāng)視差值在兩相繼的非空洞點(diǎn)處第一次出現(xiàn)躍變時(shí)，并且躍變是從較大值躍變到較小值時(shí)，較大空洞左邊緣區(qū)域?yàn)楸尘跋袼攸c(diǎn)，并記錄下該較小視差值作為前景像素點(diǎn)視差值；當(dāng)視差值在兩相繼的非空洞點(diǎn)處第一次出現(xiàn)躍變，并且躍變是從較小值躍變到較大值，或者視差值一致沒有躍變，較大空洞左邊緣區(qū)域?yàn)榍熬跋袼攸c(diǎn)，并記錄下第一個(gè)非空洞點(diǎn)的視差值作為前景像素點(diǎn)視差值；然后膨脹較大空洞邊緣若較大空洞左邊緣區(qū)域?yàn)楸尘跋袼攸c(diǎn)，則較大空洞左右邊緣為匹配誤差區(qū)域，需要進(jìn)行膨脹，將較大空洞的起點(diǎn)橫坐標(biāo)減去1個(gè)像素點(diǎn)和終點(diǎn)橫坐標(biāo)加上1個(gè)像素點(diǎn)作為目標(biāo)圖像中需要填充的空洞的起點(diǎn)和終點(diǎn)；若較大空洞左邊緣區(qū)域?yàn)榍熬跋袼攸c(diǎn)，則較大空洞的右邊緣為匹配誤差區(qū)域，只膨脹較大空洞的右邊緣，將較大空洞的起點(diǎn)維持不變和終點(diǎn)橫坐標(biāo)加上1個(gè)像素點(diǎn)作為目標(biāo)圖像中需要填充的空洞的起點(diǎn)和在本步驟( 中，膨脹的像素點(diǎn)個(gè)數(shù)1為誤匹配像素點(diǎn)的個(gè)數(shù)，與深度圖像估計(jì)的準(zhǔn)確度有關(guān)，可根據(jù)生成的目標(biāo)圖像質(zhì)量來(lái)調(diào)節(jié)，取值范圍為0-7 ； (3)、填充較大空洞將目標(biāo)圖像中需要填充的空洞的起點(diǎn)、終點(diǎn)橫坐標(biāo)均減去前景像素點(diǎn)的視差值，得到需要在參考圖像中復(fù)制的像素點(diǎn)區(qū)域，然后，從參考圖像中復(fù)制該區(qū)域的像素點(diǎn)填充到目標(biāo)圖像中需要填充的空洞區(qū)域。
2.根據(jù)權(quán)利要求1所述的對(duì)DIBR技術(shù)生成的目標(biāo)圖像進(jìn)行空洞填充的方法，其特征在于，還包括步驟在視差圖中，將較小空洞的視差值d取為與較小空洞右邊緣第一個(gè)非空洞點(diǎn)的視差值，然后，依據(jù)視差值在參考圖像中，將對(duì)應(yīng)像素點(diǎn)填充到該較小空洞中即可。
3.根據(jù)權(quán)利要求1所述的對(duì)DIBR技術(shù)生成的目標(biāo)圖像進(jìn)行空洞填充的方法，其特征在于，在步驟(1)之前，在三維圖像變換過(guò)程中先將參考圖像復(fù)制到目標(biāo)圖像，再進(jìn)行三維圖像變換，然后將得到的目標(biāo)圖像采用步驟(1) (3)的方法進(jìn)行處理。
全文摘要
本發(fā)明公開了一種對(duì)DIBR技術(shù)生成的目標(biāo)圖像進(jìn)行空洞填充的方法，通過(guò)按行遍歷視差圖，檢測(cè)較大空洞；然后利用深度值區(qū)分空洞邊緣區(qū)域的前景像素點(diǎn)和背景像素點(diǎn)，確定匹配誤差區(qū)域，對(duì)較大空洞進(jìn)行膨脹，以去除較大空洞邊緣存在匹配誤差的像素點(diǎn)；最后從參考圖像中復(fù)制對(duì)應(yīng)的目標(biāo)圖像中需要填充的空洞區(qū)域，即背景像素點(diǎn)到目標(biāo)圖像中需要填充的空洞區(qū)域，完成空洞填充。本發(fā)明不需要預(yù)處理深度圖像，最大限度地保證了較大空洞區(qū)域的真實(shí)性，得到高質(zhì)量的目標(biāo)圖像。此外，沒有復(fù)雜的運(yùn)算操作，便于硬件的實(shí)現(xiàn)。同時(shí)，利用深度值區(qū)分前景和背景，確定匹配誤差區(qū)域，通過(guò)膨脹空洞的邊緣以消除/減少匹配誤差區(qū)域，實(shí)現(xiàn)了匹配誤差進(jìn)行校正。
文檔編號(hào)H04N13/00GK102307312SQ20111025578
公開日2012年1月4日 申請(qǐng)日期2011年8月31日 優(yōu)先權(quán)日2011年8月31日
發(fā)明者劉然, 劉陽(yáng), 甘平, 田逢春, 羅雯怡, 許小艷, 謝輝, 譚迎春, 邰國(guó)欽, 郭瑞麗, 魯國(guó)寧, 黃揚(yáng)帆 申請(qǐng)人:四川虹微技術(shù)有限公司, 重慶大學(xué)