專利名稱：一種二維到三維視頻轉(zhuǎn)換中的深度傳播方法
技術(shù)領(lǐng)域：
本發(fā)明涉及ニ維視頻到三維視頻半自動(dòng)轉(zhuǎn)換系統(tǒng)中的深度傳播技術(shù)，屬于視頻、多媒體信號(hào)處理技術(shù)領(lǐng)域。
背景技術(shù)：
由于三維視頻內(nèi)容的短缺，ニ維視頻到三維視頻的轉(zhuǎn)換技術(shù)越來(lái)越成為研究熱點(diǎn)。自動(dòng)的轉(zhuǎn)換技術(shù)雖然不用人工參與，但是得到的三維效果還不能滿足人們的要求，與其相比，半自動(dòng)的轉(zhuǎn)換技木通過(guò)增加少量的人力，卻能得到更為準(zhǔn)確的深度圖，因此，這種方法普遍被人接受。在半自動(dòng)的ニ維視頻到三維視頻轉(zhuǎn)換系統(tǒng)中，一般的做法是先是對(duì)整個(gè)視頻提 取關(guān)鍵巾貞，然后人工設(shè)定關(guān)鍵巾貞的深度，最后根據(jù)非關(guān)鍵巾貞與關(guān)鍵巾貞的相關(guān)性，通過(guò)深度傳播算法得到非關(guān)鍵幀的深度。在這個(gè)過(guò)程中，深度傳播算法至關(guān)重要。深度傳播性能直接關(guān)系到最終深度圖的質(zhì)量。在深度傳播的研究中，假定已經(jīng)選擇了關(guān)鍵幀并且關(guān)鍵幀的深度已知，非關(guān)鍵幀的深度需要通過(guò)深度傳播算法得到。ー些研究者提出采用基于運(yùn)動(dòng)矢量進(jìn)行深度搬移的算法，比如位移雙邊濾波(SBF)算法，該算法能比較好的解決視頻中運(yùn)動(dòng)的情況，但是該算法采用像素級(jí)別的深度搬移，導(dǎo)致算法很耗時(shí)，而且也不能解決物體前后移動(dòng)的帶來(lái)的深度誤差。也有ー些研究者將機(jī)器學(xué)習(xí)算法應(yīng)用到深度傳播當(dāng)中，采用先學(xué)習(xí)后預(yù)測(cè)的思路，但是該算法提出的特征矢量太簡(jiǎn)單，沒(méi)能取得很好的性能，而且機(jī)器學(xué)習(xí)算法復(fù)雜度太高。還有研究者提出將深度傳播問(wèn)題建模成ー個(gè)優(yōu)化問(wèn)題，此方法與本發(fā)明最為接近，能取得比較好的效果。但是整個(gè)鏡頭的所有幀都參與優(yōu)化，需要優(yōu)化的未知變量很多，這使得算法需要大量的存儲(chǔ)空間，而且優(yōu)化速度很慢。本發(fā)明針對(duì)當(dāng)前深度傳播算法處理速度慢、復(fù)雜度高等缺點(diǎn)，提出ー種基于優(yōu)化方法的快速深度傳播方法。本發(fā)明不僅能取得與SBF算法相似的性能，而且運(yùn)行速度提高5倍。本發(fā)明提供的算法能廣泛應(yīng)用于3D內(nèi)容生成、3DTV產(chǎn)業(yè)、3D廣播等相關(guān)領(lǐng)域。

發(fā)明內(nèi)容
根據(jù)深度一致性原理，本發(fā)明將半自動(dòng)ニ維轉(zhuǎn)三維系統(tǒng)中的深度傳播分解為關(guān)鍵幀與非關(guān)鍵幀之間匹配像素的深度搬移和非匹配像素的深度計(jì)算兩個(gè)部分，具體步驟為(I)匹配像素的深度搬移將關(guān)鍵幀與非關(guān)鍵幀做圖像匹配，對(duì)于高度匹配的像素，即匹配信度值大的像素，將關(guān)鍵幀中相應(yīng)像素的深度值直接作為非關(guān)鍵幀中相應(yīng)像素的深度值；(2)非匹配像素的深度計(jì)算對(duì)于剩余的不高度匹配的像素，通過(guò)求解有約束的優(yōu)化問(wèn)題得到非關(guān)鍵幀中相應(yīng)像素的深度值，其中優(yōu)化問(wèn)題為最小化當(dāng)前像素與鄰域窗ロ像素的加權(quán)深度值，約束條件為在非關(guān)鍵幀中那些能與關(guān)鍵幀高度匹配上的點(diǎn)被賦值為其對(duì)應(yīng)的深度值。
本發(fā)明無(wú)需人工參與，能自動(dòng)的傳播出關(guān)鍵幀之間的幀的深度圖。得到的深度圖質(zhì)量高，通過(guò)基于深度的渲染技術(shù)(DIBR)能得到的三維視頻完全符合虛擬視點(diǎn)領(lǐng)域?qū)μ摂M視頻質(zhì)量的要求。同時(shí)，本發(fā)明的算法比SBF算法的速度提高5倍，大大加速了ニ維轉(zhuǎn)三維轉(zhuǎn)換過(guò)程，從而節(jié)省了處理時(shí)間，節(jié)約了成本。


圖I是本發(fā)明的方法框圖。圖2是本發(fā)明針對(duì)測(cè)試圖片得到的深度圖。其中(a)是關(guān)鍵幀的彩色圖，(b)是非關(guān)鍵幀的彩色圖，(C)是將高度匹配像素點(diǎn)搬移之后得到的非關(guān)鍵幀的深度圖，Cd)是本發(fā)明通過(guò)優(yōu)化方法建模得到的最終的深度圖。
具體實(shí)施例方式本發(fā)明將半自動(dòng)ニ維轉(zhuǎn)三維系統(tǒng)中的深度傳播問(wèn)題分解為關(guān)鍵幀與非關(guān)鍵幀之間匹配像素的深度搬移和非匹配像素的深度計(jì)算兩個(gè)部分，將非匹配像素的深度計(jì)算建模成一個(gè)有約束的優(yōu)化問(wèn)題，采用最小ニ乘算法求得問(wèn)題的最優(yōu)解。整個(gè)過(guò)程無(wú)需人工參與，全自動(dòng)化。根據(jù)圖I中的方法框圖，本發(fā)明的深度傳播技術(shù)包括以下具體步驟I.匹配像素的深度搬移，該步驟的實(shí)現(xiàn)流程如下( I)在非關(guān)鍵幀和關(guān)鍵幀之間做圖像匹配，除了遮擋區(qū)域之外，非關(guān)鍵幀中的大部分像素點(diǎn)都能在關(guān)鍵巾貞中找到對(duì)應(yīng)點(diǎn)；(2)將非關(guān)鍵幀中與關(guān)鍵幀高度匹配上的像素點(diǎn)的深度賦值為關(guān)鍵幀中對(duì)應(yīng)點(diǎn)的深度值，所謂的高度匹配是指匹配信度值大。得到的非關(guān)鍵幀的深度圖如圖2(c)。由于非關(guān)鍵幀與關(guān)鍵幀之間的高度相關(guān)性，非關(guān)鍵幀中的大部分像素點(diǎn)都已傳播出深度值；2.非匹配像素的深度計(jì)算，將問(wèn)題建模成一個(gè)有約束的優(yōu)化問(wèn)題并求解，具體實(shí)現(xiàn)流程如下(I)優(yōu)化問(wèn)題建模根據(jù)深度一致性原理，即如果相鄰像素的顔色值或亮度值類(lèi)似，那么他們的深度值也要保持一致，本發(fā)明將非關(guān)鍵幀剩余像素的深度傳播問(wèn)題建模成一個(gè)有約束的優(yōu)化問(wèn)題。優(yōu)化函數(shù)通過(guò)最小化像素r的深度與其相鄰像素的加權(quán)深度之間的差異，約束條件是在非關(guān)鍵幀中那些能與關(guān)鍵幀高度匹配上的點(diǎn)被賦值為其對(duì)應(yīng)的深度值。該優(yōu)化問(wèn)題的完整的公式表達(dá)如下
權(quán)利要求
1.一種ニ維到三維視頻轉(zhuǎn)換中的深度傳播方法，其特征是 根據(jù)深度一致性原理，將半自動(dòng)ニ維轉(zhuǎn)三維系統(tǒng)中的深度傳播分解為關(guān)鍵幀與非關(guān)鍵幀之間匹配像素的深度搬移和非匹配像素的深度計(jì)算兩個(gè)部分，具體步驟為 (1)匹配像素的深度搬移將關(guān)鍵幀與非關(guān)鍵幀做圖像匹配，對(duì)于高度匹配的像素，即匹配信度值大的像素，將關(guān)鍵幀中相應(yīng)像素的深度值直接作為非關(guān)鍵幀中相應(yīng)像素的深度值； (2)非匹配像素的深度計(jì)算對(duì)于剩余的不高度匹配的像素，通過(guò)求解有約束的優(yōu)化問(wèn)題得到非關(guān)鍵幀中相應(yīng)像素的深度值，其中優(yōu)化問(wèn)題為最小化當(dāng)前像素與鄰域窗ロ像素的加權(quán)深度值，約束條件為在非關(guān)鍵幀中那些能與關(guān)鍵幀高度匹配上的點(diǎn)被賦值為其對(duì)應(yīng)的深度值。
2.根據(jù)權(quán)利要求I所述的ニ維到三維視頻轉(zhuǎn)換中的深度傳播方法，其特征在于所述步驟(2)的優(yōu)化問(wèn)題是采用最小ニ乘算法求解的。
全文摘要
本發(fā)明提供應(yīng)用于半自動(dòng)二維轉(zhuǎn)三維系統(tǒng)中的深度傳播技術(shù)。該技術(shù)先通過(guò)圖像匹配技術(shù)將一部分像素的深度從關(guān)鍵幀傳播到非關(guān)鍵幀中，然后在非關(guān)鍵幀中，根據(jù)深度一致性原理，將問(wèn)題建模成一個(gè)有約束的優(yōu)化問(wèn)題，采用最小二乘算法求得此優(yōu)化問(wèn)題的最優(yōu)解。本發(fā)明提出的深度傳播技術(shù)不需用戶的任何參與就能得到高質(zhì)量的深度圖視頻，從而能轉(zhuǎn)換出高質(zhì)量的三維視頻，在三維內(nèi)容生成領(lǐng)域有廣泛的應(yīng)用價(jià)值。
文檔編號(hào)H04N13/00GK102695069SQ20121015937
公開(kāi)日2012年9月26日 申請(qǐng)日期2012年5月22日 優(yōu)先權(quán)日2012年5月22日
發(fā)明者任艷楠, 劉琚, 孫建德, 王地長(zhǎng)生, 葛川 申請(qǐng)人:山東大學(xué)