一種基于融合深度線索的全自動二維轉(zhuǎn)三維方法和裝置制造方法
【專利摘要】本發(fā)明針對當(dāng)前全自動2D轉(zhuǎn)3D系統(tǒng)提取深度信息不準(zhǔn)確，立體感受不舒適等缺點，提出了一種融合運動視差和色彩兩種深度線索的全自動2D到3D的轉(zhuǎn)換方法和裝置。本發(fā)明將運動視差和色彩兩種深度線索以適當(dāng)?shù)姆绞饺诤掀饋碜鳛樘崛∩疃刃畔⒌囊罁?jù)，充分利用了兩種深度線索的優(yōu)勢，使提取的深度圖適用于更多的場景條件，更加準(zhǔn)確。用戶通過簡單的參數(shù)設(shè)置就對二維的圖片序列或者視頻進(jìn)行深度圖的提取，并能夠合成三維立體視頻，在三維視頻生成領(lǐng)域有著實際的應(yīng)用價值。
【專利說明】一種基于融合深度線索的全自動二維轉(zhuǎn)三維方法和裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種二維到三維視頻的全自動轉(zhuǎn)換技術(shù)，屬于圖像、多媒體信號處理

【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002] 隨著3D顯示技術(shù)的發(fā)展與3D顯示設(shè)備的普及，3D視頻內(nèi)容短缺的問題凸現(xiàn)出來。 使用現(xiàn)有的3D拍攝系統(tǒng)拍攝3D內(nèi)容由于需要消耗大量的人力物力而無法快速普及。近些 年來，2D轉(zhuǎn)3D技術(shù)逐漸興起并成為研究熱點，通過將現(xiàn)有的海量2D視頻內(nèi)容轉(zhuǎn)換為3D內(nèi) 容，能夠有效地解決3D視頻內(nèi)容短缺的問題，并且能夠促進(jìn)3D技術(shù)的進(jìn)一步發(fā)展。
[0003] 現(xiàn)有的2D轉(zhuǎn)3D技術(shù)按照人工參與程度分為以下三個種類：人工、半自動和全自 動。人工的方法是對圖像上不同的區(qū)域或者物體選擇不同的深度值來對像素進(jìn)行水平偏 移，但是這需要耗費大量的人力和物力。半自動的2D轉(zhuǎn)3D需要少量的人工手動修正。盡 管這種方法和手動方法相比已經(jīng)減少了人力的耗費，但是仍舊需要大量的人工工作。要將 大量的2D視頻以最經(jīng)濟(jì)的方式轉(zhuǎn)換為3D視頻，全自動的方法無疑是最受好評的方法。
[0004] 最常用的全自動的2D到3D視頻轉(zhuǎn)換的框架基本上包括兩部分：深度信息的提取 和根據(jù)已估計的深度信息和已知的視覺條件合成立體視圖。人通過左右眼的視差分辨出事 物的遠(yuǎn)近，從而產(chǎn)生立體感覺，事物的遠(yuǎn)近程度用深度信息來表示。在3D圖像處理領(lǐng)域，深 度信息用灰度值來表示，整幅圖像的深度信息組成了一幅灰度圖，也就是深度圖。在人類視 覺系統(tǒng)中，感知深度信息的線索很多，被稱之為深度線索。除了雙眼感知到的深度線索，從 單眼也能夠感知到深度，這類線索被稱為單眼深度線索。在將二維圖像轉(zhuǎn)換為三維圖像的 過程中，提取深度線索的依據(jù)常常是單眼深度線索。最重要的單眼深度線索有運動視差、圖 形線索（紋理，亮度等）、幾何模型等。
[0005] 運動視差這種深度線索是一種多幀的深度線索，利用了攝像機(jī)與場景的相對運動 關(guān)系。當(dāng)攝像機(jī)移動時，前后連續(xù)幀場景中物體運動幅度越大，則離攝像機(jī)越近，反之則越 遠(yuǎn)。跟蹤場景的運動需要利用運動估計的方法，通過運動估計來獲得物體的運動幅度。運 動估計的方法有很多種類，根據(jù)估計的精度不同可以分為基于塊、基于像素和基于亞像素 的運動估計，其中基于像素的運動估計能夠利用較低的運動復(fù)雜度獲得精度相對較高的運 動向量。
[0006] 利用色彩線索能夠估計邊緣和顏色域的深度信息。二維圖像物體的邊緣往往也是 深度圖像物體的邊緣；從顏色域上考慮，在自然場景中，高亮度的物體給人的感覺比低亮度 的物體給人的感覺更近一些，紅色等暖色給人的感覺要比藍(lán)色等冷色給人的感覺近一些。 因此，色彩線索也能作為深度提取的重要依據(jù)。YCbCr彩色空間廣泛應(yīng)用于數(shù)字視頻，亮度 信息用分量Y表示，彩色信息用兩個色差分量Cb和Cr來存儲，其中Cr指的紅色色度分量。 在應(yīng)用上很廣泛，JPEG、MPEG、DVD、攝影機(jī)、數(shù)字電視等皆采此一格式。
[0007] 現(xiàn)有的全自動2D轉(zhuǎn)3D的方法大多利用單個深度線索提取深度，無法獲得準(zhǔn)確的 深度信息，導(dǎo)致最終無法獲得舒適的立體視覺效果。運動視差雖然被稱為最可靠的深度線 索，但是無法用來估計靜止物體的深度。利用幾何透視來分配深度，幾何模型往往不具有普 適性，無法匹配所有幾何場景。而色彩線索往往由經(jīng)驗得出，對場景的要求更高，準(zhǔn)確性無 法保證?，F(xiàn)有的很多由2D轉(zhuǎn)3D獲得的3D視頻內(nèi)容很多都是由簡單的全自動的轉(zhuǎn)換方法 獲得的"偽"3D內(nèi)容，以此達(dá)到快速提高市場占有率的作用，雖然能夠讓消費者獲得立體視 覺體驗，卻無法提供舒適的視覺效果。然而，如果將多種深度線索以適當(dāng)?shù)姆绞饺诤蟻慝@取 深度圖，就能利用多種深度線索的優(yōu)勢來獲得更準(zhǔn)確的深度信息，從而合成質(zhì)量更高的三 維視圖。


【發(fā)明內(nèi)容】

[0008] 本發(fā)明針對當(dāng)前全自動2D轉(zhuǎn)3D系統(tǒng)提取深度信息不準(zhǔn)確，立體感受不舒適等缺 點，提出了一種融合運動視差和Cr色度分量兩種深度線索的全自動2D到3D的轉(zhuǎn)換方法和 裝置。本發(fā)明將運動視差和Cr色度分量兩種深度線索以適當(dāng)?shù)姆绞饺诤掀饋碜鳛樘崛∩?度信息的依據(jù)，充分利用了兩種深度線索的優(yōu)勢，使提取的深度圖適用于更多的場景條件， 更加準(zhǔn)確。用戶利用本裝置根據(jù)對視頻場景的主觀感受進(jìn)行簡單的參數(shù)設(shè)置就可以對二維 的圖片序列或者視頻進(jìn)行深度圖的提取，并能夠合成三維立體視頻。
[0009] 本發(fā)明采用的技術(shù)方案為：
[0010] 一種基于融合深度線索的全自動2D轉(zhuǎn)3D方法，根據(jù)運動視差和Cr色度分量兩種 深度線索的適當(dāng)組合提取深度圖，然后利用基于深度圖的渲染（DIBR)技術(shù)合成立體視圖， 其特征在于：利用光流的方法計算運動向量，將運動向量量化為深度值；同時利用原始二 維圖像的Cr色度分量提取深度信息；最后將兩種深度值根據(jù)人工設(shè)置的權(quán)重進(jìn)行加權(quán)，從 而獲得融合的深度圖。具體步驟如下：
[0011] (1)利用光流的方法進(jìn)行運動估計：利用光流的方法對圖片序列或者視頻的當(dāng)前 幀和之后一幀進(jìn)行運動估計，為了提高計算速度，在運動估計之前對圖像進(jìn)行下采樣；
[0012] (2)將根據(jù)運動估計獲得的深度圖與Cr色差分量表示的深度圖進(jìn)行融合：根據(jù)運 動向量坐標(biāo)值計算前后兩幀對應(yīng)運動匹配點間的歐式距離，并根據(jù)映射函數(shù)量化為最大為 255的深度值，然后，提取當(dāng)前幀圖像的Cr色度分量的值作為根據(jù)Cr色度分量提取的深度 值，最后，將運動向量量化后的深度值和根據(jù)Cr色度分量提取的深度值按照人工設(shè)定的權(quán) 重進(jìn)行加權(quán)，獲得最終的融合深度圖；
[0013] (3)立體視圖合成：根據(jù)人工設(shè)置的最大視差，利用深度圖和原始二維視圖，通過 基于深度圖的渲染技術(shù)合成左右眼視圖。
[0014] 本發(fā)明的基于融合深度線索的全自動二維轉(zhuǎn)三維裝置，包括如下組成模塊：
[0015] (1)輸入模塊：該模塊可以將二維圖片序列和二維視頻作為視頻源導(dǎo)入，輸入模 塊能夠自動識別視頻格式和總幀數(shù)，并且能夠?qū)?D轉(zhuǎn)3D進(jìn)行參數(shù)設(shè)置；
[0016] (2)深度提取模塊：該模塊可以人工設(shè)定光流方法的搜索范圍和深度圖加權(quán)系 數(shù)，根據(jù)運動視差和色差分量兩種深度線索提取深度信息，進(jìn)行加權(quán)獲得融合的深度圖，并 且能獲得深度視頻；
[0017] (3)立體視圖合成模塊：該模塊可以人工設(shè)定最大視差范圍，利用DIBR的方法合 成二維圖像的左右眼視圖，使用3D顯示設(shè)備或者利用軟件合成紅藍(lán)視圖，以供在二維顯示 設(shè)備上進(jìn)行觀看。
[0018] 本發(fā)明將運動視差和Cr色度分量兩種深度線索以適當(dāng)?shù)姆绞饺诤掀饋碜鳛樘崛?深度信息的依據(jù)，充分利用了運動視差這種深度線索提取運動場景深度信息和Cr色度分 量這種色彩深度線索提取靜止場景深度信息的優(yōu)勢，使提取的深度圖適用于更多的場景條 件，更加準(zhǔn)確。用戶通過本發(fā)明裝置能夠方便地進(jìn)行參數(shù)設(shè)置，對二維的圖片序列或者視 頻進(jìn)行基于這兩種深度線索的深度圖的提取，并能夠根據(jù)設(shè)置的最大視差合成三維立體視 頻，在三維視頻生成領(lǐng)域有著實際的應(yīng)用價值。

【專利附圖】

【附圖說明】
[0019] 圖1是本發(fā)明的方法框圖；
[0020] 圖2是本發(fā)明的軟件開發(fā)界面，正在進(jìn)行的操作為深度圖的提?。?br> [0021] 圖3是本發(fā)明針對選取的單幀測試圖片獲得的實驗結(jié)果，左邊圖片為選取的測試 圖片的原始圖像，右邊圖像為本發(fā)明產(chǎn)生的深度圖。

【具體實施方式】
[0022] 本發(fā)明提出的全自動的二維轉(zhuǎn)三維方法具體流程如圖1所示，首先利用光流的方 法對第η和n+1幀進(jìn)行運動估計，對得出的運動向量計算歐式距離獲得基于運動視差的深 度圖。同時對第η幀圖像提取Cr色度分量，獲得基于色差的深度圖。然后，對兩個深度圖 根據(jù)設(shè)定權(quán)重進(jìn)行融合，獲得融合的深度圖。最后利用第η幀的二維原始圖像和深度圖根 據(jù)DIBR技術(shù)進(jìn)行立體合成，最終獲得左右眼立體視圖。
[0023] 本發(fā)明采用的深度提取方法是融合運動視差和色度分量的深度提取方法，為了提 高計算速度，在處理之前對圖像進(jìn)行四分之一下采樣，提取出的深度圖再進(jìn)行上采樣恢復(fù) 為原有分辨率。具體算法實現(xiàn)過程如下：
[0024] (1)利用光流的方法計算第η幀和第n+1幀的運動向量，根據(jù)獲得的運動向量計 算歐式距離。歐式距離越大，說明物體運動幅度越大，離攝像機(jī)也越近，以此為依據(jù)能夠估 計出場景中運動物體的深度。根據(jù)公式將計算出的歐氏距離量化成為〇?255之間的深度 值。公式如下：
[0025]

【權(quán)利要求】
1. 一種基于融合深度線索的全自動2D轉(zhuǎn)3D方法，根據(jù)運動視差和Cr色度分量兩種 深度線索的適當(dāng)組合提取深度圖，然后利用基于深度圖的渲染技術(shù)合成立體視圖，其特征 在于：利用光流的方法計算運動向量，將運動向量量化為深度值；同時利用原始二維圖像 的Cr色度分量提取深度信息；最后將兩種深度值根據(jù)人工設(shè)置的權(quán)重進(jìn)行加權(quán)，從而獲得 融合的深度圖，具體步驟如下： (1) 利用光流的方法進(jìn)行運動估計：利用光流的方法對圖片序列或者視頻的當(dāng)前幀和 之后一幀進(jìn)行運動估計，為了提高計算速度，在運動估計之前對圖像進(jìn)行下采樣； (2) 將根據(jù)運動估計獲得的深度圖與Cr色差分量表示的深度圖進(jìn)行融合：根據(jù)運動向 量坐標(biāo)值計算前后兩幀對應(yīng)運動匹配點間的歐式距離，并根據(jù)映射函數(shù)量化為最大為255 的深度值，然后，提取當(dāng)前幀圖像的Cr色度分量的值作為根據(jù)Cr色度分量提取的深度值， 最后，將運動向量量化后的深度值和根據(jù)Cr色度分量提取的深度值按照人工設(shè)定的權(quán)重 進(jìn)行加權(quán)，獲得最終的融合深度圖； (3) 立體視圖合成：根據(jù)人工設(shè)置的最大視差，利用深度圖和原始二維視圖，通過基于 深度圖的渲染技術(shù)合成左右眼視圖。
2. -種基于融合深度線索的全自動2D轉(zhuǎn)3D裝置，包括如下組成模塊： (1) 輸入模塊：該模塊可以將二維圖片序列和二維視頻作為視頻源導(dǎo)入，輸入模塊能 夠自動識別視頻格式和總幀數(shù)，并且能夠?qū)?D轉(zhuǎn)3D進(jìn)行參數(shù)設(shè)置； (2) 深度提取模塊：該模塊可以人工設(shè)定光流方法的搜索范圍和深度圖加權(quán)系數(shù)，根 據(jù)運動視差和色差分量兩種深度線索提取深度信息，進(jìn)行加權(quán)獲得融合的深度圖，并且能 獲得深度視頻； (3) 立體視圖合成模塊：該模塊可以人工設(shè)定最大視差范圍，利用基于深度圖的渲染 技術(shù)合成二維圖像的左右眼視圖，使用3D顯示設(shè)備或者利用軟件合成紅藍(lán)視圖，以供在二 維顯示設(shè)備上進(jìn)行觀看。
3. 據(jù)權(quán)利要求2所述的一種基于融合深度線索的全自動2D轉(zhuǎn)3D裝置，其特征在于： 具有暫停、保存和導(dǎo)入功能，當(dāng)轉(zhuǎn)換過程較長時，可以對轉(zhuǎn)換過程進(jìn)行暫停和保存，等下次 可以對未完成的轉(zhuǎn)換任務(wù)的參數(shù)文件進(jìn)行導(dǎo)入并繼續(xù)任務(wù)。
【文檔編號】H04N15/00GK104052990SQ201410308547
【公開日】2014年9月17日 申請日期:2014年6月30日 優(yōu)先權(quán)日:2014年6月30日
【發(fā)明者】劉琚, 曹廣昊 申請人:山東大學(xué)