專利名稱：復雜場景的二維視頻轉(zhuǎn)換為三維視頻的方法及系統(tǒng)的制作方法
技術領域：
本發(fā)明屬于視頻轉(zhuǎn)換技術領域，涉及一種視頻轉(zhuǎn)換方法，尤其涉及一種復雜場景 的二維視頻轉(zhuǎn)換為三維視頻的方法；同時，本發(fā)明還涉及上述方法對應的視頻轉(zhuǎn)換系統(tǒng)。
背景技術：
在3D硬件顯示設備日趨成熟的背景下，對3D視頻數(shù)據(jù)的需求量迅猛增長。利用 3D攝像機拍攝新的3D視頻是一種提供數(shù)據(jù)的可行方式，但這種方式成本較高，并且無法利 用已經(jīng)存在的海量2D視頻數(shù)據(jù)。因此將已有的2D視頻轉(zhuǎn)換為3D視頻的技術有著巨大的 市場需求。二維數(shù)據(jù)轉(zhuǎn)換成三維數(shù)據(jù)的方法和裝置已經(jīng)有一些公開文獻。如中國臺灣的廣達電腦股份有限公司申請的專利“可自動將二維影像轉(zhuǎn)換為三維影 像的方法”(公開號CN101211463)利用在2D影像中圈選對象、設定基線、給予物件位移量 等操作轉(zhuǎn)換3D視頻，該方案實際上需要人工干預，對復雜場景的視頻效率較低。上海交通大學申請的專利“二維圖像序列三維重建方法”(公開號CN1588452)從 二維圖像序列中分割出感興趣的對象并構造三維體數(shù)據(jù)，最終采用計算機繪制手段將三維 物體繪制出來，但該方法的最終輸出是圖形數(shù)據(jù)，而不是3D視頻。福州華映視訊有限公司申請的專利“將二維影像轉(zhuǎn)換為三維影像的方法”(公開號 CN101593349)將二維影像轉(zhuǎn)換為灰階影像再提取深度值，利用的信息量小，適用范圍比較 有限。美國奧拉西伊公司的專利“用于自動進行二維和三維轉(zhuǎn)換的方法”(公開號 CN1524249)提供了一種用于控制已知的光學原理來將單個主圖像轉(zhuǎn)換成多個圖像的方法， 該專利是針對圖像的技術，沒有利用視頻的相關性信息。日本三洋電機株式會社的專利“將二維圖像轉(zhuǎn)換成三維圖像的方法”(公開號 CNl 126344)同樣是關于圖像的轉(zhuǎn)換方法，沒有利用視頻信息。韓國三星電子株式會社的專利“從二維圖像產(chǎn)生三維圖像的裝置及其方法”(公開 號CN1426024)，該方案根據(jù)圖像的照明特征利用濾波器生成三維圖像。荷蘭皇家飛利浦電子股份有限公司申請的專利“將二維視頻轉(zhuǎn)換為三維視頻的方 法和系統(tǒng)”(公開號CN101563935)，該方案根據(jù)對場景的音頻信息的分析來制定該場景的視 覺深度。美國切克梅特國際公司的專利“用于從二維視頻源中合成出三維視頻的系統(tǒng)和方 法”(公開號CN1244278)對來自二維視頻源的幀進行數(shù)字化并將其分解為多個場，隨后對 這些場單獨進行處理并對其進行變換以引入在與其它場組接在一起時可被觀察者理解為 三維圖像的視覺線索。由此可見，上述方案所公開的技術方案中，還沒有將包含有復雜場景的二維視頻 (如內(nèi)容豐富的平面電視和平面電影信號)轉(zhuǎn)換為三維視頻的方案。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術問題是提供一種復雜場景的二維視頻轉(zhuǎn)換為三維視頻的 方法，可將復雜場景的二維視頻轉(zhuǎn)換成三維視頻。此外，本發(fā)明進一步提供上述方法對應的視頻轉(zhuǎn)換系統(tǒng)，可將復雜場景的二維視 頻轉(zhuǎn)換成三維視頻。為解決上述技術問題，本發(fā)明采用如下技術方案一種復雜場景的二維視頻轉(zhuǎn)換為三維視頻的方法，所述方法包括如下步驟步驟1、對輸入的二維視頻作場景分割，把每一幀分割為前景部分和背景部分；步驟2、判斷前景目標的類型，如果目標的先驗模型未知，則利用視頻相鄰幀之間 的光流信息進行前景的三維重建；如果目標的先驗模型已知，則利用目標的先驗模型進行 前景的三維重建；步驟3、判斷背景是否運動，如果背景運動，則利用基于運動的重建方法進行背景 的三維重建；如果背景靜止，則利用基于影調(diào)的重建方法進行背景的三維重建；步驟4、將步驟2得到的三維重建結果合成三維前景；步驟5、將步驟3得到的三維重建結果合成三維背景；步驟6、將步驟4得到的三維前景和步驟5得到的三維背景合成三維視頻輸出。作為本發(fā)明的一種優(yōu)選方案，所述前景部分指視頻中離攝像機近并且是視頻內(nèi)容 所要關心的主要目標的部分；所述背景部分指視頻中離攝像機遠并且非視頻內(nèi)容所要關心 的主要目標的部分。作為本發(fā)明的一種優(yōu)選方案，所述步驟1中的分割方法為利用基于彩色信息或 基于運動信息的分割方法。作為本發(fā)明的一種優(yōu)選方案，所述步驟6中，輸出形式是將輸入的2D視頻的每一 幀作為3D視頻幀的其中一個視圖，而新生成的幀作為3D視頻幀的另一個視圖，兩個視圖一 起組成完整的3D視頻幀，并輸入到相應的3D視頻顯示裝置進行顯示。作為本發(fā)明的一種優(yōu)選方案，所述步驟6中，輸出形式是在每一時刻新生成的兩 個幀作為該時刻3D視頻幀的左右視圖。—種復雜場景的二維視頻轉(zhuǎn)換為三維視頻的系統(tǒng)，所述系統(tǒng)包括場景分割單元，用以對輸入的二維視頻作場景分割，把每一幀分割為前景部分和 背景部分；前景類型判斷單元，用以判斷前景目標的類型；前景重建單元，連接所述前景目標類型判斷單元，用以對前景進行三維重建；如果 目標的先驗模型未知，則利用視頻相鄰幀之間的光流信息進行前景的三維重建；如果目標 的先驗模型已知，則利用目標的先驗模型進行前景的三維重建；背景狀況判斷單元，用以判斷背景是否運動；背景重建單元，連接所述背景狀況判斷單元，用以對背景進行三維重建；如果背景 運動，則利用基于運動的重建方法進行背景的三維重建；如果背景靜止，則利用基于影調(diào)的 重建方法進行背景的三維重建；前景合成單元，用以將所述前景重建單元得到的三維重建結果合成三維前景；背景合成單元，用以將所述背景重建單元得到的三維重建結果合成三維背景；
整體場景合成單元，用以將前景合成單元、背景合成單元合成的三維前景和三維 背景合成三維視頻輸出。作為本發(fā)明的一種優(yōu)選方案，所述前景部分指視頻中離攝像機近并且是視頻內(nèi)容 所要關心的主要目標的部分；所述背景部分指視頻中離攝像機遠并且非視頻內(nèi)容所要關心 的主要目標的部分。作為本發(fā)明的一種優(yōu)選方案，所述場景分割單元的分割方法為利用基于彩色信 息或基于運動信息的分割方法。作為本發(fā)明的一種優(yōu)選方案，所述整體場景合成單元中，輸出形式是將輸入的2D 視頻的每一幀作為3D視頻幀的其中一個視圖，而新生成的幀作為3D視頻幀的另一個視圖， 兩個視圖一起組成完整的3D視頻幀，并輸入到相應的3D視頻顯示裝置進行顯示。作為本發(fā)明的一種優(yōu)選方案，所述整體場景合成單元中，輸出形式是在每一時刻 新生成的兩個幀作為該時刻3D視頻幀的左右視圖。本發(fā)明的有益效果在于本發(fā)明提出的復雜場景的二維視頻轉(zhuǎn)換為三維視頻的方 法及系統(tǒng)，可以對復雜場景的2D視頻實現(xiàn)高精度的3D轉(zhuǎn)換，能處理不同類型的目標和不同 類型的視頻，產(chǎn)生出效果逼真的3D視頻。本發(fā)明在實施的過程中對輸入的2D視頻不需要人工干預即可輸出3D視頻；在視 頻自動轉(zhuǎn)換的過程中不僅僅利用圖像灰度信息，還利用視頻幀間的光流等相關性信息、目 標的先驗模型、運動信息和影調(diào)信息等實現(xiàn)對2D視頻的高精度轉(zhuǎn)換，因此可以解決復雜場 景的2D視頻轉(zhuǎn)3D視頻的問題。本發(fā)明根據(jù)3D顯示設備的不同要求，3D視頻可以有不同的輸出形式。輸出形式包 括但不限于每一幀由左視圖和右視圖兩部分組成；包括但不限于直接輸出3D視頻中目標 的3D模型。


圖1為本發(fā)明二維視頻轉(zhuǎn)換為三維視頻的方法的流程圖。圖2為本發(fā)明二維視頻轉(zhuǎn)換為三維視頻系統(tǒng)的組成示意圖。
具體實施例方式下面結合附圖詳細說明本發(fā)明的優(yōu)選實施例。實施例一請參閱圖1，本發(fā)明揭示了一種復雜場景的二維視頻轉(zhuǎn)換為三維視頻的方法，所述 方法包括如下步驟步驟1對輸入的二維視頻作場景分割，把每一幀分割為前景部分和背景部分。上述前景部分指視頻中離攝像機較近并且是視頻內(nèi)容所要關心的主要目標，包括 但不限于人、動物、交通工具等。背景部分指視頻中離攝像機較遠并且非視頻內(nèi)容所要關心 的主要目標，包括但不限于建筑、山地、天空等。本發(fā)明對分割方法沒有具體限制，如，可以利用基于彩色信息或基于運動信息的 分割方法。當然，還可以用其他分隔方法。步驟2判斷前景目標的類型，如果目標的先驗模型未知，則利用視頻相鄰幀之間的光流信息進行前景的三維重建；如果目標的先驗模型已知，則利用目標的先驗模型進行
前景的三維重建。步驟3判斷背景是否運動，如果背景運動，則利用基于運動的重建方法進行背景 的三維重建；如果背景靜止，則利用基于影調(diào)的重建方法進行背景的三維重建。步驟4將步驟2得到的三維重建結果合成三維前景；步驟5將步驟3得到的三維重建結果合成三維背景。步驟6將步驟4得到的三維前景和步驟5得到的三維背景合成三維視頻輸出。為提高轉(zhuǎn)換效率，輸出形式可以是將輸入的2D視頻的每一幀作為3D視頻幀的其 中一個視圖(例如左視圖)，而新生成的幀作為3D視頻幀的另一個視圖(例如右視圖)，兩 個視圖一起組成完整的3D視頻幀，并輸入到相應的3D視頻顯示裝置進行顯示。當然，輸出形式也可以是在每一時刻新生成兩個幀作為該時刻3D視頻幀的左右 視圖。上述方法中，步驟2至步驟5的執(zhí)行順序可以不按照上述順序，如先執(zhí)行步驟3再 執(zhí)行步驟2，或者先執(zhí)行步驟2、步驟4，再執(zhí)行步驟3、步驟5，等等。以上揭示了本發(fā)明的復雜場景的二維視頻轉(zhuǎn)換為三維視頻的方法，本發(fā)明在揭示 上述方法的同時，還揭示上述方法對應的復雜場景的二維視頻轉(zhuǎn)換為三維視頻的系統(tǒng)。請參閱圖2，所述系統(tǒng)包括場景分割單元11、前景類型判斷單元12、前景重建單元 13、背景狀況判斷單元15、背景重建單元16、前景合成單元14、背景合成單元17、整體場景 合成單元18。場景分割單元11用以對輸入的二維視頻作場景分割，把每一幀分割為前景部分 和背景部分。所述場景分割單元的分割方法可以為利用基于彩色信息或基于運動信息的 分割方法；當然，分割方法還可以為其他方法。前景類型判斷單元12用以判斷前景目標的類型；將判斷得到的類型反饋至前景
重建單元。前景重建單元13連接所述前景目標類型判斷單元，用以對前景進行三維重建。如 果目標的先驗模型未知，則利用視頻相鄰幀之間的光流信息進行前景的三維重建；如果目 標的先驗模型已知，則利用目標的先驗模型進行前景的三維重建；背景狀況判斷單元15用以判斷背景是否運動；并將判斷結果反饋至背景重建單兀。背景重建單元16連接所述背景狀況判斷單元，用以對背景進行三維重建；如果背 景運動，則利用基于運動的重建方法進行背景的三維重建；如果背景靜止，則利用基于影調(diào) 的重建方法進行背景的三維重建。前景合成單元14用以將所述前景重建單元得到的三維重建結果合成三維前景。背景合成單元17用以將所述背景重建單元得到的三維重建結果合成三維背景。整體場景合成單元18用以將前景合成單元、背景合成單元合成的三維前景和三 維背景合成三維視頻輸出。所述整體場景合成單元中，輸出形式可以是將輸入的2D視頻的 每一幀作為3D視頻幀的其中一個視圖，而新生成的幀作為3D視頻幀的另一個視圖，兩個視 圖一起組成完整的3D視頻幀，并輸入到相應的3D視頻顯示裝置進行顯示。此外，所述整體 場景合成單元的輸出形式也可以是在每一時刻新生成兩個幀作為該時刻3D視頻幀的左右
7視圖。綜上所述，本發(fā)明的有益效果在于本發(fā)明提出的二維視頻轉(zhuǎn)換為三維視頻的方 法及系統(tǒng)，可以對復雜場景的2D視頻實現(xiàn)高精度的3D轉(zhuǎn)換，能處理不同類型的目標和不同 類型的視頻，產(chǎn)生出效果逼真的3D視頻。本發(fā)明在實施的過程中對輸入的2D視頻不需要人工干預即可輸出3D視頻；在視 頻自動轉(zhuǎn)換的過程中不僅僅利用圖像灰度信息，還利用視頻幀間的光流等相關性信息、目 標的先驗模型、運動信息和影調(diào)信息等實現(xiàn)對2D視頻的高精度轉(zhuǎn)換，因此可以解決復雜場 景的2D視頻轉(zhuǎn)3D視頻的問題。本發(fā)明根據(jù)3D顯示設備的不同要求，3D視頻可以有不同的輸出形式。輸出形式包 括但不限于每一幀由左視圖和右視圖兩部分組成；包括但不限于直接輸出3D視頻中目標 的3D模型。這里本發(fā)明的描述和應用是說明性的，并非想將本發(fā)明的范圍限制在上述實施例 中。這里所披露的實施例的變形和改變是可能的，對于那些本領域的普通技術人員來說實 施例的替換和等效的各種部件是公知的。本領域技術人員應該清楚的是，在不脫離本發(fā)明 的精神或本質(zhì)特征的情況下，本發(fā)明可以以其它形式、結構、布置、比例，以及用其它組件、 材料和部件來實現(xiàn)。在不脫離本發(fā)明范圍和精神的情況下，可以對這里所披露的實施例進 行其它變形和改變。
8
權利要求
一種復雜場景的二維視頻轉(zhuǎn)換為三維視頻的方法，其特征在于，所述方法包括如下步驟步驟1、對輸入的二維視頻作場景分割，把每一幀分割為前景部分和背景部分；步驟2、判斷前景目標的類型，如果目標的先驗模型未知，則利用視頻相鄰幀之間的光流信息進行前景的三維重建；如果目標的先驗模型已知，則利用目標的先驗模型進行前景的三維重建；步驟3、判斷背景是否運動，如果背景運動，則利用基于運動的重建方法進行背景的三維重建；如果背景靜止，則利用基于影調(diào)的重建方法進行背景的三維重建；步驟4、將步驟2得到的三維重建結果合成三維前景；步驟5、將步驟3得到的三維重建結果合成三維背景；步驟6、將步驟4得到的三維前景和步驟5得到的三維背景合成三維視頻輸出。
2.根據(jù)權利要求1所述的復雜場景的二維視頻轉(zhuǎn)換為三維視頻的方法，其特征在于 所述前景部分指視頻中離攝像機近并且是視頻內(nèi)容所要關心的主要目標的部分； 所述背景部分指視頻中離攝像機遠并且非視頻內(nèi)容所要關心的主要目標的部分。
3.根據(jù)權利要求1或2所述的復雜場景的二維視頻轉(zhuǎn)換為三維視頻的方法，其特征在于所述步驟6中，輸出形式是將輸入的2D視頻的每一幀作為3D視頻幀的其中一個視圖， 而新生成的幀作為3D視頻幀的另一個視圖，兩個視圖一起組成完整的3D視頻幀，并輸入到 相應的3D視頻顯示裝置進行顯示。
4.根據(jù)權利要求1或2所述的復雜場景的二維視頻轉(zhuǎn)換為三維視頻的方法，其特征在于所述步驟6中，輸出形式是在每一時刻新生成兩個幀作為該時刻3D視頻幀的左右視圖。
5.一種復雜場景的二維視頻轉(zhuǎn)換為三維視頻的系統(tǒng)，其特征在于，所述系統(tǒng)包括場景分割單元，用以對輸入的二維視頻作場景分割，把每一幀分割為前景部分和背景 部分；前景類型判斷單元，用以判斷前景目標的類型；前景重建單元，連接所述前景目標類型判斷單元，用以對前景進行三維重建；如果目標 的先驗模型未知，則利用視頻相鄰幀之間的光流信息進行前景的三維重建；如果目標的先 驗模型已知，則利用目標的先驗模型進行前景的三維重建； 背景狀況判斷單元，用以判斷背景是否運動；背景重建單元，連接所述背景狀況判斷單元，用以對背景進行三維重建；如果背景運 動，則利用基于運動的重建方法進行背景的三維重建；如果背景靜止，則利用基于影調(diào)的重 建方法進行背景的三維重建；前景合成單元，用以將所述前景重建單元得到的三維重建結果合成三維前景； 背景合成單元，用以將所述背景重建單元得到的三維重建結果合成三維背景； 整體場景合成單元，用以將前景合成單元、背景合成單元合成的三維前景和三維背景 合成三維視頻輸出。
6.根據(jù)權利要求5所述的復雜場景的二維視頻轉(zhuǎn)換為三維視頻的系統(tǒng)，其特征在于所述前景部分指視頻中離攝像機近并且是視頻內(nèi)容所要關心的主要目標的部分； 所述背景部分指視頻中離攝像機遠并且非視頻內(nèi)容所要關心的主要目標的部分。
7.根據(jù)權利要求5或6所述的復雜場景的二維視頻轉(zhuǎn)換為三維視頻的系統(tǒng)，其特征在于所述整體場景合成單元中，輸出形式是將輸入的2D視頻的每一幀作為3D視頻幀的其 中一個視圖，而新生成的幀作為3D視頻幀的另一個視圖，兩個視圖一起組成完整的3D視頻 幀，并輸入到相應的3D視頻顯示裝置進行顯示。
8.根據(jù)權利要求5或6所述的復雜場景的二維視頻轉(zhuǎn)換為三維視頻的系統(tǒng)，其特征在于所述整體場景合成單元中，輸出形式是在每一時刻新生成兩個幀作為該時刻3D視頻 幀的左右視圖。
全文摘要
本發(fā)明揭示了一種復雜場景的二維視頻轉(zhuǎn)換為三維視頻的方法及系統(tǒng)，所述方法包括如下步驟對輸入的二維視頻作場景分割，把每一幀分割為前景部分和背景部分；判斷前景目標的類型，并根據(jù)目標類型對前景進行三維重建；判斷背景是否運動，如果背景運動，則利用基于運動的重建方法進行背景的三維重建；如果背景靜止，則利用基于影調(diào)的重建方法進行背景的三維重建；將前景部分得到的三維重建結果合成三維前景；將背景部分得到的三維重建結果合成三維背景；將合成的三維前景和合成的三維背景合成三維視頻輸出。本發(fā)明可以對復雜場景的2D視頻實現(xiàn)高精度的3D轉(zhuǎn)換，能處理不同類型的目標和不同類型的視頻，產(chǎn)生出效果逼真的3D視頻。
文檔編號H04N13/00GK101917636SQ20101014589
公開日2010年12月15日 申請日期2010年4月13日 優(yōu)先權日2010年4月13日
發(fā)明者方勇, 王兆仲 申請人:上海易維視科技有限公司