專利名稱：一種用于視頻處理的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻處理。更具體地說，本發(fā)明涉及一種用于根據(jù)三維視頻輸入優(yōu)化 二維視頻顯示的方法和系統(tǒng)。
背景技術(shù)：
顯示設(shè)備，例如電視機(jī)(TVs)，可以被用來輸出或播放視聽或多媒體流，上述視聽 或多媒體流可以包括電視播送、電視廣播和/或來自一個(gè)或多個(gè)可用用戶設(shè)備的本地音頻 /視頻(A/V)材料(feeds)，這些用戶設(shè)備可以是例如錄像機(jī)(VCRs)和/或數(shù)字視頻光盤 (DVD)播放器。電視廣播和/或視聽的或多媒體的材料可以被直接輸入電視機(jī)，或者可以通 過一個(gè)或多個(gè)專用機(jī)頂盒間接傳送，專用機(jī)頂盒可以提供任意需要的處理操作。用來向電 視機(jī)輸入數(shù)據(jù)的連接器的類型包括但不限于F-連接器、S-視頻、混合和/或視頻連接器、 和/或最近的高清多媒體接口(HDMI)連接器。電視廣播通常由電視機(jī)前端在廣播信道上通過RF載波或有線連接發(fā)送。電視機(jī) 前端可以包括地面電視前端、有線電視(CATV)、衛(wèi)星電視前端和/或?qū)拵щ娨暻岸恕５孛骐?視前端可以利用例如一系列地面廣播信道，這些信道在美國可以包括例如信道2至69。有 線電視(CATV)廣播可以利用更多數(shù)量的廣播信道。電視廣播包括視頻和/或音頻信息的發(fā) 送，其中視頻和/或音頻信息可以通過多種可用調(diào)制方法中的一種編碼進(jìn)廣播信道中。電 視廣播可以利用模擬和/或數(shù)字調(diào)制格式。在模擬電視系統(tǒng)中，圖片和聲音信息被編碼成 模擬信號并通過模擬信號發(fā)送，其中視頻/音頻信息可以通過廣播信號傳送，根據(jù)模擬電 視編碼標(biāo)準(zhǔn)對電視信號進(jìn)行幅度和/或頻率調(diào)制。模擬電視廣播商可以，例如，利用NTSC、 PAL和/或SECAM模擬編碼制式來編碼其信號，然后將這些信號調(diào)制到譬如VHF或UHF RF 載波上。在數(shù)字電視(DTV)系統(tǒng)中，電視廣播可以由地面的、有線的和/或衛(wèi)星前端利用一 種可用數(shù)字調(diào)制方法通過離散的(數(shù)字的)信號通信，這些調(diào)制方法可以包括，例如，QAM、 VSB、QPSK和/或OFDM。由于數(shù)字信號在傳遞同樣的信息時(shí)需要使用的帶寬通常小于模擬信 號，因此在與模擬電視系統(tǒng)可用空間相同大小的空間中，DTV系統(tǒng)可以使廣播商提供更多數(shù) 字信道。另外，數(shù)字電視信號的使用可以使廣播商提供高清電視(HDTV)廣播和/或通過數(shù) 字系統(tǒng)提供其它非電視相關(guān)的服務(wù)。可用數(shù)字電視系統(tǒng)包括，例如，基于ATSC、DVB、DMB-T/ H和/或ISDN的系統(tǒng)?？梢岳酶鞣N視頻和/或音頻編碼和/或壓縮算法將視頻和/或 音頻信息編碼成數(shù)字電視信號，上述視頻和/或音頻編碼和/或壓縮算法可以包括，例如， MPEG-1/2、MPEG-4AVC、MP3、AC-3、AAC 和 / 或 HE-AAC。現(xiàn)在，大多數(shù)電視廣播(以及類似的多媒體材料)利用允許視頻圖像以位流形式 通信的視頻格式標(biāo)準(zhǔn)。這些視頻標(biāo)準(zhǔn)可以利用各種插補(bǔ)和/或速率轉(zhuǎn)換功能在顯示設(shè)備上 展示包含靜態(tài)和/或動(dòng)態(tài)圖像的內(nèi)容。例如，可以利用解交錯(cuò)功能將動(dòng)態(tài)和/或靜態(tài)的圖 像轉(zhuǎn)換為另一種格式，該格式適用于不支持處理交錯(cuò)內(nèi)容的顯示設(shè)備類型。電視廣播以及 類似的視頻材料，可以是交錯(cuò)的或逐行的。交錯(cuò)的視頻包括場，可以每隔一個(gè)時(shí)間間隔捕捉一個(gè)場。一個(gè)幀可以包括一對場，例如，頂場和底場。形成視頻的圖片可以包括多個(gè)按順序 排列的行。在一個(gè)時(shí)間間隔內(nèi)，可以捕捉偶數(shù)行視頻內(nèi)容。在隨后的一個(gè)時(shí)間間隔內(nèi)，可以 捕捉奇數(shù)行視頻內(nèi)容。偶數(shù)行可以被統(tǒng)一稱作頂場，同時(shí)奇數(shù)行可以被統(tǒng)一稱作底場。可 選地，奇數(shù)行可以被統(tǒng)一稱作頂場，同時(shí)偶數(shù)行可以被統(tǒng)一稱作底場。對于逐行的視頻幀， 可以在一個(gè)時(shí)間間隔內(nèi)按序列捕捉或播放該幀的所有行。交錯(cuò)的視頻可以包括由逐行幀轉(zhuǎn) 換而來的場。例如，可以通過將偶數(shù)行組織成一個(gè)場并將奇數(shù)行組織成另一個(gè)場而將逐行 幀轉(zhuǎn)換為兩個(gè)交錯(cuò)的場。 比較本發(fā)明后續(xù)將要結(jié)合附圖介紹的系統(tǒng)，現(xiàn)有技術(shù)的其它局限性和弊端對于本 領(lǐng)域的普通技術(shù)人員來說是顯而易見的。

發(fā)明內(nèi)容
本發(fā)明提供了一種用于根據(jù)三維視頻輸入優(yōu)化二維視頻顯示的方法和/或系統(tǒng)， 結(jié)合至少一幅附圖進(jìn)行了詳細(xì)描述，并在權(quán)利要求中得到了更完整的闡述。根據(jù)本發(fā)明的一個(gè)方面，一種用于視頻處理的方法，包括由視頻處理系統(tǒng)中的一個(gè)或多個(gè)處理器和/或電路執(zhí)行從壓縮的三維輸入視頻流中提取多個(gè)視圖序列(view sequences)；以及根據(jù)所述多個(gè)提取的視圖序列生成二維輸出視頻流，其中所述二維輸出視頻流的 視頻數(shù)據(jù)是利用視圖信息生成的，所述視圖信息來自所述多個(gè)提取的視圖序列中的至少一 個(gè)。優(yōu)選地，所述多個(gè)提取的視圖序列包括立體的左和右參考場或幀的序列。優(yōu)選地，所述二維輸出視頻流的視頻數(shù)據(jù)生成過程中利用的所述視圖信息包括深
度信息和/或前景和/或背景信息。優(yōu)選地，所述方法進(jìn)一步包括從所述多個(gè)提取的視圖序列中選擇一個(gè)作為所述生 成的二維輸出視頻流的基礎(chǔ)序列。優(yōu)選地，所述方法進(jìn)一步包括根據(jù)所述多個(gè)提取的視圖序列中的一個(gè)或多個(gè)未選 擇的序列來調(diào)整(modifying)所述生成的二維輸出視頻流的基礎(chǔ)序列。優(yōu)選地，所述調(diào)整優(yōu)化了(enhance)所述二維輸出視頻流中圖像的深度、對比度 和/或清晰度(sharpness)。優(yōu)選地，所述方法進(jìn)一步包括利用幀或場插補(bǔ)(interpolation)對所述二維輸出 視頻流執(zhí)行幀上轉(zhuǎn)換(upconversion)操作。優(yōu)選地，所述方法進(jìn)一步包括根據(jù)所述多個(gè)提取的視圖序列中的至少一個(gè)調(diào)整所 述插補(bǔ)。優(yōu)選地，所述方法進(jìn)一步包括本地執(zhí)行對應(yīng)于所述二維輸出視頻流的圖形處理。優(yōu)選地，所述方法進(jìn)一步包括根據(jù)所述二維輸出視頻流中每一圖像的至少一個(gè)焦 點(diǎn)執(zhí)行所述本地圖形處理。根據(jù)本發(fā)明的一個(gè)方面，一種用于視頻處理的系統(tǒng)，包括用于從壓縮的三維輸入視頻流中提取多個(gè)視圖序列的一個(gè)或多個(gè)電路和/或處 理器；以及所述一個(gè)或多個(gè)電路和/或處理器用于根據(jù)所述多個(gè)提取的視圖序列生成二維輸出視頻流，其中所述二維輸出視頻流的視頻數(shù)據(jù)是利用視圖信息生成的，所述視圖信息 來自所述多個(gè)提取的視圖序列中的至少一個(gè)。優(yōu)選地，所述多個(gè)提取的視圖序列包括立體的左和右參考場或幀的序列。優(yōu)選地，所述二維輸出視頻流的視頻數(shù)據(jù)生成過程中利用的所述視圖信息包括深
度信息和/或前景和/或背景信息。優(yōu)選地，所述一個(gè)或多個(gè)電路和/或處理器用于從所述多個(gè)提取的視圖序列中選 擇一個(gè)作為所述生成的二維輸出視頻流的基礎(chǔ)序列。優(yōu)選地，所述一個(gè)或多個(gè)電路和/或處理器用于根據(jù)所述多個(gè)提取的視圖序列中 的一個(gè)或多個(gè)未選擇的序列來調(diào)整所述生成的二維輸出視頻流的基礎(chǔ)序列。優(yōu)選地，所述調(diào)整優(yōu)化了所述二維輸出視頻流中圖像的深度、對比度和/或清晰度。優(yōu)選地，所述一個(gè)或多個(gè)電路和/或處理器用于利用幀或場插補(bǔ)對所述二維輸出 視頻流執(zhí)行幀上轉(zhuǎn)換操作。優(yōu)選地，所述一個(gè)或多個(gè)電路和/或處理器用于根據(jù)所述多個(gè)提取的視圖序列中 的至少一個(gè)調(diào)整所述插補(bǔ)。優(yōu)選地，所述一個(gè)或多個(gè)電路和/或處理器用于本地執(zhí)行對應(yīng)于所述二維輸出視 頻流的圖形處理。優(yōu)選地，所述一個(gè)或多個(gè)電路和/或處理器用于根據(jù)所述二維輸出視頻流中每一 圖像的至少一個(gè)焦點(diǎn)執(zhí)行所述本地圖形處理。本發(fā)明的各種優(yōu)點(diǎn)、各個(gè)方面和創(chuàng)新特征，以及其中所示例的實(shí)施例的細(xì)節(jié)，將在 以下的說明書和附圖中進(jìn)行詳細(xì)介紹。


圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的用于播放各種電視廣播和/或從本地設(shè)備接收的 媒體材料的視頻系統(tǒng)的框圖；圖2A是根據(jù)本發(fā)明一個(gè)實(shí)施例的用于提供三維視頻通信的視頻系統(tǒng)的框圖，三 維視頻可以用來生成用于二維顯示設(shè)備的優(yōu)化的二維視頻輸出；圖2B是根據(jù)本發(fā)明一個(gè)實(shí)施例的用于生成傳輸流的視頻處理系統(tǒng)的框圖，該傳 輸流包含三維編碼的視頻；圖2C是根據(jù)本發(fā)明一個(gè)實(shí)施例的用于根據(jù)三維視頻輸入生成優(yōu)化的二維視頻以 便通過二維顯示器播放的視頻處理系統(tǒng)的框圖；圖3是根據(jù)本發(fā)明一個(gè)實(shí)施例的用于根據(jù)三維視頻輸入生成優(yōu)化的二維視頻輸 出的示范性步驟的流程圖。
具體實(shí)施例方式
本發(fā)明的一些實(shí)施例提供了一種用于根據(jù)三維視頻輸入優(yōu)化二維視頻顯示的方 法和系統(tǒng)。在本發(fā)明的各種實(shí)施例中，一種視頻處理設(shè)備可以被用來從壓縮的三維(3D)輸 入視頻流中提取多個(gè)視圖序列，并可以根據(jù)多個(gè)提取的視圖序列生成相應(yīng)的二維OD)輸 出視頻流。多個(gè)視圖序列可以包括立體的左和右參考場或幀序列。二維輸出視頻流的視頻數(shù)據(jù)是利用視頻內(nèi)容和/或信息生成的，這些視頻內(nèi)容和/或信息來自多個(gè)提取的視圖序 列中的至少一個(gè)。一個(gè)視圖序列，例如左視圖序列，可以被選作二維輸出視頻流的基礎(chǔ)序 列，然后，可以利用未選擇的視圖序列中的視頻內(nèi)容和/或信息優(yōu)化二維輸出視頻流。優(yōu)化 二維輸出視頻流的過程中利用的視頻內(nèi)容和/或信息可以包括深度信息和/或前景和/或 背景信息。二維輸出視頻流的優(yōu)化可以包括改善二維輸出視頻流中圖像的深度、對比度和 /或清晰度，和/或清除可視人工痕跡。當(dāng)顯示器的幀速率高于接收的三維輸入視頻流的幀 速率時(shí)，視頻處理設(shè)備可以對二維輸出視頻流執(zhí)行幀上轉(zhuǎn)換操作，例如利用幀或場插補(bǔ)。然 后，可以利用在初始時(shí)未被選作二維輸出視頻流的基礎(chǔ)序列的多個(gè)提取的視圖序列的至少 一個(gè)中的幀和/或場中的視頻內(nèi)容和/或信息調(diào)整上述幀和/或場插補(bǔ)，以優(yōu)化二維輸出 視頻流的質(zhì)量。視頻處理設(shè)備還可以用來本地執(zhí)行相應(yīng)于二維輸出視頻流的圖形處理?？?以根據(jù)，例如，二維輸出視頻流中每個(gè)圖像內(nèi)的一個(gè)或更多焦點(diǎn)來執(zhí)行本地圖形處理。圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的用于播放各種電視廣播和/或從本地設(shè)備接收 的媒體材料(feeds)的視頻系統(tǒng)的框圖。參考圖1，示出了媒體系統(tǒng)100，媒體系統(tǒng)100可 以包括顯示設(shè)備102、地面電視前端104、電視塔106、電視天線108、有線電視(CATV)前端 110、有線電視(CATV)分發(fā)網(wǎng)絡(luò)112、衛(wèi)星電視前端114、衛(wèi)星電視接收器116、寬帶電視前端 118、寬帶網(wǎng)絡(luò)120、機(jī)頂盒122以及視音(AV)播放設(shè)備124。顯示設(shè)備102可以包括合適的邏輯、電路、接口和/或代碼，用于播放包含視音 (AV)數(shù)據(jù)的多媒體流。顯示設(shè)備102可以包括，例如，電視機(jī)、顯示器和/或其它顯示和/ 或音頻播放設(shè)備，和/或用于播放視頻流和/或相應(yīng)音頻數(shù)據(jù)的部件，上述視頻流和/或相 應(yīng)音頻數(shù)據(jù)由顯示設(shè)備102直接接收和/或通過中間設(shè)備(例如機(jī)頂盒122)間接接收，和 /或從本地媒體記錄/播放設(shè)備和/或存儲(chǔ)資源譬如AV播放設(shè)備124接收。地面電視前端104可以包括合適的邏輯、電路、接口和/或代碼，用于通過一個(gè)或 更多電視塔106在空氣中廣播電視信號。地面電視前端104可以廣播模擬和/或數(shù)字編碼 的地面電視信號。電視天線108可以包括合適的邏輯、電路、接口和/或代碼，用于接收由 地面電視前端104通過電視塔106發(fā)送的電視信號。CATV前端110可以包括合適的邏輯、 電路、接口和/或代碼，用于進(jìn)行有線電視信號的通信。CATV前端110可以用于廣播模擬和 /或數(shù)字格式的有線電視信號。CATV分發(fā)網(wǎng)絡(luò)112可以包括合適的分發(fā)系統(tǒng)，以便從CATV 前端Iio到多個(gè)的有線電視接收器譬如顯示設(shè)備102的通信可以轉(zhuǎn)發(fā)。例如，CATV分發(fā)網(wǎng) 絡(luò)112可以包括光纖和/或同軸電纜網(wǎng)絡(luò)，以便在至少一個(gè)實(shí)例中連接CATV前端110和顯 示設(shè)備102。 衛(wèi)星電視前端114可以包括合適的邏輯、電路、接口和/或代碼，用于衛(wèi)星電視信 號到陸地接收器譬如顯示設(shè)備102的下行通信。衛(wèi)星電視前端114可以包括，例如，衛(wèi)星電 視系統(tǒng)中的多個(gè)軌道衛(wèi)星節(jié)點(diǎn)之一。衛(wèi)星電視接收器116可以包括合適的邏輯、電路、接口 和/或代碼，用于接收由衛(wèi)星電視前端114發(fā)送的下行衛(wèi)星電視信號。例如，衛(wèi)星接收器116 可以包括專用拋物型天線，該天線用于接收來自衛(wèi)星電視前端的衛(wèi)星電視信號并將接收的 衛(wèi)星信號反射和/或匯集到焦點(diǎn)上，其中可以使用一個(gè)或多個(gè)低噪聲放大器(LNAs)將接收 的信號下變頻轉(zhuǎn)換為相應(yīng)的中頻，并可以進(jìn)一步處理，以通過譬如機(jī)頂盒122可以從中提 取音頻/視頻數(shù)據(jù)。另外，由于大多數(shù)衛(wèi)星電視下行材料(feeds)在安全方面進(jìn)行了編碼 和/或加擾處理，因此衛(wèi)星電視接收器116還可以包括合適的邏輯、電路、接口和/或代碼，用于對接收的衛(wèi)星電視材料進(jìn)行解碼、解擾和/或解密處理。
寬帶電視前端118可以包括合適的邏輯、電路、接口和/或代碼，用于通過寬帶網(wǎng) 絡(luò)120進(jìn)行多媒體/電視廣播。寬帶網(wǎng)絡(luò)120可以包括內(nèi)部連接的網(wǎng)絡(luò)系統(tǒng)，用于根據(jù)一 個(gè)或多個(gè)網(wǎng)絡(luò)標(biāo)準(zhǔn)在多個(gè)節(jié)點(diǎn)間交換信息和/或數(shù)據(jù)，網(wǎng)絡(luò)標(biāo)準(zhǔn)可以包括，例如TCP/IP。寬 帶網(wǎng)絡(luò)120可以包括多個(gè)支持寬帶的子網(wǎng)絡(luò)，這些子網(wǎng)絡(luò)可以包括，例如，衛(wèi)星網(wǎng)絡(luò)、電纜 網(wǎng)絡(luò)、DVB網(wǎng)絡(luò)、因特網(wǎng)和/或類似的局域或廣域網(wǎng)，它們共同作用以便向多個(gè)終端用戶傳 遞包含多媒體內(nèi)容的數(shù)據(jù)。根據(jù)銅線和/或光纖有線連接、無線接口和/或基于其它標(biāo)準(zhǔn) 的接口，可以提供通過寬帶網(wǎng)絡(luò)120的連接。寬帶電視前端118和寬帶網(wǎng)絡(luò)120可以對應(yīng) 于，例如，因特網(wǎng)協(xié)議電視(IPTV)系統(tǒng)。機(jī)頂盒122可以包括合適的邏輯、電路、接口和/或代碼，用于處理由顯示設(shè)備102 外部的一個(gè)或多個(gè)電視前端發(fā)送的電視和/或多媒體流/信號。AV播放設(shè)備124可以包 括合適的邏輯、電路、接口和/或代碼，用于給顯示設(shè)備102提供視頻/音頻材料。例如，AV 播放設(shè)備124可以包括數(shù)字視頻光盤(DVD)播放器、藍(lán)光(Blu-ray)播放器、數(shù)字視頻錄影 機(jī)(DVR)、視頻游戲機(jī)、監(jiān)測系統(tǒng)和/或個(gè)人計(jì)算機(jī)(PC)捕捉/播放卡。盡管機(jī)頂盒122和 AV播放設(shè)備124以獨(dú)立的實(shí)體示出，但是，至少一部分通過機(jī)頂盒122和/或AV播放設(shè)備 124執(zhí)行的功能可以直接集成在顯示設(shè)備102中。在工作過程中，顯示設(shè)備102可以用來播放從可用廣播前端之一和/或從一個(gè)或 多個(gè)本地資源接收的媒體流。顯示設(shè)備102可以通過譬如電視天線108從地面電視前端 104接收通過空中傳播的由電視塔106發(fā)射的電視廣播。顯示設(shè)備102還可以接收有線電 視廣播，該廣播由CATV前端110通過CATV分發(fā)網(wǎng)絡(luò)112進(jìn)行傳送；衛(wèi)星電視廣播，該廣播 由衛(wèi)星前端114傳送并通過衛(wèi)星接收器116接收；和/或因特網(wǎng)媒體廣播，該廣播由寬帶電 視前端118通過寬帶網(wǎng)絡(luò)120進(jìn)行傳送。電視前端可以在電視廣播中使用各種編碼方法。傳統(tǒng)上，電視廣播使用了模擬調(diào) 制格式方法，包括，例如，NTSC、PAL和/或SECAM。音頻編碼可以包括使用單獨(dú)的調(diào)制方法， 包括，例如，BTSC、NICAM、單聲道FM和/或AM。然而，最近已經(jīng)向基于數(shù)字電視(DTV)的廣 播穩(wěn)步推進(jìn)，其中可以在電視廣播中使用數(shù)字調(diào)制格式方法以便發(fā)送和/或接收作為離散 信號的視頻和/或音頻流，數(shù)字調(diào)制格式方法包括，例如QAM、VSB或OFDM。例如，地面電視 前端104可以使用基于ATSC和/或DVB的標(biāo)準(zhǔn)以便于DTV地面廣播。類似地，CATV前端 110和/或衛(wèi)星前端114也可以使用合適的編碼標(biāo)準(zhǔn)以便于基于有線和/或衛(wèi)星的廣播。顯示設(shè)備102可以用于直接處理多媒體/電視廣播以便播放相應(yīng)的視頻和/或音 頻數(shù)據(jù)?？蛇x地，可以利用外部設(shè)備譬如機(jī)頂盒122來執(zhí)行處理操作和/或功能，該外部設(shè) 備可以用于從接收的媒體流中提取視頻和/或音頻數(shù)據(jù)，然后，可以通過顯示設(shè)備102播放 提取的音頻/視頻數(shù)據(jù)。在本發(fā)明的一個(gè)方面，媒體系統(tǒng)100可以支持三維(3D)視頻?？梢允褂酶鞣N方法 捕捉及生成(在播放時(shí)間)三維視頻。例如，可以通過呈現(xiàn)多個(gè)視圖來生成立體的三維視 頻；通常是對應(yīng)于觀眾的左眼和右眼的左視圖和右視圖。因此，可以捕捉和/或處理左視 圖視頻及右視圖視頻以便制造三維效果。然后，可以通過分別組合左視圖視頻部分及右視 圖視頻部分來產(chǎn)生三維視頻幀。就這一點(diǎn)而言，一個(gè)或更多電視前端可以用于與顯示設(shè)備 102進(jìn)行三維視頻內(nèi)容的通信。AV播放設(shè)備124還可以用于播放以前錄制的和/或生成的三維視頻內(nèi)容，這些視頻內(nèi)容來自可以通過譬如AV播放設(shè)備124讀取的媒體存儲(chǔ)部件。然 后，通過對譬如左視圖視頻部分及右視圖視頻部分分別進(jìn)行處理和/或組合，顯示設(shè)備102 可以生成三維視頻。 但是，在一些實(shí)例中，顯示設(shè)備102僅可用于顯示二維視頻。因此，顯示設(shè)備102可 以用于根據(jù)三維視頻輸入生成二維視頻輸出。另外，顯示設(shè)備102可以用于根據(jù)三維視頻 輸入來優(yōu)化生成的二維視頻輸出，利用譬如在三維顯示情況下用來生成三維視頻幀和/或 場的內(nèi)容和/或信息。例如，當(dāng)僅僅根據(jù)左視圖視頻內(nèi)容生成二維視頻輸出時(shí)，可以利用右 視圖內(nèi)容來優(yōu)化相應(yīng)二維視頻幀和/或場的深度、對比度和/或清晰度。圖2A是根據(jù)本發(fā)明一個(gè)實(shí)施例的用于提供三維視頻通信的視頻系統(tǒng)的框圖，三 維視頻可以用來生成用于二維顯示設(shè)備的優(yōu)化的二維視頻輸出。參考圖2A，示出了三維視 頻發(fā)送單元(3D-VTU)202、通信網(wǎng)絡(luò)204以及視頻接收單元(3D_VRU)206。3D-VTU 202可以包括合適的邏輯、電路、接口和/或代碼，用于生成包含編碼的視 頻內(nèi)容的傳輸流，該傳輸流可以通過通信網(wǎng)絡(luò)204傳送譬如給3D-VRU 206。3D-VTU 202可 以用于編碼譬如相應(yīng)于電視廣播的三維視頻內(nèi)容和二維視頻內(nèi)容。就這一點(diǎn)而言，3D-VTU 202可以對應(yīng)于譬如圖1所示的地面前端104、CATV前端110、衛(wèi)星前端114和/或?qū)拵?端118。當(dāng)編碼三維視頻時(shí)，3D-VTU 202可以用于將三維視頻編碼成，例如左視圖視頻流和 右視圖視頻流，其中左視圖視頻流和右視圖視頻流可以在不同信道發(fā)送給3D-VRU206。通 過3D-VTU 202發(fā)送的傳輸流可以包括除了原始視頻內(nèi)容以外的附加視頻內(nèi)容。附加視頻 內(nèi)容可以包括新聞更新和/或廣告信息。就這一點(diǎn)而言，3D-VTU 202可以用于通過譬如拼 接技術(shù)將目標(biāo)廣告信息嵌入娛樂節(jié)目譬如三維電視節(jié)目的內(nèi)容中。3D-VTU 202可以用于生 成目標(biāo)廣告信息的廣告流?？梢詫⑸傻膹V告流與三維電視節(jié)目的編碼的三維視頻流復(fù)用 以形成用于發(fā)送的傳輸流。廣告流可以是三維或二維廣告流。通信網(wǎng)絡(luò)204可以包括合適的邏輯、電路、接口和/或代碼，用于在3D-VTU202與 3D-VRU 206間進(jìn)行通信，以便于傳送包含三維視頻內(nèi)容的傳輸流。通信網(wǎng)絡(luò)204可以是有 線或無線通信網(wǎng)絡(luò)。通信網(wǎng)絡(luò)204可以對應(yīng)于譬如圖1所示的CATV分發(fā)網(wǎng)絡(luò)112和/或 寬帶網(wǎng)絡(luò)122。3D-VRU 206可以包括合適的邏輯、電路、接口和/或代碼，用于接收并處理包含視 頻內(nèi)容的傳輸流，該傳輸流可以通過譬如3D-VTU 202在通信網(wǎng)絡(luò)204上傳送。3D-VRU 206 的功能可以對應(yīng)于譬如圖1所示的顯示設(shè)備102和/或機(jī)頂盒122。接收的傳輸流可以包 括編碼的三維視頻內(nèi)容，該三維視頻內(nèi)容可以對應(yīng)于譬如包含在三維電視廣播中的娛樂節(jié) 目。接收的傳輸流還可以包括附加的視頻內(nèi)容，例如，商業(yè)廣告流。3D-VRU 206可以用于處 理接收的傳輸流以分離和/或提取傳輸流中的各種視頻內(nèi)容，并用于解碼和/或處理提取 的視頻流和/或內(nèi)容以便于顯示操作。在工作過程中，3D-VTU 202可以用于生成包含三維視頻內(nèi)容的傳輸流，該三維視 頻內(nèi)容對應(yīng)于譬如包含在三維電視節(jié)目中的娛樂節(jié)目。3D-VTU 202可以將三維視頻內(nèi)容編 碼成左視圖視頻流和右視圖視頻流。包含譬如廣告信息的附加視頻內(nèi)容可以與三維電視節(jié) 目的編碼的三維視頻內(nèi)容一起嵌入傳輸流中以便發(fā)送?？梢酝ㄟ^通信網(wǎng)絡(luò)204將傳輸流傳 送給3D-VRU 206。3D-VRU206可以用于接收并處理傳輸流以便于通過顯示設(shè)備播放包含在 傳輸流中的視頻內(nèi)容。就這一點(diǎn)而言，3D-VRU 206可以用于，例如，將接收的傳輸流解復(fù)用為三維電視節(jié)目的編碼的三維視頻流和附加視頻流。3D-VRU 206可以用于解碼三維電視節(jié) 目的編碼的三維視頻流以便顯示?？梢愿鶕?jù)譬如用戶資料和/或設(shè)備配置從編碼的三維視 頻流中提取廣告流。根據(jù)設(shè)備配置和/或用戶選擇，可以在三維電視節(jié)目中呈現(xiàn)提取的廣 告流或?qū)⑻崛〉膹V告流移出以便單獨(dú)顯示。3D-VRU 206還可以用于本地處理對應(yīng)于顯示的 視頻內(nèi)容的圖形以產(chǎn)生相應(yīng)的目標(biāo)圖形對象?？梢愿鶕?jù)譬如相關(guān)三維場景圖中的時(shí)間信息 來放置目標(biāo)圖形對象。3D-VRU 206可以用于根據(jù)視圖的焦點(diǎn)將目標(biāo)圖形對象拼接入解碼的 三維視頻中。
在本發(fā)明的一個(gè)方面，3D-VRU 206可以用于根據(jù)三維輸入視頻生成優(yōu)化的二維視 頻。當(dāng)使用具有三維功能的顯示設(shè)備時(shí)，得到的混合三維視頻可以通過顯示設(shè)備作為三維 視頻播放。但是，在一些實(shí)例中，使用的是僅具有二維功能的顯示設(shè)備。因此，得到的混合 三維視頻可以通過譬如3D-VRU 206轉(zhuǎn)換為二維視頻以便顯示。通過3D-VRU 206生成的二 維視頻的質(zhì)量可以根據(jù)譬如從接收的傳輸流中提取的三維視頻數(shù)據(jù)和/或內(nèi)容進(jìn)行優(yōu)化。 就這一點(diǎn)而言，3D-VRU 206可以用于根據(jù)從3D-VTU 202接收的三維視頻輸入生成二維視 頻輸出。二維視頻輸出可以對應(yīng)于，例如三維視頻輸入的左視圖視頻部分。但是，可以利用 從三維視頻輸入的其它部分中提取的數(shù)據(jù)和/或信息對生成的二維視頻輸出進(jìn)行優(yōu)化。例 如，在處理三維視頻輸入時(shí)由3D-VRU 206確定的深度信息，可以被用來改善生成的二維視 頻輸出中的對比度和/或視覺深度。深度信息可以從例如對應(yīng)于每一個(gè)視頻幀的深度地圖 (depth map)中提取，深度地圖可以根據(jù)對應(yīng)于視頻幀的左視圖和右視圖視頻部分生成。另 夕卜，處理接收的三維視頻輸入可以確定每個(gè)三維視頻幀中的前景和/或背景區(qū)域。因此，可 以利用前景和/或背景信息來改善例如相應(yīng)輸出二維視頻幀中的清晰度，該過程可以通過 根據(jù)區(qū)域的前景和/或背景類別改變生成的二維輸出幀中不同區(qū)域的可選清晰度標(biāo)準(zhǔn)和/ 或參數(shù)來實(shí)現(xiàn)。前景和/或背景信息還可以用來補(bǔ)償和/或減小其它視覺效果，例如，幀速 率上轉(zhuǎn)換時(shí)引入的光圈效應(yīng)，場景中的對象的移動(dòng)區(qū)域的周圍，在同一場景中的其它對象 移動(dòng)時(shí)將被阻擋。因此，由于右視圖可以提供，例如關(guān)于背景對象的更佳的信息，可以在幀 插補(bǔ)時(shí)使用這些信息以避免由于對象在當(dāng)前幀的背景中而在下一幀移動(dòng)至前景中而導(dǎo)致 的模糊。當(dāng)二維視頻輸出的生成過程中必須進(jìn)行幀上轉(zhuǎn)換時(shí)，還可以使用三維視頻內(nèi)容信 息來優(yōu)化幀速率上轉(zhuǎn)換操作。例如，由于捕捉視頻內(nèi)容時(shí)的幀速率小于顯示時(shí)使用的刷新 速率，在播放捕捉的視頻內(nèi)容時(shí)，附加幀的生成是必需的?？梢砸云┤缑棵?4或48幀(fps) 的速率捕捉視頻內(nèi)容。但是，大多數(shù)顯示器使用更高的刷新速率，例如60、120或240Hz。因 此，顯示三維視頻時(shí)，根據(jù)譬如解壓的左和右參考場或幀，可以通過插補(bǔ)來創(chuàng)建新的左和/ 或右場或幀。因此，當(dāng)二維視頻輸出是根據(jù)三維視頻輸入生成的時(shí)，對二維視頻輸出執(zhí)行的 幀上轉(zhuǎn)換可以利用未被用來生成二維視頻輸出的那部分三維內(nèi)容進(jìn)行優(yōu)化。例如，當(dāng)僅根 據(jù)左視圖視頻內(nèi)容生成二維視頻輸出時(shí)，可以使用右視圖視頻內(nèi)容優(yōu)化插補(bǔ)的新左場或幀 的質(zhì)量，上述插補(bǔ)的新左場或幀用于二維視頻輸出中。二維輸出視頻被生成、上轉(zhuǎn)換和/或優(yōu)化后，可以在二維輸出視頻中嵌入圖形以 確保對二維視頻輸出流執(zhí)行優(yōu)化和/或調(diào)整時(shí)圖形不會(huì)失真。3D-VRU206可以用于，例如， 將圖形對象拼接入優(yōu)化的二維輸出視頻流中?？梢愿鶕?jù)視圖的焦點(diǎn)來實(shí)現(xiàn)將圖形對象拼接 入優(yōu)化的二維輸出視頻流的過程，視圖的焦點(diǎn)可以根據(jù)，例如深度和/或前景和/或背景信息來確定。 圖2B是根據(jù)本發(fā)明一個(gè)實(shí)施例的用于生成傳輸流的視頻處理系統(tǒng)的框圖，該傳 輸流包含三維編碼的視頻。參考圖2B，示出了視頻處理系統(tǒng)220、三維視頻源222、基礎(chǔ)視圖 編碼器224、優(yōu)化視圖編碼器226和傳輸復(fù)用器228。視頻處理系統(tǒng)220可以包括合適的邏輯、電路、接口和/或代碼，用于捕捉并處理 三維視頻數(shù)據(jù)，并用于生成包含三維視頻的傳輸流。視頻處理系統(tǒng)220可以包括，例如三維 視頻源222、基礎(chǔ)視圖編碼器224、優(yōu)化視圖編碼器226和/或傳輸復(fù)用器228。例如，視頻 處理系統(tǒng)220可以集成到3D-VTU 202中以便于三維視頻和/或包含三維視頻的傳輸流的 生成。三維視頻源222可以包括合適的邏輯、電路、接口和/或代碼，用于捕捉源三維視 頻內(nèi)容。三維視頻源222可以用于根據(jù)捕捉的源三維視頻內(nèi)容生成左視圖視頻和右視圖視 頻以便于三維視頻顯示/播放?？梢詫⒆笠晥D視頻和右視圖視頻分別傳送給譬如基礎(chǔ)視圖 編碼器224和優(yōu)化視圖編碼器226以便進(jìn)行視頻壓縮?；A(chǔ)視圖編碼器224可以包括合適的邏輯、電路、接口和/或代碼，用于譬如以幀 為基礎(chǔ)編碼來自三維視頻源222的左視圖視頻?；A(chǔ)視圖編碼器224可以用于利用各種視 頻編碼和/或壓縮算法以形成左視圖視頻的壓縮的和/或編碼的視頻內(nèi)容，該左視圖視頻 來自三維視頻源222，且上述各種視頻編碼和/或壓縮算法具體包括例如MPEG-2、MPEG-4、 AVC, VCU VP6和/或其它視頻格式。另外，基礎(chǔ)視圖編碼器224可以用于向優(yōu)化視圖編碼 器226傳送用于優(yōu)化視圖編碼的信息，例如基礎(chǔ)視圖編碼中的場景信息。優(yōu)化視圖編碼器226可以包括合適的邏輯、電路、接口和/或代碼，用于譬如以幀 為基礎(chǔ)編碼來自三維視頻源222的右視圖視頻。優(yōu)化視圖編碼器226可以用于利用各種視 頻編碼和/或壓縮算法以形成右視圖視頻的壓縮的和/或編碼的視頻內(nèi)容，該右視圖視頻 來自三維視頻源222，且上述各種視頻編碼和/或壓縮算法具體包括例如MPEG-2、MPEG-4、 AVC、VC1、VP6和/或其它視頻格式。盡管圖2B中只示出了一個(gè)優(yōu)化視圖編碼器226，但本 發(fā)明并不受限于此。因此，可以使用任意數(shù)量的優(yōu)化視圖編碼器來處理三維視頻源222生 成的左視圖視頻和右視圖視頻，而不脫離本發(fā)明的精神和范圍。傳輸復(fù)用器228可以包括合適的邏輯、電路、接口和/或代碼，用于將多個(gè)視頻流 合并為一個(gè)混合的視頻流，即傳輸流(TS)，以便發(fā)送。TS可以包括基礎(chǔ)視圖流、優(yōu)化視圖流 和多個(gè)附加視頻流，附加視頻流可以包括，例如廣告流。附加流可以直接在視頻處理系統(tǒng) 220中捕捉或可選地從專用源接收。例如，廣告源可以通過多個(gè)廣告流提供可用廣告視頻內(nèi) 容，這些廣告流隨后將被拼接入TS中。就這一點(diǎn)而言，可以將多個(gè)廣告流嵌入基礎(chǔ)視頻流 和/或優(yōu)化視頻流的任意間隔中，基礎(chǔ)視頻流和/或優(yōu)化視頻流分別來自基礎(chǔ)視圖編碼器 224和優(yōu)化視圖編碼器216。在工作過程中，三維視頻源222可以用于捕捉源三維視頻內(nèi)容以產(chǎn)生左視圖視頻 和右視圖視頻以便進(jìn)行視頻壓縮?？梢酝ㄟ^基礎(chǔ)視圖編碼器224對左視圖視頻進(jìn)行編碼以 產(chǎn)生基礎(chǔ)視圖流?？梢酝ㄟ^優(yōu)化視圖編碼器226對右視圖視頻進(jìn)行編碼以產(chǎn)生優(yōu)化視圖 流?；A(chǔ)視圖編碼器224可以用于向優(yōu)化視圖編碼器226提供例如場景信息，用于優(yōu)化視 圖編碼。另外，可以通過傳輸復(fù)用器228將一個(gè)或多個(gè)附加視頻流與基礎(chǔ)視圖流和/或優(yōu) 化視圖流復(fù)合以形成傳輸流(TS)。然后，可以將得到的傳輸流(TS)傳送給，例如3D-VRU206，具體可參考圖2A的描述。在本發(fā)明的一個(gè)方面，復(fù)合進(jìn)傳輸流(TS)中的三維視頻內(nèi)容中編碼的一些內(nèi)容可以被接收設(shè)備3D-VRU 206用來生成優(yōu)化的二維輸出視頻。例如，當(dāng)TS中的三維視頻內(nèi) 容可以包括立體的左視圖和右視圖視頻數(shù)據(jù)時(shí)，可以根據(jù)左視圖視頻內(nèi)容生成二維顯示視 頻輸出，該輸出可以通過基礎(chǔ)視圖編碼器224進(jìn)行編碼。然后，可以利用三維視頻流中的 其它視頻數(shù)據(jù)優(yōu)化生成的二維視頻輸出，其它視頻數(shù)據(jù)包括，例如通過優(yōu)化視圖編碼器226 編碼的右視圖視頻內(nèi)容。圖2C是根據(jù)本發(fā)明一個(gè)實(shí)施例的用于根據(jù)三維視頻輸入生成優(yōu)化的二維視頻以 便通過二維顯示器播放的視頻處理系統(tǒng)的框圖。參考圖2C，示出了視頻處理系統(tǒng)240、主處 理器242、MPEG解碼器244、存儲(chǔ)及播放模塊246、系統(tǒng)存儲(chǔ)器248、幀速率上轉(zhuǎn)換(FRUC)模 塊250、視頻處理器252、圖形處理器254以及顯示器256。視頻處理系統(tǒng)240可以包括合適的邏輯、電路、接口和/或代碼，用于接收并處理 壓縮格式的三維視頻數(shù)據(jù)，并用于提供重建的輸出視頻以便顯示。視頻處理系統(tǒng)240可以 包括，例如主處理器242、MPEG解碼器244、存儲(chǔ)及播放模塊246、系統(tǒng)存儲(chǔ)器248、FRUC模塊 250、視頻處理器252和/或圖形處理器254。例如，視頻處理系統(tǒng)240可以集成到3D-VRU 206中以便于包含三維視頻內(nèi)容的傳輸流的接收和/或處理，該傳輸流由3D-VTU 202發(fā)送。 視頻處理系統(tǒng)240可以用于控制交錯(cuò)的視頻場和/或逐行的視頻幀。就這一點(diǎn)而言，視頻 處理系統(tǒng)240可以用于解壓和/或上轉(zhuǎn)換交錯(cuò)的視頻和/或逐行的視頻。視頻場，例如交 錯(cuò)的場和/或逐行的視頻幀可以稱作場、視頻場、幀或視頻幀。在本發(fā)明的一個(gè)方面，視頻 處理系統(tǒng)240可以用于根據(jù)三維輸入視頻生成優(yōu)化的二維視頻輸出。主處理器242可以包括合適的邏輯、電路、接口和/或代碼，用于處理數(shù)據(jù)和/或 控制視頻處理系統(tǒng)240的運(yùn)行。就這一點(diǎn)而言，主處理器242可以用于給視頻處理系統(tǒng)240 的各種其它部分、組件和/或子系統(tǒng)提供控制信號。主處理器242還可以控制視頻處理系 統(tǒng)240的各個(gè)部分間的數(shù)據(jù)傳輸。主處理器242可以執(zhí)行應(yīng)用程序和/或代碼。就這一點(diǎn) 而言，應(yīng)用、程序和/或代碼可以實(shí)現(xiàn)，例如解壓、運(yùn)動(dòng)補(bǔ)償操作、插補(bǔ)或其它對三維視頻數(shù) 據(jù)的處理。進(jìn)一步地，應(yīng)用、程序和/或代碼可以實(shí)現(xiàn)，例如配置或控制MPEG解碼器和/或 FRUC模塊250的運(yùn)行。MPEG解碼器244可以包括合適的邏輯、電路、接口和/或代碼，用于解復(fù)用或解析 接收的傳輸流以便從接收的傳輸流中提取所需流，還用于解壓通過接收的傳輸流攜帶的三 維視頻數(shù)據(jù)，和/或可以執(zhí)行附加安全操作譬如數(shù)字版權(quán)管理。就這一點(diǎn)而言，三維視頻數(shù) 據(jù)可以作為左和/或右視圖立體的視頻幀接收?？梢愿鶕?jù)譬如MPEG-2傳輸流(TS)協(xié)議或 MPEG-2程序流(PS)載體格式來接收視頻數(shù)據(jù)。在本發(fā)明的各種實(shí)施例中，可以在單獨(dú)的 流或單獨(dú)的文件中接收左視圖數(shù)據(jù)和右視圖數(shù)據(jù)。在該實(shí)施例中，MPEG解碼器244可以根 據(jù)，例如MPEG-2MVP、H. 264和/或MPEG-4優(yōu)化視頻編碼(AVC)或MPEG-4多視圖視頻編碼 (MVC)來解壓接收的單獨(dú)的左和右視圖視頻數(shù)據(jù)。在本發(fā)明的另一個(gè)實(shí)施例中，可以將立 體的左和右視圖混合成一個(gè)幀序列。例如，基于左右格式的(side by side)、基于上下格 式的(top-bottom)和/或基于棋盤格式(checkerboard lattice)的三維編碼器可以將來 自三維流(包含左視圖數(shù)據(jù)和右視圖數(shù)據(jù))的幀轉(zhuǎn)換為一個(gè)壓縮的幀并可以使用MPEG-2、 H. 264、AVC和/或其它編碼技術(shù)。在該實(shí)施例中，MPEG解碼器244可以根據(jù)譬如MPEG-4AVC和/或MPEG-2主 文件(MP)解壓視頻數(shù)據(jù)。MPEG解碼器244可以再生一個(gè)壓縮幀并可以利 用合適的解碼器對它進(jìn)行處理，上述合適的解碼器可以是，例如對應(yīng)于基于左右格式的、基 于上下格式的和/或基于棋盤格式的三維編碼器的解碼器。就這一點(diǎn)而言，可以根據(jù)壓縮 三維內(nèi)容時(shí)使用的相應(yīng)編碼方法來選擇解碼器。存儲(chǔ)及播放模塊246可以包括合適的邏輯、電路、接口和/或代碼，用于在三維視 頻數(shù)據(jù)被從一個(gè)處理過程和/或組件轉(zhuǎn)移到另一個(gè)時(shí)緩存三維視頻數(shù)據(jù)，例如左和/或右 視圖。就這一點(diǎn)而言，存儲(chǔ)及播放模塊246可以從MPEG解碼器244接收數(shù)據(jù)，并可以傳送 數(shù)據(jù)給FRUC模塊250、視頻處理器252和/或圖形處理器254。另外，存儲(chǔ)及播放模塊246 可以緩存解壓的參考幀和/或場，例如在FRUC模塊250進(jìn)行幀插補(bǔ)時(shí)和/或在視頻處理系 統(tǒng)240中對生成的二維輸出視頻流進(jìn)行優(yōu)化時(shí)。存儲(chǔ)及播放模塊246可以與譬如主處理器 242交換控制信號和/或可以在系統(tǒng)存儲(chǔ)器248中寫入數(shù)據(jù)以便長期儲(chǔ)存。系統(tǒng)存儲(chǔ)器248可以包括合適的邏輯、電路、接口和/或代碼，用于存儲(chǔ)包含參數(shù) 和/或代碼的信息，上述參數(shù)和/或代碼可以影響視頻處理系統(tǒng)240的運(yùn)行。參數(shù)可以包 括配置數(shù)據(jù)且代碼可以包括操作碼譬如軟件和/或固件，但上述信息并不受限于此。另外， 系統(tǒng)存儲(chǔ)器248可以用于存儲(chǔ)三維視頻數(shù)據(jù)，例如，上述數(shù)據(jù)包括左和右視圖的立體圖像 數(shù)據(jù)。FRUC模塊250可以包括合適的邏輯、電路、接口和/或代碼，用于以某一速率譬如 24或48 fps接收立體的視頻幀，并以一更高速率譬如60、120和/或240Hz輸出這些幀。就 這一點(diǎn)而言，F(xiàn)RUC模塊250可以插補(bǔ)一個(gè)或多個(gè)幀，這些幀可以嵌入接收的幀中以增加每 秒幀的數(shù)量。FRUC模塊250可以用于執(zhí)行運(yùn)動(dòng)估算和/或運(yùn)動(dòng)補(bǔ)償以便插補(bǔ)這些幀。FRUC 模塊250可以用于控制立體的左和右視圖。在本發(fā)明的各種實(shí)施例中，當(dāng)只有立體視圖譬 如左視圖被用來生成二維視頻輸出流時(shí)，F(xiàn)RUC模塊250可以用于利用未使用視圖的幀或場 來優(yōu)化插補(bǔ)操作。例如，右視圖幀可以包括一個(gè)區(qū)域的場景信息，該區(qū)域可以被相應(yīng)左視圖 幀中的移動(dòng)對象覆蓋。因此，當(dāng)移動(dòng)對象下的區(qū)域未被覆蓋時(shí)，右場中特定的場景信息可以 用來在一個(gè)或多個(gè)左視圖幀中插補(bǔ)像素。視頻處理器252可以包括合適的邏輯、電路、接口和/或代碼，用于在視頻處理系 統(tǒng)240中執(zhí)行視頻處理以便于生成輸出視頻流，該輸出視頻流可通過顯示器256播放。在本 發(fā)明的各種實(shí)施例中，視頻處理器254可以用于根據(jù)三維視頻輸入流生成二維視頻輸出。 視頻處理器252還可以用于根據(jù)譬如三維視頻輸入流的視頻數(shù)據(jù)優(yōu)化生成的二維視頻輸 出流。就這一點(diǎn)而言，當(dāng)三維輸入流包含立體視頻時(shí)，視頻處理器252可以根據(jù)左視圖視頻 流生成二維視頻輸出流。生成的二維視頻的優(yōu)化可以利用這些視頻數(shù)據(jù)譬如深度和/或前 景和/或背景信息來實(shí)現(xiàn)，具體可以參考譬如圖2A的描述。圖形處理器254可以包括合適的邏輯、電路、接口和/或代碼，用于在視頻處理系 統(tǒng)240中根據(jù)譬如視圖的焦點(diǎn)本地執(zhí)行圖形處理。圖形處理器254可以用于生成圖形對象， 這些圖形對象可以復(fù)合到輸出視頻流中。這些圖形對象可以根據(jù)譬如視圖的焦點(diǎn)和/或服 務(wù)娛樂節(jié)目的上一視圖生成。當(dāng)通過視頻處理系統(tǒng)240生成二維視頻輸出時(shí)，生成的圖形 對象可以包括二維圖形對象。通過圖形處理器254對圖形對象進(jìn)行的拼接可以在視頻處理 器252和/或FRUC模塊250生成、優(yōu)化且上轉(zhuǎn)換二維視頻輸出流后執(zhí)行。顯示器256可以包括合適的邏輯、電路、接口和/或代碼，用于接收根據(jù)FRUC模塊250處理后的視頻數(shù)據(jù)重建的場和/或幀，并可以顯示相應(yīng)的圖像。顯示器256可以是一個(gè) 單獨(dú)的設(shè)備，或者顯示器256和視頻處理系統(tǒng)240可以作為一個(gè)整體設(shè)備實(shí)施。顯示器256 可以用于執(zhí)行三維或二維視頻顯示。就這一點(diǎn)而言，二維顯示器可以用于顯示利用三維技 術(shù)生成的和/或處理的視頻。在工作過程中，MPEG解碼器244可以用于接收包含立體視頻數(shù)據(jù)的譬如雙視圖壓 縮格式的傳輸流，并用于解碼和/或解壓該視頻數(shù)據(jù)。例如，左和右立體視圖可以壓縮在單 獨(dú)的序列中或可以組合在一個(gè)幀序列中，這些幀可以是并左右格式、上下格式和/或棋盤 格式。主處理器242可以生成控制信號以便處理并傳送數(shù)據(jù)給視頻處理系統(tǒng)240中的各種 模塊。MPEG解碼器244可以用于解壓接收的立體視頻數(shù)據(jù)并可以將解壓的數(shù)據(jù)緩存在存儲(chǔ) 及播放模塊246中。然后，可以由FRUC模塊250和/或視頻處理器252讀取解壓的視頻數(shù) 據(jù)以根據(jù)接收的三維視頻輸入流生成優(yōu)化的二維視頻輸出流。就這一點(diǎn)而言，視頻處理器 252可以利用譬如左視圖流生成二維視頻輸出流，并可以利用其它視頻數(shù)據(jù)，包括譬如右視 圖流，優(yōu)化生成的二維視頻輸出流，具體可以參考譬如圖2A的描述。FRUC模塊250可以用于 執(zhí)行一個(gè)或多個(gè)幀的動(dòng)作補(bǔ)償和/或像素?cái)?shù)據(jù)插補(bǔ)以提供幀速率上轉(zhuǎn)換。圖形處理器254 可以用于提供本地圖形處理以便例如將圖形拼接到生成的及優(yōu)化的二維視頻輸出流中，然 后，可以通過顯示器256播放最終的二維視頻輸出流。圖3是根據(jù)本發(fā)明一個(gè)實(shí)施例的用于根據(jù)三維視頻輸入生成優(yōu)化的二維視頻輸 出的示范性步驟的流程圖。參考圖3，示出了包含多個(gè)示范性步驟的流程圖300，執(zhí)行這些 步驟可以根據(jù)接收的三維輸入視頻生成優(yōu)化的二維輸出視頻。在步驟302，可以接收并處理三維輸入視頻流。例如，視頻處理系統(tǒng)240可以用于 接收并處理包含三維立體視頻數(shù)據(jù)的傳輸流。就這一點(diǎn)而言，視頻數(shù)據(jù)可以包括左視圖和 右視圖。在步驟304，可以根據(jù)三維輸入視頻流生成二維輸出視頻流。例如，當(dāng)三維視頻輸 入流包含左視圖和右視圖時(shí)，可以根據(jù)一種視圖譬如左視圖生成二維視頻輸出流。在步驟 306，可以根據(jù)譬如三維視頻輸入流優(yōu)化生成的二維輸出視頻流。例如，當(dāng)二維視頻輸出流 是根據(jù)左視圖流生成的時(shí)，可以根據(jù)對應(yīng)的左視圖流和右視圖流的視頻數(shù)據(jù)優(yōu)化生成的二 維視頻輸出流，以便提高它的質(zhì)量和/或減少視覺上的人工痕跡?？梢愿鶕?jù)譬如深度和/ 或前景和/或背景信息執(zhí)行上述優(yōu)化，這些信息可以根據(jù)三維視頻數(shù)據(jù)確定，具體可以參 考圖2A的描述。在步驟308，可以對二維輸出視頻流的幀速率進(jìn)行上轉(zhuǎn)換以便通過顯示設(shè)備播放， 這些顯示設(shè)備的幀刷新速率大于幀捕捉速率。例如，多數(shù)視頻內(nèi)容是以24或48fps的速率 捕捉的，而多數(shù)顯示設(shè)備使用60、120或甚至240Hz的刷新率。因此，可以對視頻流幀速率 進(jìn)行上轉(zhuǎn)換以提高播放時(shí)的視頻質(zhì)量?？梢允褂酶鞣N方法包括幀插補(bǔ)方法來上轉(zhuǎn)換幀速 率。對于幀插補(bǔ)方法，可以生成一個(gè)或多個(gè)新幀基于且嵌入每兩個(gè)持續(xù)的原始幀之間。當(dāng) 二維視頻輸出流是根據(jù)三維視頻輸入流生成的時(shí)，可以利用其它視頻內(nèi)容優(yōu)化幀速率的上 轉(zhuǎn)換操作，上述其它視頻內(nèi)容可以是未被用來生成二維視頻輸出流的視頻內(nèi)容。例如，當(dāng)二 維視頻輸出流是根據(jù)三維立體輸入視頻的左視圖流生成的時(shí)，可以利用未使用的右視圖幀 和/或場來生成和/或優(yōu)化插補(bǔ)的幀和/或場。在步驟310，通過二維顯示設(shè)備播放二維視 頻輸出流。 本發(fā)明的各種實(shí)施例可以包括一種根據(jù)三維視頻輸入優(yōu)化二維視頻顯示的方法和系統(tǒng)。視頻處理系統(tǒng)240可以用于接收及處理三維(3D)輸入視頻流以提取譬如集成在 接收的三維輸入視頻流中的視圖序列，然后，當(dāng)顯示器256只具有二維播放功能時(shí)，可以生 成相應(yīng)的二維(2D)輸出視頻流。多個(gè)視圖序列可以包括立體的左和右參考場或幀的序列。 二維輸出視頻流可以通過譬如視頻處理器252根據(jù)所述多個(gè)提取的視圖序列生成。視頻處 理器252可以利用來自至少一個(gè)提取的視圖序列中的視頻內(nèi)容和/或信息生成二維輸出視 頻流的視頻數(shù)據(jù)。就這一點(diǎn)而言，視頻處理器252可以選擇一個(gè)視圖序列譬如左視圖序列 作為二維輸出視頻流的基礎(chǔ)序列。然后，視頻處理器252可以利用來自未選擇的視圖序列 中的視頻內(nèi)容和/或信息優(yōu)化二維輸出視頻流。二維輸出視頻流的優(yōu)化過程中使用的視頻 內(nèi)容和/或信息可以包括深度信息和/或前景和/或背景信息。二維輸出視頻流的優(yōu)化可 以包括改善二維輸出視頻流中圖像的深度、對比度和/或清晰度，和/或消除視覺上的人工 痕跡。當(dāng)顯示器幀速率大于接收的三維輸入視頻流的幀速率時(shí)，視頻處理系統(tǒng)240可以通 過譬如FRUC模塊250利用譬如幀或場插補(bǔ)對二維輸出視頻流執(zhí)行幀上轉(zhuǎn)換操作。利用初始 時(shí)未被選作二維輸出視頻流的基礎(chǔ)序列的幀和/或場視圖序列中的視頻內(nèi)容和/或信息， 可以優(yōu)化幀和/或場插補(bǔ)，以進(jìn)一步提高二維輸出視頻流的質(zhì)量。視頻處理系統(tǒng)240還可 以用于通過圖形處理器254本地執(zhí)行對應(yīng)于二維輸出視頻流的圖形處理。圖形處理器254 可以根據(jù)譬如二維輸出視頻流中每個(gè)圖像中的一個(gè)或多個(gè)焦點(diǎn)來執(zhí)行本地圖形處理。本發(fā)明的另一個(gè)實(shí)施例可以提供一種機(jī)器和/或計(jì)算機(jī)可讀存儲(chǔ)器和/或媒介， 其存儲(chǔ)的機(jī)器代碼和/或計(jì)算機(jī)程序包括至少一個(gè)代碼段，所述至少一個(gè)代碼段由機(jī)器和 /或計(jì)算機(jī)執(zhí)行，從而使該機(jī)器和/或計(jì)算機(jī)執(zhí)行上述用于根據(jù)三維視頻輸入優(yōu)化二維視 頻的顯示的步驟。因此，本發(fā)明可以通過硬件、軟件，或者軟、硬件結(jié)合來實(shí)現(xiàn)。本發(fā)明可以在至少一 個(gè)計(jì)算機(jī)系統(tǒng)中以集中方式實(shí)現(xiàn)，或者由分布在幾個(gè)互連的計(jì)算機(jī)系統(tǒng)中的不同部分以分 散方式實(shí)現(xiàn)。任何可以實(shí)現(xiàn)方法的計(jì)算機(jī)系統(tǒng)或其它設(shè)備都是可適用的。常用軟硬件的結(jié) 合可以是安裝有計(jì)算機(jī)程序的通用計(jì)算機(jī)系統(tǒng)，通過安裝和執(zhí)行程序控制計(jì)算機(jī)系統(tǒng)，使 其按方法運(yùn)行。本發(fā)明還可以通過計(jì)算機(jī)程序產(chǎn)品進(jìn)行實(shí)施，程序包含能夠?qū)崿F(xiàn)本發(fā)明方法的全 部特征，當(dāng)其安裝到計(jì)算機(jī)系統(tǒng)中時(shí)，可以實(shí)現(xiàn)本發(fā)明的方法。本文件中的計(jì)算機(jī)程序所指 的是可以采用任何程序語言、代碼或符號編寫的一組指令的任何表達(dá)式，該指令組使系統(tǒng) 具有信息處理能力，以直接實(shí)現(xiàn)特定功能，或在進(jìn)行下述一個(gè)或兩個(gè)步驟之后實(shí)現(xiàn)特定功 能a)轉(zhuǎn)換成其它語言、解碼或符號；b)以不同的格式再現(xiàn)。雖然本發(fā)明是通過具體實(shí)施例進(jìn)行說明的，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明白，在不脫離 本發(fā)明范圍的情況下，還可以對本發(fā)明進(jìn)行各種變換及等同替代。另外，針對特定情形或材 料，可以對本發(fā)明做各種修改，而不脫離本發(fā)明的范圍。因此，本發(fā)明不局限于所公開的具 體實(shí)施例，而應(yīng)當(dāng)包括落入本發(fā)明權(quán)利要求范圍內(nèi)的全部實(shí)施方式。相關(guān)申請交叉引用本發(fā)明參考并結(jié)合以下專利申請的內(nèi)容美國臨時(shí)專利申請?zhí)?1/287，624，申請日2009年12月17日；美國臨時(shí)專利申請?zhí)?1/287，634，申請日2009年12月17日； 美國專利申請?zhí)?2/554,416，申請日2009年9月4日；
美國專利申請?zhí)?2/546,644，申請日2009年8月24日；美國專利申請?zhí)?2/619,461，申請日2009年11月6日；

美國專利申請?zhí)?2/578,048，申請日2009年10月13日；美國臨時(shí)專利申請?zhí)?1/287，653，申請日2009年12月17日；美國專利申請?zhí)?2/604，980，申請日2009年10月23日；美國專利申請?zhí)?2/545,679，申請日2009年8月21日；美國專利申請?zhí)?2/560,554，申請日2009年9月16日；美國專利申請?zhí)?2/560,578，申請日2009年9月16日；美國專利申請?zhí)?2/560,592，申請日2009年9月16日；美國專利申請?zhí)?2/604,936，申請日2009年10月23日；美國臨時(shí)專利申請?zhí)?1/287，668，申請日2009年12月17日；美國專利申請?zhí)?2/573，746，申請日2009年10月5日；美國專利申請?zhí)?2/573，771，申請日2009年10月5日；美國臨時(shí)專利申請?zhí)?1/287，673，申請日2009年12月17日；美國臨時(shí)專利申請?zhí)?1/287，682，申請日2009年12月17日；美國專利申請?zhí)?2/605,039，申請日2009年10月23日；及美國臨時(shí)專利申請?zhí)?1/287，692，申請日2009年12月17日。
權(quán)利要求
1.一種用于視頻處理的方法，其特征在于，包括 由視頻處理系統(tǒng)中的一個(gè)或多個(gè)處理器和/或電路執(zhí)行 從壓縮的三維輸入視頻流中提取多個(gè)視圖序列；以及根據(jù)所述多個(gè)提取的視圖序列生成二維輸出視頻流，其中所述二維輸出視頻流的視頻 數(shù)據(jù)是利用視圖信息生成的，所述視圖信息來自所述多個(gè)提取的視圖序列中的至少一個(gè)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述多個(gè)提取的視圖序列包括立體的左 和右參考場或幀的序列。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述二維輸出視頻流的視頻數(shù)據(jù)生成過 程中利用的所述視圖信息包括深度信息和/或前景和/或背景信息。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，包括從所述多個(gè)提取的視圖序列中選擇 一個(gè)作為所述生成的二維輸出視頻流的基礎(chǔ)序列。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，包括根據(jù)所述多個(gè)提取的視圖序列中的 一個(gè)或多個(gè)未選擇的序列來調(diào)整所述生成的二維輸出視頻流的基礎(chǔ)序列。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述調(diào)整優(yōu)化了所述二維輸出視頻流中 圖像的深度、對比度和/或清晰度。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，包括利用幀或場插補(bǔ)對所述二維輸出視 頻流執(zhí)行幀上轉(zhuǎn)換操作。
8.根據(jù)權(quán)利要求6所述的方法，其特征在于，包括根據(jù)所述多個(gè)提取的視圖序列中的 至少一個(gè)調(diào)整所述插補(bǔ)。
9.根據(jù)權(quán)利要求1所述的方法，其特征在于，包括本地執(zhí)行對應(yīng)于所述二維輸出視頻 流的圖形處理。
10.一種用于視頻處理的系統(tǒng)，其特征在于，包括用于從壓縮的三維輸入視頻流中提取多個(gè)視圖序列的一個(gè)或多個(gè)電路和/或處理器；以及所述一個(gè)或多個(gè)電路和/或處理器用于根據(jù)所述多個(gè)提取的視圖序列生成二維輸出 視頻流，其中所述二維輸出視頻流的視頻數(shù)據(jù)是利用視圖信息生成的，所述視圖信息來自 所述多個(gè)提取的視圖序列中的至少一個(gè)。
全文摘要
本發(fā)明涉及一種用于視頻處理的方法和系統(tǒng)。視頻處理設(shè)備可以根據(jù)三維輸入視頻流生成二維輸出視頻流，所述三維輸入視頻流包含多個(gè)視圖序列。所述多個(gè)視圖序列可以包括立體的左和右參考場或幀序列。初始時(shí)可以選擇一個(gè)視圖序列作為二維輸出視頻流的基礎(chǔ)序列，且可以利用未選擇的視圖序列中的視頻內(nèi)容和/或信息優(yōu)化所述二維輸出視頻流。優(yōu)化所述二維輸出視頻流的過程中利用的視頻內(nèi)容和/或信息可以包括深度信息和/或前景和/或背景信息。所述二維輸出視頻流的優(yōu)化可以包括利用二維輸出視頻流中圖像的基于幀和/或場的插補(bǔ)來提高深度、對比度、清晰度和/或上轉(zhuǎn)換速率。
文檔編號H04N7/26GK102104788SQ20101059393
公開日2011年6月22日 申請日期2010年12月17日 優(yōu)先權(quán)日2009年12月17日
發(fā)明者伊利亞·克萊巴諾夫, 薩米爾·赫爾亞爾卡, 陳雪敏, 馬庫斯·凱勒曼 申請人:美國博通公司