專利名稱：用于同步立體圖像的設(shè)備和方法、以及用于基于該用于同步立體圖像的設(shè)備和方法來提 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于同步和提供圖像的技術(shù)；并更具體地，涉及一種用于同步和提供立體圖像的設(shè)備和方法。
背景技術(shù)：
提供立體內(nèi)容的技術(shù)的標(biāo)準(zhǔn)化已在進(jìn)行中。這樣的標(biāo)準(zhǔn)化促使基于諸如數(shù)字電視 (TV)、移動(dòng)電話、數(shù)字相機(jī)、數(shù)字通用盤(DVD)和便攜式多媒體播放器(PMP)之類的各種數(shù)字圖像裝置來快速推進(jìn)相關(guān)技術(shù)。立體內(nèi)容向自然圖像提供優(yōu)異的三維(3D)效果和卓越的逼真度。相應(yīng)地，已經(jīng)開發(fā)了用于捕獲、生成和顯示立體內(nèi)容的技術(shù)，并且也已經(jīng)推進(jìn)了用于使用立體內(nèi)容的應(yīng)用服務(wù)和裝置的有關(guān)技術(shù)。作為現(xiàn)有技術(shù)，引入了用于形成立體圖像的并排方法。并排方法通過將立體內(nèi)容的左圖像和右圖像縮減一半并且在一幀中包括所縮減的左圖像和右圖像來提供立體服務(wù)。例如，通過僅僅采集左圖像中奇數(shù)編號(hào)的垂直線來將左圖像縮減一半，并通過僅僅采集右圖像中偶數(shù)編號(hào)的垂直線來將右圖像縮減一半，并且在一幀中包括所縮減的左圖像和右圖像。由于在一幀中包括左圖像和右圖像兩者，所以易于對(duì)左圖像與右圖像進(jìn)行同步。然而，并排方法也具有缺點(diǎn)。即，使得圖像分辨率劣化，并且它不可與典型的數(shù)字廣播相比。作為根據(jù)現(xiàn)有技術(shù)的用于形成立體圖像的另一方法，引入了幀順序方法。根據(jù)現(xiàn)有技術(shù)的幀順序方法交替地對(duì)立體內(nèi)容的右圖像和左圖像進(jìn)行編碼。根據(jù)現(xiàn)有技術(shù)的幀順序方法有利地提供了具有與原始圖像一致的全分辨率的立體圖像。然而，幀順序方法可能不利地導(dǎo)致對(duì)左圖像與右圖像進(jìn)行同步的難題，并且如果右圖像和左圖像之一被損壞，則可能在忽略右圖像和左圖像之一的情況下提供相關(guān)服務(wù)。 因此，根據(jù)現(xiàn)有技術(shù)的幀順序方法不可與典型的數(shù)字廣播相比。此外，引入了根據(jù)現(xiàn)有技術(shù)的編碼方法，用于在維持與典型數(shù)字廣播的可比性的同時(shí)提供立體內(nèi)容。此編碼方法使用諸如MPEG_2(運(yùn)動(dòng)圖像專家組- 和先進(jìn)視頻編碼 (AVC)之類的不同編解碼器(CODEC)來對(duì)左圖像和右圖像進(jìn)行編碼。而且，引入了用于在維持該可比性的情況下提供立體圖像的另一編碼方法。此編碼方法使用左圖像與右圖像之間的關(guān)系來對(duì)左圖像和右圖像進(jìn)行編碼。盡管這些方法都維持了與典型數(shù)字廣播系統(tǒng)的可比性，但是這些方法需要附加的編解碼器以用于個(gè)別地對(duì)左圖像和右圖像進(jìn)行編碼和解碼，由此具有高的系統(tǒng)復(fù)雜度。同樣，由于數(shù)字廣播帶寬的限制，所以難以將這些方法應(yīng)用于HD級(jí)別的高分辨率數(shù)字廣播服務(wù)。

發(fā)明內(nèi)容
技術(shù)問題
本發(fā)明的實(shí)施例針對(duì)提供一種用于有效地同步和提供立體圖像的技術(shù)。本發(fā)明的另一實(shí)施例針對(duì)在數(shù)字廣播的有限頻帶內(nèi)提供高質(zhì)量的立體數(shù)字廣播服務(wù)，同時(shí)維持與典型數(shù)字廣播的可比性。本發(fā)明的其他目的和優(yōu)點(diǎn)可以通過以下描述來理解，并且通過參考本發(fā)明的實(shí)施例而變得明顯。同樣地，對(duì)于本發(fā)明領(lǐng)域的技術(shù)人員明顯的是，可以通過所要求保護(hù)的部件及其組合來實(shí)現(xiàn)本發(fā)明的目的和優(yōu)點(diǎn)。技術(shù)方案根據(jù)本發(fā)明的一方面，提供了一種用于提供立體圖像的方法，包括存儲(chǔ)第一圖像，接收用于在與第一圖像關(guān)聯(lián)的情況下形成立體圖像的第二圖像，對(duì)該第一圖像和該第二圖像進(jìn)行同步，以及輸出所同步的兩個(gè)圖像。根據(jù)本發(fā)明的一方面，提供了一種用于提供立體圖像的設(shè)備，包括存儲(chǔ)器，用于存儲(chǔ)第一圖像；接收器，用于接收用于在與第一圖像關(guān)聯(lián)的情況下形成立體圖像的第二圖像；同步控制器，用于對(duì)該第一圖像和該第二圖像進(jìn)行同步；以及輸出單元，用于輸出所同步的兩個(gè)圖像。根據(jù)本發(fā)明的一方面，提供了一種用于同步立體圖像的方法，包括存儲(chǔ)第一圖像，接收用于在與第一圖像關(guān)聯(lián)的情況下形成立體圖像的第二圖像，以及對(duì)該第一圖像和該第二圖像進(jìn)行同步。根據(jù)本發(fā)明的一方面，提供了一種用于同步立體圖像的設(shè)備，包括存儲(chǔ)器，用于存儲(chǔ)第一圖像；接收器，用于接收用于在與第一圖像關(guān)聯(lián)的情況下形成立體圖像的第二圖像；以及同步控制器，用于對(duì)該第一圖像和該第二圖像進(jìn)行同步。有益效果根據(jù)本發(fā)明，可以有效地同步和提供立體圖像。具體地，可以在有限的數(shù)字廣播頻率帶寬內(nèi)提供高質(zhì)量的立體數(shù)字廣播服務(wù)，同時(shí)維持與典型數(shù)字廣播的可比性。


圖1圖示了根據(jù)本發(fā)明實(shí)施例的立體圖像提供設(shè)備100。圖2圖示了圖1所示的同步控制器106。圖3圖示了根據(jù)本發(fā)明實(shí)施例的數(shù)字廣播系統(tǒng)300。圖4是圖示了根據(jù)本發(fā)明實(shí)施例的3-D廣播節(jié)目的圖。圖5是描述了根據(jù)本發(fā)明實(shí)施例的用于提供立體圖像的方法的流程圖。圖6是圖示了圖5所示的同步步驟S506的流程圖。圖7圖示了根據(jù)本發(fā)明實(shí)施例的立體圖像提供設(shè)備700。圖8圖示了根據(jù)本發(fā)明實(shí)施例的立體圖像流。圖9圖示了用于示出根據(jù)本發(fā)明實(shí)施例的廣播節(jié)目信息的節(jié)目映射表。
具體實(shí)施例方式根據(jù)在下文中提出的、參考附圖而進(jìn)行的實(shí)施例的以下描述，本發(fā)明的優(yōu)點(diǎn)、特征和方面將變得明顯。為了提供立體圖像，必須具有兩個(gè)圖像，即左圖像和右圖像。在下文中， 第一圖像和第二圖像意味著左圖像和右圖像之一。
圖1圖示了根據(jù)本發(fā)明實(shí)施例的立體圖像提供設(shè)備100。可以將立體圖像提供設(shè)備100實(shí)施為用于3D廣播服務(wù)的終端或機(jī)頂盒。如圖1所示，立體圖像提供設(shè)備100包括存儲(chǔ)器102、接收器104、同步控制器106、 和輸出單元108。存儲(chǔ)器102存儲(chǔ)第一圖像，并且接收器104接收與第一圖像對(duì)應(yīng)的第二圖像。第二圖像是用于在與第一圖像關(guān)聯(lián)的情況下形成立體圖像的圖像。如果第一圖像是右圖像， 則第二圖像是左圖像。同樣，如果獨(dú)立地對(duì)第一圖像和第二圖像進(jìn)行再現(xiàn)，則可以以2D圖像來顯示第一圖像和第二圖像。第一圖像可以是從外部接收的或者通過廣播信號(hào)而事先接收的圖像。同步控制器106對(duì)預(yù)先所存儲(chǔ)的第一圖像與接收器104所接收的第二圖像進(jìn)行同步。輸出單元108將所同步的兩個(gè)圖像輸出為立體圖像。根據(jù)本實(shí)施例的立體圖像提供設(shè)備100事先存儲(chǔ)立體圖像的兩個(gè)圖像之一，并且附加地接收另一圖像，如上所述。因此，根據(jù)本實(shí)施例的立體圖像提供設(shè)備100有效地使用用于接收?qǐng)D像的傳送帶寬。例如，如果第一和第二圖像中的至少一個(gè)圖像是數(shù)字廣播節(jié)目，則存儲(chǔ)器102在廣播該數(shù)字廣播節(jié)目的時(shí)間之前存儲(chǔ)第一圖像。這里，第一圖像可以由接收器104來接收。 或者，可以在通過廣播信道、因特網(wǎng)和衛(wèi)星通信接收到之后，將第一圖像存儲(chǔ)在外部裝置中，并且稍后將它輸入到立體圖像提供設(shè)備。立體圖像提供器可以提供以下服務(wù)，該服務(wù)通過在向觀眾提供廣播節(jié)目列表之后選擇所期望的立體廣播、來使得觀眾能夠事先接收第一圖像。接收器104在廣播該數(shù)字廣播節(jié)目時(shí)接收該第二圖像。然后，同步控制器106對(duì)第一和第二圖像進(jìn)行同步，并且輸出單元108輸出所同步的圖像。因此，根據(jù)本實(shí)施例的立體圖像提供設(shè)備100可以實(shí)時(shí)地向觀眾提供高清晰度立體數(shù)字廣播內(nèi)容，同時(shí)維持與典型數(shù)字廣播系統(tǒng)的可比性。在此情況下，根據(jù)本實(shí)施例的立體圖像提供設(shè)備100可以提供具有全分辨率的立體圖像，而沒有當(dāng)提供HD級(jí)別的立體數(shù)字廣播時(shí)已出現(xiàn)的傳送帶寬限制問題。圖2是圖1所示的同步控制器106。如圖1所示，同步控制器106包括節(jié)目ID信息提取器202、圖像控制器204、和圖像相關(guān)器206。同步控制器106還可以包括時(shí)間參考值提取器208和同步器210。節(jié)目ID信息提取器202從第一圖像中提取節(jié)目ID信息。節(jié)目ID信息是向第一圖像分派的、第一圖像的唯一索引。圖像控制器204確定是否根據(jù)第二圖像來形成立體圖像。如果圖像控制器204確定根據(jù)第二圖像來形成立體圖像，則圖像相關(guān)器206使用來自節(jié)目ID信息提取器202的所提取的節(jié)目ID信息來使得第一圖像與第二圖像關(guān)聯(lián)。由于可以獨(dú)立地以二維圖像來顯示第二圖像，所以圖像控制器204基于關(guān)于是否形成立體圖像的信息來決定圖像輸出方法。如果圖像控制器204確定形成立體圖像，則圖像控制器204查找與該第二圖像對(duì)應(yīng)的第一圖像，并且對(duì)第一圖像與第二圖像進(jìn)行同步。由于第一圖像事先存儲(chǔ)在立體圖像提供設(shè)備100中，所以立體圖像提供設(shè)備100可以存儲(chǔ)用于各種廣播節(jié)目的左圖像和右圖像之一。盡管立體圖像提供設(shè)備100事先存儲(chǔ)了多個(gè)第一圖像，但是僅僅存在一個(gè)與第二圖像對(duì)應(yīng)的第一圖像。圖像相關(guān)器206可以使用從第一圖像中提取的節(jié)目標(biāo)識(shí)信息來查找與第二圖像相關(guān)的第一圖像。時(shí)間參考值提取器208從第一圖像和第二圖像中提取時(shí)間參考值。同步器210使用時(shí)間參考值提取器208所提取的時(shí)間參考值來對(duì)第一圖像和第二圖像進(jìn)行同步。同步器 210可以使用來自圖像相關(guān)器206的第一和第二圖像的相關(guān)性信息來確認(rèn)兩個(gè)對(duì)應(yīng)圖像。 同步器210可以通過將所提取的第一和第二圖像的時(shí)間參考值之一校正為與另一時(shí)間參考值相同，來同步兩個(gè)圖像。因?yàn)榻邮盏诙D像的時(shí)間不同于接收并存儲(chǔ)第一圖像的時(shí)間，所以第一和第二圖像的時(shí)間參考值可能不同。同步器210可以通過使用所提取的時(shí)間參考值而校正第一圖像或第二圖像的時(shí)間戳，來同步兩個(gè)圖像。同樣，同步器210根據(jù)所提取的時(shí)間參考值來對(duì)第二圖像的分組或幀進(jìn)行計(jì)數(shù)， 并且將第一圖像的分組或幀的計(jì)數(shù)數(shù)目校正為與第二圖像的分組的計(jì)數(shù)數(shù)目相同。圖3是圖示了根據(jù)本發(fā)明實(shí)施例的數(shù)字廣播服務(wù)系統(tǒng)300的圖。圖4是圖示了根據(jù)本發(fā)明實(shí)施例的3D廣播節(jié)目的圖。根據(jù)本實(shí)施例的數(shù)字廣播服務(wù)系統(tǒng)300向觀眾提供包括3D廣播節(jié)目的廣播節(jié)目。可以以二維圖像來獨(dú)立地對(duì)左圖像和右圖像進(jìn)行再現(xiàn)。同樣，可以將左圖像和右圖像中的一個(gè)圖像與另一圖像一起再現(xiàn)為立體圖像?？梢元?dú)立地或者彼此從屬地(cbpendently)在流中形成左圖像和右圖像中的每一個(gè)圖像。這里，獨(dú)立流意味著可以以2D圖像來再現(xiàn)、以便維持與典型廣播的可比性的流。從屬流意味著可以再現(xiàn)為獨(dú)立流的流。相應(yīng)地，將在廣播相關(guān)廣播節(jié)目的時(shí)間之前傳送并存儲(chǔ)的第一圖像稱作3D補(bǔ)充圖像，并且將在廣播相關(guān)廣播節(jié)目時(shí)傳送的第二圖像稱作主要圖像。首先，3D內(nèi)容服務(wù)器306將包括3D視頻302和音頻304的立體內(nèi)容轉(zhuǎn)移到廣播站 308。廣播站308將3D視頻劃分為主要圖像和3D補(bǔ)充圖像，并且單獨(dú)地傳送該主要圖像和 3D補(bǔ)充圖像。網(wǎng)絡(luò)服務(wù)器310事先接收3D補(bǔ)充圖像，并且在廣播該主要圖像之前，向計(jì)算機(jī)312或3D TV接收器316傳送所接收到的3D補(bǔ)充圖像。這里，可以通過因特網(wǎng)來傳送3D補(bǔ)充圖像，并且觀眾通過存儲(chǔ)裝置314來將所接收到的3D補(bǔ)充圖像轉(zhuǎn)移到3D TV接收器316。如果3D TV接收器316具有接收3D補(bǔ)充圖像的能力，則計(jì)算機(jī)312和存儲(chǔ)裝置314不是必須的。即，3D TV接收器316可以直接接收并存儲(chǔ)3D補(bǔ)充圖像。當(dāng)廣播站308廣播主要圖像時(shí)，3D TV接收器316接收主要圖像，對(duì)所接收到的主要圖像與所存儲(chǔ)的3D補(bǔ)充圖像進(jìn)行同步，并且將所同步的圖像輸出為3D廣播 320。具有典型DTV接收器318的觀眾可以通過DTV接收器318來觀看僅僅包括主要圖像的2D廣播322。如圖4所示，可以服務(wù)3D廣播節(jié)目。在時(shí)段402期間，以2D廣播服務(wù)類型來提供廣播節(jié)目。在預(yù)定的時(shí)段404期間，以3D廣播服務(wù)類型來提供廣播節(jié)目。在提供了 3D廣播節(jié)目之后，在時(shí)段406中再次提供2D廣播節(jié)目。2D廣播由視頻和音頻流形成，而3D廣播由主要圖像、3D補(bǔ)充圖像、和音頻流形成。用于提供3D廣播節(jié)目的時(shí)段404可根據(jù)用于存儲(chǔ)3D補(bǔ)充圖像的3DTV接收器的存儲(chǔ)空間而不同。例如，3D廣播節(jié)目可以是廣告、精彩場(chǎng)景 (scene highlight)、和體育事件。在比較短的時(shí)間中再現(xiàn)廣告和精彩場(chǎng)景。如果以3D來廣播這些節(jié)目，則其效果可能是顯著的。同樣，如果以3D來廣播體育事件，則它可給出更為豐富的現(xiàn)實(shí)感和卓越的充實(shí)度(solidity)。同樣，可以與3D圖像一起顯示各種相關(guān)信息。 因此，可以有效地廣播體育事件。在本實(shí)施例中，3D補(bǔ)充圖像是使用典型商業(yè)視頻編解碼器來編碼的并且基于 MPEG-2標(biāo)準(zhǔn)來多路復(fù)用的流。將3D補(bǔ)充圖像存儲(chǔ)為MPEG-2傳輸流(ST)。然而，可以以包括MPEG-2TS的其他格式來存儲(chǔ)3D補(bǔ)充圖像。還可以以附加存儲(chǔ)文件格式或傳輸協(xié)議來將 3D補(bǔ)充圖像存儲(chǔ)為編碼流。傳輸流TS可以包括作為MPEG-2節(jié)目控制信息的節(jié)目特定信息 (PSI)，或者僅僅包括媒體流(例如，3D補(bǔ)充圖像流)，而沒有節(jié)目控制信息(PSI)。盡管傳輸流(TS)包括節(jié)目特定信息(PSI)，但是3D TV接收器315可以使用主要圖像的節(jié)目特定信息(PSI)，并且忽略3D補(bǔ)充圖像的節(jié)目特定信息(PSI)，以便對(duì)3D補(bǔ)充圖像與實(shí)時(shí)廣播的主要圖像流進(jìn)行同步。可能通過以與主要圖像的傳輸流相似的格式來存儲(chǔ)3D補(bǔ)充圖像來減小3D TV接收器316的復(fù)雜度。當(dāng)以存儲(chǔ)文件格式來存儲(chǔ)3D補(bǔ)充圖像時(shí)，可以將3D TV接收器316實(shí)施為將該存儲(chǔ)文件格式的時(shí)間戳與主要圖像流的時(shí)間戳相匹配，以便對(duì)存儲(chǔ)文件格式與實(shí)時(shí)廣播的主要圖像流進(jìn)行同步。在此情況下，可能有利地減少用于以傳輸流(化)的格式來存儲(chǔ)3D補(bǔ)充圖像的系統(tǒng)的開銷。圖5是描述了根據(jù)本發(fā)明實(shí)施例的用于提供立體圖像的方法的流程圖。當(dāng)在步驟S502中存儲(chǔ)了第一圖像之后，在步驟S504中接收第二圖像。通過使得第一圖像與第二圖像關(guān)聯(lián)來形成立體圖像。然后，在步驟S506中對(duì)所接收到的第二圖像與所存儲(chǔ)的第一圖像進(jìn)行同步。在同步之后，在步驟S508中，將所同步的兩個(gè)圖像輸出為立體圖像。如上所述，可以將第一和第二圖像個(gè)別地顯示為2D圖像，或者可以僅僅以2D圖像來顯示第二圖像。如果第一和第二圖像中的至少一個(gè)圖像是數(shù)字廣播節(jié)目，則可以在廣播該數(shù)字廣播節(jié)目之前存儲(chǔ)第一圖像，并且可以在廣播該數(shù)字廣播節(jié)目時(shí)接收第二圖像。例如，如果第二圖像是數(shù)字廣播節(jié)目，則第一圖像可以是屬于數(shù)字廣播節(jié)目的并且與第二圖像一起形成立體圖像的3D補(bǔ)充圖像。第二圖像是作為用于形成數(shù)字廣播節(jié)目的典型2D圖像的主要圖像?？梢岳昧Ⅲw圖像來與第一圖像一起顯示2D圖像，或者可以個(gè)別地以2D圖像來顯示 2D圖像。圖6是用于詳細(xì)地圖示在步驟S506中對(duì)第一圖像與第二圖像進(jìn)行同步的流程圖。對(duì)第一圖像與第二圖像進(jìn)行同步包括在步驟S602中，從第一圖像中提取節(jié)目標(biāo)識(shí)信息；以及在步驟S604中，確定是否根據(jù)第二圖像來形成立體圖像。如果在步驟S604中確定根據(jù)第二圖像來形成立體圖像，則在步驟S606中使得第一圖像與第二圖像關(guān)聯(lián)。在步驟S606中，通過使用從步驟S602中提取的節(jié)目標(biāo)識(shí)信息而搜索第一圖像，來使得第一圖像與第二圖像關(guān)聯(lián)。在步驟S610中，將從第一和第二圖像中提取的時(shí)間參考值之一校正為與另一時(shí)間參考值相匹配，或者可以使用所提取的時(shí)間參考值來校正第一圖像或第二圖像的時(shí)間戳。在步驟S610中，基于時(shí)間參考值來對(duì)第二圖像的分組/幀進(jìn)行計(jì)數(shù)，并且可以將第一圖像的分組/幀的計(jì)數(shù)數(shù)目校正為與第二圖像的分組/幀的計(jì)數(shù)器數(shù)目相匹配。這里，時(shí)間參考值可以是節(jié)目時(shí)鐘參考(PCR)，并且時(shí)間戳可以是解碼時(shí)間戳(DTS)和呈現(xiàn)時(shí)間戳(PTS)之一。圖7是圖示了根據(jù)本發(fā)明實(shí)施例的立體圖像提供設(shè)備700的圖。如圖7所示，根據(jù)本實(shí)施例的立體圖像提供設(shè)備700包括解多路復(fù)用器704和解碼器706。解多路復(fù)用器704包括PSI分析模塊712、TS分析模塊714、PES分析模塊716、 重新添加時(shí)間戳(Re_timestamping)模塊718、和重新計(jì)數(shù)(Recounting)模塊720。解碼器706包括解碼模塊722和立體圖像生成模塊724。在下文中，主要圖像是立體圖像提供設(shè)備700所接收的第二圖像，而3D補(bǔ)充圖像是事先在立體圖像提供設(shè)備700中存儲(chǔ)的第一圖像。當(dāng)將3D補(bǔ)充圖像流702輸入到解多路復(fù)用器704時(shí)，PSI分析模塊712提取節(jié)目特定信息(PSI)。TS分析模塊714提取PCR和節(jié)目ID (PID)，該P(yáng)CR是在傳輸流(TS)的報(bào)頭中包括的時(shí)間參考值。PES分析模塊716分析在分組化基礎(chǔ)流(PEQ的報(bào)頭中包括的分組計(jì)數(shù)器或PES專用數(shù)據(jù)。解多路復(fù)用器704可以使用所分析的分組計(jì)數(shù)器或PES專用數(shù)據(jù)來對(duì)3D補(bǔ)充圖像的分組或幀進(jìn)行計(jì)數(shù)。重新添加時(shí)間戳模塊718根據(jù)所提取的PCR、DTS 和PTS(即，時(shí)間參考值或時(shí)間戳)來校正3D補(bǔ)充圖像流的時(shí)間戳。如果以預(yù)定的存儲(chǔ)文件格式、而不是傳輸流(TQ的格式來存儲(chǔ)3D補(bǔ)充圖像流 702，則重新添加時(shí)間戳模塊718基于所提取的時(shí)間參考值來校正存儲(chǔ)文件格式的時(shí)間戳。 重新計(jì)數(shù)模塊720根據(jù)PCR來將主要圖像流和補(bǔ)充圖像流的計(jì)數(shù)器數(shù)目校正為彼此相匹配?？梢詫⒅匦绿砑訒r(shí)間戳模塊718包括在TS分析模塊714中，并且可以將重新計(jì)數(shù)模塊 720包括在PES分析模塊716中。解碼器706通過解碼模塊722來僅僅對(duì)具有相同時(shí)間戳的主要圖像和3D補(bǔ)充圖像流進(jìn)行解碼，并且通過立體圖像生成模塊7M來將所解碼的主要圖像和3D補(bǔ)充圖像輸出為立體圖像。當(dāng)再現(xiàn)傳統(tǒng)的2D廣播的情況下，不使用立體圖像生成模塊724。圖8是圖示了根據(jù)本發(fā)明實(shí)施例的立體圖像流的圖。在下文中，將參考圖8來描述對(duì)主要圖像與3D補(bǔ)充圖像進(jìn)行同步的方法。立體圖像提供設(shè)備一般地使用在典型數(shù)字廣播中使用、以用于音頻和視頻(AV) 同步的PCR，來將主要圖像與3D補(bǔ)充圖像進(jìn)行同步。PCR是用于匹配解碼時(shí)間和再現(xiàn)時(shí)間的時(shí)間參考值。通過MPEG-2TS的報(bào)頭806來傳送PCR。關(guān)鍵的是，對(duì)主要圖像與3D補(bǔ)充圖像進(jìn)行同步，以便再現(xiàn)立體內(nèi)容。然而，兩個(gè)圖像具有不同的時(shí)間值，這是因?yàn)樵趥魉筒⒋鎯?chǔ)主要圖像之前對(duì)3D補(bǔ)充圖像進(jìn)行傳送并存儲(chǔ)。因此，將3D補(bǔ)充圖像和主要圖像的時(shí)間值校正為相同的時(shí)間值或相同的時(shí)間戳。立體圖像提供設(shè)備在開始主要圖像流802中的3D廣播時(shí)，使用PCR來對(duì)主要圖像流802與3D補(bǔ)充圖像流804進(jìn)行同步。即，基于作為參考的主要圖像流802的PCR值來對(duì) 3D補(bǔ)充圖像流804的時(shí)間戳進(jìn)行重新添加時(shí)間戳。時(shí)間戳可以是每個(gè)分組的DTS或PTS。 例如，假設(shè)3D補(bǔ)充圖像流804的開始TS分組的PCR值是1000，而當(dāng)3D廣播開始時(shí)主要圖像流802的開始PCR值是2000。在此情況下，將3D補(bǔ)充圖像流804的開始TS分組的PCT 值校正為2000，這與作為1000的兩個(gè)PCR值的差值差不多。同樣，基于所校正的PCR值來對(duì)以下連續(xù)分組的DTS和PTS值進(jìn)行校正。如果對(duì)時(shí)間戳進(jìn)行了校正，則通過PTS來對(duì)兩個(gè)圖像流802和804進(jìn)行同步，并且將它們?cè)佻F(xiàn)為立體圖像。由于觀眾可以通過在3D廣播服務(wù)時(shí)段816中打開TV來接收服務(wù)，所以甚至在3D廣播服務(wù)時(shí)段816中，主要圖像流802也必須包括開始3D廣播的時(shí)間和對(duì)應(yīng)的PCR值。在此情況下，立體圖像提供設(shè)備可以得知主要圖像流802的3D廣播開始時(shí)間和對(duì)應(yīng)的PCR值。 因此，可能對(duì)主要圖像流與3D補(bǔ)充圖像流804進(jìn)行同步。為了精確地進(jìn)行同步，可以使用PES報(bào)頭中的節(jié)目_分組_序列_計(jì)數(shù)器 (program_packet_sequence_counter)字·( ] 者 PES 專用―據(jù)(Private data)字·( ^ 胃才匿當(dāng)于持續(xù)地對(duì)連續(xù)PES分組進(jìn)行計(jì)數(shù)。在開始3D廣播時(shí)，PES報(bào)頭的節(jié)目_分組_序列_ 計(jì)數(shù)器_標(biāo)志(program_packet_sequence_counter_flag)變?yōu)?，并且通過節(jié)目_分組_ 序列_計(jì)數(shù)器來對(duì)主要圖像流802的PES分組進(jìn)行計(jì)數(shù)。在開始3D廣播時(shí)，將用于形成3D 補(bǔ)充圖像流804的PES分組的計(jì)數(shù)數(shù)目校正為與主要圖像流802的第一 PES分組計(jì)數(shù)數(shù)目相一致。例如，如果主要圖像流的PES分組計(jì)數(shù)數(shù)目是100，則將3D補(bǔ)充圖像流804的第一 PES分組計(jì)數(shù)數(shù)目校正為100。同樣，可以使用PES專用數(shù)據(jù)字段來將各數(shù)目分配到每一分組或幀。利用上述方法，可以在開始3D廣播時(shí)，將3D補(bǔ)充圖像流804的PES分組數(shù)目或 PES幀數(shù)目校正為與主要圖像流802的PES分組數(shù)目或PES幀數(shù)目相一致。節(jié)目映射表(PMT) 814可以包括用于執(zhí)行同步處理的必要信息。S卩，PMT 814可以包括初始_PCR(initial_PCR)808，作為用于同步的3D廣播開始部分的PCR值；初始_分組_序列_計(jì)數(shù)器(initial_packet_sequence_counter)810，作為3D廣播開始部分處的分組計(jì)數(shù)數(shù)目；以及子PID(SubPID)812，作為節(jié)目標(biāo)識(shí)信息。在下文中，將參考圖9來更加詳細(xì)地描述PMT 814。圖9是圖示了根據(jù)本發(fā)明實(shí)施例的包括廣播節(jié)目信息的PMT 900的圖。PMT 900表達(dá)了關(guān)于MPEG-2系統(tǒng)上的數(shù)字廣播節(jié)目的基本信息。作為描述符，PMT 900定義了 3D_服務(wù)_描述符(3D_service_descriptor)902和3D_從屬性_描述符(3D_ dependency_descriptor) 904。3D_服務(wù)_描述符902包括關(guān)于是否廣播2D/3D廣播的信息、關(guān)于主要圖像和3D補(bǔ)充圖像之間的相關(guān)性的信息、和初始PCR。即，3D_服務(wù)_描述符 902包括關(guān)于廣播節(jié)目的2D廣播時(shí)段和3D廣播時(shí)段的信息。由于可以在節(jié)目_信息_長(zhǎng)度(programjnfojength)之后添加用于總體廣播節(jié)目的附加所需的描述符，所以在節(jié)目 _信息_長(zhǎng)度之后安排3D_服務(wù)_描述符902。如圖9所示，將m環(huán)(loop)劃分為具有關(guān)于主要圖像906的信息的比特流和具有關(guān)于音頻908的信息的另一比特流。3D_從屬性_描述符904包括關(guān)于主要圖像和3D補(bǔ)充圖像之間的相關(guān)性的信息。由于可以在ES_信息_長(zhǎng)度之后添加與廣播節(jié)目的主要圖像相關(guān)的附加信息，所以在ES_信息_長(zhǎng)度之后安排3D_從屬性_描述符904。然而，并不限制將3D_服務(wù)_描述符902和3D_從屬性_描述符904包括在PMT 900中?？梢詫⑦@些描述符包括在應(yīng)用于其他廣播服務(wù)的各種表格中，作為獨(dú)立的描述符。同樣，3D_服務(wù)_描述符902和3D_從屬性_描述符904的名稱以及其在PMT 900中的位置可以根據(jù)各實(shí)施例而不同。此外，可以將這些描述符的字段包括在其他描述符中，或者實(shí)施為獨(dú)立的描述符。表1示出了根據(jù)本發(fā)明實(shí)施例的3D_服務(wù)_描述符。3D_服務(wù)_描述符包括關(guān)于是廣播2D廣播節(jié)目還是3D廣播節(jié)目的信息和初始的PCR信息。
表 權(quán)利要求
1.一種用于提供立體圖像的方法，包括 存儲(chǔ)第一圖像；接收用于在與第一圖像關(guān)聯(lián)的情況下形成立體圖像的第二圖像； 對(duì)該第一圖像和該第二圖像進(jìn)行同步；以及輸出所同步的兩個(gè)圖像。
2.根據(jù)權(quán)利要求1的方法，其中該第一圖像和該第二圖像中的至少一個(gè)圖像是數(shù)字廣播節(jié)目，其中，在所述存儲(chǔ)第一圖像的步驟中，在廣播該數(shù)字廣播節(jié)目的時(shí)間之前存儲(chǔ)該第一圖像，并且其中，在所述接收第二圖像的步驟中，在廣播該數(shù)字廣播節(jié)目時(shí)接收該第二圖像。
3.根據(jù)權(quán)利要求1的方法，其中將該第一圖像和該第二圖像獨(dú)立地顯示為2D圖像。
4.根據(jù)權(quán)利要求1的方法，其中所述對(duì)該第一圖像和該第二圖像進(jìn)行同步的步驟包括提取該第一圖像和該第二圖像的時(shí)間參考值；以及使用所提取的時(shí)間參考值來對(duì)該第一圖像和該第二圖像進(jìn)行同步。
5.根據(jù)權(quán)利要求4的方法，其中所述對(duì)該第一圖像和該第二圖像進(jìn)行同步的步驟還包括從該第一圖像中提取節(jié)目標(biāo)識(shí)信息； 確定是否根據(jù)該第二圖像來形成立體圖像；以及如果確定要根據(jù)該第二圖像形成該立體圖像，則基于所提取的節(jié)目標(biāo)識(shí)信息來使得該第一圖像和該第二圖像關(guān)聯(lián)。
6.根據(jù)權(quán)利要求4的方法，其中在所述使用所提取的時(shí)間參考值來對(duì)該第一圖像和該第二圖像進(jìn)行同步的步驟中，將所提取的時(shí)間參考值之一校正為與另一時(shí)間參考值相一致。
7.根據(jù)權(quán)利要求4的方法，其中在所述使用所提取的時(shí)間參考值來對(duì)該第一圖像和該第二圖像進(jìn)行同步的步驟中，根據(jù)所提取的時(shí)間參考值來校正該第一圖像和該第二圖像的時(shí)間戳中的至少一個(gè)。
8.根據(jù)權(quán)利要求4的方法，其中在所述使用所提取的時(shí)間參考值來對(duì)該第一圖像和該第二圖像進(jìn)行同步的步驟中，根據(jù)所提取的時(shí)間參考值來對(duì)該第二圖像的分組進(jìn)行計(jì)數(shù)，并且將該第一圖像的分組的計(jì)數(shù)數(shù)目校正為與該第二圖像的分組的計(jì)數(shù)數(shù)目相一致。
9.一種用于提供立體圖像的設(shè)備，包括 存儲(chǔ)器，用于存儲(chǔ)第一圖像；接收器，用于接收用于在與第一圖像關(guān)聯(lián)的情況下形成立體圖像的第二圖像； 同步控制器，用于對(duì)該第一圖像和該第二圖像進(jìn)行同步；以及輸出單元，用于輸出所同步的兩個(gè)圖像。
10.根據(jù)權(quán)利要求9的設(shè)備，其中該第一圖像和該第二圖像中的至少一個(gè)圖像是數(shù)字廣播節(jié)目，其中該存儲(chǔ)器在廣播該數(shù)字廣播節(jié)目的時(shí)間之前存儲(chǔ)該第一圖像，并且其中該接收器在廣播該數(shù)字廣播節(jié)目時(shí)接收該第二圖像。
11.根據(jù)權(quán)利要求9的設(shè)備，其中將該第一圖像和該第二圖像獨(dú)立地顯示為2D圖像。
12.根據(jù)權(quán)利要求9的設(shè)備，其中該同步控制器包括時(shí)間參考值提取器，用于提取該第一圖像和該第二圖像的時(shí)間參考值；以及同步器，用于使用所提取的時(shí)間參考值來對(duì)該第一圖像和該第二圖像進(jìn)行同步。
13.根據(jù)權(quán)利要求12的設(shè)備，其中該同步控制器還包括 節(jié)目標(biāo)識(shí)信息提取器，用于從該第一圖像中提取節(jié)目標(biāo)識(shí)信息； 圖像控制器，用于確定是否根據(jù)該第二圖像來形成立體圖像；以及圖像相關(guān)器，用于如果確定要根據(jù)該第二圖像來形成該立體圖像，則基于所提取的節(jié)目標(biāo)識(shí)信息來使得該第一圖像和該第二圖像關(guān)聯(lián)。
14.根據(jù)權(quán)利要求12的設(shè)備，其中該同步器將所提取的時(shí)間參考值中的至少一個(gè)校正為與另一時(shí)間參考值相一致。
15.根據(jù)權(quán)利要求12的設(shè)備，其中該同步器根據(jù)所提取的時(shí)間參考值來校正該第一圖像和該第二圖像的時(shí)間戳中的至少一個(gè)。
16.根據(jù)權(quán)利要求12的設(shè)備，其中該同步器根據(jù)所提取的時(shí)間參考值來對(duì)該第二圖像的分組進(jìn)行計(jì)數(shù)，并且將該第一圖像的分組的計(jì)數(shù)數(shù)目校正為與該第二圖像的分組的計(jì)數(shù)數(shù)目相一致。
17.一種用于同步立體圖像的方法，包括 存儲(chǔ)第一圖像；接收用于在與第一圖像關(guān)聯(lián)的情況下形成立體圖像的第二圖像；以及對(duì)該第一圖像和該第二圖像進(jìn)行同步。
18.根據(jù)權(quán)利要求17的方法，其中該第一圖像和該第二圖像中的至少一個(gè)圖像是數(shù)字廣播節(jié)目，其中在所述存儲(chǔ)第一圖像的步驟中，在廣播該數(shù)字廣播節(jié)目的時(shí)間之前存儲(chǔ)該第一圖像，并且其中在所述接收第二圖像的步驟中，在廣播該數(shù)字廣播節(jié)目時(shí)接收該第二圖像。
19.一種用于同步立體圖像的設(shè)備，包括 存儲(chǔ)器，用于存儲(chǔ)第一圖像；接收器，用于接收用于在與第一圖像關(guān)聯(lián)的情況下形成立體圖像的第二圖像；以及同步控制器，用于對(duì)該第一圖像和該第二圖像進(jìn)行同步。
20.根據(jù)權(quán)利要求19的設(shè)備，其中該第一圖像和該第二圖像中的至少一個(gè)圖像是數(shù)字廣播節(jié)目，其中該存儲(chǔ)器在廣播該數(shù)字廣播節(jié)目的時(shí)間之前存儲(chǔ)該第一圖像，并且其中該接收器在廣播該數(shù)字廣播節(jié)目時(shí)接收該第二圖像。
全文摘要
提供了一種用于同步和提供立體圖像的設(shè)備和方法。該方法包括存儲(chǔ)第一圖像；接收用于在與第一圖像關(guān)聯(lián)的情況下形成立體圖像的第二圖像；對(duì)該第一圖像和該第二圖像進(jìn)行同步；以及輸出所同步的兩個(gè)圖像。
文檔編號(hào)H04N13/04GK102273214SQ200980153631
公開日2011年12月7日 申請(qǐng)日期2009年7月21日 優(yōu)先權(quán)日2008年11月4日
發(fā)明者尹國(guó)鎮(zhèn), 李光淳, 李奉鎬, 李壽寅, 李賢 , 許南淏, 金晟勛, 金鎮(zhèn)雄 申請(qǐng)人:韓國(guó)電子通信研究院