專利名稱：提供和再現(xiàn)三維視頻內(nèi)容的方法和設(shè)備及其記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
與本發(fā)明一致的方法和設(shè)備涉及三維(3D)視頻內(nèi)容服務(wù)，更具體地講，涉及一種 通過使用用于發(fā)送3D視頻內(nèi)容的節(jié)目映射表(PMT)和基本流(ES)，提供3D視頻內(nèi)容的方 法和設(shè)備，以及一種存儲(chǔ)用于執(zhí)行所述方法的程序的計(jì)算機(jī)可讀記錄介質(zhì)，所述方法和設(shè) 備可保持與傳統(tǒng)數(shù)字廣播系統(tǒng)兼容性，并同時(shí)向用戶提供更真實(shí)的3D視頻內(nèi)容。
背景技術(shù)：
目前，已關(guān)于數(shù)字電視(DTV)對(duì)三維(3D)圖像(例如，立體圖像)進(jìn)行了研究。DTV 將視頻、音頻和其他數(shù)據(jù)的模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)，并壓縮和發(fā)送所述數(shù)字信號(hào)。然后， DTV接收數(shù)字信號(hào)，再將數(shù)字信號(hào)轉(zhuǎn)換回原始視頻、音頻和其他數(shù)據(jù)信號(hào)，并再現(xiàn)各內(nèi)容，從 而提供與傳統(tǒng)模擬廣播相比的高清晰服務(wù)。圖1是用于產(chǎn)生3D圖像的傳輸流(TS)的傳統(tǒng)設(shè)備的框圖。參照?qǐng)D1，編碼器104和106分別對(duì)從3D音頻視頻(AV)獲取單元102接收的二 維(2D)圖像和3D附加信息編碼，并產(chǎn)生2D圖像和3D附加信息的ES。打包器108和110 分別對(duì)由編碼器104產(chǎn)生的2D圖像的ES和由編碼器106產(chǎn)生的3D信息的ES打包。節(jié)目 特定信息(PSI)產(chǎn)生器112產(chǎn)生用于系統(tǒng)解碼器對(duì)TS中存在的內(nèi)容解碼的PSI。PSI包括 節(jié)目關(guān)聯(lián)表(PAT)和節(jié)目映射表(PMT)。TS包產(chǎn)生器114、116和118產(chǎn)生在打包器108和 110中被打包的ES以及用于由PSI產(chǎn)生器112產(chǎn)生的PSI信息的TS。復(fù)用器(MUX) 120對(duì) 由TS包產(chǎn)生器114、116和118產(chǎn)生的TS復(fù)用。然而，根據(jù)傳統(tǒng)技術(shù)，應(yīng)該改變傳統(tǒng)PMT的結(jié)構(gòu)，以提供關(guān)于3D圖像內(nèi)容的附加信 息，因此，傳統(tǒng)設(shè)備無(wú)法保持與傳統(tǒng)模擬廣播的兼容性。

發(fā)明內(nèi)容
技術(shù)方案本發(fā)明提供了一種提供和再現(xiàn)三維(3D)圖像內(nèi)容的方法和設(shè)備以及存儲(chǔ)有用于 執(zhí)行所述方法的程序的計(jì)算機(jī)可讀記錄介質(zhì)，所述方法和設(shè)備可保持與傳統(tǒng)數(shù)字廣播系統(tǒng) 的兼容性，并同時(shí)向用戶提供更可靠的3D圖像內(nèi)容。有益效果根據(jù)本發(fā)明，將關(guān)于3D圖像內(nèi)容的附加信息插入到PMT中的保留區(qū)域和ES描述 符區(qū)域中，從而保持與傳統(tǒng)數(shù)字廣播系統(tǒng)的兼容性，并同時(shí)向用戶提供更真實(shí)的3D圖像內(nèi)容。


通過參照附圖對(duì)本發(fā)明的示例性實(shí)施例的詳細(xì)描述，本發(fā)明的以上和其他特征以 及方面將變得更清楚，其中圖1是用于產(chǎn)生三維(3D)圖像的傳輸流(TS)的傳統(tǒng)設(shè)備的框圖2是示出根據(jù)本發(fā)明實(shí)施例的執(zhí)行用于提供和再現(xiàn)3D圖像內(nèi)容的方法的節(jié)目 映射表(PMT)的結(jié)構(gòu)的示圖；圖3示出MPEG-2視頻結(jié)構(gòu)，以解釋在MPEG-2標(biāo)準(zhǔn)中插入關(guān)于3D圖像內(nèi)容的附加 信息的方法；圖4示出H. 264/AVC視頻結(jié)構(gòu)，以解釋在H. 264/AVC標(biāo)準(zhǔn)中插入關(guān)于3D圖像內(nèi)容 的附加信息的方法；圖5是示出根據(jù)本發(fā)明實(shí)施例的提供3D圖像內(nèi)容的方法的流程圖；圖6是示出根據(jù)本發(fā)明實(shí)施例的再現(xiàn)3D圖像內(nèi)容的方法的流程圖；圖7是根據(jù)本發(fā)明實(shí)施例的用于提供3D圖像內(nèi)容的設(shè)備的框圖；圖8是根據(jù)本發(fā)明實(shí)施例的用于再現(xiàn)3D圖像內(nèi)容的設(shè)備的框圖。最佳實(shí)施方式根據(jù)本發(fā)明的一方面，提供了一種提供三維(3D)圖像內(nèi)容的方法，所述方法包 括將內(nèi)容類型信息插入到節(jié)目映射表(PMT)的保留區(qū)域中，所述內(nèi)容類型信息指示圖像 內(nèi)容是二維(2D)圖像內(nèi)容還是3D圖像內(nèi)容；將關(guān)于3D圖像內(nèi)容的附加信息插入到PMT的 基本流(ES)描述符區(qū)域和ES的視頻序列中包括的保留區(qū)域之一中；以及對(duì)3D圖像內(nèi)容的 PMT和ES復(fù)用，以產(chǎn)生傳輸流(TS)。所述方法還可包括將關(guān)于3D圖像內(nèi)容的另一附加信息插入到ES的視頻序列中 包括的保留區(qū)域中。在MPEG-2標(biāo)準(zhǔn)的情況下，所述ES的視頻序列中包括的保留區(qū)域可包括位于ES的 頭中的用戶數(shù)據(jù)區(qū)域和序列擴(kuò)展區(qū)域以及位于ES的畫面頭的畫面編碼擴(kuò)展區(qū)域中的至少一個(gè)。在H. 264/AVC標(biāo)準(zhǔn)的情況下，所述ES的視頻序列中包括的保留區(qū)域可包括位于 ES的頭中的序列參數(shù)設(shè)置區(qū)域、補(bǔ)充增強(qiáng)信息(SEI)區(qū)域和畫面參數(shù)設(shè)置區(qū)域中的至少一 個(gè)。內(nèi)容類型信息可指示圖像內(nèi)容是2D圖像內(nèi)容、3D圖像內(nèi)容還是2D圖像和3D圖像 混合的內(nèi)容。關(guān)于3D圖像內(nèi)容的附加信息可包括參考圖像信息，所述參考圖像信息指示3D圖 像內(nèi)容是參考圖像視圖內(nèi)容還是附加圖像示圖內(nèi)容。關(guān)于3D圖像內(nèi)容的附加信息可包括多視圖模式信息，所述多視圖模式信息指示 3D圖像內(nèi)容是否是多視圖模式圖像內(nèi)容。關(guān)于3D圖像內(nèi)容的另一附加信息可包括針對(duì)多視圖模式圖像的與3D圖像內(nèi)容的 圖像視圖有關(guān)的信息。關(guān)于3D圖像內(nèi)容的另一附加信息可包括關(guān)于3D圖像內(nèi)容的格式的信息，所述3D 圖像內(nèi)容的格式包括并排圖像、頂?shù)讏D像、幀序圖像、場(chǎng)序圖像和深度圖像中的至少一個(gè)。關(guān)于3D圖像內(nèi)容的另一附加信息可包括關(guān)于3D圖像內(nèi)容的相機(jī)參數(shù)的信息。關(guān)于3D圖像內(nèi)容的另一附加信息可包括關(guān)于3D圖像內(nèi)容的最佳顯示大小或最佳 觀看距離的信息。關(guān)于3D圖像內(nèi)容的另一附加信息可包括用于局部3D圖像內(nèi)容的3D開始標(biāo)記和 3D結(jié)束標(biāo)記
5
根據(jù)本發(fā)明的另一方面，提供了一種再現(xiàn)3D圖像內(nèi)容的方法，所述方法包括從 傳輸流(TS)中提取節(jié)目映射表(PMT)；通過使用插入到PMT的保留區(qū)域中的內(nèi)容類型信息 來(lái)確定TS中包括的圖像內(nèi)容是2D圖像內(nèi)容還是3D圖像內(nèi)容；從TS中提取3D圖像內(nèi)容的 基本流(ES)；以及從PMT的ES描述符區(qū)域或ES的視頻序列中包括的保留區(qū)域來(lái)提取關(guān)于 3D圖像內(nèi)容的附加信息。所述方法還可包括提取關(guān)于3D圖像內(nèi)容的另一附加信息，所述關(guān)于3D圖像內(nèi)容 的另一附加信息被插入到ES的視頻序列中包括的保留區(qū)域中。所述方法還可包括通過使用關(guān)于3D圖像內(nèi)容的附加信息和關(guān)于3D圖像內(nèi)容的 另一附加信息來(lái)再現(xiàn)3D圖像內(nèi)容。根據(jù)本發(fā)明的另一方面，提供了一種提供3D圖像內(nèi)容的設(shè)備，所述設(shè)備包括內(nèi) 容信息插入單元，將內(nèi)容類型信息插入到節(jié)目映射表(PMT)的保留區(qū)域中，所述內(nèi)容類型 信息指示圖像內(nèi)容是2D圖像內(nèi)容還是3D圖像內(nèi)容；附加信息插入單元，將關(guān)于3D圖像內(nèi) 容的附加信息插入到PMT的基本流(ES)描述符區(qū)域和ES的視頻序列中包括的保留區(qū)域之 一中；以及傳輸流產(chǎn)生單元，對(duì)3D圖像內(nèi)容的PMT和ES復(fù)用，以產(chǎn)生TS。根據(jù)本發(fā)明的另一方面，提供了一種再現(xiàn)3D圖像內(nèi)容的設(shè)備，所述設(shè)備包括節(jié) 目映射表(PMT)提取單元，從傳輸流(TS)中提取PMT ；內(nèi)容類型確定單元，通過使用插入到 PMT的保留區(qū)域中的內(nèi)容類型信息來(lái)確定TS中包括的圖像內(nèi)容是2D圖像內(nèi)容還是3D圖像 內(nèi)容；附加信息提取單元，從PMT的基本流(ES)描述符區(qū)域或ES的視頻序列中包括的保留 區(qū)域來(lái)提取關(guān)于3D圖像內(nèi)容的附加信息。根據(jù)本發(fā)明的另一方面，提供了一種記錄有計(jì)算機(jī)程序的計(jì)算機(jī)可讀記錄介質(zhì)， 所述計(jì)算機(jī)程序用于執(zhí)行提供3D圖像內(nèi)容的方法，所述方法包括將內(nèi)容類型信息插入到 節(jié)目映射表(PMT)的保留區(qū)域中，所述內(nèi)容類型信息指示圖像內(nèi)容是2D圖像內(nèi)容還是3D 圖像內(nèi)容；將關(guān)于3D圖像內(nèi)容的附加信息插入到PMT的基本流(ES)描述符區(qū)域和ES的 視頻序列中包括的保留區(qū)域之一中；以及對(duì)3D圖像內(nèi)容的PMT和ES復(fù)用，以產(chǎn)生傳輸流 (TS)。根據(jù)本發(fā)明的另一方面，提供了一種記錄有計(jì)算機(jī)程序的計(jì)算機(jī)可讀記錄介質(zhì)， 所述計(jì)算機(jī)程序用于執(zhí)行再現(xiàn)3D圖像內(nèi)容的方法，所述方法包括從傳輸流(TS)中提取節(jié) 目映射表(PMT)；通過使用插入到PMT的保留區(qū)域中的內(nèi)容類型信息來(lái)確定TS中包括的圖 像內(nèi)容是2D圖像內(nèi)容還是3D圖像內(nèi)容；從TS中提取3D圖像內(nèi)容的基本流(ES)；以及從 PMT的ES描述符區(qū)域或ES的視頻序列中包括的保留區(qū)域來(lái)提取關(guān)于3D圖像內(nèi)容的附加信 肩、ο
具體實(shí)施例方式以下，將參照附圖更全面地描述本發(fā)明，在附圖中示出了本發(fā)明的示例性實(shí)施例。節(jié)目特定信息(PSI)是用戶為系統(tǒng)解碼器對(duì)傳輸流(TS)中存在的內(nèi)容解碼所定 義的信息，通常包括四個(gè)表，例如，節(jié)目關(guān)聯(lián)表(PAT)、節(jié)目映射表(PMT)、網(wǎng)絡(luò)信息表(NIT) 和條件訪問表(CAT)。PAT和PMT與用于構(gòu)造節(jié)目的節(jié)目信息有關(guān)，NIT與傳送網(wǎng)絡(luò)信息有關(guān)，CAT與條 件接收情況下的加擾有關(guān)。本發(fā)明與PAT和PMT有關(guān)。本發(fā)明的一個(gè)實(shí)施例不考慮NIT和
6CAT。另外，進(jìn)程標(biāo)識(shí)符(PID)表示位于TS的包頭中的包標(biāo)識(shí)符。在TS的接收端，使用PID 來(lái)劃分TS的包。即，根據(jù)本發(fā)明的用于產(chǎn)生三維(3D)圖像內(nèi)容的設(shè)備從PAT初始化內(nèi)容 服務(wù)。圖2是示出根據(jù)本發(fā)明實(shí)施例的執(zhí)行用于提供和再現(xiàn)3D圖像內(nèi)容的方法的PMT 的結(jié)構(gòu)的示圖。參照?qǐng)D2，根據(jù)當(dāng)前實(shí)施例的PMT的結(jié)構(gòu)基于MPEG-2標(biāo)準(zhǔn)，并包括保留區(qū)域202。 例如，PMT中的保留區(qū)域202分別位于段長(zhǎng)度區(qū)域、版本號(hào)區(qū)域、節(jié)目時(shí)鐘參考包ID(PCR PID)和節(jié)目信息長(zhǎng)度區(qū)域的前面。PMT中的保留區(qū)域202包括內(nèi)容類型信息c0ntentS_type_flag，所述內(nèi)容類型信 息C0ntentS_type_flag指示MPEG-2TS中包括的圖像內(nèi)容是二維圖像內(nèi)容還是3D圖像內(nèi) 容。下面的表1示出了內(nèi)容類型信息的示例。表 1 例如，當(dāng)內(nèi)容類型信息具有值“ 0x00 ”、“ 0x01 ”和“ Ox 10 ”時(shí)，TS中包括的圖像內(nèi)容 可以分別是2D圖像內(nèi)容、3D圖像內(nèi)容以及2D圖像和3D圖像混合的內(nèi)容(即，局部3D圖像 內(nèi)容)。值“0x11”可被指定為保留值。另外，PMT的基本流(ES)描述符可包括關(guān)于3D圖像內(nèi)容的附加信息(即，第 一附加信息)。例如，N循環(huán)描述符204可包括關(guān)于3D圖像內(nèi)容的附加信息描述符3D_ data_indicator_descriptor。下面的表2示出了 N循環(huán)描述符204中包括的3D_data_ indicator_descriptor 的不例。表2 在表2中，關(guān)于3D圖像內(nèi)容的第一附加信息可包括參考圖像信息和多視圖信息。 參考圖像信息是指示圖像內(nèi)容是參考圖像視圖內(nèi)容還是附加圖像視圖內(nèi)容的信息。多視圖 模式信息可以是指示圖像內(nèi)容是否是多視圖模式圖像內(nèi)容的信息。
例如，當(dāng)參考圖像信息具有值“0”和“1”時(shí)，TS中包括的圖像內(nèi)容可分別是參考 圖像視圖內(nèi)容和3D附加圖像視圖內(nèi)容。另外，當(dāng)多視圖模式信息具有值“1”時(shí)，TS中包括 的圖像內(nèi)容可以是多視像內(nèi)容。另外，參考圖像信息和多視圖模式信息可被包括在保留區(qū)域、GOP頭或當(dāng)前使用的 描述符的畫面頭中。此外，ES的視頻序列中包括的保留區(qū)域可包括關(guān)于3D圖像內(nèi)容的另一附加信息 (艮P，第二附加信息)。例如，在MPEG-2標(biāo)準(zhǔn)的情況下，ES的視頻序列的保留區(qū)域可以是位 于ES的頭中的用戶數(shù)據(jù)區(qū)域和序列擴(kuò)展區(qū)域、位于ES的畫面頭中的畫面編碼擴(kuò)展區(qū)域。另 外，在H. 264/AVC標(biāo)準(zhǔn)的情況下，ES的視頻序列中的保留區(qū)域可以是位于ES的頭中的序列 參數(shù)設(shè)置區(qū)域、畫面參數(shù)設(shè)置區(qū)域和補(bǔ)充增強(qiáng)信息(SEI)區(qū)域。圖3示出MPEG-2視頻結(jié)構(gòu)，所述MPEG-2視頻結(jié)構(gòu)用于解釋在MPEG-2標(biāo)準(zhǔn)中插入 關(guān)于3D圖像內(nèi)容的附加信息的方法。圖3中示出的MPEG-2視頻分級(jí)結(jié)構(gòu)包括序列頭區(qū)域 302、序列擴(kuò)展區(qū)域304、畫面組(GOP)頭和畫面306以及序列結(jié)束編碼區(qū)域?？蓪㈥P(guān)于3D 圖像內(nèi)容的附加信息插入到序列頭區(qū)域302的用戶數(shù)據(jù)區(qū)域、序列擴(kuò)展區(qū)域304和位于GOP 的畫面頭中的畫面編碼擴(kuò)展區(qū)域。具體地講，當(dāng)將附加信息插入到序列擴(kuò)展區(qū)域304和畫 面編碼擴(kuò)展區(qū)域時(shí)，在擴(kuò)展開始編碼標(biāo)識(shí)符中定義的保留區(qū)域中定義針對(duì)關(guān)于3D圖像內(nèi) 容的附加信息的3D附加信息擴(kuò)展Sequence_3D_eXtenSi0n。然后，可將關(guān)于3D圖像內(nèi)容的 附加信息插入到sequence_3D-extension。另外，可在用戶數(shù)據(jù)區(qū)域中定義sequence_3D_ extension。圖4示出H. 264/AVC視頻結(jié)構(gòu)，以解釋在H. 264/AVC標(biāo)準(zhǔn)中插入關(guān)于3D圖像內(nèi)容 的附加信息的方法。圖4中示出的H. 264RSBP包括序列參數(shù)設(shè)置區(qū)域402、SEI區(qū)域404和 視頻參數(shù)設(shè)置(或畫面參數(shù)設(shè)置)區(qū)域406?？赏ㄟ^在區(qū)域402、404和406的保留區(qū)域中 定義Sequence_3D_eXtenSi0n來(lái)使用關(guān)于3D圖像數(shù)據(jù)的附加信息。下面的表3-1示出sequence_3D_extension中包括的關(guān)于3D圖像內(nèi)容的附加信 息的示例。表 3-1 在表3-1中，當(dāng)內(nèi)容類型是2D圖像和3D圖像混合的內(nèi)容(S卩，局部3D圖像內(nèi)容) 時(shí)，sequence_3D_extension可包括3D開始標(biāo)記3D_start_flag，指示3D圖像內(nèi)容的開始 時(shí)間；3D結(jié)束標(biāo)記3D_end_flag，指示3D圖像內(nèi)容的結(jié)束時(shí)間。作為呈現(xiàn)3D段的另一方法，在表3-1中，在開始點(diǎn)將3D_Start_flag設(shè)置為“1”， 在結(jié)束點(diǎn)將3D_end_flag設(shè)置為“1”，從而設(shè)置3D段。然而，除了在驅(qū)動(dòng)3D顯示器過程中呈 現(xiàn)開始點(diǎn)和結(jié)束點(diǎn)的方法之外，可將3D段的數(shù)量直接標(biāo)記到開始點(diǎn)，從而方便計(jì)數(shù)器(用 于對(duì)3D模式的段的數(shù)量進(jìn)行計(jì)數(shù)的裝置)的操作。另外，當(dāng)圖像內(nèi)容是多視圖模式內(nèi)容時(shí)，sequence_3D_extension可包括在多視 圖模式下每個(gè)視圖的順序(view-ordering)、參考圖像視圖(mair^view)和多視圖索引 (multiview_index)。view-ordering指示多視像的布置順序。例如，當(dāng)view-ordering是1時(shí)， multiview_index為0(最小值)的圖像成為最左視圖，multiview_index為最大值的圖像 成為最右視圖。當(dāng)view-ordering是0時(shí)，multiview_index為0(最小值)的圖像成為最右視圖， multiview_index為最大值的圖像成為最左值。當(dāng)然，以上示例反過來(lái)也是可以的。mainjiew指示當(dāng)前視圖是否是參考視像。mainjiew可具有各種含義，這是 因?yàn)樗杀挥米髂Ｐ鸵晥D控制器(MVC)中的標(biāo)準(zhǔn)視圖，或者它可僅表示在不使用其他視圖 進(jìn)行視差估計(jì)的情況下的它自己的視圖，從而可進(jìn)行單獨(dú)解碼。
根據(jù)view-ordering來(lái)確定multiview_index的值。從左到右布置圖像，并根據(jù) view-ordering以升序或降序來(lái)石角定multiview_index的值。另外，SeqUence_3D_eXtenSi0n可包括深度圖像信息，所述深度圖像信息指示圖像 內(nèi)容是否是深度圖像內(nèi)容。例如，當(dāng)深度圖像信息具有值“1”時(shí)，表示接收到深度圖像內(nèi)容 和關(guān)于深度圖像內(nèi)容的附加信息。當(dāng)深度圖像信息具有值“0”時(shí)，表示接收的圖像內(nèi)容不 是深度圖像內(nèi)容。如果圖像內(nèi)容是深度圖像內(nèi)容，則關(guān)于深度圖像內(nèi)容的附加信息可包括 最大距離max_cbpth和最小距離min_cbpth，從拍攝預(yù)定對(duì)象的相機(jī)到對(duì)象來(lái)測(cè)量所述最 大距離和最小距離。此外，sequence_3D_extension可包括關(guān)于3D圖像內(nèi)容的格式的信息，例如，并排 圖像、頂?shù)讏D像、幀序圖像、場(chǎng)序圖像和深度圖像。表 3-2表 4 例如，當(dāng)關(guān)于3D圖像格式的信息具有值“0100”、“0101”、“0010”和“0011”時(shí)，可
分別指示具有并排格式的半圖像數(shù)據(jù)、具有頂?shù)赘袷降陌雸D像數(shù)據(jù)、具有幀序格式的全圖 像數(shù)據(jù)和具有場(chǎng)序格式的全圖像數(shù)據(jù)。另外，sequence_3D_extension可包括最佳顯示大小，能夠最佳地顯示3D圖像內(nèi) 容(例如，最佳顯示寬度和最佳顯示高度)；和最佳觀看距離，用戶能夠最佳地觀看內(nèi)容。此外，SeqUence_3D_eXtenSi0n可包括相機(jī)參數(shù)信息，所述相機(jī)參數(shù)信息指示圖像 內(nèi)容是否包括相機(jī)參數(shù)。例如，當(dāng)相機(jī)參數(shù)具有值“1”時(shí)，可指示包括相機(jī)參數(shù)的圖像內(nèi)容 以及與相機(jī)參數(shù)有關(guān)的附加信息被接收。當(dāng)相機(jī)參數(shù)具有值“0”時(shí)，可指示圖像內(nèi)容不包 括相機(jī)參數(shù)。
如果圖像內(nèi)容包括相機(jī)參數(shù)，則與相機(jī)參數(shù)有關(guān)的附加信息可包括平移參數(shù)、旋 轉(zhuǎn)參數(shù)、焦距參數(shù)和中心點(diǎn)參數(shù)。這里，平移參數(shù)是左視點(diǎn)和右視點(diǎn)距原點(diǎn)之間的差矢量。 在多視點(diǎn)的情況下，平移參數(shù)可包括x、y和ζ三個(gè)坐標(biāo)值。在雙視點(diǎn)的情況下，平移參數(shù)可 只包括用于基線距離的值。旋轉(zhuǎn)參數(shù)是基于世界坐標(biāo)的3D相機(jī)姿態(tài)角。在多視點(diǎn)的情況 下，旋轉(zhuǎn)參數(shù)可包括三個(gè)角度值a、b和C。焦距參數(shù)是從光學(xué)中心到圖像的平面的距離。中心點(diǎn)參數(shù)(center—point)是指示圖像中光軸穿過的點(diǎn)。根據(jù)以上描述的PMT，用于再現(xiàn)2D圖像內(nèi)容的傳統(tǒng)設(shè)備忽略了 PMT中包括的內(nèi)容 類型信息COntentS_type_flag，因此，提供的2D圖像內(nèi)容可被觀看。然而，根據(jù)本發(fā)明的 再現(xiàn)3D圖像內(nèi)容的設(shè)備解釋PMT中包括的內(nèi)容類型信息COntentS_type_flag，以區(qū)分3D 圖像內(nèi)容和2D圖像內(nèi)容,并解釋在ES描述符區(qū)域3D_data_indicator_descriptor中定義 的3D附加信息擴(kuò)展Sequence_3D_eXtenSi0n和ES視頻序列，以提供3D圖像內(nèi)容服務(wù)。當(dāng) ES描述符區(qū)域3D_data_indicator_descriptor不存在時(shí)，如果在一個(gè)TS中存在多個(gè)ES, 則無(wú)法區(qū)分與3D圖像內(nèi)容有關(guān)的ES。另外，在3D圖像內(nèi)容服務(wù)的情況下，可通過使用系統(tǒng)頭TS/PS中的節(jié)目時(shí)鐘參考 (PCR)或系統(tǒng)時(shí)鐘參考(SCR)、多個(gè)打包的ES (PES)中的呈現(xiàn)時(shí)間戳和解碼時(shí)間戳(DTS)、以 及GOP頭中的時(shí)間代碼(time_COde)，來(lái)實(shí)現(xiàn)同步。具體地講，在局部3D圖像內(nèi)容服務(wù)中， 可通過使用位于3D信息擴(kuò)展中的3D開始標(biāo)記和3D結(jié)束標(biāo)記知道局部3D圖像的開始和結(jié)
束ο圖5是示出根據(jù)本發(fā)明實(shí)施例的提供3D圖像內(nèi)容的方法的流程圖。參照?qǐng)D5，在操作502，提供3D圖像內(nèi)容的設(shè)備將內(nèi)容類型信息插入到PMT的保留 區(qū)域中，所述內(nèi)容類型信息指示圖像內(nèi)容是2D圖像內(nèi)容還是3D圖像內(nèi)容。在操作504，提供3D圖像內(nèi)容的設(shè)備將關(guān)于3D圖像內(nèi)容的附加信息(即，第一附 加信息)插入到PMT中的ES描述符區(qū)域。第一附加信息可包括參考圖像信息，指示3D圖 像內(nèi)容是參考圖像內(nèi)容還是附加圖像內(nèi)容；多視圖模式信息，指示3D圖像內(nèi)容是否是多視 圖模式圖像內(nèi)容。在操作506，提供3D圖像內(nèi)容的設(shè)備將關(guān)于3D圖像內(nèi)容的另一附加信息(即，第 二附加信息)插入到ES的視頻序列中包括的保留區(qū)域中。在MPEG-2標(biāo)準(zhǔn)的情況下，ES的 視頻序列中包括的保留區(qū)域可以是位于ES的頭中的用戶數(shù)據(jù)區(qū)域和序列擴(kuò)展區(qū)域以及位 于ES的畫面頭中的畫面編碼擴(kuò)展區(qū)域。另外，在H. 264/AVC標(biāo)準(zhǔn)的情況下，ES的視頻序列 中包括的保留區(qū)域可以是位于ES的頭中的序列參數(shù)設(shè)置區(qū)域、畫面參數(shù)設(shè)置區(qū)域和SEI區(qū) 域。在操作508，提供3D圖像內(nèi)容的設(shè)備將3D圖像內(nèi)容的PMT和ES復(fù)用，以產(chǎn)生TS。 第二附加信息可包括與3D圖像內(nèi)容的圖像視圖有關(guān)的信息、與3D圖像內(nèi)容的顯示格式有 關(guān)的信息、與3D圖像內(nèi)容的相機(jī)參數(shù)有關(guān)的信息、與3D圖像內(nèi)容的最佳顯示大小或最佳觀 看距離有關(guān)的信息、以及用于局部3D圖像內(nèi)容的3D開始標(biāo)記和3D結(jié)束標(biāo)記。圖6是示出根據(jù)本發(fā)明實(shí)施例的再現(xiàn)3D圖像內(nèi)容的方法的流程圖。參照?qǐng)D6，在操作602，用于再現(xiàn)3D圖像內(nèi)容的設(shè)備從TS中提取PMT。在操作604，用于再現(xiàn)3D圖像內(nèi)容的設(shè)備通過使用插入到PMT的保留區(qū)域中的內(nèi) 容類型信息來(lái)確定TS中包括的圖像內(nèi)容是2D圖像內(nèi)容還是3D圖像內(nèi)容。
12
在操作606，用于再現(xiàn)3D圖像內(nèi)容的設(shè)備從PMT的ES描述符區(qū)域中提取關(guān)于3D 圖像內(nèi)容的附加信息(即，第一附加信息)。第一附加信息已在上面描述過，因此這里將省 略對(duì)其的描述。在操作608，用于再現(xiàn)3D圖像內(nèi)容的設(shè)備從TS中提取3D圖像內(nèi)容的ES。在操作610，用于再現(xiàn)3D圖像內(nèi)容的設(shè)備提取被插入到ES的視頻序列的保留區(qū)域 中的關(guān)于3D圖像內(nèi)容的另一信息(S卩，第二附加信息)。第二附加信息已在上面描述過，因 此這里將省略對(duì)其的描述。在操作612，用于再現(xiàn)3D圖像內(nèi)容的設(shè)備通過使用在操作606中提取的第一附加 信息和在操作610中提取的第二附加信息來(lái)再現(xiàn)3D圖像內(nèi)容。圖7是根據(jù)本發(fā)明實(shí)施例的用于提供3D圖像內(nèi)容的設(shè)備的框圖。參照?qǐng)D7，用于提供3D圖像內(nèi)容的設(shè)備700包括PSI產(chǎn)生單元702、內(nèi)容類型信息 插入單元704、附加信息插入單元706和TS產(chǎn)生單元708。PSI產(chǎn)生單元702產(chǎn)生PSI信息，以使用于提供3D圖像內(nèi)容的設(shè)備700對(duì)TS中包 括的內(nèi)容解碼。PSI產(chǎn)生單元702以與圖1中示出的PSI產(chǎn)生器112類似的方式操作，因此 這里將省略對(duì)其的描述。內(nèi)容類型信息插入單元704將內(nèi)容類型信息插入到PMT的保留區(qū)域中，所述內(nèi)容 類型信息指示圖像內(nèi)容是2D圖像內(nèi)容還是3D圖像內(nèi)容。附加信息插入單元706將關(guān)于3D圖像內(nèi)容的第一附加信息插入到PMT的ES描述 符區(qū)域。第一附加信息已在上面描述過，因此這里將省略對(duì)其的描述。TS產(chǎn)生單元708對(duì)3D圖像內(nèi)容的PMT和ES復(fù)用，從而產(chǎn)生TS 710。圖8是根據(jù)本發(fā)明實(shí)施例的用于再現(xiàn)3D圖像內(nèi)容的設(shè)備的框圖。用于再現(xiàn)3D圖像內(nèi)容的設(shè)備800包括PMT提取單元804、內(nèi)容類型確定單元806 和附加信息提取單元808。PMT提取單元804從TS 802中提取PMT。內(nèi)容類型確定單元806通過使用插入到PMT的保留區(qū)域中的內(nèi)容類型信息來(lái)確定 TS 802中包括的圖像內(nèi)容是2D圖像內(nèi)容還是3D圖像內(nèi)容。附加信息提取單元808從PMT的ES描述符區(qū)域中提取關(guān)于3D圖像內(nèi)容的附加信 息。附加信息提取單元808輸出關(guān)于3D圖像內(nèi)容的內(nèi)容類型和附加信息810。與用于提供和再現(xiàn)3D圖像內(nèi)容的方法和設(shè)備有關(guān)的本發(fā)明還可被實(shí)施為計(jì)算機(jī) 可讀記錄介質(zhì)上的計(jì)算機(jī)可讀代碼。所述計(jì)算機(jī)可讀記錄介質(zhì)是可存儲(chǔ)其后可被計(jì)算機(jī)系 統(tǒng)讀取的數(shù)據(jù)的任何數(shù)據(jù)存儲(chǔ)裝置。計(jì)算機(jī)可讀記錄介質(zhì)的示例包括只讀存儲(chǔ)器(ROM)、隨 機(jī)存取存儲(chǔ)器(RAM)、CD-ROM、磁帶、軟盤和光學(xué)數(shù)據(jù)存儲(chǔ)裝置。在另一示例性實(shí)施例中，計(jì) 算機(jī)可讀記錄介質(zhì)可被分布于聯(lián)網(wǎng)的計(jì)算機(jī)系統(tǒng)上，從而計(jì)算機(jī)可讀代碼以分布式方式被 存儲(chǔ)和執(zhí)行。盡管已參照本發(fā)明的示例性實(shí)施例具體顯示和描述了本發(fā)明，但是本領(lǐng)域的普通 技術(shù)人員將理解，在不脫離權(quán)利要求限定的本發(fā)明的精神和范圍的情況下，可在形式和細(xì) 節(jié)方面進(jìn)行各種改變。.
權(quán)利要求
一種提供三維(3D)圖像內(nèi)容的方法，所述方法包括將內(nèi)容類型信息插入到節(jié)目映射表(PMT)的保留區(qū)域中，所述內(nèi)容類型信息指示圖像內(nèi)容是否是3D圖像內(nèi)容；將關(guān)于3D圖像內(nèi)容的第一信息插入到PMT的基本流(ES)描述符區(qū)域和ES的視頻序列中包括的區(qū)域之一中；以及對(duì)3D圖像內(nèi)容的PMT和ES復(fù)用，以產(chǎn)生傳輸流(TS)。
2.如權(quán)利要求1所述的方法，還包括將關(guān)于3D圖像內(nèi)容的第二信息插入到ES的視 頻序列中包括的區(qū)域。
3.如權(quán)利要求2所述的方法，其中，如果圖像內(nèi)容基于MPEG-2標(biāo)準(zhǔn)，則ES的視頻序列 中包括的區(qū)域包括位于ES的頭中的用戶數(shù)據(jù)區(qū)域和序列擴(kuò)展區(qū)域以及位于ES的畫面頭的 畫面編碼擴(kuò)展區(qū)域中的至少一個(gè)區(qū)域。
4.如權(quán)利要求2所述的方法，其中，如果圖像內(nèi)容基于H.264/AVC標(biāo)準(zhǔn)，則ES的視頻序 列中包括的區(qū)域包括位于ES的頭中的序列參數(shù)設(shè)置區(qū)域、補(bǔ)充增強(qiáng)信息(SEI)區(qū)域和畫面 參數(shù)設(shè)置區(qū)域中的至少一個(gè)中。
5.如權(quán)利要求1所述的方法，其中，關(guān)于3D圖像內(nèi)容的第一信息包括參考圖像信息，所 述參考圖像信息指示3D圖像內(nèi)容是參考圖像視圖內(nèi)容還是附加圖像示圖內(nèi)容。
6.如權(quán)利要求1所述的方法，其中，關(guān)于3D圖像內(nèi)容的第一信息包括多視圖模式信息， 所述多視圖模式信息指示3D圖像內(nèi)容是否是多視圖模式圖像內(nèi)容。
7.如權(quán)利要求6所述的方法，其中，關(guān)于3D圖像內(nèi)容的第二信息包括針對(duì)多視圖模式 圖像的與3D圖像內(nèi)容的圖像視圖有關(guān)的信息。
8.如權(quán)利要求2所述的方法，其中，關(guān)于3D圖像內(nèi)容的第二信息包括深度圖像參數(shù)以 及從相機(jī)到對(duì)象測(cè)量的最大距離和最小距離，所述深度圖像參數(shù)指示3D圖像內(nèi)容是否是 深度圖像內(nèi)容。
9.如權(quán)利要求2所述的方法，其中，關(guān)于3D圖像內(nèi)容的第二信息包括關(guān)于3D圖像內(nèi)容 的格式的信息、所述3D圖像內(nèi)容的格式包括并排圖像、頂部圖像和底部圖像、幀序圖像、場(chǎng) 序圖像和深度圖像中的至少一個(gè)。
10.如權(quán)利要求2所述的方法，其中，關(guān)于3D圖像內(nèi)容的第二信息包括關(guān)于3D圖像內(nèi) 容的相機(jī)參數(shù)的信息。
11.如權(quán)利要求2所述的方法，其中，關(guān)于3D圖像內(nèi)容的第二信息包括關(guān)于3D圖像內(nèi) 容的最佳顯示大小或最佳觀看距離的信息。
12.如權(quán)利要求2所述的方法，其中，關(guān)于3D圖像內(nèi)容的第二信息包括用于局部3D圖 像內(nèi)容的3D開始標(biāo)記和3D結(jié)束標(biāo)記或者用于對(duì)3D模式的段的數(shù)量進(jìn)行計(jì)數(shù)的計(jì)數(shù)器。
13.—種再現(xiàn)三維(3D)圖像內(nèi)容的方法，所述方法包括從傳輸流(TS)中提取節(jié)目映射表(PMT)；通過使用插入到PMT的保留區(qū)域中的內(nèi)容類型信息來(lái)確定TS中包括的圖像內(nèi)容是否 是3D圖像內(nèi)容；從TS中提取3D圖像內(nèi)容的基本流(ES)；以及從PMT的ES描述符區(qū)域或ES的視頻序列中包括的區(qū)域來(lái)提取關(guān)于3D圖像內(nèi)容的第信息。
14.如權(quán)利要求13所述的方法，還包括提取關(guān)于3D圖像內(nèi)容的第二信息，所述關(guān)于 3D圖像內(nèi)容的第二信息被插入到ES的視頻序列中包括的區(qū)域中。
15.如權(quán)利要求14所述的方法，還包括通過使用關(guān)于3D圖像內(nèi)容的第一信息和關(guān)于 3D圖像內(nèi)容的第二信息來(lái)再現(xiàn)3D圖像內(nèi)容。
16.如權(quán)利要求14所述的方法，其中，關(guān)于3D圖像內(nèi)容的第一信息包括參考圖像信息， 所述參考圖像信息指示3D圖像內(nèi)容是參考圖像視圖內(nèi)容還是附加圖像示圖內(nèi)容。
17.如權(quán)利要求13所述的方法，其中，關(guān)于3D圖像內(nèi)容的第一信息包括多視圖模式信 息，所述多視圖模式信息指示3D圖像內(nèi)容是否是多視圖模式圖像內(nèi)容。
18.一種提供三維(3D)圖像內(nèi)容的設(shè)備，所述設(shè)備包括第一插入單元，將內(nèi)容類型信息插入到節(jié)目映射表(PMT)的保留區(qū)域中，所述內(nèi)容類 型信息指示圖像內(nèi)容是否是3D圖像內(nèi)容；第二插入單元，將關(guān)于3D圖像內(nèi)容的第一信息插入到PMT的基本流(ES)描述符區(qū)域 和ES的視頻序列中包括的區(qū)域之一中；以及流產(chǎn)生單元，對(duì)3D圖像內(nèi)容的PMT和ES復(fù)用，以產(chǎn)生傳輸流(TS)。
19.一種再現(xiàn)三維(3D)圖像內(nèi)容的設(shè)備，所述設(shè)備包括第一提取單元，從傳輸流(TS)中提取節(jié)目映射表(PMT)；確定單元，通過使用插入到PMT的保留區(qū)域中的內(nèi)容類型信息來(lái)確定TS中包括的圖像 內(nèi)容是否是3D圖像內(nèi)容；第二提取單元，從PMT的基本流(ES)描述符區(qū)域或ES的視頻序列中包括的區(qū)域來(lái)提 取關(guān)于3D圖像內(nèi)容的信息。
20.一種記錄有計(jì)算機(jī)程序的計(jì)算機(jī)可讀記錄介質(zhì)，所述計(jì)算機(jī)程序用于執(zhí)行提供3D 圖像內(nèi)容的方法，所述方法包括將內(nèi)容類型信息插入到節(jié)目映射表(PMT)的保留區(qū)域中，所述內(nèi)容類型信息指示圖像 內(nèi)容是否是3D圖像內(nèi)容；將關(guān)于3D圖像內(nèi)容的第一信息插入到PMT的基本流(ES)描述符區(qū)域和ES的視頻序 列中包括的區(qū)域之一中；以及對(duì)3D圖像內(nèi)容的PMT和ES復(fù)用，以產(chǎn)生傳輸流(TS)。
21.—種記錄有計(jì)算機(jī)程序的計(jì)算機(jī)可讀記錄介質(zhì)，所述計(jì)算機(jī)程序用于執(zhí)行再現(xiàn)3D 圖像內(nèi)容的方法，所述方法包括從傳輸流(TS)中提取節(jié)目映射表(PMT)；通過使用插入到PMT的保留區(qū)域中的內(nèi)容類型信息來(lái)確定TS中包括的圖像內(nèi)容是否 是3D圖像內(nèi)容；以及從PMT的ES描述符區(qū)域或ES的視頻序列中包括的區(qū)域來(lái)提取關(guān)于3D圖像內(nèi)容的附 加信息。
全文摘要
提供了一種提供和再現(xiàn)三維(3D)圖像視頻的方法和設(shè)備以及存儲(chǔ)有用于執(zhí)行所述方法的程序的計(jì)算機(jī)可讀記錄介質(zhì)。所述提供3D圖像內(nèi)容的方法包括將內(nèi)容類型信息插入到節(jié)目映射表(PMT)的保留區(qū)域中，所述內(nèi)容類型信息指示圖像內(nèi)容是二維(2D)圖像內(nèi)容還是3D圖像內(nèi)容；將關(guān)于3D圖像內(nèi)容的附加信息插入到PMT的基本流(ES)描述符區(qū)域和ES的視頻序列中包括的區(qū)域之一中；以及對(duì)3D圖像內(nèi)容的PMT和ES復(fù)用，以產(chǎn)生傳輸流(TS)。因此，與傳統(tǒng)數(shù)字廣播系統(tǒng)的兼容性可被保持，并可向用戶提供更真實(shí)的3D圖像內(nèi)容。
文檔編號(hào)H04N13/02GK101919259SQ200880125196
公開日2010年12月15日 申請(qǐng)日期2008年11月14日 優(yōu)先權(quán)日2008年3月25日
發(fā)明者張庸碩, 朱盛晨, 李栽準(zhǔn), 金容臺(tái), 金載承 申請(qǐng)人:三星電子株式會(huì)社