能夠顯示立體圖像的數(shù)字廣播接收方法和裝置制造方法
【專(zhuān)利摘要】本發(fā)明提供數(shù)字廣播接收方法，該方法包括以下步驟：接收和解復(fù)用包括基準(zhǔn)時(shí)段視頻流和擴(kuò)展時(shí)段視頻流的數(shù)字廣播信號(hào)；使用在節(jié)目映射表(PMT)、地面虛擬頻道表(TVCT)、服務(wù)描述表(SDT)和事件信息表(EIT)中的至少一個(gè)中設(shè)置的描述符，來(lái)確定涉及基準(zhǔn)時(shí)段視頻流和擴(kuò)展時(shí)段視頻流的右/左信息；對(duì)基準(zhǔn)時(shí)段視頻流和擴(kuò)展時(shí)段視頻流解碼；以及通過(guò)使用右/左信息控制解碼后的基準(zhǔn)時(shí)段視頻流和擴(kuò)展時(shí)段視頻流。
【專(zhuān)利說(shuō)明】能夠顯示立體圖像的數(shù)字廣播接收方法和裝置
【技術(shù)領(lǐng)域】
[0001]本公開(kāi)涉及數(shù)字廣播接收方法和裝置，更具體地，涉及能夠顯示立體圖像的數(shù)字廣播接收方法和裝置。
【背景技術(shù)】
[0002]最近，隨著立體成像服務(wù)的關(guān)注增加，正在開(kāi)發(fā)用于提供這種立體圖像的裝置。顯示這種立體圖像的方法可以包括立體方案、體積方案、全息方案等。
[0003]立體方案的基本原理是向用戶的左眼和右眼單獨(dú)地提供彼此垂直地排列的圖像，并且通過(guò)在大腦中組合向相應(yīng)的左眼和右眼提供的圖像產(chǎn)生立體圖像。在此，正交排列的圖像可以變?yōu)樽笠晥D圖像和右視圖圖像。當(dāng)左視圖圖像和右視圖圖像分別被左眼和右眼通過(guò)偏振眼鏡或者顯示裝置觀看時(shí)，用戶可以識(shí)別立體圖像效果。
[0004]然而，相關(guān)技術(shù)數(shù)字廣播是基于二維(2D)圖像提供的。因此，為了在數(shù)字廣播中有效地實(shí)現(xiàn)立體成像服務(wù)，可以考慮有效地檢查和處理立體圖像信號(hào)的方法。

【發(fā)明內(nèi)容】

[0005]技術(shù)問(wèn)題
[0006]因此，為了減輕這些問(wèn)題，具體描述的方面是提供能夠檢查和處理用于立體圖像的信號(hào)的數(shù)字廣播接收方法，以及使用該方法的數(shù)字廣播接收裝置。
[0007]具體描述的另一個(gè)方面是提供數(shù)據(jù)配置方法和輸出控制方法，以允許能夠顯示立體(或者3D)圖像的接收裝置和能夠僅顯示二維(2D)圖像的接收裝置正確地處理信號(hào)。
[0008]具體描述的另一個(gè)方面是提供能夠通過(guò)以各種級(jí)別檢查和處理右視圖圖像和左視圖圖像而支持3D圖像顯示的數(shù)字廣播發(fā)送和接收方法以及裝置。
[0009]具體描述的另一個(gè)方面是提供在基于MVC立體編碼的3D廣播的準(zhǔn)備中接收裝置的相關(guān)操作和進(jìn)一步要求的約束或控制。
[0010]技術(shù)方案
[0011]為了實(shí)現(xiàn)這些和其它優(yōu)點(diǎn)，并且根據(jù)本發(fā)明的目的，如這里所具體實(shí)施和廣泛描述的，提供了一種數(shù)字廣播接收方法，該方法包括以下步驟:接收和解復(fù)用步驟，接收并解復(fù)用包括基本視圖視頻流和擴(kuò)展視圖視頻流的數(shù)字廣播信號(hào)；確定步驟，使用在節(jié)目映射表PMT、地面虛擬頻道表TVCT、服務(wù)描述表SDT和事件信息表EIT中的至少一個(gè)中設(shè)置的描述符，來(lái)確定與所述基本視圖視頻流和所述擴(kuò)展視圖視頻流相關(guān)的右/左信息；解碼步驟，對(duì)所述基本視圖視頻流和所述擴(kuò)展視圖視頻流解碼；以及控制步驟，使用所述右/左信息來(lái)控制解碼后的基本視圖視頻流和擴(kuò)展視圖視頻流。
[0012]根據(jù)此處公開(kāi)的一個(gè)示例性實(shí)施方式，所述基本視圖視頻流和所述擴(kuò)展視圖視頻流可以被設(shè)置有彼此不同的視點(diǎn)的視頻流區(qū)段。所述描述符可以以節(jié)目級(jí)別、事件級(jí)別和幀級(jí)別中的至少一個(gè)指示不同視點(diǎn)的所述視頻流區(qū)段的所述右/左信息?？梢愿鶕?jù)設(shè)定的優(yōu)先級(jí)來(lái)處理關(guān)于所述節(jié)目級(jí)別、所述事件級(jí)別和所述幀級(jí)別的所述右/左信息。[0013]根據(jù)此處公開(kāi)的另一個(gè)示例性實(shí)施方式，所述解碼步驟還可以包括使用補(bǔ)充增強(qiáng)信息SEI消息來(lái)確定與對(duì)應(yīng)的流相關(guān)的視點(diǎn)信息。所述基本視圖視頻流和所述擴(kuò)展視圖視頻流可以被設(shè)置有不同的視點(diǎn)的視頻流區(qū)段，并且所述視點(diǎn)信息使用幀單位、圖片單位和序列單位中的至少一個(gè)指示所述視頻流區(qū)段的視點(diǎn)。
[0014]為了實(shí)現(xiàn)這些和其它優(yōu)點(diǎn)，并且根據(jù)本發(fā)明的目的，如這里所具體實(shí)施和廣泛描述的，還提供了一種數(shù)字廣播接收裝置，該裝置包括:調(diào)諧器，其被構(gòu)造為接收包括基本視圖視頻流和擴(kuò)展視圖視頻流的數(shù)字廣播信號(hào)；解復(fù)用器，其被構(gòu)造為從所述數(shù)字廣播信號(hào)解復(fù)用所述基本視圖視頻流和所述擴(kuò)展視圖視頻流；PSI/PSIP處理器，其被構(gòu)造為使用在節(jié)目映射表PMT、地面虛擬頻道表TVCT、服務(wù)描述表SDT和事件信息表EIT中的至少一個(gè)中包括的描述符，來(lái)確定與所述基本視圖視頻流和所述擴(kuò)展視圖視頻流相關(guān)的右/左信息；解碼器，其被構(gòu)造為對(duì)所述基本視圖視頻流和所述擴(kuò)展視圖視頻流解碼；以及3D視頻處理器，其被構(gòu)造為使用所述右/左信息來(lái)控制解碼后的基本視圖視頻流和擴(kuò)展視圖視頻流。
[0015]為了實(shí)現(xiàn)這些和其它優(yōu)點(diǎn)，并且根據(jù)本發(fā)明的目的，如這里所具體實(shí)施和廣泛描述的，還提供了一種用于接收數(shù)字廣播的方法，該方法包括:提取接收到的多視圖視頻編解碼器MVC立體流的PID值，并且向解碼器輸出所述MVC立體流；根據(jù)基本視圖和擴(kuò)展視圖將所述MVC立體流分配到所述解碼器的AVC層和MVC擴(kuò)展層；以及通過(guò)所述AVC層和所述MVC擴(kuò)展層處理在GOP中包括的接入單元，并且對(duì)基本視圖視頻數(shù)據(jù)和擴(kuò)展視圖視頻數(shù)據(jù)解碼。
[0016]根據(jù)此處公開(kāi)的另一個(gè)示例性實(shí)施方式，在2-PID復(fù)用模式下，所述擴(kuò)展視圖視頻數(shù)據(jù)可以具有編碼片段擴(kuò)展的NAL類(lèi)型或者IDR圖片片段或非IDR圖片片段的NAL類(lèi)型。
[0017]根據(jù)此處公開(kāi)的另一個(gè)示例性實(shí)施方式，在1-PID復(fù)用模式下，根據(jù)是否存在前綴NAL單元，所述擴(kuò)展視圖視頻數(shù)據(jù)可以具有不同的NAL類(lèi)型。
[0018]有益效果
[0019]根據(jù)具體描述，可以按照不同方式提供與立體圖像相關(guān)的信息，并且立體圖像信息可以被檢查和處理。這可以允許輸出立體圖像。
[0020]根據(jù)具體描述，廣播接收器可以識(shí)別接收到的視頻流中包括的圖像的視點(diǎn)，以控制立體圖像的輸出。
[0021]根據(jù)具體描述，可以根據(jù)每個(gè)級(jí)別限定應(yīng)用視圖信息的范圍，使得可在每個(gè)級(jí)別提供與左視圖圖像和右視圖圖像相關(guān)的信息。另外，可以在描述符中指示信息和對(duì)應(yīng)信息的準(zhǔn)確性。這可以允許以頻道/節(jié)目/服務(wù)/幀為單位設(shè)定在視頻流與左視圖圖像和右視圖圖像之間的關(guān)系。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0022]圖1a和圖1b是例示根據(jù)此處公開(kāi)的一個(gè)示例性實(shí)施方式的發(fā)送3D (內(nèi)容)視頻流的方法的圖。
[0023]圖2是例示根據(jù)此處公開(kāi)的一個(gè)示例性實(shí)施方式的處理包括補(bǔ)充增強(qiáng)信息(SEI)消息的視頻流的順序步驟的流程圖。
[0024]圖3是例示根據(jù)此處公開(kāi)的一個(gè)示例性實(shí)施方式的包括視圖(點(diǎn))信息元數(shù)據(jù)的SEI消息的句法結(jié)構(gòu)的圖。[0025]圖4是例示根據(jù)此處公開(kāi)的一個(gè)示例性實(shí)施方式的view_info_SEI_data的句法結(jié)構(gòu)的圖。
[0026]圖5是例不view_info_descriptor的句法結(jié)構(gòu)的圖。
[0027]圖6是例示解析信令數(shù)據(jù)的處理的概念圖。
[0028]圖7是例示使用圖6的方法來(lái)獲取視(點(diǎn))信息的處理的流程圖。
[0029]圖8是例示視圖切換的各個(gè)示例性實(shí)施方式的圖。
[0030]圖9是例示針對(duì)事件邊界檢測(cè)的信令建議的概念圖。
[0031]圖10是例示使用視點(diǎn)信息來(lái)控制編碼圖片的3D輸出的接收裝置的結(jié)構(gòu)的圖。
[0032]圖11是例示使用視點(diǎn)信息的解碼器和格式化器的構(gòu)造的一個(gè)示例性實(shí)施方式的概念圖。
[0033]圖12是示出MVC編碼的NAL單元的類(lèi)型的表。
[0034]圖13是例示2-PID模式的MVC立體廣播中的接收裝置的結(jié)構(gòu)的圖。
[0035]圖14a是例示AVC層中處理基本視圖流(PID_A)的一個(gè)示例性實(shí)施方式的圖。
[0036]圖14b和圖14c是例示MVC擴(kuò)展層中處理擴(kuò)展視圖流(PID_B)的示例性實(shí)施方式的圖。
[0037]圖15是例示1-PID模式的MVC立體廣播中的接收裝置的圖。
[0038]圖16是例示在1-PID模式的針對(duì)GOP中包括的每個(gè)接入單元的處理順序的圖。
[0039]圖17是例示用于在2-PID模式發(fā)送3D廣播的發(fā)送裝置的數(shù)據(jù)處理過(guò)程的圖。
[0040]圖18是例示用于接收和輸出3D廣播的接收裝置的結(jié)構(gòu)的圖。
【具體實(shí)施方式】
[0041]術(shù)語(yǔ)3-D或者3D用于說(shuō)明用于再現(xiàn)立體圖像(或者三維圖像；在下文稱(chēng)為“3D圖像”)的視覺(jué)表示或者顯示技術(shù)，其提供光學(xué)深度幻覺(jué)。相對(duì)于左視圖圖像和右視圖圖像，觀看者的視覺(jué)皮質(zhì)將該兩個(gè)圖像解釋為一個(gè)3D圖像。
[0042]3D顯示技術(shù)針對(duì)可顯示3D圖像的裝置采用3D圖像處理和顯示技術(shù)。可選地，可顯示3D圖像的裝置可以要求特定觀看裝置以向觀看者有效地提供3D圖像。
[0043]3D圖像處理和顯示的示例可以包括立體圖像/視頻拍攝、使用多個(gè)相機(jī)的多視點(diǎn)圖像/視頻拍攝、處理2D圖像和深度信息等。可顯示3D圖像的裝置的示例可以包括液晶顯示器(IXD)、顯示器TV屏幕、計(jì)算機(jī)監(jiān)視器等，全部這些設(shè)置有支持3D圖像顯示技術(shù)的適當(dāng)?shù)挠布?或軟件。特定觀看裝置的示例可以包括特殊眼鏡、目鏡、頭盔、護(hù)目鏡等。
[0044]具體地，3D圖像顯示技術(shù)可以包括浮雕3D (通常與無(wú)源紅藍(lán)眼鏡一起使用)，偏振3D (通常與無(wú)源偏振眼鏡一起使用)、交替幀序列(通常與有源快門(mén)眼鏡/頭盔一起使用)、使用光柵或者柵欄屏幕的自動(dòng)立體顯示器。此處描述的各個(gè)范圍和特征將可應(yīng)用于這些3D圖像顯示技術(shù)。
[0045]一些3D圖像顯示技術(shù)可以使用可旋轉(zhuǎn)或者可交替操作的光學(xué)裝置，例如，附接到濾色器輪的分片偏振片，并且在此情況下，要求之間的同步。其它3D圖像顯示技術(shù)可以使用基于數(shù)字微鏡器件(DMD)的數(shù)字光處理器(DLP)，DMD使用按照與要顯示的圖像的像素對(duì)應(yīng)的矩形形式排列的可旋轉(zhuǎn)的微型反射鏡。
[0046]在很多公司、共同體和組織正在開(kāi)發(fā)與3D圖像潤(rùn)飾和顯示技術(shù)(具體地，3DTV)有關(guān)的新類(lèi)型的規(guī)格，其示例包括電影電視工程師協(xié)會(huì)(SMPTE)、消費(fèi)電子產(chǎn)品協(xié)會(huì)(CEA)、3d@Home共同體、國(guó)際電信聯(lián)盟(ITU)等。另外，諸如DVB、BDA、ARIB、ATSC、DVD論壇和IEC等的其它標(biāo)準(zhǔn)組織也參與其中。移動(dòng)圖像專(zhuān)家組(MPEG)在參加多視圖圖像、立體圖像和具有深度信息的2D圖像的3D編碼。針對(duì)MPEG-4先進(jìn)視頻編碼(AVC)的多視圖圖像編解碼器擴(kuò)展的標(biāo)準(zhǔn)化正在進(jìn)行中。立體圖像編碼和立體分配格式涉及顏色移位(補(bǔ)色立體圖)、像素次采樣(并行、棋盤(pán)、五點(diǎn)等)和增強(qiáng)視頻編碼(2D+德?tīng)査?D+元數(shù)據(jù)和具有深度信息的2D)。此處描述的范圍和特征將可應(yīng)用于這些規(guī)格。
[0047]并且，此處公開(kāi)的本公開(kāi)的范圍和特征的至少一部分涉及3D圖像顯示技術(shù)，其在數(shù)字圖像和3D TV的圖像再現(xiàn)和顯示環(huán)境的方面中描述。然而，細(xì)節(jié)不意在限制此處描述的各個(gè)特征此處描述的各種特征，并且可應(yīng)用于各種類(lèi)型的其它顯示技術(shù)和裝置。例如，3DTV技術(shù)可以不僅僅應(yīng)用于TV廣播，而且應(yīng)用于Blu-ray?、游戲機(jī)臺(tái)、有線、IPTV傳輸、移動(dòng)電話內(nèi)容傳遞等。在此情況下，3D TV可以與其它類(lèi)型的TV、機(jī)頂盒、Blu-ray裝置(例如，Blu-ray?盤(pán)(BD)播放器)、DVD播放器和TV內(nèi)容分配器兼容。
[0048]在下文，將給出3D圖像處理和呈現(xiàn)方法的描述。立體圖像/視頻拍攝也被稱(chēng)為立體成像方案，其中考慮兩個(gè)視點(diǎn)。使用多個(gè)相機(jī)的多視圖圖像/視頻拍攝稱(chēng)為多視圖成像方案，其中考慮三個(gè)或者更多個(gè)視點(diǎn)。
[0049]立體成像方案設(shè)計(jì)成使用一對(duì)左右視圖圖像，其通過(guò)使用左手相機(jī)和右手相機(jī)拍攝相同目標(biāo)對(duì)象獲得。多視圖成像方案設(shè)計(jì)成使用三個(gè)或者更多個(gè)圖像，所述圖像通過(guò)使用隔開(kāi)預(yù)設(shè)距離或者角度的三個(gè)或者更多個(gè)相機(jī)拍攝相同目標(biāo)對(duì)象獲得。通過(guò)將三個(gè)圖像中的兩個(gè)設(shè)定成左視圖圖像和右視圖圖像，多視圖成像方案可以顯示立體(3D)圖像。然而，本公開(kāi)可以不限于此，而是使用三個(gè)或者更多個(gè)圖像(例如，積分成像)可以實(shí)現(xiàn)其它類(lèi)型的3D成像方案。
[0050]立體圖像或者多視圖圖像根據(jù)包括運(yùn)動(dòng)圖像專(zhuān)家組(MPEG)在內(nèi)的多種方法可以被壓縮并且被編碼，接著發(fā)送到目的地。例如，立體圖像或者多視圖圖像可以根據(jù)H.264/先進(jìn)視頻編碼(AVC)被壓縮和編碼。在此，接收系統(tǒng)通過(guò)按照H.264/AVC的相反順序?qū)邮盏降臄?shù)據(jù)解碼可以獲得3D圖像。
[0051]立體圖像或者多視圖圖像中的一個(gè)被指派成基本層的圖像，并且另一個(gè)圖像被指派成擴(kuò)展層(或者延展層)的圖像?；A(chǔ)層的圖像按照與單視場(chǎng)成像相同方式編碼。與擴(kuò)展層圖像關(guān)聯(lián)，僅可以編碼和發(fā)送基礎(chǔ)層圖像和擴(kuò)展層圖像之間的關(guān)系。針對(duì)基礎(chǔ)層的圖像的示例性壓縮編碼方法可以包括JPEG、MPEG-2、MPEG-4、H.264/AVC等。擴(kuò)展層圖像的壓縮和編碼可以通過(guò)使用H.264/MVC(多視圖視頻編碼)來(lái)實(shí)現(xiàn)。
[0052]當(dāng)MVC方案附加地應(yīng)用于AVC方案或者僅僅使用AVC對(duì)右/左圖像序列編碼以實(shí)現(xiàn)立體顯示時(shí)，針對(duì)廣播相應(yīng)3D內(nèi)容的考慮之一是與傳統(tǒng)(或者相關(guān)技術(shù))2D廣播接收裝置(或者接收器，在下文稱(chēng)為“接收裝置”)的兼容。當(dāng)根據(jù)后向兼容方法來(lái)對(duì)右和左圖像中的一方編碼和發(fā)送時(shí)，2D廣播接收裝置僅僅識(shí)別并且輸出對(duì)應(yīng)的信號(hào)。因此，可以通過(guò)2D接收裝置觀看對(duì)應(yīng)的內(nèi)容。
[0053]在3D內(nèi)容傳輸?shù)囊粋€(gè)示例性實(shí)施方式中，視圖圖像中的一個(gè)被編碼成2D兼容信號(hào)，使得2D兼容信號(hào)被發(fā)送。在此，考慮到制造商的意圖，要作為在相同內(nèi)容內(nèi)2D圖像發(fā)送的視頻流可以被編輯成在不同區(qū)段具有不同視點(diǎn)的視頻幀，使得視頻幀可被發(fā)送。在下文，參照?qǐng)D1a和圖1b描述這個(gè)示例性實(shí)施方式。圖1a是例示根據(jù)此處公開(kāi)的一個(gè)示例性實(shí)施方式的發(fā)送3D(內(nèi)容)視頻流的方法的圖。
[0054]如圖1a所例示，其中左視圖視頻流區(qū)段和右視圖視頻流區(qū)段順序排列的視頻流是作為向后兼容編碼視頻流(或者針對(duì)2D廣播接收裝置的視頻流)的AVC編碼的視頻流(在下文，稱(chēng)為第一視頻流120)。在此，視頻流區(qū)段指示不同視點(diǎn)的視頻流中包含的視頻流區(qū)段，并且可以按照視頻幀、圖片或者序列為單位構(gòu)建這個(gè)區(qū)段。針對(duì)3D廣播接收裝置(或者接收器，在下文，稱(chēng)為接收裝置)的附加視頻幀(在下文，稱(chēng)為第二視頻幀130)可以按照AVC或者M(jìn)VC方式編碼，并且發(fā)送。
[0055]參照?qǐng)Dla，左視圖圖像序列110和右視圖圖像序列140是在左視圖圖像和右視圖圖像捕捉并且編輯的圖像序列，使得制造3D內(nèi)容。為了實(shí)現(xiàn)針對(duì)2D廣播接收裝置的顯示功能，傳輸系統(tǒng)選擇左視圖圖像序列110和右視圖圖像序列140中的一方，并且發(fā)送所選擇的一方。然而，如所例示的，通過(guò)選擇和排列左視圖圖像和右視圖圖像獲得的第一視頻流120和第二視頻流130可以被編碼和發(fā)送。
[0056]在此情況下，2D廣播接收裝置接收、解碼并且輸出第一視頻流120。然而，如果3D廣播接收裝置接收第一視頻流120和第二視頻流130并且在不做任何改變的情況下輸出它們，則可能產(chǎn)生不期望的區(qū)段，其中左視圖圖像和右視圖圖像彼此代替。也就是說(shuō)，如所例示的，當(dāng)在編碼后的視頻流中視點(diǎn)改變時(shí)，3D圖像可能不被正常輸出，除非響應(yīng)于對(duì)應(yīng)的視點(diǎn)正確地控制了 3D輸出。另外，由于支持3D輸出的準(zhǔn)確控制，即使在2D廣播接收裝置中，也可能可以連續(xù)地輸出左視圖圖像和右視圖圖像中的僅僅一方。
[0057]問(wèn)題還可能存在于例如頻道/節(jié)目/事件級(jí)別。
[0058]如圖1b所例示，當(dāng)按照第一事件到第三事件的順序處理事件時(shí)，會(huì)產(chǎn)生根據(jù)制造商的意圖，第一視頻流120在第一事件中是左視圖圖像而在第二事件中是右視圖圖像的情況。在此情況下，第二視頻流130在第一事件中是右視圖圖像，而在第二事件中是左視圖圖像。按此方式，如果甚至在事件級(jí)別提供了用于根據(jù)編碼后的視頻流內(nèi)對(duì)應(yīng)的視點(diǎn)準(zhǔn)確控制3D輸出的裝置，左視圖和右視圖彼此代替的信號(hào)會(huì)被處理。
[0059]本公開(kāi)提出用于根據(jù)視點(diǎn)來(lái)準(zhǔn)確地控制3D輸出的信號(hào)處理方法。在下文，將描述:作為信令數(shù)據(jù)的視頻信息元數(shù)據(jù)的配置和處理，該信令數(shù)據(jù)用于相對(duì)于編碼后的圖像序列以圖片、幀或者序列為單位通知對(duì)應(yīng)圖像的視點(diǎn)；以及用于以頻道/節(jié)目/事件為單位來(lái)通知視點(diǎn)的描述符的配置和處理。
[0060]首先，將給出此處公開(kāi)的用于在視頻基礎(chǔ)流(ES)中包括視圖信息數(shù)據(jù)并且發(fā)送得到的視頻ES的方法的一個(gè)示例性實(shí)施方式的描述。
[0061 ] 在使用H.264 (或者AVC)視頻數(shù)據(jù)和MVC擴(kuò)展視頻數(shù)據(jù)的情況下，視頻ES可以包括補(bǔ)充增強(qiáng)信息(SEI)消息。SEI消息指示在編碼處理中是不必要的附加信息。SEI消息可以包括涉及與假設(shè)基準(zhǔn)編碼器(HRD)相關(guān)聯(lián)的每個(gè)圖片的定時(shí)信息、涉及筆/掃描功能(讀取和顯示解碼后圖像的一些部分的功能)的信息、用于執(zhí)行隨機(jī)接入而要求的信息、由用戶單獨(dú)定義的信息等。
[0062]圖2是例示根據(jù)此處公開(kāi)的一個(gè)示例性實(shí)施方式的處理包括SEI消息的視頻流的順序的流程圖，以及圖3是例示根據(jù)此處公開(kāi)的一個(gè)示例性實(shí)施方式的包括視圖(點(diǎn))信息元數(shù)據(jù)的句法結(jié)構(gòu)的圖。[0063]在附圖中例示的視頻流的處理順序中的處理接入單元的方法將描述如下。
[0064]首先，可以檢查接入單元定界符網(wǎng)絡(luò)提取層(NAL)單元是否存在(S210)。如果存在，則可以是第一 NAL單元。
[0065]當(dāng)SEI NAL單元存在時(shí)(S220)，接下來(lái)可以是主編碼圖片。并且，當(dāng)存在包括緩沖周期SEI消息的SEI NAL單元時(shí)，該緩沖周期SEI消息可以是接入單元內(nèi)的第一 SEI NAL單兀的第一 SEI消息載荷。
[0066]主編碼圖片接下來(lái)可以是對(duì)應(yīng)的冗余編碼圖片。當(dāng)冗余編碼圖片存在時(shí)(S240)，可以按照redundant_pic_cnt的值的升序排列。
[0067]當(dāng)序列參數(shù)集合(SPS)擴(kuò)展NAL單元存在時(shí)，可以是SPS NAL單元之后的NAL單元，其具有與SPS擴(kuò)展NAL單元內(nèi)的seq_parameter_set_id的值相同的值。
[0068]當(dāng)在不分割NAL單元的情況下存在輔助編碼圖片的一個(gè)或者更多個(gè)編碼片段時(shí)(S250)，可以跟隨主編碼圖片和全部冗余編碼圖片。
[0069]當(dāng)序列NAL單元的序列的末尾存在時(shí)，它可以跟隨主編碼圖片和全部冗余編碼圖片，或者在不分割NAL單元的情況下跟隨輔助編碼圖片的全部編碼片段。當(dāng)流NAL單元的流的末尾存在時(shí)(S270)，可以是最后NAL單元。
[0070]根據(jù)視頻解碼器處理視頻流內(nèi)的SEI消息的順序，傳輸系統(tǒng)可以將視頻分支數(shù)據(jù)，例如，視圖信息元數(shù)據(jù)，包括在視頻ES的SEI區(qū)域中，并且發(fā)送該視頻ES，以按照?qǐng)D片、幀或者序列為單位通知對(duì)應(yīng)的圖像的視點(diǎn)。這可以得到通過(guò)視頻級(jí)別元數(shù)據(jù)實(shí)現(xiàn)傳輸。
[0071]針對(duì)H.264 (或者AVC)和MVC擴(kuò)展視頻數(shù)據(jù)，傳輸系統(tǒng)通過(guò)將附加信息包括在SEI區(qū)域中可以發(fā)送附加信息。在圖3中，傳輸系統(tǒng)通過(guò)使用user_data_registered_itu_t_t35 O中包括的user_identifier和user_structure可以發(fā)送用于廣播應(yīng)用而要求的附加信息，其中在SEI消息中SEI載荷類(lèi)型值被設(shè)定為4。
[0072]ATSC_user_data可以位于user_structure內(nèi)，并且傳輸系統(tǒng)通過(guò)參照user_data_type_code字段可以識(shí)別對(duì)應(yīng)的數(shù)據(jù)是view_info_SEI_data。接收裝置通過(guò)使用user_data_type_structure中包括的視圖分支數(shù)據(jù)句法，例如，view_info_SEI_data中包括的字段，可以識(shí)別視圖中的哪一個(gè)被包含在對(duì)應(yīng)的圖片中。
[0073]圖4是例示根據(jù)此處公開(kāi)的一個(gè)示例性實(shí)施方式的view_info_SEI_data的句法結(jié)構(gòu)的圖。在下文，將描述配置圖4中例示的view_info_SEI_data的各字段。為了簡(jiǎn)要描述，將按照原樣使用并且使用雙括號(hào)來(lái)區(qū)分配置句法的字段的英文術(shù)語(yǔ)。
[0074]“l(fā)eft_VieW_flag”是指示包括SEI消息的圖片(或者在SEI消息之后緊接著接收到的圖片)是左視圖圖像還是右視圖圖像的字段。如果“l(fā)eft_VieW_flag”被設(shè)定成“I”該圖片可以是左視圖圖像，如果“l(fā)eft_VieW_flag”被設(shè)定為“O”可以是右視圖圖像。
[0075]“viewjd”是指示SEI消息被應(yīng)用到的相應(yīng)視頻ID的字段，并且使用相同值作為在MVC的圖片參數(shù)集合(PPS)或者序列參數(shù)集合(SPS)中設(shè)定的view_id的值，也就是說(shuō)，該字段可以用于識(shí)別SEI消息的內(nèi)容應(yīng)用于MVC流的哪個(gè)視點(diǎn)。換句話說(shuō)，View_id通知與左視圖圖像和右視圖圖像匹配的數(shù)字(在下文，此處描述的視圖信息指示涉及右/左視圖圖像的信息，除非單獨(dú)說(shuō)明并且通過(guò)view_id信息來(lái)區(qū)分)。
[0076]在此，本公開(kāi)不限于該句法。例如，view_id字段可以省略。當(dāng)View_id字段省略時(shí)，可以允許其中在view_info_SEI_data中設(shè)定的left_view_flag值無(wú)條件地針對(duì)基本視圖分量設(shè)定的實(shí)施方式。在此情況下，當(dāng)基本視圖是左視圖圖像時(shí)，對(duì)應(yīng)的視圖可以被設(shè)定成右視圖圖像。相反地，當(dāng)基本視圖是右視圖圖像時(shí)，對(duì)應(yīng)的視圖可以被設(shè)定成左視圖圖像。
[0077]另外，可以使得發(fā)送視圖信息元數(shù)據(jù)的方法在以下描述的各個(gè)示例性實(shí)施方式中可用。
[0078]在一個(gè)示例性實(shí)施方式中，可以在指示圖像序列的報(bào)頭圖片的瞬時(shí)解碼刷新(IDR)圖片的位置發(fā)送視圖信息元數(shù)據(jù)。與IDR圖片關(guān)聯(lián)地，因?yàn)镠.264/AVC方案一般允許幀間預(yù)測(cè)，指示位于I圖片之后的P圖片引用在該I圖片前面的其它圖片，所以僅僅使用一般I圖片難以對(duì)狀態(tài)進(jìn)行完全初始化，使得使用了 IDR圖片來(lái)解決這個(gè)問(wèn)題。
[0079]在另一個(gè)示例性實(shí)施方式中，可以在每個(gè)圖片位置發(fā)送視圖信息元數(shù)據(jù)?；蛘撸梢栽诟餍蛄械拈_(kāi)始位置發(fā)送視圖信息元數(shù)據(jù)。在此情況下，可以維持涉及先前視圖信息元數(shù)據(jù)的信息直至接收到新的視圖信息元數(shù)據(jù)為止。作為另一個(gè)示例性實(shí)施方式，可以在各圖片位置發(fā)送視圖信息元數(shù)據(jù)，并且對(duì)應(yīng)的值在一個(gè)序列內(nèi)可以被保持在相同值。也就是說(shuō)，如果在針對(duì)2D視頻序列的特定區(qū)段選擇了一個(gè)視點(diǎn)，則視頻序列可以被編碼使得在一個(gè)序列內(nèi)維持相同視點(diǎn)。
[0080]另外，當(dāng)作為多個(gè)流發(fā)送視頻數(shù)據(jù)時(shí)，視圖信息元數(shù)據(jù)可以基本上通過(guò)被包括在基本視圖視頻流中來(lái)發(fā)送。另外，甚至對(duì)于處理擴(kuò)展視圖(擴(kuò)展視圖或者依存視圖(dependent view))視頻流,涉及基本視圖視頻流中包括的視點(diǎn)的信息可以被使用。例如，對(duì)于立體視頻流，擴(kuò)展視圖視頻流的視點(diǎn)可以與基本視圖視頻流的視點(diǎn)相反。因此，甚至在處理擴(kuò)展視圖視頻流的情況下，可以使用涉及基本視圖視頻流中包括的視點(diǎn)的信息。作為另一個(gè)示例，基本視圖視頻流還可以通過(guò)甚至包括與擴(kuò)展視圖視頻流的視點(diǎn)有關(guān)的信息來(lái)發(fā)送。另外，視圖信息元數(shù)據(jù)可以通過(guò)被包括在擴(kuò)展視圖視頻流中或者被包括在基本視頻流和依存視頻流這兩者中來(lái)發(fā)送。
[0081]另外，可以按照將右視點(diǎn)和左視點(diǎn)混合在一個(gè)幀中的方式發(fā)送立體視頻數(shù)據(jù)作為一個(gè)流。代表示例可以包括并排、上下、棋盤(pán)、水平/垂直交錯(cuò)格式等。甚至在此情況下，可發(fā)送視圖SEI數(shù)據(jù)。在以2D模式輸出時(shí)，基于視圖SEI數(shù)據(jù)信息使用右視圖圖像和左視圖圖像，可以重構(gòu)(重配置)2D序列，并且可以顯示2D序列。在此，使用view_id字段的區(qū)分方法可以用于上下格式。例如，如果view_id = “O”則可以是上方，并且如果view_id =“I”則可以是下方。
[0082]根據(jù)這里公開(kāi)的一個(gè)示例性實(shí)施方式，通過(guò)被構(gòu)建成單獨(dú)分組基礎(chǔ)流(PES)分組，可以發(fā)送視圖信息元數(shù)據(jù)。也就是說(shuō)，不同于如上所述將視圖信息元數(shù)據(jù)包括在視頻流中，如上所述，除了針對(duì)視頻流和音頻流之外，傳輸系統(tǒng)可以構(gòu)建視圖信息元數(shù)據(jù)作為單獨(dú)獨(dú)立PES分組。
[0083]以上給出了作為用于以圖片、幀或者序列為單位通知編碼后圖像序列的視點(diǎn)的信令數(shù)據(jù)的視圖信息元數(shù)據(jù)的配置(構(gòu)建)和處理的描述。
[0084]這種方法可以擴(kuò)展到以頻道/節(jié)目/事件為單位通知視點(diǎn)的句法。也就是說(shuō)，可以針對(duì)每個(gè)級(jí)別限定應(yīng)用視點(diǎn)信息的范圍，使得可在每個(gè)級(jí)別提供涉及右視圖圖像和左視圖圖像的信息。在一個(gè)示例中，可以采用用于在節(jié)目專(zhuān)用信息(PSI)的節(jié)目映射表(PMT)中包括新描述符并且用信號(hào)通知該描述符的方法。然而，本公開(kāi)可以不限于此?？梢砸员硇畔⑻峁┰撁枋龇T如事件信息表(EIT)、地面虛擬頻道表(TVCT)、服務(wù)描述表(SDT)等。
[0085]作為這種描述符的句法結(jié)構(gòu)，圖5例示view_info_descriptor的句法結(jié)構(gòu)。
[0086]如圖5所例示,view_info_descriptor可以包括指示與視圖信息有關(guān)的信息以及對(duì)應(yīng)信息的準(zhǔn)確性的元素。
[0087]“program_level”是指示與left_view_flag中包括的對(duì)應(yīng)的視頻流有關(guān)的視圖信息直到哪個(gè)級(jí)別有效的字段。當(dāng)program_level字段被設(shè)定為“ I”時(shí),其指示left_view_flag中包括的視圖信息被以頻道/節(jié)目/服務(wù)為單位固定，與其它字段的值無(wú)關(guān)。也就是說(shuō)，“program_level ”字段指示視圖信息以節(jié)目級(jí)別改變。
[0088]“event_level”是指示與left_view_flag中包括的對(duì)應(yīng)的視頻流有關(guān)的視圖信息直到哪個(gè)級(jí)別有效的字段。當(dāng)event_level字段被設(shè)定成“I”時(shí)(在此,program_level字段被設(shè)定成“O”)，其指示left_VieW_flag中包括的視圖信息按照事件為單位改變，并且可以通過(guò)與“frame_level”字段的組合來(lái)用信號(hào)通知視圖信息是否在事件內(nèi)改變。
[0089]“frame_level”是指示與left_view_flag中包括的對(duì)應(yīng)的視頻流有關(guān)的視圖信息直到哪個(gè)級(jí)別有效的字段。當(dāng)frame_level字段被設(shè)定成“I”時(shí)(在此,program_level字段和event_level字段被設(shè)定成“O”)，其指示left_view_flag中包括的視圖信息可以按照幀為單位改變，并且參照以下的表1將理解其細(xì)節(jié)。
[0090][表 I]
【權(quán)利要求】
1.一種數(shù)字廣播接收方法，該方法包括以下步驟: 接收和解復(fù)用步驟，接收并解復(fù)用包括基本視圖視頻流和依存視圖視頻流的數(shù)字廣播信號(hào); 確定步驟，使用在節(jié)目映射表PMT、地面虛擬頻道表TVCT、服務(wù)描述表SDT和事件信息表EIT中的至少一個(gè)中設(shè)置的描述符，來(lái)確定與所述基本視圖視頻流和所述依存視圖視頻流相關(guān)的右/左?目息； 解碼步驟，對(duì)所述基本視圖視頻流和所述依存視圖視頻流解碼；以及 控制步驟，使用所述右/左信息來(lái)控制解碼后的基本視圖視頻流和依存視圖視頻流。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述基本視圖視頻流和所述依存視圖視頻流被設(shè)置有彼此不同的視點(diǎn)的視頻流區(qū)段。
3.根據(jù)權(quán)利要求2所述的方法，其中，所述描述符以節(jié)目級(jí)別、事件級(jí)別和幀級(jí)別中的至少一個(gè)指示不同視點(diǎn)的所述視頻流區(qū)段的所述右/左信息。
4.根據(jù)權(quán)利要求3所述的方法，其中，根據(jù)設(shè)定的優(yōu)先級(jí)來(lái)處理關(guān)于所述節(jié)目級(jí)別、所述事件級(jí)別和所述幀級(jí)別的所述右/左信息。
5.根據(jù)權(quán)利要求2所述的方法，其中，所述基本視圖視頻流和所述依存視圖視頻流的每一個(gè)是右視圖圖像或左視圖圖像在不同的視點(diǎn)的所述視頻流區(qū)段中切換。
6.根據(jù)權(quán)利要求1所述的方法，其中，所述解碼步驟還包括使用補(bǔ)充增強(qiáng)信息SEI消息來(lái)確定與對(duì)應(yīng)的流相關(guān)的視點(diǎn)信息。
7.根據(jù)權(quán)利要求6所述的方法，其中，所述基本視圖視頻流和所述依存視圖視頻流被設(shè)置有不同的視點(diǎn)的視頻流區(qū)段，并且所述視點(diǎn)信息使用幀單位、圖片單位和序列單位中的至少一個(gè)指示所述視頻流區(qū)段的視點(diǎn)。
8.根據(jù)權(quán)利要求7所述的方法，其中，所述描述符還包括指示所述SEI消息是否被包括的字段。
9.根據(jù)權(quán)利要求8所述的方法，其中，如果在所述描述符中包括的內(nèi)容和在所述SEI消息中包括的內(nèi)容彼此不同，則所述描述符被優(yōu)先處理。
10.根據(jù)權(quán)利要求6所述的方法，其中，所述SEI消息包括通知包括所述SEI消息的圖片是左視圖圖像或右視圖圖像的字段、和通知所述圖片應(yīng)用于多視圖視頻編解碼器流的哪個(gè)視點(diǎn)的字段。
11.一種數(shù)字廣播接收裝置，該裝置包括: 調(diào)諧器，其被構(gòu)造為接收包括基本視圖視頻流和依存視圖視頻流的數(shù)字廣播信號(hào)； 解復(fù)用器，其被構(gòu)造為從所述數(shù)字廣播信號(hào)解復(fù)用所述基本視圖視頻流和所述依存視圖視頻流； PSI/PSIP處理器，其被構(gòu)造為使用在節(jié)目映射表ΡΜΤ、地面虛擬頻道表TVCT、服務(wù)描述表SDT和事件信息表EIT中的至少一個(gè)中包括的描述符，來(lái)確定與所述基本視圖視頻流和所述依存視圖視頻流相關(guān)的右/左信息； 解碼器，其被構(gòu)造為對(duì)所述基本視圖視頻流和所述依存視圖視頻流解碼；以及 3D視頻處理器，其被構(gòu)造為使用所述右/左信息來(lái)控制解碼后的基本視圖視頻流和依存視圖視頻流。
12.根據(jù)權(quán)利要求11所述的裝置，其中，所述基本視圖視頻流和所述依存視圖視頻流被設(shè)置有彼此不同的視點(diǎn)的視頻流區(qū)段，并且 其中，所述描述符以節(jié)目級(jí)別、事件級(jí)別和幀級(jí)別中的至少一個(gè)指示與不同視點(diǎn)的所述視頻流區(qū)段相關(guān)的所述右/左信息。
13.一種用于接收數(shù)字廣播的方法，該方法包括以下步驟: 提取接收到的多視圖視頻編解碼器MVC立體流的PID值，并且向解碼器輸出所述MVC立體流； 根據(jù)基本視圖和依存視圖將所述MVC立體流分配到所述解碼器的AVC層和MVC擴(kuò)展層；以及 通過(guò)所述AVC層和所述MVC擴(kuò)展層處理在GOP中包括的接入單元，并且對(duì)基本視圖視頻數(shù)據(jù)和依存視圖視頻數(shù)據(jù)解碼。
14.根據(jù)權(quán)利要求13所述的方法，其中，在2-PID復(fù)用模式下，所述擴(kuò)展視圖視頻數(shù)據(jù)具有編碼片段擴(kuò)展的NAL類(lèi)型或者IDR圖片片段或非IDR圖片片段的NAL類(lèi)型。
15.根據(jù)權(quán)利要求13所述的方法，其中，所述依存視圖的AU定界符具有與所述基本視圖的AU定界符相同的NAL類(lèi)型,或者nal_unit_type = 18的專(zhuān)用NAL類(lèi)型。
16.根據(jù)權(quán)利要求13所述的方法，其中，在1-PID復(fù)用模式下，根據(jù)是否存在前綴NAL單元，所述依存視圖視頻數(shù)據(jù)具有不同的NAL類(lèi)型。
17.根據(jù)權(quán)利要求16所述的方法，其中，所述基本視圖視頻數(shù)據(jù)不包括所述前綴NAL單兀以用于向后兼容。
18.根據(jù)權(quán)利要求13所述的方法，其中，基于I圖片、P圖片和B圖片設(shè)定針對(duì)所述基本視圖和所述擴(kuò)展視圖被允許的primary_pic_type和slice_type。
【文檔編號(hào)】H04N13/00GK103959768SQ201280059552
【公開(kāi)日】2014年7月30日 申請(qǐng)日期:2012年12月4日 優(yōu)先權(quán)日:2011年12月4日
【發(fā)明者】徐琮烈, 崔智鉉, 洪昊澤, 金鎮(zhèn)泌 申請(qǐng)人:Lg電子株式會(huì)社