專利名稱：在多角度觀看多媒體流中多路復用的隨機存取單元之間的無縫切換的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于多路復用包括編碼畫面與其它信息的一個或多個編碼流，以 產(chǎn)生多路復用數(shù)據(jù)的多路復用裝置，和對多路復用數(shù)據(jù)解復用的解復用裝置。本發(fā)明特別 涉及能夠執(zhí)行諸如多角度播放等之類的特技播放的多路復用裝置和解復用裝置。
背景技術(shù)：
最近，將聲音、畫面以及其它像素值集成到一種媒體中的多媒體時代已經(jīng)到來，并 且將報紙、雜志、TV、無線電和電話之類的通信工具的現(xiàn)有信息媒體也看成是多媒體的目 標。 一般地講，多媒體是一種不僅將字符，而且也將圖像、聲音、特別是畫面同時顯現(xiàn)的形 式。為了將上述現(xiàn)有信息媒體作為多媒體來處理，需要數(shù)字地顯現(xiàn)信息。
但是，利用上述現(xiàn)有信息媒體直接地數(shù)字處理巨量信息時不現(xiàn)實的，因為在把上 述每種信息媒體的數(shù)據(jù)量計算為數(shù)字數(shù)據(jù)量時，每個字符的數(shù)據(jù)量是1至2字節(jié)，而每秒聲 音的數(shù)據(jù)量不小于64千字節(jié)(電話語音質(zhì)量)，每秒運動畫面的數(shù)據(jù)量則不小于100兆字 節(jié)(當前TV接收質(zhì)量)。例如，由于具有64kbps至1. 5mbps的傳輸速度的綜合服務(wù)數(shù)字網(wǎng) (ISDN)的出現(xiàn)，TV電話已經(jīng)投入商業(yè)使用，但是，TV攝像機的運動畫面使用ISDN時，則不 能傳輸它們。 這是為什么需要信息壓縮技術(shù)的原因。例如，將國際電信同盟-電信標準化部 (ITU-T)推薦的H. 261或H. 263的運動畫面壓縮技術(shù)標準用于TV電話。此外，利用MPEG-1 標準的信息壓縮技術(shù)，也使得能夠?qū)D像信息與聲音信息一同存儲在一張普通音樂CD(光 盤)中。 在這里，運動畫面專家組(MPEG)是數(shù)字壓縮運動畫面信號的，并且已經(jīng)被ISO/ IEC(國際標準化組織/國際工程協(xié)會(InternationalStMKkrdization Organization/ Internation Engineering Consortium))標準化的國際標準。MPEG—l是一禾中將運動畫面 信號壓縮到1.5Mbps，S卩，壓縮到大約百分之一的標準。此外，滿足MPEG-1標準的質(zhì)量是能 夠在大約1. 5Mbps的傳輸率實現(xiàn)的中等水平。因此，將MPEG-2標準化以便滿足更高畫面質(zhì) 量的需要，并且它將運動畫面信號壓縮到2至15Mbps。當前，標準化MPEG-1和MPEG-2的工 作組(IS0/IEC JTC1/SC29/WG11)已經(jīng)將具有更高壓縮率的MPEG-4標準化。MPEG-4標準 (i)取得了比MPEG-1和MPEG-2更高的壓縮率，(ii)允許在一個對象接一個對象的基礎(chǔ)上 編碼，解碼和執(zhí)行操作，和(iii)實現(xiàn)了多媒體時代中的新的功能要求。MPEG-4的最初目的 是要標準化具有低比特率的畫面的編碼方法，但是，目標擴展到了具有高比特率的隔行掃 描畫面的通用目的的編碼方法。此后，IS0/IEC和ITU-T共同標準化了作為具有高壓縮率 的畫面的下一代畫面編碼方法的MPEG-4AVC(高級視頻編碼)。預期用于下一代光盤裝置或在對移動終端的廣播中使用。 —般地講，在對運動畫面編碼中，通過減少時間和空間冗余來壓縮信息量。在針對 減少時間冗余的畫面間預測編碼中，通過參考在前畫面或隨后畫面，在一塊接一塊的基礎(chǔ) 上執(zhí)行運動評估和預測畫面產(chǎn)生，并且對得到的預測畫面和要編碼的畫面之間的差值進行 編碼。這里使用的"畫面(Picture)"是代表一個畫面的術(shù)語。在逐行畫面中，它代表一幀； 在隔行畫面中，它代表一幀或一場。這里所述的"隔行掃描畫面"表示由具有輕微時間滯后 的兩個場構(gòu)成的幀。在隔行畫面的編碼和解碼中，可以將一幀作為一幀來處理，將一幀作為 兩個場來處理，或在幀中在逐塊的基礎(chǔ)上將幀結(jié)構(gòu)來處理或作為場結(jié)構(gòu)來處理。
用于執(zhí)行不參考任何參考畫面的內(nèi)部預測編碼的畫面叫做內(nèi)編碼畫面(Intra Coded Picture) (I畫面)。此外，用于執(zhí)行僅參考一個畫面的相互間預測編碼的畫面叫做 預測編碼畫面(Predictive Coded Picture) (P畫面)。用于執(zhí)行參考兩個參考畫面的相互 間預測編石馬的畫面叫f故Bi-預測編石馬畫面(Bi-predictive Coded Picture) (B畫面)。B畫 面可以參考選擇為在顯示時間上在前和在后畫面的任意組合的兩個畫面。這兩個參考畫面 可以在一塊接一塊基礎(chǔ)上規(guī)定，塊是編碼和解碼的基礎(chǔ)單元。這些參考畫面如下相互區(qū)分 將編碼比特流中較早說明的參考畫面稱為第一參考畫面，而把以后說明的其它參考畫面稱 為第二參考畫面。應(yīng)當注意，為了編碼或解碼I畫面、P畫面和B畫面，這些參考畫面必須 是已經(jīng)編碼或解碼的。 運動補償內(nèi)部預測編碼用于P畫面和B畫面的編碼。運動補償內(nèi)部預測編碼是一 種應(yīng)用運動補償?shù)膬?nèi)部預測編碼方法。運動補償是一種通過估算畫面的每個塊的運動量 (以下稱為運動向量)和通過執(zhí)行考慮到運動向量的預測編碼而提高預測精度和減小數(shù)據(jù) 量的方法。例如，通過估算要編碼的畫面的運動向量和通過給位移了每個運動向量的量的 每個預測值與要編碼的每個當前畫面之間的每個預測余量編碼，而減小數(shù)據(jù)量。在使用這 種方法的情況下，由于在解碼中需要運動向量信息，所以也要編碼、記錄或發(fā)送運動向量。 運動向量是在一個宏塊接一個宏塊的基礎(chǔ)上估算的。更具體地講，運動向量是通過固定要 編碼的宏塊、在搜索范圍內(nèi)移動參考畫面的宏塊、和發(fā)現(xiàn)最靠近標準塊的參考宏塊的位置 而估算的。 圖1A和IB分別是現(xiàn)有MPEG-2流的結(jié)構(gòu)圖。 如圖IB中所示，MPEG-2流具有下面要說明的層級結(jié)構(gòu)。流是由畫面組(Group of Pictures)(以下稱為GOP)構(gòu)成的。將GOP用作編碼處理過程中的基礎(chǔ)單元能夠編輯運動 畫面或執(zhí)行隨機存取。GOP是由I畫面、P畫面、和B畫面構(gòu)成的。流、G0P、和畫面進一步包 括指示單元的邊界的同步信號(sync)，和指示各單元中共同數(shù)據(jù)的首部，在這里各單元分 別是流、G0P和畫面。 圖2A和2B分別示出了如何執(zhí)行MPEG-2中使用的畫面間預測編碼的例子。
圖中帶有斜線的畫面是被其它畫面參考的畫面。如圖2A中所示，在MPEG-2中的 預測編碼中，P畫面(P0， P6， P9， P12和P15)可以僅參考選擇為在顯示時間上緊挨靠前的 I畫面或P畫面的單一畫面。B畫面(Bl， B2， B4， B5， B7， B8， B10， Bll， B13， B14， B16， B17， B19和B20)可以參考選擇作為緊挨靠前的I畫面或P畫面和緊挨靠后的I畫面或P畫面的 組合的兩個畫面。此外，要確定畫面在流中放置的順序。多個I畫面和一個P畫面按照顯 示時間的順序放置，而每個B緊挨著要緊接著B畫面之后顯示的I畫面之后放置，或緊接著
6一個P畫面之后放置。作為GOP的結(jié)構(gòu)的例子，如圖2B中所示，從13到B14的畫面被組成 一個單一的GOP。 圖3A至3B分別示出了解碼順序，顯示順序，和在MPEG-2流中使用的GOP結(jié)構(gòu)的 解碼時間和顯示時間之間的發(fā)生的延遲量。 在此，MPEG-2流具有固定的幀頻，并同時解碼和顯示P畫面。在MPEG-2流中，如 圖3A和3B所示，作為從GOP頂部畫面的解碼時間到頂部畫面的延遲時間的時間滯后的延 遲量最大等于一個幀或兩個場。在下文中將該延遲量稱為幀延遲，并在逐幀的基礎(chǔ)上計算 幀延遲的長度(一幀對應(yīng)于兩場)。諸如數(shù)字多用盤(DVD)之類的光盤裝置采用MPEG-2標 準，其中定義幀延遲被固定為1。應(yīng)該指出，在例如以60Hz顯示已經(jīng)以24Hz編碼的流的下 拉(pulling down)時，延遲量是可變的。由于能夠根據(jù)按照幀頻顯示編碼流的情況來確定 延遲量，下面描述按照幀頻顯示編碼流的情況。 圖4是MPEG-4AVC流的結(jié)構(gòu)圖。在MPEG-4AVC中，不存在與GOP等價的概念。但 是，由于可以通過在能夠不依賴其它畫面解碼的特定畫面的單元中將數(shù)據(jù)分段來構(gòu)造等價 于GOP的隨機存取單元，以下將這種單元稱為RUA(隨機存取單元(Random Access Unit))。
MPEG-4AVC中有兩種類型的I畫面。它們是瞬時解碼器刷新(IDR)畫面和另一種 類型。IDR畫面是可以不用參考按解碼順序放置在IDR畫面之前的畫面，能夠?qū)Π唇獯a順 序放置在IDR之后的所有畫面解碼的I畫面。IDR畫面對應(yīng)于MPEG-2閉合GOP的最前端I 畫面。在I畫面不是IDR畫面的情況下，按解碼順序位于該I畫面的之后的畫面可以參考 按解碼順序位于該I畫面前面的畫面。另外，通過把不是IDR畫面的I畫面放置在隨機存 取單元RAU頂部和限制隨機存取單元RAU中的畫面的預測結(jié)構(gòu)，能夠形成象MPEG-2中開放 GOP的結(jié)構(gòu)。 圖5是MPEG-4AVC流中畫面的預測結(jié)構(gòu)的一個實例。由于MPEG-4AVC允許靈活的 預測結(jié)構(gòu)，例如，畫面P2可以參考畫面P8。在圖5的例子中，由于在畫面18之后開始顯示 并且首先對畫面P2解碼，幀延遲變成2。由于預測結(jié)構(gòu)在這種方式中是靈活的，不象MPEG-2 的情況那樣，幀延遲最大不限于l。這意味著幀延遲可以依據(jù)預測結(jié)構(gòu)而改變。因此，不能 以幀延遲固定為1為條件進行播放。 諸如DVD之類的數(shù)據(jù)包媒體具有特技播放功能，例如(i)播放，即有選擇地播放相 同流的特定部分或能夠連續(xù)播放不同的流，和(ii)多角度播放，即以不同角度執(zhí)行改變流 的播放。使用該功能的基本單元是MPEG-2中的G0P，和MPEG-4AVC中的隨機存取單元RAU。
圖6A至6C示出了 MPEG-2中要播放的改變流的實例。圖6A至6C分別示出了流 1， 2，和3中包括的G0P。在此，通過在GOP 1-1后對G0P2-1解碼使要播放的流從流1改變 到流2。由于幀延遲量在GOP l-l和G0P2-l二者中都是l，這樣能夠使其以固定的速率進 行播放，而不允許在顯示時出現(xiàn)間隙。同樣，通過在GOP 1-1后對GOP 3-l解碼，能夠從流 改變到流3。 按常規(guī)，已經(jīng)提出了象上述那樣涉及運動畫面編碼，多路復用，解碼，和解復用的 各種技術(shù)。(例如，參考日本專利申請公開No. 2003-18549)。 圖7是表示用于對運動畫面數(shù)據(jù)編碼和多路復用的傳統(tǒng)多路復用裝置的操作的 流程圖。 首先，在步驟101和102，多路復用裝置對一個或多個流編碼。接下來，在步驟103，產(chǎn)生管理信息，然后進行到步驟104。管理信息包括用于存取在步驟101產(chǎn)生的流的信息， 和指示在諸如多角度播放等之類的特技播放時要播放的數(shù)據(jù)的信息。此后，在步驟104，將 管理信息與流數(shù)據(jù)多路復用，以輸出復用的數(shù)據(jù)。
圖8是表示傳統(tǒng)的多路復用裝置的結(jié)構(gòu)的方框圖。 多路復用裝置800包括編碼單元ll，存儲器12，管理信息產(chǎn)生單元13和多路復用 單元14。 編碼單元11對輸入的運動畫面數(shù)據(jù)Vin編碼，并將編碼的數(shù)據(jù)strln存儲到存儲 器12中。 管理信息產(chǎn)生單元13從存儲器12讀出編碼數(shù)據(jù)，作為讀出數(shù)據(jù)strOutl，產(chǎn)生管 理信息庫，和向多路復用單元14輸出該管理信息庫。應(yīng)該指出，該管理信息庫不包括與幀 延遲有關(guān)的信息。 多路復用單元14多路復用下列數(shù)據(jù)(i)管理信息庫，(ii)已經(jīng)從存儲器12讀出 的讀出數(shù)據(jù)strOut2，和(iii)附加信息adlnf，例如，由用戶設(shè)置的、并與流分開獲得的設(shè) 置信息，然后輸出復用的數(shù)據(jù)MuxDat。在此，如果不需要，可以不使用附加信息adlnf。另 外，可以采用諸如MPEG-2傳送流(TS)或程序流(PS)之類的方案，或由應(yīng)用預定的其它方 案對讀出數(shù)據(jù)strOut2打包，然后對其多路復用。例如，在藍光盤(BD)標準中，采用把4字 節(jié)首部加到被稱為源數(shù)據(jù)包(Source Packet)的MPEG-2TS數(shù)據(jù)包的方案多路復用讀出數(shù) 據(jù)strOut2，然后存儲。 圖9A示出了從多路復用裝置800輸出的復用數(shù)據(jù)的結(jié)構(gòu)實例。 如圖9A所示，管理信息和一個或多個編碼流被存儲在復用數(shù)據(jù)中。另外，處理每
個流作為一個或多個碼片使其能夠?qū)崿F(xiàn)各種播放方法，例如摘要播放和多角度播放。在此，
一個碼片示出一個畫面或一個隨機存取單元RAU中的畫面序列，或相同流的隨機存取單元
RAU的序列。圖9B和9C示出了播放實例。特別是，圖9B示出了多角度播放的實例。在流
1和流N分別以不同的角度存儲視頻的情況下，能夠通過在流1的碼片l-l之后通過改變角
度來播放流N的碼片N-2，并在碼片N-2播放完后返回流1的播放。圖9C示出了摘要播放
的實例。例如，通過有選擇地播放流1中的碼片1-1和碼片l-M來播放典型場景。 圖10是表示對復用數(shù)據(jù)進行解復用，以獲得編碼數(shù)據(jù)并播放編碼數(shù)據(jù)的傳統(tǒng)解
復用裝置的操作流程圖。 首先，在步驟S201中，解復用裝置對復用數(shù)據(jù)解復用以獲得管理信息，獲得與要 播放的一個或多個碼片有關(guān)的信息，然后進展到步驟204。與碼片有關(guān)的信息包括碼片的開 始時間，結(jié)束時間，用于在碼片中存取編碼數(shù)據(jù)的存取信息等。在步驟204和205，解復用裝 置解碼并顯示該碼片中的畫面，直到該碼片中的最后畫面。在此，在用戶操作發(fā)出指示結(jié)束 播放的指令等的情況下，在該指令變?yōu)橛行r結(jié)束播放。
圖11是表示傳統(tǒng)解復用裝置的結(jié)構(gòu)的方框圖。 解復用裝置900包括管理信息解復用單元21，碼片信息分析單元22，解碼單元24 和顯示26。 管理信息解復用單元21從諸如光盤之類的復用數(shù)據(jù)記錄介質(zhì)讀出復用數(shù)據(jù) MuxDat，分析管理信息，和根據(jù)用戶之類或預定方法確定要播放的碼片。此后，管理信息解 復用單元21向碼片信息分析單元22輸出碼片信息Clip，作為與確定的碼片有關(guān)的信息。
碼片信息分析單元22向解碼單元24輸出用于存取構(gòu)成碼片的畫面的存取信息 acs。另一方面，解碼單元24根據(jù)存取信息acs，從復用數(shù)據(jù)記錄介質(zhì)讀出視頻數(shù)據(jù)Vdat， 對讀出的數(shù)據(jù)解碼，和把解碼結(jié)果dec0ut輸出到顯示單元26。顯示單元26按顯示順序顯 示解碼結(jié)果。 MPEG-4AVC允許靈活的預測結(jié)構(gòu)，碼片的幀延遲因此是可變的。由于傳統(tǒng)的解復用 裝置改變碼片而沒有考慮碼片的幀延遲，在改變具有不同幀延遲的碼片時在畫面的顯示間 隔中出現(xiàn)間隙。 圖12A至12C示出了從具有一個幀延遲的碼片改變到具有兩個幀延遲的幀的實 例。 圖12A示出了具有一個幀延遲的流1的隨機存取單元RAU1-1，圖12B示出了具有 兩個幀延遲的流2的隨機存取單元RAU2-1 。在此，圖12C示出了在RAU1-1之后播放RAU2-1 時的解碼和顯示時序。 由于RAU1-1的幀延遲是1，當顯示在RAU1-1的解碼順序中在最后的畫面P15時， 對RAU2-1的頂部畫面P18進行解碼。然而，RAU2-1的幀延遲是2，在對解碼順序中處在第 二的畫面P2解碼時，RAU2-1中的畫面顯示仍沒有開始。因此，在對P2解碼時沒有顯示畫 面。因此，在畫面P15和畫面B0之間的顯示間隔中出現(xiàn)間隙。 同樣，在隨機存取單元RAU2-1之后播放隨機存取單元RAU1-1的情況下，在連續(xù)顯 示解碼間隔中出現(xiàn)間隙。換句話說，在顯示間隔中出現(xiàn)交迭。下文中，顯示順序中的間隙是 指在連接的幀延遲量增加和降低的兩種情況下出現(xiàn)連接中斷。 如上所述，由于傳統(tǒng)的解復用裝置不能顯示位于具有不同幀延遲的碼片被改變的 部分的畫面，而保持固定的幀，因此傳統(tǒng)的多路復用和解復用裝置具有使觀看運動畫面的 用戶感覺不舒服的問題。 為了解決上述問題而考慮了本發(fā)明。本發(fā)明的目的是提供一種將編碼流與其它信 息多路復用以產(chǎn)生復用數(shù)據(jù)的多路復用裝置，和用于對復用數(shù)據(jù)解復用以播放編碼流的解 復用裝置，以便即使在進行諸如多角度播放之類的任何特技播放時也不回使用戶感到不舒 服。

發(fā)明內(nèi)容
為了實現(xiàn)上述目的，本發(fā)明的多路復用裝置將一個或多個編碼流與其它信息復 用，所述編碼流包括以可隨機存取的存取單元為單位的編碼畫面，所述多路復用裝置包括 編碼單元，用于產(chǎn)生編碼流，以便在對編碼流中包括的所有存取單元中的兩個存取單元按 順序解碼的過程中，在兩個預定存取單元的連接中不出現(xiàn)間隙；多路復用單元，用于把其它 信息與編碼單元產(chǎn)生的編碼流進行多路復用。例如，在本發(fā)明的第一方面中，編碼單元產(chǎn)生 編碼流，以使兩個存取單元中的延遲量變得彼此相等，每個延遲量是從對解碼順序中的頂 部畫面解碼時起到顯示顯示順序中的頂部畫面時的時間滯后。 以使要被進行特技播放的兩個存取單元(例如，碼片)的延遲量(幀延遲)變得 彼此相等的方式產(chǎn)生編碼流。因此，在按順序?qū)@些存取單元解碼時在這些存儲單元的連 接中不出現(xiàn)間隙。換句話說，這些存取單元在進行特技播放時彼此無縫地連接。這意味著 幀頻是不變的。因此，能夠消除給觀看由這些存取單元構(gòu)成的運動畫面的用戶造成的不舒服的感覺。在此，例如，產(chǎn)生編碼流，以便在根據(jù)應(yīng)用程序的操作標準預定延遲量的情況下， 將這兩個存取單元的延遲量調(diào)節(jié)到預定的延遲量。 另外，在本發(fā)明的第二方面中，多路復用裝置還包括延遲信息產(chǎn)生單元，用于產(chǎn)生 與延遲量有關(guān)的延遲信息，在該裝置中，多路復用單元可以將其它信息與延遲信息產(chǎn)生單 元產(chǎn)生的延遲信息進行復用。例如，在本發(fā)明的第三方面中，延遲信息產(chǎn)生單元產(chǎn)生指示延 遲量的延遲信息。作為替換，在本發(fā)明的第三方面中，延遲信息產(chǎn)生單元產(chǎn)生指示能夠無縫 地連接兩個存取單元的標記，作為延遲信息。 這樣，在延遲信息(幀延遲信息)指示延遲量的情況下，解復用裝置能夠通過該延 遲信息很容易地獲得這兩個存取單元中的延遲量。另外，在作為延遲信息的標記指示這兩 個存取單元的延遲量彼此相等的情況下，解復用裝置能夠很容易地獲得這兩個存取單元中 的延遲量。因此，能夠使解復用裝置進行更正確的解復用處理。 另外，在本發(fā)明的第二方面中，編碼單元可以以編碼流中包括的所有存取單元中
的兩個存取單元的連接不出現(xiàn)間隙的方式產(chǎn)生編碼流，該連接是角度可變點。
由于這兩個存取單元具有不同的角度，與前面描述的情況相同，在按順序?qū)@些
存取單元解碼時，這些存取單元的連接中不出現(xiàn)間隙。換句話說，以無縫多角度的方式連接
這些存取單元。這意味著幀頻是不可變的。因此，能夠消除給觀看由這些存取單元構(gòu)成的
運動畫面的用戶造成的不舒服的感覺。 另外，為了實現(xiàn)上述目的，本發(fā)明的解復用裝置多路復用數(shù)據(jù)進行解復用，所述復 用數(shù)據(jù)包括(i)包括以可隨機存取的存取單元為單位的編碼畫面的編碼流；和(ii)與所 有存取單元中的兩個預定存取單元中的延遲量有關(guān)的延遲信息，每個延遲量是從對解碼順 序中的頂部畫面解碼時起到顯示顯示順序中的頂部畫面時的時間滯后，所述解復用裝置包 括延遲信息解復用單元，用于對復用數(shù)據(jù)解復用，以獲得延遲信息；和播放單元，用于根 據(jù)在延遲信息解復用單元已經(jīng)對復用數(shù)據(jù)解復用時獲得的延遲信息，來按順序解碼和播放 存取單元。 在以對這兩個存取單元(例如，碼片)進行特技播放的延遲量變得彼此相等的方 式產(chǎn)生編碼流的實例情況下，能夠按順序解碼和播放這兩個存取單元，而不允許在特技播 放時不在這兩個存取單元的連接中出現(xiàn)間隙。換句話說，能夠變成無縫地連接這些存取單 元。這意味著能夠使幀頻不變。結(jié)果是，能夠消除給觀看由這些存取單元構(gòu)成的運動畫面 的用戶造成的不舒服的感覺。另外，在由延遲信息(幀延遲信息)指示延遲量的實例情況 下，能夠通過延遲信息很容易地獲得這兩個存取單元的延遲量。此外，在使用標記指示延遲 信息的情況下，能夠很容易地獲得指示這兩個存取單元的延遲量彼此相等的信息。因此，能 夠進行更正確的解復用處理。 另外，為了實現(xiàn)上述目的，在本發(fā)明的多路復用方法中，對運動畫面編碼，并將編 碼的運動畫面與管理信息復用，該多路復用方法包括產(chǎn)生一個或多個編碼流；獲得編碼 流中的幀延遲；產(chǎn)生包括用于指示獲得的幀延遲的信息的管理信息；和對編碼流與管理信 息進行復用。在該多路復用方法中，編碼流由一個或多個隨機存取單元構(gòu)成，幀延遲指示分 別在這些隨機存取單元中，從對解碼順序中的頂部畫面解碼時起到顯示顯示順序中的頂部 畫面時的時間段期間分別出現(xiàn)的延遲量，并且編碼流中的幀延遲是可變的。
另外，管理信息可以包括編碼流的幀延遲。
10
另外，管理信息可以包括編碼流中幀延遲的最大值。 另外，管理信息可以包括相等幀延遲，作為幀延遲彼此相等時編碼流中的公共幀 延遲。 另外，管理信息可以包括基于這些隨機存取單元構(gòu)成的播放單元的幀延遲。
另外，本發(fā)明的解復用方法是對根據(jù)多路復用方法復用的數(shù)據(jù)進行解復用并播放 得到的解復用數(shù)據(jù)的解復用方法。所述解復用方法包括獲得要播放的這些隨機存取單元 所屬的編碼流的幀延遲；根據(jù)獲得的幀延遲確定播放時的幀延遲；和根據(jù)確定的幀延遲播 放這些隨機存取單元中包括的畫面。 另外，在確定幀延遲的過程中，可以以與剛剛作為當前隨機存取單元被播放的隨 機存取單元的幀延遲相等的幀延遲來播放跟在當前隨機存取單元之后的這些隨機存取單 元。 應(yīng)該指出，本發(fā)明不僅能夠作為上面已經(jīng)描述的多路復用裝置，解復用裝置，多路 復用方法和解復用方法來實現(xiàn)，而且以用于多路復用裝置和解復用裝置的程序，存儲該程 序的記錄介質(zhì)，和由多路復用裝置產(chǎn)生的復用數(shù)據(jù)來實現(xiàn)。 至此，由于即使在特技播放時本發(fā)明也能夠保證以固定的幀頻顯示，因此能夠消 除用戶不舒服的感覺。特別是，本發(fā)明能夠改善數(shù)據(jù)包介質(zhì)的播放質(zhì)量，因此非常實用。
有關(guān)本申請的技術(shù)背景的進一步信息 在此引入2004年6月2日提交的包括說明書，附圖和權(quán)利要求在內(nèi)的日本專利公 開No. 2004-165030揭示的整體內(nèi)容作為參考。


從以下結(jié)合示出了本發(fā)明的特殊實施方式的附圖的說明中，可以清楚地了解本發(fā)
明的這些和其它目的、優(yōu)點和特征。在附圖中 圖1A和IB是顯示MPEG-2流結(jié)構(gòu)的示意圖。 圖2A和2B是顯示MPEG-2中的GOP結(jié)構(gòu)的示意圖； 圖3A和3B是顯示MPEG-2流中的幀延遲的示意圖； 圖4是顯示MPEG-4AVC流的結(jié)構(gòu)的示意圖； 圖5是顯示MPEG-4AVC流中預測結(jié)構(gòu)的一個實例的示意圖； 圖6A至6C是顯示MPEG-4AVC流中如何改變碼片的實例的示意圖； 圖7是顯示傳統(tǒng)多路復用裝置的操作的流程圖； 圖8是顯示傳統(tǒng)多路復用裝置的結(jié)構(gòu)的方框圖； 圖9A至9C是顯示從傳統(tǒng)多路復用裝置輸出的數(shù)據(jù)的結(jié)構(gòu)實例的示意圖；
圖10是顯示傳統(tǒng)多路復用裝置的操作的流程圖；
圖11是顯示傳統(tǒng)多路復用裝置的結(jié)構(gòu)的方框圖； 圖12A至12C是顯示播放由傳統(tǒng)多路復用裝置輸出的復用數(shù)據(jù)時出現(xiàn)的問題實例 的示意圖； 圖13是顯示本發(fā)明第一實施方式中的多路復用裝置的操作的流程圖； 圖14是顯示本發(fā)明第一實施方式中的多路復用裝置的方框圖； 圖15A至15E是顯示由本發(fā)明第一實施方式中的多路復用裝置輸出的數(shù)據(jù)結(jié)構(gòu)的
11實例的示意圖； 圖16是顯示本發(fā)明第二實施方式中的多路復用裝置的操作的流程圖； 圖17是本發(fā)明第二實施方式中的多路復用裝置的方框圖； 圖18是顯示本發(fā)明第三實施方式中的解復用裝置的操作的流程圖； 圖19是顯示本發(fā)明第三實施方式中確定播放中的幀延遲時解復用裝置的操作的
流程圖； 圖20A至20D是顯示本發(fā)明第三實施方式中確定播放中的幀延遲時解復用裝置的 操作實施例的流程圖； 圖21是顯示本發(fā)明第三實施方式中的解復用裝置的方框圖； 圖22是顯示HD-DVD的數(shù)據(jù)層級的示意圖； 圖23是顯示HD-DVD的邏輯空間結(jié)構(gòu)的示意圖； 圖24是顯示VOB信息文件的結(jié)構(gòu)的示意圖； 圖25是時間映射的示意圖； 圖26是顯示播放列表文件的結(jié)構(gòu)的示意圖； 圖27是顯示對應(yīng)于播放列表的程序文件的結(jié)構(gòu)的示意圖； 圖28是顯示BD盤管理信息文件的結(jié)構(gòu)的示意圖； 圖29是顯示用于記錄全局事件處理器的程序文件的結(jié)構(gòu)的示意圖； 圖30是顯示HD-DVD播放器的概況結(jié)構(gòu)的方框圖；禾口 圖31A和31B是顯示記錄用于實現(xiàn)本發(fā)明的多路復用方法和解復用方法的程序的 記錄介質(zhì)的結(jié)構(gòu)的示意圖；和圖31C是說明記錄和播放靈活盤上的程序的結(jié)構(gòu)的示意圖。
具體實施例方式以下參考

本發(fā)明的實施方式。
(第一實施方式) 圖13是顯示本發(fā)明第一實施方式中的多路復用裝置的操作的流程圖。多路復用 裝置輸出經(jīng)多路復用的數(shù)據(jù)，經(jīng)復用的數(shù)據(jù)能夠指示復用數(shù)據(jù)中存儲的編碼流的幀延遲信 息。 首先，在步驟301中，多路復用裝置產(chǎn)生MPEG-4AVC編碼流。在步驟302，獲得在 步驟301產(chǎn)生的編碼流的幀延遲，并進展到步驟303。在步驟303中，判斷是否已經(jīng)產(chǎn)生了 多路復用數(shù)據(jù)中要存儲的所有編碼流，并重復步驟301和步驟303的過程，直到已經(jīng)產(chǎn)生了 所有編碼流。在步驟304，產(chǎn)生要作為復用數(shù)據(jù)的管理信息存儲的幀延遲信息，并進展到步 驟305。在步驟305，除了由傳統(tǒng)多路復用裝置產(chǎn)生的信息之外，還產(chǎn)生用于指示幀延遲信 息的管理信息。最后，在步驟306，將步驟301產(chǎn)生的編碼流與在步驟305產(chǎn)生的管理信息 進行復用，然后輸出復用數(shù)據(jù)。 圖14是顯示本發(fā)明第一實施方式中的多路復用裝置的結(jié)構(gòu)的方框圖。 多路復用裝置100A包括編碼單元15，存儲器12，管理信息產(chǎn)生單元16，幀延遲獲
得單元17和多路復用單元18。 應(yīng)該指出，本實施方式的多路復用裝置100A的上述組件與圖8所示的傳統(tǒng)多路復 用裝置中的相同組件被賦予了相同的參考標號，并且不再對這些組件進行描述。
12
編碼單元15對輸入的運動畫面數(shù)據(jù)Vin進行編碼，并把得到的編碼數(shù)據(jù)strln存 儲到存儲器12中。另外，編碼單元15向幀延遲獲得單元17輸出編碼數(shù)據(jù)strln的幀延遲 frDly。 幀延遲獲得單元17產(chǎn)生要存儲在管理信息中的延遲信息dlylnf作為幀延遲信 息，然后將其輸出到管理信息產(chǎn)生單元16。 管理信息產(chǎn)生單元16根據(jù)對從存儲器12讀出的編碼數(shù)據(jù)strln和延遲信息 dlylnf的分析結(jié)果產(chǎn)生管理信息庫，作為讀出數(shù)據(jù)strOutl，然后將其輸出到多路復用單 元18。 多路復用單元18對管理信息庫，從存儲器12讀出的讀出數(shù)據(jù)str0ut2和與編碼 數(shù)據(jù)分開獲得的、作為用戶設(shè)置信息的附加信息adlnf，然后輸出復用數(shù)據(jù)MuxDat。應(yīng)該指 出，可以將編碼時的幀延遲限制在預定值或低于預定值，該幀延遲由編碼單元15設(shè)置。
圖15A至15E示出了由多路復用裝置IOOA輸出的復用數(shù)據(jù)的結(jié)構(gòu)實施例。
復用數(shù)據(jù)示出了如圖15A所示的存儲在復用數(shù)據(jù)中的碼片的幀延遲信息。在此， 復用數(shù)據(jù)中存儲碼片數(shù)量為N，幀延遲為從延遲1到延遲N。應(yīng)該指出，各個碼片可以是指 示相同編碼流中的不同區(qū)域的單元，或者可以是屬于不同編碼流的碼片。
圖15B至15C示出了幀延遲信息的結(jié)構(gòu)。圖15B存儲各個碼片的幀延遲作為表信 息。圖15C示出了碼片的幀延遲的最大值。作為最大值，可以示出復用數(shù)據(jù)中存儲的所有 碼片的幀延遲中的最大值，或者可以根據(jù)播放列表給出按順序要播放的碼片的幀延遲中的 最大值。另外，可以將預定值表示為最大值。圖15D示出了各個碼片中共同使用的幀延遲 的值。在各個碼片的幀延遲是可變的情況下，可以表示出這些值。另外，在各個碼片的幀延 遲不可變的情況下，可以表示出在播放時使用的幀延遲。圖15E示出了碼片的幀延遲是否 彼此相等。例如，存儲指示這些幀延遲是否彼此相等的標記信息。應(yīng)該指出，圖15B至15D 示出的信息可以被組合使用。 應(yīng)該指出，可以表示出只與特定的碼片有關(guān)的幀延遲信息。首先，能夠根據(jù)碼片的 播放方法，給出與用于多角度播放或摘要播放的碼片有關(guān)的幀延遲信息。另外，能夠根據(jù)碼 片中頂部隨機存取單元的屬性來設(shè)置幀延遲。例如，在定義在IDR畫面改變角度的情況下， 可以給出只與其頂部隨機存取單元是IDR畫面的碼片有關(guān)的幀延遲信息。另外，可以只在 保證彼此無縫地連接碼片的摘要播放的情況下給出幀延遲信息。 另外，可以給出復用數(shù)據(jù)中存儲的編碼流的幀延遲信息，而不直接給出各個碼片 的幀延遲信息。此時，通過把每個碼片所屬的編碼流與指示編碼流的幀延遲的信息相關(guān)聯(lián)， 能夠給出各個碼片的幀延遲?？梢栽谙旅娴膬煞N情況下使用該方法(i)相同編碼流中的 各個碼片的幀延遲不可變的情況下，和(ii)給出相同編碼流中包括的碼片的幀延遲的最 大值的情況下。 在使用諸如藍光盤(BD)或高清晰(HD)-DVD之類的應(yīng)用標準的情況下，這些標準 定義幀延遲應(yīng)該彼此相等，或定義幀延遲間的最大值或預定值，由于該應(yīng)用標準給出了與 幀延遲有關(guān)的信息，應(yīng)該指出，不能存儲幀延遲作為管理信息。 另外，在利用諸如TS或?qū)崟r傳輸協(xié)議(RTP)之類的協(xié)議經(jīng)網(wǎng)絡(luò)接收復用數(shù)據(jù)的情 況下，可以獲得幀延遲信息作為播放控制信息。例如，在向播放終端通知播放控制信息時使 用刻錄段落(session)描述協(xié)議(SDP)的情況下，能夠描述SDP中的幀延遲信息。另外，通過指示諸如同步多媒體綜合語言(SMIL)之類的場景描述語言中的幀延遲信息，可以向播 放終端通知幀延遲。 另外，可以在一個隨機存取接隨機存取的基礎(chǔ)上指示幀延遲信息。另夕卜，可以通過
例如將其加到隨機存取單元RAU中的頂部畫面來在編碼流中指示幀延遲信息。 這樣，通過由多路復用裝置輸出的復用數(shù)據(jù)中的管理信息來指示幀延遲信息。因
此，在播放復用數(shù)據(jù)時調(diào)節(jié)幀延遲使其能夠播放編碼流，而不允許在改變碼片時在顯示中
出現(xiàn)間隙。(第二實施方式) 圖16是顯示本發(fā)明第二實施方式中的多路復用裝置的操作的流程圖。
首先，在步驟401，多路復用裝置設(shè)置存儲在復用數(shù)據(jù)中的編碼流共同使用的幀延 遲的值。在步驟402，根據(jù)已經(jīng)在步驟401設(shè)置的幀延遲來產(chǎn)生MPEG-4AVC編碼流。在步驟 403，判斷是否已經(jīng)產(chǎn)生了多路復用數(shù)據(jù)中要存儲的所有編碼流，并重復步驟402的過程， 直到對所有編碼流進行了編碼。在步驟404，產(chǎn)生要作為復用數(shù)據(jù)的管理信息存儲的幀延遲 信息，并進展到步驟405。在步驟405，除了由傳統(tǒng)多路復用裝置產(chǎn)生的信息之外，還產(chǎn)生用 于指示幀延遲信息的管理信息。最后，在步驟406，將步驟401產(chǎn)生的編碼流與在步驟405 產(chǎn)生的管理信息進行復用，然后輸出得到的復用數(shù)據(jù) 圖17是顯示本發(fā)明第二實施方式中的多路復用裝置的結(jié)構(gòu)的方框圖。 多路復用裝置100B包括幀延遲確定單元41，編碼單元42，存儲器12，管理信息產(chǎn)
生單元16，和多路復用單元18。 應(yīng)該指出，本實施方式的多路復用裝置100B的上述組件與圖8所示的傳統(tǒng)多路復 用裝置中的相同組件被賦予了相同的參考標號，并且不再對這些組件進行描述。
幀延遲確定單元41確定編碼流的幀延遲，并向編碼單元42和管理信息產(chǎn)生單元 16輸出延遲信息dlylnf。在此確定的幀延遲可以是應(yīng)用標準預定的值，或者可以針對多路 復用裝置設(shè)置，或由用戶設(shè)置。編碼單元42根據(jù)延遲信息dlylnf指示的幀延遲來對輸入 的運動畫面數(shù)據(jù)Vin進行編碼，然后把編碼的數(shù)據(jù)strln存儲到存儲器12中。換句話說， 編碼單元42以使隨機存取單元的單元中的幀延遲彼此相等的方式產(chǎn)生一個或多個編碼數(shù) 據(jù)strln，以致在按順序?qū)ψ鳛橐粋€或多個編碼數(shù)據(jù)strln中包括的存取單元(其編碼數(shù)據(jù) 或碼片)的兩個特定的存取單元解碼時，使這些存取單元的連接中不出現(xiàn)間隙。應(yīng)該指出， 防止在解碼時這些存取單元的連接中出現(xiàn)間隙是指防止畫面的顯示間隔中出現(xiàn)間隙，防止 畫面的解碼間隔中出現(xiàn)交迭。 管理信息產(chǎn)生單元16根據(jù)對從存儲器12讀出的編碼數(shù)據(jù)strOutl和延遲信息 dlylnf的分析結(jié)果來產(chǎn)生管理信息庫，作為讀出數(shù)據(jù)strOutl和延遲信息dlylnf，然后將 管理信息庫輸出到多路復用單元18。 多路復用單元18復用(i)管理庫，(ii)已經(jīng)從存儲器12讀出的讀出數(shù)據(jù) strOut2，和(iii)諸如由用戶設(shè)置信息之類從編碼數(shù)據(jù)分開獲得的附加信息adlnf，然后 輸出得到的復用數(shù)據(jù)MuxDat。 應(yīng)該指出，在由應(yīng)用標準等預先定義幀延遲的情況下，多路復用裝置IOOB可以具 有不包括幀延遲確定單元41的結(jié)構(gòu)，可以代替的是，編碼單元42根據(jù)固定的幀延遲來執(zhí)行 編碼處理。在幀延遲在編碼流中不變的條件下，能夠在管理信息中不包括幀延遲信息的情況下確定播放時的幀延遲。因此，不需要在管理信息總是指示幀延遲信息。 由于由多路復用裝置以這種方式輸出復用數(shù)據(jù)的情況下復用數(shù)據(jù)中要存儲在的
編碼流中的幀延遲是不可變的，因此各個碼片的幀延遲也是不可變的。因此，即使在改變碼
片的情況下，也能夠在開始播放時在顯示中無縫地播放編碼流，而不需要調(diào)節(jié)幀延遲。 應(yīng)該指出，在上述實施方式中，可以采用除MPEG-4AVC外的編碼方案，只要其定義
幀延遲是可變的。 另外，可以在無縫連接或無縫多角度播放中按順序播放的這些隨機存取單元(編 碼流或碼片)的幀延遲不可變。在此，無縫連接是指無縫地連接相同流或不同流中包括的 碼片。另外，無縫多角度播放是指連接編碼流中包括的、其角度彼此不同的碼片，并且改變 這些角度。例如，可以在從開始時間到第30秒的時間段期間采用一種角度，并在從第30秒 到第60秒的時間段期間選擇多個角度來進行播放。此時，表示不同角度的每個碼片具有相 同的幀延遲。另外，可以使每個角度的幀延遲不變，而與其是否能夠無縫地進行多角度播放 無關(guān)。這是由于，在多角度播放時幀延遲以角度為單位改變的情況下，再現(xiàn)質(zhì)量是可改變 的。應(yīng)該指出，可以對編碼流進行這種無縫連接或無縫多角度播放。 應(yīng)該指出，可以要求無縫連接或多角度播放中使用的每個存取單元滿足下列條 件能夠不參考比第一存取單元早解碼的第二存取單元中的畫面來對第一存取單元中的任 意畫面解碼。象這樣的存取單元對應(yīng)于MPEG-2中的封閉G0P，或MPEG-4AVC中以IDR畫面 開始的隨機存取單元RAU。因此，可以使能夠參考相同存取單元內(nèi)的畫面對其組成畫面解碼 的存取單元中的幀延遲不可變。 另外，在使上面描述的無縫連接等中按順序播放的這些存取單元的幀延遲不可變 的情況下，多路復用裝置預先判斷是否應(yīng)該對應(yīng)該產(chǎn)生的這些存取單元進行無縫連接或無 縫多角度播放。此后，在多路復用裝置判斷這些存取單元應(yīng)該是目標的情況下，以使目標隨 機存取單元的幀延遲彼此相等的方式進行編碼，以產(chǎn)生編碼流。例如，在對兩個編碼流進行 無縫連接等的情況下，產(chǎn)生向后編碼流，以使向后編碼流的幀延遲與向前編碼流的幀延遲 相等。 另外，管理信息庫中包括的幀延遲信息可以指示針對諸如無縫連接之類的特定存
取單元(編碼流或碼片)的幀延遲是共同。另外，也可以是指示存取單元可以變成無縫連
接的目標，多角度播放等的標記。這樣的標記被存儲在播放列表，時間映射等中，作為指示
連接屬性的信息。(第三實施方式) 圖18是表示本發(fā)明第三實施方式中的解復用裝置的操作的流程圖。解復用裝置
輸入和播放由第一和第二實施方式中的多路復用裝置產(chǎn)生的多路復用數(shù)據(jù)。 首先，在步驟501，解復用裝置對復用數(shù)據(jù)解復用，以獲得管理信息，并獲得與要播
放的碼片有關(guān)的信息。根據(jù)由來自用戶的指令，或管理信息中的播放列表等預定的播放順
序來確定要播放的碼片。 接下來，在步驟502，獲得在步驟501被確定為要播放碼片的碼片幀延遲信息，并 進展到步驟503。在步驟503，根據(jù)在步驟502獲得的幀延遲信息確定在播放碼片時的幀延 遲。 在步驟504和步驟505，解碼并顯示碼片中的畫面，直到碼片中最后的畫面。在此，在通過用戶操作指令播放結(jié)束的情況下，在該指令變?yōu)橛行r結(jié)束播放。應(yīng)該指出，在步驟
501至步驟503中，只在改變屬于不同編碼流的碼片時可以確定幀延遲。 圖19是顯示圖18的步驟503中的播放期間確定幀延遲時的操作的流程圖。 首先，在步驟601，解復用裝置判斷包括在解復用數(shù)據(jù)中的編碼流的幀延遲是否不
可變。在幀延遲不可變的情況下，流程進展到步驟603。相反，在幀延遲可變的情況下，流程
進展到步驟602。 在步驟603，確定播放具有共同幀延遲的復用數(shù)據(jù)中的編碼流。在步驟602，判斷 按順序要播放的碼片的幀延遲是否不可變。在幀延遲不可變的情況下，流程進展到步驟 604。相反，在幀延遲可變的情況下，流程進展到步驟605。在步驟604，確定根據(jù)播放中頂 部碼片的幀延遲來播放編碼流。在步驟605，確定調(diào)節(jié)播放中的幀延遲。下面描述可用于在 播放中調(diào)節(jié)幀延遲的方法。 1.調(diào)節(jié)要播放碼片的幀延遲中的最大幀延遲。
2.剛剛播放的碼片的幀延遲。
3.使用預定的幀延遲。 在能夠確定要播放的碼片的情況下，第一種方法特別有效。在由用戶指令動態(tài)改 變要播放的碼片的情況下，第二種方法特別有效。另外，在能夠從復用數(shù)據(jù)的管理信息，或 編碼流中的信息，或由應(yīng)用標準獲得幀延遲的最大值的情況下，第三種方法有效。另外，可 以使用為該裝置預定的幀延遲。 圖20C和20D分別示出了第一和第二種方法的實施例。圖20C示出了在具有一幀 延遲的碼片1之后播放具有兩幀延遲的碼片2的實施例。在此，播放碼片1時的幀延遲是 2。圖20D示出了正在播放具有兩幀延遲的碼片2時由用戶指令改變到具有一幀延遲的碼 片1的實施例。此時，碼片1的幀延遲最初是l，根據(jù)碼片2的幀延遲，在碼片1的幀延遲是 2的前提下對其進行播放。以這種方式確定幀延遲，使得能夠在播放編碼流時在碼片1和碼 片2之間進行改變的位置的顯示間隔中不出現(xiàn)間隙。 應(yīng)該指出，可能存在復用數(shù)據(jù)中的編碼流的幀延遲彼此相等時，解復用數(shù)據(jù)中沒 有給出幀延遲信息的情況，如第二實施方式中所示。在象這樣播放復用數(shù)據(jù)的情況下不需 要步驟502中的過程。另外，優(yōu)選的是，在步驟503中開始顯示時確定幀延遲的情況下，調(diào) 節(jié)播放中頂部碼片的幀延遲。 另外，在由應(yīng)用標準等定義幀延遲的最大值的情況下，解復用裝置可以一直根據(jù) 預定義的最大值來播放復用數(shù)據(jù)。 圖21是顯示第三實施方式的解復用裝置的結(jié)構(gòu)的方框圖。 解復用裝置200包括管理信息解復用單元51，碼片信息分析單元52，幀延遲確定 單元53，解碼單元54，和顯示單元55。 管理信息解復用單元51從諸如光盤之類的復用數(shù)據(jù)記錄介質(zhì)讀出復用數(shù)據(jù) MuxDat，分析管理信息，并根據(jù)用戶指令或預定方法來確定要播放的碼片。此后，管理信息 解復用單元51向碼片信息分析單元52輸出碼片信息Clip，作為與確定的碼片有關(guān)的信息。
碼片信息分析單元52向解碼單元24輸出用于存取組成碼片的畫面的存取信息 acs。另外，碼片信息分析單元52獲得要播放的碼片的延遲信息dly，并將延遲信息dly輸 出到幀延遲確定單元53。
解碼單元24根據(jù)存取信息acs，從復用數(shù)據(jù)記錄介質(zhì)讀出視頻數(shù)據(jù)Vdat，對視頻 數(shù)據(jù)Vdat解碼，然后向顯示單元54輸出解碼結(jié)果dec0ut。 幀延遲確定單元53確定播放時的幀延遲，并向顯示單元54輸出延遲T。 顯示單元54根據(jù)延遲T來顯示畫面。應(yīng)該指出，可能存在如第二實施方式所示，
在復用數(shù)據(jù)中的編碼流的幀延遲彼此相等的情況下，復用數(shù)據(jù)中沒有給出幀延遲信息的情 況。在象這樣播放復用數(shù)據(jù)的情況下，解復用裝置可以具有不包括幀延遲確定單元53的結(jié)構(gòu)。 另外，在對這些存取單元進行無縫連接或多角度播放時，雖然在播放列表等中給 出的連續(xù)播放單元的幀延遲是不可變的，在不保證無縫連接的情況下，在連接處的幀延遲 是可變的。在復用數(shù)據(jù)的管理信息不包括指示此時的幀延遲的信息的情況下，可以在解碼 單元24中獲得存取單元的幀延遲，可以把獲得的幀延遲輸入到幀延遲確定單元53。在此， 在幀延遲不可變的播放區(qū)中，根據(jù)播放順序中頂部的存取單元的幀延遲來確定該幀延遲。 相反，在幀延遲可變的播放區(qū)中，幀延遲確定單元調(diào)節(jié)播放時的幀延遲。應(yīng)該指出，在上述 任何情況中，可以應(yīng)用與應(yīng)用標準等中確定的幀延遲的最大值相同的幀延遲。
(第四實施方式) 諸如多角度播放摘要播放之類的功能對用于播放包媒體的光盤裝置特別重要。在 這里，要說明將上述第一和第二實施方式中的多路復用裝置輸出的復用數(shù)據(jù)記錄到作為下 一代光盤的藍光盤(BD)中的例子。
首先，說明BD-ROM的記錄格式。 圖22是指示BD-ROM的結(jié)構(gòu)，特別是作為盤介質(zhì)的BD盤104的結(jié)構(gòu)，和存儲在盤 中的數(shù)據(jù)的示意圖。存儲在BD盤104中的數(shù)據(jù)包括AV數(shù)據(jù)103，諸如有關(guān)AV數(shù)據(jù)和AV播 放順序的管理信息之類的BD管理信息102，和實現(xiàn)互動性的BD播放程序101 。在這里，為 了方便，將BD盤的說明集中于用于播放電影的音頻和視頻內(nèi)容的AV應(yīng)用，但是可以對另一 種應(yīng)用進行同樣的說明。 圖23是顯示存儲在上述BD盤中的邏輯數(shù)據(jù)的目錄文件的結(jié)構(gòu)示意圖。例如，如 同DVD、 CD等一樣，BD盤具有從其內(nèi)周到其外周的記錄區(qū)，并具有在內(nèi)周的讀入和外周的 讀出之間的、用于存儲邏輯數(shù)據(jù)的邏輯地址空間。此外，在讀入內(nèi)側(cè)，具有叫作脈沖分割區(qū) (Burst Cutting Area) (BCA)的，只能由驅(qū)動器讀出的專用區(qū)。由于這個區(qū)不能從應(yīng)用讀 出，所以可以將它用于，例如，版權(quán)保護技術(shù)。 文件系統(tǒng)信息(巻)存儲在邏輯地址空間的最前端，并且視頻數(shù)據(jù)之類的應(yīng)用數(shù) 據(jù)也存儲在這里。如背景技術(shù)中所述，文件系統(tǒng)是例如UDF或IS09660，它允許如同正常PC 的情況一樣讀出利用目錄結(jié)構(gòu)或文件結(jié)構(gòu)存儲的邏輯數(shù)據(jù)。 在該實施方式中，作為BD盤上的目錄結(jié)構(gòu)和文件結(jié)構(gòu)，BDVIDEO目錄緊接著路徑 目錄(R00T(根目錄))之下放置。這個目錄是存儲諸如AV內(nèi)容或在BD中處理的管理信息 (圖22中說明的101， 102和103)之類的數(shù)據(jù)的目錄。
在BDVIDEO目錄之下，記錄著以下七個文件。 (i) BD. INFO (文件名是固定的)，這是一條"BD管理信息"，并且是存儲有關(guān)整個BD 盤的信息的文件。BD播放器首先讀出這個文件。 (ii)BD. PR0G(文件名是固定的)，這是"BD播放程序"之一，并且是存儲有關(guān)整個BD盤的播放控制信息的文件。 (iii)XXX. PL( "XXX"是可變的，而擴展名"PL"是固定的)，這是一條"BD管理信 息"，并且是存儲作為腳本(播放序列)的播放列表信息的文件。每個播放列表具有一個文 件。 (iv)XXX. PR0G( "XXX"是可變的，而擴展名"PROG"是固定的)，這是"BD播放程序" 之一，并且是存儲根據(jù)播放列表準備的播放控制信息的文件。對應(yīng)播放列表是根據(jù)文件體 名(根據(jù)"XXX"的匹配)識別的。 (v)YYY. V0B( "YYY"是可變的，而擴展名"V0B"是固定的)，這是"AV數(shù)據(jù)"之一， 并且是存儲VOB(與背景技術(shù)中說明的VOB相同)的文件。每個VOB具有一個文件。
(vi)YYY. VOBI ( "YYY"是可變的，而擴展名"VOBI"是固定的)，這是一條"BD管理 信息"，并且是存儲有關(guān)作為AV數(shù)據(jù)的VOB的流管理信息的文件。對應(yīng)播放列表是根據(jù)文 件體名(根據(jù)"YYY"的匹配)識別的。 (vii)ZZZ. PNG( "ZZZ"是可變的，而擴展名"PNG"是固定的)，這是"AV"數(shù)據(jù)之 一，并且是存儲用于構(gòu)成副標題和菜單的圖像數(shù)據(jù)PNG(這是由V3C標準化的畫面格式，念 作"ping")的文件。每個PNG圖像具有一個文件。 以下參考圖24至圖29說明BD導航數(shù)據(jù)的結(jié)構(gòu)(BD管理信息)。 圖24是顯示VOB管理信息文件("YYY. VOBI")的內(nèi)部結(jié)構(gòu)的示意圖。VOB管理信息具有VOB的流屬性信息(Attribute)和時間映射表(TMAP)。流屬性
具有視頻屬性(Video)和音頻屬性(Audio#0至Audio#m)。更具體地講，在音頻流的情況
下，由于VOB同時具有多個音頻流，所以通過音頻流的號碼(Number)來指示數(shù)據(jù)字段的存
在或不存在。 下面是分別存儲在字段中的視頻屬性(Video)，和對應(yīng)字段可能具有的值。
(i)壓縮格式(Coding) :MPEG-1 ;MPEG-2 ;MPEG-4 ;和MPEG-4AVC(高級視頻編碼)。
(ii)分辨率(Reslution) :1920x1080 ;1440x1080 ;1280x720 ;720x480 ; 和 720x565。 (iii)寬高比(Aspect) :4比3 ;禾口 16比9。 (iv)幀速率(Framerate) :60 ;59. 94 (60/1. 001) ;50 ;30 ;29. 97 (30/1. 001) ;25; 24 ;和23. 976(24/1. 001)。 以下是分別存儲在字段中的音頻屬性(Audio)，和相應(yīng)字段可能具有的值。
(i)壓縮格式(Coding) :AC3 ;MPEG-1 ;MPEG-2 ;和LPCM。
(ii)聲道號(Ch) :1至8。
(iii) i吾言屬性(Language): 時間映射表(TMAP)是用于存儲基于VOBU的信息的表，并且具有VOB具有的VOBU 數(shù)量和相應(yīng)的VOBU信息條(V0BU#1至V0BU#n)。各VOBU信息條包括作為VOBU的最前端 TS數(shù)據(jù)分組的地址(I畫面的開始地址)的1—start，和直到I畫面的結(jié)束地址的偏離地址 (I_end)，和I畫面的播放開始時間(PTS)。
圖25是顯示VOBU詳細情況的示意圖。 眾所周知，由于可以對MPEG視頻流執(zhí)行可變比特率壓縮以便高質(zhì)量地記錄視頻 流，所以播放時間與數(shù)據(jù)大小之間沒有正比性。另一方面，由于在作為音頻壓縮標準的AC3中執(zhí)行固定比特率壓縮，所以可以從初等表達式獲得時間與地址之間的關(guān)系。但是，在 MPEG視頻數(shù)據(jù)的情況下，每個幀具有固定的顯示時間，例如，在NTSC情況下， 一個幀具有 1/29.97秒的顯示時間，但是根據(jù)圖像特征，或壓縮中使用的畫面類型，例如，I畫面、P畫 面、或B畫面，壓縮每個幀之后的數(shù)據(jù)大小極大地改變。因此，在MPEG視頻流的情況下，不 能利用初等表達式表示時間與地址之間的關(guān)系。 如所預期的，在多路復用MPEG視頻數(shù)據(jù)的MPEG系統(tǒng)流中，即，在V0B中，不能利用 初等表達式表示時間與數(shù)據(jù)大小之間的關(guān)系。因此，在VOB中用時間映射表(TMAP)將時間 與地址聯(lián)系在一起。 以這種方式，在給出了時間信息的情況下，首先搜索時間所屬的VOBU(按順序跟 隨VOBU的PTS)，使緊挨著該時間之前的PTS跳入TMAP具有的VOBU(由I_start指定的地 址)，從該VOBU的最前端I畫面開始解碼，并且從對應(yīng)于該時間的畫面開始顯示。
接下來，參考圖26說明播放列表信息("XXX. PL")的內(nèi)部結(jié)構(gòu)。
播放列表信息包括單元列表(CellList)和事件列表(EventList)。
單元列表(CellList)是播放列表中的播放單元序列，并且各單元以這個列表中 指示的規(guī)定順序播放。單元列表(CellList)的內(nèi)容是單元號(Number)和每個單元的信息 (Cell#l至Cell#n)。 單元信息(Cell#)具有VOB文件名(VOBName)，該VOB中的開始時間(In)和結(jié)束 時間(Out)，和副標題(SubtitleTable)。在每個VOB中將開始時間(In)和結(jié)束時間(Out) 表示為幀號。利用上述時間映射表(TMAP)可以獲得播放所需的VOB數(shù)據(jù)的地址。
副標題表(SubtitleTable)是存儲與VOB同步播放的副標題信息的表。如同音頻 的情況一樣，多種語言包括在副標題中。副標題表(SubtitleTable)的第一信息包括語言 號(Number)和隨后根據(jù)語言準備的表(Language#l至Language#k)。 每個語言表(Language^包括語言信息(Lang)，要獨立顯示的副標題的副標題信 息條的號(Number)，和要獨立顯示的副標題的副標題信息(Speech#l至Speech#j)。副標 題信息(SpeeCh#)包括圖像數(shù)據(jù)文件名(Name)，副標題顯示開始時間(In)，副標題顯示結(jié) 束時間(Out)，和副標題顯示位置(Position)。 事件列表(EventList)是定義播放列表中發(fā)生的每個事件的表。事件列表包括 事件號(Number)和各個事件(Event#l至Event#m)。每個事件(Event#)包括事件類型 (Type)，事件ID (ID)，事件發(fā)生時間(Time)，和事件持續(xù)時間(Duration)。
圖27是具有根據(jù)播放列表準備的事件處理程序(這是用于菜單選擇的時間事件 和用戶事件)的事件處理程序表("XXX. PROG")。 事件處理程序表包括定義的事件處理程序/程序號(Number)，和相應(yīng)的事件處理 程序/程序(Program#l至Programfe)。每個事件處理程序/程序(Program#)的內(nèi)容是事 件處理程序的開始的定義(〈eventjiandler〉tag)和與早先說明的事件ID組成對的事件處 理程序ID(ID)，緊接著它的是在跟隨在函數(shù)(Function)后面的"{}"中說明的程序。存儲 在早先說明的"XXX. PL"的事件列表(EventList)中的事件(Event#l至Event#m)是利用 "XXX. PROG"的事件處理程序的ID (ID)指定的。 接下來，參考圖28說明有關(guān)整個BD盤的信息("BD. INFO")的內(nèi)部結(jié)構(gòu)。 有關(guān)整個BD盤的信息包括標題列表(TitleList)和全局事件的事件表
19(EventList)。 標題列表(TitleList)包括盤的標題號(Number)和跟隨在標題號后面的多條標題信息(Titleftl至Titlefe)。各條標題信息(Title#)包括被包括在標題中的播放序列表(PLTable)，和標題中的章列表(Ch即terList)。播放序列表(PLTable)包括標題中的播放列表的號(Number)，和作為播放列表的文件名的播放列表名(Name)。 章列表(ChapterLi st)包括被包括在標題中的章號(Number)和多條章信息(Chapter#l至Chapter#n)。每條章信息(Chapter#)包括被包括在該章中的單元表(CellTable)，單元表(CellTable)包括單元號(Number)和多條單元項信息(CellEntry#l至CellEntryftk)。單元項信息(CellEntry#)包括播放列表名，播放列表名包括該播放列表中的單元和單元號。 事件列表(EvenList)包括全局事件號(Number)和多條全局事件。應(yīng)當注意，首先定義的全局事件叫做第一事件(FirstEvent)，并且是BD插入播放器后首先調(diào)用的事件。全局事件的事件信息僅有一個事件類型(Type)和一個事件ID(ID)。 圖29是全局事件處理程序的程序的表("BD. PROG")。該表的內(nèi)容與圖27中說明的事件處理程序表的內(nèi)容相同。 在第一和第二實施方式中的多路復用裝置的復用輸出數(shù)據(jù)使用象上述這樣的BD-ROM的情況下，VOBU由一個或多個隨機存取單元RAU組成，在播放列表中規(guī)定了碼片的播放順序。在此，可以由BD管理信息給出幀顯示信息。例如，可以把幀延遲信息存儲在播放列表的播放條目中，或指示諸如EP映射之類的地址信息的表中。幀延遲信息也可以存儲在指示編碼流的屬性信息的表中。另外，在指示(i)在存儲在復用數(shù)據(jù)中的編碼流的幀延遲的最大值，(ii)在所有編碼流等間共同的幀延遲的情況下，可以指示幀延遲作為比與各個編碼流有關(guān)的信息高的信息。 應(yīng)該指出，可以根據(jù)與播放列表或預定順序不同的信息來確定碼片的播放順序。
應(yīng)該指出，可以將諸如EP映射之類的存取信息存儲在表中作為二進制數(shù)據(jù)，或呈可以是XML(可擴展標記語言)等的文本數(shù)據(jù)的形式。[O204](第五實施方式) 圖30是大致示出播放與第五實施方式有關(guān)的BD盤的播放器的功能結(jié)構(gòu)的方框圖。 通過光拾取頭202讀出BD盤201上的數(shù)據(jù)。根據(jù)相應(yīng)數(shù)據(jù)的類型，將讀出的數(shù)據(jù)發(fā)送到專用存儲器。將BD播放程序("BD. PROG"或"XXX. PROG"的內(nèi)容)發(fā)送到程序存儲器203。另外，把BD管理信息("BD. INFO"， "XXX. PL"或"YYY. VOBI")發(fā)送到管理信息存儲器204。還將AV數(shù)據(jù)("YYY. VOB"或"ZZZ. PNG")發(fā)送到AV存儲器205。
程序處理單元206處理記錄在程序存儲器203中的BD播放程序。另外，管理信息處理單元207處理記錄在管理信息存儲器204中的BD管理信息。顯現(xiàn)處理單元208處理記錄在AV存儲器205中的AV數(shù)據(jù)。 程序處理單元206接收管理信息處理單元207要播放的播放列表的信息，和諸如程序的執(zhí)行定時之類的事件信息，并執(zhí)行程序的處理。另外，可以動態(tài)地改變程序要播放的播放列表。這可以通過將播放列表的播放指令發(fā)送到管理信息處理單元207來實現(xiàn)。程序處理單元206接收來自用戶的事件，也就是說，通過遙控器接收請求，并且在具有對應(yīng)于用戶事件的程序的情況下，執(zhí)行該程序。 管理信息處理單元207接收來自程序處理單元206的指令，分析播放列表和對應(yīng)于播放列表的V0B的管理信息，并指令顯現(xiàn)處理單元208播放目標AV數(shù)據(jù)。管理信息處理單元207還接收來自顯現(xiàn)處理單元208的標準時間信息，根據(jù)時間信息指令顯現(xiàn)處理單元208停止播放AV數(shù)據(jù)。此外，管理信息處理單元207產(chǎn)生一個事件，以把程序執(zhí)行定時通知給程序處理單元206。 顯現(xiàn)處理單元208具有能夠分別處理視頻、音頻、副標題/圖像(靜止畫面)的解碼器。它根據(jù)來自管理信息處理單元207的指令，解碼和輸出AV數(shù)據(jù)。在視頻數(shù)據(jù)，和副標題/圖像的情況下，將它們解碼，然后提供到對應(yīng)的專用平面上，即，視頻平面210和圖像平面209上。此后，合成處理單元211對視頻執(zhí)行合成處理，和將視頻輸出到TV之類的顯
示裝置。 在多角度播放或摘要播放時，顯現(xiàn)處理單元208翻譯用戶請求的多角度播放或摘要播放的操作，并將與角度可變點等有關(guān)的信息通知給管理信息處理單元207。管理信息處理單元207根據(jù)要播放的碼片的幀延遲信息來確定播放時的幀延遲，并將該幀延遲通知給顯現(xiàn)處理單元208。 可以將諸如EP映射之類的存取信息存儲在表中作為二進制數(shù)據(jù)，或呈可以是XML(可擴展標記語言)等的文本數(shù)據(jù)的形式。
(第六實施方式) 另外，通過把用于實現(xiàn)上述實施方式中給出的復用方法和解復用方法的程序記錄到諸如軟盤之類的記錄介質(zhì)上，能夠很容易地在獨立的計算機系統(tǒng)中執(zhí)行各個實施方式中給出的處理。 圖31C示出了計算機系統(tǒng)如何使用諸如軟盤之類的記錄介質(zhì)中記錄的程序來執(zhí)行本實施方式中的運動畫面編碼方法和運動畫面解碼方法。 圖31A示出了作為記錄介質(zhì)的軟盤的物理格式的例子。圖31B示出了軟盤以及該軟盤外觀的正示意圖和橫截面圖。軟盤(FD)容納在外殼F中，從盤的外周到內(nèi)周在盤的表面上同心地形成有多個軌道(Tr)，并且每個軌道在角度方向上被分割成16個扇區(qū)(Se)。因此，在軟盤存儲上述程序的情況下，程序被存儲在軟盤(FD)上分配給它的區(qū)中。
此外，圖31C示出了記錄和播放軟盤上的程序的結(jié)構(gòu)。在把用于實現(xiàn)多路復用方法和解復用方法的上述程序記錄在軟盤FD上的情況下，計算機系統(tǒng)Cs通過軟盤驅(qū)動器將程序?qū)懺谲洷P上。在利用軟盤中的程序構(gòu)造上述用于實現(xiàn)多路復用方法和解復用方法的多路復用裝置和解復用裝置的情況下，通過軟盤驅(qū)動器從軟盤讀出程序，并將它發(fā)送到計算機系統(tǒng)。 應(yīng)當注意，上述說明是利用軟盤作為記錄介質(zhì)進行的，但是，程序可以記錄在光盤上。此外，記錄介質(zhì)不限于此，也可以使用諸如IC卡，ROM盒之類的另外的記錄介質(zhì)，只要它能夠記錄程序。 至此，根據(jù)上述各種實施方式說明了與本發(fā)明有關(guān)的多路復用裝置，解復用裝置，
BD盤播放器等，但是本發(fā)明不限于這些實施方式。本發(fā)明包括熟悉本領(lǐng)域的人員根據(jù)這些
實施方式可以想到的各種改變，并且這些改變在本發(fā)明的技術(shù)主題的范圍內(nèi)。 例如，本發(fā)明包括以下裝置(i)光盤記錄裝置，該光盤記錄裝置包括本實施方式CN 101707702 A 中的多路復用裝置，運動畫面發(fā)送裝置；數(shù)字電視廣播裝置；Web服務(wù)器；通信裝置，移動信息終端等；和(ii)運動畫面接收裝置，該運動畫面接收裝置包括本實施方式中的解復用裝置；數(shù)字電視廣播接收裝置；通信裝置；移動信息終端，等等。 應(yīng)當注意，(圖14、圖17、和圖21等)的方框圖的各功能塊一般以作為集成電路的大規(guī)模集成電路的LSI來實現(xiàn)。每個功能塊可以制成為芯片。另外，可以將一個，一些，或全部功能塊集成到一個芯片中(例如，可以將除了存儲器之外的功能塊制造成一個芯片)。
在這里，將電路稱為LSI，但是，根據(jù)集成度，可以稱之為集成電路(IC)、系統(tǒng)LSI、超LSI、或超大LSI。 此外，制造成集成電路的方法不限于此，也可以通過專用電路或通用處理器來實現(xiàn)。此外，在制造LSI或能夠重新配置LSI中的電路單元的連接或設(shè)置的可重配置處理器之后，可以使用可編程的可現(xiàn)場編程門陣列(FPGA)。 此外，在半導體技術(shù)進一步發(fā)展或出現(xiàn)了任何派生技術(shù)，導致可以考慮替代LSI的集成電路制造方法時，自然可以用這種技術(shù)集成這些功能塊。生物技術(shù)的應(yīng)用是有可能的。 此外，在各功能塊中，可以獨立地配置存儲要編碼或記錄的數(shù)據(jù)的裝置，而不是集成在一個芯片中。 盡管以上僅詳細說明了本發(fā)明的示例實施方式，熟悉本領(lǐng)域的人員應(yīng)當知道，可以對示例實施方式進行多種修改而不脫離本發(fā)明的新的教導和優(yōu)點。因此，所有這些修改包括在本發(fā)明的范圍內(nèi)。
工業(yè)實用性 本發(fā)明的多路復用方法和解復用方法可以應(yīng)用于具有諸如多角度播放和摘要播放之類的特技播放功能的一般裝置，因此它們在多路MPEG-4AVC編碼流的包媒體的播放中特別有效。
2權(quán)利要求
一種多路復用裝置，用于將編碼流與另一信息多路復用，所述編碼流包括可隨機存取的存取單元，每個存取單元由多個編碼畫面構(gòu)成，所述多路復用裝置包括第一確定單元，用于確定在依次對兩個存取單元進行解碼并維持從第一存取單元到第二存取單元的角度或切換角度時各存取單元中的延遲量，所述延遲量各指示從按解碼順序?qū)敳慨嬅娼獯a時起到按顯示順序顯示頂部畫面時的時延，所述第一存取單元是切換源，第二存取單元是從編碼流中具有相同播放開始時間和播放結(jié)束時間的存取單元中選擇的切換目的地；產(chǎn)生單元，用于通過以獲得所述第一確定單元所確定的延遲量的方式對所述兩個存取單元中包括的畫面進行編碼，來產(chǎn)生編碼流；以及多路復用單元，用于把所述另一信息與所述產(chǎn)生單元產(chǎn)生的編碼流多路復用，其中所述另一信息包括指示所述兩個存取單元是否能夠被無縫連接的標記，并且所述標記是基于各存取單元的延遲量是否彼此相等而確定的，并且所述第一確定單元用于確定緊接在第一存取單元之后被解碼的第二存取單元中首先被解碼的畫面是IDR畫面。
2. —種播放裝置，用于對根據(jù)權(quán)利要求l的復用裝置產(chǎn)生的多路復用數(shù)據(jù)進行解復用 并且顯示解復用數(shù)據(jù)，所述播放裝置包括標記解復用單元，用于在依次對兩個存取單元進行解碼并維持從第一存取單元到第二 存取單元的角度或切換角度時，從多路復用數(shù)據(jù)解復用出標記，所述第一存取單元是切換 源，第二存取單元是從編碼流中具有相同播放開始時間和播放結(jié)束時間的存取單元中選擇 的切換目的地；第二確定單元，用于在由所述標記解復用單元解復用的標記指示能夠無縫連接所述兩 個存取單元時，確定顯示開始時間處的頂部存取單元的延遲量；禾口顯示單元，用于基于所述第二確定單元確定的延遲量，在維持從所述第一存取單元到 第二存取單元的角度或切換角度的同時解碼和顯示所述兩個存取單元，其中緊接在第一存取單元之后被解碼的第二存取單元中首先被解碼的畫面是IDR畫面。
3. —種多路復用方法，用于將編碼流與另一信息多路復用，所述編碼流包括可隨機存 取的存取單元，每個存取單元由多個編碼畫面構(gòu)成，所述多路復用方法包括第一確定步驟，用于確定在依次對兩個存取單元進行解碼并維持從第一存取單元到第 二存取單元的角度或切換角度時各存取單元中的延遲量，所述延遲量各指示從按解碼順序 對頂部畫面解碼時起到按顯示順序顯示頂部畫面時的時延，所述第一存取單元是切換源， 第二存取單元是從編碼流中具有相同播放開始時間和播放結(jié)束時間的存取單元中選擇的 切換目的地；產(chǎn)生步驟，用于通過以獲得所述第一確定步驟所確定的延遲量的方式對所述兩個存取 單元中包括的畫面進行編碼，來產(chǎn)生編碼流；以及多路復用步驟，用于把所述另一信息與所述產(chǎn)生步驟產(chǎn)生的編碼流多路復用，其中所述另一信息包括指示所述兩個存取單元是否能夠被無縫連接的標記，并且所述 標記是基于各存取單元的延遲量是否彼此相等而確定的，并且在所述第一確定步驟中，確定緊接在第一存取單元之后被解碼的第二存取單元中首先被解碼的畫面是IDR畫面。
4. 一種播放方法，用于對根據(jù)權(quán)利要求3的復用方法產(chǎn)生的多路復用數(shù)據(jù)進行解復用 并且顯示解復用數(shù)據(jù)，所述播放方法包括標記解復用步驟，用于在依次對兩個存取單元進行解碼并維持從第一存取單元到第二 存取單元的角度或切換角度時，從多路復用數(shù)據(jù)解復用出標記，所述多路復用數(shù)據(jù)包括(i) 包括可隨機存取的存取單元的編碼流，每個存取單元由多個編碼畫面構(gòu)成，和(ii)包括指 示所述兩個存取單元是否能夠被無縫連接的標記的另一信息，所述第一存取單元是切換 源，第二存取單元是從編碼流中具有相同播放開始時間和播放結(jié)束時間的存取單元中選擇 的切換目的地；第二確定步驟，用于在由所述標記解復用步驟解復用的標記指示能夠無縫連接所述兩 個存取單元時，確定顯示開始時間處的頂部存取單元的延遲量；禾口顯示步驟，用于基于所述第二確定步驟確定的延遲量，在維持從所述第一存取單元到 第二存取單元的角度或切換角度的同時解碼和顯示所述兩個存取單元，其中緊接在第一存取單元之后被解碼的第二存取單元中首先被解碼的畫面是IDR畫面。
5. —種在記錄介質(zhì)上記錄多路復用數(shù)據(jù)的記錄方法，所述多路復用數(shù)據(jù)是通過將編碼 流與另一信息進行多路復用得到的，所述編碼流包括可隨機存取的存取單元，每個存取單 元由編碼畫面構(gòu)成，所述記錄方法包括確定步驟，用于確定在依次對兩個存取單元進行解碼并維持從第一存取單元到第二存 取單元的角度或切換角度時各存取單元中的延遲量，所述延遲量各指示從按解碼順序?qū)?部畫面解碼時起到按顯示順序顯示頂部畫面時的時延，所述第一存取單元是切換源，第二 存取單元是從編碼流中具有相同播放開始時間和播放結(jié)束時間的存取單元中選擇的切換 目的地；產(chǎn)生步驟，用于通過以獲得所述確定步驟所確定的延遲量的方式對所述兩個存取單元中包括的畫面進行編碼，來產(chǎn)生編碼流；多路復用步驟，用于把所述另一信息與所述產(chǎn)生步驟產(chǎn)生的編碼流多路復用，以及 記錄步驟，用于將在所述多路復用步驟中多路復用所得到的多路復用數(shù)據(jù)記錄在記錄介質(zhì)上，其中所述另一信息包括指示所述兩個存取單元是否能夠被無縫連接的標記，并且所述 標記是基于各存取單元的延遲量是否彼此相等而確定的，并且在所述確定步驟中，確定緊接在第一存取單元之后被解碼的第二存取單元中首先被解 碼的畫面是IDR畫面。
6. —種在記錄介質(zhì)上記錄多路復用數(shù)據(jù)的記錄裝置，所述多路復用數(shù)據(jù)是通過將編碼 流與另一信息進行多路復用得到的，所述編碼流包括可隨機存取的存取單元，每個存取單 元由多個編碼畫面構(gòu)成，所述記錄裝置包括確定單元，用于確定在依次對兩個存取單元進行解碼并維持從第一存取單元到第二存 取單元的角度或切換角度時各存取單元中的延遲量，所述延遲量各指示從按解碼順序?qū)?部畫面解碼時起到按顯示順序顯示頂部畫面時的時延，所述第一存取單元是切換源，第二 存取單元是從編碼流中具有相同播放開始時間和播放結(jié)束時間的存取單元中選擇的切換目的地；產(chǎn)生單元，用于通過以獲得所述確定單元所確定的延遲量的方式對所述兩個存取單元中包括的畫面進行編碼，來產(chǎn)生編碼流；多路復用單元，用于把所述另一信息與所述產(chǎn)生單元產(chǎn)生的編碼流多路復用，以及 記錄單元，用于將由所述多路復用單元多路復用所得到的多路復用數(shù)據(jù)記錄在記錄介質(zhì)上，其中所述另一信息包括指示所述兩個存取單元是否能夠被無縫連接的標記，并且所述 標記是基于各存取單元的延遲量是否彼此相等而確定的，并且其中所述確定單元用于確定緊接在第一存取單元之后被解碼的第二存取單元中首先 被解碼的畫面是IDR畫面。
全文摘要
一種不使觀看運動畫面的用戶感到不舒服的多路復用裝置，運動畫面包括(i)編碼單元(42)，以在對編碼流中包括的所有存取單元中的兩個存取單元按順序解碼的過程中，在兩個預定存取單元的連接處不出現(xiàn)間隙的方式產(chǎn)生一個或多個編碼流；和(ii)多路復用單元(18)，用于把其它信息與所述編碼單元(42)產(chǎn)生的所述編碼流進行多路復用。
文檔編號H04N7/58GK101707702SQ200910150998
公開日2010年5月12日 申請日期2005年6月1日 優(yōu)先權(quán)日2004年6月2日
發(fā)明者岡田智之, 角野真也, 遠間正真 申請人:松下電器產(chǎn)業(yè)株式會社