專利名稱：在多角度觀看多媒體流中多路復用的隨機存取單元之間的無縫切換的制作方法
技術領域：
本發(fā)明涉及一種用于多路復用包括編碼畫面與其它信息的一個或多 個編碼流，以產生多路復用數據的多路復用裝置，和對多路復用數據解復 用的解復用裝置。本發(fā)明特別涉及能夠執(zhí)行諸如多角度播放等之類的特技 播放的多路復用裝置和解復用裝置。
背景技術：
最近，將聲音、畫面以及其它像素值集成到一種媒體中的多媒體時代 己經到來，并且將報紙、雜志、TV、無線電和電話之類的通信工具的現有 信息媒體也看成是多媒體的目標。 一般地講，多媒體是一種不僅將字符， 而且也將圖像、聲音、特別是畫面同時顯現的形式。為了將上述現有信息 媒體作為多媒體來處理，需要數字地顯現信息。
但是，利用上述現有信息媒體直接地數字處理巨量信息時不現實的， 因為在把上述每種信息媒體的數據量計算為數字數據量時，每個字符的數 據量是1至2字節(jié)，而每秒聲音的數據量不小于64千字節(jié)(電話語音質 量)，每秒運動畫面的數據量則不小于100兆字節(jié)(當前TV接收質量)。 例如，由于具有64 kbps至1.5 mbps的傳輸速度的綜合服務數字網(ISDN) 的出現，TV電話已經投入商業(yè)使用，但是，TV攝像機的運動畫面使用 ISDN時，則不能傳輸它們。
這是為什么需要信息壓縮技術的原因。例如，將國際電信同盟-電信標準化部(ITU-T)推薦的H.261或H.263的運動畫面壓縮技術標準用于TV 電話。此外，利用MPEG-1標準的信息壓縮技術，也使得能夠將圖像信息 與聲音信息一同存儲在一張普通音樂CD (光盤)中。
在這里，運動畫面專家組(MPEG)是數字壓縮運動畫面信號的，并 且已經被ISO/IEC (國際標準化組織/國際工程協(xié)會(International Standardization Organization/Internation Engineering Consortium))標準化的 國際標準。MPEG-1是一種將運動畫面信號壓縮到1.5Mbps， g卩，壓縮到 大約百分之一的標準。此外，滿足MPEG-1標準的質量是能夠在大約1.5 Mbps的傳輸率實現的中等水平。因此，將MPEG-2標準化以便滿足更高 畫面質量的需要，并且它將運動畫面信號壓縮到2至15Mbps。當前，標 準化MPEG-1和MPEG-2的工作組(ISO/IEC JTC1/SC29/WG11 )已經將 具有更高壓縮率的MPEG-4標準化。MPEG-4標準(i)取得了比MPEG-1 和MPEG-2更高的壓縮率，(ii)允許在一個對象接一個對象的基礎上編 碼，解碼和執(zhí)行操作，和(iiO實現了多媒體時代中的新的功能要求。 MPEG-4的最初目的是要標準化具有低比特率的畫面的編碼方法，但是， 目標擴展到了具有高比特率的隔行掃描畫面的通用目的的編碼方法。此 后，ISO/IEC和ITU-T共同標準化了作為具有高壓縮率的畫面的下一代畫 面編碼方法的MPEG-4 AVC (高級視頻編碼)。預期用于下一代光盤裝置 或在對移動終端的廣播中使用。
一般地講，在對運動畫面編碼中，通過減少時間和空間冗余來壓縮信 息量。在針對減少時間冗余的畫面間預測編碼中，通過參考在前畫面或隨 后畫面，在一塊接一塊的基礎上執(zhí)行運動評估和預測畫面產生，并且對得 到的預測畫面和要編碼的畫面之間的差值進行編碼。這里使用的"畫面 (Picture)"是代表一個畫面的術語。在逐行畫面中，它代表一幀；在隔行 畫面中，它代表一幀或一場。這里所述的"隔行掃描畫面"表示由具有輕 微時間滯后的兩個場構成的幀。在隔行畫面的編碼和解碼中，可以將一幀 作為一幀來處理，將一幀作為兩個場來處理，或在幀中在逐塊的基礎上將 幀結構來處理或作為場結構來處理。
用于執(zhí)行不參考任何參考畫面的內部預測編碼的畫面叫做內編碼畫面(Intra Coded Picture) (I畫面)。此外，用于執(zhí)行僅參考一個畫面的相 互間預測編碼的畫面叫做預測編碼畫面(Predictive Coded Picture) (P畫
面)。用于執(zhí)行參考兩個參考畫面的相互間預測編碼的畫面叫做Bi-預測編 碼畫面(Bi-predictive Coded Picture) (B畫面)。B畫面可以參考選擇為在 顯示時間上在前和在后畫面的任意組合的兩個畫面。這兩個參考畫面可以 在一塊接一塊基礎上規(guī)定，塊是編碼和解碼的基礎單元。這些參考畫面如 下相互區(qū)分將編碼比特流中較早說明的參考畫面稱為第一參考畫面，而 把以后說明的其它參考畫面稱為第二參考畫面。應當注意，為了編碼或解 碼I畫面、P畫面和B畫面，這些參考畫面必須是已經編碼或解碼的。
運動補償內部預測編碼用于P畫面和B畫面的編碼。運動補償內部預 測編碼是一種應用運動補償的內部預測編碼方法。運動補償是一種通過估 算畫面的每個塊的運動量(以下稱為運動向量)和通過執(zhí)行考慮到運動向 量的預測編碼而提高預測精度和減小數據量的方法。例如，通過估算要編 碼的畫面的運動向量和通過給位移了每個運動向量的量的每個預測值與 要編碼的每個當前畫面之間的每個預測余量編碼，而減小數據量。在使用 這種方法的情況下，由于在解碼中需要運動向量信息，所以也要編碼、記 錄或發(fā)送運動向量。運動向量是在一個宏塊接一個宏塊的基礎上估算的。 更具體地講，運動向量是通過固定要編碼的宏塊、在搜索范圍內移動參考 畫面的宏塊、和發(fā)現最靠近標準塊的參考宏塊的位置而估算的。
圖1A和IB分別是現有MPEG-2流的結構圖。
如圖IB中所示，MPEG-2流具有下面要說明的層級結構。流是由畫 面組(Group of Pictures)(以下稱為GOP)構成的。將GOP用作編碼處 理過程中的基礎單元能夠編輯運動畫面或執(zhí)行隨機存取。GOP是由I畫面、 P畫面、和B畫面構成的。流、GOP、和畫面進一步包括指示單元的邊界 的同步信號(sync)，和指示各單元中共同數據的首部，在這里各單元分別 是流、GOP和畫面。
圖2A和2B分別示出了如何執(zhí)行MPEG-2中使用的畫面間預測編碼 的例子。
圖中帶有斜線的畫面是被其它畫面參考的畫面。如圖2A中所示，在MPEG-2中的預測編碼中，P畫面(P0， P6， P9， P12和P15)可以僅參 考選擇為在顯示時間上緊挨靠前的I畫面或P畫面的單一畫面。B畫面(B1， B2， B4， B5， B7， B8， BIO， Bll， B13， B14， B16， B17， B19禾BB20)
可以參考選擇作為緊挨靠前的I畫面或P畫面和緊挨靠后的I畫面或P畫 面的組合的兩個畫面。此外，要確定畫面在流中放置的順序。多個I畫面 和一個P畫面按照顯示時間的順序放置，而每個B緊挨著要緊接著B畫 面之后顯示的I畫面之后放置，或緊接著一個P畫面之后放置。作為GOP 的結構的例子，如圖2B中所示，從13到B14的畫面被組成一個單一的 GOP。
圖3A至3B分別示出了解碼順序，顯示順序，和在MPEG-2流中使 用的GOP結構的解碼時間和顯示時間之間的發(fā)生的延遲量。
在此，MPEG-2流具有固定的幀頻，并同時解碼和顯示P畫面。在 MPEG-2流中，如圖3A和3B所示，作為從GOP頂部畫面的解碼時間到 頂部畫面的延遲時間的時間滯后的延遲量最大等于一個幀或兩個場。在下 文中將該延遲量稱為幀延遲，并在逐幀的基礎上計算幀延遲的長度(一幀 對應于兩場)。諸如數字多用盤(DVD)之類的光盤裝置采用MPEG-2標 準，其中定義幀延遲被固定為1。應該指出，在例如以60Hz顯示已經以 24Hz編碼的流的下拉(pulling down)時，延遲量是可變的。由于能夠根 據按照幀頻顯示編碼流的情況來確定延遲量，下面描述按照幀頻顯示編碼 流的情況。
圖4是MPEG-4 AVC流的結構圖。在MPEG-4 AVC中，不存在與GOP 等價的概念。但是，由于可以通過在能夠不依賴其它畫面解碼的特定畫面 的單元中將數據分段來構造等價于GOP的隨機存取單元，以下將這種單 元稱為RUA (隨機存取單元(Random Access Unit))。
MPEG-4 AVC中有兩種類型的I畫面。它們是瞬時解碼器刷新(IDR) 畫面和另一種類型。IDR畫面是可以不用參考按解碼順序放置在IDR畫面 之前的畫面，能夠對按解碼順序放置在IDR之后的所有畫面解碼的I畫面。 IDR畫面對應于MPEG-2閉合GOP的最前端I畫面。在I畫面不是IDR 畫面的情況下，按解碼順序位于該I畫面的之后的畫面可以參考按解碼順序位于該I畫面前面的畫面。另外，通過把不是IDR畫面的I畫面放置在 隨機存取單元RAU頂部和限制隨機存取單元RAU中的畫面的預測結構， 能夠形成象MPEG-2中開放GOP的結構。
圖5是MPEG-4 AVC流中畫面的預測結構的一個實例。由于MPEG-4 AVC允許靈活的預測結構，例如，畫面P2可以參考畫面P8。在圖5的例 子中，由于在畫面I8之后開始顯示并且首先對畫面P2解碼，幀延遲變成 2。由于預測結構在這種方式中是靈活的，不象MPEG-2的情況那樣，幀 延遲最大不限于1。這意味著幀延遲可以依據預測結構而改變。因此，不 能以幀延遲固定為1為條件進行播放。
諸如DVD之類的數據包媒體具有特技播放功能，例如(i)播放，即 有選擇地播放相同流的特定部分或能夠連續(xù)播放不同的流，和(ii)多角 度播放，即以不同角度執(zhí)行改變流的播放。使用該功能的基本單元是 MPEG-2中的GOP，和MPEG-4 AVC中的隨機存取單元RAU。
圖6A至6C示出了 MPEG-2中要播放的改變流的實例。圖6A至6C 分別示出了流1， 2，和3中包括的GOP。在此，通過在GOP 1-1后對GOP 2-1解碼使要播放的流從流1改變到流2。由于幀延遲量在GOP 1-1和GOP 2-1 二者中都是1，這樣能夠使其以固定的速率進行播放，而不允許在顯示 時出現間隙。同樣，通過在GOPl-l后對GOP3-l解碼，能夠從流改變到 流3。
按常規(guī)，已經提出了象上述那樣涉及運動畫面編碼，多路復用，解碼， 和解復用的各種技術。(例如，參考日本專利申請公開No.2003-18549)。
圖7是表示用于對運動畫面數據編碼和多路復用的傳統(tǒng)多路復用裝置 的操作的流程圖。
首先，在步驟101和102，多路復用裝置對一個或多個流編碼。接下 來，在步驟103，產生管理信息，然后進行到步驟104。管理信息包括用 于存取在步驟101產生的流的信息，和指示在諸如多角度播放等之類的特 技播放時要播放的數據的信息。此后，在步驟104，將管理信息與流數據 多路復用，以輸出復用的數據。
圖8是表示傳統(tǒng)的多路復用裝置的結構的方框圖。多路復用裝置800包括編碼單元11，存儲器12，管理信息產生單元 13和多路復用單元14。
編碼單元11對輸入的運動畫面數據Vin編碼，并將編碼的數據strln 存儲到存儲器12中。
管理信息產生單元13從存儲器12讀出編碼數據，作為讀出數據 strOutl，產生管理信息庫，和向多路復用單元14輸出該管理信息庫。應 該指出，該管理信息庫不包括與幀延遲有關的信息。
多路復用單元14多路復用下列數據(i)管理信息庫，(ii)已經從存 儲器12讀出的讀出數據strOut2，和(iii)附加信息adlnf，例如，由用戶 設置的、并與流分開獲得的設置信息，然后輸出復用的數據MuxDat。在 此，如果不需要，可以不使用附加信息adlnf。另夕卜，可以采用諸如MPEG-2 傳送流(TS)或程序流(PS)之類的方案，或由應用預定的其它方案對讀 出數據strOut2打包，然后對其多路復用。例如，在藍光盤(BD)標準中， 采用把4字節(jié)首部加到被稱為源數據包(Source Packet)的MPEG-2 TS數 據包的方案多路復用讀出數據strOut2，然后存儲。
圖9A示出了從多路復用裝置800輸出的復用數據的結構實例。
如圖9A所示，管理信息和一個或多個編碼流被存儲在復用數據中。 另外，處理每個流作為一個或多個碼片使其能夠實現各種播放方法，例如 摘要播放和多角度播放。在此， 一個碼片示出一個畫面或一個隨機存取單 元RAU中的畫面序列，或相同流的隨機存取單元RAU的序列。圖9B和 9C示出了播放實例。特別是，圖9B示出了多角度播放的實例。在流l和 流N分別以不同的角度存儲視頻的情況下，能夠通過在流1的碼片1-1之 后通過改變角度來播放流N的碼片N-2，并在碼片N-2播放完后返回流1 的播放。圖9C示出了摘要播放的實例。例如，通過有選擇地播放流l中 的碼片1-1和碼片l-M來播放典型場景。
圖10是表示對復用數據進行解復用，以獲得編碼數據并播放編碼數 據的傳統(tǒng)解復用裝置的操作流程圖。
首先，在步驟S201中，解復用裝置對復用數據解復用以獲得管理信 息，獲得與要播放的一個或多個碼片有關的信息，然后進展到步驟204。與碼片有關的信息包括碼片的開始時間，結束時間，用于在碼片中存取編
碼數據的存取信息等。在步驟204和205，解復用裝置解碼并顯示該碼片 中的畫面，直到該碼片中的最后畫面。在此，在用戶操作發(fā)出指示結束播 放的指令等的情況下，在該指令變?yōu)橛行r結束播放。 圖11是表示傳統(tǒng)解復用裝置的結構的方框圖。
解復用裝置卯0包括管理信息解復用單元21，碼片信息分析單元22， 解碼單元24和顯示26。
管理信息解復用單元21從諸如光盤之類的復用數據記錄介質讀出復 用數據MiixDat，分析管理信息，和根據用戶之類或預定方法確定要播放 的碼片。此后，管理信息解復用單元21向碼片信息分析單元22輸出碼片 信息Clip，作為與確定的碼片有關的信息。
碼片信息分析單元22向解碼單元24輸出用于存取構成碼片的畫面的 存取信息acs。另一方面，解碼單元24根據存取信息acs，從復用數據記 錄介質讀出視頻數據Vdat，對讀出的數據解碼，和把解碼結果decOut輸 出到顯示單元26。顯示單元26按顯示順序顯示解碼結果。
MPEG-4AVC允許靈活的預測結構，碼片的幀延遲因此是可變的。由 于傳統(tǒng)的解復用裝置改變碼片而沒有考慮碼片的幀延遲，在改變具有不同 幀延遲的碼片時在畫面的顯示間隔中出現間隙。
圖12A至12C示出了從具有一個幀延遲的碼片改變到具有兩個幀延 遲的幀的實例。
圖12A示出了具有一個幀延遲的流1的隨機存取單元RAU1-1，圖12B 示出了具有兩個幀延遲的流2的隨機存取單元RAU2-1。在此，圖12C示 出了在RAU1-1之后播放RAU2-1時的解碼和顯示時序。
由于RAU1-1的幀延遲是1，當顯示在RAU1-1的解碼順序中在最后 的畫面P15時，對RAU2-1的頂部畫面P18進行解碼。然而，RAU2-1的 幀延遲是2，在對解碼順序中處在第二的畫面P2解碼時，RAU2-1中的畫 面顯示仍沒有開始。因此，在對P2解碼時沒有顯示畫面。因此，在畫面 P15和畫面B 0之間的顯示間隔中出現間隙。
同樣，在隨機存取單元RAU2-1之后播放隨機存取單元RAU1-1的情況下，在連續(xù)顯示解碼間隔中出現間隙。換句話說，在顯示間隔中出現交 迭。下文中，顯示順序中的間隙是指在連接的幀延遲量增加和降低的兩種 情況下出現連接中斷。
如上所述，由于傳統(tǒng)的解復用裝置不能顯示位于具有不同幀延遲的碼 片被改變的部分的畫面，而保持固定的幀，因此傳統(tǒng)的多路復用和解復用 裝置具有使觀看運動畫面的用戶感覺不舒服的問題。
為了解決上述問題而考慮了本發(fā)明。本發(fā)明的目的是提供一種將編碼流與 其它信息多路復用以產生復用數據的多路復用裝置，和用于對復用數據解 復用以播放編碼流的解復用裝置，以便即使在進行諸如多角度播放之類的 任何特技播放時也不回使用戶感到不舒服。

發(fā)明內容
為了實現上述目的，本發(fā)明的多路復用裝置將一個或多個編碼流與其 它信息復用，所述編碼流包括以可隨機存取的存取單元為單位的編碼畫 面，所述多路復用裝置包括編碼單元，用于產生編碼流，以便在對編碼 流中包括的所有存取單元中的兩個存取單元按順序解碼的過程中，在兩個 預定存取單元的連接中不出現間隙；多路復用單元，用于把其它信息與編 碼單元產生的編碼流進行多路復用。例如，在本發(fā)明的第一方面中，編碼
單元產生編碼流，以使兩個存取單元中的延遲量變得彼此相等，每個延遲 量是從對解碼順序中的頂部畫面解碼時起到顯示顯示順序中的頂部畫面 時的時間滯后。
以使要被進行特技播放的兩個存取單元(例如，碼片)的延遲量(幀 延遲)變得彼此相等的方式產生編碼流。因此，在按順序對這些存取單元 解碼時在這些存儲單元的連接中不出現間隙。換句話說，這些存取單元在 進行特技播放時彼此無縫地連接。這意味著幀頻是不變的。因此，能夠消 除給觀看由這些存取單元構成的運動畫面的用戶造成的不舒服的感覺。在 此，例如，產生編碼流，以便在根據應用程序的操作標準預定延遲量的情 況下，將這兩個存取單元的延遲量調節(jié)到預定的延遲量。
另外，在本發(fā)明的第二方面中，多路復用裝置還包括延遲信息產生單元，用于產生與延遲量有關的延遲信息，在該裝置中，多路復用單元可以 將其它信息與延遲信息產生單元產生的延遲信息進行復用。例如，在本發(fā) 明的第三方面中，延遲信息產生單元產生指示延遲量的延遲信息。作為替 換，在本發(fā)明的第三方面中，延遲信息產生單元產生指示能夠無縫地連接 兩個存取單元的標記，作為延遲信息。
這樣，在延遲信息(幀延遲信息)指示延遲量的情況下，解復用裝置 能夠通過該延遲信息很容易地獲得這兩個存取單元中的延遲量。另外，在 作為延遲信息的標記指示這兩個存取單元的延遲量彼此相等的情況下，解 復用裝置能夠很容易地獲得這兩個存取單元中的延遲量。因此，能夠使解 復用裝置進行更正確的解復用處理。
另外，在本發(fā)明的第二方面中，編碼單元可以以編碼流中包括的所有 存取單元中的兩個存取單元的連接不出現間隙的方式產生編碼流，該連接 是角度可變點。
由于這兩個存取單元具有不同的角度，與前面描述的情況相同，在按 順序對這些存取單元解碼時，這些存取單元的連接中不出現間隙。換句話 說，以無縫多角度的方式連接這些存取單元。這意味著幀頻是不可變的。 因此，能夠消除給觀看由這些存取單元構成的運動畫面的用戶造成的不舒 服的感覺。
另外，為了實現上述目的，本發(fā)明的解復用裝置多路復用數據進行解 復用，所述復用數據包括(i)包括以可隨機存取的存取單元為單位的編 碼畫面的編碼流；和(ii)與所有存取單元中的兩個預定存取單元 中的延 遲量有關的延遲信息，每個延遲量是從對解碼順序中的頂部畫面解碼時起 到顯示顯示順序中的頂部畫面時的時間滯后，所述解復用裝置包括延遲 信息解復用單元，用于對復用數據解復用，以獲得延遲信息；和播放單元， 用于根據在延遲信息解復用單元已經對復用數據解復用時獲得的延遲信 息，來按順序解碼和播放存取單元。
在以對這兩個存取單元(例如，碼片)進行特技播放的延遲量變得彼 此相等的方式產生編碼流的實例情況下，能夠按順序解碼和播放這兩個存 取單元，而不允許在特技播放時不在這兩個存取單元的連接中出現間隙。換句話說，能夠變成無縫地連接這些存取單元。這意味著能夠使幀頻不變。 結果是，能夠消除給觀看由這些存取單元構成的運動畫面的用戶造成的不 舒服的感覺。另外，在由延遲信息(幀延遲信息)指示延遲量的實例情況 下，能夠通過延遲信息很容易地獲得這兩個存取單元的延遲量。此外，在 使用標記指示延遲信息的情況下，能夠很容易地獲得指示這兩個存取單元 的延遲量彼此相等的信息。因此，能夠進行更正確的解復用處理。
另外，為了實現上述目的，在本發(fā)明的多路復用方法中，對運動畫面 編碼，并將編碼的運動畫面與管理信息復用，該多路復用方法包括產生
一個或多個編碼流；獲得編碼流中的幀延遲；產生包括用于指示獲得的幀 延遲的信息的管理信息；和對編碼流與管理信息進行復用。在該多路復用 方法中，編碼流由一個或多個隨機存取單元構成，幀延遲指示分別在這些 隨機存取單元中，從對解碼順序中的頂部畫面解碼時起到顯示顯示順序中 的頂部畫面時的時間段期間分別出現的延遲量，并且編碼流中的幀延遲是 可變的。
另外，管理信息可以包括編碼流的幀延遲。 另外，管理信息可以包括編碼流中幀延遲的最大值。 另外，管理信息可以包括相等幀延遲，作為幀延遲彼此相等時編碼流 中的公共幀延遲。
另外，管理信息可以包括基于這些隨機存取單元構成的播放單元的幀 延遲。
另外，本發(fā)明的解復用方法是對根據多路復用方法復用的數據進行解 復用并播放得到的解復用數據的解復用方法。所述解復用方法包括獲得 要播放的這些隨機存取單元所屬的編碼流的幀延遲；根據獲得的幀延遲確 定播放時的幀延遲；和根據確定的幀延遲播放這些隨機存取單元中包括的 畫面。
另外，在確定幀延遲的過程中，可以以與剛剛作為當前隨機存取單元 被播放的隨機存取單元的幀延遲相等的幀延遲來播放跟在當前隨機存取 單元之后的這些隨機存取單元。
應該指出，本發(fā)明不僅能夠作為上面已經描述的多路復用裝置，解復用裝置，多路復用方法和解復用方法來實現，而且以用于多路復用裝置和 解復用裝置的程序，存儲該程序的記錄介質，和由多路復用裝置產生的復 用數據來實現。
至此，由于即使在特技播放時本發(fā)明也能夠保證以固定的幀頻顯示， 因此能夠消除用戶不舒服的感覺。特別是，本發(fā)明能夠改善數據包介質的 播放質量，因此非常實用。
有關本申請的技術背景的進一步信息
在此引入2004年6月2日提交的包括說明書，附圖和權利要求在內 的日本專利公開No.2004-165030揭示的整體內容作為參考。


從以下結合示出了本發(fā)明的特殊實施方式的附圖的說明中，可以清楚 地了解本發(fā)明的這些和其它目的、優(yōu)點和特征。在附圖中 圖1A和1B是顯示MPEG-2流結構的示意圖。 圖2A和2B是顯示MPEG-2中的GOP結構的示意圖； 圖3A和3B是顯示MPEG-2流中的幀延遲的示意圖； 圖4是顯示MPEG-4 AVC流的結構的示意圖； 圖5是顯示MPEG-4 AVC流中預測結構的一個實例的示意圖； 圖6A至6C是顯示MPEG-4 AVC流中如何改變碼片的實例的示意圖； 圖7是顯示傳統(tǒng)多路復用裝置的操作的流程圖； 圖8是顯示傳統(tǒng)多路復用裝置的結構的方框圖9A至9C是顯示從傳統(tǒng)多路復用裝置輸出的數據的結構實例的示 意圖IO是顯示傳統(tǒng)多路復用裝置的操作的流程圖； 圖11是顯示傳統(tǒng)多路復用裝置的結構的方框圖； 圖12A至12C是顯示播放由傳統(tǒng)多路復用裝置輸出的復用數據時出 現的問題實例的示意圖13是顯示本發(fā)明第一實施方式中的多路復用裝置的操作的流程圖;圖14是顯示本發(fā)明第一實施方式中的多路復用裝置的方框圖15A至15E是顯示由本發(fā)明第一實施方式中的多路復用裝置輸出 的數據結構的實例的示意圖16是顯示本發(fā)明第二實施方式中的多路復用裝置的操作的流程圖17是本發(fā)明第二實施方式中的多路復用裝置的方框圖18是顯示本發(fā)明第三實施方式中的解復用裝置的操作的流程圖19是顯示本發(fā)明第三實施方式中確定播放中的幀延遲時解復用裝 置的操作的流程圖20A至20D是顯示本發(fā)明第三實施方式中確定播放中的幀延遲時 解復用裝置的操作實施例的流程圖21是顯示本發(fā)明第三實施方式中的解復用裝置的方框圖22是顯示HD-DVD的數據層級的示意圖23是顯示HD-DVD的邏輯空間結構的示意圖24是顯示VOB信息文件的結構的示意圖25是時間映射的示意圖26是顯示播放列表文件的結構的示意圖27是顯示對應于播放列表的程序文件的結構的示意圖28是顯示BD盤管理信息文件的結構的示意圖29是顯示用于記錄全局事件處理器的程序文件的結構的示意圖30是顯示HD-DVD播放器的概況結構的方框圖；和
圖31A和31B是顯示記錄用于實現本發(fā)明的多路復用方法和解復用
方法的程序的記錄介質的結構的示意圖；和圖31C是說明記錄和播放靈活
盤上的程序的結構的示意圖。
具體實施例方式
以下參考

本發(fā)明的實施方式。
(第一實施方式)
圖13是顯示本發(fā)明第一實施方式中的多路復用裝置的操作的流程圖。多路復用裝置輸出經多路復用的數據，經復用的數據能夠指示復用數據中 存儲的編碼流的幀延遲信息。
首先，在步驟301中，多路復用裝置產生MPEG-4AVC編碼流。在步 驟302，獲得在步驟301產生的編碼流的幀延遲，并進展到步驟303。在 步驟303中，判斷是否己經產生了多路復用數據中要存儲的所有編碼流， 并重復步驟301和步驟303的過程，直到已經產生了所有編碼流。在步驟 304，產生要作為復用數據的管理信息存儲的幀延遲信息，并進展到步驟 305。在步驟305，除了由傳統(tǒng)多路復用裝置產生的信息之外，還產生用于 指示幀延遲信息的管理信息。最后，在步驟306，將步驟301產生的編碼 流與在步驟305產生的管理信息進行復用，然后輸出復用數據。
圖14是顯示本發(fā)明第一實施方式中的多路復用裝置的結構的方框圖。
多路復用裝置IOOA包括編碼單元15，存儲器12，管理信息產生單元 16，幀延遲獲得單元17和多路復用單元18。
應該指出，本實施方式的多路復用裝置100A的上述組件與圖8所示 的傳統(tǒng)多路復用裝置中的相同組件被賦予了相同的參考標號，并且不再對 這些組件進行描述。
編碼單元15對輸入的運動畫面數據Vin進行編碼，并把得到的編碼 數據strln存儲到存儲器12中。另外，編碼單元15向幀延遲獲得單元17 輸出編碼數據strln的幀延遲frDly。
幀延遲獲得單元17產生要存儲在管理信息中的延遲信息dlylnf作為 幀延遲信息，然后將其輸出到管理信息產生單元16。
管理信息產生單元16根據對從存儲器12讀出的編碼數據strfn和延 遲信息dlylnf的分析結果產生管理信息庫，作為讀出數據strOutl，然后將 其輸出到多路復用單元18。
多路復用單元18對管理信息庫，從存儲器12讀出的讀出數據strOut2 和與編碼數據分開獲得的、作為用戶設置信息的附加信息adlnf，然后輸 出復用數據MuxDat。應該指出，可以將編碼時的幀延遲限制在預定值或 低于預定值，該幀延遲由編碼單元15設置。
圖15A至15E示出了由多路復用裝置IOOA輸出的復用數據的結構實施例。
復用數據示出了如圖15A所示的存儲在復用數據中的碼片的幀延遲
信息。在此，復用數據中存儲碼片數量為N，幀延遲為從延遲1到延遲N。 應該指出，各個碼片可以是指示相同編碼流中的不同區(qū)域的單元，或者可 以是屬于不同編碼流的碼片。
圖15B至15C示出了幀延遲信息的結構。圖15B存儲各個碼片的幀 延遲作為表信息。圖15C示出了碼片的幀延遲的最大值。作為最大值，可 以示出復用數據中存儲的所有碼片的幀延遲中的最大值，或者可以根據播 放列表給出按順序要播放的碼片的幀延遲中的最大值。另夕卜，可以將預定 值表示為最大值。圖15D示出了各個碼片中共同使用的幀延遲的值。在各 個碼片的幀延遲是可變的情況下，可以表示出這些值。另外，在各個碼片 的幀延遲不可變的情況下，可以表示出在播放時使用的幀延遲。圖15E示 出了碼片的幀延遲是否彼此相等。例如，存儲指示這些幀延遲是否彼此相 等的標記信息。應該指出，圖15B至15D示出的信息可以被組合使用。
應該指出，可以表示出只與特定的碼片有關的幀延遲信息。首先，能 夠根據碼片的播放方法，給出與用于多角度播放或摘要播放的碼片有關的 幀延遲信息。另外，能夠根據碼片中頂部隨機存取單元的屬性來設置幀延 遲。例如，在定義在IDR畫面改變角度的情況下，可以給出只與其頂部隨 機存取單元是IDR畫面的碼片有關的幀延遲信息。另外，可以只在保證彼 此無縫地連接碼片的摘要播放的情況下給出幀延遲信息。
另外，可以給出復用數據中存儲的編碼流的幀延遲信息，而不直接給 出各個碼片的幀延遲信息。此時，通過把每個碼片所屬的編碼流與指示編 碼流的幀延遲的信息相關聯(lián)，能夠給出各個碼片的幀延遲?？梢栽谙旅娴?兩種情況下使用該方法(i)相同編碼流中的各個碼片的幀延遲不可變的 情況下，和(ii)給出相同編碼流中包括的碼片的幀延遲的最大值的情況 下。
在使用諸如藍光盤(BD)或高清晰(HD) -DVD之類的應用標準的 情況下，這些標準定義幀延遲應該彼此相等，或定義幀延遲間的最大值或 預定值，由于該應用標準給出了與幀延遲有關的信息，應該指出，不能存儲幀延遲作為管理信息。
另外，在利用諸如TS或實時傳輸協(xié)議(RTP)之類的協(xié)議經網絡接
收復用數據的情況下，可以獲得幀延遲信息作為播放控制信息。例如，在
向播放終端通知播放控制信息時使用刻錄段落(session)描述協(xié)議(SDP) 的情況下，能夠描述SDP中的幀延遲信息。另夕卜，通過指示諸如同步多媒 體綜合語言(SMIL)之類的場景描述語言中的幀延遲信息，可以向播放 終端通知幀延遲。
另外，可以在一個隨機存取接隨機存取的基礎上指示幀延遲信息。另 外，可以通過例如將其加到隨機存取單元RAU中的頂部畫面來在編碼流 中指示幀延遲信息。
這樣，通過由多路復用裝置輸出的復用數據中的管理信息來指示幀延 遲信息。因此，在播放復用數據時調節(jié)幀延遲使其能夠播放編碼流，而不 允許在改變碼片時在顯示中出現間隙。
(第二實施方式)
圖16是顯示本發(fā)明第二實施方式中的多路復用裝置的操作的流程圖。 首先，在步驟401，多路復用裝置設置存儲在復用數據中的編碼流共 同使用的幀延遲的值。在步驟402，根據已經在步驟401設置的幀延遲來 產生MPEG-4AVC編碼流。在步驟403，判斷是否已經產生了多路復用數 據中要存儲的所有編碼流，并重復步驟402的過程，直到對所有編碼流進 行了編碼。在步驟404，產生要作為復用數據的管理信息存儲的幀延遲信 息，并進展到步驟405。在步驟405，除了由傳統(tǒng)多路復用裝置產生的信 息之外，還產生用于指示幀延遲信息的管理信息。最后，在步驟406，將 步驟401產生的編碼流與在步驟405產生的管理信息進行復用，然后輸出 得到的復用數據
圖17是顯示本發(fā)明第二實施方式中的多路復用裝置的結構的方框圖。 多路復用裝置100B包括幀延遲確定單元41，編碼單元42，存儲器 12，管理信息產生單元16，和多路復用單元18。
應該指出，本實施方式的多路復用裝置100B的上述組件與圖8所示的傳統(tǒng)多路復用裝置中的相同組件被賦予了相同的參考標號，并且不再對 這些組件進行描述。
幀延遲確定單元41確定編碼流的幀延遲，并向編碼單元42和管理信 息產生單元16輸出延遲信息dlylnf。在此確定的幀延遲可以是應用標準預 定的值，或者可以針對多路復用裝置設置，或由用戶設置。編碼單元42 根據延遲信息dlylnf指示的幀延遲來對輸入的運動畫面數據Viii進行編 碼，然后把編碼的數據strln存儲到存儲器12中。換句話說，編碼單元42 以使隨機存取單元的單元中的幀延遲彼此相等的方式產生一個或多個編 碼數據strln，以致在按順序對作為一個或多個編碼數據strln中包括的存 取單元(其編碼數據或碼片)的兩個特定的存取單元解碼時，使這些存取 單元的連接中不出現間隙。應該指出，防止在解碼時這些存取單元的連接 中出現間隙是指防止畫面的顯示間隔中出現間隙，防止畫面的解碼間隔中 出現交迭。
管理信息產生單元16根據對從存儲器12讀出的編碼數據strOutl和 延遲信息dlylnf的分析結果來產生管理信息庫，作為讀出數據strOutl和 延遲信息dlylnf，然后將管理信息庫輸出到多路復用單元18。
多路復用單元18復用(i)管理庫，(ii)己經從存儲器12讀出的讀 出數據strOut2，和(iii)諸如由用戶設置信息之類從編碼數據分開獲得的 附加信息adlnf，然后輸出得到的復用數據MuxDat。
應該指出，在由應用標準等預先定義幀延遲的情況下，多路復用裝置 100B可以具有不包括幀延遲確定單元41的結構，可以代替的是，編碼單 元42根據固定的幀延遲來執(zhí)行編碼處理。在幀延遲在編碼流中不變的條 件下，能夠在管理信息中不包括幀延遲信息的情況下確定播放時的幀延 遲。因此，不需要在管理信息總是指示幀延遲信息。
由于由多路復用裝置以這種方式輸出復用數據的情況下復用數據中 要存儲在的編碼流中的幀延遲是不可變的，因此各個碼片的幀延遲也是不 可變的。因此，即使在改變碼片的情況下，也能夠在開始播放時在顯示中 無縫地播放編碼流，而不需要調節(jié)幀延遲。
應該指出，在上述實施方式中，可以采用除MPEG-4AVC外的編碼方案，只要其定義幀延遲是可變的。
另外，可以在無縫連接或無縫多角度播放中按順序播放的這些隨機存 取單元(編碼流或碼片)的幀延遲不可變。在此，無縫連接是指無縫地連 接相同流或不同流中包括的碼片。另外，無縫多角度播放是指連接編碼流 中包括的、其角度彼此不同的碼片，并且改變這些角度。例如，可以在從
開始時間到第30秒的時間段期間采用一種角度，并在從第30秒到第60 秒的時間段期間選擇多個角度來進行播放。此時，表示不同角度的每個碼 片具有相同的幀延遲。另外，可以使每個角度的幀延遲不變，而與其是否 能夠無縫地進行多角度播放無關。這是由于，在多角度播放時幀延遲以角 度為單位改變的情況下，再現質量是可改變的。應該指出，可以對編碼流 進行這種無縫連接或無縫多角度播放。
應該指出，可以要求無縫連接或多角度播放中使用的每個存取單元滿
足下列條件能夠不參考比第一存取單元早解碼的第二存取單元中的畫面
來對第一存取單元中的任意畫面解碼。象這樣的存取單元對應于MPEG-2 中的封閉GOP，或MPEG-4 AVC中以IDR畫面開始的隨機存取單元RAU。 因此，可以使能夠參考相同存取單元內的畫面對其組成畫面解碼的存取單 元中的幀延遲不可變。
另外，在使上面描述的無縫連接等中按順序播放的這些存取單元的幀 延遲不可變的情況下，多路復用裝置預先判斷是否應該對應該產生的這些 存取單元進行無縫連接或無縫多角度播放。此后，在多路復用裝置判斷這 些存取單元應該是目標的情況下，以使目標隨機存取單元的幀延遲彼此相 等的方式進行編碼，以產生編碼流。例如，在對兩個編碼流進行無縫連接 等的情況下，產生向后編碼流，以使向后編碼流的幀延遲與向前編碼流的 幀延遲相等。
另外，管理信息庫中包括的幀延遲信息可以指示針對諸如無縫連接之 類的特定存取單元(編碼流或碼片)的幀延遲是共同。另外，也可以是指 示存取單元可以變成無縫連接的目標，多角度播放等的標記。這樣的標記 被存儲在播放列表，時間映射等中，作為指示連接屬性的信息。(第三實施方式)
圖18是表示本發(fā)明第三實施方式中的解復用裝置的操作的流程圖。 解復用裝置輸入和播放由第一和第二實施方式中的多路復用裝置產生的 多路復用數據。
首先，在步驟501，解復用裝置對復用數據解復用，以獲得管理信息，
并獲得與要播放的碼片有關的信息。根據由來自用戶的指令，或管理信息 中的播放列表等預定的播放順序來確定要播放的碼片。
接下來，在步驟502，獲得在步驟501被確定為要播放碼片的碼片幀 延遲信息，并進展到步驟503。在步驟503，根據在步驟502獲得的幀延 遲信息確定在播放碼片時的幀延遲。
在步驟504和步驟505，解碼并顯示碼片中的畫面，直到碼片中最后 的畫面。在此，在通過用戶操作指令播放結束的情況下，在該指令變?yōu)橛?效時結束播放。應該指出，在步驟501至步驟503中，只在改變屬于不同 編碼流的碼片時可以確定幀延遲。
圖19是顯示圖18的步驟503中的播放期間確定幀延遲時的操作的流 程圖。
首先，在步驟601，解復用裝置判斷包括在解復用數據中的編碼流的 幀延遲是否不可變。在幀延遲不可變的情況下，流程進展到步驟603。相 反，在幀延遲可變的情況下，流程進展到步驟602。
在步驟603，確定播放具有共同幀延遲的復用數據中的編碼流。在步 驟602，判斷按順序要播放的碼片的幀延遲是否不可變。在幀延遲不可變 的情況下，流程進展到步驟604。相反，在幀延遲可變的情況下，流程進 展到步驟605。在步驟604，確定根據播放中頂部碼片的幀延遲來播放編 碼流。在步驟605，確定調節(jié)播放中的幀延遲。下面描述可用于在播放中 調節(jié)幀延遲的方法。
1. 調節(jié)要播放碼片的幀延遲中的最大幀延遲。
2. 剛剛播放的碼片的幀延遲。
3. 使用預定的幀延遲。
在能夠確定要播放的碼片的情況下，第一種方法特別有效。在由用戶指令動態(tài)改變要播放的碼片的情況下，第二種方法特別有效。另外，在能 夠從復用數據的管理信息，或編碼流中的信息，或由應用標準獲得幀延遲 的最大值的情況下，第三種方法有效。另外，可以使用為該裝置預定的幀 延遲。
圖20C和20D分別示出了第一和第二種方法的實施例。圖20C示出 了在具有一幀延遲的碼片1之后播放具有兩幀延遲的碼片2的實施例。在 此，播放碼片1時的幀延遲是2。圖20D示出了正在播放具有兩幀延遲的 碼片2時由用戶指令改變到具有一幀延遲的碼片1的實施例。此時，碼片 1的幀延遲最初是1，根據碼片2的幀延遲，在碼片1的幀延遲是2的前 提下對其進行播放。以這種方式確定幀延遲，使得能夠在播放編碼流時在 碼片1和碼片2之間進行改變的位置的顯示間隔中不出現間隙。
應該指出，可能存在復用數據中的編碼流的幀延遲彼此相等時，解復 用數據中沒有給出幀延遲信息的情況，如第二實施方式中所示。在象這樣 播放復用數據的情況下不需要步驟502中的過程。另外，優(yōu)選的是，在步 驟503中開始顯示時確定幀延遲的情況下，調節(jié)播放中頂部碼片的幀延遲。
另外，在由應用標準等定義幀延遲的最大值的情況下，解復用裝置可 以一直根據預定義的最大值來播放復用數據。
圖21是顯示第三實施方式的解復用裝置的結構的方框圖。
解復用裝置200包括管理信息解復用單元51 ，碼片信息分析單元52， 幀延遲確定單元53，解碼單元54，和顯示單元55。
管理信息解復用單元51從諸如光盤之類的復用數據記錄介質讀出復 用數據MuxDat，分析管理信息，并根據用戶指令或預定方法來確定要播 放的碼片。此后，管理信息解復用單元51向碼片信息分析單元52輸出碼 片信息Clip，作為與確定的碼片有關的信息。
碼片信息分析單元52向解碼單元24輸出用于存奴組成碼片的畫面的 存取信息acs。另外，碼片信息分析單元52獲得要播放的碼片的延遲信息 dly，并將延遲信息dly輸出到幀延遲確定單元53。
解碼單元24根據存取信息acs，從復用數據記錄介質讀出視頻數據 Vdat,對視頻數據Vdat解碼，然后向顯示單元54輸出解碼結果decOut。幀延遲確定單元53確定播放時的幀延遲，并向顯示單元54輸出延遲T。
顯示單元54根據延遲T來顯示畫面。應該指出，可能存在如第二實 施方式所示，在復用數據中的編碼流的幀延遲彼此相等的情況下，復用數 據中沒有給出幀延遲信息的情況。在象這樣播放復用數據的情況下，解復 用裝置可以具有不包括幀延遲確定單元53的結構。
另外，在對這些存取單元進行無縫連接或多角度播放時，雖然在播放 列表等中給出的連續(xù)播放單元的幀延遲是不可變的，在不保證無縫連接的 情況下，在連接處的幀延遲是可變的。在復用數據的管理信息不包括指示 此時的幀延遲的信息的情況下，可以在解碼單元24中獲得存取單元的幀 延遲，可以把獲得的幀延遲輸入到幀延遲確定單元53。在此，在幀延遲不 可變的播放區(qū)中，根據播放順序中頂部的存取單元的幀延遲來確定該幀延 遲。相反，在幀延遲可變的播放區(qū)中，幀延遲確定單元調節(jié)播放時的幀延 遲。應該指出，在上述任何情況中，可以應用與應用標準等中確定的幀延 遲的最大值相同的幀延遲。
(第四實施方式)
諸如多角度播放摘要播放之類的功能對用于播放包媒體的光盤裝置 特別重要。在這里，要說明將上述第一和第二實施方式中的多路復用裝置 輸出的復用數據記錄到作為下一代光盤的藍光盤(BD)中的例子。
首先，說明BD-ROM的記錄格式。
圖22是指示BD-ROM的結構，特別是作為盤介質的BD盤104的結 構，和存儲在盤中的數據的示意圖。存儲在BD盤104中的數據包括AV 數據103，諸如有關AV數據和AV播放順序的管理信息之類的BD管理信 息102，和實現互動性的BD播放程序101。在這里，為了方便，將BD盤 的說明集中于用于播放電影的音頻和視頻內容的AV應用，但是可以對另 一種應用進行同樣的說明。
圖23是顯示存儲在上述BD盤中的邏輯數據的目錄文件的結構示意 圖。例如，如同DVD、 CD等一樣，BD盤具有從其內周到其外周的記錄區(qū)，并具有在內周的讀入和外周的讀出之間的、用于存儲邏輯數據的邏輯
地址空間。此外，在讀入內側，具有叫作脈沖分割區(qū)(Burst Cutting Area) (BCA)的，只能由驅動器讀出的專用區(qū)。由于這個區(qū)不能從應用讀出， 所以可以將它用于，例如，版權保護技術。
文件系統(tǒng)信息(巻)存儲在邏輯地址空間的最前端，并且視頻數據之 類的應用數據也存儲在這里。如背景技術中所述，文件系統(tǒng)是例如UDF 或ISO9660,它允許如同正常PC的情況一樣讀出利用目錄結構或文件結 構存儲的邏輯數據。
在該實施方式中，作為BD盤上的目錄結構和文件結構，BDVIDEO 目錄緊接著路徑目錄(ROOT (根目錄))之下放置。這個目錄是存儲諸如 AV內容或在BD中處理的管理信息(圖22中說明的101， 102和103)之 類的數據的目錄。
在BDVIDEO目錄之下，記錄著以下七個文件。
(i) BD.INFO (文件名是固定的)，這是一條"BD管理信息"，并且 是存儲有關整個BD盤的信息的文件。BD播放器首先讀出這個文件。
(ii) BD,PROG (文件名是固定的)，這是"BD播放程序"之一，并 且是存儲有關整個BD盤的播放控制信息的文件。
(iii) XXX.PL ("XXX"是可變的，而擴展名"PL"是固定的)，這 是一條"BD管理信息"，并且是存儲作為腳本(播放序列)的播放列表信 息的文件。每個播放列表具有一個文件。
(iv) XXX.PROG ("XXX"是可變的，而擴展名"PROG"是固定的)， 這是"BD播放程序"之一，并且是存儲根據播放列表準備的播放控制信 息的文件。對應播放列表是根據文件體名(根據"XXX"的匹配)識別的。
(v) YYY.VOB ("YYY"是可變的，而擴展名"VOB"是固定的)， 這是"AV數據"之一，并且是存儲VOB (與背景技術中說明的VOB相 同)的文件。每個VOB具有一個文件。
(vi) YYY.VOBI ("YYY"是可變的，而擴展名"VOBI"是固定的)， 這是一條"BD管理信息"，并且是存儲有關作為AV數據的VOB的流管 理信息的文件。對應播放列表是根據文件體名(根據"YYY"的匹配)識別的。
(vii) ZZZ.PNG ("ZZZ"是可變的，而擴展名"PNG"是固定的)， 這是"AV"數據之一，并且是存儲用于構成副標題和菜單的圖像數據PNG (這是由V3C標準化的畫面格式，念作"ping")的文件。每個PNG圖像 具有一個文件。
以下參考圖24至圖29說明BD導航數據的結構(BD管理信息)。 圖24是顯示VOB管理信息文件("YYY.VOBI")的內部結構的示意圖。
VOB管理信息具有VOB的流屬性信息(Attribute)和時間映射表 (TMAP)。流屬性具有視頻屬性(Video)和音頻屬性(Audio糾至 Audio#m)。更具體地講，在音頻流的情況下，由于VOB同時具有多個音 頻流，所以通過音頻流的號碼(Number)來指示數據字段的存在或不存在。
下面是分別存儲在字段中的視頻屬性(Video),和對應字段可能具有 的值。
(i) 壓縮格式(Coding): MPEG-1; MPEG-2; MPEG-4;和MPEG-4AVC
(高級視頻編碼)。
(ii) 分辨率(Reslution): 1920x1080; 1440x1080; 1280x720; 720x480; 和720x565。
(iii) 寬高比(Aspect): 4比3;和16比9。
(iv) 幀速率(Framerate): 60; 59.94(60/1.001 ); 50; 30; 29.97(30/1.001); 25; 24;和23.976 (24/1.001)。
以下是分別存儲在字段中的音頻屬性(Audio),和相應字段可能具有 的值。
(i) 壓縮格式(Coding): AC3; MPEG-1; MPEG-2;禾口 LPCM。
(ii) 聲道號(Ch): 1至8。
(iii) 語言屬性(Language):
時間映射表(TMAP)是用于存儲基于VOBU的信息的表，并且具有 VOB具有的VOBU數量和相應的VOBU信息條(VOBU#l至VOBU#n)。 各VOBU信息條包括作為VOBU的最前端TS數據分組的地址(I畫面的開始地址)的I一start，和直到I畫面的結束地址的偏離地址(I一end)，禾口 I 畫面的播放開始時間(PTS)。
圖25是顯示VOBU詳細情況的示意圖。
眾所周知，由于可以對MPEG視頻流執(zhí)行可變比特率壓縮以便高質量 地記錄視頻流，所以播放時間與數據大小之間沒有正比性。另一方面，由 于在作為音頻壓縮標準的AC3中執(zhí)行固定比特率壓縮，所以可以從初等 表達式獲得時間與地址之間的關系。但是，在MPEG視頻數據的情況下， 每個幀具有固定的顯示時間，例如，在NTSC情況下， 一個幀具有1/29.97
秒的顯示時間，但是根據圖像特征，或壓縮中使用的畫面類型，例如，I 畫面、P畫面、或B畫面，壓縮每個幀之后的數據大小極大地改變。因此， 在MPEG視頻流的情況下，不能利用初等表達式表示時間與地址之間的關 系。
如所預期的，在多路復用MPEG視頻數據的MPEG系統(tǒng)流中，艮口， 在VOB中，不能利用初等表達式表示時間與數據大小之間的關系。因此， 在VOB中用時間映射表(TMAP)將時間與地址聯(lián)系在一起。
以這種方式，在給出了時間信息的情況下，首先搜索時間所屬的 VOBU (按順序跟隨VOBU的PTS)，使緊挨著該時間之前的PTS跳入 TMAP具有的VOBU (由I—start指定的地址)，從該VOBU的最前端I畫
面開始解碼，并且從對應于該時間的畫面開始顯示。
接下來，參考圖26說明播放列表信息("XXX.PL")的內部結構。 播放列表信息包括單元列表(CellList)和事件列表(EventList)。 單元列表(CdlList)是播放列表中的播放單元序列，并且各單元以這
個列表中指示的規(guī)定順序播放。單元列表(CellList)的內容是單元號 (Number)和每個單元的信息(Cell#l至Cell#n)。
單元信息(Ce服)具有VOB文件名(VOBName)，該VOB中的開
始時間(In)和結束時間(Out),和副標題(SubtitleTable)。在每個VOB
中將開始時間(In)和結束時間(Out)表示為幀號。利用上述時間映射表 (TMAP)可以獲得播放所需的VOB數據的地址。
副標題表(SubtitleTable)是存儲與VOB同步播放的副標題信息的表。如同音頻的情況一樣，多種語言包括在副標題中。副標題表(SubtitleTable) 的第一信息包括語言號(Number)和隨后根據語言準備的表(Language^ 至Language#k)。
每個語言表(Language^)包括語言信息(Lang)，要獨立顯示的副標 題的副標題信息條的號(Number),和要獨立顯示的副標題的副標題信息 (Speech#l至Speech#j)。副標題信息(Speech#)包括圖像數據文件名 (Name),副標題顯示開始時間(In),副標題顯示結束時間(Out),和副 標題顯示位置(Position)。
事件列表(EventList)是定義播放列表中發(fā)生的每個事件的表。事件 列表包括事件號(Number)和各個事件(Event#l至Even橫m)。每個事件 (Event#)包括事件類型(Type),事件ID (ID),事件發(fā)生時間(Time), 和事件持續(xù)時間(Duration)。
圖27是具有根據播放列表準備的事件處理程序(這是用于菜單選擇 的時間事件和用戶事件)的事件處理程序表("XXX.PROG")。
事件處理程序表包括定義的事件處理程序/程序號(Number),和相應 的事件處理程序/程序(Program弁l至Program#n)。每個事件處理程序/程 序(Program#)的內容是事件處理程序的開始的定義(<event—handler>tag) 和與早先說明的事件ID組成對的事件處理程序ID (ID),緊接著它的是 在跟隨在函數(Function)后面的"{ }"中說明的程序。存儲在早先說明 的"XXX.PL"的事件列表(EventList)中的事件(Event# 1至Even快m) 是利用"XXX.PROG"的事件處理程序的ID (ID)指定的。
接下來，參考圖28說明有關整個BD盤的信息("BD.INFO")的內 部結構。
有關整個BD盤的信息包括標題列表(TWeList)和全局事件的事件 表(EventList)。
標題列表(TitleList)包括盤的標題號(Number)和跟隨在標題號后 面的多條標題信息(Title#l至Title^)。各條標題信息(Title#)包括被包 括在標題中的播放序列表(PLTable)，和標題中的章列表(ChapterList)。 播放序列表(PLTable)包括標題中的播放列表的號(Number),和作為播放列表的文件名的播放列表名(Name)。章列表(ChapterList)包括被包括在標題中的章號(Number)和多條 章信息(Chapter#l至ChapteWn)。每條章信息(Chapter#)包括被包括在 該章中的單元表(CellTable)，單元表(CellTable)包括單元號(Number) 和多條單元項信息(CellEntry#l至CellEntry#k)。單元項信息(CellEntry#) 包括播放列表名，播放列表名包括該播放列表中的單元和單元號。事件列表(EvenList)包括全局事件號(Number)和多條全局事件。 應當注意，首先定義的全局事件叫做第一事件(FirstEvent)，并且是BD 插入播放器后首先調用的事件。全局事件的事件信息僅有一個事件類型 (Type)和一個事件ID (ID)。圖29是全局事件處理程序的程序的表("BD.PROG")。該表的內容與 圖27中說明的事件處理程序表的內容相同。在第一和第二實施方式中的多路復用裝置的復用輸出數據使用象上 述這樣的BD-ROM的情況下，VOBU由一個或多個隨機存取單元RAU組 成，在播放列表中規(guī)定了碼片的播放順序。在此，可以由BD管理信息給 出幀顯示信息。例如，可以把幀延遲信息存儲在播放列表的播放條目中， 或指示諸如EP映射之類的地址信息的表中。幀延遲信息也可以存儲在指 示編碼流的屬性信息的表中。另外，在指示(i)在存儲在復用數據中的編 碼流的幀延遲的最大值，(ii)在所有編碼流等間共同的幀延遲的情況下， 可以指示幀延遲作為比與各個編碼流有關的信息高的信息。應該指出，可以根據與播放列表或預定順序不同的信息來確定碼片的 播放順序。應該指出，可以將諸如EP映射之類的存取信息存儲在表中作為二進 制數據，或呈可以是XML (可擴展標記語言)等的文本數據的形式。(第五實施方式)圖30是大致示出播放與第五實施方式有關的BD盤的播放器的功能 結構的方框圖。通過光拾取頭202讀出BD盤201上的數據。根據相應數據的類型，將讀出的數據發(fā)送到專用存儲器。將BD播放程序("BD.PROG"或 "XXX.PROG"的內容)發(fā)送到程序存儲器203。另外，把BD管理信息 ("BD.INFO"， "XXX.PL"或"YYY.VOBI")發(fā)送到管理信息存儲器204。 還將AV數據("YYYVOB"或"ZZZ.PNG")發(fā)送到AV存儲器205。程序處理單元206處理記錄在程序存儲器203中的BD播放程序。另 外，管理信息處理單元207處理記錄在管理信息存儲器204中的BD管理 信息。顯現處理單元208處理記錄在AV存儲器205中的AV數據。程序處理單元206接收管理信息處理單元207要播放的播放列表的信 息，和諸如程序的執(zhí)行定時之類的事件信息，并執(zhí)行程序的處理。另外， 可以動態(tài)地改變程序要播放的播放列表。這可以通過將播放列表的播放指 令發(fā)送到管理信息處理單元207來實現。程序處理單元206接收來自用戶 的事件，也就是說，通過遙控器接收請求，并且在具有對應于用戶事件的 程序的情況下，執(zhí)行該程序。管理信息處理單元207接收來自程序處理單元206的指令，分析播放 列表和對應于播放列表的VOB的管理信息，并指令顯現處理單元208播 放目標AV數據。管理信息處理單元207還接收來自顯現處理單元208的 標準時間信息，根據時間信息指令顯現處理單元208停止播放AV數據。 此外，管理信息處理單元207產生一個事件，以把程序執(zhí)行定時通知給程 序處理單元206。顯現處理單元208具有能夠分別處理視頻、音頻、副標題/圖像(靜止 畫面)的解碼器。它根據來自管理信息處理單元207的指令，解碼和輸出 AV數據。在視頻數據，和副標題/圖像的情況下，將它們解碼，然后提供 到對應的專用平面上，即，視頻平面210和圖像平面209上。此后，合成 處理單元211對視頻執(zhí)行合成處理，和將視頻輸出到TV之類的顯示裝置。在多角度播放或摘要播放時，顯現處理單元208翻譯用戶請求的多角 度播放或摘要播放的操作，并將與角度可變點等有關的信息通知給管理信 息處理單元207。管理信息處理單元207根據要播放的碼片的幀延遲信息 來確定播放時的幀延遲，并將該幀延遲通知給顯現處理單元208?？梢詫⒅T如EP映射之類的存取信息存儲在表中作為二進制數據，或呈可以是XML (可擴展標記語言)等的文本數據的形式。(第六實施方式)另外，通過把用于實現上述實施方式中給出的復用方法和解復用方法 的程序記錄到諸如軟盤之類的記錄介質上，能夠很容易地在獨立的計算機 系統(tǒng)中執(zhí)行各個實施方式中給出的處理。圖31C示出了計算機系統(tǒng)如何使用諸如軟盤之類的記錄介質中記錄 的程序來執(zhí)行本實施方式中的運動畫面編碼方法和運動畫面解碼方法。圖31A示出了作為記錄介質的軟盤的物理格式的例子。圖31B示出 了軟盤以及該軟盤外觀的正示意圖和橫截面圖。軟盤(FD)容納在外殼F 中，從盤的外周到內周在盤的表面上同心地形成有多個軌道(Tr)，并且 每個軌道在角度方向上被分割成16個扇區(qū)(Se)。因此，在軟盤存儲上述 程序的情況下，程序被存儲在軟盤(FD)上分配給它的區(qū)中。此外，圖31C示出了記錄和播放軟盤上的程序的結構。在把用于實現 多路復用方法和解復用方法的上述程序記錄在軟盤FD上的情況下，計算 機系統(tǒng)Cs通過軟盤驅動器將程序寫在軟盤上。在利用軟盤中的程序構造 上述用于實現多路復用方法和解復用方法的多路復用裝置和解復用裝置 的情況下，通過軟盤驅動器從軟盤讀出程序，并將它發(fā)送到計算機系統(tǒng)。應當注意，上述說明是利用軟盤作為記錄介質進行的，但是，程序可 以記錄在光盤上。此外，記錄介質不限于此，也可以使用諸如IC卡，ROM 盒之類的另外的記錄介質，只要它能夠記錄程序。至此，根據上述各種實施方式說明了與本發(fā)明有關的多路復用裝置， 解復用裝置，BD盤播放器等，但是本發(fā)明不限于這些實施方式。本發(fā)明 包括熟悉本領域的人員根據這些實施方式可以想到的各種改變，并且這些 改變在本發(fā)明的技術主題的范圍內。例如，本發(fā)明包括以下裝置(i)光盤記錄裝置，該光盤記錄裝置包 括本實施方式中的多路復用裝置，運動畫面發(fā)送裝置；數字電視廣播裝置; Web服務器；通信裝置，移動信息終端等；和(ii)運動畫面接收裝置， 該運動畫面接收裝置包括本實施方式中的解復用裝置；數字電視廣播接收裝置；通信裝置；移動信息終端，等等。應當注意，(圖14、圖17、和圖21等)的方框圖的各功能塊一般以 作為集成電路的大規(guī)模集成電路的LSI來實現。每個功能塊可以制成為芯 片。另外，可以將一個， 一些，或全部功能塊集成到一個芯片中(例如， 可以將除了存儲器之外的功能塊制造成一個芯片)。在這里，將電路稱為LSI，但是，根據集成度，可以稱之為集成電路 (IC)、系統(tǒng)LSI、超LSI、或超大LSI。此外，制造成集成電路的方法不限于此，也可以通過專用電路或通用 處理器來實現。此外，在制造LSI或能夠重新配置LSI中的電路單元的連 接或設置的可重配置處理器之后，可以使用可編程的可現場編程門陣列 (FPGA)。此外，在半導體技術進一步發(fā)展或出現了任何派生技術，導致可以考 慮替代LSI的集成電路制造方法時，自然可以用這種技術集成這些功能塊。 生物技術的應用是有可能的。此外，在各功能塊中，可以獨立地配置存儲要編碼或記錄的數據的裝 置，而不是集成在一個芯片中。盡管以上僅詳細說明了本發(fā)明的示例實施方式，熟悉本領域的人員應 當知道，可以對示例實施方式進行多種修改而不脫離本發(fā)明的新的教導和 優(yōu)點。因此，所有這些修改包括在本發(fā)明的范圍內。工業(yè)實用性本發(fā)明的多路復用方法和解復用方法可以應用于具有諸如多角度播 放和摘要播放之類的特技播放功能的一般裝置，因此它們在多路MPEG-4 AVC編碼流的包媒體的播放中特別有效。
權利要求
1.一種多路復用裝置，用于將一個或多個編碼流與另一信息多路復用，所述一個或多個編碼流包括可隨機存取的存取單元，每個存取單元由多個編碼畫面構成，所述多路復用裝置包括編碼單元，用于以在依次對兩個存取單元解碼時，通過使各個存取單元中的延遲量相等，使得在兩個存取單元的連接處顯示的畫面之間不出現間隙或交迭的方式產生所述一個或多個編碼流，所述兩個存取單元是從所述一個或多個編碼流中包括的存取單元中任意選擇的，所述延遲量各指示從按解碼順序對頂部畫面解碼時起到按顯示順序顯示頂部畫面時的時延；和多路復用單元，用于把所述另一信息與所述一個或多個編碼流多路復用，所述另一信息包括指示所述兩個存取單元是否能夠被無縫連接的標記，所述一個或多個編碼流是由所述編碼單元產生的，其中所述編碼單元用于確定緊接在第一存取單元之后被解碼的第二存取單元中首先被解碼的畫面是IDR畫面。
2. —種多路復用方法，用于將一個或多個編碼流與另一信息多路復用， 所述一個或多個編碼流包括可隨機存取的存取單元，每個存取單元由多個編碼畫面構成，所述多路復用方法包括編碼步驟，用于以在依次對兩個存取單元解碼時，通過使各個存取單 元中的延遲量相等，使得在兩個存取單元的連接處顯示的畫面之間不出現 間隙或交迭的方式產生所述編碼流，所述兩個存取單元是從所述一個或多 個編碼流中包括的存取單元中任意選擇的，所述延遲量各指示從按解碼順序對頂部畫面解碼時起到按顯示順序顯示頂部畫面時的時延；和多路復用步驟，用于把所述另一信息與所述一個或多個編碼流多路復用，所述另一信息包括指示所述兩個存取單元是否能夠被無縫連接的標記，所述一個或多個編碼流是在所述編碼步驟中產生的，其中在所述編碼步驟中，確定緊接在第一存取單元之后被解碼的第二存取單元中首先被解碼的畫面是IDR畫面。
3. —種解復用裝置，對多路復用數據進行解復用，所述解復用裝置包括標記解復用單元，用于從多路復用數據解復用出標記，所述多路復用 數據包括具有可隨機存取的存取單元的一個或多個編碼流，每個存取 單元由多個編碼畫面構成；和另一信息，所述另一信息包括指示在依次對存取單元中的任 意兩個存取單元解碼時，是否能夠無縫連接所述兩個存取單元的 標記；確定單元，用于在由所述標記解復用單元解復用的標記指示能夠無縫 連接所述兩個存取單元時，確定根據解碼延遲播放所述兩個存取單元，所 述解碼延遲指示首先被播放的存取單元中首先被解碼的畫面的解碼時間 與首先被播放的存取單元中首先被顯示的畫面的顯示時間之間的時延；和播放單元，用于利用所述解碼延遲，依次解碼和播放所述兩個存取單元，其中緊接在第一存取單元之后被解碼的第二存取單元中首先被解碼 的畫面是IDR畫面。
4. 一種解復用方法，對多路復用數據進行解復用，所述解復用方法包括標記解復用步驟，用于從多路復用數據解復用出標記，所述多路復用數據包括具有可隨機存取的存取單元的一個或多個編碼流，每個存取 單元由多個編碼畫面構成；和另 一信息，所述另 一信息包括指示在依次對存取單元中的任 意兩個存取單元解碼時，是否能夠無縫連接所述兩個存取單元的 標記；確定步驟，在所述標記解復用步驟中解復用的標記指示能夠無縫連接 所述兩個存取單元時，確定根據解碼延遲播放所述兩個存取單元，所述解 碼延遲指示首先被播放的存取單元中首先被解碼的畫面的解碼時間與首 先被播放的存取單元中首先被顯示的畫面的顯示時間之間的時延；禾口播放步驟，利用所述解碼延遲，依次解碼和播放所述存取單元， 其中緊接在第一存取單元之后被解碼的第二存取單元中首先被解碼的畫面是IDR畫面。
5. —種在計算機可讀記錄介質中記錄包括一個或多個編碼流和另一 信息的多路復用數據的方法，所述一個或多個編碼流包括可隨機存取的存 取單元，每個存取單元由多個編碼畫面構成，所述記錄方法包括編碼步驟，用于以在依次對兩個存取單元解碼時，通過使各個存取單 元中的延遲量相等，使得在兩個存取單元的連接處顯示的畫面之間不出現 間隙或交迭的方式產生所述編碼流，所述兩個存取單元是從所述一個或多 個編碼流中包括的存取單元中任意選擇的，所述延遲量各指示從按解碼順序對頂部畫面解碼時起到按顯示順序顯示頂部畫面時的時延；多路復用步驟，用于把所述另一信息與所述一個或多個編碼流多路復用，所述另一信息包括指示所述兩個存取單元是否能夠被無縫連接的標記，所述一個或多個編碼流是在所述編碼步驟中產生的；和記錄步驟，在所述記錄介質中記錄在所述多路復用步驟中進行多路復用得到的多路復用數據，其中在所述編碼步驟中，確定緊接在第一存取單元之后被解碼的第二存取單元中首先被解碼的畫面是IDR畫面。
6. —種記錄裝置，用于記錄包括一個或多個編碼流和另一信息的多 路復用數據，所述一個或多個編碼流包括可隨機存取的存取單元，每個存 取單元由多個編碼畫面構成，所述記錄裝置包括-編碼單元，用于以在依次對兩個存取單元解碼時，通過使各個存取單元中的延遲量相等，使得在兩個存取單元的連接處顯示的畫面之間不出現 間隙或交迭的方式產生所述編碼流，所述兩個存取單元是從所述一個或多 個編碼流中包括的存取單元中任意選擇的，所述延遲量各指示從按解碼順 序對頂部畫面解碼時起到按顯示順序顯示頂部畫面時的時延；多路復用單元，用于把所述另一信息與所述一個或多個編碼流多路復 用，所述另一信息包括指示所述兩個存取單元是否能夠被無縫連接的標 記，所述一個或多個編碼流是由所述編碼單元產生的，以及記錄單元，用于在記錄介質中記錄由所述多路復用單元進行多路復用得到的多路復用數據，其中所述編碼單元用于確定緊接在第一存取單元之后被解碼的第二存取單元中首先被解碼的畫面是IDR畫面。
全文摘要
一種不使觀看運動畫面的用戶感到不舒服的多路復用裝置，運動畫面包括(i)編碼單元(42)，以在對編碼流中包括的所有存取單元中的兩個存取單元按順序解碼的過程中，在兩個預定存取單元的連接處不出現間隙的方式產生一個或多個編碼流；和(ii)多路復用單元(18)，用于把其它信息與所述編碼單元(42)產生的所述編碼流進行多路復用。
文檔編號H04N7/58GK101594530SQ20091015160
公開日2009年12月2日 申請日期2005年6月1日 優(yōu)先權日2004年6月2日
發(fā)明者岡田智之, 角野真也, 遠間正真 申請人:松下電器產業(yè)株式會社