專(zhuān)利名稱(chēng)：在多角度觀看多媒體流中多路復(fù)用的隨機(jī)存取單元之間的無(wú)縫切換的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于多路復(fù)用包括編碼畫(huà)面與其它信息的一個(gè)或多個(gè)編碼流，以產(chǎn)生多路復(fù)用數(shù)據(jù)的多路復(fù)用裝置，和對(duì)多路復(fù)用數(shù)據(jù)解復(fù)用的解復(fù)用裝置。本發(fā)明特別涉及能夠執(zhí)行諸如多角度播放等之類(lèi)的特技播放的多路復(fù)用裝置和解復(fù)用裝置。
背景技術(shù)：
最近，將聲音、畫(huà)面以及其它像素值集成到一種媒體中的多媒體時(shí)代已經(jīng)到來(lái)，并且將報(bào)紙、雜志、TV、無(wú)線電和電話之類(lèi)的通信工具的現(xiàn)有信息媒體也看成是多媒體的目標(biāo)。 一般地講，多媒體是一種不僅將字符，而且也將圖像、聲音、特別是畫(huà)面同時(shí)顯現(xiàn)的形式。為了將上述現(xiàn)有信息媒體作為多媒體來(lái)處理，需要數(shù)字地顯現(xiàn)信息。
但是，利用上述現(xiàn)有信息媒體直接地?cái)?shù)字處理巨量信息時(shí)不現(xiàn)實(shí)的，因?yàn)樵诎焉鲜雒糠N信息媒體的數(shù)據(jù)量計(jì)算為數(shù)字?jǐn)?shù)據(jù)量時(shí)，每個(gè)字符的數(shù)據(jù)量是1至2字節(jié)，而每秒聲音的數(shù)據(jù)量不小于64千字節(jié)(電話語(yǔ)音質(zhì)量)，每秒運(yùn)動(dòng)畫(huà)面的數(shù)據(jù)量則不小于100兆字節(jié)(當(dāng)前TV接收質(zhì)量)。例如，由于具有64 kbps至1.5 mbps的傳輸速度的綜合服務(wù)數(shù)字網(wǎng)(ISDN)的出現(xiàn)，TV電話已經(jīng)投入商業(yè)使用，但是，TV攝像機(jī)的運(yùn)動(dòng)畫(huà)面使用ISDN時(shí)，則不能傳輸它們。
這是為什么需要信息壓縮技術(shù)的原因。例如，將國(guó)際電信同盟-電信標(biāo)準(zhǔn)化部(ITU-T)推薦的H.261或H.263的運(yùn)動(dòng)畫(huà)面壓縮技術(shù)標(biāo)準(zhǔn)用于TV電話。此外，利用MPEG-1標(biāo)準(zhǔn)的信息壓縮技術(shù)，也使得能夠?qū)D像信息與聲音信息一同存儲(chǔ)在一張普通音樂(lè)CD (光盤(pán))中。
在這里，運(yùn)動(dòng)畫(huà)面專(zhuān)家組(MPEG)是數(shù)字壓縮運(yùn)動(dòng)畫(huà)面信號(hào)的，并且已經(jīng)被ISO/IEC (國(guó)際標(biāo)準(zhǔn)化組織/國(guó)際工程協(xié)會(huì)(InternationalStandardization Organization/Internation Engineering Consortium))標(biāo)準(zhǔn)化的國(guó)際標(biāo)準(zhǔn)。MPEG-1是一種將運(yùn)動(dòng)畫(huà)面信號(hào)壓縮到1.5Mbps，即，壓縮到大約百分之一的標(biāo)準(zhǔn)。此外，滿(mǎn)足MPEG-1標(biāo)準(zhǔn)的質(zhì)量是能夠在大約1.5Mbps的傳輸率實(shí)現(xiàn)的中等水平。因此，將MPEG-2標(biāo)準(zhǔn)化以便滿(mǎn)足更高畫(huà)面質(zhì)量的需要，并且它將運(yùn)動(dòng)畫(huà)面信號(hào)壓縮到2至15Mbps。當(dāng)前，標(biāo)準(zhǔn)化MPEG-1和MPEG-2的工作組(ISO/IEC JTC1/SC29/WG11)已經(jīng)將具有更高壓縮率的MPEG-4標(biāo)準(zhǔn)化。MPEG-4標(biāo)準(zhǔn)(i)取得了比MPEG-1和MPEG-2更高的壓縮率，(ii)允許在一個(gè)對(duì)象接一個(gè)對(duì)象的基礎(chǔ)上編碼，解碼和執(zhí)行操作，和(iii)實(shí)現(xiàn)了多媒體時(shí)代中的新的功能要求。MPEG-4的最初目的是要標(biāo)準(zhǔn)化具有低比特率的畫(huà)面的編碼方法，但是，目標(biāo)擴(kuò)展到了具有高比特率的隔行掃描畫(huà)面的通用目的的編碼方法。此后，ISO/IEC和ITU-T共同標(biāo)準(zhǔn)化了作為具有高壓縮率的畫(huà)面的下一代畫(huà)面編碼方法的MPEG-4 AVC (高級(jí)視頻編碼)。預(yù)期用于下一代光盤(pán)裝置或在對(duì)移動(dòng)終端的廣播中使用。
一般地講，在對(duì)運(yùn)動(dòng)畫(huà)面編碼中，通過(guò)減少時(shí)間和空間冗余來(lái)壓縮信息量。在針對(duì)減少時(shí)間冗余的畫(huà)面間預(yù)測(cè)編碼中，通過(guò)參考在前畫(huà)面或隨后畫(huà)面，在一塊接一塊的基礎(chǔ)上執(zhí)行運(yùn)動(dòng)評(píng)估和預(yù)測(cè)畫(huà)面產(chǎn)生，并且對(duì)得到的預(yù)測(cè)畫(huà)面和要編碼的畫(huà)面之間的差值進(jìn)行編碼。這里使用的"畫(huà)面(Picture)"是代表一個(gè)畫(huà)面的術(shù)語(yǔ)。在逐行畫(huà)面中，它代表一幀；在隔行畫(huà)面中，它代表一幀或一場(chǎng)。這里所述的"隔行掃描畫(huà)面"表示由具有輕微時(shí)間滯后的兩個(gè)場(chǎng)構(gòu)成的幀。在隔行畫(huà)面的編碼和解碼中，可以將一幀作為一幀來(lái)處理，將一幀作為兩個(gè)場(chǎng)來(lái)處理，或在幀中在逐塊的基礎(chǔ)上將幀結(jié)構(gòu)來(lái)處理或作為場(chǎng)結(jié)構(gòu)來(lái)處理。
用于執(zhí)行不參考任何參考畫(huà)面的內(nèi)部預(yù)測(cè)編碼的畫(huà)面叫做內(nèi)編碼畫(huà)面(Intra Coded Picture) (I畫(huà)面)。此外，用于執(zhí)行僅參考一個(gè)畫(huà)面的相互間預(yù)測(cè)編碼的畫(huà)面叫做預(yù)測(cè)編碼畫(huà)面(Predictive Coded Picture) (P畫(huà)
面)。用于執(zhí)行參考兩個(gè)參考畫(huà)面的相互間預(yù)測(cè)編碼的畫(huà)面叫做Bi-預(yù)測(cè)編碼畫(huà)面(Bi-predictive Coded Picture) (B畫(huà)面)。B畫(huà)面可以參考選擇為在顯示時(shí)間上在前和在后畫(huà)面的任意組合的兩個(gè)畫(huà)面。這兩個(gè)參考畫(huà)面可以在一塊接一塊基礎(chǔ)上規(guī)定，塊是編碼和解碼的基礎(chǔ)單元。這些參考畫(huà)面如下相互區(qū)分將編碼比特流中較早說(shuō)明的參考畫(huà)面稱(chēng)為第一參考畫(huà)面，而把以后說(shuō)明的其它參考畫(huà)面稱(chēng)為第二參考畫(huà)面。應(yīng)當(dāng)注意，為了編碼或解碼I畫(huà)面、P畫(huà)面和B畫(huà)面，這些參考畫(huà)面必須是己經(jīng)編碼或解碼的。
運(yùn)動(dòng)補(bǔ)償內(nèi)部預(yù)測(cè)編碼用于P畫(huà)面和B畫(huà)面的編碼。運(yùn)動(dòng)補(bǔ)償內(nèi)部預(yù)測(cè)編碼是一種應(yīng)用運(yùn)動(dòng)補(bǔ)償?shù)膬?nèi)部預(yù)測(cè)編碼方法。運(yùn)動(dòng)補(bǔ)償是一種通過(guò)估算畫(huà)面的每個(gè)塊的運(yùn)動(dòng)量(以下稱(chēng)為運(yùn)動(dòng)向量)和通過(guò)執(zhí)行考慮到運(yùn)動(dòng)向量的預(yù)測(cè)編碼而提高預(yù)測(cè)精度和減小數(shù)據(jù)量的方法。例如，通過(guò)估算要編碼的畫(huà)面的運(yùn)動(dòng)向量和通過(guò)給位移了每個(gè)運(yùn)動(dòng)向量的量的每個(gè)預(yù)測(cè)值與要編碼的每個(gè)當(dāng)前畫(huà)面之間的每個(gè)預(yù)測(cè)余量編碼，而減小數(shù)據(jù)量。在使用這種方法的情況下，由于在解碼中需要運(yùn)動(dòng)向量信息，所以也要編碼、記錄或發(fā)送運(yùn)動(dòng)向量。運(yùn)動(dòng)向量是在一個(gè)宏塊接一個(gè)宏塊的基礎(chǔ)上估算的。更具體地講，運(yùn)動(dòng)向量是通過(guò)固定要編碼的宏塊、在搜索范圍內(nèi)移動(dòng)參考畫(huà)面的宏塊、和發(fā)現(xiàn)最靠近標(biāo)準(zhǔn)塊的參考宏塊的位置而估算的。
圖1A和IB分別是現(xiàn)有MPEG-2流的結(jié)構(gòu)圖。
如圖IB中所示，MPEG-2流具有下面要說(shuō)明的層級(jí)結(jié)構(gòu)。流是由畫(huà)面組(Group of Pictures)(以下稱(chēng)為GOP)構(gòu)成的。將GOP用作編碼處理過(guò)程中的基礎(chǔ)單元能夠編輯運(yùn)動(dòng)畫(huà)面或執(zhí)行隨機(jī)存取。GOP是由I畫(huà)面、P畫(huà)面、和B畫(huà)面構(gòu)成的。流、GOP、和畫(huà)面進(jìn)一步包括指示單元的邊界的同步信號(hào)(sync)，和指示各單元中共同數(shù)據(jù)的首部，在這里各單元分別是流、GOP和畫(huà)面。
圖2A和2B分別示出了如何執(zhí)行MPEG-2中使用的畫(huà)面間預(yù)測(cè)編碼的例子。
圖中帶有斜線的畫(huà)面是被其它畫(huà)面參考的畫(huà)面。如圖2A中所示，在MPEG-2中的預(yù)測(cè)編碼中，P畫(huà)面(P0， P6， P9， P12和P15)可以?xún)H參考選擇為在顯示時(shí)間上緊挨靠前的I畫(huà)面或P畫(huà)面的單一畫(huà)面。B畫(huà)面(B1 ，B2， B4， B5， B7， B8， BIO， Bll， B13， B14， B16， B17， B19禾BB20)
可以參考選擇作為緊挨靠前的I畫(huà)面或P畫(huà)面和緊挨靠后的I畫(huà)面或P畫(huà)面的組合的兩個(gè)畫(huà)面。此外，要確定畫(huà)面在流中放置的順序。多個(gè)I畫(huà)面和一個(gè)P畫(huà)面按照顯示時(shí)間的順序放置，而每個(gè)B緊挨著要緊接著B(niǎo)畫(huà)面之后顯示的I畫(huà)面之后放置，或緊接著一個(gè)P畫(huà)面之后放置。作為GOP的結(jié)構(gòu)的例子，如圖2B中所示，從13到B14的畫(huà)面被組成一個(gè)單一的GOP。
圖3A至3B分別示出了解碼順序，顯示順序，和在MPEG-2流中使用的GOP結(jié)構(gòu)的解碼時(shí)間和顯示時(shí)間之間的發(fā)生的延遲量。
在此，MPEG-2流具有固定的幀頻，并同時(shí)解碼和顯示P畫(huà)面。在MPEG-2流中，如圖3A和3B所示，作為從GOP頂部畫(huà)面的解碼時(shí)間到頂部畫(huà)面的延遲時(shí)間的時(shí)間滯后的延遲量最大等于一個(gè)幀或兩個(gè)場(chǎng)。在下文中將該延遲量稱(chēng)為幀延遲，并在逐幀的基礎(chǔ)上計(jì)算幀延遲的長(zhǎng)度(一幀對(duì)應(yīng)于兩場(chǎng))。諸如數(shù)字多用盤(pán)(DVD)之類(lèi)的光盤(pán)裝置采用MPEG-2標(biāo)準(zhǔn)，其中定義幀延遲被固定為1。應(yīng)該指出，在例如以60Hz顯示已經(jīng)以24Hz編碼的流的下拉(pulling down)時(shí)，延遲量是可變的。由于能夠根據(jù)按照幀頻顯示編碼流的情況來(lái)確定延遲量，下面描述按照幀頻顯示編碼流的情況。
圖4是MPEG-4 AVC流的結(jié)構(gòu)圖。在MPEG-4 AVC中，不存在與GOP等價(jià)的概念。但是，由于可以通過(guò)在能夠不依賴(lài)其它畫(huà)面解碼的特定畫(huà)面的單元中將數(shù)據(jù)分段來(lái)構(gòu)造等價(jià)于GOP的隨機(jī)存取單元，以下將這種單元稱(chēng)為RUA (隨機(jī)存取單元(Random Access Unit))。
MPEG-4 AVC中有兩種類(lèi)型的I畫(huà)面。它們是瞬時(shí)解碼器刷新(IDR)畫(huà)面和另一種類(lèi)型。IDR畫(huà)面是可以不用參考按解碼順序放置在IDR畫(huà)面之前的畫(huà)面，能夠?qū)Π唇獯a順序放置在IDR之后的所有畫(huà)面解碼的I畫(huà)面。IDR畫(huà)面對(duì)應(yīng)于MPEG-2閉合GOP的最前端I畫(huà)面。在I畫(huà)面不是IDR畫(huà)面的情況下，按解碼順序位于該I畫(huà)面的之后的畫(huà)面可以參考按解碼順序位于該I畫(huà)面前面的畫(huà)面。另外，通過(guò)把不是IDR畫(huà)面的I畫(huà)面放置在隨機(jī)存取單元RAU頂部和限制隨機(jī)存取單元RAU中的畫(huà)面的預(yù)測(cè)結(jié)構(gòu)，能夠形成象MPEG-2中開(kāi)放GOP的結(jié)構(gòu)。
圖5是MPEG-4 AVC流中畫(huà)面的預(yù)測(cè)結(jié)構(gòu)的一個(gè)實(shí)例。由于MPEG-4AVC允許靈活的預(yù)測(cè)結(jié)構(gòu)，例如，畫(huà)面P2可以參考畫(huà)面P8。在圖5的例子中，由于在畫(huà)面I8之后開(kāi)始顯示并且首先對(duì)畫(huà)面P2解碼，幀延遲變成2。由于預(yù)測(cè)結(jié)構(gòu)在這種方式中是靈活的，不象MPEG-2的情況那樣，幀延遲最大不限于1。這意味著幀延遲可以依據(jù)預(yù)測(cè)結(jié)構(gòu)而改變。因此，不能以幀延遲固定為1為條件進(jìn)行播放。
諸如DVD之類(lèi)的數(shù)據(jù)包媒體具有特技播放功能，例如(i)播放，即有選擇地播放相同流的特定部分或能夠連續(xù)播放不同的流，和(ii)多角度播放，即以不同角度執(zhí)行改變流的播放。使用該功能的基本單元是MPEG-2中的GOP，和MPEG-4 AVC中的隨豐幾存取單元RAU。
圖6A至6C示出了 MPEG-2中要播方文的改變流的實(shí)例。圖6A至6C分別示出了流l， 2，和3中包括的GOP。在此，通過(guò)在GOPl-l后對(duì)GOP2-1解碼使要播放的流從流1改變到流2。由于幀延遲量在GOP 1-1和GOP2-1 二者中都是1，這樣能夠使其以固定的速率進(jìn)行播放，而不允許在顯示時(shí)出現(xiàn)間隙。同樣，通過(guò)在GOPl-l后對(duì)GOP3-l解碼，能夠從流改變到流3。
按常規(guī)，己經(jīng)提出了象上述那樣涉及運(yùn)動(dòng)畫(huà)面編碼，多路復(fù)用，解碼，和解復(fù)用的各種技術(shù)。(例如，參考日本專(zhuān)利申請(qǐng)公開(kāi)No.2003-18549)。
圖7是表示用于對(duì)運(yùn)動(dòng)畫(huà)面數(shù)據(jù)編碼和多路復(fù)用的傳統(tǒng)多路復(fù)用裝置的操作的流程圖。
首先，在步驟101和102，多路復(fù)用裝置對(duì)一個(gè)或多個(gè)流編碼。接下來(lái)，在步驟103，產(chǎn)生管理信息，然后進(jìn)行到步驟104。管理信息包括用于存取在步驟101產(chǎn)生的流的信息，和指示在諸如多角度播放等之類(lèi)的特技播放時(shí)要播放的數(shù)據(jù)的信息。此后，在步驟104，將管理信息與流數(shù)據(jù)多路復(fù)用，以輸出復(fù)用的數(shù)據(jù)。
圖8是表示傳統(tǒng)的多路復(fù)用裝置的結(jié)構(gòu)的方框圖。多路復(fù)用裝置800包括編碼單元11，存儲(chǔ)器12，管理信息產(chǎn)生單元
13和多路復(fù)用單元14。
編碼單元11對(duì)輸入的運(yùn)動(dòng)畫(huà)面數(shù)據(jù)Vin編碼，并將編碼的數(shù)據(jù)strln存儲(chǔ)到存儲(chǔ)器12中。
管理信息產(chǎn)生單元13從存儲(chǔ)器12讀出編碼數(shù)據(jù)，作為讀出數(shù)據(jù)strOutl，產(chǎn)生管理信息庫(kù)，和向多路復(fù)用單元14輸出該管理信息庫(kù)。應(yīng)該指出，該管理信息庫(kù)不包括與幀延遲有關(guān)的信息。
多路復(fù)用單元14多路復(fù)用下列數(shù)據(jù)(i)管理信息庫(kù)，(ii)已經(jīng)從存儲(chǔ)器12讀出的讀出數(shù)據(jù)strOut2，和(iii)附加信息adlnf，例如，由用戶(hù)設(shè)置的、并與流分開(kāi)獲得的設(shè)置信息，然后輸出復(fù)用的數(shù)據(jù)MuxDat。在此，如果不需要，可以不使用附加信息adlnf。另外，可以采用諸如MPEG-2傳送流(TS)或程序流(PS)之類(lèi)的方案，或由應(yīng)用預(yù)定的其它方案對(duì)讀出數(shù)據(jù)strOut2打包，然后對(duì)其多路復(fù)用。例如，在藍(lán)光盤(pán)(BD)標(biāo)準(zhǔn)中，采用把4字節(jié)首部加到被稱(chēng)為源數(shù)據(jù)包(Source Packet)的MPEG-2 TS數(shù)據(jù)包的方案多路復(fù)用讀出數(shù)據(jù)strOut2，然后存儲(chǔ)。
圖9A示出了從多路復(fù)用裝置800輸出的復(fù)用數(shù)據(jù)的結(jié)構(gòu)實(shí)例。
如圖9A所示，管理信息和一個(gè)或多個(gè)編碼流被存儲(chǔ)在復(fù)用數(shù)據(jù)中。另外，處理每個(gè)流作為一個(gè)或多個(gè)碼片使其能夠?qū)崿F(xiàn)各種播放方法，例如摘要播放和多角度播放。在此， 一個(gè)碼片示出一個(gè)畫(huà)面或一個(gè)隨機(jī)存取單元RAU中的畫(huà)面序列，或相同流的隨機(jī)存取單元RAU的序列。圖9B和9C示出了播放實(shí)例。特別是，圖9B示出了多角度播放的實(shí)例。在流l和流N分別以不同的角度存儲(chǔ)視頻的情況下，能夠通過(guò)在流1的碼片1-1之后通過(guò)改變角度來(lái)播放流N的碼片N-2，并在碼片N-2播放完后返回流1的播放。圖9C示出了摘要播放的實(shí)例。例如，通過(guò)有選擇地播放流l中的碼片1-1和碼片l-M來(lái)播放典型場(chǎng)景。
圖10是表示對(duì)復(fù)用數(shù)據(jù)進(jìn)行解復(fù)用，以獲得編碼數(shù)據(jù)并播放編碼數(shù)據(jù)的傳統(tǒng)解復(fù)用裝置的操作流程圖。
首先，在步驟S201中，解復(fù)用裝置對(duì)復(fù)用數(shù)據(jù)解復(fù)用以獲得管理信息，獲得與要播放的一個(gè)或多個(gè)碼片有關(guān)的信息，然后進(jìn)展到步驟204。與碼片有關(guān)的信息包括碼片的開(kāi)始時(shí)間，結(jié)束時(shí)間，用于在碼片中存取編
碼數(shù)據(jù)的存取信息等。在步驟204和205，解復(fù)用裝置解碼并顯示該碼片中的畫(huà)面，直到該碼片中的最后畫(huà)面。在此，在用戶(hù)操作發(fā)出指示結(jié)束播放的指令等的情況下，在該指令變?yōu)橛行r(shí)結(jié)束播放。圖11是表示傳統(tǒng)解復(fù)用裝置的結(jié)構(gòu)的方框圖。
解復(fù)用裝置900包括管理信息解復(fù)用單元21，碼片信息分析單元22，解碼單元24和顯示26。
管理信息解復(fù)用單元21從諸如光盤(pán)之類(lèi)的復(fù)用數(shù)據(jù)記錄介質(zhì)讀出復(fù)用數(shù)據(jù)MuxDat，分析管理信息，和根據(jù)用戶(hù)之類(lèi)或預(yù)定方法確定要播放的碼片。此后，管理信息解復(fù)用單元21向碼片信息分析單元22輸出碼片信息Clip，作為與確定的碼片有關(guān)的信息。
碼片信息分析單元22向解碼單元24輸出用于存取構(gòu)成碼片的畫(huà)面的存取信息acs。另一方面，解碼單元24根據(jù)存取信息acs，從復(fù)用數(shù)據(jù)記錄介質(zhì)讀出視頻數(shù)據(jù)Vdat，對(duì)讀出的數(shù)據(jù)解碼，和把解碼結(jié)果decOut輸出到顯示單元26。顯示單元26按顯示順序顯示解碼結(jié)果。
MPEG-4AVC允許靈活的預(yù)測(cè)結(jié)構(gòu)，碼片的幀延遲因此是可變的。由于傳統(tǒng)的解復(fù)用裝置改變碼片而沒(méi)有考慮碼片的幀延遲，在改變具有不同幀延遲的碼片時(shí)在畫(huà)面的顯示間隔中出現(xiàn)間隙。
圖12A至12C示出了從具有一個(gè)幀延遲的碼片改變到具有兩個(gè)幀延遲的幀的實(shí)例。
圖12A示出了具有一個(gè)幀延遲的流1的隨機(jī)存取單元RAU1-1,圖12B示出了具有兩個(gè)幀延遲的流2的隨機(jī)存取單元RAU2-1。在此，圖12C示出了在RAU1-1之后播放RAU2-1時(shí)的解碼和顯示時(shí)序。
由于RAU1-1的幀延遲是1，當(dāng)顯示在RAU1-1的解碼順序中在最后的畫(huà)面P15時(shí)，對(duì)RAU2-1的頂部畫(huà)面P18進(jìn)行解碼。然而，RAU2-1的幀延遲是2，在對(duì)解碼順序中處在第二的畫(huà)面P2解碼時(shí)，RAU2-1中的畫(huà)面顯示仍沒(méi)有開(kāi)始。因此，在對(duì)P2解碼時(shí)沒(méi)有顯示畫(huà)面。因此，在畫(huà)面P15和畫(huà)面B 0之間的顯示間隔中出現(xiàn)間隙。
同樣，在隨機(jī)存取單元RAU2-1之后播放隨機(jī)存取單元RAU1-1的情況下，在連續(xù)顯示解碼間隔中出現(xiàn)間隙。換句話說(shuō)，在顯示間隔中出現(xiàn)交迭。下文中，顯示順序中的間隙是指在連接的幀延遲量增加和降低的兩種情況下出現(xiàn)連接中斷。
如上所述，由于傳統(tǒng)的解復(fù)用裝置不能顯示位于具有不同幀延遲的碼片被改變的部分的畫(huà)面，而保持固定的幀，因此傳統(tǒng)的多路復(fù)用和解復(fù)用裝置具有使觀看運(yùn)動(dòng)畫(huà)面的用戶(hù)感覺(jué)不舒服的問(wèn)題。
為了解決上述問(wèn)題而考慮了本發(fā)明。本發(fā)明的目的是提供一種將編碼流與其它信息多路復(fù)用以產(chǎn)生復(fù)用數(shù)據(jù)的多路復(fù)用裝置，和用于對(duì)復(fù)用數(shù)據(jù)解復(fù)用以播放編碼流的解復(fù)用裝置，以便即使在進(jìn)行諸如多角度播放之類(lèi)的任何特技播放時(shí)也不回使用戶(hù)感到不舒服。

發(fā)明內(nèi)容
為了實(shí)現(xiàn)上述目的，本發(fā)明的多路復(fù)用裝置將一個(gè)或多個(gè)編碼流與其它信息復(fù)用，所述編碼流包括以可隨機(jī)存取的存取單元為單位的編碼畫(huà)面，所述多路復(fù)用裝置包括編碼單元，用于產(chǎn)生編碼流，以便在對(duì)編碼流中包括的所有存取單元中的兩個(gè)存取單元按順序解碼的過(guò)程中，在兩個(gè)預(yù)定存取單元的連接中不出現(xiàn)間隙；多路復(fù)用單元，用于把其它信息與編碼單元產(chǎn)生的編碼流進(jìn)行多路復(fù)用。例如，在本發(fā)明的第一方面中，編碼單元產(chǎn)生編碼流，以使兩個(gè)存取單元中的延遲量變得彼此相等，每個(gè)延遲量是從對(duì)解碼順序中的頂部畫(huà)面解碼時(shí)起到顯示顯示順序中的頂部畫(huà)面時(shí)的時(shí)間滯后。
以使要被進(jìn)行特技播放的兩個(gè)存取單元(例如，碼片)的延遲量(幀延遲)變得彼此相等的方式產(chǎn)生編碼流。因此，在按順序?qū)@些存取單元解碼時(shí)在這些存儲(chǔ)單元的連接中不出現(xiàn)間隙。換句話說(shuō)，這些存取單元在進(jìn)行特技播放時(shí)彼此無(wú)縫地連接。這意味著幀頻是不變的。因此，能夠消除給觀看由這些存取單元構(gòu)成的運(yùn)動(dòng)畫(huà)面的用戶(hù)造成的不舒服的感覺(jué)。在此，例如，產(chǎn)生編碼流，以便在根據(jù)應(yīng)用程序的操作標(biāo)準(zhǔn)預(yù)定延遲量的情況下，將這兩個(gè)存取單元的延遲量調(diào)節(jié)到預(yù)定的延遲量。
另外，在本發(fā)明的第二方面中，多路復(fù)用裝置還包括延遲信息產(chǎn)生單元，用于產(chǎn)生與延遲量有關(guān)的延遲信息，在該裝置中，多路復(fù)用單元可以將其它信息與延遲信息產(chǎn)生單元產(chǎn)生的延遲信息進(jìn)行復(fù)用。例如，在本發(fā)明的第三方面中，延遲信息產(chǎn)生單元產(chǎn)生指示延遲量的延遲信息。作為替換，在本發(fā)明的第三方面中，延遲信息產(chǎn)生單元產(chǎn)生指示能夠無(wú)縫地連接兩個(gè)存取單元的標(biāo)記，作為延遲信息。
這樣，在延遲信息(幀延遲信息)指示延遲量的情況下，解復(fù)用裝置能夠通過(guò)該延遲信息很容易地獲得這兩個(gè)存取單元中的延遲量。另外，在作為延遲信息的標(biāo)記指示這兩個(gè)存取單元的延遲量彼此相等的情況下，解復(fù)用裝置能夠很容易地獲得這兩個(gè)存取單元中的延遲量。因此，能夠使解復(fù)用裝置進(jìn)行更正確的解復(fù)用處理。
另外，在本發(fā)明的第二方面中，編碼單元可以以編碼流中包括的所有存取單元中的兩個(gè)存取單元的連接不出現(xiàn)間隙的方式產(chǎn)生編碼流，該連接是角度可變點(diǎn)。
由于這兩個(gè)存取單元具有不同的角度，與前面描述的情況相同，在按順序?qū)@些存取單元解碼時(shí)，這些存取單元的連接中不出現(xiàn)間隙。換句話說(shuō)，以無(wú)縫多角度的方式連接這些存取單元。這意味著幀頻是不可變的。因此，能夠消除給觀看由這些存取單元構(gòu)成的運(yùn)動(dòng)畫(huà)面的用戶(hù)造成的不舒服的感覺(jué)。
另外，為了實(shí)現(xiàn)上述目的，本發(fā)明的解復(fù)用裝置多路復(fù)用數(shù)據(jù)進(jìn)行解復(fù)用，所述復(fù)用數(shù)據(jù)包括(i)包括以可隨機(jī)存取的存取單元為單位的編碼畫(huà)面的編碼流；和(ii)與所有存取單元中的兩個(gè)預(yù)定存取單元中的延遲量有關(guān)的延遲信息，每個(gè)延遲量是從對(duì)解碼順序中的頂部畫(huà)面解碼時(shí)起到顯示顯示順序中的頂部畫(huà)面時(shí)的時(shí)間滯后，所述解復(fù)用裝置包括延遲信息解復(fù)用單元，用于對(duì)復(fù)用數(shù)據(jù)解復(fù)用，以獲得延遲信息；和播放單元，用于根據(jù)在延遲信息解復(fù)用單元己經(jīng)對(duì)復(fù)用數(shù)據(jù)解復(fù)用時(shí)獲得的延遲信息，來(lái)按順序解碼和播放存取單元。
在以對(duì)這兩個(gè)存取單元(例如，碼片)進(jìn)行特技播放的延遲量變得彼此相等的方式產(chǎn)生編碼流的實(shí)例情況下，能夠按順序解碼和播放這兩個(gè)存取單元，而不允許在特技播放時(shí)不在這兩個(gè)存取單元的連接中出現(xiàn)間隙。換句話說(shuō)，能夠變成無(wú)縫地連接這些存取單元。這意味著能夠使幀頻不變。結(jié)果是，能夠消除給觀看由這些存取單元構(gòu)成的運(yùn)動(dòng)畫(huà)面的用戶(hù)造成的不舒服的感覺(jué)。另夕卜，在由延遲信息(幀延遲信息)指示延遲量的實(shí)例情況下，能夠通過(guò)延遲信息很容易地獲得這兩個(gè)存取單元的延遲量。此外，在使用標(biāo)記指示延遲信息的情況下，能夠很容易地獲得指示這兩個(gè)存取單元的延遲量彼此相等的信息。因此，能夠進(jìn)行更正確的解復(fù)用處理。
另外，為了實(shí)現(xiàn)上述目的，在本發(fā)明的多路復(fù)用方法中，對(duì)運(yùn)動(dòng)畫(huà)面編碼，并將編碼的運(yùn)動(dòng)畫(huà)面與管理信息復(fù)用，該多路復(fù)用方法包括產(chǎn)生一個(gè)或多個(gè)編碼流；獲得編碼流中的幀延遲；產(chǎn)生包括用于指示獲得的幀延遲的信息的管理信息；和對(duì)編碼流與管理信息進(jìn)行復(fù)用。在該多路復(fù)用方法中，編碼流由一個(gè)或多個(gè)隨機(jī)存取單元構(gòu)成，幀延遲指示分別在這些隨機(jī)存取單元中，從對(duì)解碼順序中的頂部畫(huà)面解碼時(shí)起到顯示顯示順序中的頂部畫(huà)面時(shí)的時(shí)間段期間分別出現(xiàn)的延遲量，并且編碼流中的幀延遲是可變的。
另外，管理信息可以包括編碼流的幀延遲。另外，管理信息可以包括編碼流中幀延遲的最大值。另外，管理信息可以包括相等幀延遲，作為幀延遲彼此相等時(shí)編碼流中的公共幀延遲。
另外，管理信息可以包括基于這些隨機(jī)存取單元構(gòu)成的播放單元的幀延遲。
另外，本發(fā)明的解復(fù)用方法是對(duì)根據(jù)多路復(fù)用方法復(fù)用的數(shù)據(jù)進(jìn)行解復(fù)用并播放得到的解復(fù)用數(shù)據(jù)的解復(fù)用方法。所述解復(fù)用方法包括獲得要播放的這些隨機(jī)存取單元所屬的編碼流的幀延遲；根據(jù)獲得的幀延遲確定播放時(shí)的幀延遲；和根據(jù)確定的幀延遲播放這些隨機(jī)存取單元中包括的畫(huà)面。
另外，在確定幀延遲的過(guò)程中，可以以與剛剛作為當(dāng)前隨機(jī)存取單元被播放的隨機(jī)存取單元的幀延遲相等的幀延遲來(lái)播放跟在當(dāng)前隨機(jī)存取單元之后的這些隨機(jī)存取單元。
應(yīng)該指出，本發(fā)明不僅能夠作為上面已經(jīng)描述的多路復(fù)用裝置，解復(fù)用裝置，多路復(fù)用方法和解復(fù)用方法來(lái)實(shí)現(xiàn)，而且以用于多路復(fù)用裝置和 解復(fù)用裝置的程序，存儲(chǔ)該程序的記錄介質(zhì)，和由多路復(fù)用裝置產(chǎn)生的復(fù) 用數(shù)據(jù)來(lái)實(shí)現(xiàn)。
至此，由于即使在特技播放時(shí)本發(fā)明也能夠保證以固定的幀頻顯示， 因此能夠消除用戶(hù)不舒服的感覺(jué)。特別是，本發(fā)明能夠改善數(shù)據(jù)包介質(zhì)的 播放質(zhì)量，因此非常實(shí)用。
有關(guān)本申請(qǐng)的技術(shù)背景的進(jìn)一步信息
在此引入2004年6月2日提交的包括說(shuō)明書(shū)，附圖和權(quán)利要求在內(nèi) 的日本專(zhuān)利公開(kāi)No.2004-165030揭示的整體內(nèi)容作為參考。


從以下結(jié)合示出了本發(fā)明的特殊實(shí)施方式的附圖的說(shuō)明中，可以清楚 地了解本發(fā)明的這些和其它目的、優(yōu)點(diǎn)和特征。在附圖中 圖1A和1B是顯示MPEG-2流結(jié)構(gòu)的示意圖。 圖2A和2B是顯示MPEG-2中的GOP結(jié)構(gòu)的示意圖； 圖3A和3B是顯示MPEG-2流中的幀延遲的示意圖； 圖4是顯示MPEG-4 AVC流的結(jié)構(gòu)的示意圖； 圖5是顯示MPEG-4AVC流中預(yù)測(cè)結(jié)構(gòu)的一個(gè)實(shí)例的示意圖； 圖6A至6C是顯示MPEG-4 AVC流中如何改變碼片的實(shí)例的示意圖； 圖7是顯示傳統(tǒng)多路復(fù)用裝置的操作的流程圖； 圖8是顯示傳統(tǒng)多路復(fù)用裝置的結(jié)構(gòu)的方框圖9A至9C是顯示從傳統(tǒng)多路復(fù)用裝置輸出的數(shù)據(jù)的結(jié)構(gòu)實(shí)例的示 意圖IO是顯示傳統(tǒng)多路復(fù)用裝置的操作的流程圖； 圖11是顯示傳統(tǒng)多路復(fù)用裝置的結(jié)構(gòu)的方框圖； 圖12A至12C是顯示播放由傳統(tǒng)多路復(fù)用裝置輸出的復(fù)用數(shù)據(jù)時(shí)出 現(xiàn)的問(wèn)題實(shí)例的示意圖13是顯示本發(fā)明第一實(shí)施方式中的多路復(fù)用裝置的操作的流程圖；圖14是顯示本發(fā)明第一實(shí)施方式中的多路復(fù)用裝置的方框圖15A至15E是顯示由本發(fā)明第一實(shí)施方式中的多路復(fù)用裝置輸出 的數(shù)據(jù)結(jié)構(gòu)的實(shí)例的示意圖16是顯示本發(fā)明第二實(shí)施方式中的多路復(fù)用裝置的操作的流程圖17是本發(fā)明第二實(shí)施方式中的多路復(fù)用裝置的方框圖18是顯示本發(fā)明第三實(shí)施方式中的解復(fù)用裝置的操作的流程圖19是顯示本發(fā)明第三實(shí)施方式中確定播放中的幀延遲時(shí)解復(fù)用裝 置的操作的流程圖20A至20D是顯示本發(fā)明第三實(shí)施方式中確定播放中的幀延遲時(shí) 解復(fù)用裝置的操作實(shí)施例的流程圖21是顯示本發(fā)明第三實(shí)施方式中的解復(fù)用裝置的方框圖22是顯示HD-DVD的數(shù)據(jù)層級(jí)的示意圖23是顯示HD-DVD的邏輯空間結(jié)構(gòu)的示意圖24是顯示VOB信息文件的結(jié)構(gòu)的示意圖25是時(shí)間映射的示意圖26是顯示播放列表文件的結(jié)構(gòu)的示意圖27是顯示對(duì)應(yīng)于播放列表的程序文件的結(jié)構(gòu)的示意圖28是顯示BD盤(pán)管理信息文件的結(jié)構(gòu)的示意圖29是顯示用于記錄全局事件處理器的程序文件的結(jié)構(gòu)的示意圖30是顯示HD-DVD播放器的概況結(jié)構(gòu)的方框圖；和
圖31A和31B是顯示記錄用于實(shí)現(xiàn)本發(fā)明的多路復(fù)用方法和解復(fù)用
方法的程序的記錄介質(zhì)的結(jié)構(gòu)的示意圖；和圖31C是說(shuō)明記錄和播放靈活
盤(pán)上的程序的結(jié)構(gòu)的示意圖。
具體實(shí)施例方式
以下參考

本發(fā)明的實(shí)施方式。
(第一實(shí)施方式)
圖13是顯示本發(fā)明第一實(shí)施方式中的多路復(fù)用裝置的操作的流程圖。多路復(fù)用裝置輸出經(jīng)多路復(fù)用的數(shù)據(jù)，經(jīng)復(fù)用的數(shù)據(jù)能夠指示復(fù)用數(shù)據(jù)中 存儲(chǔ)的編碼流的幀延遲信息。
首先，在步驟301中，多路復(fù)用裝置產(chǎn)生MPEG-4AVC編碼流。在步 驟302，獲得在步驟301產(chǎn)生的編碼流的幀延遲，并進(jìn)展到步驟303。在 步驟303中，判斷是否已經(jīng)產(chǎn)生了多路復(fù)用數(shù)據(jù)中要存儲(chǔ)的所有編碼流， 并重復(fù)步驟301和步驟303的過(guò)程，直到已經(jīng)產(chǎn)生了所有編碼流。在步驟 304，產(chǎn)生要作為復(fù)用數(shù)據(jù)的管理信息存儲(chǔ)的幀延遲信息，并進(jìn)展到步驟 305。在步驟305，除了由傳統(tǒng)多路復(fù)用裝置產(chǎn)生的信息之外，還產(chǎn)生用于 指示幀延遲信息的管理信息。最后，在步驟306，將步驟301產(chǎn)生的編碼 流與在步驟305產(chǎn)生的管理信息進(jìn)行復(fù)用，然后輸出復(fù)用數(shù)據(jù)。
圖14是顯示本發(fā)明第一實(shí)施方式中的多路復(fù)用裝置的結(jié)構(gòu)的方框圖。
多路復(fù)用裝置IOOA包括編碼單元15，存儲(chǔ)器12，管理信息產(chǎn)生單元 16，幀延遲獲得單元17和多路復(fù)用單元18。
應(yīng)該指出，本實(shí)施方式的多路復(fù)用裝置100A的上述組件與圖8所示 的傳統(tǒng)多路復(fù)用裝置中的相同組件被賦予了相同的參考標(biāo)號(hào)，并且不再對(duì) 這些組件進(jìn)行描述。
編碼單元15對(duì)輸入的運(yùn)動(dòng)畫(huà)面數(shù)據(jù)Vin進(jìn)行編碼，并把得到的編碼 數(shù)據(jù)strln存儲(chǔ)到存儲(chǔ)器12中。另外，編碼單元15向幀延遲獲得單元17 輸出編碼數(shù)據(jù)strln的幀延遲frDly。
幀延遲獲得單元17產(chǎn)生要存儲(chǔ)在管理信息中的延遲信息dlylnf作為 幀延遲信息，然后將其輸出到管理信息產(chǎn)生單元16。
管理信息產(chǎn)生單元16根據(jù)對(duì)從存儲(chǔ)器12讀出的編碼數(shù)據(jù)strln和延 遲信息dlylnf的分析結(jié)果產(chǎn)生管理信息庫(kù)，作為讀出數(shù)據(jù)strOutl，然后將 其輸出到多路復(fù)用單元18。
多路復(fù)用單元18對(duì)管理信息庫(kù)，從存儲(chǔ)器12讀出的讀出數(shù)據(jù)strOut2 和與編碼數(shù)據(jù)分開(kāi)獲得的、作為用戶(hù)設(shè)置信息的附加信息adlnf，然后輸 出復(fù)用數(shù)據(jù)MuxDat。應(yīng)該指出，可以將編碼時(shí)的幀延遲限制在預(yù)定值或 低于預(yù)定值，該幀延遲由編碼單元15設(shè)置。
圖15A至15E示出了由多路復(fù)用裝置100A輸出的復(fù)用數(shù)據(jù)的結(jié)構(gòu)實(shí)施例。
復(fù)用數(shù)據(jù)示出了如圖15A所示的存儲(chǔ)在復(fù)用數(shù)據(jù)中的碼片的幀延遲 信息。在此，復(fù)用數(shù)據(jù)中存儲(chǔ)碼片數(shù)量為N，幀延遲為從延遲1到延遲N。 應(yīng)該指出，各個(gè)碼片可以是指示相同編碼流中的不同區(qū)域的單元，或者可 以是屬于不同編碼流的碼片。
圖15B至15C示出了幀延遲信息的結(jié)構(gòu)。圖15B存儲(chǔ)各個(gè)碼片的幀 延遲作為表信息。圖15C示出了碼片的幀延遲的最大值。作為最大值，可 以示出復(fù)用數(shù)據(jù)中存儲(chǔ)的所有碼片的幀延遲中的最大值，或者可以根據(jù)播 放列表給出按順序要播放的碼片的幀延遲中的最大值。另夕卜，可以將預(yù)定 值表示為最大值。圖15D示出了各個(gè)碼片中共同使用的幀延遲的值。在各 個(gè)碼片的幀延遲是可變的情況下，可以表示出這些值。另外，在各個(gè)碼片 的幀延遲不可變的情況下，可以表示出在播放時(shí)使用的幀延遲。圖15E示 出了碼片的幀延遲是否彼此相等。例如，存儲(chǔ)指示這些幀延遲是否彼此相 等的標(biāo)記信息。應(yīng)該指出，圖15B至15D示出的信息可以被組合使用。
應(yīng)該指出，可以表示出只與特定的碼片有關(guān)的幀延遲信息。首先，能 夠根據(jù)碼片的播放方法，給出與用于多角度播放或摘要播放的碼片有關(guān)的 幀延遲信息。另外，能夠根據(jù)碼片中頂部隨機(jī)存取單元的屬性來(lái)設(shè)置幀延 遲。例如，在定義在IDR畫(huà)面改變角度的情況下，可以給出只與其頂部隨 機(jī)存取單元是IDR畫(huà)面的碼片有關(guān)的幀延遲信息。另外，可以只在保證彼 此無(wú)縫地連接碼片的摘要播放的情況下給出幀延遲信息。
另外，可以給出復(fù)用數(shù)據(jù)中存儲(chǔ)的編碼流的幀延遲信息，而不直接給 出各個(gè)碼片的幀延遲信息。此時(shí)，通過(guò)把每個(gè)碼片所屬的編碼流與指示編 碼流的幀延遲的信息相關(guān)聯(lián)，能夠給出各個(gè)碼片的幀延遲。可以在下面的 兩種情況下使用該方法(i)相同編碼流中的各個(gè)碼片的幀延遲不可變的 情況下，和(ii)給出相同編碼流中包括的碼片的幀延遲的最大值的情況 下。
在使用諸如藍(lán)光盤(pán)(BD)或高清晰(HD) -DVD之類(lèi)的應(yīng)用標(biāo)準(zhǔn)的 情況下，這些標(biāo)準(zhǔn)定義幀延遲應(yīng)該彼此相等，或定義幀延遲間的最大值或 預(yù)定值，由于該應(yīng)用標(biāo)準(zhǔn)給出了與幀延遲有關(guān)的信息，應(yīng)該指出，不能存儲(chǔ)幀延遲作為管理信息。
另夕卜，在利用諸如TS或?qū)崟r(shí)傳輸協(xié)議(RTP)之類(lèi)的協(xié)議經(jīng)網(wǎng)絡(luò)接
收復(fù)用數(shù)據(jù)的情況下，可以獲得幀延遲信息作為播放控制信息。例如，在
向播放終端通知播放控制信息時(shí)使用刻錄段落(session)描述協(xié)議(SDP) 的情況下，能夠描述SDP中的幀延遲信息。另夕卜，通過(guò)指示諸如同步多媒 體綜合語(yǔ)言(SMIL)之類(lèi)的場(chǎng)景描述語(yǔ)言中的幀延遲信息，可以向播放 終端通知幀延遲。
另外，可以在一個(gè)隨機(jī)存取接隨機(jī)存取的基礎(chǔ)上指示幀延遲信息。另 外，可以通過(guò)例如將其加到隨機(jī)存取單元RAU中的頂部畫(huà)面來(lái)在編碼流 中指示幀延遲信息。
這樣，通過(guò)由多路復(fù)用裝置輸出的復(fù)用數(shù)據(jù)中的管理信息來(lái)指示幀延 遲信息。因此，在播放復(fù)用數(shù)據(jù)時(shí)調(diào)節(jié)幀延遲使其能夠播放編碼流，而不 允許在改變碼片時(shí)在顯示中出現(xiàn)間隙。
(第二實(shí)施方式)
圖16是顯示本發(fā)明第二實(shí)施方式中的多路復(fù)用裝置的操作的流程圖。 首先，在步驟401，多路復(fù)用裝置設(shè)置存儲(chǔ)在復(fù)用數(shù)據(jù)中的編碼流共 同使用的幀延遲的值。在步驟402，根據(jù)已經(jīng)在步驟401設(shè)置的幀延遲來(lái) 產(chǎn)生MPEG-4AVC編碼流。在步驟403，判斷是否已經(jīng)產(chǎn)生了多路復(fù)用數(shù) 據(jù)中要存儲(chǔ)的所有編碼流，并重復(fù)步驟402的過(guò)程，直到對(duì)所有編碼流進(jìn) 行了編碼。在步驟404，產(chǎn)生要作為復(fù)用數(shù)據(jù)的管理信息存儲(chǔ)的幀延遲信 息，并進(jìn)展到步驟405。在步驟405，除了由傳統(tǒng)多路復(fù)用裝置產(chǎn)生的信 息之外，還產(chǎn)生用于指示幀延遲信息的管理信息。最后，在步驟406，將 步驟401產(chǎn)生的編碼流與在步驟405產(chǎn)生的管理信息進(jìn)行復(fù)用，然后輸出 得到的復(fù)用數(shù)據(jù)
圖17是顯示本發(fā)明第二實(shí)施方式中的多路復(fù)用裝置的結(jié)構(gòu)的方框圖。 多路復(fù)用裝置100B包括幀延遲確定單元41，編碼單元42，存儲(chǔ)器 12，管理信息產(chǎn)生單元16，和多路復(fù)用單元18。
應(yīng)該指出，本實(shí)施方式的多路復(fù)用裝置100B的上述組件與圖8所示的傳統(tǒng)多路復(fù)用裝置中的相同組件被賦予了相同的參考標(biāo)號(hào)，并且不再對(duì) 這些組件進(jìn)行描述。
幀延遲確定單元41確定編碼流的幀延遲，并向編碼單元42和管理信 息產(chǎn)生單元16輸出延遲信息dlylnf。在此確定的幀延遲可以是應(yīng)用標(biāo)準(zhǔn)預(yù) 定的值，或者可以針對(duì)多路復(fù)用裝置設(shè)置，或由用戶(hù)設(shè)置。編碼單元42 根據(jù)延遲信息dlylnf指示的幀延遲來(lái)對(duì)輸入的運(yùn)動(dòng)畫(huà)面數(shù)據(jù)Vin進(jìn)行編 碼，然后把編碼的數(shù)據(jù)strln存儲(chǔ)到存儲(chǔ)器12中。換句話說(shuō)，編碼單元42 以使隨機(jī)存取單元的單元中的幀延遲彼此相等的方式產(chǎn)生一個(gè)或多個(gè)編 碼數(shù)據(jù)strln，以致在按順序?qū)ψ鳛橐粋€(gè)或多個(gè)編碼數(shù)據(jù)strln中包括的存 取單元(其編碼數(shù)據(jù)或碼片)的兩個(gè)特定的存取單元解碼時(shí)，使這些存取 單元的連接中不出現(xiàn)間隙。應(yīng)該指出，防止在解碼時(shí)這些存取單元的連接 中出現(xiàn)間隙是指防止畫(huà)面的顯示間隔中出現(xiàn)間隙，防止畫(huà)面的解碼間隔中 出現(xiàn)交迭。
管理信息產(chǎn)生單元16根據(jù)對(duì)從存儲(chǔ)器12讀出的編碼數(shù)據(jù)strOutl和 延遲信息dlylnf的分析結(jié)果來(lái)產(chǎn)生管理信息庫(kù)，作為讀出數(shù)據(jù)strOutl和 延遲信息dlylnf，然后將管理信息庫(kù)輸出到多路復(fù)用單元18。
多路復(fù)用單元18復(fù)用(i)管理庫(kù)，(ii)已經(jīng)從存儲(chǔ)器12讀出的讀 出數(shù)據(jù)strOut2，和(iii)諸如由用戶(hù)設(shè)置信息之類(lèi)從編碼數(shù)據(jù)分開(kāi)獲得的 附加信息adlnf，然后輸出得到的復(fù)用數(shù)據(jù)MuxDat。
應(yīng)該指出，在由應(yīng)用標(biāo)準(zhǔn)等預(yù)先定義幀延遲的情況下，多路復(fù)用裝置 100B可以具有不包括幀延遲確定單元41的結(jié)構(gòu)，可以代替的是，編碼單 元42根據(jù)固定的幀延遲來(lái)執(zhí)行編碼處理。在幀延遲在編碼流中不變的條 件下，能夠在管理信息中不包括幀延遲信息的情況下確定播放時(shí)的幀延 遲。因此，不需要在管理信息總是指示幀延遲信息。
由于由多路復(fù)用裝置以這種方式輸出復(fù)用數(shù)據(jù)的情況下復(fù)用數(shù)據(jù)中 要存儲(chǔ)在的編碼流中的幀延遲是不可變的，因此各個(gè)碼片的幀延遲也是不 可變的。因此，即使在改變碼片的情況下，也能夠在開(kāi)始播放時(shí)在顯示中 無(wú)縫地播放編碼流，而不需要調(diào)節(jié)幀延遲。
應(yīng)該指出，在上述實(shí)施方式中，可以采用除MPEG-4AVC外的編碼方案，只要其定義幀延遲是可變的。
另外，可以在無(wú)縫連接或無(wú)縫多角度播放中按順序播放的這些隨機(jī)存 取單元(編碼流或碼片)的幀延遲不可變。在此，無(wú)縫連接是指無(wú)縫地連 接相同流或不同流中包括的碼片。另外，無(wú)縫多角度播放是指連接編碼流 中包括的、其角度彼此不同的碼片，并且改變這些角度。例如，可以在從 開(kāi)始時(shí)間到第30秒的時(shí)間段期間采用一種角度，并在從第30秒到第60 秒的時(shí)間段期間選擇多個(gè)角度來(lái)進(jìn)行播放。此時(shí)，表示不同角度的每個(gè)碼 片具有相同的幀延遲。另外，可以使每個(gè)角度的幀延遲不變，而與其是否 能夠無(wú)縫地進(jìn)行多角度播放無(wú)關(guān)。這是由于，在多角度播放時(shí)幀延遲以角 度為單位改變的情況下，再現(xiàn)質(zhì)量是可改變的。應(yīng)該指出，可以對(duì)編碼流 進(jìn)行這種無(wú)縫連接或無(wú)縫多角度播放。
應(yīng)該指出，可以要求無(wú)縫連接或多角度播放中使用的每個(gè)存取單元滿(mǎn) 足下列條件能夠不參考比第一存取單元早解碼的第二存取單元中的畫(huà)面
來(lái)對(duì)第一存取單元中的任意畫(huà)面解碼。象這樣的存取單元對(duì)應(yīng)于MPEG-2 中的封閉GOP，或MPEG-4 AVC中以IDR畫(huà)面開(kāi)始的隨機(jī)存取單元RAU。 因此，可以使能夠參考相同存取單元內(nèi)的畫(huà)面對(duì)其組成畫(huà)面解碼的存取單 元中的幀延遲不可變。
另外，在使上面描述的無(wú)縫連接等中按順序播放的這些存取單元的幀 延遲不可變的情況下，多路復(fù)用裝置預(yù)先判斷是否應(yīng)該對(duì)應(yīng)該產(chǎn)生的這些 存取單元進(jìn)行無(wú)縫連接或無(wú)縫多角度播放。此后，在多路復(fù)用裝置判斷這 些存取單元應(yīng)該是目標(biāo)的情況下，以使目標(biāo)隨機(jī)存取單元的幀延遲彼此相 等的方式進(jìn)行編碼，以產(chǎn)生編碼流。例如，在對(duì)兩個(gè)編碼流進(jìn)行無(wú)縫連接 等的情況下，產(chǎn)生向后編碼流，以使向后編碼流的幀延遲與向前編碼流的 幀延遲相等。
另外，管理信息庫(kù)中包括的幀延遲信息可以指示針對(duì)諸如無(wú)縫連接之 類(lèi)的特定存取單元(編碼流或碼片)的幀延遲是共同。另外，也可以是指 示存取單元可以變成無(wú)縫連接的目標(biāo)，多角度播放等的標(biāo)記。這樣的標(biāo)記 被存儲(chǔ)在播放列表，時(shí)間映射等中，作為指示連接屬性的信息。(第三實(shí)施方式)
圖18是表示本發(fā)明第三實(shí)施方式中的解復(fù)用裝置的操作的流程圖。 解復(fù)用裝置輸入和播放由第一和第二實(shí)施方式中的多路復(fù)用裝置產(chǎn)生的 多路復(fù)用數(shù)據(jù)。
首先，在步驟501，解復(fù)用裝置對(duì)復(fù)用數(shù)據(jù)解復(fù)用，以獲得管理信息， 并獲得與要播放的碼片有關(guān)的信息。根據(jù)由來(lái)自用戶(hù)的指令，或管理信息 中的播放列表等預(yù)定的播放順序來(lái)確定要播放的碼片。
接下來(lái)，在步驟502，獲得在步驟501被確定為要播放碼片的碼片幀 延遲信息，并進(jìn)展到步驟503。在步驟503，根據(jù)在步驟502獲得的幀延 遲信息確定在播放碼片時(shí)的幀延遲。
在步驟504和步驟505，解碼并顯示碼片中的畫(huà)面，直到碼片中最后 的畫(huà)面。在此，在通過(guò)用戶(hù)操作指令播放結(jié)束的情況下，在該指令變?yōu)橛?效時(shí)結(jié)束播放。應(yīng)該指出，在步驟501至步驟503中，只在改變屬于不同 編碼流的碼片時(shí)可以確定幀延遲。
圖19是顯示圖18的步驟503中的播放期間確定幀延遲時(shí)的操作的流 程圖。
首先，在步驟601，解復(fù)用裝置判斷包括在解復(fù)用數(shù)據(jù)中的編碼流的 幀延遲是否不可變。在幀延遲不可變的情況下，流程進(jìn)展到步驟603。相 反，在幀延遲可變的情況下，流程進(jìn)展到步驟602。
在步驟603，確定播放具有共同幀延遲的復(fù)用數(shù)據(jù)中的編碼流。在步 驟602，判斷按順序要播放的碼片的幀延遲是否不可變。在幀延遲不可變 的情況下，流程進(jìn)展到步驟604。相反，在幀延遲可變的情況下，流程進(jìn) 展到步驟605。在步驟604，確定根據(jù)播放中頂部碼片的幀延遲來(lái)播放編 碼流。在步驟605，確定調(diào)節(jié)播放中的幀延遲。下面描述可用于在播放中 調(diào)節(jié)幀延遲的方法。
1. 調(diào)節(jié)要播放碼片的幀延遲中的最大幀延遲。
2. 剛剛播放的碼片的幀延遲。
3. 使用預(yù)定的幀延遲。
在能夠確定要播放的碼片的情況下，第一種方法特別有效。在由用戶(hù)指令動(dòng)態(tài)改變要播放的碼片的情況下，第二種方法特別有效。另外，在能 夠從復(fù)用數(shù)據(jù)的管理信息，或編碼流中的信息，或由應(yīng)用標(biāo)準(zhǔn)獲得幀延遲 的最大值的情況下，第三種方法有效。另外，可以使用為該裝置預(yù)定的幀 延遲。
圖20C和20D分別示出了第一和第二種方法的實(shí)施例。圖20C示出 了在具有一幀延遲的碼片1之后播放具有兩幀延遲的碼片2的實(shí)施例。在 此，播放碼片1時(shí)的幀延遲是2。圖20D示出了正在播放具有兩幀延遲的 碼片2時(shí)由用戶(hù)指令改變到具有一幀延遲的碼片1的實(shí)施例。此時(shí)，碼片 1的幀延遲最初是1，根據(jù)碼片2的幀延遲，在碼片1的幀延遲是2的前 提下對(duì)其進(jìn)行播放。以這種方式確定幀延遲，使得能夠在播放編碼流時(shí)在 碼片1和碼片2之間進(jìn)行改變的位置的顯示間隔中不出現(xiàn)間隙。
應(yīng)該指出，可能存在復(fù)用數(shù)據(jù)中的編碼流的幀延遲彼此相等時(shí)，解復(fù) 用數(shù)據(jù)中沒(méi)有給出幀延遲信息的情況，如第二實(shí)施方式中所示。在象這樣 播放復(fù)用數(shù)據(jù)的情況下不需要步驟502中的過(guò)程。另外，優(yōu)選的是，在步 驟503中開(kāi)始顯示時(shí)確定幀延遲的情況下，調(diào)節(jié)播放中頂部碼片的幀延遲。
另外，在由應(yīng)用標(biāo)準(zhǔn)等定義幀延遲的最大值的情況下，解復(fù)用裝置可 以一直根據(jù)預(yù)定義的最大值來(lái)播放復(fù)用數(shù)據(jù)。
圖21是顯示第三實(shí)施方式的解復(fù)用裝置的結(jié)構(gòu)的方框圖。
解復(fù)用裝置200包括管理信息解復(fù)用單元51 ，碼片信息分析單元52， 幀延遲確定單元53，解碼單元54，和顯示單元55。
管理信息解復(fù)用單元51從諸如光盤(pán)之類(lèi)的復(fù)用數(shù)據(jù)記錄介質(zhì)讀出復(fù) 用數(shù)據(jù)MuxDat，分析管理信息，并根據(jù)用戶(hù)指令或預(yù)定方法來(lái)確定要播 放的碼片。此后，管理信息解復(fù)用單元51向碼片信息分析單元52輸出碼 片信息Clip，作為與確定的碼片有關(guān)的信息。
碼片信息分析單元52向解碼單元24輸出用于存取組成碼片的畫(huà)面的 存取信息acs。另外，碼片信息分析單元52獲得要播放的碼片的延遲信息 dly，并將延遲信息dly輸出到幀延遲確定單元53。
解碼單元24根據(jù)存取信息acs，從復(fù)用數(shù)據(jù)記錄介質(zhì)讀出視頻數(shù)據(jù) Vdat，對(duì)視頻數(shù)據(jù)Vdat解碼，然后向顯示單元54輸出解碼結(jié)果decOut。幀延遲確定單元53確定播放時(shí)的幀延遲，并向顯示單元54輸出延遲T。
顯示單元54根據(jù)延遲T來(lái)顯示畫(huà)面。應(yīng)該指出，可能存在如第二實(shí) 施方式所示，在復(fù)用數(shù)據(jù)中的編碼流的幀延遲彼此相等的情況下，復(fù)用數(shù) 據(jù)中沒(méi)有給出幀延遲信息的情況。在象這樣播放復(fù)用數(shù)據(jù)的情況下，解復(fù) 用裝置可以具有不包括幀延遲確定單元53的結(jié)構(gòu)。
另外，在對(duì)這些存取單元進(jìn)行無(wú)縫連接或多角度播放時(shí)，雖然在播放 列表等中給出的連續(xù)播放單元的幀延遲是不可變的，在不保證無(wú)縫連接的 情況下，在連接處的幀延遲是可變的。在復(fù)用數(shù)據(jù)的管理信息不包括指示 此時(shí)的幀延遲的信息的情況下，可以在解碼單元24中獲得存取單元的幀 延遲，可以把獲得的幀延遲輸入到幀延遲確定單元53。在此，在幀延遲不 可變的播放區(qū)中，根據(jù)播放順序中頂部的存取單元的幀延遲來(lái)確定該幀延 遲。相反，在幀延遲可變的播放區(qū)中，幀延遲確定單元調(diào)節(jié)播放時(shí)的幀延 遲。應(yīng)該指出，在上述任何情況中，可以應(yīng)用與應(yīng)用標(biāo)準(zhǔn)等中確定的幀延 遲的最大值相同的幀延遲。
(第四實(shí)施方式)
諸如多角度播放摘要播放之類(lèi)的功能對(duì)用于播放包媒體的光盤(pán)裝置 特別重要。在這里，要說(shuō)明將上述第一和第二實(shí)施方式中的多路復(fù)用裝置 輸出的復(fù)用數(shù)據(jù)記錄到作為下一代光盤(pán)的藍(lán)光盤(pán)(BD)中的例子。
首先，說(shuō)明BD-ROM的記錄格式。
圖22是指示BD-ROM的結(jié)構(gòu)，特別是作為盤(pán)介質(zhì)的BD盤(pán)104的結(jié) 構(gòu)，和存儲(chǔ)在盤(pán)中的數(shù)據(jù)的示意圖。存儲(chǔ)在BD盤(pán)104中的數(shù)據(jù)包括AV 數(shù)據(jù)103，諸如有關(guān)AV數(shù)據(jù)和AV播放順序的管理信息之類(lèi)的BD管理信 息102,和實(shí)現(xiàn)互動(dòng)性的BD播放程序101。在這里，為了方便，將BD盤(pán) 的說(shuō)明集中于用于播放電影的音頻和視頻內(nèi)容的AV應(yīng)用，但是可以對(duì)另 一種應(yīng)用進(jìn)行同樣的說(shuō)明。
圖23是顯示存儲(chǔ)在上述BD盤(pán)中的邏輯數(shù)據(jù)的目錄文件的結(jié)構(gòu)示意 圖。例如，如同DVD、 CD等一樣，BD盤(pán)具有從其內(nèi)周到其外周的記錄區(qū)，并具有在內(nèi)周的讀入和外周的讀出之間的、用于存儲(chǔ)邏輯數(shù)據(jù)的邏輯
地址空間。此外，在讀入內(nèi)側(cè)，具有叫作脈沖分割區(qū)(Burst Cutting Area) (BCA)的，只能由驅(qū)動(dòng)器讀出的專(zhuān)用區(qū)。由于這個(gè)區(qū)不能從應(yīng)用讀出， 所以可以將它用于，例如，版權(quán)保護(hù)技術(shù)。
文件系統(tǒng)信息(巻)存儲(chǔ)在邏輯地址空間的最前端，并且視頻數(shù)據(jù)之 類(lèi)的應(yīng)用數(shù)據(jù)也存儲(chǔ)在這里。如背景技術(shù)中所述，文件系統(tǒng)是例如UDF 或ISO9660,它允許如同正常PC的情況一樣讀出利用目錄結(jié)構(gòu)或文件結(jié) 構(gòu)存儲(chǔ)的邏輯數(shù)據(jù)。
在該實(shí)施方式中，作為BD盤(pán)上的目錄結(jié)構(gòu)和文件結(jié)構(gòu)，BDVIDEO 目錄緊接著路徑目錄(ROOT (根目錄))之下放置。這個(gè)目錄是存儲(chǔ)諸如 AV內(nèi)容或在BD中處理的管理信息(圖22中說(shuō)明的101， 102和103)之 類(lèi)的數(shù)據(jù)的目錄。
在BDVIDEO目錄之下，記錄著以下七個(gè)文件。
(i) BD.INFO (文件名是固定的)，這是一條"BD管理信息"，并且 是存儲(chǔ)有關(guān)整個(gè)BD盤(pán)的信息的文件。BD播放器首先讀出這個(gè)文件。
(ii) BD.PROG (文件名是固定的)，這是"BD播放程序"之一，并 且是存儲(chǔ)有關(guān)整個(gè)BD盤(pán)的播放控制信息的文件。
(iii) XXX.PL ("XXX"是可變的，而擴(kuò)展名"PL"是固定的)，這 是一條"BD管理信息"，并且是存儲(chǔ)作為腳本(播放序列)的播放列表信 息的文件。每個(gè)播放列表具有一個(gè)文件。
(iv) XXX.PROG ("XXX"是可變的，而擴(kuò)展名"PROG"是固定的)， 這是"BD播放程序"之一，并且是存儲(chǔ)根據(jù)播放列表準(zhǔn)備的播放控制信 息的文件。對(duì)應(yīng)播放列表是根據(jù)文件體名(根據(jù)"XXX"的匹配)識(shí)別的。
(v) YYY.VOB ("YYY"是可變的，而擴(kuò)展名"VOB"是固定的)， 這是"AV數(shù)據(jù)"之一，并且是存儲(chǔ)VOB (與背景技術(shù)中說(shuō)明的VOB相 同)的文件。每個(gè)VOB具有一個(gè)文件。
(vi) YYY.VOBI ("YYY"是可變的，而擴(kuò)展名"VOBI"是固定的)， 這是一條"BD管理信息"，并且是存儲(chǔ)有關(guān)作為AV數(shù)據(jù)的VOB的流管 理信息的文件。對(duì)應(yīng)播放列表是根據(jù)文件體名(根據(jù)"YYY"的匹配)識(shí)別的。
(vii) ZZZ.PNG ("ZZZ"是可變的，而擴(kuò)展名"PNG"是固定的)， 這是"AV"數(shù)據(jù)之一，并且是存儲(chǔ)用于構(gòu)成副標(biāo)題和菜單的圖像數(shù)據(jù)PNG (這是由V3C標(biāo)準(zhǔn)化的畫(huà)面格式，念作"ping")的文件。每個(gè)PNG圖像 具有一個(gè)文件。
以下參考圖24至圖29說(shuō)明BD導(dǎo)航數(shù)據(jù)的結(jié)構(gòu)(BD管理信息)。 圖24是顯示VOB管理信息文件("YYYVOBI")的內(nèi)部結(jié)構(gòu)的示意圖。
VOB管理信息具有VOB的流屬性信息(Attribute)和時(shí)間映射表 (TMAP)。流屬性具有視頻屬性(Video)和音頻屬性(Audio#0至 Audio#m)。更具體地講，在音頻流的情況下，由于VOB同時(shí)具有多個(gè)音 頻流，所以通過(guò)音頻流的號(hào)碼(Number)來(lái)指示數(shù)據(jù)字段的存在或不存在。
下面是分別存儲(chǔ)在字段中的視頻屬性(Video),和對(duì)應(yīng)字段可能具有 的值。
(i) 壓縮格式(Coding): MPEG-1; MPEG-2; MPEG-4;和MPEG-4AVC
(高級(jí)視頻編碼)。
(ii) 分辨率(Reslution): 1920x1080; 1440x1080; 1280x720; 720x480; 和720x565。
(iii) 寬高比(Aspect): 4比3;和16比9。
(iv) 幀速率(Framerate): 60; 59.94(60/1.001 ); 50; 30; 29.97(30/1.001); 25; 24;和23.976 (24/1.001)。
以下是分別存儲(chǔ)在字段中的音頻屬性(Audio),和相應(yīng)字段可能具有 的值。
(i) 壓縮格式(Coding): AC3; MPEG-1; MPEG-2;禾卩LPCM。
(ii) 聲道號(hào)(Ch): 1至8。
(iii) 語(yǔ)言屬性(Language):
時(shí)間映射表(TMAP)是用于存儲(chǔ)基于VOBU的信息的表，并且具有 VOB具有的VOBU數(shù)量和相應(yīng)的VOBU信息條(VOBU#l至VOBU#n)。 各VOBU信息條包括作為VOBU的最前端TS數(shù)據(jù)分組的地址(I畫(huà)面的開(kāi)始地址)的I—start，和直到I畫(huà)面的結(jié)束地址的偏離地址(I—end),禾口 I 畫(huà)面的播放開(kāi)始時(shí)間(PTS)。
圖25是顯示VOBU詳細(xì)情況的示意圖。
眾所周知，由于可以對(duì)MPEG視頻流執(zhí)行可變比特率壓縮以便高質(zhì)量 地記錄視頻流，所以播放時(shí)間與數(shù)據(jù)大小之間沒(méi)有正比性。另一方面，由 于在作為音頻壓縮標(biāo)準(zhǔn)的AC3中執(zhí)行固定比特率壓縮，所以可以從初等 表達(dá)式獲得時(shí)間與地址之間的關(guān)系。但是，在MPEG視頻數(shù)據(jù)的情況下， 每個(gè)幀具有固定的顯示時(shí)間，例如，在NTSC情況下， 一個(gè)幀具有1/29.97 秒的顯示時(shí)間，但是根據(jù)圖像特征，或壓縮中使用的畫(huà)面類(lèi)型，例如，I 畫(huà)面、P畫(huà)面、或B畫(huà)面，壓縮每個(gè)幀之后的數(shù)據(jù)大小極大地改變。因此， 在MPEG視頻流的情況下，不能利用初等表達(dá)式表示時(shí)間與地址之間的關(guān) 系。
如所預(yù)期的，在多路復(fù)用MPEG視頻數(shù)據(jù)的MPEG系統(tǒng)流中，艮P， 在VOB中，不能利用初等表達(dá)式表示時(shí)間與數(shù)據(jù)大小之間的關(guān)系。因此， 在VOB中用時(shí)間映射表(TMAP)將時(shí)間與地址聯(lián)系在一起。
以這種方式，在給出了時(shí)間信息的情況下，首先搜索時(shí)間所屬的 VOBU (按順序跟隨VOBU的PTS)，使緊挨著該時(shí)間之前的PTS跳入 TMAP具有的VOBU (由I—start指定的地址)，從該VOBU的最前端I畫(huà) 面開(kāi)始解碼，并且從對(duì)應(yīng)于該時(shí)間的畫(huà)面開(kāi)始顯示。
接下來(lái)，參考圖26說(shuō)明播放列表信息("XXX.PL")的內(nèi)部結(jié)構(gòu)。
播放列表信息包括單元列表(CdlList)和事件列表(EventList)。
單元列表(CdlList)是播放列表中的播放單元序列，并且各單元以這 個(gè)列表中指示的規(guī)定順序播放。單元列表(CdlList)的內(nèi)容是單元號(hào) (Number)和每個(gè)單元的信息(Cel說(shuō)l至Cell#n)。
單元信息(Cell#)具有VOB文件名(VOBName)，該VOB中的開(kāi) 始時(shí)間(In)和結(jié)束時(shí)間(Out),和副標(biāo)題(SubtitleTable)。在每個(gè)VOB 中將開(kāi)始時(shí)間(In)和結(jié)束時(shí)間(Out)表示為幀號(hào)。利用上述時(shí)間映射表 (TMAP)可以獲得播放所需的VOB數(shù)據(jù)的地址。
副標(biāo)題表(SubtitleTable)是存儲(chǔ)與VOB同步播放的副標(biāo)題信息的表。如同音頻的情況一樣，多種語(yǔ)言包括在副標(biāo)題中。副標(biāo)題表(SubtitleTable) 的第一信息包括語(yǔ)言號(hào)(Number)和隨后根據(jù)語(yǔ)言準(zhǔn)備的表(Language^ 至Language#k)0
每個(gè)語(yǔ)言表(Language#)包括語(yǔ)言信息(Lang)，要獨(dú)立顯示的副標(biāo) 題的副標(biāo)題信息條的號(hào)(Number),和要獨(dú)立顯示的副標(biāo)題的副標(biāo)題信息 (Speech#l至Speech#j)。副標(biāo)題信息(Speech#)包括圖像數(shù)據(jù)文件名 (Name),副標(biāo)題顯示開(kāi)始時(shí)間(In)，副標(biāo)題顯示結(jié)束時(shí)間(Out)，和副 標(biāo)題顯示位置(Position)。
事件列表(EventList)是定義播放列表中發(fā)生的每個(gè)事件的表。事件 列表包括事件號(hào)(Number)和各個(gè)事件(Event#l至Even說(shuō)m)。每個(gè)事件 (Event#)包括事件類(lèi)型(Type),事件ID (ID)，事件發(fā)生時(shí)間(Time), 和事件持續(xù)時(shí)間(Dumtion)。
圖27是具有根據(jù)播放列表準(zhǔn)備的事件處理程序(這是用于菜單選擇 的時(shí)間事件和用戶(hù)事件)的事件處理程序表("XXX.PROG")。
事件處理程序表包括定義的事件處理程序/程序號(hào)(Number),和相應(yīng) 的事件處理程序/程序(Program#l至Program#n)。每個(gè)事件處理程序/程 序(Progmm#)的內(nèi)容是事件處理程序的開(kāi)始的定義(<event_handler>tag) 和與早先說(shuō)明的事件ID組成對(duì)的事件處理程序ID (ID)，緊接著它的是 在跟隨在函數(shù)(Function)后面的"{ }"中說(shuō)明的程序。存儲(chǔ)在早先說(shuō)明 的"XXX.PL"的事件列表(EventList)中的事件(Event#l至Event#m) 是利用"XXX.PROG"的事件處理程序的ID (ID)指定的。
接下來(lái)，參考圖28說(shuō)明有關(guān)整個(gè)BD盤(pán)的信息("BD.INFO")的內(nèi) 部結(jié)構(gòu)。
有關(guān)整個(gè)BD盤(pán)的信息包括標(biāo)題列表(TitleList)和全局事件的事件 表(EventList)。
標(biāo)題列表(TitleList)包括盤(pán)的標(biāo)題號(hào)(Number)和跟隨在標(biāo)題號(hào)后 面的多條標(biāo)題信息(Title#l至Titled)。各條標(biāo)題信息(TMe#)包括被包 括在標(biāo)題中的播放序列表(PLTable)，和標(biāo)題中的章列表(ChapterList)。 播放序列表(PLTable)包括標(biāo)題中的播放列表的號(hào)(Number),和作為播放列表的文件名的播放列表名(Name)。
章列表(ChapterList)包括被包括在標(biāo)題中的章號(hào)(Number)和多條 章信息(Chapter#l至ChapteWn)。每條章信息(Chapter#)包括被包括在 該章中的單元表(CellTable)，單元表(CdlTable)包括單元號(hào)(Number) 和多條單元項(xiàng)信息(CellEntry#l至CellEntry#k)。單元項(xiàng)信息(CellEntry#) 包括播放列表名，播放列表名包括該播放列表中的單元和單元號(hào)。
事件列表(EvenList)包括全局事件號(hào)(Number)和多條全局事件。 應(yīng)當(dāng)注意，首先定義的全局事件叫做第一事件(Firsffivent)，并且是BD 插入播放器后首先調(diào)用的事件。全局事件的事件信息僅有一個(gè)事件類(lèi)型 (Type)和一個(gè)事件ID (ID)。
圖29是全局事件處理程序的程序的表("BD.PROG")。該表的內(nèi)容與 圖27中說(shuō)明的事件處理程序表的內(nèi)容相同。
在第一和第二實(shí)施方式中的多路復(fù)用裝置的復(fù)用輸出數(shù)據(jù)使用象上 述這樣的BD-ROM的情況下，VOBU由一個(gè)或多個(gè)隨機(jī)存取單元RAU組 成，在播放列表中規(guī)定了碼片的播放順序。在此，可以由BD管理信息給 出幀顯示信息。例如，可以把幀延遲信息存儲(chǔ)在播放列表的播放條目中， 或指示諸如EP映射之類(lèi)的地址信息的表中。幀延遲信息也可以存儲(chǔ)在指 示編碼流的屬性信息的表中。另外，在指示(i)在存儲(chǔ)在復(fù)用數(shù)據(jù)中的編 碼流的幀延遲的最大值，(ii)在所有編碼流等間共同的幀延遲的情況下， 可以指示幀延遲作為比與各個(gè)編碼流有關(guān)的信息高的信息。
應(yīng)該指出，可以根據(jù)與播放列表或預(yù)定順序不同的信息來(lái)確定碼片的 播放順序。
應(yīng)該指出，可以將諸如EP映射之類(lèi)的存取信息存儲(chǔ)在表中作為二進(jìn) 制數(shù)據(jù)，或呈可以是XML (可擴(kuò)展標(biāo)記語(yǔ)言)等的文本數(shù)據(jù)的形式。
(第五實(shí)施方式)
圖30是大致示出播放與第五實(shí)施方式有關(guān)的BD盤(pán)的播放器的功能 結(jié)構(gòu)的方框圖。
通過(guò)光拾取頭202讀出BD盤(pán)201上的數(shù)據(jù)。根據(jù)相應(yīng)數(shù)據(jù)的類(lèi)型，將讀出的數(shù)據(jù)發(fā)送到專(zhuān)用存儲(chǔ)器。將BD播放程序("BD.PROG"或 "XXX.PROG"的內(nèi)容)發(fā)送到程序存儲(chǔ)器203。另外，把BD管理信息 ("BD.INFO"， "XXX.PL"或"YYY.VOBI")發(fā)送到管理信息存儲(chǔ)器204。 還將AV數(shù)據(jù)("YYY.VOB"或"ZZZ.PNG")發(fā)送到AV存儲(chǔ)器205。
程序處理單元206處理記錄在程序存儲(chǔ)器203中的BD播放程序。另 外，管理信息處理單元207處理記錄在管理信息存儲(chǔ)器204中的BD管理 信息。顯現(xiàn)處理單元208處理記錄在AV存儲(chǔ)器205中的AV數(shù)據(jù)。
程序處理單元206接收管理信息處理單元207要播放的播放列表的信 息，和諸如程序的執(zhí)行定時(shí)之類(lèi)的事件信息，并執(zhí)行程序的處理。另外， 可以動(dòng)態(tài)地改變程序要播放的播放列表。這可以通過(guò)將播放列表的播放指 令發(fā)送到管理信息處理單元207來(lái)實(shí)現(xiàn)。程序處理單元206接收來(lái)自用戶(hù) 的事件，也就是說(shuō)，通過(guò)遙控器接收請(qǐng)求，并且在具有對(duì)應(yīng)于用戶(hù)事件的 程序的情況下，執(zhí)行該程序。
管理信息處理單元207接收來(lái)自程序處理單元206的指令，分析播放 列表和對(duì)應(yīng)于播放列表的VOB的管理信息，并指令顯現(xiàn)處理單元208播 放目標(biāo)AV數(shù)據(jù)。管理信息處理單元207還接收來(lái)自顯現(xiàn)處理單元208的 標(biāo)準(zhǔn)時(shí)間信息，根據(jù)時(shí)間信息指令顯現(xiàn)處理單元208停止播放AV數(shù)據(jù)。 此外，管理信息處理單元207產(chǎn)生一個(gè)事件，以把程序執(zhí)行定時(shí)通知給程 序處理單元206。
顯現(xiàn)處理單元208具有能夠分別處理視頻、音頻、副標(biāo)題/圖像(靜止 畫(huà)面)的解碼器。它根據(jù)來(lái)自管理信息處理單元207的指令，解碼和輸出 AV數(shù)據(jù)。在視頻數(shù)據(jù)，和副標(biāo)題/圖像的情況下，將它們解碼，然后提供 到對(duì)應(yīng)的專(zhuān)用平面上，即，視頻平面210和圖像平面209上。此后，合成 處理單元211對(duì)視頻執(zhí)行合成處理，和將視頻輸出到TV之類(lèi)的顯示裝置。
在多角度播放或摘要播放時(shí)，顯現(xiàn)處理單元208翻譯用戶(hù)請(qǐng)求的多角 度播放或摘要播放的操作，并將與角度可變點(diǎn)等有關(guān)的信息通知給管理信 息處理單元207。管理信息處理單元207根據(jù)要播放的碼片的幀延遲信息 來(lái)確定播放時(shí)的幀延遲，并將該幀延遲通知給顯現(xiàn)處理單元208。
可以將諸如EP映射之類(lèi)的存取信息存儲(chǔ)在表中作為二進(jìn)制數(shù)據(jù)，或呈可以是XML (可擴(kuò)展標(biāo)記語(yǔ)言)等的文本數(shù)據(jù)的形式。 (第六實(shí)施方式)
另外，通過(guò)把用于實(shí)現(xiàn)上述實(shí)施方式中給出的復(fù)用方法和解復(fù)用方法 的程序記錄到諸如軟盤(pán)之類(lèi)的記錄介質(zhì)上，能夠很容易地在獨(dú)立的計(jì)算機(jī) 系統(tǒng)中執(zhí)行各個(gè)實(shí)施方式中給出的處理。
圖31C示出了計(jì)算機(jī)系統(tǒng)如何使用諸如軟盤(pán)之類(lèi)的記錄介質(zhì)中記錄 的程序來(lái)執(zhí)行本實(shí)施方式中的運(yùn)動(dòng)畫(huà)面編碼方法和運(yùn)動(dòng)畫(huà)面解碼方法。
圖31A示出了作為記錄介質(zhì)的軟盤(pán)的物理格式的例子。圖31B示出 了軟盤(pán)以及該軟盤(pán)外觀的正示意圖和橫截面圖。軟盤(pán)(FD)容納在外殼F 中，從盤(pán)的外周到內(nèi)周在盤(pán)的表面上同心地形成有多個(gè)軌道(Tr)，并且 每個(gè)軌道在角度方向上被分割成16個(gè)扇區(qū)(Se)。因此，在軟盤(pán)存儲(chǔ)上述 程序的情況下，程序被存儲(chǔ)在軟盤(pán)(FD)上分配給它的區(qū)中。
此外，圖31C示出了記錄和播放軟盤(pán)上的程序的結(jié)構(gòu)。在把用于實(shí)現(xiàn) 多路復(fù)用方法和解復(fù)用方法的上述程序記錄在軟盤(pán)FD上的情況下，計(jì)算 機(jī)系統(tǒng)Cs通過(guò)軟盤(pán)驅(qū)動(dòng)器將程序?qū)懺谲洷P(pán)上。在利用軟盤(pán)中的程序構(gòu)造 上述用于實(shí)現(xiàn)多路復(fù)用方法和解復(fù)用方法的多路復(fù)用裝置和解復(fù)用裝置 的情況下，通過(guò)軟盤(pán)驅(qū)動(dòng)器從軟盤(pán)讀出程序，并將它發(fā)送到計(jì)算機(jī)系統(tǒng)。
應(yīng)當(dāng)注意，上述說(shuō)明是利用軟盤(pán)作為記錄介質(zhì)進(jìn)行的，但是，程序可 以記錄在光盤(pán)上。此外，記錄介質(zhì)不限于此，也可以使用諸如IC卡，ROM 盒之類(lèi)的另外的記錄介質(zhì)，只要它能夠記錄程序。
至此，根據(jù)上述各種實(shí)施方式說(shuō)明了與本發(fā)明有關(guān)的多路復(fù)用裝置， 解復(fù)用裝置，BD盤(pán)播放器等，但是本發(fā)明不限于這些實(shí)施方式。本發(fā)明 包括熟悉本領(lǐng)域的人員根據(jù)這些實(shí)施方式可以想到的各種改變，并且這些 改變?cè)诒景l(fā)明的技術(shù)主題的范圍內(nèi)。
例如，本發(fā)明包括以下裝置(i)光盤(pán)記錄裝置，該光盤(pán)記錄裝置包 括本實(shí)施方式中的多路復(fù)用裝置，運(yùn)動(dòng)畫(huà)面發(fā)送裝置；數(shù)字電視廣播裝置； Web服務(wù)器；通信裝置，移動(dòng)信息終端等；和(ii)運(yùn)動(dòng)畫(huà)面接收裝置， 該運(yùn)動(dòng)畫(huà)面接收裝置包括本實(shí)施方式中的解復(fù)用裝置；數(shù)字電視廣播接收裝置；通信裝置；移動(dòng)信息終端，等等。
應(yīng)當(dāng)注意，(圖14、圖17、和圖21等)的方框圖的各功能塊一般以 作為集成電路的大規(guī)模集成電路的LSI來(lái)實(shí)現(xiàn)。每個(gè)功能塊可以制成為芯 片。另外，可以將一個(gè)， 一些，或全部功能塊集成到一個(gè)芯片中(例如， 可以將除了存儲(chǔ)器之外的功能塊制造成一個(gè)芯片)。
在這里，將電路稱(chēng)為L(zhǎng)SI，但是，根據(jù)集成度，可以稱(chēng)之為集成電路 (IC)、系統(tǒng)LSI、超LSI、或超大LSI。
此外，制造成集成電路的方法不限于此，也可以通過(guò)專(zhuān)用電路或通用 處理器來(lái)實(shí)現(xiàn)。此外，在制造LSI或能夠重新配置LSI中的電路單元的連 接或設(shè)置的可重配置處理器之后，可以使用可編程的可現(xiàn)場(chǎng)編程門(mén)陣列 (FPGA)。
此外，在半導(dǎo)體技術(shù)進(jìn)一步發(fā)展或出現(xiàn)了任何派生技術(shù)，導(dǎo)致可以考 慮替代LSI的集成電路制造方法時(shí)，自然可以用這種技術(shù)集成這些功能塊。 生物技術(shù)的應(yīng)用是有可能的。
此外，在各功能塊中，可以獨(dú)立地配置存儲(chǔ)要編碼或記錄的數(shù)據(jù)的裝 置，而不是集成在一個(gè)芯片中。
盡管以上僅詳細(xì)說(shuō)明了本發(fā)明的示例實(shí)施方式，熟悉本領(lǐng)域的人員應(yīng) 當(dāng)知道，可以對(duì)示例實(shí)施方式進(jìn)行多種修改而不脫離本發(fā)明的新的教導(dǎo)和 優(yōu)點(diǎn)。因此，所有這些修改包括在本發(fā)明的范圍內(nèi)。
工業(yè)實(shí)用性
本發(fā)明的多路復(fù)用方法和解復(fù)用方法可以應(yīng)用于具有諸如多角度播 放和摘要播放之類(lèi)的特技播放功能的一般裝置，因此它們?cè)诙嗦稭PEG-4 AVC編碼流的包媒體的播放中特別有效。
權(quán)利要求
1.一種多路復(fù)用裝置，用于將一個(gè)或多個(gè)編碼流與另一信息多路復(fù)用，所述一個(gè)或多個(gè)編碼流包括可隨機(jī)存取的存取單元，每個(gè)存取單元由多個(gè)編碼畫(huà)面構(gòu)成，所述多路復(fù)用裝置包括編碼單元，用于以在依次對(duì)兩個(gè)存取單元解碼時(shí)，通過(guò)使各個(gè)存取單元中的延遲量相等，使得在兩個(gè)存取單元的連接處顯示的畫(huà)面之間不出現(xiàn)間隙或交迭的方式產(chǎn)生所述一個(gè)或多個(gè)編碼流，所述兩個(gè)存取單元是從所述一個(gè)或多個(gè)編碼流中包括的存取單元中任意選擇的，所述延遲量各指示從按解碼順序?qū)敳慨?huà)面解碼時(shí)起到按顯示順序顯示頂部畫(huà)面時(shí)的時(shí)延；和多路復(fù)用單元，用于把所述另一信息與所述一個(gè)或多個(gè)編碼流多路復(fù)用，所述另一信息包括指示所述兩個(gè)存取單元是否能夠被無(wú)縫連接的標(biāo)記，所述一個(gè)或多個(gè)編碼流是由所述編碼單元產(chǎn)生的，其中所述編碼單元用于將所述延遲量限制為小于等于預(yù)定閾值。
2. —種多路復(fù)用方法，用于將一個(gè)或多個(gè)編碼流與另一信息多路復(fù)用，所述一個(gè)或多個(gè)編碼流包括可隨機(jī)存取的存取單元，每個(gè)存取單元由多個(gè)編碼畫(huà)面構(gòu)成，所述多路復(fù)用方法包括編碼步驟，用于以在依次對(duì)兩個(gè)存取單元解碼時(shí)，通過(guò)使各個(gè)存取單元中的延遲量相等，使得在兩個(gè)存取單元的連接處顯示的畫(huà)面之間不出現(xiàn)間隙或交迭的方式產(chǎn)生所述編碼流，所述兩個(gè)存取單元是從所述一個(gè)或多個(gè)編碼流中包括的存取單元中任意選擇的，所述延遲量各指示從按解碼順序?qū)敳慨?huà)面解碼時(shí)起到按顯示順序顯示頂部畫(huà)面時(shí)的時(shí)延；和多路復(fù)用步驟，用于把所述另一信息與所述一個(gè)或多個(gè)編碼流多路復(fù)用，所述另一信息包括指示所述兩個(gè)存取單元是否能夠被無(wú)縫連接的標(biāo)記，所述一個(gè)或多個(gè)編碼流是在所述編碼步驟中產(chǎn)生的，其中在所述編碼步驟中，所述延遲量被限制為小于等于預(yù)定閾值。
3. —種解復(fù)用裝置，對(duì)多路復(fù)用數(shù)據(jù)進(jìn)行解復(fù)用，所述解復(fù)用裝置包括標(biāo)記解復(fù)用單元，用于從多路復(fù)用數(shù)據(jù)解復(fù)用出標(biāo)記，所述多路復(fù)用數(shù)據(jù)包括具有可隨機(jī)存取的存取單元的一個(gè)或多個(gè)編碼流，每個(gè)存取單元由多個(gè)編碼畫(huà)面構(gòu)成；和另一信息，所述另一信息包括指示在依次對(duì)存取單元中的任意兩個(gè)存取單元解碼時(shí)，是否能夠無(wú)縫連接所述兩個(gè)存取單元的標(biāo)記；確定單元，用于在由所述標(biāo)記解復(fù)用單元解復(fù)用的標(biāo)記指示能夠無(wú)縫連接所述兩個(gè)存取單元時(shí)，確定根據(jù)解碼延遲播放所述兩個(gè)存取單元，所述解碼延遲指示首先被播放的存取單元中首先被解碼的畫(huà)面的解碼時(shí)間與首先被播放的存取單元中首先被顯示的畫(huà)面的顯示時(shí)間之間的時(shí)延；和播放單元，用于利用所述解碼延遲，依次解碼和播放所述兩個(gè)存取單元，其中所述解碼延遲被限制為小于等于預(yù)定閾值。
4. 一種解復(fù)用方法，對(duì)多路復(fù)用數(shù)據(jù)進(jìn)行解復(fù)用，所述解復(fù)用方法包括標(biāo)記解復(fù)用步驟，用于從多路復(fù)用數(shù)據(jù)解復(fù)用出標(biāo)記，所述多路復(fù)用數(shù)據(jù)包括具有可隨機(jī)存取的存取單元的一個(gè)或多個(gè)編碼流，每個(gè)存取單元由多個(gè)編碼畫(huà)面構(gòu)成；和另一信息，所述另一信息包括指示在依次對(duì)存取單元中的任意兩個(gè)存取單元解碼時(shí)，是否能夠無(wú)縫連接所述兩個(gè)存取單元的標(biāo)記；確定步驟，在所述標(biāo)記解復(fù)用步驟中解復(fù)用的標(biāo)記指示能夠無(wú)縫連接所述兩個(gè)存取單元時(shí)，確定根據(jù)解碼延遲播放所述兩個(gè)存取單元，所述解碼延遲指示首先被播放的存取單元中首先被解碼的畫(huà)面的解碼時(shí)間與首先被播放的存取單元中首先被顯示的畫(huà)面的顯示時(shí)間之間的時(shí)延；和播放步驟，利用所述解碼延遲，依次解碼和播放所述存取單元，其中所述解碼延遲被限制為小于等于預(yù)定閾值。
5. —種在計(jì)算機(jī)可讀記錄介質(zhì)中記錄包括一個(gè)或多個(gè)編碼流和另一信息的多路復(fù)用數(shù)據(jù)的方法，所述一個(gè)或多個(gè)編碼流包括可隨機(jī)存取的存取單元，每個(gè)存取單元由多個(gè)編碼畫(huà)面構(gòu)成，所述記錄方法包括編碼步驟，用于以在依次對(duì)兩個(gè)存取單元解碼時(shí)，通過(guò)使各個(gè)存取單元中的延遲量相等，使得在兩個(gè)存取單元的連接處顯示的畫(huà)面之間不出現(xiàn)間隙或交迭的方式產(chǎn)生所述編碼流，所述兩個(gè)存取單元是從所述一個(gè)或多個(gè)編碼流中包括的存取單元中任意選擇的，所述延遲量各指示從按解碼順序?qū)敳慨?huà)面解碼時(shí)起到按顯示順序顯示頂部畫(huà)面時(shí)的時(shí)延；多路復(fù)用步驟，用于把所述另一信息與所述一個(gè)或多個(gè)編碼流多路復(fù)用，所述另一信息包括指示所述兩個(gè)存取單元是否能夠被無(wú)縫連接的標(biāo)記，所述一個(gè)或多個(gè)編碼流是在所述編碼步驟中產(chǎn)生的；和記錄步驟，在所述記錄介質(zhì)中記錄在所述多路復(fù)用步驟中進(jìn)行多路復(fù)用得到的多路復(fù)用數(shù)據(jù)，其中在所述編碼步驟中，所述延遲量被限制為小于等于預(yù)定閾值。
6. —種記錄裝置，用于記錄包括一個(gè)或多個(gè)編碼流和另一信息的多路復(fù)用數(shù)據(jù)，所述一個(gè)或多個(gè)編碼流包括可隨機(jī)存取的存取單元，每個(gè)存取單元由多個(gè)編碼畫(huà)面構(gòu)成，所述記錄裝置包括編碼單元，用于以在依次對(duì)兩個(gè)存取單元解碼時(shí)，通過(guò)使各個(gè)存取單元中的延遲量相等，使得在兩個(gè)存取單元的連接處顯示的畫(huà)面之間不出現(xiàn)間隙或交迭的方式產(chǎn)生所述編碼流，所述兩個(gè)存取單元是從所述一個(gè)或多個(gè)編碼流中包括的存取單元中任意選擇的，所述延遲量各指示從按解碼順序?qū)敳慨?huà)面解碼時(shí)起到按顯示順序顯示頂部畫(huà)面時(shí)的時(shí)延；和多路復(fù)用單元，用于把所述另一信息與所述一個(gè)或多個(gè)編碼流多路復(fù)用，所述另一信息包括指示所述兩個(gè)存取單元是否能夠被無(wú)縫連接的標(biāo)記，所述一個(gè)或多個(gè)編碼流是由所述編碼單元產(chǎn)生的，以及記錄單元，用于在記錄介質(zhì)中記錄由所述多路復(fù)用單元進(jìn)行多路復(fù)用得到的多路復(fù)用數(shù)據(jù)，其中所述編碼單元用于將所述延遲量限制為小于等于預(yù)定閾值。
全文摘要
一種不使觀看運(yùn)動(dòng)畫(huà)面的用戶(hù)感到不舒服的多路復(fù)用裝置，運(yùn)動(dòng)畫(huà)面包括(i)編碼單元(42)，以在對(duì)編碼流中包括的所有存取單元中的兩個(gè)存取單元按順序解碼的過(guò)程中，在兩個(gè)預(yù)定存取單元的連接處不出現(xiàn)間隙的方式產(chǎn)生一個(gè)或多個(gè)編碼流；和(ii)多路復(fù)用單元(18)，用于把其它信息與所述編碼單元(42)產(chǎn)生的所述編碼流進(jìn)行多路復(fù)用。
文檔編號(hào)H04N7/58GK101594541SQ20091015160
公開(kāi)日2009年12月2日 申請(qǐng)日期2005年6月1日 優(yōu)先權(quán)日2004年6月2日
發(fā)明者岡田智之, 角野真也, 遠(yuǎn)間正真 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社