專利名稱：視頻數(shù)據(jù)再生裝置、視頻數(shù)據(jù)生成裝置及記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種在被輸入多個視頻數(shù)據(jù)(video data)之后，輸出對將該多個視頻 數(shù)據(jù)解碼而得到多個解碼視頻進(jìn)行合成后的再生視頻的視頻數(shù)據(jù)再生裝置、以及用于將由 多個視頻數(shù)據(jù)得到的多個解碼視頻進(jìn)行合成來輸出再生視頻的該視頻數(shù)據(jù)的視頻數(shù)據(jù)生 成裝置等。
背景技術(shù)：
基于網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)的高速化和記錄介質(zhì)的大容量化，用戶或用戶使用的視頻設(shè)備 一次可處理的視頻數(shù)據(jù)的絕對量飛躍增加。伴隨于此，使用多個視頻數(shù)據(jù)實現(xiàn)的各種功能 或基于這些功能的高度應(yīng)用也正在不斷出現(xiàn)。在上述功能中有一種被稱作畫中畫的功能。 “畫中畫”是在畫面(母畫面)中重疊小的子畫面并同時顯示2個視頻的功能。上述畫中 畫功能例如被用于在子畫面中顯示從不同于母畫面視頻的角度拍攝的視頻，即“多角度顯 示”；以注釋形式顯示與母畫面的視頻相關(guān)的附加信息，即“注釋顯示”(例如顯示監(jiān)督的注 釋視頻等，該監(jiān)督的注釋視頻收錄了與視頻有關(guān)的拍攝密聞等)。該畫中畫功能如圖17所示，例如可通過分別在2個不同的層上解碼兩個視頻數(shù) 據(jù)，并將這些解碼視頻重合的處理來實現(xiàn)。另外，圖18表示了畫中畫功能中的子畫面的視頻的顯示形態(tài)的不同，在子畫面上 除了矩形視頻1801之外，還可使用任意形狀的視頻1802。關(guān)于畫中畫的功能以及實現(xiàn)方 法，例如記載于專利文獻(xiàn)1等中。專利文獻(xiàn)1 日本特開2005-123775號公報在畫中畫中，可同時再生顯示兩個視頻。因此，當(dāng)進(jìn)行畫中畫顯示時，例如在對母 畫面的視頻指示了高速再生等的特殊再生的情況下，關(guān)于是按照母畫面的視頻對子畫面的 視頻進(jìn)行特殊再生還是不進(jìn)行特殊再生，一直以來沒有限制，這取決于再生設(shè)備的安裝。因 此，在提供視頻一側(cè)不能限制特殊再生時的動作。這里，所謂特殊再生是指除了 2倍速度、4 倍速度等視頻的高速再生之外，慢動作再生、逐幀再生(frame-by-fram印layback)、倒推再 生等不同于通常再生的視頻再生方式。圖19表示從提供者向消費者發(fā)送視頻內(nèi)容時的作為代表的3個途徑(廣播、通信 (網(wǎng)絡(luò))、數(shù)據(jù)包配送)。另外，作為復(fù)合型的發(fā)送機構(gòu)，能夠以廣播或數(shù)據(jù)包配送的方式輸 送基本部分，以通信(網(wǎng)絡(luò))輸送追加部分。當(dāng)如此從提供者向消費者發(fā)送含有畫中畫的 視頻時，根據(jù)用途(申請)的不同，需要在視頻提供者一側(cè)按照提供者的意圖指定畫中畫的 特殊再生時的再生方式。例如，子畫面中顯示的視頻是特權(quán)視頻(privilege video)，要求將視聽到最后也不能進(jìn)行高速再生作為視聽條件。對此，在以往的畫中畫中如上所述，特殊再生時的再生方 式由再生設(shè)備一側(cè)決定，沒有用于實現(xiàn)提供者側(cè)的上述要求的方法。

發(fā)明內(nèi)容
本發(fā)明鑒于上述問題而提出，其目的在于，提供一種對于畫中畫視頻的特殊再生 時的再生方式，能實現(xiàn)反映了提供者的意圖的再生方式的視頻數(shù)據(jù)再生裝置及視頻數(shù)據(jù)生 成裝置等。為了解決上述課題，第一發(fā)明提供一種視頻數(shù)據(jù)再生裝置，其被輸入多個視頻數(shù) 據(jù)，輸出將對解碼該多個視頻數(shù)據(jù)而得到的多個解碼視頻進(jìn)行合成而得到的再生視頻，包 括解碼單元，其對所述多個視頻數(shù)據(jù)進(jìn)行解碼，得到所述多個解碼視頻；合成單元，其對 所述多個解碼視頻進(jìn)行合成，得到所述再生視頻；指示信息讀出單元，其用于讀出指示信 息，該指示信息根據(jù)所述多個視頻數(shù)據(jù)的至少一個來指示所述再生視頻的再生方式；和管 理單元，其通過根據(jù)由所述指示信息讀出單元讀出的指示信息，控制所述解碼單元或所述 合成單元的至少一個的動作來管理所述再生方式。第二發(fā)明提供一種視頻數(shù)據(jù)再生裝置，其被輸入多個視頻數(shù)據(jù)和與該多個視頻數(shù) 據(jù)的至少一個相關(guān)的管理數(shù)據(jù)，輸出將對解碼該多個視頻數(shù)據(jù)而得到的多個解碼視頻進(jìn)行 合成而得到的再生視頻，包括解碼單元，其對所述多個視頻數(shù)據(jù)進(jìn)行解碼，得到所述多個 解碼視頻；合成單元，其對所述多個解碼視頻進(jìn)行合成，得到所述再生視頻；指示信息讀出 單元，其用于讀出指示信息，該指示信息根據(jù)所述管理數(shù)據(jù)來指示所述再生視頻的再生方 式；和管理單元，其通過根據(jù)由所述指示信息讀出單元讀出的指示信息，控制所述解碼單元 或所述合成單元的至少一個的動作來管理所述再生方式。第三發(fā)明根據(jù)第一或第二發(fā)明提出，其特征在于，所述再生視頻是畫中畫形式的 視頻。而且，第四發(fā)明根據(jù)第三發(fā)明提出，其特征在于，所述再生方式是指特殊再生時的 再生方式，所述指示信息是表示在所述畫中畫形式的視頻中母畫面的視頻被特殊再生時， 是否對子畫面的視頻進(jìn)行特殊再生的信息。并且，第五發(fā)明根據(jù)第三發(fā)明提出，其特征在于，所述再生方式是指特殊再生時的 再生方式，所述指示信息是表示在所述畫中畫形式的視頻中母畫面的視頻被特殊再生時， 是否顯示子畫面的視頻的信息。另外，第六發(fā)明根據(jù)第三發(fā)明提出，其特征在于，所述再生方式是指特殊再生時的 再生方式，所述指示信息是表示在所述畫中畫形式的視頻中子畫面的視頻被特殊再生時， 是否對母畫面的視頻進(jìn)行特殊再生的信息。第七發(fā)明根據(jù)第一或第二發(fā)明提出，其特征在于，所述再生視頻是雙畫面顯示形 式的視頻。此外，第八發(fā)明根據(jù)第七發(fā)明提出，其特征在于，所述再生方式是指特殊再生時的 再生方式，所述指示信息是表示在所述雙畫面顯示形式的視頻中一個視頻被特殊再生時， 是否對另一個視頻進(jìn)行特殊再生的信息。而且，第九發(fā)明根據(jù)第七發(fā)明提出，其特征在于，所述再生方式是指特殊再生時的 再生方式，所述指示信息是表示在所述雙畫面顯示形式的視頻中一個視頻被特殊再生時，是否顯示另一個視頻的信息。 第十發(fā)明提供一種視頻數(shù)據(jù)生成裝置，是在對由多個視頻數(shù)據(jù)得到的多個解碼視 頻進(jìn)行合成并輸出再生視頻中所利用的該視頻數(shù)據(jù)的視頻數(shù)據(jù)生成裝置，包括編碼單元， 其對輸入的視頻進(jìn)行編碼，得到編碼后的視頻數(shù)據(jù)；和指示信息寫入單元，其對所述視頻數(shù) 據(jù)寫入指示所述再生視頻的再生方式的指示信息。第十一發(fā)明提供一種視頻數(shù)據(jù)生成裝置，是在對由多個視頻數(shù)據(jù)得到的多個解碼 視頻進(jìn)行合成并輸出再生視頻中所利用的該視頻數(shù)據(jù)的視頻數(shù)據(jù)生成裝置，包括編碼單 元，其對輸入的視頻進(jìn)行編碼，得到編碼后的視頻數(shù)據(jù)；管理數(shù)據(jù)生成單元，其生成與所述 視頻數(shù)據(jù)相關(guān)的管理數(shù)據(jù)；和指示信息寫入單元，其對所述管理數(shù)據(jù)寫入指示所述再生視 頻的再生方式的指示信息。并且，第十二發(fā)明根據(jù)第十一發(fā)明提出，其特征在于，還包括多路復(fù)用數(shù)據(jù)生成單 元，其生成對所述視頻數(shù)據(jù)和寫入了所述指示信息的所述管理數(shù)據(jù)進(jìn)行多路復(fù)用而得到的 多路復(fù)用數(shù)據(jù)。另外，第十三發(fā)明根據(jù)第十 第十二中任意一項發(fā)明提出，其特征在于，所述再生 視頻是畫中畫形式的視頻。此外，第十四發(fā)明根據(jù)第十三發(fā)明提出，其特征在于，所述再生方式是指特殊再生 時的再生方式，所述指示信息是表示在所述畫中畫形式的視頻中母畫面的視頻被特殊再生 時，是否對子畫面的視頻進(jìn)行特殊再生的信息。而且，第十五發(fā)明根據(jù)第十三發(fā)明提出，其特征在于，所述再生方式是指特殊再生 時的再生方式，所述指示信息是表示在所述畫中畫形式的視頻中母畫面的視頻被特殊再生 時，是否顯示子畫面的視頻的信息。并且，第十六發(fā)明根據(jù)第十三發(fā)明提出，其特征在于，所述再生方式是指特殊再生 時的再生方式，所述指示信息是表示在所述畫中畫形式的視頻中子畫面的視頻被特殊再生 時，是否對母畫面的視頻進(jìn)行特殊再生的信息。另外，第十七發(fā)明根據(jù)第十 第十二中任意一項發(fā)明提出，其特征在于，所述再生 視頻是雙畫面顯示形式的視頻。此外，第十八發(fā)明根據(jù)第十七發(fā)明提出，其特征在于，所述再生方式是指特殊再生 時的再生方式，所述指示信息是表示在所述雙畫面顯示形式的視頻中一個視頻被特殊再生 時，是否對另一個視頻進(jìn)行特殊再生的信息。而且，第十九發(fā)明根據(jù)第十七發(fā)明提出，其特征在于，所述再生方式是指特殊再生 時的再生方式，所述指示信息是表示在所述雙畫面顯示形式的視頻中一個視頻被特殊再生 時，是否顯示另一個視頻的信息。發(fā)明效果本發(fā)明中，在子畫面視頻的視頻數(shù)據(jù)中包含指示標(biāo)志符，該指示標(biāo)志符表示母畫 面的視頻被特殊再生時子畫面的視頻的再生方式(是否隨從母畫面的特殊再生)。或者，將 指示標(biāo)志符存儲到與母畫面、子畫面的視頻數(shù)據(jù)獨立的管理數(shù)據(jù)中。這樣，在發(fā)送視頻數(shù)據(jù) 時等，也能將指示標(biāo)志符的指示信息與視頻數(shù)據(jù)一起處理。在視頻再生裝置中，通過讀出上 述存儲的指示標(biāo)志符并對其進(jìn)行利用，能按照提供者的意圖進(jìn)行畫中畫時的特殊再生(隨 從母畫面視頻對子畫面視頻進(jìn)行特殊再生，或者獨立地進(jìn)行再生)。結(jié)果，畫中畫時的再生方式不依賴于再生設(shè)備的安裝。


圖1是表示本發(fā)明的第一實施方式所涉及的視頻再生裝置的概略構(gòu)成的功能框 圖。圖2是表示本發(fā)明的第一實施方式所涉及的視頻再生裝置中特殊再生時的再生 方式的說明圖。
圖3是表示本發(fā)明的第一實施方式所涉及的視頻再生裝置中特殊再生時的其他 再生方式的說明圖。圖4是表示本發(fā)明的第一實施方式所涉及的視頻再生裝置中特殊再生時的又一 再生方式的說明圖。圖5是表示本發(fā)明的第一實施方式所涉及的視頻再生裝置中特殊再生時的另一 再生方式的說明圖。圖6是表示可本發(fā)明的第一實施方式所涉及的視頻再生裝置中處理的指示標(biāo)志 符(indication flag)的值與特殊再生時的再生方式之間的對應(yīng)關(guān)系的表。圖7是表示本發(fā)明第一實施方式所涉及的視頻數(shù)據(jù)生成裝置的概略構(gòu)成的功能 框圖。圖8是表示本發(fā)明第一實施方式中處理的視頻數(shù)據(jù)的概略結(jié)構(gòu)的說明圖。圖9是表示本發(fā)明第一實施方式所涉及的視頻再生裝置的其他構(gòu)成的功能框圖。圖10是表示本發(fā)明第一實施方式中處理的視頻數(shù)據(jù)的其他概略結(jié)構(gòu)的說明圖。圖11是表示本發(fā)明第一實施方式所涉及的視頻再生裝置的又一構(gòu)成的功能框 圖。圖12是表示本發(fā)明的第一實施方式中再生的視頻的畫面顯示例的說明圖。圖13是表示本發(fā)明的第二實施方式所涉及的視頻再生裝置的概略構(gòu)成的功能框 圖。圖14是表示本發(fā)明的第三實施方式所涉及的視頻再生裝置的概略構(gòu)成的功能框 圖。圖15是表示本發(fā)明的第三實施方式所涉及的視頻數(shù)據(jù)生成裝置的概略構(gòu)成的功 能框圖。圖16是表示本發(fā)明的第三實施方式中處理的視頻數(shù)據(jù)的概略結(jié)構(gòu)的說明圖。圖17是表示以往的畫中畫功能的實現(xiàn)方式的說明圖。圖18是表示以往的畫中畫功能的例子。圖19是說明以往的視頻內(nèi)容的發(fā)送的說明圖。圖中1-視頻再生裝置；101-標(biāo)志符讀出部；102、103-解碼部；104、105-緩沖器 (BF) ； 106-合成部；107-顯示部；108-輸入部；109-解碼管理部；110-調(diào)整部。
具體實施例方式(第一實施方式)首先，利用圖1 圖12來說明本發(fā)明的第一實施方式所涉及的視頻再生裝置。
圖1是表示本發(fā)明的第一實施方式所涉及的視頻再生裝置1的概略構(gòu)成的功能框圖。視頻再生裝置1將2個視頻數(shù)據(jù)(編碼視頻流)作為輸入，來解碼這些數(shù)據(jù)，并將對解 碼視頻進(jìn)行合成后的視頻輸出并進(jìn)行顯示。本說明書中，以下將畫中畫顯示中母畫面顯示 的視頻稱作“主視頻”，將作為子畫面顯示的視頻稱作“子視頻”，以進(jìn)行區(qū)分。視頻再生裝置1包括標(biāo)志符讀出部101，其用于從子視頻的視頻數(shù)據(jù)讀出后述的 指示標(biāo)志符；用于分別對視頻數(shù)據(jù)解碼編碼化數(shù)據(jù)的解碼部102和103 ；同樣地保持各個解 碼視頻并根據(jù)合成定時進(jìn)行輸出的緩沖器(BF) 104和105 ；用于合成這些解碼視頻的合成 部106 ；顯示輸出視頻的顯示部107 ；接收用戶的輸入的輸入部108 ；以及用于控制解碼部 102、103的解碼處理的解碼管理部109。另外，在上述合成部106中包括用于對子視頻的解 碼視頻調(diào)整合成用的顯示尺寸或顯示位置的調(diào)整部110。在本實施方式所涉及的視頻再生裝置1中，通過標(biāo)志符讀出部101從視頻數(shù)據(jù)讀 出后述的指示標(biāo)志符并輸出。在實際的視頻數(shù)據(jù)解碼中，存在著需要分離隨附的音頻數(shù)據(jù) 或讀出視頻中附帶的管理信息(表示視頻的編碼方式的信息等數(shù)據(jù)解碼所需的信息、指定 視頻的時間上的剪輯或連接的播放列表信息等視頻的再生所需的信息等)的情況，但在圖 1中為了方便說明，省略上述分離、讀出的說明。首先，在標(biāo)志符讀出部101中從子視頻的視頻數(shù)據(jù)讀出用于指示特殊再生時的再 生方式的指示標(biāo)志符。該讀出的指示標(biāo)志符被輸入到解碼管理部109，并在畫中畫視頻的特 殊再生時利用。關(guān)于指示標(biāo)志符的具體內(nèi)容將在后面詳細(xì)描述。首先對通常再生時的動作進(jìn)行說明。在通常再生的情況下，主視頻的視頻數(shù)據(jù)及 (指示標(biāo)志符讀出后的)子視頻的視頻數(shù)據(jù)分別被輸入到解碼部102、103，之后被順次解 碼。然后，解碼后的各視頻暫時被存儲在緩沖器(BF)104、105中，之后在調(diào)整了輸出定時的 基礎(chǔ)上被發(fā)送給合成部106。合成部106構(gòu)成為在內(nèi)部包括調(diào)整部110。而且，輸入到合成部106的兩個解碼 視頻中，對應(yīng)子視頻的解碼視頻從BF105輸入到調(diào)整部110。在調(diào)整部110中，作為使子視 頻重合于主視頻的前處理，將進(jìn)行子視頻的圖像尺寸的變更和顯示位置的設(shè)定。這些子視 頻(子畫面)的圖像尺寸和顯示位置的值是作為合成參數(shù)由視頻再生裝置1預(yù)先持有，或 者通過用戶輸入的?；蛘?，也可以通過與用戶的交互(interaction)來決定。這樣調(diào)整后 的子視頻重合在從BF104輸入的主視頻所對應(yīng)的解碼視頻上來進(jìn)行合成。另外，在進(jìn)行合成時，也可以設(shè)定子視頻的透過度以便能夠透視主視頻。該透過度 也可作為合成參數(shù)由視頻再生裝置1預(yù)先持有，或者通過與用戶的交互來決定。如此在合成部106中合成并被輸出的畫中畫視頻通過顯示部107由監(jiān)視器等顯示。接著，對指示了特殊再生時的動作進(jìn)行說明。視頻再生裝置1具備輸入部108，接 收來自用戶的特殊再生指示。輸入部108在接收到特殊再生的指示輸入后，將其變換為表 示該指示內(nèi)容的特殊再生指示信息，并將該特殊再生指示信息送給解碼管理部109。來自輸入部108的特殊再生指示信息與指示標(biāo)志符一起被輸入到解碼管理部109 中，該指示標(biāo)志符表示通過標(biāo)志符讀出部101從子視頻的視頻數(shù)據(jù)中讀出的特殊再生時的 再生方式。解碼管理部109在接收到上述特殊再生指示信息后，控制兩個解碼部102、103 以及合成部106的處理，以圖2 圖5所示的任意一個再生方式執(zhí)行畫中畫時的特殊再生。此時，從標(biāo)志符讀出部101輸入的指示標(biāo)志符用于決定以哪個再生方式進(jìn)行特殊再生。圖2所示的再生方式(A)是表示在指示了主視頻的特殊再生的情況下，追隨主視 頻，子視頻也被特殊再生的再生方式。此時，視頻再生裝置1的解碼管理部109對解碼部 102、103雙方同步指示特殊再生(用于特殊再生的解碼處理的執(zhí)行)。接收到指示后的解 碼部102、103例如在高速再生的情況下，對將要解碼的幀數(shù)據(jù)進(jìn)行間拔，例如僅解碼I幀并 輸出，從而實現(xiàn)主視頻和子視頻雙方的高速再生。所輸出的解碼視頻與通常再生時同樣被 輸入到合成部106，進(jìn)行合成后輸出并顯示。另外，為了容易地實現(xiàn)如上所述同步進(jìn)行特殊再生，可以追加當(dāng)編碼時在主視頻 和子視頻中預(yù)先匹配(matching) I幀的插入位置的處理。進(jìn)而，也可以包括由MPEG (Moving Picture Expert Group)標(biāo)準(zhǔn)規(guī)定的幀間預(yù)測編碼化方式的數(shù)據(jù)結(jié)構(gòu)、即GoP(Group of Picture)結(jié)構(gòu)在內(nèi)，匹配主視頻和子視頻的數(shù)據(jù)結(jié)構(gòu)。通過包括GoP結(jié)構(gòu)在內(nèi)來匹配主視 頻和子視頻的數(shù)據(jù)結(jié)構(gòu)，能實現(xiàn)包括P幀等的順利特殊再生的同步。圖3所示的再生方式(B)表示在指示了主視頻的特殊再生的情況下，停止主視頻 被特殊再生期間的子視頻的輸出，在返回到通常再生后，再度合成從與返回到通常再生的 主視頻相同時刻位置開始的子視頻，并進(jìn)行顯示的再生方式。此時，視頻再生裝置1的解碼 管理部109僅對解碼部102指示特殊再生(用于特殊再生的解碼處理的執(zhí)行)。而且，解碼 管理部109指示合成部106停止特殊再生期間子視頻的合成。在指示了返回到通常再生后， 解碼管理部109對解碼部102指示通用再生(用于通用再生的解碼處理的執(zhí)行)，并且對 解碼部103指示從與返回到通常再生的主視頻相同時刻位置開始解碼子視頻的視頻數(shù)據(jù)。 然后，在返回到通常再生后，主、子解碼圖像被輸入到合成部106來進(jìn)行合成，并被輸出、顯示。圖2、圖3的再生方式是表示可同步再生主視頻和子視頻時的例子。即，在圖2和 圖3的再生方式中，可根據(jù)同一時刻基準(zhǔn)再生主視頻和子視頻。圖4所示的再生方式(C)表示在指示了主視頻的特殊再生的情況下，僅對主視頻 進(jìn)行特殊再生，仍以通常再生的方式對子視頻進(jìn)行再生顯示的再生方式。此時，視頻再生裝 置1的解碼管理部109僅對解碼部102指示特殊再生(用于特殊再生的解碼處理的執(zhí)行)。 解碼部103仍以通常再生進(jìn)行解碼。然后，從解碼部102輸出的被特殊再生的主視頻和從 解碼部103輸出的被通常再生的子視頻與通常再生時同樣被輸入到合成部106，進(jìn)行合成、 輸出并顯示。圖5所示的再生方式(D)表示在指示了主視頻的特殊再生的情況下，停止主視頻 被特殊再生期間的子視頻的輸出，在返回到通常再生后，再度合成從停止的時間位置開始 的子視頻，并進(jìn)行顯示的再生方式。此時，視頻再生裝置1的解碼管理部109僅對解碼部102 指示特殊再生(用于特殊再生的解碼處理的執(zhí)行)。另外，解碼管理部109指示合成部106 停止特殊再生期間子視頻的合成。在指示了返回到通常再生后，解碼管理部109對解碼部 102指示通常再生(用于通常再生的解碼處理的執(zhí)行)，并且對解碼部103指示開始特殊再 生并從子視頻解碼被停止的位置開始解碼子視頻。然后，在返回到通常再生后，主視頻和子 視頻被輸入到合成部106來進(jìn)行合成，并輸出、顯示。圖4和圖5的再生方式是表示在進(jìn)行特殊再生時主視頻和子視頻的再生為非同步 的情況的例子。即，在圖4和圖5的再生方式中，可根據(jù)不同的時刻基準(zhǔn)再生主視頻和子視頻。這里，對指示標(biāo)志符進(jìn)行說明。由標(biāo)志符讀出部101讀出并輸入到解碼管理部109的指示標(biāo)志符，用于決定以上述的哪個再生方式進(jìn)行特殊再生。即，根據(jù)子視頻的視頻數(shù)據(jù) 中包含的指示標(biāo)志符的值來控制是使子視頻和主視頻同步(圖2、圖3)還是非同步(圖4、 圖5)。在本說明書中，作為所設(shè)定的指示標(biāo)志符的例子，定義了下面三種?！霸偕绞街甘緲?biāo)志符”該標(biāo)志符是二值標(biāo)志符，其表示在主視頻被特殊再生時，是使子視頻隨從進(jìn)行特 殊再生、還是不隨從而獨立進(jìn)行再生(例如通常再生)?！敖闺S從再生標(biāo)志符”該標(biāo)志符是二值標(biāo)志符，其用來禁止當(dāng)主視頻被特殊再生時、子視頻隨從進(jìn)行特 殊再生的情況。當(dāng)該標(biāo)志符為“真”時，子視頻始終與主視頻的特殊再生獨立地進(jìn)行再生 (例如通常再生)。“禁止獨立再生標(biāo)志符”該標(biāo)志符是二值標(biāo)志符，其用來禁止在主視頻被特殊再生時、子視頻不隨從主視 頻而獨立地進(jìn)行再生(例如通常再生)的情況。當(dāng)該標(biāo)志符為“真”時，子視頻始終追隨主 視頻進(jìn)行特殊再生。視頻數(shù)據(jù)包括上述的指示標(biāo)志符的任意一個或多個，根據(jù)這一個值或多個值，來 決定視頻再生裝置1中的畫中畫的特殊再生時的再生方式。在圖6的表中表示了這些指示 標(biāo)志符的值、和可采用的再生方式(A)(圖2)、再生方式(C)(圖4)之間的具體對應(yīng)關(guān)系。圖6的表601表示了再生方式指示標(biāo)志符的值為“獨立”“隨從”、和再生方式指示 標(biāo)志符為“獨立”或“隨從”時視頻再生裝置1可采用的再生方式之間的關(guān)系。在再生方式 指示標(biāo)志符為“獨立”的情況下，子視頻不隨從主視頻的特殊再生，而以獨立的時間基準(zhǔn)進(jìn) 行通常再生。在再生方式指示標(biāo)志符為“隨從”的情況下，子視頻隨從主視頻的特殊再生， 以同一時間基準(zhǔn)進(jìn)行特殊再生。另外，在為了使同步進(jìn)行特殊再生變得容易，當(dāng)編碼化時追加了在主視頻和子視 頻中匹配I幀的插入位置的處理的情況下，該標(biāo)志符的值也可以被解釋為直接表示是匹配 I幀位置(標(biāo)志符的值為“隨從”)還是不匹配(標(biāo)志符的值為“獨立”)。圖6的表602表示了禁止隨從再生標(biāo)志符的值為“真” “偽”、和禁止隨從再生標(biāo)志 符為“真”或“偽”時視頻再生裝置1可采用的再生方式之間關(guān)系。在禁止隨從再生標(biāo)志符 為“真”的情況下，子視頻不隨從主視頻的特殊再生，而以獨立的時間基準(zhǔn)進(jìn)行通常再生。另 一方面，在禁止隨從再生標(biāo)志符為“偽”時，視頻再生裝置1可以進(jìn)行任意一個再生。另外，圖6的表603表示了禁止獨立再生標(biāo)志符的值為“真” “偽”、和禁止獨立再 生標(biāo)志符為“真”或“偽”時視頻再生裝置1可采用的再生方式之間關(guān)系。在禁止獨立再生 標(biāo)志符為“真”的情況下，子視頻隨從主視頻的特殊再生，以同一時間基準(zhǔn)進(jìn)行特殊再生。另 一方面，在禁止獨立再生標(biāo)志符為“偽”時，視頻再生裝置1可以進(jìn)行任意一個再生。此外，這里所示的指示標(biāo)志符只是一個例子，都是“0”、“1”的二值標(biāo)志符，但也可 以定義使用由多值構(gòu)成的更復(fù)雜的指示標(biāo)志符。例如可以設(shè)置下述的標(biāo)志符，即該標(biāo)志符 是禁止隨從再生并許可獨立再生的標(biāo)志符，且如圖5所示禁止停止子視頻再生的形式下的 獨立再生，并如圖4所示只許可繼續(xù)通常再生子視頻的形式的獨立再生。
換言之，除了上述的表示再生是“隨從”還是“獨立”的“0”、“1” 二值標(biāo)志符之外， 也可以準(zhǔn)備表示“顯示”或“不顯示”的“0”、“ 1” 二值標(biāo)志符，來表示在主視頻被特殊再生 時繼續(xù)顯示子視頻(圖2、圖4)、或在主視頻被特殊再生時不顯示子視頻(圖3、圖5)，通過 組合這些標(biāo)志符的值，能夠唯一地指定圖2 圖5的再生方式(A) (D)中任意一個。也 可以將前者(表示再生是“追隨”還是“獨立”的標(biāo)志符)稱作“再生指示標(biāo)志符”，將后者 (表示子視頻是“顯示”還是“不顯示”的標(biāo)志符)稱作“顯示指示標(biāo)志符”。例如，若設(shè)再生指示標(biāo)志符為“追隨”、顯示指示標(biāo)志符為“顯示”，則可選擇圖2的 再生方式(A)。在這樣的再生中，能看到合成于主視頻的子視頻完全是主視頻的一部分，具 有從外觀上無法區(qū)分主視頻和子視頻的效果。因此，在視頻提供者希望得到這樣的效果時， 只要按照上述來設(shè)定各指示標(biāo)志符即可。相反，在想要明確子視頻是與主視頻不同的附加 視頻時，設(shè)再生指示標(biāo)志符為“隨從”、顯示指示標(biāo)志符為“不顯示”，選擇圖3的再生方式 (B)即可。另外，若設(shè)再生指示標(biāo)志符為“獨立”、顯示指示標(biāo)志符為“顯示”，則選擇圖4的再 生方式(C)。該再生方式例如適用于嚴(yán)格地確定再生一次子視頻所花費的實際再生時間那 樣的、優(yōu)先度極高的子視頻，在再生一次子視頻的期間，不停止子視頻的再生。另一方面，在 設(shè)再生指示標(biāo)志符為“獨立”、顯示指示標(biāo)志符為“不顯示”的圖5的再生方式(D)中，在主 視頻為特殊再生的期間，停止子視頻的再生以及顯示，在主視頻恢復(fù)到通常再生后，從停止 位置開始對接下來的子視頻進(jìn)行再生并顯示。因此，能夠避免在操作設(shè)備期間由于疏忽而 導(dǎo)致錯過了子視頻的狀況，適用于安心地觀看子視頻。這樣，通過附屬于視頻數(shù)據(jù)的指示標(biāo)志符，能夠指定視頻再生裝置1中特殊再生 時的再生方式。該指示標(biāo)志符由視頻數(shù)據(jù)的提供者一側(cè)在生成子視頻的視頻數(shù)據(jù)時追加。圖7是表示視頻數(shù)據(jù)生成裝置11的概略構(gòu)成的功能框圖。視頻數(shù)據(jù)生成裝置11 包括編碼部701、標(biāo)志符設(shè)定部702以及標(biāo)志符寫入部703。視頻提供者的指示輸入在標(biāo) 志符設(shè)定部702中被變換為指示標(biāo)志符。所輸入的視頻在編碼部701中被編碼而變換為視 頻數(shù)據(jù)(編碼視頻流)。之后，通過標(biāo)志符寫入部703在視頻數(shù)據(jù)(編碼視頻流)存儲指示 標(biāo)志符ο視頻提供者通過將指示標(biāo)志符嵌入到視頻數(shù)據(jù)(編碼視頻流)，可在提供者想要 的再生方式下通過視頻再生裝置進(jìn)行畫中畫的特殊再生。另外，圖8表示了由圖7的視頻數(shù) 據(jù)生成裝置11生成的視頻數(shù)據(jù)的例子，特別表示了指示標(biāo)志符的嵌入位置。如圖8所示， 在指示標(biāo)志符嵌入到視頻數(shù)據(jù)(編碼視頻流)中的序列頭部(801)、或嵌入到各數(shù)據(jù)包頭部 (802)、或?qū)幋a視頻流進(jìn)行管理的管理信息(播放列表信息等)記錄在視頻數(shù)據(jù)內(nèi)的情況 下，將指示標(biāo)志符存儲在管理信息內(nèi)(803)。但是，指示標(biāo)志符在視頻數(shù)據(jù)內(nèi)的嵌入位置并 非限定于此。在上述第一實施方式所涉及的視頻再生裝置1中，例示了在所輸入的視頻數(shù)據(jù) (編碼視頻流)中包含指示標(biāo)志符的例子，但并非限定于此。例如，在與視頻數(shù)據(jù)的數(shù)據(jù)流 一起提供記錄了用于管理視頻數(shù)據(jù)流的管理信息(表示視頻的編碼方式的信息等數(shù)據(jù)的 解碼所需的信息、指定視頻的時間上的剪輯或連接的播放列表信息等視頻的再生所需的信 息等)的數(shù)據(jù)流(管理數(shù)據(jù)流)，并輸入將它們多路復(fù)用而得到的多路復(fù)用數(shù)據(jù)時，可以不 在視頻數(shù)據(jù)流內(nèi)，而在管理數(shù)據(jù)流內(nèi)存儲并輸入指示標(biāo)志符。
另外，在輸入到上述視頻再生裝置1中的視頻數(shù)據(jù)中，例示了指示標(biāo)志符包含在 子視頻的視頻數(shù)據(jù)中的例子，但并非限定于此，也可以假設(shè)在主視頻的視頻數(shù)據(jù)一側(cè)存儲 并輸入指示標(biāo)志符。該情況下的指示標(biāo)志符，在對上述主視頻的視頻數(shù)據(jù)組合了任意的子 視頻的視頻數(shù)據(jù)時，成為表示是否任意的子視頻隨從上述主視頻的特殊再生的標(biāo)志符。圖9是表示了對這些輸入模式的不同進(jìn)行整理的圖。91、92表示了輸入包括指示標(biāo)志符的兩個視頻數(shù)據(jù)(編碼視頻流)的情況，91與圖1的α相同。93、94表示了輸入 多路復(fù)用數(shù)據(jù)的情況，該多路復(fù)用數(shù)據(jù)是將包括指示標(biāo)志符的管理數(shù)據(jù)(流)與視頻數(shù)據(jù) (流)多路復(fù)用而得到的。分離部903、904是用于將管理數(shù)據(jù)從多路復(fù)用后的數(shù)據(jù)分離出 來的功能部。其中，關(guān)于分離后的管理數(shù)據(jù)的處理在此省略說明。另外，91、93表示了指示 標(biāo)志符包含在子視頻側(cè)的視頻數(shù)據(jù)(或者對應(yīng)的管理數(shù)據(jù))的情況，92、94表示了指示標(biāo)志 符包含于主視頻側(cè)的視頻數(shù)據(jù)(或者對應(yīng)的管理數(shù)據(jù))的情況。輸出都是兩個視頻數(shù)據(jù)和 指示標(biāo)志符，是與圖1的α部分置換進(jìn)行連接的構(gòu)件。此外，在圖9的93、94中，描述了僅由視頻數(shù)據(jù)和管理數(shù)據(jù)這兩個數(shù)據(jù)流構(gòu)成多路 復(fù)用數(shù)據(jù)，但實際上也可以對音頻數(shù)據(jù)流等其他數(shù)據(jù)流進(jìn)行多路復(fù)用。在圖9中為了簡便 而省略了它們的圖示。圖10是表示構(gòu)成多路復(fù)用數(shù)據(jù)的視頻數(shù)據(jù)(編碼視頻流)以及管理數(shù)據(jù)流的例 子的圖。如圖10所示，指示標(biāo)志符嵌入在與視頻數(shù)據(jù)(編碼視頻流)有關(guān)的再生管理信息 (播放列表信息等)內(nèi)(1001)、或者存儲在與視頻數(shù)據(jù)(編碼視頻流)有關(guān)的解碼管理信 息(編碼方式信息等)(1002)。但是，指示標(biāo)志符在管理數(shù)據(jù)內(nèi)的嵌入位置并非限定于此。圖1的兩個解碼部102和103可以具有相同的解碼能力，也可以具有分別不同的 解碼能力。第一實施方式所涉及的視頻再生裝置1中，在輸入的時刻決定各個視頻數(shù)據(jù)是 主視頻用的視頻數(shù)據(jù)還是子視頻用的視頻數(shù)據(jù)。因此，能夠定義分辨率低于主視頻(圖像 尺寸小)的子視頻專用的視頻數(shù)據(jù)，該情況下，在被輸入子視頻的視頻數(shù)據(jù)的解碼部103 中，能夠利用子視頻專用的視頻數(shù)據(jù)解碼的解碼器來解碼低分辨率視頻。而且，在圖1的視頻再生裝置1中，還能假定所輸入的視頻數(shù)據(jù)是沒有被編碼的視 頻數(shù)據(jù)。該情況下，由于不需要解碼視頻數(shù)據(jù)，所以解碼部102、103不是進(jìn)行解碼的功能 塊，可被置換為對輸入的視頻數(shù)據(jù)進(jìn)行適當(dāng)劃分并輸出的功能塊(分離部102’、103’)。并 且，解碼管理部109可被置換為用于對所述功能塊(分離部102’、103’)劃分并輸出視頻數(shù) 據(jù)進(jìn)行管理的功能塊(分離管理部109’ )。另外，圖1所示的視頻再生裝置1的合成部106只進(jìn)行子視頻的調(diào)整，不進(jìn)行主視 頻的調(diào)整(即，主視頻為整個畫面顯示)(圖11 (a))，但合成部106并非限定于此，也可如圖 1Kb)所示，替換為在主視頻一側(cè)設(shè)置調(diào)整部1110來實施調(diào)整并進(jìn)行輸出的合成部1106。 圖12表示了替換為合成部1106時的輸出視頻的例子。該情況下，可實現(xiàn)如圖12的1202 所示將主視頻變更為任意的大小，或者如圖1203所示不將主、子兩個視頻重合而并列顯示 2個畫面的畫面構(gòu)成。本發(fā)明的視頻再生裝置除了畫中畫顯示用途之外，還可以在圖12的1203所示的 雙畫面顯示的視頻再生裝置中應(yīng)用。即，通過將指示標(biāo)志符嵌入到視頻數(shù)據(jù)，可進(jìn)行控制， 以決定對于一個視頻的特殊再生是使另一個視頻隨從還是對其進(jìn)行特殊再生，從而能夠按 照視頻提供者側(cè)的意圖對雙畫面顯示的圖像進(jìn)行特殊再生。
在上述本發(fā)明的第一實施方式所涉及的視頻再生裝置1中，將在畫中畫中表示特殊再生時的再生方式的信息、即指示標(biāo)志符與視頻數(shù)據(jù)一起輸入，根據(jù)指示標(biāo)志符來決定 上述特殊再生時的再生方式。由此，視頻的提供者在生成視頻數(shù)據(jù)時通過使指示標(biāo)志符隨 附于視頻數(shù)據(jù)來進(jìn)行傳送，可按照提供者意圖的再生方式，使視頻再生裝置進(jìn)行畫中畫再 生時的特殊再生。另外，在本實施方式所涉及的視頻再生裝置1或圖9的91的情況下，在輸入的時 刻決定各視頻數(shù)據(jù)是主視頻用還是子視頻用，但也可以將作為子視頻用而生成的視頻數(shù) 據(jù)，作為主視頻的視頻數(shù)據(jù)輸入。該情況下，忽略存儲于視頻數(shù)據(jù)中的指示標(biāo)志符。另外， 同樣在圖9的92的情況下，也可以將包括作為主視頻用而生成的指示標(biāo)志符的視頻數(shù)據(jù)， 作為子視頻的視頻數(shù)據(jù)輸入。該情況下，也忽略存儲于視頻數(shù)據(jù)中的指示標(biāo)志符。而且，在 對視頻再生裝置1設(shè)置默認(rèn)的再生方式，并不從主視頻、子視頻的任意一個讀出指示標(biāo)志 符的情況下，也可以設(shè)定成以默認(rèn)的再生方式進(jìn)行特殊再生。而且，上述第一實施方式中所說明的指示標(biāo)志符是表示了對主視頻進(jìn)行特殊再生 時的子視頻的舉動的標(biāo)志符，相反，也能夠定義在指示了子視頻的特殊再生時表示主視頻 的舉動的指示標(biāo)志符。由此，在以下的實施方式以及其他實施方式中都可同樣地適用。并且，作為表示子視頻的舉動并傳達(dá)視頻提供者的意圖的標(biāo)志符，除了表示上述 特殊再生時的再生方式的指示標(biāo)志符之外，還可以一并存儲禁止子視頻的移動/放大的標(biāo) 志符等。該禁止子視頻的移動/放大的標(biāo)志符適用于能夠由用戶變更子視頻的顯示尺寸、 顯示位置的再生裝置。當(dāng)禁止子視頻的移動/放大的標(biāo)志符的值為“真”時，相對于主視頻， 使子視頻的顯示尺寸和顯示位置固定，不接收用戶的指示。另外，在上述第一實施方式的視頻再生裝置1中，作為特殊再生的實現(xiàn)方法表示 了對解碼部的處理進(jìn)行控制的方法，但特殊再生的實現(xiàn)方法并非限定于此。例如，在高速 再生的例子中，除了通過上述實施方式所示的解碼部進(jìn)行間拔處理之外，還可在對全部的 幀進(jìn)行了解碼后，通過與定時的調(diào)整相對應(yīng)地間拔從緩沖器104、105輸出的解碼圖像的方 法，來實現(xiàn)高速再生。即，圖1所示的視頻再生裝置1是用于實現(xiàn)特殊再生的裝置的一個構(gòu) 成方式，還能采用除此之外的實現(xiàn)特殊再生的裝置構(gòu)成，對于這些也同樣可應(yīng)用本發(fā)明的 基于指示標(biāo)志符來控制特殊再生的方法。就此而言，在以下的實施方式以及其他的實施方 式中都可同樣應(yīng)用。(第二實施方式)接著，使用圖13來說明本發(fā)明的第二實施方式所涉及的視頻再生裝置2。圖13是表示本發(fā)明的第二實施方式所涉及的視頻再生裝置2的概略構(gòu)成的功 能框圖。視頻再生裝置2包括用于從各視頻數(shù)據(jù)讀出指示標(biāo)志符的標(biāo)志符讀出部1301、 1302 ；解碼部1303、1304 ；緩沖器(BF) 1305、1306 ；合成部1307 ；顯示部1308 (包括調(diào)整部 1312和1313)；顯示部1308 ；輸入部1309 ；解碼管理部1310 ；以及用于控制由合成部1307 執(zhí)行的合成處理的合成管理部1311。其中，標(biāo)志符讀出部1301、1302都具有與圖1所示的 標(biāo)志符讀出部101相同的功能，而且，解碼部1303、1304、緩沖器1305、1305、顯示部1308分 別具有與圖1所示的解碼部102、103、緩沖器104、105、顯示部107相同的功能。并且，調(diào)整 部1312、1313具有與圖1所示的調(diào)整部110同樣的功能。下面，以與第一實施方式所涉及 的視頻再生裝置1的不同點為中心，對第二實施方式所涉及的視頻再生裝置2的動作進(jìn)行說明。在上述第一實施方式所涉及的視頻再生裝置1中，對于兩個輸入視頻數(shù)據(jù)，在輸 入的階段預(yù)先決定了兩個視頻數(shù)據(jù)中哪個用于主視頻、哪個用于子視頻的基礎(chǔ)上，輸入兩 個視頻數(shù)據(jù)。這在存在子視頻專用的視頻數(shù)據(jù)、例如對主視頻附送的視頻或拍攝密聞的詳 細(xì)注釋視頻等不進(jìn)行主視頻再生的視頻數(shù)據(jù)時最有效。
對此，第二實施方式所涉及的視頻再生裝置2對于兩個輸入視頻數(shù)據(jù)，在輸入階 段不分是主視頻用還是子視頻用，通過輸入后在視頻的合成階段調(diào)整兩個視頻的合成，來 決定主視頻、子視頻。這在頻繁切換主視頻再生和子視頻再生那樣的用途、例如在多角度顯 示過程中頻繁切換顯示視頻的情況下最有效。為此，視頻再生裝置2具有視頻再生裝置1中沒有的新的功能塊、即合成管理部 1311。輸入部1309除了特殊再生指示之外，從用戶接收切換主視頻、子視頻(選擇哪個 是主視頻、哪個是子視頻)的視頻選擇的指示。輸入部1309接收到視頻選擇的指示后，發(fā) 送視頻選擇指示信息，傳給合成管理部1311。合成管理部1311根據(jù)上述視頻選擇指示信息得知哪個成為主顯示、哪個成為子 顯示，對各個調(diào)整部1312、1313分別送出由上述視頻選擇指示信息表示的主視頻顯示、子 視頻顯示所對應(yīng)的合成參數(shù)。而且，將重合時的上下關(guān)系(在主視頻上重合子視頻)通知 給合成部1307。另外，也可以一并發(fā)送透過度的設(shè)定等。進(jìn)而，將表示選擇了哪個作為子視 頻的選擇信息送給解碼管理部1310。在標(biāo)志符讀出部1301、1302中，從輸入的各個視頻數(shù)據(jù)讀出指示標(biāo)志符，并將讀 出的指示標(biāo)志符全都輸入到解碼管理部1310。解碼管理部1310在接收來自用戶的特殊再生指示并收到輸入部1309所發(fā)送的特 殊再生指示信息后，參照從合成管理部1311收取的上述選擇信息(表示哪個被選擇為子視 頻的信息)，得知被輸入的兩個指示標(biāo)志符中對應(yīng)于子視頻的視頻數(shù)據(jù)的指示標(biāo)志符，根據(jù) 該指示標(biāo)志符，與第一實施方式同樣地決定畫中畫再生時的特殊再生的再生方式。在視頻再生裝置2中，所輸入的兩個視頻數(shù)據(jù)都是能夠作為主視頻、子視頻進(jìn)行 再生的視頻數(shù)據(jù)。因此，在視頻再生裝置2中，解碼部1303、1304具有完全等效的功能。(第三實施方式)接著，利用圖14 圖16對本發(fā)明第三實施方式所涉及的視頻再生裝置3進(jìn)行說 明。圖14是表示本發(fā)明第三實施方式所涉及的視頻再生裝置3的概略構(gòu)成的功能框 圖。視頻再生裝置3包括分離部1401，其用于將多路復(fù)用多個視頻數(shù)據(jù)而得到的多路復(fù) 用數(shù)據(jù)分離為多個視頻數(shù)據(jù)和管理數(shù)據(jù)等；標(biāo)志符讀出部1402，其用于從管理數(shù)據(jù)讀出指 示標(biāo)志符；兩個解碼部1403、1404 ；兩個緩沖器(BF) 1405、1406 ；合成部1407 (包括調(diào)整部 1411)、顯示部1408 ；輸入部1409 ；以及解碼管理部1410。其中，解碼部1403、1404、緩沖器 1405、1405、合成部1407、調(diào)整部1411、顯示部1408及解碼管理部1410分別具有與圖1所 示的視頻再生裝置1的解碼部102、103、緩沖器104、105、合成部106、調(diào)整部110、顯示部 107及解碼管理部109相同的功能。即，第三實施方式所涉及的視頻再生裝置3與第一實施 方式所涉及的視頻再生裝置1相比，僅分離部1401、標(biāo)志符讀出部1402 (在視頻再生裝置1中為標(biāo)志符讀出部101)以及輸入部1409(在視頻再生裝置1中為輸入部108)不同。下 面，以與第一、第二實施方式所涉及的視頻再生裝置1、2的不同點為中心，對第三實施方式 所涉及的視頻再生裝置3的動作進(jìn)行說明。上述的第一及第二實施方式所涉及的視頻再生裝置1、2中，在視頻數(shù)據(jù)(編碼視 頻流)內(nèi)、或與視頻數(shù)據(jù)一一對應(yīng)的管理數(shù)據(jù)流內(nèi)存儲有指示標(biāo)志符，該指示標(biāo)志符用來 針對對應(yīng)的視頻數(shù)據(jù)，控制以畫中畫再生形式對該視頻數(shù)據(jù)進(jìn)行子視頻再生之際的特殊再 生時的再生方式。對此，第三實施方式所涉及的視頻再生裝置3在對多個視頻數(shù)據(jù)(編碼 視頻流)獨立地賦予用來管理這些視頻數(shù)據(jù)的管理數(shù)據(jù)流的狀況下，根據(jù)存儲在該管理數(shù) 據(jù)流中的指示標(biāo)志符來控制畫中畫再生形式下的特殊再生時的再生方式。S卩，在視頻再生裝置3中運用的指示標(biāo)志符并非表示對所輸入的某一個視頻數(shù)據(jù) 的再生方式，而是在決定一個作為主視頻數(shù)據(jù)、另一個作為子視頻數(shù)據(jù)后，按照對所決定的 子視頻的再生方式進(jìn)行控制的方式動作。因此，在視頻再生裝置1中，是在預(yù)先進(jìn)行決定后 輸入主視頻、子視頻的視頻數(shù)據(jù)，另外視頻再生裝置2中，在合成階段決定是主視頻還是子 視頻，而視頻再生裝置3中，在分離部1401對多路復(fù)用數(shù)據(jù)進(jìn)行分離時決定哪個是主視頻、 哪個是子視頻，并引用解碼部1403、1404以后的處理。本實施方式所涉及的視頻再生裝置3，將包括兩個視頻數(shù)據(jù)(編碼視頻流)以及指 示標(biāo)志符的管理數(shù)據(jù)流被多路復(fù)用而得到的多路復(fù)用數(shù)據(jù)作為輸入，并對兩個視頻數(shù)據(jù)的 解碼圖像合成后的圖像進(jìn)行顯示。圖15表示用于生成該被輸入的多路復(fù)用數(shù)據(jù)的視頻數(shù) 據(jù)生成裝置31的概略構(gòu)成的功能框圖。圖15的視頻數(shù)據(jù)生成裝置31包括兩個編碼部1501、1502 ；管理信息生成部 1503 ；標(biāo)志符設(shè)定部1504 ；標(biāo)志符寫入部1505 ；以及多路復(fù)用部1506。被輸入的兩個視頻通過解碼部1501、1502分別被變換為視頻數(shù)據(jù)(編碼視頻流)。 標(biāo)志符設(shè)定部1504生成與視頻提供者指示的再生方式對應(yīng)的指示標(biāo)志符，所生成的指示 標(biāo)志符通過標(biāo)志符寫入部1505，被寫入到由管理信息生成部1503生成的管理信息(管理數(shù) 據(jù)流)中。管理數(shù)據(jù)流中存儲的管理信息包括表示視頻數(shù)據(jù)(編碼視頻流)的編碼方式的 信息等對應(yīng)于各視頻數(shù)據(jù)而記錄的信息(解碼管理信息)；和通過視頻的時間上的剪切和 連接信息來指定多個視頻數(shù)據(jù)的再生的播放列表信息等公共的信息(再生管理信息)等。另外，圖16表示由圖15的視頻數(shù)據(jù)生成裝置31生成的數(shù)據(jù)在多路復(fù)用前的數(shù)據(jù) 的例子(指示標(biāo)志符的嵌入位置的例子)。如圖16所示，指示標(biāo)志符被存儲在管理數(shù)據(jù)流 的公共的再生管理信息內(nèi)(1601)。這些視頻數(shù)據(jù)、管理數(shù)據(jù)通過多路復(fù)用部1506被多路復(fù) 用、形成多路復(fù)用數(shù)據(jù)。在輸入了圖15所示的由視頻數(shù)據(jù)生成裝置31生成的多路復(fù)用數(shù)據(jù)后，圖14的視 頻再生裝置3的分離部1401的動作如下所述。與第二實施方式的視頻再生裝置2同樣，輸入部1409從用戶接收切換主視頻、子 視頻(選擇哪個是主視頻、哪個是子視頻)的視頻選擇指示。輸入部1409在接收到視頻選 擇指示后，發(fā)送對應(yīng)的視頻選擇指示信息，并傳送到分離部1401。分離部1401在將輸入的多路復(fù)用數(shù)據(jù)分離成兩個視頻數(shù)據(jù)以及管理數(shù)據(jù)之后， 根據(jù)上述接收到的視頻選擇指示信息，將被指定給主視頻的視頻數(shù)據(jù)輸入到解碼部1403，將被指定給子視頻的視頻數(shù)據(jù)輸入部解碼部1404。而且，從分離部1401輸出的管理數(shù)據(jù) 被輸入到標(biāo)志符讀出部1402，來讀出指示標(biāo)志符。讀出的指示標(biāo)志符被輸入到解碼管理部 1410，對畫中畫再生中的特殊再生時的再生方式進(jìn)行控制。之后，進(jìn)行與第一實施方式中所 說明的動作相同的動作。另外，該第三實施方式的圖14 圖16中，說明了多路復(fù)用數(shù)據(jù)僅由視頻數(shù)據(jù)(編 碼視頻流)及管理數(shù)據(jù)(管理數(shù)據(jù)流)構(gòu)成，但實際上也存在對音頻數(shù)據(jù)等其他的數(shù)據(jù)進(jìn) 行多路復(fù)用的情況。這里為了簡化說明，對上述的視頻數(shù)據(jù)及管理數(shù)據(jù)以外的數(shù)據(jù)省略了 圖示。
而且，雖然圖示了輸入到視頻再生裝置3中的視頻數(shù)據(jù)(編碼視頻流)及管理數(shù) 據(jù)(管理數(shù)據(jù)流)被多路復(fù)用而輸入，但也未必要進(jìn)行多路復(fù)用。也可構(gòu)成為兩個視頻數(shù) 據(jù)以及1個管理數(shù)據(jù)通過獨立的信道被輸入，來對它們進(jìn)行處理。即，本第三實施方式所涉 及的視頻再生裝置3的關(guān)鍵在于不依賴于任意一個視頻數(shù)據(jù)的、對多個視頻數(shù)據(jù)公共處 理的指示標(biāo)志符，通過管理數(shù)據(jù)被提供給裝置。另外，在上述本發(fā)明的各實施方式中，假定了通過視頻再生裝置直接再生經(jīng)由廣 播或通信等傳送路徑而被輸入的視頻數(shù)據(jù)(以及管理數(shù)據(jù))的狀況，來說明本發(fā)明的各實 施方式所涉及的視頻再生裝置，但能夠適用本發(fā)明的狀況并非限定于此，例如即使在視頻 數(shù)據(jù)(以及管理數(shù)據(jù))預(yù)先被記錄在記錄介質(zhì)小逐次讀出記錄在記錄介質(zhì)中的視頻數(shù)據(jù) (以及管理數(shù)據(jù))并進(jìn)行再生的狀況下也能適用本發(fā)明。圖19的數(shù)據(jù)包配送中的應(yīng)用便對 應(yīng)于此。另外，在暫時經(jīng)由傳送路徑記錄于記錄介質(zhì)之后，讀出所記錄的視頻數(shù)據(jù)(以及管 理數(shù)據(jù))來進(jìn)行再生的狀況下也同樣適用。即，本發(fā)明對于記錄有包含各實施方式中詳細(xì) 說明的指示標(biāo)志符的視頻數(shù)據(jù)或者管理數(shù)據(jù)的記錄介質(zhì)、以及對上述的記錄介質(zhì)進(jìn)行再生 的視頻再生裝置也同樣適用。而且，將本發(fā)明的各實施方式中已說明的視頻數(shù)據(jù)(或管理數(shù)據(jù))中存儲的指示 標(biāo)志符描述為在畫中畫視頻的特殊再生時的再生方式方面，用于反映視頻提供者的意圖 的固定信息。但是，也能將該視頻數(shù)據(jù)(或者管理數(shù)據(jù))中存儲的指示標(biāo)志符在再生側(cè)用作 預(yù)先記錄再生時用戶的喜好用的字段(field)?；蛘?，也能夠在視頻再生裝置側(cè)將上述指示 標(biāo)志符改寫為由視頻再生裝置的再生能力限制的值。這樣的改寫通過下述方式來進(jìn)行在 將通過廣播或通信等傳送路徑輸入的視頻數(shù)據(jù)(及管理數(shù)據(jù))記錄于記錄介質(zhì)時、或從記 錄介質(zhì)逐次讀出視頻數(shù)據(jù)(及管理數(shù)據(jù))來進(jìn)行再生時，由視頻再生裝置改寫指示標(biāo)志符 的存儲字段的值。該改寫處理可以由用戶直接輸入，或者也可以通過Java(注冊商標(biāo))等 程序動態(tài)變更。即，本發(fā)明并非拘泥于最終在何處設(shè)定指示標(biāo)志符的值，對于包括各實施方 式中詳細(xì)說明的指示標(biāo)志符的視頻數(shù)據(jù)、或管理數(shù)據(jù)的視頻再生裝置而言，同樣能夠適用。另外，這里所公開的實施方式只是例示，不應(yīng)認(rèn)為用來限定本發(fā)明。本發(fā)明的范圍通過權(quán)利要求書來表示而并非通過上述說明的內(nèi)容表示，并且本發(fā) 明包括與權(quán)利要求書的范圍等同以及范圍內(nèi)的所有變更。
權(quán)利要求
一種視頻數(shù)據(jù)再生裝置，其被輸入多個視頻數(shù)據(jù)，輸出將對解碼該多個視頻數(shù)據(jù)而得到的多個解碼視頻進(jìn)行合成而得到的再生視頻，包括解碼單元，其對所述多個視頻數(shù)據(jù)進(jìn)行解碼，得到所述多個解碼視頻；合成單元，其對所述多個解碼視頻進(jìn)行合成，得到所述再生視頻；指示信息讀出單元，其用于讀出指示信息，該指示信息根據(jù)所述多個視頻數(shù)據(jù)的至少一個來指示所述再生視頻的再生方式；和管理單元，其根據(jù)由所述指示信息讀出單元讀出的指示信息，通過控制所述解碼單元或所述合成單元的至少一個的動作來管理所述再生方式。
2.一種視頻數(shù)據(jù)再生裝置，其被輸入多個視頻數(shù)據(jù)和與該多個視頻數(shù)據(jù)的至少一個相 關(guān)的管理數(shù)據(jù)，輸出將對解碼該多個視頻數(shù)據(jù)而得到的多個解碼視頻進(jìn)行合成而得到的再 生視頻，包括解碼單元，其對所述多個視頻數(shù)據(jù)進(jìn)行解碼，得到所述多個解碼視頻； 合成單元，其對所述多個解碼視頻進(jìn)行合成，得到所述再生視頻； 指示信息讀出單元，其用于讀出指示信息，該指示信息根據(jù)所述管理數(shù)據(jù)來指示所述 再生視頻的再生方式；和管理單元，其通過根據(jù)由所述指示信息讀出單元讀出的指示信息，控制所述解碼單元 或所述合成單元的至少一個的動作來管理所述再生方式。
3.根據(jù)權(quán)利要求1或2所述的視頻數(shù)據(jù)再生裝置，其特征在于， 所述再生視頻是畫中畫形式的視頻。
4.根據(jù)權(quán)利要求3所述的視頻數(shù)據(jù)再生裝置，其特征在于，所述再生方式是指特殊再生時的再生方式，所述指示信息是表示在所述畫中畫形式的 視頻中母畫面的視頻被特殊再生時，是否對子畫面的視頻進(jìn)行特殊再生的信息。
5.根據(jù)權(quán)利要求3所述的視頻數(shù)據(jù)再生裝置，其特征在于，所述再生方式是指特殊再生時的再生方式，所述指示信息是表示在所述畫中畫形式的 視頻中母畫面的視頻被特殊再生時，是否顯示子畫面的視頻的信息。
6.根據(jù)權(quán)利要求3所述的視頻數(shù)據(jù)再生裝置，其特征在于，所述再生方式是指特殊再生時的再生方式，所述指示信息是表示在所述畫中畫形式的 視頻中子畫面的視頻被特殊再生時，是否對母畫面的視頻進(jìn)行特殊再生的信息。
7.根據(jù)權(quán)利要求1或2所述的視頻數(shù)據(jù)再生裝置，其特征在于， 所述再生視頻是雙畫面顯示形式的視頻。
8.根據(jù)權(quán)利要求7所述的視頻數(shù)據(jù)再生裝置，其特征在于，所述再生方式是指特殊再生時的再生方式，所述指示信息是表示在所述雙畫面顯示形 式的視頻中一個視頻被特殊再生時，是否對另一個視頻進(jìn)行特殊再生的信息。
9.根據(jù)權(quán)利要求7所述的視頻數(shù)據(jù)再生裝置，其特征在于，所述再生方式是指特殊再生時的再生方式，所述指示信息是表示在所述雙畫面顯示形 式的視頻中一個視頻被特殊再生時，是否顯示另一個視頻的信息。
10.一種視頻數(shù)據(jù)生成裝置，是在對由多個視頻數(shù)據(jù)得到的多個解碼視頻進(jìn)行合成并 輸出再生視頻中所利用的該視頻數(shù)據(jù)的視頻數(shù)據(jù)生成裝置，包括編碼單元，其對輸入的視頻進(jìn)行編碼，得到編碼后的視頻數(shù)據(jù)；和指示信息寫入單元，其對所述視頻數(shù)據(jù)寫入指示所述再生視頻的再生方式的指示信肩、o
11.一種視頻數(shù)據(jù)生成裝置，是在對由多個視頻數(shù)據(jù)得到的多個解碼視頻進(jìn)行合成并 輸出再生視頻中所利用的該視頻數(shù)據(jù)的視頻數(shù)據(jù)生成裝置，包括編碼單元，其對輸入的視頻進(jìn)行編碼，得到編碼后的視頻數(shù)據(jù)； 管理數(shù)據(jù)生成單元，其生成與所述視頻數(shù)據(jù)相關(guān)的管理數(shù)據(jù)；和 指示信息寫入單元，其對由所述管理數(shù)據(jù)生成單元生成的管理數(shù)據(jù)寫入指示所述再生 視頻的再生方式的指示信息。
12.根據(jù)權(quán)利要求11所述的視頻數(shù)據(jù)生成裝置，其特征在于，還包括多路復(fù)用數(shù)據(jù)生成單元，其生成對所述視頻數(shù)據(jù)和寫入了所述指示信息的所述 管理數(shù)據(jù)進(jìn)行多路復(fù)用而得到的多路復(fù)用數(shù)據(jù)。
13.根據(jù)權(quán)利要求10 12中任意一項所述的視頻數(shù)據(jù)生成裝置，其特征在于， 所述再生視頻是畫中畫形式的視頻。
14.根據(jù)權(quán)利要求13所述的視頻數(shù)據(jù)生成裝置，其特征在于，所述再生方式是指特殊再生時的再生方式，所述指示信息是表示在所述畫中畫形式的 視頻中母畫面的視頻被特殊再生時，是否對子畫面的視頻進(jìn)行特殊再生的信息。
15.根據(jù)權(quán)利要求13所述的視頻數(shù)據(jù)生成裝置，其特征在于，所述再生方式是指特殊再生時的再生方式，所述指示信息是表示在所述畫中畫形式的 視頻中母畫面的視頻被特殊再生時，是否顯示子畫面的視頻的信息。
16.根據(jù)權(quán)利要求13所述的視頻數(shù)據(jù)生成裝置，其特征在于，所述再生方式是指特殊再生時的再生方式，所述指示信息是表示在所述畫中畫形式的 視頻中子畫面的視頻被特殊再生時，是否對母畫面的視頻進(jìn)行特殊再生的信息。
17.根據(jù)權(quán)利要求10 12中任意一項所述的視頻數(shù)據(jù)生成裝置，其特征在于， 所述再生視頻是雙畫面顯示形式的視頻。
18.根據(jù)權(quán)利要求17所述的視頻數(shù)據(jù)生成裝置，其特征在于，所述再生方式是指特殊再生時的再生方式，所述指示信息是表示在所述雙畫面顯示形 式的視頻中一個視頻被特殊再生時，是否對另一個視頻進(jìn)行特殊再生的信息。
19.根據(jù)權(quán)利要求17所述的視頻數(shù)據(jù)生成裝置，其特征在于，所述再生方式是指特殊再生時的再生方式，所述指示信息是表示在所述雙畫面顯示形 式的視頻中一個視頻被特殊再生時，是否顯示另一個視頻的信息。
20.一種記錄介質(zhì)，記錄有多個視頻數(shù)據(jù)和與該多個視頻數(shù)據(jù)的至少一個相關(guān)的管理 數(shù)據(jù)，并且能夠由計算機進(jìn)行讀取，所述管理數(shù)據(jù)包括指示信息，該指示信息表示在對解碼所述多個視頻數(shù)據(jù)而得到的多 個解碼視頻進(jìn)行合成而得到畫中畫形式的再生視頻時，母畫面的視頻被特殊再生時是否顯 示子畫面的視頻。
全文摘要
本發(fā)明涉及視頻數(shù)據(jù)再生裝置、視頻數(shù)據(jù)生成裝置及記錄介質(zhì)。一種視頻數(shù)據(jù)再生裝置，包括標(biāo)志符讀出部(101)，其讀出根據(jù)視頻數(shù)據(jù)來指示特殊再生時的再生方式的標(biāo)志符；對兩個視頻數(shù)據(jù)進(jìn)行解碼的解碼部(102、103)；合成解碼視頻并輸出的合成部(106)；和根據(jù)上述標(biāo)志符的值來控制解碼部(102、103)及合成部(106)的動作的管理部(109)。通過根據(jù)上述標(biāo)志符的值來管理畫中畫再生時的特殊再生的再生方式，對于畫中畫視頻的特殊再生時的再生方式，能實現(xiàn)反映了提供者意圖的再生方式。
文檔編號H04N7/26GK101808213SQ20101014538
公開日2010年8月18日 申請日期2006年6月13日 優(yōu)先權(quán)日2005年6月20日
發(fā)明者木山次郎, 渡部秀一 申請人:夏普株式會社