專利名稱：控制設(shè)備使av數(shù)據(jù)與文本字幕數(shù)據(jù)同步的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及字幕，更具體地講，涉及一種記錄/再現(xiàn)介質(zhì)的包括被渲染的與音頻/視頻(AV)數(shù)據(jù)同步輸出的文本字幕數(shù)據(jù)的信息存儲(chǔ)介質(zhì)。本發(fā)明還涉及一種再現(xiàn)方法以及一種使用該再現(xiàn)方法的設(shè)備。
背景技術(shù)：
為了在再現(xiàn)音頻/視頻(AV)數(shù)據(jù)期間顯示字幕，包含字幕數(shù)據(jù)的呈現(xiàn)圖形流被形成位圖數(shù)據(jù)，然后與視頻流和音頻流一起復(fù)用，從而創(chuàng)建AV數(shù)據(jù)。由于這種位圖格式的字幕數(shù)據(jù)與視頻流和音頻流一起復(fù)用，所以可以平滑地與視頻流同步再現(xiàn)這種位圖格式的字幕數(shù)據(jù)。然而，這些技術(shù)的問題是位圖格式的字幕數(shù)據(jù)較大，并且對(duì)最大比特率內(nèi)可復(fù)用的字幕的數(shù)量有限制。在應(yīng)用特定的信息存儲(chǔ)介質(zhì)時(shí)定義所述最大比特率。
除了位圖格式的字幕數(shù)據(jù)以外，還有文本字幕數(shù)據(jù)。設(shè)計(jì)文本字幕數(shù)據(jù)來消除在創(chuàng)建和編輯位圖格式的字幕數(shù)據(jù)時(shí)的困難。然而，文本字幕數(shù)據(jù)單獨(dú)存在，而沒有與視頻流一起復(fù)用。結(jié)果，不像包含傳統(tǒng)的位圖格式的字幕數(shù)據(jù)的呈現(xiàn)圖形流，僅使用打包的基本碼流(PES)包的頭中定義的呈現(xiàn)時(shí)間標(biāo)記(PTS)很難將文本字幕數(shù)據(jù)與視頻流同步。此外，當(dāng)跳到隨機(jī)位置并再現(xiàn)該隨機(jī)位置處的數(shù)據(jù)時(shí)，也很難將文本字幕數(shù)據(jù)與視頻流再同步。
發(fā)明公開技術(shù)解決方案本發(fā)明提供了一種記錄/再現(xiàn)設(shè)備的記錄有文本字幕數(shù)據(jù)的信息存儲(chǔ)介質(zhì)，以及一種在視頻流的正?；蛱丶疾シ牌陂g與視頻流同步再現(xiàn)文本字幕數(shù)據(jù)的方法和設(shè)備，在所述信息存儲(chǔ)介質(zhì)中，指定了每個(gè)字幕項(xiàng)的輸出開始時(shí)間和輸出結(jié)束時(shí)間。
有益的效果根據(jù)本發(fā)明的方面，不僅在正常播放期間可以與AV流同步再現(xiàn)文本字幕數(shù)據(jù)，而且在特技播放(諸如跳到AV流的其它部分、靜止幀、慢動(dòng)作、快速播放)期間也可以與AV流同步再現(xiàn)文本字幕數(shù)據(jù)。


圖1A至圖1E示出根據(jù)本發(fā)明一方面的將視頻流、音頻流和其它流復(fù)用為源包以構(gòu)造AV流并將該AV流存儲(chǔ)在信息存儲(chǔ)介質(zhì)中的過程；圖2是根據(jù)本發(fā)明一方面的再現(xiàn)AV流的設(shè)備的示意性方框圖；圖3A和圖3B示出根據(jù)本發(fā)明一方面的將構(gòu)成存儲(chǔ)在信息存儲(chǔ)介質(zhì)中的AV流的源包輸入到再現(xiàn)AV流的設(shè)備的操作；圖4A至圖4C示出根據(jù)本發(fā)明一方面的當(dāng)具有一個(gè)到達(dá)時(shí)間時(shí)鐘(ATC)序列的源包被輸入到再現(xiàn)AV流的設(shè)備時(shí)再現(xiàn)AV流的設(shè)備的系統(tǒng)時(shí)鐘(STC)的變化；圖5示出根據(jù)本發(fā)明一方面的用于指定存儲(chǔ)在信息存儲(chǔ)介質(zhì)中的AV流的再現(xiàn)次序和再現(xiàn)位置的導(dǎo)航信息與AV流之間的關(guān)系；圖6A和圖6B是根據(jù)本發(fā)明一方面的用于解釋文本字幕數(shù)據(jù)的問題的示圖；圖7A和圖7B示出根據(jù)本發(fā)明一方面的添加其中應(yīng)該顯示字幕的引用播放項(xiàng)信息的再現(xiàn)字幕的方法；圖8A和圖8B示出根據(jù)本發(fā)明一方面的通過基于總時(shí)間分配PTS來記錄文本字幕的第二種再現(xiàn)字幕的方法；圖9示出根據(jù)本發(fā)明一方面的每個(gè)播放項(xiàng)所指示的時(shí)間信息和播放列表的總時(shí)間之間的關(guān)系；和圖10是根據(jù)本發(fā)明一方面的用于再現(xiàn)文本字幕數(shù)據(jù)和AV數(shù)據(jù)的設(shè)備的示意性方框圖。
最佳方式根據(jù)本發(fā)明的一方面，一種記錄/再現(xiàn)設(shè)備的信息存儲(chǔ)介質(zhì)包括與音頻/視頻(AV)數(shù)據(jù)同步輸出的字幕數(shù)據(jù)和指示所述字幕數(shù)據(jù)的輸出開始時(shí)間和/或輸出結(jié)束時(shí)間的輸出時(shí)間信息。
根據(jù)本發(fā)明的一方面，所述信息存儲(chǔ)介質(zhì)還可包括指示AV數(shù)據(jù)的播放項(xiàng)信息，字幕數(shù)據(jù)的輸出應(yīng)該與所述AV數(shù)據(jù)同步。
根據(jù)本發(fā)明的另一方面，通過參考所述播放項(xiàng)信息的系統(tǒng)時(shí)鐘(STC)來創(chuàng)建所述輸出時(shí)間信息。
根據(jù)本發(fā)明的另一方面，通過參考包括在指示AV數(shù)據(jù)的播放列表中的總時(shí)間來創(chuàng)建所述輸出時(shí)間信息，字幕數(shù)據(jù)的輸出應(yīng)該與所述AV數(shù)據(jù)同步。
根據(jù)本發(fā)明的另一方面，一種再現(xiàn)文本字幕數(shù)據(jù)和AV數(shù)據(jù)的方法，該方法包括讀取輸出時(shí)間信息，所述輸出時(shí)間信息指示與AV數(shù)據(jù)同步輸出的字幕數(shù)據(jù)的輸出開始時(shí)間和/或輸出結(jié)束時(shí)間；根據(jù)所述輸出時(shí)間信息輸出字幕數(shù)據(jù)。在所述輸出字幕數(shù)據(jù)的步驟中，還可讀取指示AV數(shù)據(jù)的信息，字幕數(shù)據(jù)的輸出應(yīng)該與所述AV數(shù)據(jù)同步。
根據(jù)本發(fā)明的另一方面，一種再現(xiàn)AV數(shù)據(jù)和文本字幕數(shù)據(jù)的設(shè)備包括AV數(shù)據(jù)處理單元、輸出時(shí)間信息提取單元和字幕輸出單元。AV數(shù)據(jù)處理單元顯示AV數(shù)據(jù)。輸出時(shí)間信息提取單元讀取輸出時(shí)間信息，所述輸出時(shí)間信息指示與AV數(shù)據(jù)同步輸出的字幕數(shù)據(jù)的輸出開始時(shí)間和/或輸出結(jié)束時(shí)間。字幕輸出單元根據(jù)所述輸出時(shí)間信息讀取字幕數(shù)據(jù)，并與AV數(shù)據(jù)同步輸出讀取的字幕數(shù)據(jù)。
根據(jù)本發(fā)明的一方面，所述輸出時(shí)間信息提取單元還讀取指示AV數(shù)據(jù)的信息，字幕數(shù)據(jù)的輸出應(yīng)該與所述AV數(shù)據(jù)同步。
具體實(shí)施例方式
現(xiàn)在將詳細(xì)描述本發(fā)明的實(shí)施例，其示例在附圖中示出。在附圖中，相同的標(biāo)號(hào)始終表示相同的部件。以下通過參照附圖來描述實(shí)施例以解釋本發(fā)明。
圖1A至圖1E示出根據(jù)本發(fā)明一方面的將視頻流、音頻流和其它流復(fù)用為源包以構(gòu)造音頻/視頻(AV)流并將該AV流存儲(chǔ)在信息存儲(chǔ)介質(zhì)中的過程。參照?qǐng)D1A，AV流至少包括視頻流、音頻流和包含位圖格式的字幕數(shù)據(jù)的呈現(xiàn)圖形流。AV流還可包括用于特定用途的由制造商制作的其它數(shù)據(jù)流。每個(gè)數(shù)據(jù)流，諸如視頻流、音頻流或其它數(shù)據(jù)流被稱為基本流。這些基本流被打包成圖1B所示的打包的基本碼流(PES)。
每個(gè)PES包括PES頭和PES包數(shù)據(jù)。在PES頭中記錄stream_ID信息以在視頻數(shù)據(jù)、音頻數(shù)據(jù)和其它數(shù)據(jù)、諸如PES包的解碼時(shí)間標(biāo)記(DTS)和呈現(xiàn)時(shí)間標(biāo)記(PTS)的時(shí)間信息和其它信息中識(shí)別PES包數(shù)據(jù)的類型。
復(fù)用這種視頻PES、音頻PES和其它數(shù)據(jù)的PES以構(gòu)造圖1C所示的188字節(jié)的MPEG(運(yùn)動(dòng)圖像專家組)-2傳輸流(TS)包。188字節(jié)的MPEG-2 TS包包括記錄有關(guān)于凈荷數(shù)據(jù)的信息的MPEG-2 TS頭。MPEG-2 TS頭包括指示凈荷數(shù)據(jù)的類型的包ID信息、包括用于設(shè)置再現(xiàn)AV流的設(shè)備的系統(tǒng)時(shí)鐘(STC)的節(jié)目時(shí)鐘基準(zhǔn)(PCR)的適配字段和其它信息。STC是用于對(duì)PES包解碼的DTS和用于輸出PES包的PTS的基準(zhǔn)時(shí)間。
將4字節(jié)的頭加到188字節(jié)的MPEG-2 TS包以構(gòu)造如圖1D所示的源包，一組這樣的源包構(gòu)成AV流。源包的頭包括復(fù)制允許信息和到達(dá)時(shí)間標(biāo)記(ATS)，所述復(fù)制允許信息包含用于防止非法復(fù)制源包的內(nèi)容保護(hù)信息，所述ATS指示源包到達(dá)再現(xiàn)AV流的設(shè)備的時(shí)間。構(gòu)造的AV流被記錄在圖1E所示的信息存儲(chǔ)介質(zhì)中。應(yīng)該理解，所述信息存儲(chǔ)介質(zhì)可以是光學(xué)介質(zhì)(諸如CD、DVD、藍(lán)光盤)、磁介質(zhì)(諸如DVR、閃存、硬盤驅(qū)動(dòng)器)、磁光介質(zhì)或其它介質(zhì)。
圖2是根據(jù)本發(fā)明一方面的再現(xiàn)AV流的設(shè)備的示意性方框圖。如圖2所示，讀取單元210從記錄有AV流的信息存儲(chǔ)介質(zhì)讀取如以上參照?qǐng)D1A至圖1E所述而構(gòu)造的AV流。此外，讀取單元210根據(jù)源包的頭中記錄的ATS將源包發(fā)送給解復(fù)用單元220。解復(fù)用單元220從接收的源包去除頭來重構(gòu)MPEG-2 TS包。在MPEG-2 TS包的頭中包括PCR信息的情況下，解復(fù)用單元220基于PCR信息設(shè)置再現(xiàn)AV流的設(shè)備的STC計(jì)數(shù)器250，并且解復(fù)用單元220基于包ID信息將MPEG-2 TS包分為視頻流、音頻流或其它數(shù)據(jù)流之一，從而重構(gòu)相應(yīng)數(shù)據(jù)流的PES包。STC計(jì)數(shù)器250根據(jù)對(duì)系統(tǒng)時(shí)鐘的計(jì)數(shù)而連續(xù)增加，然后，被不定期地重置為某一值，該值不根據(jù)PCR逐漸增加，相反，該值由PCR指示。應(yīng)該理解，所述設(shè)備還可記錄數(shù)據(jù)，并且只要所述設(shè)備接收傳輸流，就不需要在所有方面都包括讀取單元。
當(dāng)包括在PES包的頭中的DTS與所述再現(xiàn)AV流的設(shè)備的STC計(jì)數(shù)器250相同時(shí)，按照這種方式重構(gòu)的PES包被發(fā)送給視頻解碼器230和音頻解碼器240。當(dāng)PTS與STC計(jì)數(shù)器250的值相同時(shí)，輸出解碼的視頻數(shù)據(jù)或解碼的音頻數(shù)據(jù)。此時(shí)，在特定時(shí)刻輸出的視頻流單元被稱為視頻呈現(xiàn)單元(VPU)，在特定時(shí)刻輸出的音頻流單元被稱為音頻呈現(xiàn)單元(APU)。此外，包含將通過視頻解碼器230解碼以創(chuàng)建VPU的數(shù)據(jù)的視頻流單元被稱為視頻訪問單元(VAU)，包含將通過音頻解碼器240解碼以創(chuàng)建APU的數(shù)據(jù)的音頻流單元被稱為音頻訪問單元(AAU)。
換句話說，記錄在信息存儲(chǔ)介質(zhì)上的源包被解復(fù)用為將在特定時(shí)間被解碼的VAU和AAU。然后，當(dāng)記錄在相應(yīng)的訪問單元中的DTS與STC計(jì)數(shù)器250的值基本上相同時(shí)，VAU和AAU被發(fā)送給視頻解碼器230和音頻解碼器240。從而，創(chuàng)建VPU和APU。當(dāng)相應(yīng)的呈現(xiàn)單元的PTS與STC計(jì)數(shù)器250的值相同時(shí)，輸出創(chuàng)建的VPU和APU。音頻流的PTS可指示AAU輸入到音頻解碼器240或者從音頻解碼器240輸出的時(shí)間。盡管不是在所有方面都需要，但是可以緩沖VAU和/或AAU以將VAU和AAU與STC計(jì)數(shù)器同步。
像視頻流或音頻流一樣，用于位圖格式的字幕數(shù)據(jù)的呈現(xiàn)圖形流也被形成為訪問單元和呈現(xiàn)單元，每個(gè)單元的DTS和PTS與STC計(jì)數(shù)器250同步操作。DTS和PTS與STC計(jì)數(shù)器250的同步操作實(shí)現(xiàn)了呈現(xiàn)圖形流與位圖格式的字幕數(shù)據(jù)之間的再現(xiàn)同步。
圖3A和圖3B示出將構(gòu)成存儲(chǔ)在信息存儲(chǔ)介質(zhì)中的AV流的源包輸入到再現(xiàn)AV流的設(shè)備的操作。參照?qǐng)D3A，AV流包括多個(gè)源包。ATS信息包括在每個(gè)源包的頭中，所述ATS信息是關(guān)于每個(gè)源包被輸入到再現(xiàn)AV流的設(shè)備的時(shí)間的時(shí)間信息。此外，如圖3B所示，再現(xiàn)AV流的設(shè)備的到達(dá)時(shí)間時(shí)鐘(ATC)計(jì)數(shù)器被重置到首先輸入到再現(xiàn)AV流的設(shè)備的源包的ATS。在首先輸入的源包之后輸入的源包的頭中所包括的ATS與ATC計(jì)數(shù)器的計(jì)數(shù)進(jìn)行比較，并且源包在其ATS與ATC計(jì)數(shù)器的計(jì)數(shù)相同的時(shí)刻被輸入到再現(xiàn)AV流的設(shè)備。此時(shí)，如果源包的ATS不中斷地連接，那么這些源包具有相同的ATC序列。通常，一個(gè)AV流包括一個(gè)ATC序列，但是也可以包括多個(gè)ATS序列。
圖4A至圖4C示出當(dāng)具有一個(gè)ATC序列的源包被輸入到再現(xiàn)AV流的設(shè)備時(shí)再現(xiàn)AV流的設(shè)備的STC的變化。參照?qǐng)D4A，包括在一個(gè)ATC序列中的源包根據(jù)其ATS被順序輸入到再現(xiàn)AV流的設(shè)備，然后被重構(gòu)為MPEG-2TS包。此時(shí)，如果PCR信息包括在MPEG-2 TS包的頭中，那么如圖4B和圖4C所示，再現(xiàn)AV流的設(shè)備使用PCR信息來重置其STC。STC序列指示由STC控制的MPEG-2 TS包序列，STC根據(jù)包括在MPEG-2 TS包的頭中的PCR信息連續(xù)增加。
一個(gè)ATC序列包括至少一個(gè)STC序列。在這種情況下，當(dāng)STC序列變成另一STC序列，即，當(dāng)在新的STC序列的第一MPEG-2 TS包中發(fā)生STC中斷時(shí)，應(yīng)該記錄用于重置STC的PCR信息。
參照?qǐng)D4A至圖4C，當(dāng)再現(xiàn)具有一個(gè)ATC序列的AV流時(shí)，使用0作為再現(xiàn)AV流的起始點(diǎn)的總時(shí)間逐漸增加，而STC序列#0、#1和#2具有不同的STC值。
在視頻流、音頻流和呈現(xiàn)圖形流的情況下，即使在STC序列中發(fā)生中斷并且STC被重置，由于視頻流、音頻流和呈現(xiàn)圖形流被復(fù)用為一個(gè)AV流，所以每個(gè)數(shù)據(jù)流的DTS和PTS也可由控制相應(yīng)的時(shí)間信息的STC序列中的STC處理。然而，因?yàn)槲谋咀帜粩?shù)據(jù)與AV流分開存在或者因?yàn)橛捎谖谋咀帜粩?shù)據(jù)可通過多個(gè)AV流被存儲(chǔ)這一事實(shí)而導(dǎo)致可能存在多個(gè)ATC序列，所以在特定的STC序列中不包括文本字幕數(shù)據(jù)。結(jié)果，文本字幕數(shù)據(jù)不能通過使用基于STC的PTS來具有輸出開始時(shí)間和輸出結(jié)束時(shí)間。
圖5示出用于指定存儲(chǔ)在信息存儲(chǔ)介質(zhì)中的AV流的再現(xiàn)次序和再現(xiàn)位置的導(dǎo)航信息與AV流之間的關(guān)系。參照?qǐng)D5，AV流、包括關(guān)于AV流的屬性信息的片段信息以及指示AV流的再現(xiàn)次序的導(dǎo)航信息包括在信息存儲(chǔ)介質(zhì)中。所述導(dǎo)航信息包括關(guān)于包括在信息存儲(chǔ)介質(zhì)中的至少一個(gè)標(biāo)題的標(biāo)題信息和包括根據(jù)每個(gè)標(biāo)題再現(xiàn)的AV流的再現(xiàn)次序的至少一個(gè)播放列表。
參照?qǐng)D5，播放列表包括至少一個(gè)播放項(xiàng)，所述至少一個(gè)播放項(xiàng)包括指示將被再現(xiàn)的AV流的引用信息。播放項(xiàng)包括Clip_info_file，指示包括關(guān)于將被再現(xiàn)的AV流的屬性信息的片段信息；ref_to_STC_id，指示包括AV流中播放項(xiàng)所指示的AV流的STC的STC序列的編號(hào)，以及IN_time和OUT_time信息，指示在播放項(xiàng)所指示的STC序列中的播放項(xiàng)的開始和結(jié)束。
以下，將描述從具有如上所述的數(shù)據(jù)結(jié)構(gòu)的信息存儲(chǔ)介質(zhì)再現(xiàn)AV流的過程。選擇將被再現(xiàn)的標(biāo)題所指示的播放列表，并且如果正常播放包括在選擇的播放列表中的播放項(xiàng)，那么從上開始順序選擇所述播放項(xiàng)。另一方面，如果隨機(jī)訪問包括在選擇的播放列表中的播放項(xiàng)，那么從指定的播放項(xiàng)中順序選擇播放項(xiàng)。
如果首先選擇了播放項(xiàng)#0，那么基于包括在播放項(xiàng)#0中的Clip_info_file＝1信息選擇片段信息#1?；诎ㄔ诓シ彭?xiàng)#0中的ref_to_STC_id＝0信息，在片段信息#1所指示的AV流的ATC序列中選擇STC序列#0?；诎ㄔ谠摬シ彭?xiàng)中的IN_time＝in 1和OUT_time＝out 1信息，從對(duì)應(yīng)于STC序列#0的STC所指示的in 1位置到out 1位置再現(xiàn)AV流。
接下來，如果選擇了播放項(xiàng)#1，那么基于包括在播放項(xiàng)#1中的Clip_info_file＝2信息選擇片段信息#2?；诎ㄔ诓シ彭?xiàng)#1中的ref_to_STC_id＝0信息，在片段信息#2所指示的AV流的ATC序列中選擇STC序列#0?；诎ㄔ诓シ彭?xiàng)#1中的IN_time＝in 2和OUT_time＝out 2信息，從對(duì)應(yīng)于STC序列#0的STC所指示的in 2位置到out 2位置再現(xiàn)AV流。因此，應(yīng)該理解，接下來的任何播放項(xiàng)，諸如播放項(xiàng)#3將以相同的方式被再現(xiàn)。
換句話說，選擇播放列表，并從選擇的播放列表中選擇播放項(xiàng)以搜索將被再現(xiàn)的AV流的位置。在根據(jù)ATS將從找到的位置開始的AV流發(fā)送給再現(xiàn)AV流的設(shè)備之后，使用發(fā)送的數(shù)據(jù)中包括PCR信息的MPEG-2 TS包來重置再現(xiàn)AV流的設(shè)備的STC。VAU和AAU在包括在每個(gè)訪問單元中的PTS與STC相同的時(shí)刻開始被解碼。在該時(shí)刻對(duì)VAU和AAU解碼創(chuàng)建了VPU和APU。當(dāng)每個(gè)呈現(xiàn)單元的PTS與STC相同時(shí)，輸出創(chuàng)建的VPU和APU。
此外，為了使再現(xiàn)AV流的設(shè)備顯示對(duì)應(yīng)于視頻數(shù)據(jù)的字幕，文本字幕數(shù)據(jù)定義了輸出開始時(shí)間和輸出結(jié)束時(shí)間(begin，end)以輸出在文本字幕數(shù)據(jù)中定義的每個(gè)字幕項(xiàng)。此時(shí)，當(dāng)AV流中的視頻流和音頻流中的基于STC的PTS用作在文本字幕數(shù)據(jù)中定義的每個(gè)字幕項(xiàng)的輸出開始時(shí)間和輸出結(jié)束時(shí)間(begin，end)的屬性信息時(shí)，順序定義的字幕項(xiàng)的輸出開始時(shí)間和輸出結(jié)束時(shí)間(begin，end)不是連續(xù)地增加，并且特定的時(shí)間范圍重疊。這里，應(yīng)該理解，輸出開始時(shí)間和輸出結(jié)束時(shí)間的順序定義與一個(gè)文本字幕中的再現(xiàn)次序一致。結(jié)果，不能夠識(shí)別字幕項(xiàng)之間的排序關(guān)系。
此外，在不同的字幕項(xiàng)之間可以使用相同的輸出開始時(shí)間和輸出結(jié)束時(shí)間(begin，end)。因而，當(dāng)選擇并再現(xiàn)播放列表時(shí)，如果跳到隨機(jī)位置并再現(xiàn)該隨機(jī)位置處的數(shù)據(jù)而不是正常的順序再現(xiàn)，那么基本上不可能準(zhǔn)確地搜索與視頻流相同位置處的字幕項(xiàng)。
以下，將描述用于解決文本字幕數(shù)據(jù)的上述問題的方法。在本發(fā)明的一方面，以標(biāo)記語言形式制作的文本字幕數(shù)據(jù)被當(dāng)作結(jié)構(gòu)化文本字幕數(shù)據(jù)的示例，但是根據(jù)本發(fā)明的其它方面，文本字幕數(shù)據(jù)可以具有二進(jìn)制形式的結(jié)構(gòu)。通過給二進(jìn)制數(shù)據(jù)序列的每個(gè)特定字節(jié)賦予含義來獲得二進(jìn)制形式的結(jié)構(gòu)，從而結(jié)構(gòu)化文本字幕數(shù)據(jù)。換句話說，以下述方式來結(jié)構(gòu)化文本字幕數(shù)據(jù)最初的幾個(gè)字節(jié)指示關(guān)于字幕項(xiàng)1的信息，接下來的幾個(gè)字節(jié)指示關(guān)于字幕項(xiàng)2的信息。然而，應(yīng)該理解，可以用另外的替換方法來結(jié)構(gòu)化文本字幕數(shù)據(jù)。
圖6A和圖6B是用于解釋文本字幕數(shù)據(jù)的問題的示圖。參照?qǐng)D6A和圖6B，字幕610的字幕項(xiàng)對(duì)應(yīng)于STC序列#0，其中，字幕“text 1”的(begin，end)是(10，12)，字幕“text 2”的(begin，end)是(20，22)。字幕620的字幕項(xiàng)對(duì)應(yīng)于STC序列#1，其中，字幕“text 3”的(begin，end)是(17，19)，字幕“text 4”的(begin，end)是(25，27)，字幕“text 5”的(begin，end)是(30，33)。字幕630的字幕項(xiàng)對(duì)應(yīng)于STC序列#2，其中，字幕“text 6”的(begin，end)是(5，8)，字幕“text7”的(begin，end)是(25，27)。
在正常播放的情況下，每個(gè)字幕的輸出次序是610、620，然后是630，但是每個(gè)字幕項(xiàng)的(begin，end)不保持為常數(shù)。結(jié)果，不能僅使用(begin，end)信息來識(shí)別字幕之間的排序關(guān)系。此外，字幕“text 4”和字幕“text 7”具有相同的(begin，end)。按照這種方式構(gòu)造的文本字幕數(shù)據(jù)應(yīng)該與視頻數(shù)據(jù)同步輸出。如果沒有從視頻流的第一播放項(xiàng)開始進(jìn)行正常播放，而是在再現(xiàn)視頻流期間跳到對(duì)應(yīng)于STC序列#2的時(shí)間“25”的位置并進(jìn)行再現(xiàn)，那么處理文本字幕數(shù)據(jù)的解碼器不能夠確定字幕“text 4”和“text 7”中的哪個(gè)是對(duì)應(yīng)于當(dāng)前視頻數(shù)據(jù)的位置的字幕項(xiàng)。
因而，為了與視頻流同步輸出定義在文本字幕數(shù)據(jù)中的每個(gè)字幕項(xiàng)，使用下面兩種方法(1)每個(gè)字幕項(xiàng)還包括對(duì)應(yīng)的字幕項(xiàng)與其一起顯示的引用播放項(xiàng)信息，基于STC創(chuàng)建的PTS被分配為(begin，end)。
(2)基于包括至少一個(gè)AV流的播放列表的總時(shí)間創(chuàng)建的PTS被分配給每個(gè)字幕項(xiàng)的輸出開始時(shí)間和輸出結(jié)束時(shí)間(begin，end)，其中，相應(yīng)字幕數(shù)據(jù)的再現(xiàn)應(yīng)該與所述至少一個(gè)AV流同步。
在這兩種方法中，可包括輸出開始時(shí)間信息(begin)和輸出結(jié)束時(shí)間信息(end)之一而不是包括它們兩者來作為時(shí)間信息。
圖7A和圖7B示出根據(jù)本發(fā)明一方面的添加其中應(yīng)該顯示字幕的引用播放項(xiàng)信息的再現(xiàn)字幕的方法。參照?qǐng)D7A和圖7B，字幕710的字幕項(xiàng)包括在STC序列#0中，STC序列#0由播放項(xiàng)#0指示。字幕720的字幕項(xiàng)包括在STC序列#1中，STC序列#1由播放項(xiàng)#1指示。此外，字幕730的字幕項(xiàng)包括在STC序列#2中，STC序列#2由播放項(xiàng)#2指示?；赟TC創(chuàng)建的PTS用作每個(gè)字幕項(xiàng)的(begin，end)。
在這種情況下，字幕710的字幕項(xiàng)使用附加信息<PlayItem_number＝0>來指定使用字幕710的字幕項(xiàng)的播放項(xiàng)的編號(hào)。因而，由字幕710的字幕項(xiàng)用作(begin，end)的PTS基于根據(jù)播放項(xiàng)#0所指示的STC序列#0的STC被創(chuàng)建，并且應(yīng)該根據(jù)STC被控制。
類似地，字幕720的字幕項(xiàng)和字幕730的字幕項(xiàng)使用附加信息<PlayItem_number＝1>和<PlayItem_number＝2>來指定使用字幕720和730的字幕項(xiàng)的播放項(xiàng)的編號(hào)，從而解決參照?qǐng)D6所描述的問題。此外，包括在文本字幕數(shù)據(jù)中的引用播放項(xiàng)信息可以單獨(dú)包括在每個(gè)字幕項(xiàng)中。
圖8A和圖8B示出根據(jù)本發(fā)明一方面的通過基于總時(shí)間分配PTS來記錄文本字幕的第二種再現(xiàn)字幕的方法。根據(jù)圖8A和圖8B，記錄總時(shí)間以存儲(chǔ)AV流的運(yùn)行時(shí)間的單獨(dú)的存儲(chǔ)空間被分配給從根據(jù)本發(fā)明的信息存儲(chǔ)介質(zhì)再現(xiàn)AV流的設(shè)備。這樣，再現(xiàn)AV流的設(shè)備具有播放器狀態(tài)寄存器(PSR)作為存儲(chǔ)再現(xiàn)所需的信息的空間，當(dāng)選擇播放列表以再現(xiàn)AV流時(shí)，存儲(chǔ)總時(shí)間的寄存器被設(shè)置為0，隨著播放列表所指示的AV流的再現(xiàn)的進(jìn)行，寄存器順序地增加。換句話說，寄存器在選擇的播放列表的第一播放項(xiàng)的IN_time被設(shè)置為0，并順序增加直到相應(yīng)播放項(xiàng)的OUT_time。一旦下一個(gè)播放項(xiàng)被選擇，存儲(chǔ)在寄存器中的總時(shí)間就從相應(yīng)播放項(xiàng)的IN_time順序增加。
圖9示出每個(gè)播放項(xiàng)所指示的時(shí)間信息和播放列表的總時(shí)間之間的關(guān)系。參照?qǐng)D9，X指示用于再現(xiàn)PlayItem_id＝0所指示的播放項(xiàng)的時(shí)間間隔，Y指示用于再現(xiàn)PlayItem_id＝1所指示的播放項(xiàng)的時(shí)間間隔，Z指示用于再現(xiàn)PlayItem_id＝2所指示的播放項(xiàng)的時(shí)間間隔。換句話說，將總時(shí)間軸上的包括在播放列表中的時(shí)間信息與包括在每個(gè)播放項(xiàng)中的特定ATC序列中的特定STC序列中的時(shí)間逐個(gè)匹配。
因而，如參照?qǐng)D8A和圖8B所述，文本字幕數(shù)據(jù)的每個(gè)項(xiàng)通過使用總時(shí)間軸上的時(shí)間信息作為相應(yīng)字幕項(xiàng)的輸出開始時(shí)間和輸出結(jié)束時(shí)間來指示PTS，從而在與AV流同步和再同步期間通過參考存儲(chǔ)當(dāng)前再現(xiàn)時(shí)刻的總時(shí)間的寄存器來平滑地再現(xiàn)AV流。
圖10是根據(jù)本發(fā)明的用于再現(xiàn)文本字幕數(shù)據(jù)和AV數(shù)據(jù)的設(shè)備的示意性方框圖。參照?qǐng)D10，AV數(shù)據(jù)處理單元1010讀取存儲(chǔ)在信息存儲(chǔ)介質(zhì)中的AV數(shù)據(jù)，并輸出讀取的AV數(shù)據(jù)。輸出時(shí)間信息提取單元1020讀取指示與AV數(shù)據(jù)同步輸出的字幕數(shù)據(jù)的輸出開始時(shí)間和輸出結(jié)束時(shí)間的輸出時(shí)間信息。如上所述，輸出開始時(shí)間和輸出結(jié)束時(shí)間用(begin，end)來表達(dá)，通過參考播放項(xiàng)的STC來創(chuàng)建輸出開始時(shí)間和輸出結(jié)束時(shí)間。此外，所述輸出時(shí)間信息可包括輸出開始時(shí)間和輸出結(jié)束時(shí)間之一或者包括兩者。在這種情況下，還讀取指示字幕數(shù)據(jù)的輸出應(yīng)該與其同步的AV數(shù)據(jù)的播放項(xiàng)信息，以確定具有STC的字幕數(shù)據(jù)的輸出應(yīng)該與其同步的播放項(xiàng)。此外，如上所述，通過參考指示AV數(shù)據(jù)的播放列表的總時(shí)間來創(chuàng)建輸出時(shí)間信息，其中，字幕數(shù)據(jù)的輸出應(yīng)該與AV數(shù)據(jù)同步。字幕輸出單元1030根據(jù)輸出時(shí)間信息讀取字幕數(shù)據(jù)，并與AV數(shù)據(jù)同步輸出讀取的字幕數(shù)據(jù)。
還可以將所述再現(xiàn)文本字幕數(shù)據(jù)和AV數(shù)據(jù)的方法實(shí)施為計(jì)算機(jī)程序。本領(lǐng)域的計(jì)算機(jī)程序員可以容易地構(gòu)造形成所述計(jì)算機(jī)程序的代碼和代碼段。此外，所述計(jì)算機(jī)程序存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中，由計(jì)算機(jī)讀取并執(zhí)行，從而實(shí)現(xiàn)用于再現(xiàn)基于文本的字幕數(shù)據(jù)和AV數(shù)據(jù)的方法。所述計(jì)算機(jī)可讀介質(zhì)的示例包括磁帶、光學(xué)數(shù)據(jù)存儲(chǔ)裝置和載波。
盡管已顯示和描述了本發(fā)明的一些實(shí)施例，但是本領(lǐng)域技術(shù)人員應(yīng)該理解，在不脫離本發(fā)明的原理和精神的情況下，可以對(duì)這些實(shí)施例進(jìn)行改變，本發(fā)明的范圍限定在權(quán)利要求及其等同物中。
權(quán)利要求
1.一種控制設(shè)備使AV數(shù)據(jù)與文本字幕數(shù)據(jù)同步的方法，該方法包括將AV數(shù)據(jù)與文本字幕數(shù)據(jù)形成訪問單元；當(dāng)所述訪問單元中的第一時(shí)間數(shù)據(jù)與所述設(shè)備中的時(shí)間數(shù)據(jù)基本上相同時(shí)，對(duì)所述訪問單元解碼，從而創(chuàng)建AV數(shù)據(jù)和文本字幕數(shù)據(jù)的呈現(xiàn)單元；和當(dāng)所述AV數(shù)據(jù)和文本字幕數(shù)據(jù)的呈現(xiàn)單元中的第二時(shí)間數(shù)據(jù)與所述設(shè)備中的時(shí)間數(shù)據(jù)基本上相同時(shí)，輸出解碼的呈現(xiàn)單元，所述AV數(shù)據(jù)和文本字幕數(shù)據(jù)的呈現(xiàn)單元中的第二時(shí)間數(shù)據(jù)相互一致。
2.如權(quán)利要求1所述的方法，還包括將AV數(shù)據(jù)打包成打包的基本碼流；將打包的基本碼流復(fù)用為MPEG-2 TS包；和將頭加到MPEG-2 TS包以構(gòu)造源包，從而一組源包構(gòu)成AV數(shù)據(jù)。
3.如權(quán)利要求2所述的方法，其中，所述AV數(shù)據(jù)至少包括視頻流、音頻流和包含位圖格式的字幕數(shù)據(jù)的呈現(xiàn)圖形流。
4.如權(quán)利要求2所述的方法，其中，每個(gè)打包的基本碼流包括打包的基本碼流頭和打包的基本碼流包數(shù)據(jù)，所述打包的基本碼流頭包括流ID信息以識(shí)別打包的基本碼流包數(shù)據(jù)的類型。
5.如權(quán)利要求2所述的方法，其中，所述MPEG-2 TS包為188字節(jié)，并且包括頭，包括關(guān)于凈荷數(shù)據(jù)的信息和指示凈荷數(shù)據(jù)的類型的包ID信息；和適配字段，包括用于設(shè)置所述設(shè)備的系統(tǒng)時(shí)鐘的節(jié)目時(shí)鐘基準(zhǔn)。
6.如權(quán)利要求2所述的方法，其中，所述頭包括復(fù)制允許信息，包含用于防止非法復(fù)制源包的內(nèi)容保護(hù)信息；和到達(dá)時(shí)間標(biāo)記，用于指示源包到達(dá)所述設(shè)備的時(shí)間。
7.如權(quán)利要求1所述的方法，還包括檢測(cè)引用播放項(xiàng)信息和輸出時(shí)間信息，所述輸出時(shí)間信息指示將與AV數(shù)據(jù)同步輸出的文本字幕數(shù)據(jù)的輸出開始時(shí)間和/或輸出結(jié)束時(shí)間；和根據(jù)檢測(cè)的輸出時(shí)間信息，與輸出的AV數(shù)據(jù)同步輸出文本字幕數(shù)據(jù)。
8.如權(quán)利要求7所述的方法，其中，文本字幕數(shù)據(jù)中各種字幕的字幕項(xiàng)指定再現(xiàn)所述字幕項(xiàng)的播放項(xiàng)的編號(hào)。
9.如權(quán)利要求7所述的方法，其中，各種字幕的字幕項(xiàng)使用附加信息來指定使用所述各種字幕的字幕項(xiàng)的播放項(xiàng)的編號(hào)。
10.如權(quán)利要求9所述的方法，其中，包括在文本字幕數(shù)據(jù)中的引用播放項(xiàng)信息單獨(dú)包括在每個(gè)字幕項(xiàng)中。
11.如權(quán)利要求1所述的方法，還包括檢測(cè)基于包括AV數(shù)據(jù)的播放列表的總時(shí)間的呈現(xiàn)時(shí)間標(biāo)記，相應(yīng)字幕數(shù)據(jù)的再現(xiàn)將與所述AV數(shù)據(jù)同步；將所述呈現(xiàn)時(shí)間標(biāo)記分配給每個(gè)字幕項(xiàng)的輸出開始時(shí)間和輸出結(jié)束時(shí)間；和根據(jù)檢測(cè)的輸出時(shí)間信息與輸出的AV數(shù)據(jù)同步輸出文本字幕數(shù)據(jù)。
12.如權(quán)利要求11所述的方法，還包括在與AV流同步和再同步期間，參考存儲(chǔ)所述總時(shí)間的寄存器。
13.如權(quán)利要求1所述的方法，其中，在特技播放模式期間，文本字幕數(shù)據(jù)與AV數(shù)據(jù)同步被再現(xiàn)。
14.如權(quán)利要求13所述的方法，其中，所述特技播放模式包括提供一種跳到AV數(shù)據(jù)的另一部分、呈現(xiàn)AV數(shù)據(jù)的靜止幀、慢動(dòng)作播放、快速播放或者它們的組合的方法。
全文摘要
一種記錄有被渲染的與音頻/視頻(AV)數(shù)據(jù)的再現(xiàn)同步輸出的文本字幕數(shù)據(jù)的信息存儲(chǔ)介質(zhì)，以及一種再現(xiàn)所述文本字幕數(shù)據(jù)和AV數(shù)據(jù)的方法和設(shè)備。所述信息存儲(chǔ)介質(zhì)包括與AV數(shù)據(jù)同步輸出的字幕數(shù)據(jù)和指示字幕數(shù)據(jù)的輸出開始時(shí)間和/或輸出結(jié)束時(shí)間的輸出時(shí)間信息。
文檔編號(hào)G11B27/10GK101068329SQ20071010556
公開日2007年11月7日 申請(qǐng)日期2005年2月19日 優(yōu)先權(quán)日2004年2月21日
發(fā)明者姜滿錫, 鄭吉洙, 樸成煜 申請(qǐng)人:三星電子株式會(huì)社