專(zhuān)利名稱(chēng)：視頻數(shù)據(jù)處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于合成或混合多個(gè)視頻數(shù)據(jù)的技術(shù)。特別地，本發(fā)明涉及視頻數(shù)據(jù)處理裝置和方法，其具有在多個(gè)視頻數(shù)據(jù)之間的時(shí)基校正方面的改進(jìn)。
背景技術(shù)：
傳統(tǒng)上已知有合成多個(gè)視頻數(shù)據(jù)的技術(shù)。在許多情況下，經(jīng)過(guò)這樣同步化的第一和第二視頻數(shù)據(jù)是包括本質(zhì)上具有相同頻率的同步信號(hào)的視頻數(shù)據(jù)。此外，給出了下面的方法作為一種用于將靜止圖像，即將第二視頻數(shù)據(jù)多路復(fù)用到作為運(yùn)動(dòng)圖像的第一視頻數(shù)據(jù)的技術(shù)。根據(jù)該方法，在從存儲(chǔ)器讀取第二視頻數(shù)據(jù)之后，將該第二視頻數(shù)據(jù)(例如，OSD信號(hào))進(jìn)行多路復(fù)用(參見(jiàn)，日本專(zhuān)利申請(qǐng)公開(kāi)出版物第2001-165018號(hào))。在這種情況下，第二視頻數(shù)據(jù)的讀出時(shí)間被預(yù)先設(shè)定為第一視頻數(shù)據(jù)的預(yù)定時(shí)間。這里假定第一和第二視頻數(shù)據(jù)使用硬件電路進(jìn)行再現(xiàn)。
在運(yùn)動(dòng)圖像的顯示區(qū)域內(nèi)，即，在主視頻圖像的顯示區(qū)域內(nèi)，為了得到各種各樣、豐富多彩的展現(xiàn)，希望進(jìn)行以下的顯示。具體地說(shuō)，就是在將第二(副)視頻圖像作為時(shí)區(qū)事件與主視頻圖像匹配的狀態(tài)下顯示主視頻圖像。例如，為獲得希望的屏幕效果，而使運(yùn)動(dòng)圖像(即，主視頻圖像)與第二視頻圖像匹配，以改變主視頻圖像和第二視頻圖像的透光性。此外，在主視頻圖像是運(yùn)動(dòng)畫(huà)面(電影)的情況下，希望與電影人物對(duì)話(huà)同步顯示譯文。
在這種情況下，應(yīng)該考慮到以下的問(wèn)題。具體地說(shuō)，第二視頻圖像具有的是使用軟件再現(xiàn)的視頻源，而不是像傳統(tǒng)情形一樣使用硬件處理的視頻源。如果第二視頻圖像的視頻源使用軟件進(jìn)行再現(xiàn)，那么再現(xiàn)時(shí)間取決于計(jì)算機(jī)的基準(zhǔn)時(shí)鐘。因此，第二視頻圖像的幀頻不必與使用另外的硬件再現(xiàn)的主視頻圖像的幀頻相匹配。只要使用軟件再現(xiàn)的第二視頻圖像進(jìn)行簡(jiǎn)單地構(gòu)造并在運(yùn)動(dòng)圖像(即主視頻圖像)部分的矩形區(qū)域內(nèi)顯示，不管主視頻圖像如何改變，都不會(huì)有什么問(wèn)題。
然而，還沒(méi)有披露與顯示主視頻圖像和第二視頻圖像的內(nèi)容并使它們的幀頻同步緊密相關(guān)的技術(shù)。

發(fā)明內(nèi)容
實(shí)施例的一個(gè)目的是提供一種視頻數(shù)據(jù)處理裝置和方法，當(dāng)一個(gè)視頻圖像(例如，主視頻圖像)與另一個(gè)視頻圖像(例如，第二視頻圖像)混合或合成時(shí)，其可對(duì)兩個(gè)視頻數(shù)據(jù)進(jìn)行時(shí)基校正。
為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種視頻數(shù)據(jù)處理裝置，該裝置包括第一視頻發(fā)生器裝置，用于生成具有任意幀頻的第一視頻數(shù)據(jù)；第二視頻發(fā)生器裝置，用于生成具有不同于第一視頻數(shù)據(jù)的任意幀頻的第二視頻數(shù)據(jù)；以及使用通過(guò)第一視頻發(fā)生器管理的視頻生成時(shí)間作為基準(zhǔn)時(shí)間、并通過(guò)重復(fù)使用第二視頻數(shù)據(jù)來(lái)校正偏離基準(zhǔn)時(shí)間的第二視頻發(fā)生器的視頻生成時(shí)間以獲得幀同步的裝置。
本發(fā)明的另外的目的和優(yōu)勢(shì)將在以下說(shuō)明中描述，且在某種程度上將從說(shuō)明書(shū)中很容易了解到，或者可通過(guò)本發(fā)明的實(shí)施了解到。本發(fā)明的目的和優(yōu)勢(shì)可以通過(guò)下文中特別指出的工具和組合而認(rèn)識(shí)和獲得。


附圖被結(jié)合到說(shuō)明書(shū)中并作為說(shuō)明書(shū)的一部分來(lái)說(shuō)明本發(fā)明的實(shí)施例，且與以上給出的概括描述和以下給出的實(shí)施例的詳細(xì)描述一起用于解釋本發(fā)明的原理。
圖1是示出在本發(fā)明中處理的圖像平面混合的示意圖；圖2是示出根據(jù)本發(fā)明的裝置(硬件)的結(jié)構(gòu)的框圖；圖3是示出根據(jù)本發(fā)明的裝置的操作，即，圖形幀與視頻幀的混合的示意圖；圖4是示出像素?cái)?shù)據(jù)格式的一個(gè)實(shí)例的示意圖；圖5是示出在像素級(jí)混合的原理的示意圖；圖6是示出根據(jù)本發(fā)明的裝置的操作(即，圖形幀與視頻幀的混合)，并解釋當(dāng)給定跳幀時(shí)的操作的示意圖；圖7是示出用于實(shí)現(xiàn)本發(fā)明的軟件的結(jié)構(gòu)的框圖；圖8是示出在可執(zhí)行程序中的任務(wù)優(yōu)先級(jí)的一個(gè)實(shí)例的示意圖；圖9是示出圖形再現(xiàn)程序的流程的流程圖；圖10是示出根據(jù)本發(fā)明的時(shí)基校正系統(tǒng)模型的示意圖；以及圖11是應(yīng)用本發(fā)明的信息記錄/再現(xiàn)裝置的示意圖。
具體實(shí)施例方式
以下將參考附圖描述本發(fā)明的實(shí)施例。
圖1是示出在本發(fā)明中處理的圖像平面混合的基本原理的示意圖。圖形平面11是通過(guò)中央處理器(CPU)計(jì)算并生成的圖像。視頻平面12是通過(guò)MPEG2解碼器解碼出的運(yùn)動(dòng)圖像中的單幅圖像。上述圖形平面11和視頻平面12彼此獨(dú)立地生成。例如，圖形平面11和視頻平面12與MPEG2解碼器的輸出幀頻周期性地同步混合。同步器14執(zhí)行上述的混合；換句話(huà)說(shuō)，執(zhí)行像素級(jí)阿爾法(α)混合。
圖2是示出根據(jù)本發(fā)明的硬件的結(jié)構(gòu)的框圖。CPU 21根據(jù)載入系統(tǒng)存儲(chǔ)器22中的可執(zhí)行程序來(lái)控制連接到系統(tǒng)的多個(gè)裝置，并生成圖形輸出圖像。
總線(xiàn)橋接器23與CPU 21、系統(tǒng)存儲(chǔ)器22、圖形控制器24以及PCI總線(xiàn)25相連接，控制并傳送各個(gè)裝置和總線(xiàn)之間的數(shù)據(jù)交換。
系統(tǒng)存儲(chǔ)器22儲(chǔ)存有存儲(chǔ)在連接到IDE控制器29的硬盤(pán)驅(qū)動(dòng)器(HDD)30中的可執(zhí)行程序的副本。此外，系統(tǒng)存儲(chǔ)器22被作為用于臨時(shí)存儲(chǔ)計(jì)算和數(shù)據(jù)傳輸所要求的變量的緩沖區(qū)。
圖形控制器24控制由CPU 21計(jì)算的圖像從系統(tǒng)存儲(chǔ)器22到圖形存儲(chǔ)器26的傳輸。而且，圖形控制器24根據(jù)CPU 21的指令執(zhí)行復(fù)雜的圖像處理計(jì)算。此外，圖形控制器24將圖像信息與MPEG解碼器28的輸出定時(shí)同步地輸出到視頻混合器27。因此，圖形控制器24包括同步控制部分24a。圖形控制器24還包括幀生成忽略部分24b、優(yōu)先級(jí)設(shè)定部分24c、幀頻控制部分24d，將在下面進(jìn)行描述。
視頻混合器27結(jié)合(混合)來(lái)自MPEG解碼器28的NTSC信號(hào)信息和來(lái)自圖形控制器24的圖像信息。在這種情況下，視頻混合器27使用包括在來(lái)自圖像控制器24的圖像信息中的α(阿爾法)值執(zhí)行上述混合。然后，視頻混合器27將圖像信號(hào)與NTSC信號(hào)同步再現(xiàn)，然后將其輸出。視頻混合器27包括阿爾法混合部分27a。視頻混合器27還包括用于以下面描述的像素級(jí)執(zhí)行混合(合成)的像素處理部分27b。
MPEG解碼器28基于CPU 21的控制，捕獲從光驅(qū)31中讀取的數(shù)據(jù)中提取的MPEG2數(shù)據(jù)，并將該數(shù)據(jù)轉(zhuǎn)換成圖像數(shù)據(jù)。隨后，MPEG解碼器28將轉(zhuǎn)換后的圖像數(shù)據(jù)輸出到視頻混合器27。
PCM解碼器32周期性地捕獲通過(guò)CPU 21的計(jì)算從光驅(qū)31中讀取的數(shù)據(jù)中提取的音頻數(shù)據(jù)轉(zhuǎn)換的PCM數(shù)據(jù)。隨后，PCM解碼器32將捕獲的PCM數(shù)據(jù)轉(zhuǎn)換成模擬聲音信號(hào)并輸出該信號(hào)。
IDE控制器29與光驅(qū)31和HDD 30相連接，并且在CPU 21的控制下，執(zhí)行將包含在各個(gè)驅(qū)動(dòng)器中的數(shù)據(jù)讀取到存儲(chǔ)器的控制。
例如，光驅(qū)31是DVD驅(qū)動(dòng)器。光驅(qū)31從存儲(chǔ)有數(shù)據(jù)的DVD光盤(pán)中讀取數(shù)據(jù)，用于生成視頻平面12和圖形平面11。
HDD 30儲(chǔ)存用于操作該裝置的可執(zhí)行程序。IR接收器33接收來(lái)自控制該裝置的遙控器的信號(hào)。網(wǎng)絡(luò)接口控制器(NIC)34控制用于與各種網(wǎng)絡(luò)進(jìn)行連接的通信數(shù)據(jù)。
圖3是示出將圖形幀與視頻幀進(jìn)行混合的操作的示意圖。即使視頻幀V1、V2、V3、…V13和圖形幀GA、GB、GC、…GI的幀頻不同，本發(fā)明也是適用的。圖3示出了視頻幀前進(jìn)4幀的同時(shí)圖形幀前進(jìn)3幀的情況。輸出幀與視頻幀的幀頻同步。如果輸出定時(shí)在視頻幀和圖形幀之間偏移，則將在輸出幀之前生成的圖形幀與視頻幀混合。具體地說(shuō)，根據(jù)視頻幀V1和圖形幀GA之間的關(guān)系，獲得混合了這兩個(gè)幀的輸出幀(V1+GA)。在下一個(gè)輸出幀中，獲得混合了視頻幀V2與圖形幀GA的輸出幀(V2+GA)。在下一個(gè)輸出幀中，獲得混合了視頻幀V3與圖形幀GB的輸出幀(V3+GB)。在下一個(gè)輸出幀中，視頻幀V4和圖形幀GC在時(shí)基上同步；因此，獲得混合了這兩個(gè)幀的輸出幀(V4+GC)。重復(fù)進(jìn)行以上描述的幀的混合(合成)。在這種情況下，圖形控制器24在視頻幀和圖形幀之間進(jìn)行幀頻比較，并確定這兩個(gè)幀中哪個(gè)幀提前。相同圖形幀重復(fù)使用的次數(shù)可根據(jù)視頻幀和圖形幀的幀頻值改變。
如上所述，相同的圖形幀被多次混合(合成)至第一視頻數(shù)據(jù)的連續(xù)視頻幀，從而彌補(bǔ)了幀頻之間的差異。此外，如果圖形幀的生成被延遲，則將相同的圖形幀合成到連續(xù)視頻幀的次數(shù)可能增加。
如上所述，本發(fā)明的裝置具有用于生成具有任意幀頻的第一視頻數(shù)據(jù)(視頻幀)的第一視頻發(fā)生器。第一視頻發(fā)生器包括光驅(qū)31、IDE控制器29、MPEG解碼器28以及視頻混合器27。此外，本發(fā)明的裝置具有用于生成具有不同于第一視頻數(shù)據(jù)的任意幀頻的第二視頻數(shù)據(jù)(圖形幀)的第二視頻發(fā)生器。第二視頻發(fā)生器包括CPU 21、系統(tǒng)存儲(chǔ)器22、總線(xiàn)橋接器23、圖形存儲(chǔ)器26以及圖形控制器24。由第一視頻發(fā)生器管理的視頻生成時(shí)間被確定為基準(zhǔn)時(shí)間。如果第二視頻發(fā)生器的視頻生成時(shí)間出現(xiàn)了與基準(zhǔn)時(shí)間的偏移，則通過(guò)重復(fù)使用第二視頻數(shù)據(jù)對(duì)該偏移進(jìn)行校正，從而實(shí)現(xiàn)幀的同步。在這種情況下，上述“偏移”是一個(gè)幀單位。然而，該“偏移”包括下面描述的第二視頻數(shù)據(jù)沒(méi)用及時(shí)生成而獲得幀混合(合成)的情況。
圖4是示出像素?cái)?shù)據(jù)格式的一個(gè)實(shí)例的示意圖。
該像素?cái)?shù)據(jù)格式示出了圖形幀的每個(gè)像素(像素)的數(shù)據(jù)結(jié)構(gòu)。在圖4中，R、G、B和α分別表示紅、綠、藍(lán)和混合α值。R、G、B和α都具有一個(gè)字節(jié)；因此，該數(shù)據(jù)總共包括4個(gè)字節(jié)。
圖5示出了像素級(jí)的像素混合計(jì)算的示意圖。在圖5中，G00，0～G33，100中的每一個(gè)都表示圖形幀的一個(gè)像素值，并且逗號(hào)前的數(shù)值表示在某一像素位置的RGB值，而逗號(hào)后的數(shù)值表示α值。V00～V33代表視頻幀的各個(gè)像素的RGB值。
在這種情況下，以使用圖形阿爾法比計(jì)算并混合圖形和視頻像素值的方式獲得每個(gè)輸出幀的像素值。
在圖5左上示出的圖形像素G00，0與視頻像素V00的混合中，進(jìn)行(G00×0)+(V00×(1-0))的計(jì)算。在這種情況下，圖形比率為0，并且視頻比率為1。此外，在圖形像素G10，33與視頻像素V10的混合中，進(jìn)行(G10×0.33)+(V10×(1-0.33))的計(jì)算。
來(lái)自視頻幀的輸出具有亮度Y、色差Cb和色差Cr信號(hào)。因此，在圖2中，視頻混合器27將從圖形幀輸出的像素值轉(zhuǎn)換成Y、Cb和Cr，并隨后將它們混合。
圖6是示出在沒(méi)有及時(shí)進(jìn)行圖形幀的計(jì)算的情況下幀混合的示意圖。圖6示出了圖形幀GD的生成被延遲的情況。換句話(huà)說(shuō)，根據(jù)本發(fā)明，圖形幀基于軟件進(jìn)行再現(xiàn)。在再現(xiàn)的幀中，存在一個(gè)必須基于復(fù)雜的混合(合成)和操作結(jié)果而再現(xiàn)的幀。這樣的幀需要大量時(shí)間來(lái)完全生成。此外，由于下面所述的原因沒(méi)有及時(shí)生成圖形幀。該原因具體來(lái)說(shuō)是，包括CPU的系統(tǒng)性能不足，或指定圖形幀的計(jì)算非常復(fù)雜。
由于上述的原因，圖形幀GD和其原本對(duì)應(yīng)的視頻幀V6的時(shí)間變得不一致。
在這種情況下，根據(jù)本發(fā)明優(yōu)先生成視頻幀。圖6示出沒(méi)有及時(shí)進(jìn)行圖形幀中的幀“GD”的計(jì)算的情況。在這種情況下，視頻幀“V6”本應(yīng)與圖形幀“GD”混合，從而生成輸出幀。然而，視頻幀“V6”混合的是已經(jīng)生成的圖形幀“GC”，從而生成輸出幀。
因此，本發(fā)明的裝置具有使第一或第二視頻發(fā)生器中的任意一個(gè)優(yōu)先執(zhí)行視頻幀生成的機(jī)構(gòu)。如果在優(yōu)先生成的視頻的再現(xiàn)(reproduction，也稱(chēng)再生)時(shí)間內(nèi)另一個(gè)視頻發(fā)生器沒(méi)有進(jìn)行視頻生成，則該裝置具有忽略沒(méi)有及時(shí)生成的視頻幀的生成的功能。這樣，可以防止另一視頻數(shù)據(jù)的再現(xiàn)時(shí)間的延遲隨著優(yōu)先生成的視頻的再現(xiàn)時(shí)間的推進(jìn)而加大。優(yōu)先進(jìn)行的視頻生成可使用硬件執(zhí)行。在這種情況下，該硬件包括用于預(yù)定信號(hào)處理的半導(dǎo)體芯片和電子組件，它們結(jié)合在諸如MPEG處理和PCM處理的功能單元中。
圖7是示出用于實(shí)現(xiàn)本發(fā)明的軟件的結(jié)構(gòu)的功能框圖。視頻再現(xiàn)控制部分111是用于控制本發(fā)明的軟件的操作的模塊?？刂撇糠?11控制從文件系統(tǒng)112讀取的數(shù)據(jù)、從遙控接收器113接收的用戶(hù)操作、以及DVD再現(xiàn)控制器114和導(dǎo)航控制器115的操作。DVD再現(xiàn)控制器114控制視頻的再現(xiàn)，導(dǎo)航控制器115控制圖形幀的生成。
導(dǎo)航控制器115使用從文件系統(tǒng)112讀取的數(shù)據(jù)生成針對(duì)圖形幀的導(dǎo)航圖像。此外，導(dǎo)航控制器115通過(guò)顯示驅(qū)動(dòng)器121，基于DVD再現(xiàn)控制器114的時(shí)間信息來(lái)控制圖像輸出定時(shí)(timing)。此外，DVD再現(xiàn)控制器114還對(duì)音頻解碼器122進(jìn)行控制，以輸出與用戶(hù)事件一致的聲音效果。
顯示驅(qū)動(dòng)器121捕獲由導(dǎo)航控制器115生成的圖形幀數(shù)據(jù)，并且控制圖形控制器123以輸出圖形幀數(shù)據(jù)。音頻解碼器122和124對(duì)由導(dǎo)航控制器115和DVD再現(xiàn)控制器114提供的音頻數(shù)據(jù)進(jìn)行解碼。然后，音頻解碼器122和124將音頻數(shù)據(jù)轉(zhuǎn)換成PCM數(shù)據(jù)，并隨后將其輸出到音頻混合器125。
音頻混合器125混合(混合)從音頻解碼器輸入的PCM數(shù)據(jù)，以將PCM數(shù)據(jù)轉(zhuǎn)換成一個(gè)PCM輸出數(shù)據(jù)，并隨后將其輸出到PCM解碼驅(qū)動(dòng)器126。PCM解碼驅(qū)動(dòng)器126將從音頻混合器125輸入的PCM數(shù)據(jù)輸送到PCM解碼器127以控制聲音的再現(xiàn)。
DVD再現(xiàn)控制器114捕獲通過(guò)文件系統(tǒng)112讀取的DVD數(shù)據(jù)，以將DVD數(shù)據(jù)分成視頻數(shù)據(jù)、聲音數(shù)據(jù)和其他數(shù)據(jù)，并隨后控制它們的再現(xiàn)。MPEG解碼驅(qū)動(dòng)器130將從DVD再現(xiàn)控制器114輸入的MPEG數(shù)據(jù)提供給MPEG解碼器131。驅(qū)動(dòng)器130執(zhí)行控制以在正確定時(shí)輸出MPEG數(shù)據(jù)。遙控接收器113解讀由IR驅(qū)動(dòng)器141給出的遙控切換事件。然后，接收器113將事件信息作為訊息傳給視頻再現(xiàn)控制器111。IR驅(qū)動(dòng)器141控制IR控制器142的中斷，而且檢測(cè)哪個(gè)遙控器的開(kāi)關(guān)被按下。然后，IR接收器141將該信息發(fā)送給遙控驅(qū)動(dòng)器。文件系統(tǒng)112控制HDD 30和光驅(qū)31的文件系統(tǒng)。
文件系統(tǒng)112控制ATAPI驅(qū)動(dòng)器151。ATAPI驅(qū)動(dòng)器151控制IDE控制器152，以從上述HDD 30和光驅(qū)31中讀取數(shù)據(jù)。
圖8是示出可執(zhí)行程序的任務(wù)優(yōu)先級(jí)的示意圖。根據(jù)本發(fā)明，為了在多任務(wù)OS上優(yōu)先執(zhí)行視頻再現(xiàn)，預(yù)先確定了如圖8所示的任務(wù)優(yōu)先級(jí)。具體來(lái)說(shuō)，根據(jù)內(nèi)核服務(wù)(kernel service)211，執(zhí)行OS的基本處理，并且控制任務(wù)開(kāi)關(guān)和對(duì)文件系統(tǒng)的訪問(wèn)。根據(jù)視頻處理212，分析并提取視頻數(shù)據(jù)，而且控制視頻和音頻控制器。根據(jù)音頻處理213，控制音頻數(shù)據(jù)的混合和輸出。根據(jù)圖形處理214，生成導(dǎo)航圖像數(shù)據(jù)。
圖8示出的任務(wù)優(yōu)先級(jí)被預(yù)先確定，然后設(shè)定任務(wù)開(kāi)關(guān)，以使如果有具有更高優(yōu)先級(jí)的處理，則優(yōu)先執(zhí)行該處理。在這種情況下，任務(wù)開(kāi)關(guān)優(yōu)先分配一個(gè)任務(wù)給內(nèi)核服務(wù)和視頻處理，直到它們成為空閑狀態(tài)。然后，只有當(dāng)內(nèi)核服務(wù)和視頻處理變成等待任一事件的狀態(tài)時(shí)，任務(wù)開(kāi)關(guān)將任務(wù)分配到音頻和圖形處理。
圖9是示出圖形再現(xiàn)的流程的流程圖。步驟S01是流程圖的起始點(diǎn)，表示圖形再現(xiàn)開(kāi)始。在步驟S02中，存儲(chǔ)再現(xiàn)圖形的幀數(shù)的變量“n”被初始化為“0”。在步驟S03中，自動(dòng)增加圖形再現(xiàn)定時(shí)計(jì)數(shù)器的值被初始化/校正為覆蓋目標(biāo)視頻的當(dāng)前再現(xiàn)時(shí)間。
在步驟S04中，獲得再現(xiàn)圖形中的第N幀的時(shí)間信息“PTn”。在步驟S05中，獲得當(dāng)前定時(shí)計(jì)數(shù)器的值“Ct”。在步驟S06中，進(jìn)行下列確定；即，將第N圖形幀的再現(xiàn)時(shí)間“PTn”與獲得的定時(shí)計(jì)數(shù)器的值“Ct”相比較。
在步驟S07中，如果第N圖形幀的再現(xiàn)時(shí)間“PTn”小于獲得的定時(shí)計(jì)數(shù)器的值“Ct”；換句話(huà)說(shuō)，如果視頻再現(xiàn)時(shí)間已經(jīng)超過(guò)再現(xiàn)時(shí)間，則執(zhí)行以下描述的程序。在步驟S13中，解碼并顯示第N幀數(shù)據(jù)，并隨后將基準(zhǔn)幀數(shù)“n”的值加1。
在步驟S08中，如果第N圖形幀的再現(xiàn)時(shí)間“PTn”大于獲得的定時(shí)計(jì)數(shù)器的值“Ct”；換句話(huà)說(shuō)，如果當(dāng)前視頻再現(xiàn)時(shí)間已經(jīng)超過(guò)第N幀的再現(xiàn)時(shí)間，執(zhí)行以下描述的程序。獲得生成第N圖形幀所需的數(shù)據(jù)。
在步驟S09中，將在步驟S08中獲得的圖形幀數(shù)據(jù)解碼成用于屏幕顯示的圖像幀。在步驟S10中，獲得當(dāng)前定時(shí)計(jì)數(shù)器的值“Ct”。在步驟S11中，進(jìn)行以下確定；即，將第N圖形幀的再現(xiàn)時(shí)間“PTn”與獲得的定時(shí)計(jì)數(shù)器的值“Ct”進(jìn)行比較。
在步驟S12中，如果定時(shí)計(jì)數(shù)器的值“Ct”大于第N圖形幀的再現(xiàn)時(shí)間“PTn”；換句話(huà)說(shuō)，如果當(dāng)前時(shí)間沒(méi)有達(dá)到第N圖形幀的再現(xiàn)時(shí)間，則給出一小段等待時(shí)間。
在步驟S13中，如果第N圖形幀的再現(xiàn)時(shí)間“PTn”等于或小于定時(shí)計(jì)數(shù)器的值“Ct”；換句話(huà)說(shuō)，如果當(dāng)前時(shí)間達(dá)到或超過(guò)第N圖形幀的再現(xiàn)時(shí)間，那么將第N幀顯示在屏幕上。在步驟S14中，確定所有幀處理是否完成。在步驟S15中，如果所有幀處理完成，那么結(jié)束圖形再現(xiàn)程序。
圖10是示出根據(jù)本發(fā)明的時(shí)基校正系統(tǒng)模型的示意圖。多路分離器(信號(hào)分離器)301從多路復(fù)用多個(gè)數(shù)據(jù)流的一個(gè)數(shù)據(jù)流中提取各個(gè)數(shù)據(jù)流，并隨后將其提供給各個(gè)緩沖器。
視頻緩沖器302臨時(shí)存儲(chǔ)分離得到的數(shù)據(jù)流中的主視頻數(shù)據(jù)。音頻緩沖器303臨時(shí)存儲(chǔ)與所分離的數(shù)據(jù)流中的主視頻數(shù)據(jù)同步再現(xiàn)的聲音數(shù)據(jù)。其他數(shù)據(jù)流1～n緩沖器304、305、以及306臨時(shí)存儲(chǔ)其他數(shù)據(jù)流。其他與主視頻對(duì)話(huà)同步顯示的聲音數(shù)據(jù)和文本數(shù)據(jù)被給出作為其他數(shù)據(jù)流。
視頻解碼器312從視頻緩沖器302讀取主視頻數(shù)據(jù)流，并且將其解碼以生成圖像幀。當(dāng)時(shí)鐘1 321的時(shí)間到達(dá)每個(gè)圖像幀定義的輸出時(shí)間時(shí)，輸出解碼后的視頻數(shù)據(jù)。音頻解碼器313從音頻緩沖器303讀取聲音數(shù)據(jù)流，并且將其解碼以生成PCM數(shù)據(jù)。當(dāng)時(shí)鐘1321的時(shí)間到達(dá)每個(gè)聲音幀定義的輸出時(shí)間時(shí)，在PCM數(shù)據(jù)轉(zhuǎn)換成模擬聲音輸出之后，將PCM數(shù)據(jù)輸出。
其他數(shù)據(jù)流解碼器314～316從與它們對(duì)應(yīng)的緩沖器304～306讀取數(shù)據(jù)流，并根據(jù)通過(guò)任意方法限定的輸出格式將其解碼。當(dāng)時(shí)鐘(CLOCK)1 321的時(shí)間到達(dá)通過(guò)任意方法限定的輸出格式時(shí)，這些數(shù)據(jù)流解碼器輸出經(jīng)過(guò)解碼后的數(shù)據(jù)。
圖形緩沖器341臨時(shí)存儲(chǔ)諸如第二視頻圖像和計(jì)算機(jī)圖形的數(shù)據(jù)流。當(dāng)時(shí)鐘2 322的時(shí)間到達(dá)存儲(chǔ)了諸如數(shù)據(jù)流中的第二視頻圖像和計(jì)算機(jī)圖形的數(shù)據(jù)流的輸出定時(shí)時(shí)，圖形解碼器342輸出視頻幀并將其重寫(xiě)到新的屏幕上。
時(shí)鐘1 321是用于輸出附加到主視頻圖像的聲音和其他數(shù)據(jù)的基準(zhǔn)定時(shí)器。另一方面，時(shí)鐘2 322是不同于時(shí)鐘1 321的基準(zhǔn)定時(shí)器，該時(shí)鐘2用于輸出諸如第二視頻圖像和計(jì)算機(jī)圖形的數(shù)據(jù)流。
時(shí)鐘同步器323具有使時(shí)鐘1 321和時(shí)鐘2 322之間的時(shí)間提前同步的功能。阿爾法混合343基于包含在圖形解碼器輸出中的α值，混合視頻解碼器312和圖形解碼器342的輸出，并隨后將其輸出。其他數(shù)據(jù)流包括DVD所確定的第二視頻流。
存儲(chǔ)在本發(fā)明的圖形緩沖器341中的第二視頻數(shù)據(jù)(圖形數(shù)據(jù))主要是通過(guò)計(jì)算機(jī)使用軟件進(jìn)行再現(xiàn)的數(shù)據(jù)。
圖11是示出應(yīng)用本發(fā)明的信息記錄/再現(xiàn)裝置的示意圖。圖11示出的信息記錄/再現(xiàn)裝置400記錄并再現(xiàn)關(guān)于光盤(pán)401的信息。裝置400具有內(nèi)置硬盤(pán)驅(qū)動(dòng)器；因此，它可以記錄并再現(xiàn)關(guān)于硬盤(pán)402的信息。
圖形信息通過(guò)接收器或網(wǎng)絡(luò)接口500捕獲，并被臨時(shí)記錄到光盤(pán)401或硬盤(pán)402上。在這種情況下，將該圖形信息進(jìn)行代碼化或編碼。這時(shí)，在光盤(pán)401的信息再現(xiàn)過(guò)程中，對(duì)用于再現(xiàn)圖形信息以及將其合成至主視頻圖像的標(biāo)記進(jìn)行檢測(cè)。在這種情況下，從光盤(pán)401的管理信息(再現(xiàn)控制信息)檢測(cè)該標(biāo)記。從光盤(pán)401或硬盤(pán)402讀取圖形信息，然后，CPU基于指定軟件運(yùn)行以執(zhí)行解碼(對(duì)應(yīng)于圖10的342)。在這種情況下，使用CPU的系統(tǒng)時(shí)鐘再現(xiàn)圖形數(shù)據(jù)；因此，成為與主視頻幀異步的狀態(tài)。
在這種情況下，運(yùn)行本發(fā)明的系統(tǒng)以執(zhí)行阿爾法混合。例如，根據(jù)上述系統(tǒng)(裝置)，可以在市場(chǎng)上得到針對(duì)外語(yǔ)光盤(pán)(DVD)的日本語(yǔ)字幕第二視頻。將該日本語(yǔ)字幕第二視頻信息臨時(shí)記錄并存儲(chǔ)在硬盤(pán)中。然后，再現(xiàn)指定的DVD。如果在DVD再現(xiàn)控制信息中描述了指示對(duì)硬盤(pán)中記錄的第二視頻信息再現(xiàn)的命令，則再現(xiàn)日本語(yǔ)字幕的第二視頻信息。然后，執(zhí)行針對(duì)主視頻圖像的阿爾法混.合。
即使第一和第二視頻數(shù)據(jù)的幀頻不同，也能夠以不同方式擴(kuò)展目標(biāo)(即，視頻數(shù)據(jù))的混合，以使上述方法能夠在兩數(shù)據(jù)間進(jìn)行匹配時(shí)基的校正。多種第二視頻圖像可以在與主視頻圖像混合的狀態(tài)下作為時(shí)區(qū)事件進(jìn)行顯示。因此，能夠在主視頻圖像顯示區(qū)域中獲得各種各樣、豐富多彩的展現(xiàn)。上述多種第二視頻圖像可以預(yù)先下載，此外，也可以使用從廣播數(shù)據(jù)中捕獲的視頻圖像。
本發(fā)明不局限于上述實(shí)施例。在不脫離本發(fā)明的實(shí)質(zhì)范圍的情況下，可以更改和減少組件以在一定范圍中實(shí)施本發(fā)明。通過(guò)實(shí)施例中披露的多個(gè)部件的適當(dāng)組合能夠提供多種發(fā)明。例如，可從本發(fā)明披露的所有組件中去除一些組件。關(guān)于不同實(shí)施例的組件可以進(jìn)行適當(dāng)?shù)慕M合。
以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種視頻數(shù)據(jù)處理裝置，其特征在于，包括第一視頻發(fā)生器(27、28、29、31)，用于生成具有任意幀頻的第一視頻數(shù)據(jù)；第二視頻發(fā)生器(21、22、23、24、26)，用于生成具有不同于所述第一視頻數(shù)據(jù)的任意幀頻的第二視頻數(shù)據(jù)；以及同步控制器(24a)，使用由所述第一視頻發(fā)生器管理的視頻生成時(shí)間作為基準(zhǔn)時(shí)間，并通過(guò)重復(fù)使用所述第二視頻數(shù)據(jù)來(lái)校正偏離所述基準(zhǔn)時(shí)間的所述第二視頻發(fā)生器的視頻生成時(shí)間，以獲得幀同步。
2.根據(jù)權(quán)利要求1所述的裝置，其特征在于，還包括阿爾法混合部分(27a)，使用由所述第二視頻發(fā)生器生成的所述第二視頻數(shù)據(jù)，包括所述第一視頻數(shù)據(jù)和用于阿爾法混合的阿爾法值，并且在所述阿爾法值上混合所述第一視頻數(shù)據(jù)和所述第二視頻數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的裝置，其特征在于，還包括像素處理部分(27b)，用于在像素級(jí)混合所述第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)。
4.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述第一視頻發(fā)生器輸出使用硬件處理生成的所述第一視頻數(shù)據(jù)，以及所述第二視頻發(fā)生器輸出使用軟件處理生成的所述第二視頻數(shù)據(jù)。
5.根據(jù)權(quán)利要求4所述的裝置，其特征在于，所述第二視頻發(fā)生器使用所述軟件處理將編碼的文件內(nèi)容解碼，以生成所述第二視頻數(shù)據(jù)，并將所述第二視頻數(shù)據(jù)輸出。
6.根據(jù)權(quán)利要求1所述的裝置，其特征在于，還包括優(yōu)先級(jí)設(shè)定部分(24c)，由所述第一視頻發(fā)生器優(yōu)先執(zhí)行視頻生成；以及幀生成忽略部分(24b)，當(dāng)所述第二視頻發(fā)生器的視頻生成時(shí)間延遲于所述第二視頻發(fā)生器的視頻生成時(shí)間時(shí)，忽略視頻幀的生成；幀頻控制部分(24d)，用于執(zhí)行控制以使另一視頻數(shù)據(jù)的視頻生成時(shí)間不延遲于根據(jù)生成時(shí)間的提前優(yōu)先執(zhí)行的視頻成生的視頻生成時(shí)間。
7.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述第一視頻發(fā)生器是用于處理來(lái)自光盤(pán)的視頻數(shù)據(jù)的裝置。
8.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述第一視頻發(fā)生器是用于處理來(lái)自接收器的視頻數(shù)據(jù)的裝置。
9.一種視頻數(shù)據(jù)處理方法，將使用硬件處理生成的且具有任意幀頻的第一視頻數(shù)據(jù)和使用軟件處理生成的且具有不同于所述第一視頻數(shù)據(jù)的任意幀頻的第二視頻數(shù)據(jù)混合，其特征在于，所述方法包括將所述第一視頻數(shù)據(jù)的幀頻與所述第二視頻數(shù)據(jù)的幀頻進(jìn)行比較；以及將所述第二視頻數(shù)據(jù)的相同幀多次混合到所述第一視頻數(shù)據(jù)的連續(xù)每幀，從而抵消所述幀頻之間的差異。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，當(dāng)所述第二視頻數(shù)據(jù)的幀生成被延遲時(shí)，增加將所述第二視頻數(shù)據(jù)的相同幀混合到所述第一視頻數(shù)據(jù)的連續(xù)每幀的次數(shù)，以抵消所述幀頻之間的差異。
11.根據(jù)權(quán)利要求9所述的方法，其特征在于，在像素級(jí)執(zhí)行所述第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)的混合。
12.一種視頻數(shù)據(jù)處理裝置，其特征在于，包括第一視頻發(fā)生器裝置，用于使用硬件處理生成具有任意幀頻的第一視頻數(shù)據(jù)；第二視頻發(fā)生器裝置，用于生成具有不同于所述第一視頻數(shù)據(jù)的任意幀頻的第二視頻數(shù)據(jù)；用于使用由所述第一視頻發(fā)生器裝置管理的視頻生成時(shí)間作為基準(zhǔn)時(shí)間，并通過(guò)重復(fù)使用所述第二視頻數(shù)據(jù)來(lái)校正偏離所述基準(zhǔn)時(shí)間的所述第二視頻發(fā)生器裝置的視頻生成時(shí)間、以獲得幀同步的裝置；以及用于當(dāng)所述第二視頻發(fā)生器裝置的視頻生成延遲于所述第一視頻發(fā)生器裝置的視頻生成時(shí)，忽略視頻幀的生成的裝置。
全文摘要
當(dāng)將一個(gè)視頻圖像(例如，第二視頻圖像)混合或合成到視頻圖像(例如，主視頻圖像)上時(shí)，在兩視頻數(shù)據(jù)間進(jìn)行時(shí)基校正。一種視頻數(shù)據(jù)處理裝置，包括第一視頻發(fā)生器(27、28、29、31)，生成具有任意幀頻的第一視頻數(shù)據(jù)；第二視頻發(fā)生器(21、22、23、24、26)，生成具有不同于第一視頻數(shù)據(jù)的任意幀頻的第二視頻數(shù)據(jù)；以及同步控制器(24a)，使用由第一視頻發(fā)生器管理的視頻生成時(shí)間作為基準(zhǔn)時(shí)間，并通過(guò)重復(fù)使用第二視頻數(shù)據(jù)來(lái)校正偏離基準(zhǔn)時(shí)間的第二視頻發(fā)生器的視頻生成時(shí)間，以獲得幀同步。
文檔編號(hào)G06F3/14GK1703075SQ200510069048
公開(kāi)日2005年11月30日 申請(qǐng)日期2005年4月29日 優(yōu)先權(quán)日2004年5月26日
發(fā)明者小林丈朗 申請(qǐng)人:株式會(huì)社東芝