專利名稱：流生成裝置、成像裝置、數(shù)據(jù)處理裝置和流生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于生成包括運(yùn)動(dòng)圖像數(shù)據(jù)的復(fù)用流的流生成裝置、一種具有這種類型的流生成功能的成像裝置、一種用于處理包括運(yùn)動(dòng)圖像數(shù)據(jù)的輸入數(shù)據(jù)的數(shù)據(jù)處理裝置以及一種流生成方法。更特別地，本發(fā)明涉及能夠處理允許幀速率切換的運(yùn)動(dòng)圖像數(shù)據(jù)的流生成裝置、成像裝置、數(shù)據(jù)處理裝置以及流生成方法。
背景技術(shù)：
近年來，將運(yùn)動(dòng)圖像作為數(shù)字?jǐn)?shù)據(jù)處理已經(jīng)眾所周知，使得諸如可以把拍攝到的運(yùn)動(dòng)圖像記錄為數(shù)字?jǐn)?shù)據(jù)的數(shù)碼攝像機(jī)的成像裝置和可以把電視廣播視頻等記錄為數(shù)字?jǐn)?shù)據(jù)的數(shù)字錄像機(jī)得到快速普及。根據(jù)用于此類裝置的運(yùn)動(dòng)圖像壓縮/編碼方案，用于再生輸出和進(jìn)行解碼的時(shí)間控制信息通常和經(jīng)過壓縮的視頻數(shù)據(jù)一起被復(fù)用并記錄在數(shù)據(jù)流中。以MPEG(運(yùn)動(dòng)圖像專家組)方式為例，再生時(shí)間控制信息被稱為PTS(Presentation Time Stamp，顯示時(shí)間戳)，并被附加到包括被稱為訪問單位的解碼/再生單位中的先頭數(shù)據(jù)的包的頭部(header)。
此外，隨著成像設(shè)備性能和信號(hào)處理技術(shù)的進(jìn)展，諸如數(shù)碼攝像機(jī)的成像裝置已經(jīng)得到改進(jìn)，使得成像的圖像以比符合現(xiàn)有電視廣播標(biāo)準(zhǔn)的顯示周期更短的時(shí)間輸出，這引發(fā)了配備這種快速成像功能的成像裝置的考慮。例如，有一個(gè)考慮指出了一種成像裝置，其能夠通過應(yīng)用標(biāo)準(zhǔn)或普通幀速率來再生并顯示經(jīng)過成像然后以比標(biāo)準(zhǔn)幀速率快數(shù)倍的速率記錄而提供的視頻數(shù)據(jù)，從而進(jìn)行慢動(dòng)作再生。
作為一種允許改變運(yùn)動(dòng)圖像再生速度的常規(guī)成像裝置，要注意提供了一種設(shè)想使用在視頻流再生時(shí)具有可變的操作速度的計(jì)數(shù)器技術(shù)，以使得該計(jì)數(shù)器的計(jì)數(shù)值與被附加在視頻流中的時(shí)間戳同步(例如，參見日本專利公開第2002-33712號(hào)，第 ～ 段以及圖1)。

發(fā)明內(nèi)容
然而，在設(shè)法完成前面描述的通過快速成像進(jìn)行記錄所提供的視頻流慢動(dòng)作再生的情況下，由于記錄時(shí)和再生時(shí)的時(shí)間進(jìn)行方式的不同，使用常規(guī)技術(shù)在數(shù)據(jù)流中記錄再生時(shí)間控制信息會(huì)導(dǎo)致慢動(dòng)作再生無法滿足再生時(shí)用戶的意圖。如果在例如使用快速幀速率進(jìn)行成像時(shí)記錄在數(shù)據(jù)流中的是與實(shí)時(shí)間同步的再生時(shí)間控制信息，那么，基于上述時(shí)間信息并根據(jù)相同常規(guī)技術(shù)來以標(biāo)準(zhǔn)幀速率進(jìn)行再生將使畫面與成像時(shí)的幀速率一樣快進(jìn)，以致于慢動(dòng)作再生無法實(shí)現(xiàn)，從而引起在標(biāo)準(zhǔn)顯示周期期間提供的記錄幀發(fā)生跳躍。
本發(fā)明考慮了上述問題而著手進(jìn)行，并提供了一種流生成裝置和一種流生成方法，它們在接收具有不同于通常幀速率的幀速率的運(yùn)動(dòng)圖像的輸入時(shí)，都可以生成一種能夠使所接收的運(yùn)動(dòng)圖像數(shù)據(jù)容易地以與流生成時(shí)的速度不同的速度進(jìn)行再生的復(fù)用流。
本發(fā)明還提供了一種成像裝置，其被構(gòu)造為在以不同于通常幀速率的幀速率拍攝圖像之后，能夠使所拍攝的圖像容易地以與成像時(shí)的速度不同的速度進(jìn)行再生。
本發(fā)明進(jìn)一步提供了一種數(shù)據(jù)處理裝置，其被構(gòu)造為在接收具有不同于通常時(shí)間的幀速率的幀速率的運(yùn)動(dòng)圖像數(shù)據(jù)的輸入時(shí)，能夠使所接收的運(yùn)動(dòng)圖像數(shù)據(jù)容易地以與輸入時(shí)的速度不同的速度進(jìn)行再生。
為解決上述問題，本發(fā)明的一個(gè)實(shí)施例提供了一種生成包括運(yùn)動(dòng)圖像數(shù)據(jù)的復(fù)用流的流生成裝置。該流生成裝置包括運(yùn)動(dòng)圖像編碼處理部；時(shí)間控制信息生成部；以及復(fù)用處理部。運(yùn)動(dòng)圖像編碼處理部通過對(duì)允許根據(jù)期望定時(shí)在基準(zhǔn)幀速率和一個(gè)以上不同于該基準(zhǔn)幀速率的幀速率之間切換的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼來生成運(yùn)動(dòng)圖像流。時(shí)間控制信息生成部為輸入到運(yùn)動(dòng)圖像編碼處理部的每個(gè)圖像幀，生成具有與基準(zhǔn)幀速率相關(guān)的圖像幀顯示周期所對(duì)應(yīng)的一定間隔的再生時(shí)間控制信息。復(fù)用處理部通過復(fù)用運(yùn)動(dòng)圖像流和再生時(shí)間控制信息來生成復(fù)用流。
在上述流生成裝置中，運(yùn)動(dòng)圖像編碼處理部接收允許根據(jù)期望定時(shí)在基準(zhǔn)幀速率以及一個(gè)以上不同于該基準(zhǔn)幀速率的幀速率之間切換的運(yùn)動(dòng)圖像數(shù)據(jù)的輸入，然后通過對(duì)所接收的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼來生成運(yùn)動(dòng)圖像流。時(shí)間控制信息生成部為輸入到運(yùn)動(dòng)圖像編碼處理部的每個(gè)圖像幀，生成具有與基準(zhǔn)幀速率相關(guān)的圖像幀顯示周期所對(duì)應(yīng)的一定間隔的再生時(shí)間控制信息。復(fù)用處理部通過復(fù)用所生成的運(yùn)動(dòng)圖像流和所生成的再生時(shí)間控制信息來生成復(fù)用流。如果用此方式所生成的復(fù)用流以基準(zhǔn)幀速率所對(duì)應(yīng)的速率進(jìn)行再生，則只要是以不同于基準(zhǔn)幀速率的幀速率被輸入到運(yùn)動(dòng)圖像編碼處理部的運(yùn)動(dòng)圖像數(shù)據(jù)，就會(huì)以不同于運(yùn)動(dòng)圖像數(shù)據(jù)輸入時(shí)的幀速率的幀速率進(jìn)行再生。
根據(jù)本發(fā)明實(shí)施例的流生成裝置，為輸入的每個(gè)圖像幀生成具有與基準(zhǔn)幀速率相關(guān)的圖像幀顯示周期所對(duì)應(yīng)的一定間隔的再生時(shí)間控制信息，而不管所輸入的運(yùn)動(dòng)圖像數(shù)據(jù)的幀速率如何，然后將其存儲(chǔ)在復(fù)用流中。這樣，以對(duì)應(yīng)于基準(zhǔn)幀速率的速度對(duì)這種方式生成的復(fù)用流進(jìn)行的再生允許像以不同于基準(zhǔn)幀速率的幀速率輸入到運(yùn)動(dòng)圖像編碼處理部中的運(yùn)動(dòng)圖像數(shù)據(jù)一樣快的運(yùn)動(dòng)圖像數(shù)據(jù)能夠以不同于運(yùn)動(dòng)圖像數(shù)據(jù)被輸入時(shí)的幀速率的幀速率進(jìn)行再生。因此，以通常的一定幀速率進(jìn)行的再生處理能夠生成可用來實(shí)現(xiàn)諸如慢動(dòng)作再生等特殊目的的再生操作的復(fù)用流。


通過下面結(jié)合附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行的描述，本發(fā)明的特征和優(yōu)勢將會(huì)變得更加清楚明白，在附圖中圖1是示出根據(jù)本發(fā)明一個(gè)實(shí)施例的成像裝置的構(gòu)造的框圖；圖2是用于說明該成像裝置在記錄視頻數(shù)據(jù)和音頻數(shù)據(jù)時(shí)的操作的時(shí)序圖；圖3是示出時(shí)間控制信息生成部的第一功能構(gòu)造實(shí)例的框圖；圖4是示出該時(shí)間控制信息生成部的第二功能構(gòu)造實(shí)例的框圖；圖5是示出該時(shí)間控制信息生成部的第三功能構(gòu)造實(shí)例的框圖；以及圖6是用于說明成像裝置在再生視頻數(shù)據(jù)和音頻數(shù)據(jù)時(shí)的操作的時(shí)間圖。
具體實(shí)施例方式
圖1是示出根據(jù)本發(fā)明一個(gè)實(shí)施例的成像裝置的構(gòu)造的框圖。
圖1所示的成像裝置包括所謂的數(shù)碼攝像機(jī)，它在拍攝運(yùn)動(dòng)圖像后將所拍攝的運(yùn)動(dòng)圖像作為數(shù)字?jǐn)?shù)據(jù)記錄在記錄介質(zhì)中。并且，所示的成像裝置使用諸如DVD(數(shù)字通用光盤)的光盤10作為記錄介質(zhì)來記錄包括視頻信號(hào)等的數(shù)據(jù)流。
所示的成像裝置具有成像裝置11、相機(jī)DSP(數(shù)字信號(hào)處理器)12、視頻編碼器13、麥克風(fēng)14、音頻數(shù)據(jù)A/D(模擬/數(shù)字)轉(zhuǎn)換器15、音頻數(shù)據(jù)采樣速率轉(zhuǎn)換器16、音頻編碼器17、緩存18、MUX/DEMUX(合路器/分路器)19、ATA(AT附件)接口20、光盤驅(qū)動(dòng)器21、視頻解碼器22、視頻數(shù)據(jù)緩存23、圖形接口24、顯示器25、音頻解碼器26、D/A(數(shù)字/模擬)轉(zhuǎn)換器27、揚(yáng)聲器28、CPU(中央處理器)29、和內(nèi)部總線30。
成像裝置11包括諸如CCD(電荷耦合器件)的固態(tài)成像裝置和CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器，并將由光學(xué)塊(未圖示)提供的會(huì)聚光轉(zhuǎn)換為電信號(hào)。
相機(jī)DSP 12在CPU 29的控制下，對(duì)成像裝置11提供的圖像信號(hào)執(zhí)行諸如CDS(相關(guān)雙重采樣)和AGC(自動(dòng)增益控制)的各種模擬信號(hào)處理，以及諸如A/D轉(zhuǎn)換的各種數(shù)字化處理、對(duì)成像操作控制的檢測以及圖像質(zhì)量校正。
要注意的是，如后文所述，成像裝置11被提供來允許除了標(biāo)準(zhǔn)幀速率以外，還可以用高于標(biāo)準(zhǔn)速率的快速幀速率輸出已成像的圖像信號(hào)。并且，相機(jī)DSP 12被提供來允許順序處理以上面所述的快速幀速率成像的圖像信號(hào)。
視頻編碼器13在CPU 29的控制下，根據(jù)預(yù)定的壓縮和編碼方案對(duì)從相機(jī)DSP 12輸出來的視頻數(shù)據(jù)進(jìn)行編碼。對(duì)于本發(fā)明的一個(gè)實(shí)施例來說，視頻編碼器13在根據(jù)MPEG方式進(jìn)行壓縮和編碼之后，把經(jīng)過編碼的視頻數(shù)據(jù)作為視頻ES(Elementary Stream，基本流)提供給緩存18。
麥克風(fēng)14采集音頻信號(hào)。A/D轉(zhuǎn)換器15把麥克風(fēng)14所提供的采集的音頻信號(hào)轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)。采樣速率轉(zhuǎn)換器16根據(jù)來自CPU 29的控制信號(hào)執(zhí)行數(shù)字化音頻數(shù)據(jù)采樣速率的轉(zhuǎn)換。
要注意的是，本實(shí)施例提供了一種構(gòu)造關(guān)于由A/D轉(zhuǎn)換器15以一定的采樣速率提供的數(shù)字化音頻數(shù)據(jù)，上述的一定采樣速率是通過采樣速率轉(zhuǎn)換器16中的操作而被轉(zhuǎn)換的。然而，除了安裝采樣速率轉(zhuǎn)換器16外，也可以改成在A/D轉(zhuǎn)換器15中提供可變的采樣速率作為數(shù)字轉(zhuǎn)換處理時(shí)的采樣速率，以便于通過CPU 29來控制這種可變的采樣速率。
音頻編碼器17根據(jù)諸如MPEG的預(yù)定壓縮和編碼方案對(duì)采樣速率轉(zhuǎn)換器16提供的音頻數(shù)據(jù)進(jìn)行編碼，然后把經(jīng)過編碼的音頻數(shù)據(jù)作為音頻ES提供給緩存18。
緩存18向處于CPU 29控制下的MUX/DEMUX 19暫存和輸出存儲(chǔ)在數(shù)據(jù)流中的各種信息，諸如由視頻編碼器13和音頻編碼器17提供的視頻ES和音頻ES以及從CPU 29輸出的各種時(shí)間控制信息。在緩存18中，MUX/DEMUX 19所提供的視頻ES和音頻ES在CPU 29的控制下，同樣分別被暫存和輸出到視頻解碼器22和音頻解碼器26。
MUX/DEMUX 19讀出并打包被存放在緩存18中的視頻ES和音頻ES等，然后復(fù)用這些流的包來生成一個(gè)PS(節(jié)目流)并通過ATA接口20將其輸出到光盤驅(qū)動(dòng)器21。在MUX/DEMUX 19中，視頻ES、音頻ES和各種頭部信息從讀取自光盤10的PS中被分離出來，然后，各個(gè)ES數(shù)據(jù)被存儲(chǔ)到緩存18中，而頭部信息則被輸出到CPU 29。
ATA接口20包括一個(gè)與光盤驅(qū)動(dòng)器21連接的接口電路，并根據(jù)來自CPU 29的控制信號(hào)對(duì)光盤驅(qū)動(dòng)器21的記錄/再生操作進(jìn)行控制。光盤驅(qū)動(dòng)器21把數(shù)據(jù)寫入可取出的光盤10，并從光盤10讀取所記錄的數(shù)據(jù)。
視頻解碼器22讀取從光盤10讀出、之后又存儲(chǔ)在緩存18中而提供的視頻ES，然后，在CPU 29的控制下，根據(jù)MPEG方式來對(duì)視頻數(shù)據(jù)進(jìn)行解壓縮和解碼。緩存23暫存從視頻解碼器22輸出的視頻數(shù)據(jù)。
圖形接口24把從緩存23或通過內(nèi)部總線30從相機(jī)DSP 12提供的視頻數(shù)據(jù)轉(zhuǎn)換成顯示要求的信號(hào)，然后將該信號(hào)提供給顯示器25。顯示器25由例如LCD(液晶顯示器)構(gòu)成，并顯示正處于拍攝過程的圖像或者含在光盤10中的數(shù)據(jù)的再生圖像。
音頻解碼器26讀取從光盤10讀出、之后又存儲(chǔ)在緩存18中而提供的音頻ES，然后，在CPU 29的控制下，對(duì)音頻數(shù)據(jù)進(jìn)行解壓縮和解碼。D/A轉(zhuǎn)換器27把從音頻解碼器26提供的音頻數(shù)據(jù)轉(zhuǎn)換成模擬信號(hào)，然后把該模擬信號(hào)輸出到揚(yáng)聲器28，從而提供再生聲音。
CPU 29通過執(zhí)行存放在內(nèi)存(未圖示)中的程序來全面控制成像裝置。根據(jù)本發(fā)明一個(gè)實(shí)施例的成像裝置具有記錄/再生命令處理部31，用于處理將視頻/音頻數(shù)據(jù)記錄在光盤10中和再生所記錄的視頻/音頻數(shù)據(jù)的命令；時(shí)間控制信息生成部32，在數(shù)據(jù)記錄時(shí)生成用于再生和解碼的時(shí)間控制信息；以及再生/解碼時(shí)間指定部33，在數(shù)據(jù)再生時(shí)根據(jù)時(shí)間控制信息來指定再生/解碼時(shí)間，作為CPU 29的功能。
現(xiàn)在介紹上述的成像裝置的基本視頻/音頻記錄和再生操作。首先，當(dāng)CPU 29得到通過用戶操作對(duì)輸入單元(未圖示)的輸入所對(duì)應(yīng)的記錄請(qǐng)求時(shí)，記錄/再生命令處理部31響應(yīng)這一請(qǐng)求使視頻編碼器13和音頻編碼器17啟動(dòng)編碼處理。從相機(jī)DSP 12輸出的視頻數(shù)據(jù)被視頻編碼器13順序編碼為視頻ES形式，然后其被存儲(chǔ)在緩存18中。從A/D轉(zhuǎn)換器15輸出的音頻數(shù)據(jù)通過采樣速率轉(zhuǎn)換器16被提供給音頻編碼器17，然后被順序編碼為音頻ES形式，其后被存儲(chǔ)在緩存18中。這時(shí)，應(yīng)該注意的是，來自相機(jī)DSP 12的視頻數(shù)據(jù)也通過內(nèi)部總線30被提供到圖形接口24，從而使正在拍攝的圖像被顯示在顯示器25上。
隨著視頻ES和音頻ES的生成，時(shí)間控制信息生成部32生成用于視頻數(shù)據(jù)再生的表示時(shí)間控制信息的PTS和用于視頻數(shù)據(jù)解碼的表示時(shí)間控制信息的DTS(Decoding Time Stamp，解碼時(shí)間戳)，并將其順序存儲(chǔ)在緩存18中。
MUX/DEMUX 19在記錄/再生命令處理部31的控制下，分別對(duì)從緩存18讀取的視頻ES和音頻ES進(jìn)行打包，并進(jìn)一步將一個(gè)以上的包組成一個(gè)大包，從而將這些包復(fù)用成PS。這時(shí)，都放在緩存18中的PTS和DTS以及從CPU 29輸出的各種信息將被存儲(chǔ)在預(yù)定的包和/或大包的頭部區(qū)域中。在這些包中，PTS被存儲(chǔ)在包含訪問單位頭數(shù)據(jù)的各個(gè)包的頭部，而DTS被存儲(chǔ)在包含I或P圖像的包的頭部。以此方式所生成的PS根據(jù)預(yù)定的文件格式被記錄在光盤10中。
另一方面，如果CPU 29得到用戶的操作輸入所對(duì)應(yīng)的再生請(qǐng)求，則記錄/再生命令處理部31控制ATA接口20使光盤驅(qū)動(dòng)器21讀取存放在光盤10中的數(shù)據(jù)流，從而使所讀取的數(shù)據(jù)流被提供給MUX/DEMUX 19。MUX/DEMUX 19從輸入數(shù)據(jù)中提取PS，然后從所提取的PS中分離視頻ES和音頻ES，以向緩存18提供視頻ES和音頻ES，同時(shí)向CPU 29輸出從頭部提取的信息。
再生/解碼時(shí)間指定部33分別向視頻解碼器22和音頻解碼器26提供都被存放在緩存18中的視頻ES和音頻ES，來為視頻解碼器22和音頻解碼器26指定再生/解碼時(shí)間。特別地，對(duì)于視頻數(shù)據(jù)而言，解碼定時(shí)將是根據(jù)被MUX/DEMUX 19分離的DTS來指定的，而再生定時(shí)則是根據(jù)同樣被分離出的PTS來指定的。以此方式，由存放在光盤10中的數(shù)據(jù)流提供的再生圖像就被顯示在顯示器25上，且再生聲音通過揚(yáng)聲器28而被輸出。
順便指出，此類成像裝置具有的功能是除了標(biāo)準(zhǔn)幀速率以外，還可以在用高于此標(biāo)準(zhǔn)幀速率的快速幀速率成像之后將成像圖像數(shù)據(jù)記錄在光盤10中。用快速幀速率成像所提供的圖像數(shù)據(jù)被以具有標(biāo)準(zhǔn)幀速率的視頻ES的形式生成，然后被記錄在光盤10中。通過以通常的標(biāo)準(zhǔn)幀速率來再生所記錄的圖像數(shù)據(jù)，這樣的處理使得用快速幀速率成像所提供的圖像可以以比成像時(shí)的速度慢的速度顯示。然而，為了實(shí)現(xiàn)此類功能，就必需在從以標(biāo)準(zhǔn)幀速率成像切換到以快速幀速率成像時(shí)，改變再生和/或解碼時(shí)間控制信息的計(jì)算方式。
圖2是用于說明成像裝置在記錄視頻數(shù)據(jù)和音頻數(shù)據(jù)時(shí)的操作的時(shí)序圖。
本實(shí)施例假設(shè)提供兩種成像模式以每秒30幀(或每秒60場)的幀速率成像的普通成像模式和以每秒90幀(或每秒180場)的三倍快速幀速率成像的快速成像模式，還允許在成像和記錄期間按照需要在這兩種成像模式之間進(jìn)行切換。然后，成像裝置11被設(shè)置為允許以這兩種幀速率輸出被成像的圖像信號(hào)。相機(jī)DSP 12被設(shè)置為允許與這兩種幀速率同步地處理圖像信號(hào)。
在圖2中，真實(shí)時(shí)間(或稱實(shí)際操作時(shí)間)是按照被指定為解碼時(shí)基準(zhǔn)時(shí)鐘(STC系統(tǒng)時(shí)鐘)頻率的90kHz時(shí)鐘頻率的計(jì)數(shù)值來進(jìn)行表達(dá)的。在圖2的一次記錄操作中，假設(shè)被成像的圖像的記錄在“t0”時(shí)刻開始，且在從“t0”到“t0+6006”的時(shí)段內(nèi)采用普通成像模式進(jìn)行記錄。還假設(shè)快速成像模式的切換在“t0+6006”時(shí)刻發(fā)生以提供三倍快速幀速率成像，隨后，在“t0+9009”時(shí)刻重新切換回普通成像模式，保持記錄的連續(xù)性。在圖2中，需要注意的是，采用記錄啟動(dòng)時(shí)間作為起點(diǎn)生成的幀(或視頻幀)按照F1、F2、F3…的順序表達(dá)。
還要注意的是，圖2中的定時(shí)信號(hào)Sa和Sb分別表示與普通成像模式和快速成像模式相關(guān)的幀生成定時(shí)。這些定時(shí)信號(hào)Sa和Sb由CPU 29生成，并例如在每個(gè)成像模式中，可以與用于生成為成像裝置11等提供同步定時(shí)的垂直同步信號(hào)(V_sync)的信號(hào)共用。
如果圖像的記錄在“t0”時(shí)刻開始，則記錄開始時(shí)間的時(shí)刻“t0”就被假設(shè)為第一個(gè)幀F(xiàn)1對(duì)應(yīng)的PTS。對(duì)于在下一時(shí)刻“t0+3003”所生成的幀F(xiàn)2來說，PTS采取通過把對(duì)應(yīng)于1/30秒的被指定為90kHz計(jì)數(shù)值的“3003”加上被提供作為記錄開始時(shí)間的時(shí)刻“t0”而得到的值。即，與真實(shí)時(shí)間相同的信息可以被置為到時(shí)刻“t0+6006”為止的PTS。
隨后，如果在“t0+6006”時(shí)刻模式被切換到快速成像模式，則幀F(xiàn)3對(duì)應(yīng)的PTS此時(shí)就變?yōu)椤皌0+6006”。然而，在設(shè)置為快速成像模式期間，成像時(shí)的幀生成間隔(或來自相機(jī)DSP 12的幀的輸出間隔)與再生時(shí)的幀輸出間隔之間存在差異。即，這些幀被假設(shè)以成像時(shí)速度1/3的速度進(jìn)行再生。
于是，在時(shí)刻“t0+6006”及其之后，應(yīng)將不同于真實(shí)時(shí)間的時(shí)刻設(shè)置為PTS。例如，如果通過將幀F(xiàn)4、F5和F6所對(duì)應(yīng)的各個(gè)PTS設(shè)置為與真實(shí)時(shí)間相同的時(shí)刻“t0+7007”、“t0+8008”和“t0+9009”來生成數(shù)據(jù)流，則在以每秒30幀的幀速率對(duì)所生成的數(shù)據(jù)流進(jìn)行解碼時(shí)，幀F(xiàn)4和F5會(huì)被跳過而不進(jìn)行再生，在這種情況下，在幀F(xiàn)3的輸出1/30秒(被指定為通常的輸出周期)之后跟隨的是幀F(xiàn)6的輸出，導(dǎo)致慢動(dòng)作再生的出錯(cuò)。
因此，對(duì)于切換到快速成像模式之后的時(shí)刻“t0+7007”，通過增加相應(yīng)于普通顯示周期的計(jì)數(shù)值(3003)而得到的“t0+9009”被設(shè)置為PTS。類似地，在時(shí)刻“t0+8008”，PTS被設(shè)置為“t0+12012”，而在時(shí)刻“t0+9009”，PTS被設(shè)置為“t0+15015”。如上所述，在設(shè)置快速成像模式的任意情況下，每個(gè)幀所對(duì)應(yīng)的PTS都將被順序地以與普通成像模式相同的一定值為單位增加，或以與普通成像模式相關(guān)的幀輸出周期所對(duì)應(yīng)的一定值為單位增加。
在時(shí)刻“t0+9009”切換到普通成像模式之后，PTS以成像間隔所對(duì)應(yīng)的時(shí)間量(或計(jì)數(shù)值)順序增加。例如，在時(shí)刻“t0+12012”生成的幀(未圖示)的PTS被設(shè)為“t0+18018”。
如上所述生成的PTS在被MUX/DEMUX 19復(fù)用時(shí)，被記錄在包含訪問單位(或幀)的開頭視頻數(shù)據(jù)的包的頭部。這同樣也適用于音頻數(shù)據(jù)，因此，相同的PTS被記錄在包含與上述幀相應(yīng)的訪問單位的開頭音頻數(shù)據(jù)的包的頭部。
此外，MPEG方式提供了用于向前和向后圖像數(shù)據(jù)的預(yù)測編碼，使得圖像再生順序有時(shí)與圖像解碼順序不同，從而導(dǎo)致需要視頻數(shù)據(jù)將DTS與PTS一起記錄到包的頭部中。再生時(shí)間和解碼時(shí)間不一致的圖像是I圖像和P圖像，所以只需要記錄這些圖像所對(duì)應(yīng)的DTS。通常的視頻ES包括一定數(shù)量的位于I圖像和P圖像之間或位于多個(gè)P圖像之間的連續(xù)B圖像，從而允許通過對(duì)PTS加上或減去適合于連續(xù)B圖像數(shù)量的一定時(shí)間來獲得DTS。具體來說，假設(shè)連續(xù)B圖像的數(shù)量是n，則可以通過從PTS減去(n+1)倍的與普通成像模式相關(guān)的幀周期的期間所對(duì)應(yīng)的時(shí)間來獲得DTS。
參見圖2，例如，如果認(rèn)為n為2，則幀F(xiàn)1、F2、F4和F5被編碼為B圖像，幀F(xiàn)3被編碼為I圖像，且?guī)現(xiàn)6被編碼為P圖像。為了把上述幀中的幀F(xiàn)1和F2編碼為B圖像，就要使用幀F(xiàn)3的數(shù)據(jù)。于是，被提供為B圖像的幀F(xiàn)1和F2的解碼需要幀F(xiàn)3的被解碼數(shù)據(jù)。因此，幀F(xiàn)3需要在幀F(xiàn)1和F2解碼之前先被解碼，從而，幀F(xiàn)3所對(duì)應(yīng)的DTS采用通過從被指定為PTS值的“t0+6006”中減去與三倍幀周期的期間相當(dāng)?shù)摹?009”而得到的值。類似地，被提供為B圖像的幀F(xiàn)4和F5的解碼需要幀F(xiàn)3和F6，所以幀F(xiàn)6需要在幀F(xiàn)4和F5解碼之前先被解碼，因此，幀F(xiàn)6所對(duì)應(yīng)的DTS采用的是通過從被指定為PTS值的“t0+9009”中減去“9009”而得到的值。以此方式，用于I和P圖像的DTS就是通過從PTS值中減去一個(gè)固定值或“9009”而提供的值獲得的。
參見圖2中的“來自MUX的輸出”一欄，以幀輸入順序示出了相應(yīng)于各個(gè)幀的視頻和音頻包。然而，要注意的是，該圖示僅僅是為了簡化，與上述相同的順序并不特別實(shí)際應(yīng)用于預(yù)測編碼的情況之中。以從視頻編碼器13輸出的視頻ES為例，每個(gè)幀(或每個(gè)圖像)的數(shù)據(jù)都按照解碼順序進(jìn)行排序。當(dāng)然，在MUX/DEMUX 19中每個(gè)幀所對(duì)應(yīng)的包的輸出定時(shí)不一定與圖2所示的相同。
圖3是示出時(shí)間控制信息生成部的第一功能構(gòu)造實(shí)例的框圖。
圖3所示的時(shí)間控制信息生成部32包括選擇器301、計(jì)數(shù)器302、乘法器303、加法器304和減法器305。
選擇器301接收分別提供與普通成像模式和快速成像模式相關(guān)的幀處理定時(shí)的定時(shí)信號(hào)Sa或Sb的輸入。如上所述，例如，從CPU 29輸出用來為成像裝置設(shè)備11等提供垂直同步信號(hào)的信號(hào)，可被用作定時(shí)信號(hào)Sa和Sb。定時(shí)信號(hào)Sb的周期假設(shè)為定時(shí)信號(hào)Sa周期的三分之一。
選擇器301獲取在記錄/再生命令處理部31中根據(jù)用戶操作管理的成像模式，并且如果當(dāng)前成像處于普通成像模式的話，就選擇定時(shí)信號(hào)Sa的輸入，而在快速成像模式的情況下則選擇定時(shí)信號(hào)Sb。像上述那樣的選擇操作允許選擇器301的輸出信號(hào)為對(duì)應(yīng)于成像模式的各個(gè)幀都生成時(shí)間控制信息生成部32的處理定時(shí)。選擇器301的輸出信號(hào)可以與指定視頻解碼器13的定時(shí)以啟動(dòng)相應(yīng)圖像的編碼的或把已編碼的圖像輸出到緩存18的定時(shí)信號(hào)基本相同。
計(jì)數(shù)器302采用記錄啟動(dòng)時(shí)間作為起點(diǎn)，對(duì)從選擇器301輸出的定時(shí)信號(hào)計(jì)數(shù)。具體來說，在普通成像模式中，對(duì)時(shí)間信號(hào)Sa進(jìn)行計(jì)數(shù)，而在快速成像模式中，則對(duì)時(shí)間信號(hào)Sb進(jìn)行計(jì)數(shù)。這種計(jì)數(shù)處理使得各個(gè)成像模式所提供的按順序處理的幀數(shù)將從計(jì)數(shù)器302被輸出出來。
乘法器303把計(jì)數(shù)器302中的計(jì)數(shù)值乘以表示與普通成像模式相關(guān)的幀輸出周期的固定值“3003”，加法器304把記錄開始時(shí)讀取的時(shí)刻t0與來自乘法器303的輸出值相加。要注意的是，記錄開始時(shí)刻t0是通過提供90kHz計(jì)數(shù)值的內(nèi)置時(shí)鐘(未圖示)讀取的。
利用上面的構(gòu)造，加法器304的輸出值被認(rèn)為是PTS，它然后與圖像數(shù)據(jù)相應(yīng)地存儲(chǔ)在緩存18中。減法器305從加法器304的輸出值中減去普通成像模式幀輸出周期3倍時(shí)間所對(duì)應(yīng)的固定值“9009”。減法器305的輸出值就是DTS，然而，在這種情況下，只有當(dāng)相應(yīng)于該DTS值的圖像是I或P圖像時(shí)，才會(huì)發(fā)生把DTS相應(yīng)于圖像數(shù)據(jù)存儲(chǔ)在緩存18中?；蛘撸挥挟?dāng)相應(yīng)圖像是I或P圖像時(shí)，也允許使減法器305進(jìn)入操作狀態(tài)。
雖然上述構(gòu)造包括用于增加在記錄開始時(shí)讀取的時(shí)刻t0的加法器304，但應(yīng)注意的是，乘法器303的輸出值可以被用作PTS而不需要提供加法器304。
圖4是示出時(shí)間控制信息生成部的第二功能構(gòu)造實(shí)例的框圖。
圖4中的第二功能構(gòu)造提供了一種用于如下情況的構(gòu)造累加器311被用來代替圖3中顯示的部件中的計(jì)數(shù)器302、乘法器303和加法器304的功能。累加器311根據(jù)基于成像模式而來自選擇器301的定時(shí)信號(hào)的輸入定時(shí)，將代表與普通成像模式相關(guān)的幀輸出周期的固定值“3003”累加至在記錄開始時(shí)讀取的時(shí)刻t0。累加器311的輸出值就將是PTS。與圖3的構(gòu)造一樣，減法器305從累加器311的輸出值中減去固定值“9009”，而該減法器的輸出值就是DTS。在圖4構(gòu)造的情況下，允許累加器311也利用作為起點(diǎn)的“0”進(jìn)行累加，而不需在記錄開始時(shí)讀取時(shí)刻t0。
圖5是示出時(shí)間控制信息生成部的第三功能構(gòu)造實(shí)例的框圖。
圖3和圖4中的構(gòu)造是根據(jù)在記錄開始時(shí)讀取的時(shí)刻t0來生成時(shí)間控制信息，而圖5中的構(gòu)造允許時(shí)間控制信息基于與各個(gè)幀處理定時(shí)相關(guān)的絕對(duì)時(shí)間生成。舉例來說，絕對(duì)時(shí)間可以是由內(nèi)置時(shí)鐘生成的真實(shí)時(shí)間計(jì)數(shù)值，或者是在相機(jī)DSP 12內(nèi)以記錄開始時(shí)間作為起點(diǎn)針對(duì)幀的每個(gè)輸入或輸出計(jì)數(shù)得到的控制計(jì)數(shù)值。
參見圖5，與圖3和圖4的構(gòu)造類似，如果當(dāng)前成像是普通成像模式，選擇器301就選擇并輸出定時(shí)信號(hào)Sa，而在快速成像模式的情況下則選擇并輸出定時(shí)信號(hào)Sb。然而，圖5中的選擇器301對(duì)所選擇的定時(shí)信號(hào)Sa和Sb的輸出進(jìn)行單獨(dú)操作。
每當(dāng)從選擇器301輸入定時(shí)信號(hào)Sb時(shí)，累加器321就將固定值“3003”累加到初始值“0”。僅在設(shè)定快速成像模式時(shí)才從選擇器301輸入定時(shí)信號(hào)Sb，因此，累加器321只在快速成像模式時(shí)才進(jìn)行累加。
當(dāng)接收到選擇器301所選擇的定時(shí)信號(hào)Sa或Sb的輸入時(shí)，延遲器322通過使累加器321的輸出值被延遲直到發(fā)生下一次任意定時(shí)信號(hào)的輸入來提供其輸出值。
每當(dāng)從選擇器301輸入定時(shí)信號(hào)Sa或Sb時(shí)，加法器323都讀取絕對(duì)時(shí)間，然后把延遲器322的輸出值加到所讀取的絕對(duì)時(shí)間。加法器323的輸出值就是PTS。要注意的是，與圖3和圖4所示的情況一樣，減法器305的功能是把加法器323的輸出值減去固定值“9009”，并且，減法器305的輸出值就將是DTS。
在這一構(gòu)造中，只有當(dāng)設(shè)定為快速成像模式時(shí)，累加器321在接收到定時(shí)信號(hào)Sb的輸入時(shí)進(jìn)行“3003”的累加。普通成像模式不輸入定時(shí)信號(hào)Sb，所以最后累加獲得的值將被完整輸出。因此，在普通成像模式的情況下，加法器323上相對(duì)于絕對(duì)時(shí)間的偏移量被認(rèn)為是固定值，而在快速成像模式的情況下，則每次試圖生成幀時(shí)就以“3003”為單位增加。然而，對(duì)于從一個(gè)成像模式切換到另一個(gè)成像模式的定時(shí)(例如圖2中的時(shí)刻“t0+6006”和“t0+9009”)，緊鄰切換之前的成像模式中提供的偏移量必須被反映在PTS中，所以對(duì)加法器323進(jìn)行的輸入要在用延遲器322以輸入時(shí)鐘的一個(gè)周期所對(duì)應(yīng)的量對(duì)偏移進(jìn)行延遲之后才能進(jìn)行。
要注意的是，除了PTS和DTS以外，根據(jù)MPEG方式的實(shí)際流生成處理還需要生成并附加SCR(系統(tǒng)時(shí)鐘基準(zhǔn))作為時(shí)間控制信息到包頭部。SCR用來指定將流存儲(chǔ)到解碼器一方的虛擬緩沖區(qū)(或所謂VBV緩沖區(qū))中的時(shí)間。因此，用解碼器一方的SCR給標(biāo)準(zhǔn)時(shí)鐘(或STC)復(fù)位能夠?qū)崿F(xiàn)用DTS和PTS對(duì)解碼和再生進(jìn)行定時(shí)控制。
與PTS的情況一樣，SCR也總是通過增加普通成像模式所對(duì)應(yīng)的一定時(shí)間獲得，而不管設(shè)定的是哪種成像模式。然而，與PTS不同的是，SCT是根據(jù)用來將食品數(shù)據(jù)從VBV緩沖區(qū)讀出到解碼器的比特率和存儲(chǔ)在VBV緩沖區(qū)中的數(shù)據(jù)量這兩者來確定的，并假設(shè)在MPEG-2方式的情況下采用27-MHz的計(jì)數(shù)值。
根據(jù)DVD視頻標(biāo)準(zhǔn)，一個(gè)包是2K字節(jié)(或2048字節(jié))長，所以對(duì)于將2048字節(jié)的視頻數(shù)據(jù)以例如10.08Mbps的速率存儲(chǔ)到VBV緩沖區(qū)中來說，SCR值就被認(rèn)為是2048×8(位)/10.08＝43866，于是每個(gè)包都增加一固定值“43866”。在成像裝置中，當(dāng)通過MUX/DEMUX 19從緩存18生成單個(gè)視頻包時(shí)，由時(shí)間控制信息生成部32生成通過在所有情形時(shí)如上所述增加固定值而得到的SCR，然后被存儲(chǔ)到包頭部中。
下面再次參照?qǐng)D2描述音頻數(shù)據(jù)的獲取。假設(shè)在普通成像模式下音頻數(shù)據(jù)以48KHz的采樣速率進(jìn)行捕獲。根據(jù)本發(fā)明的一個(gè)實(shí)施例，在普通成像模式情況下，音頻數(shù)據(jù)A/D轉(zhuǎn)換器15以48KHz的一定采樣速率進(jìn)行數(shù)字轉(zhuǎn)換，并且，采樣速率轉(zhuǎn)換器16輸出不經(jīng)轉(zhuǎn)換的輸入數(shù)據(jù)。
在快速成像模式中，音頻數(shù)據(jù)的捕獲每一次都根據(jù)成像定時(shí)來進(jìn)行，在這種情況下，采用的是高達(dá)144KHz的三倍快速采樣速率。具體來說，當(dāng)模式被切換到快速成像模式時(shí)，采樣速率轉(zhuǎn)換器16的功能通過CPU 29的控制而被開啟。然后，具有48KHz采樣速率的音頻數(shù)據(jù)在根據(jù)成像定時(shí)被A/D轉(zhuǎn)換器15數(shù)字化轉(zhuǎn)換以后，就被采樣速率轉(zhuǎn)換器16轉(zhuǎn)換成為具有144KHz采樣速率的音頻數(shù)據(jù)。要注意的是，除了安裝采樣速率轉(zhuǎn)換器16，還允許A/D轉(zhuǎn)換器15的數(shù)字轉(zhuǎn)換時(shí)的采樣速率變?yōu)?44KHz。
在快速成像模式中記錄的音頻數(shù)據(jù)與視頻數(shù)據(jù)一起以三分之一的速度進(jìn)行再生的情況下，如上的操作不僅能使圖像，還能使聲音以三分之一的低速進(jìn)行再生。
圖6是用于說明在再生如上所述提供的所記錄的視頻數(shù)據(jù)和音頻數(shù)據(jù)時(shí)成像裝置的操作時(shí)序圖。
圖6所示的操作提供了一種應(yīng)用于通過圖2的操作被成像其后被記錄在光盤10中而提供的數(shù)據(jù)流的再生情況下的操作。參看圖6的“包”一欄，雖然為了簡化將被再生的視頻和音頻數(shù)據(jù)之間的相應(yīng)關(guān)系而示出了視頻包和音頻包的一種排列，但這些包實(shí)際上是以視頻數(shù)據(jù)解碼的順序被輸入到MUX/DEMUX 19中的。圖6中的真實(shí)時(shí)間代表根據(jù)DTS和PTS設(shè)定的90kHz的計(jì)數(shù)值(或STC)。
在該成像裝置中，當(dāng)再生數(shù)據(jù)流時(shí)，在MUX/DEMUX 19中從數(shù)據(jù)流的頭部中分離出來的各種類型的時(shí)間控制信息被提供給CPU 29，CPU 29的再生/解碼時(shí)間指定部33根據(jù)分離出來的SCR來重設(shè)系統(tǒng)時(shí)鐘。不管哪種成像模式被用來記錄將要再生的數(shù)據(jù)流，系統(tǒng)時(shí)鐘總是以90kHz計(jì)數(shù)。然后，當(dāng)MUX/DEMUX 19分離出來的DTS與STC值一致時(shí)，再生/解碼時(shí)間指定部33對(duì)視頻解碼器22指定解碼定時(shí)，而當(dāng)PTS與STC值一致時(shí)指定再生定時(shí)。對(duì)于音頻解碼器26來說，解碼和再生定時(shí)根據(jù)PTS與STC之間一致性的判斷來指定。
參照?qǐng)D6，時(shí)刻“t0”和“t0+3003”允許以普通成像模式拍攝然后記錄而提供的幀(或視頻幀)F1和F2以與通常的普通成像模式的幀速率相同的幀速率再生。同時(shí)，以48kHz采樣速率獲取然后記錄而提供的音頻數(shù)據(jù)也與幀F(xiàn)1和F2同步地再生。也就是說，這些定時(shí)允許圖像和聲音以與成像時(shí)速度相同的速度再生。
另一方面，時(shí)刻“t0+6006”和“t0+9009”允許以三倍快速幀速率的快速成像模式拍攝然后記錄而提供的幀F(xiàn)3和F4被再生。然而，幀F(xiàn)3和F4所對(duì)應(yīng)的PTS已被記錄為與普通成像模式的顯示周期一致，使得幀F(xiàn)3和F4還是以與普通成像模式的幀速率相同的幀速率再生。因此，幀F(xiàn)3和F4中每一個(gè)的輸出周期就都成為成像時(shí)輸出周期的三倍長，這使得幀F(xiàn)3和F4的慢動(dòng)作再生能以記錄時(shí)速度的三分之一進(jìn)行。
已經(jīng)以快速成像模式記錄的音頻數(shù)據(jù)等同于以三倍于普通成像模式采樣速率的采樣速率(144kHz)獲取然后記錄而提供的音頻數(shù)據(jù)，因此可以通過同步于相應(yīng)幀以記錄時(shí)速度的三分之一進(jìn)行再生的方式，作為具有與普通記錄模式提供的記錄數(shù)據(jù)的采樣速率相同的采樣速率(48kHz)的音頻數(shù)據(jù)在音頻解碼器26中像通常一樣進(jìn)行再生。于是，將被再生的聲音的速度就變成記錄時(shí)速度的三分之一，使得圖像和聲音以彼此同步的方式再生。
如上所述，根據(jù)本發(fā)明一個(gè)實(shí)施例的使用時(shí)間控制信息生成部32進(jìn)行記錄的數(shù)據(jù)流可以毫無疑問地使用提供標(biāo)準(zhǔn)幀速率的解碼和再生處理的常規(guī)解碼器來進(jìn)行再生。另外，以快速成像模式記錄而提供的視頻數(shù)據(jù)和音頻數(shù)據(jù)可以進(jìn)行拍攝執(zhí)行者或用戶所期望的慢動(dòng)作再生，而不需在再生時(shí)進(jìn)行任何特殊的設(shè)置。因此，可實(shí)現(xiàn)提供一中操作簡便并且附加價(jià)值高的快速成像/慢動(dòng)作再生功能，同時(shí)提高用戶在慢動(dòng)作再生中的便利性。
雖然上述實(shí)施例采用一種三倍于普通成像模式的成像周期作為快速成像模式的成像周期，但也可以改成在快速成像模式下多個(gè)階段地改變成像速度。對(duì)于這種情況，可根據(jù)成像速度輸入圖3～5中所示的用于快速成像模式的多于一個(gè)的定時(shí)信號(hào)Sb。或者，還允許提供可任意控制的成像速度，在這種情況下，僅僅需要依據(jù)成像速度來改變一種類型的定時(shí)信號(hào)Sa的周期。
除了快速成像模式以外，本發(fā)明還可應(yīng)用于一種幀速率慢于普通成像模式的慢速成像模式。在這種情況下，不管成像模式如何，始終以普通成像模式的幀處理周期所對(duì)應(yīng)的時(shí)間為單位進(jìn)行PTS的順序增加，從而確保以慢速成像模式拍攝提供的圖像可以用比成像時(shí)速度快的速度進(jìn)行再生。在設(shè)置的是慢速成像模式的情況(或定時(shí)信號(hào)Sb對(duì)應(yīng)于慢速成像模式的情況)下，應(yīng)該理解，圖5中所示的時(shí)間控制信息生成部32的構(gòu)造使得PTS可以通過從絕對(duì)時(shí)間減去延遲器322的輸出值而獲得。
雖然本發(fā)明的上述實(shí)施例是參照將本發(fā)明應(yīng)用于把拍攝和采集到的圖像和聲音記錄在記錄介質(zhì)中的成像裝置進(jìn)行描述的，但是也允許將本發(fā)明應(yīng)用于通過對(duì)圖像和聲音信號(hào)進(jìn)行編碼來生成數(shù)據(jù)流、然后通過網(wǎng)絡(luò)將數(shù)據(jù)流傳送至外部裝置的裝置。將被編碼的圖像和聲音并不局限于拍攝采集獲得，也可以是例如通過電視調(diào)諧器接收的廣播內(nèi)容信號(hào)，或通過數(shù)字或模擬圖像/聲音輸入終端輸入的信號(hào)。即，本發(fā)明可以被應(yīng)用到一種當(dāng)接收允許在多于一個(gè)的幀速率之間相互切換的圖像信號(hào)(以及與該圖像信號(hào)同步的音頻信號(hào))的輸入時(shí)通過對(duì)這些圖像和聲音信號(hào)進(jìn)行編碼來生成數(shù)據(jù)流的裝置。
此外，本發(fā)明還可以應(yīng)用于一種當(dāng)接收允許在多于一個(gè)的幀速率之間相互切換的圖像信號(hào)(以及與該圖像信號(hào)同步的音頻信號(hào))的輸入時(shí)，基于圖像和音頻信號(hào)來顯示圖像并輸出聲音的裝置。舉例來說，可以實(shí)現(xiàn)一種通過執(zhí)行下面的處理，當(dāng)輸入具有不同于基準(zhǔn)幀速率的幀速率的圖像信號(hào)時(shí)進(jìn)行比常規(guī)速度慢的自動(dòng)再生的特殊目的的再生功能。在將輸入圖像數(shù)據(jù)從基準(zhǔn)幀速率切換到快速幀速率之后，針對(duì)圖像幀的每一次輸入通過增加基準(zhǔn)幀速率的幀周期所對(duì)應(yīng)的時(shí)間來生成再生時(shí)間控制信息，從而將所生成的再生時(shí)間控制信息附加至圖像信號(hào)(或替換已附加的原始再生時(shí)間控制信息)。然后，使已接收到圖像信號(hào)輸入的顯示處理部總是基于再生時(shí)間控制信息以基準(zhǔn)幀速率顯示圖像。
本領(lǐng)域技術(shù)人員應(yīng)該明白，在權(quán)利要求書或其等同物范圍之內(nèi)，可根據(jù)設(shè)計(jì)需求和其他原因進(jìn)行各種修改、組合、子組合和變更。
權(quán)利要求
1.一種生成包括運(yùn)動(dòng)圖像數(shù)據(jù)的復(fù)用流的流生成裝置，包括運(yùn)動(dòng)圖像編碼處理部，用于通過對(duì)允許根據(jù)期望定時(shí)在基準(zhǔn)幀速率和一個(gè)以上不同于所述基準(zhǔn)幀速率的幀速率之間切換的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼來生成運(yùn)動(dòng)圖像流；時(shí)間控制信息生成部，用于為輸入到所述運(yùn)動(dòng)圖像編碼處理部的每個(gè)圖像幀，生成具有與所述基準(zhǔn)幀速率相關(guān)的圖像幀顯示周期所對(duì)應(yīng)的一定間隔的再生時(shí)間控制信息；以及復(fù)用處理部，用于通過復(fù)用所述運(yùn)動(dòng)圖像流和所述再生時(shí)間控制信息來生成所述復(fù)用流。
2.根據(jù)權(quán)利要求1所述的流生成裝置，其中所述時(shí)間控制信息生成部，基于通過將輸入到所述運(yùn)動(dòng)圖像編碼處理部的圖像幀的數(shù)量和與所述基準(zhǔn)幀速率相關(guān)的所述圖像幀顯示周期所對(duì)應(yīng)的時(shí)間相乘得到的值，生成所述再生時(shí)間控制信息。
3.根據(jù)權(quán)利要求1所述的流生成裝置，其中所述時(shí)間控制信息生成部，基于通過將與所述基準(zhǔn)幀速率相關(guān)的所述圖像幀顯示周期所對(duì)應(yīng)的時(shí)間進(jìn)行累加得到的值，為輸入到所述運(yùn)動(dòng)圖像編碼處理部的每個(gè)圖像幀生成所述再生時(shí)間控制信息。
4.根據(jù)權(quán)利要求1所述的流生成裝置，其中所述時(shí)間控制信息生成部保存通過將與所述基準(zhǔn)幀速率相關(guān)的所述圖像幀顯示周期所對(duì)應(yīng)的時(shí)間進(jìn)行累加得到的累加值，其數(shù)目與向所述運(yùn)動(dòng)圖像編碼處理部輸入具有不同所述基準(zhǔn)幀速率的幀速率的運(yùn)動(dòng)圖像數(shù)據(jù)時(shí)提供的圖像幀一樣，然后，基于通過對(duì)或從與所述運(yùn)動(dòng)圖像編碼處理部相關(guān)的圖像幀輸入時(shí)間加上或減去所述累加值而得到的值，生成所述再生時(shí)間控制信息。
5.根據(jù)權(quán)利要求1所述的流生成裝置，其中所述運(yùn)動(dòng)圖像編碼處理部具有依據(jù)向后-向前雙向預(yù)測編碼對(duì)一定數(shù)量的連續(xù)圖像幀進(jìn)行壓縮和編碼的功能，針對(duì)不使用雙向預(yù)測編碼進(jìn)行壓縮和編碼的圖像幀，所述時(shí)間控制信息生成部通過從關(guān)于所述圖像幀的相應(yīng)再生時(shí)間控制信息減去預(yù)定值來生成用于解壓縮和解碼所述圖像幀的解碼時(shí)間控制信息，以及所述復(fù)用處理部將所述解碼時(shí)間控制信息和所述再生時(shí)間控制信息一起復(fù)用，從而生成復(fù)用流。
6.根據(jù)權(quán)利要求1所述的流生成裝置，進(jìn)一步包括用于將所述復(fù)用流記錄到記錄介質(zhì)中的流記錄部。
7.根據(jù)權(quán)利要求1所述的流生成裝置，進(jìn)一步包括通過在接收所述復(fù)用流的輸入時(shí)，基于包含在所述復(fù)用流中的所述再生時(shí)間控制信息控制圖像幀再生時(shí)間，來再生包含在所述復(fù)用流中的所述運(yùn)動(dòng)圖像數(shù)據(jù)的運(yùn)動(dòng)圖像再生處理部。
8.根據(jù)權(quán)利要求1所述的流生成裝置，進(jìn)一步包括數(shù)字音頻輸入部，用于接收以一定采樣速率數(shù)字化的音頻數(shù)據(jù)的輸入；音頻編碼處理部，用于通過對(duì)來自所述數(shù)字音頻輸入部的音頻數(shù)據(jù)進(jìn)行編碼以生成音頻流，然后把所生成的音頻流輸出到所述復(fù)用處理部；以及采樣速率轉(zhuǎn)換部，用于將在向所述運(yùn)動(dòng)圖像編碼處理部輸入具有不同于所述基準(zhǔn)幀速率的預(yù)定幀速率的所述運(yùn)動(dòng)圖像數(shù)據(jù)的同時(shí)輸入到所述數(shù)字音頻輸入部的所述音頻數(shù)據(jù)的采樣速率，轉(zhuǎn)換成為通過將所述預(yù)定幀速率與所述基準(zhǔn)幀速率之間的比乘以所述一定采樣速率得到的值，然后將所轉(zhuǎn)換的采樣速率輸出到所述音頻編碼處理部，其中，所述復(fù)用處理部將所述音頻流與所述運(yùn)動(dòng)圖像流以及所述再生時(shí)間控制信息一起復(fù)用。
9.根據(jù)權(quán)利要求1所述的流生成裝置，進(jìn)一步包括數(shù)字轉(zhuǎn)換部，用于在向所述運(yùn)動(dòng)圖像編碼處理部輸入具有不同于所述基準(zhǔn)幀速率的預(yù)定幀速率的運(yùn)動(dòng)圖像數(shù)據(jù)時(shí)，當(dāng)接收到模擬音頻信號(hào)的輸入是，將所輸入的音頻信號(hào)數(shù)字轉(zhuǎn)換并輸出到所述復(fù)用處理部，并將所述模擬音頻信號(hào)的采樣速率設(shè)置為通過將所述預(yù)定幀速率與所述基準(zhǔn)幀速率之間的比率乘以在輸入具有所述基準(zhǔn)幀速率的運(yùn)動(dòng)圖像數(shù)據(jù)時(shí)提供的模擬音頻信號(hào)的采樣速率而得到的值；以及音頻編碼處理部，用于通過對(duì)來自所述數(shù)字轉(zhuǎn)換部的音頻數(shù)據(jù)進(jìn)行編碼而生成音頻流，然后把所生成的音頻流輸出到所述復(fù)用處理部，其中，所述復(fù)用處理部件將所述音頻流與所述運(yùn)動(dòng)圖像流以及所述再生時(shí)間控制信息一起復(fù)用。
10.一種用于拍攝圖像的成像裝置，包括固態(tài)成像裝置，允許通過根據(jù)期望定時(shí)在基準(zhǔn)幀速率和一個(gè)以上不同于所述基準(zhǔn)幀速率的幀速率之間進(jìn)行切換而輸出成像圖像；運(yùn)動(dòng)圖像編碼處理部，用于通過對(duì)由所述固態(tài)成像裝置成像提供的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼來生成運(yùn)動(dòng)圖像流；時(shí)間控制信息生成部，用于為輸入到所述運(yùn)動(dòng)圖像編碼處理部的每個(gè)圖像幀，生成具有與所述基準(zhǔn)幀速率相關(guān)的圖像幀顯示周期所對(duì)應(yīng)的一定時(shí)間間隔的再生時(shí)間控制信息；以及復(fù)用處理部，用于通過復(fù)用所述運(yùn)動(dòng)圖像流和所述再生時(shí)間控制信息來生成復(fù)用流。
11.根據(jù)權(quán)利要求10所述的成像裝置，進(jìn)一步包括聲音拾取部，用于拾取聲音并將所述聲音作為模擬音頻信號(hào)輸出；數(shù)字轉(zhuǎn)換部，用于以一定采樣速率對(duì)來自所述聲音拾取部的模擬音頻信號(hào)進(jìn)行數(shù)字轉(zhuǎn)換；音頻編碼處理部，用于通過對(duì)來自所述數(shù)字轉(zhuǎn)換部的音頻數(shù)據(jù)進(jìn)行編碼而生成音頻流，然后把所生成的音頻流輸出到所述復(fù)用處理部；以及采樣速率轉(zhuǎn)換部，用于在以不同于所述基準(zhǔn)幀速率的預(yù)定幀速率通過所述固態(tài)成像裝置進(jìn)行成像時(shí)，把來自所述數(shù)字轉(zhuǎn)換部的音頻數(shù)據(jù)的采樣速率轉(zhuǎn)換成為通過將所述預(yù)定幀速率與所述基準(zhǔn)幀速率之間的比率乘以所述一定采樣速率而得到的值，然后把所轉(zhuǎn)換的采樣速率輸出到所述復(fù)用處理部，其中，所述復(fù)用處理部將所述音頻流與所述運(yùn)動(dòng)圖像流以及所述再生時(shí)間控制信息一起復(fù)用。
12.根據(jù)權(quán)利要求10所述的成像裝置，進(jìn)一步包括聲音拾取部，用于拾取聲音并將所述聲音作為模擬音頻信號(hào)輸出；數(shù)字轉(zhuǎn)換部，用于在以不同于所述基準(zhǔn)幀速率的預(yù)定幀速率通過所述固態(tài)成像裝置進(jìn)行成像時(shí)，把來自所述聲音拾取部的模擬音頻信號(hào)進(jìn)行數(shù)字轉(zhuǎn)換并輸出到所述復(fù)用處理部，并將所輸入的模擬音頻信號(hào)的采樣速率設(shè)為通過所述預(yù)定幀速率與所述基準(zhǔn)幀速率之間的比率乘以在用所述基準(zhǔn)幀速率進(jìn)行成像時(shí)所提供的模擬音頻信號(hào)的采樣速率而得到的值；以及音頻編碼處理部，用于通過對(duì)來自所述數(shù)字轉(zhuǎn)換部的音頻數(shù)據(jù)進(jìn)行編碼而生成音頻流，然后把所生成的音頻流輸出到所述復(fù)用處理部，其中，所述復(fù)用處理部將所述音頻流與所述運(yùn)動(dòng)圖像流以及所述再生時(shí)間控制信息一起復(fù)用。
13.一種用于處理包括運(yùn)動(dòng)圖像數(shù)據(jù)的輸入數(shù)據(jù)的數(shù)據(jù)處理裝置，包括運(yùn)動(dòng)圖像輸入部，用于接收允許根據(jù)期望定時(shí)在基準(zhǔn)幀速率和一個(gè)以上不同于所述基準(zhǔn)幀速率的幀速率之間切換的運(yùn)動(dòng)圖像數(shù)據(jù)的輸入；時(shí)間控制信息生成部，用于為輸入到所述運(yùn)動(dòng)圖像輸入部的每個(gè)圖像幀，生成具有與所述基準(zhǔn)幀速率相關(guān)的圖像幀顯示周期所對(duì)應(yīng)的一定間隔的再生時(shí)間控制信息；以及時(shí)間控制信息附加處理部，用于將所述再生時(shí)間控制信息附加到已經(jīng)被輸入至所述運(yùn)動(dòng)圖像輸入部的運(yùn)動(dòng)圖像數(shù)據(jù)。
14.一種用于生成包括運(yùn)動(dòng)圖像數(shù)據(jù)的復(fù)用流的流生成方法，包括以下步驟使運(yùn)動(dòng)圖像編碼處理部通過對(duì)允許根據(jù)期望定時(shí)在基準(zhǔn)幀速率和一個(gè)以上不同于所述基準(zhǔn)幀速率的幀速率之間切換的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼來生成運(yùn)動(dòng)圖像流；使時(shí)間控制信息生成部為輸入到所述運(yùn)動(dòng)圖像編碼處理部的每個(gè)圖像幀，生成具有與所述基準(zhǔn)幀速率相關(guān)的圖像幀顯示周期所對(duì)應(yīng)的一定間隔的再生時(shí)間控制信息；以及使復(fù)用處理部通過復(fù)用所述運(yùn)動(dòng)圖像流和所述再生時(shí)間控制信息來生成所述復(fù)用流。
全文摘要
本發(fā)明提供了生成包括運(yùn)動(dòng)圖像數(shù)據(jù)的復(fù)用流的流生成裝置。該裝置包括運(yùn)動(dòng)圖像編碼處理部，通過對(duì)允許根據(jù)期望定時(shí)在基準(zhǔn)幀速率和一個(gè)以上不同于該基準(zhǔn)幀速率的幀速率之間切換的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼來生成運(yùn)動(dòng)圖像流；時(shí)間控制信息生成部，為輸入到運(yùn)動(dòng)圖像編碼處理部的每個(gè)圖像幀，生成具有與該基準(zhǔn)幀速率相關(guān)的圖像幀顯示周期所對(duì)應(yīng)的一定間隔的再生時(shí)間控制信息；以及復(fù)用處理部，通過復(fù)用運(yùn)動(dòng)圖像流和再生時(shí)間控制信息來生成復(fù)用流。
文檔編號(hào)H04N7/52GK101076121SQ200710107018
公開日2007年11月21日 申請(qǐng)日期2007年5月17日 優(yōu)先權(quán)日2006年5月17日
發(fā)明者佐藤孝幸 申請(qǐng)人:索尼株式會(huì)社