專利名稱：數(shù)據(jù)再現(xiàn)裝置、數(shù)據(jù)再現(xiàn)方法以及信息終端設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于再現(xiàn)聲音和圖像等屬性不同的數(shù)據(jù)的數(shù)據(jù)的再現(xiàn)裝置、數(shù)據(jù)再現(xiàn)方法以及攜帶終端設(shè)備。
背景技術(shù)：
現(xiàn)在，隨著多媒體技術(shù)的發(fā)展，可以通過網(wǎng)絡(luò)提供一種各種各樣的信息。這些信息的代表是聲音、文字或圖像等。以通信卡拉OK為例，歌曲的標(biāo)題和歌詞等是文字信息，伴奏曲和背景合唱等是聲音信息，而背景動(dòng)畫等則是圖像信息。
在通信卡拉OK中，是通過網(wǎng)絡(luò)來同時(shí)發(fā)送這樣的各種信息，而在終端裝置再現(xiàn)各種信息。然后，通過在這些各種信息之間取得同步，隨著樂曲的進(jìn)行，歌詞文字的顏色發(fā)生變化，動(dòng)態(tài)圖像發(fā)生變化。
以往，為了取得以上所述同步，在處理聲音、文字和圖像等各種信息的各種軟件程序中設(shè)置時(shí)鐘，根據(jù)該時(shí)鐘的時(shí)間信息進(jìn)行同步處理。因此，當(dāng)系統(tǒng)的負(fù)荷增大時(shí)，會(huì)發(fā)生各時(shí)鐘相互之間不一致，發(fā)生所謂的同步偏移，各種信息輸出的時(shí)間發(fā)生偏移，產(chǎn)生聲音和圖像不一致等問題。
而且，還存在以下問題對于聲音、文字和圖像等各種信息，為了根據(jù)命令讀出文件，在處理上要花時(shí)間，并且因?yàn)橐鶕?jù)各種數(shù)據(jù)來分別生成文件，所以文件管理非常煩雜。

發(fā)明內(nèi)容
鑒于以上所述問題，本發(fā)明的目的在于提供一種當(dāng)再現(xiàn)屬性不同的各種數(shù)據(jù)時(shí)，能比較容易地取得同步的數(shù)據(jù)再現(xiàn)裝置和數(shù)據(jù)再現(xiàn)方法。
本發(fā)明的其他目的在于提供一種不需要按數(shù)據(jù)類別來制作文件，文件管理比較容易的數(shù)據(jù)再現(xiàn)裝置，
本發(fā)明的其他目的在于提供一種能比較容易地把聲音、文字和圖像等任意信息嵌入到現(xiàn)有數(shù)據(jù)格式中的數(shù)據(jù)再現(xiàn)裝置。
本發(fā)明的其他目的在于提供一種適合于通信卡拉OK的數(shù)據(jù)再現(xiàn)裝置。
本發(fā)明的其他目的在于提供一種能得到充滿現(xiàn)場感的音樂演奏的數(shù)據(jù)再現(xiàn)裝置。
本發(fā)明的其他目的在于提供一種在重復(fù)再現(xiàn)數(shù)據(jù)時(shí)，能減少數(shù)據(jù)傳送量的數(shù)據(jù)再現(xiàn)方法。
本發(fā)明的其他目的在于提供一種用小容量通信線路的數(shù)據(jù)再現(xiàn)方法。
本發(fā)明的其他目的在于提供一種能進(jìn)一步減少再現(xiàn)數(shù)據(jù)的數(shù)據(jù)量的數(shù)據(jù)再現(xiàn)方法。
本發(fā)明的其他目的在于提供一種能抑制數(shù)據(jù)再現(xiàn)時(shí)噪聲的產(chǎn)生的數(shù)據(jù)再現(xiàn)方法。
本發(fā)明的其他目的在于提供一種能高速處理數(shù)據(jù)的數(shù)據(jù)再現(xiàn)裝置和數(shù)據(jù)再生方法。
本發(fā)明的其他目的在于提供一種與傳輸線路的容量無關(guān)，能穩(wěn)定地再現(xiàn)數(shù)據(jù)的數(shù)據(jù)再現(xiàn)裝置。
本發(fā)明的其他目的在于提供一種能下載聲音、文字和圖像等屬性不同的各種信息，對其進(jìn)行再現(xiàn)并能作為聲音和可視信息來進(jìn)行輸出的信息終端設(shè)備。
本發(fā)明的其他目的在于提供一種能在具有電話機(jī)和游戲機(jī)功能的信息終端設(shè)備中，對中斷信號進(jìn)行適當(dāng)處理的信息終端設(shè)備。
本發(fā)明的其他目的在于提供一種能下載并使用CD(光盤)和MD(小盤)等的音樂、歌詞和護(hù)封相片數(shù)據(jù)的信息終端設(shè)備。
本發(fā)明的其他目的在于提供一種能把下載的各數(shù)據(jù)儲存在小型信息存儲介質(zhì)中進(jìn)行使用的信息終端設(shè)備。
本發(fā)明的其他目的還在于提供一種當(dāng)接收了商業(yè)廣告信息，進(jìn)行收聽收看時(shí)，能接受到由該商業(yè)廣告提供者所提供的服務(wù)的數(shù)據(jù)再現(xiàn)裝置。
在本發(fā)明中，所謂MIDI是樂器指令數(shù)字化接口的省略語，它是為了在電子樂器之間、電子樂器和計(jì)算機(jī)之間相互交換音樂演奏信號的國際標(biāo)準(zhǔn)規(guī)格。并且，所謂SMF是標(biāo)準(zhǔn)MIDI文件的省略語，文件形式是標(biāo)準(zhǔn)的，由表示被稱為δ時(shí)間的時(shí)間信息和演奏內(nèi)容等的事件信息組成。按照以上所述含義上來使用本說明書中的用語MIDI和SMF。
在本發(fā)明中，接收的數(shù)據(jù)包括事件信息和實(shí)行事件的時(shí)間信息，它是如SMF這種形式的數(shù)據(jù)構(gòu)成。所接收的數(shù)據(jù)根據(jù)各自的時(shí)間信息按照不同的種類被劃分，實(shí)施所分配的數(shù)據(jù)的事件，再現(xiàn)數(shù)據(jù)。
在本發(fā)明中，因?yàn)闀r(shí)間信息和聲音、文字、圖像等信息是一體的，所以通過根據(jù)它們所具有的時(shí)間信息再現(xiàn)各種數(shù)據(jù)，就能把時(shí)間信息作為同步信息來使用。其結(jié)果，就能在象聲音和圖像這樣的不同種類的數(shù)據(jù)間簡單地取得同步，并且，也沒有必要根據(jù)數(shù)據(jù)的種類來分別制作文件，從而使文件管理也變得比較容易。另外，沒有必要再每次都訪問各種文件，從而使處理變得高速化。
接收的數(shù)據(jù)能由具有MIDI事件信息的第一數(shù)據(jù)和具有MIDI以外的事件信息的第二數(shù)據(jù)構(gòu)成。作為第二數(shù)據(jù)，例如可以考慮有關(guān)文字、圖像或聲音等的數(shù)據(jù)。
MIDI事件是用于控制電子樂器發(fā)音的命令集合體。例如，它采用如“開始發(fā)1的音”、“停止發(fā)1的音”這樣的命令形式。然后，把作為事件信息的δ時(shí)間附加到該MIDI事件，成為SMF形式的數(shù)據(jù)，根據(jù)δ時(shí)間所表示的時(shí)間，一到給定時(shí)間，就開始實(shí)行“開始發(fā)1的音”、“停止發(fā)1的音”這樣的事件。
另一方面，在MIDI以外的事件中，有META事件和系統(tǒng)排他事件。如下面所述那樣，這些事件能擴(kuò)展格式，能在該擴(kuò)展格式中嵌入各種數(shù)據(jù)。如果采用這樣的SMF的擴(kuò)展形式，不用大幅度地改變格式，就能比較容易地記錄聲音和圖像等各種數(shù)據(jù)。
在本發(fā)明中，接收具有MIDI、文字和圖像的各事件信息的數(shù)據(jù)，在把再現(xiàn)的MIDI數(shù)據(jù)作為聲音進(jìn)行輸出的同時(shí)，還能通過把再現(xiàn)的文字和圖像數(shù)據(jù)作為可視信息輸出，來實(shí)現(xiàn)適合于卡拉OK的數(shù)據(jù)再現(xiàn)裝置。此時(shí)，作為音像，在MIDI以外加上音響，據(jù)此，就能分別用MIDI來再現(xiàn)樂器的演奏部，而用聲音來再現(xiàn)背景合唱等有聲部，就能實(shí)現(xiàn)充滿現(xiàn)場感的演奏。
當(dāng)重復(fù)再現(xiàn)具有MIDI以外的事件信息的第二數(shù)據(jù)時(shí)，把最初接收的數(shù)據(jù)儲存到存儲器中，當(dāng)重復(fù)再現(xiàn)數(shù)據(jù)時(shí)，最好用第二數(shù)據(jù)只發(fā)送與再現(xiàn)相關(guān)的時(shí)間信息。據(jù)此，就能減少數(shù)據(jù)的傳送量。
并且，當(dāng)接著第一數(shù)據(jù)再現(xiàn)第二數(shù)據(jù)時(shí)，最好把第二數(shù)據(jù)的再現(xiàn)數(shù)據(jù)分割為多個(gè)數(shù)據(jù)，發(fā)送把分割后得到的多個(gè)數(shù)據(jù)插入到先行的第一數(shù)據(jù)之間后得到的數(shù)據(jù)群，在接收一側(cè)，從該數(shù)據(jù)群把插入的分割數(shù)據(jù)抽出，把抽出的分割數(shù)據(jù)合成后作為再現(xiàn)數(shù)據(jù)。據(jù)此，就能把所發(fā)送的數(shù)據(jù)量標(biāo)準(zhǔn)化，使用小容量的通信線路就可以了。此時(shí)，通過把抽出的分割數(shù)據(jù)按時(shí)間序列依次儲存在存儲器中，并在所儲存的分割數(shù)據(jù)的區(qū)域內(nèi)記錄與該分割數(shù)據(jù)相連的后續(xù)分割數(shù)據(jù)的開始地址，就能比較容易而準(zhǔn)確地合成分割數(shù)據(jù)。
另外，通過消除第二數(shù)據(jù)中所記錄的再現(xiàn)數(shù)據(jù)的無音區(qū)間，就能進(jìn)一步減少了數(shù)據(jù)量。此時(shí)，如對再現(xiàn)數(shù)據(jù)的上升部和下降部附近的信號實(shí)施窗處理，就能抑制干擾的發(fā)生。
在本發(fā)明的數(shù)據(jù)再現(xiàn)裝置的其他實(shí)施例中，把屬性不同的各數(shù)據(jù)，根據(jù)它們的時(shí)間信息，分配到各單位區(qū)間并儲存到存儲部中，在下一個(gè)單位區(qū)間中，從存儲部中按順序讀出后進(jìn)行再現(xiàn)。據(jù)此，由于所接收數(shù)據(jù)的處理被流線化，所以能進(jìn)行更高速的處理。并且，通過管理數(shù)據(jù)的時(shí)間信息和單位區(qū)間的時(shí)間長度，只把應(yīng)該在該單位區(qū)間處理的數(shù)據(jù)送到存儲部中，就能比較容易地取得時(shí)間同步。
本發(fā)明的數(shù)據(jù)再現(xiàn)裝置也可以采取一邊下載數(shù)據(jù)，一邊進(jìn)行再現(xiàn)的流水作業(yè)方式。此時(shí)，如果因再現(xiàn)所消耗的數(shù)據(jù)量比得到的數(shù)據(jù)量大，則由于數(shù)據(jù)不足，會(huì)導(dǎo)致聲音和圖像等的中斷，所以通過只把必要量的數(shù)據(jù)高速緩沖存儲器后再開始進(jìn)行再現(xiàn)，能使數(shù)據(jù)不中斷地連續(xù)再現(xiàn)。
本發(fā)明的數(shù)據(jù)再現(xiàn)裝置能夠裝在象移動(dòng)電話和游戲機(jī)那樣的信息終端設(shè)備上，利用終端設(shè)備的通信功能，就能從服務(wù)器上下載各種數(shù)據(jù)。然后，通過在信息終端設(shè)備上設(shè)置可輸出聲音的揚(yáng)聲器和可顯示文字以及圖像的顯示器，就能在終端設(shè)備上視聽音樂和圖像。如果是電話機(jī)，在接收了來電信號時(shí)，禁止從揚(yáng)聲器進(jìn)行聲音輸出，輸出來電聲音。如果是游戲機(jī)，能在揚(yáng)聲器發(fā)出聲音的同時(shí)，還輸出根據(jù)MIDI的效果音。
在本發(fā)明的數(shù)據(jù)再現(xiàn)裝置中，能夠設(shè)置可以安裝、卸下的小型信息存儲介質(zhì)，能在該信息存儲介質(zhì)中儲存下載的各種數(shù)據(jù)，以備再用。例如，如果把音樂數(shù)據(jù)以MIDI和聲音形式、歌詞和曲目解說等數(shù)據(jù)以文字形式、護(hù)封用相片數(shù)據(jù)以圖像形式分別下載，就能把信息存儲介質(zhì)本身作為CD和MD來加以使用。
在本發(fā)明中，接收的商業(yè)廣告信息的文字?jǐn)?shù)據(jù)中包括互聯(lián)網(wǎng)的URL和有關(guān)在該URL中提供的服務(wù)的信息。通過在再現(xiàn)商業(yè)廣告后，使其鏈接到所述URL的主頁上，就能向商業(yè)廣告的視聽者們提供各種各樣的服務(wù)。


下面簡要說明附圖。
圖1是表示本發(fā)明的數(shù)據(jù)再現(xiàn)裝置的例子的框圖。
圖2是表示SMF形式的接收數(shù)據(jù)格式的圖。
圖3是關(guān)于MIDI的數(shù)據(jù)格式的例子。
圖4是關(guān)于簡易型MIDI的數(shù)據(jù)格式的例子。
圖5是關(guān)于聲音、文字和圖像的數(shù)據(jù)格式的例子。
圖6是關(guān)于控制的META格式的例子。
圖7是關(guān)于聲音、文字和圖像的數(shù)據(jù)的其他格式的例子。
圖8是數(shù)據(jù)列的格式的例子。
圖9是表示本發(fā)明的數(shù)據(jù)再現(xiàn)方法的例子的程序框圖。
圖10是表示本發(fā)明的數(shù)據(jù)再現(xiàn)方法的其他例子的程序框圖。
圖11是說明數(shù)據(jù)的重復(fù)再現(xiàn)處理的圖。
圖12是數(shù)據(jù)的重復(fù)再現(xiàn)處理的程序框圖。
圖13是表示先發(fā)送數(shù)據(jù)的原理圖。
圖14是表示插入分割數(shù)據(jù)的例子的圖。
圖15是表示儲存了分割數(shù)據(jù)的存儲器內(nèi)容的圖。
圖16是把分割數(shù)據(jù)儲存在存儲器中時(shí)的程序框圖。
圖17是有無音區(qū)間的聲音數(shù)據(jù)的波形圖。
圖18是表示無音區(qū)間的處理的程序框圖。
圖19是表示本發(fā)明數(shù)據(jù)再現(xiàn)裝置其他例子的程序框圖。
圖20是表示本發(fā)明的數(shù)據(jù)再現(xiàn)方法的其他例子的程序框圖。
圖21是說明數(shù)據(jù)分配中的時(shí)間計(jì)算原理的圖。
圖22是表示數(shù)據(jù)分配順序的程序框圖。
圖23是表示各數(shù)據(jù)再現(xiàn)部的動(dòng)作的程序框圖。
圖24是數(shù)據(jù)處理的全部時(shí)間圖。
圖25是說明流線方式的數(shù)據(jù)接收動(dòng)作的圖。
圖26是數(shù)據(jù)接收的時(shí)間圖。
圖27是說明數(shù)據(jù)的高速緩沖存儲器的時(shí)間圖。
圖28是表示本發(fā)明的數(shù)據(jù)再現(xiàn)裝置的其他例子的框圖。
圖29是表示圖28中的裝置動(dòng)作的時(shí)間圖。
圖30是表示本發(fā)明的數(shù)據(jù)再現(xiàn)裝置的其他例子的框圖。
圖31是表示圖30中裝置的動(dòng)作的時(shí)間圖。
圖32是使用本發(fā)明的數(shù)據(jù)再現(xiàn)裝置進(jìn)行付款打折處理時(shí)的程序框圖。
圖33是將構(gòu)成CM的各數(shù)據(jù)按時(shí)間序列來顯示的圖。
圖34是在文字?jǐn)?shù)據(jù)中附加標(biāo)簽的例子。
圖35是使用本發(fā)明的數(shù)據(jù)再現(xiàn)裝置進(jìn)行有效期服務(wù)時(shí)的程序框圖。
圖36是在文字?jǐn)?shù)據(jù)中附加標(biāo)簽的例子。
圖37是表示裝上了本發(fā)明的數(shù)據(jù)再現(xiàn)裝置后的移動(dòng)電話的圖。
圖38是內(nèi)藏在信息存儲介質(zhì)中的存儲器表圖。
圖39是表示使用移動(dòng)電話的系統(tǒng)圖。
具體實(shí)施例方式
下面，參照

本發(fā)明的理想實(shí)施例。
圖1表示了本發(fā)明的數(shù)據(jù)再現(xiàn)裝置的例子。在圖1中，1a和1b是記錄了數(shù)據(jù)的文件，1a是例如互聯(lián)網(wǎng)上服務(wù)器上的文件，1b是例如裝置內(nèi)部的硬盤上的文件。
2是控制數(shù)據(jù)再現(xiàn)裝置的整體的CPU，它包括數(shù)據(jù)接收部3和數(shù)據(jù)分配部4。雖然CPU2含有除此之外的功能，但因?yàn)榕c本發(fā)明沒有直接關(guān)系，所以在圖示中省略了。數(shù)據(jù)接收部3訪問文件1a和1b，接收儲存在它們中的數(shù)據(jù)?？赏ㄟ^有線或無線接收文件1a的數(shù)據(jù)。這些接收的數(shù)據(jù)暫時(shí)儲存在緩沖器3a中。數(shù)據(jù)分配部4把數(shù)據(jù)接收部3接收的數(shù)據(jù)按種類分配到數(shù)據(jù)再現(xiàn)部6中。
數(shù)據(jù)再現(xiàn)部6包括用于再現(xiàn)與MIDI有關(guān)的數(shù)據(jù)的MIDI再現(xiàn)部11、用于再現(xiàn)與聲音有關(guān)的數(shù)據(jù)的聲音再現(xiàn)部12、用于再現(xiàn)與文字有關(guān)的數(shù)據(jù)的文字再現(xiàn)部13、用于再現(xiàn)與圖像有關(guān)的數(shù)據(jù)的圖像再現(xiàn)部14。MIDI再現(xiàn)部11中包括儲存了再現(xiàn)音樂中所使用的各種樂器的音源數(shù)據(jù)的只讀存儲器11a?？砂言撘粼粗蛔x存儲器11a置換成隨機(jī)存取存儲器，使內(nèi)裝的數(shù)據(jù)可交換。圖像再現(xiàn)部14具有再現(xiàn)靜止畫面和動(dòng)畫的功能。
15是用來混合MIDI再現(xiàn)部11和聲音再現(xiàn)部12的輸出的混頻器，16是用來混合文字再現(xiàn)部13和圖像再現(xiàn)部14的輸出的混頻器?；祛l器15中，設(shè)有用于附加回聲的聲效部15a，在混頻器16中，設(shè)有用于在圖像上添加特殊效果的視覺效果部16a。17是用于暫時(shí)儲存混頻器15的輸出的輸出緩沖器，18是用于暫時(shí)儲存混頻器16的輸出的輸出緩沖器。19是根據(jù)輸出緩沖器17的數(shù)據(jù)輸出聲音的揚(yáng)聲器，20是根據(jù)輸出緩沖器18的數(shù)據(jù)，顯示文字和圖像等可視信息的顯示器。
文件1a和1b所記錄的SMF形式的數(shù)據(jù)被輸入到數(shù)據(jù)接收部3中。SMF形式的數(shù)據(jù)一般由叫做時(shí)間間隔的時(shí)間信息和代表演奏內(nèi)容等的時(shí)間信息構(gòu)成，與事件信息的種類相應(yīng)，在圖2(a)至(c)中顯示了三種形式。(a)是事件信息由MIDI事件構(gòu)成的數(shù)據(jù)，(b)是事件信息由META事件構(gòu)成的數(shù)據(jù)，(c)是事件信息由系統(tǒng)排他事件構(gòu)成的數(shù)據(jù)。
MIDI事件的詳情如圖3所示。圖3(a)和圖2(a)相同。如圖3(b)和(c)所示，MIDI事件由狀態(tài)信息和數(shù)據(jù)組成。圖3(b)是表示發(fā)音開始命令的事件，在狀態(tài)信息中記錄了樂器的種類，數(shù)據(jù)1中記錄了音階，數(shù)據(jù)2中記錄了音的強(qiáng)弱。并且，圖3(c)是表示發(fā)音停止命令的事件，在狀態(tài)信息中記錄了樂器的種類，數(shù)據(jù)3中記錄了音階，數(shù)據(jù)4中記錄了音的強(qiáng)弱。據(jù)此，MIDI事件是儲存演奏信息的事件，通過一個(gè)事件，例如由命令“用鋼琴以該強(qiáng)度發(fā)1的音”構(gòu)成。
圖4表示了簡化圖3的格式、削減數(shù)據(jù)量后得到的簡易型MIDI格式的例子。在圖3中，分別由發(fā)音開始命令和發(fā)音停止命令構(gòu)成，但是在圖4中，通過在數(shù)據(jù)中輸入發(fā)音時(shí)間，發(fā)音和停止被集成到一個(gè)事件中。并且，省略了音的強(qiáng)弱的數(shù)據(jù)，音階數(shù)據(jù)包括在狀態(tài)信息中。另外，雖然圖4的格式不是SMF那樣的標(biāo)準(zhǔn)格式，但是在本發(fā)明中處理的數(shù)據(jù)也包括象這樣的非SMF格式。
MIDI事件的詳情如圖5所示。圖5(a)和圖2(b)相同。META事件是控制數(shù)據(jù)的傳送、再現(xiàn)的開始和停止的事件，它的格式能擴(kuò)展，能在擴(kuò)展的格式中嵌入各種數(shù)據(jù)。圖5(b)至(e)顯示了擴(kuò)展的META事件的格式的例子，(b)是嵌入聲音數(shù)據(jù)的格式，(c)是嵌入文字?jǐn)?shù)據(jù)的格式，(d)是嵌入圖像數(shù)據(jù)的格式，(e)是嵌入文字和圖像數(shù)據(jù)的格式。圖像中除了包括圖畫和照片等靜態(tài)畫面，還包括動(dòng)畫。
開始的FFh是文件頭，它表示該事件是META事件。接著的30h，31h，…等是標(biāo)識符，它表示META事件的格式是擴(kuò)展格式。并且，len表示META事件的數(shù)據(jù)長度，type表示要傳送的數(shù)據(jù)的格式，id表示數(shù)據(jù)的號碼。event表示應(yīng)實(shí)行的事件的內(nèi)容，例如“開始傳送聲音數(shù)據(jù)”和“停止傳送圖像數(shù)據(jù)”等命令。能從表示數(shù)據(jù)長度的len的值知道這些數(shù)據(jù)的結(jié)束位置。
在META事件中，除了有記錄了所述數(shù)據(jù)的擴(kuò)展格式外，還有關(guān)于控制的格式。圖6是這樣的一個(gè)例子，(a)是表示再現(xiàn)開始，(b)是表示再現(xiàn)停止的事件格式。(a)的10h和(b)的11分別是開始再現(xiàn)和停止再現(xiàn)的命令。此外，因?yàn)镕Fh、len、type和id與圖5中的一樣，所以省略說明。
Sys.Ex事件的詳情如圖7所示。圖7(a)和圖2(c)相同。Sys.Ex事件被叫做系統(tǒng)排他事件，例如，在設(shè)置適合于管弦樂的系統(tǒng)時(shí)，關(guān)于設(shè)置信息等的事件。系統(tǒng)排他事件的格式也能擴(kuò)展，能在擴(kuò)展的格式中嵌入各種數(shù)據(jù)。圖7b)至(e)顯示了擴(kuò)展的系統(tǒng)排他事件的格式的例子，與圖5的格式相同。
SMF形式的數(shù)據(jù)的構(gòu)造如上，把多個(gè)這樣的數(shù)據(jù)組合起來，形成一連串的數(shù)據(jù)列。圖8表示了這樣的數(shù)據(jù)列的例子。M是關(guān)于MIDI的數(shù)據(jù)，具有圖3所示的格式。A是關(guān)于聲音的數(shù)據(jù)，具有圖5(b)所示的格式。T是關(guān)于文字的數(shù)據(jù)，具有圖5(c)所示的格式。P是關(guān)于圖像的數(shù)據(jù)，具有圖5(d)所示的格式。另外，各數(shù)據(jù)的排列順序并不局限于圖8，可以存在各種模式。并且，圖8中，聲音、文字和圖像的數(shù)據(jù)被記錄在META事件中，但也可在系統(tǒng)排他事件中記錄這些。各數(shù)據(jù)M、A、T和P分別由信息包構(gòu)成，把這些連起來，變成一連串的數(shù)據(jù)列。圖1的數(shù)據(jù)接收部3接收該數(shù)據(jù)列，儲存在緩沖器3a中。
用數(shù)據(jù)分配部，分別根據(jù)接收的數(shù)據(jù)的時(shí)間間隔ΔT，把其分配。用數(shù)據(jù)再現(xiàn)部6實(shí)行事件，再現(xiàn)數(shù)據(jù)。實(shí)行事件的時(shí)間由時(shí)間間隔ΔT決定。也就是，當(dāng)從剛實(shí)行了的事件開始經(jīng)過的時(shí)間Δt和這回實(shí)行的事件的時(shí)間間隔ΔT的關(guān)系是Δt≥ΔT時(shí)，事件被實(shí)行?？傊?，某一事件一被實(shí)行，就計(jì)算從該事件開始經(jīng)過的時(shí)間，當(dāng)經(jīng)過的時(shí)間等于或大于下一事件的時(shí)間間隔時(shí)(因?yàn)橛肅PU分割時(shí)間的能力是有限的，所以與時(shí)間間隔不完全一致，大于它的情況也會(huì)出現(xiàn))，實(shí)行下一個(gè)事件。據(jù)此，時(shí)間間隔表示了從上一個(gè)事件開始，應(yīng)經(jīng)過多長時(shí)間再實(shí)行下一事件，雖然它不表示絕對時(shí)間，但是通過累計(jì)時(shí)間間隔，就能算出開始再現(xiàn)的時(shí)間。
下面，將詳細(xì)說明在數(shù)據(jù)再現(xiàn)部6的各部的再現(xiàn)。首先，說明MIDI再現(xiàn)部11的再現(xiàn)動(dòng)作。在圖1中，CUP2的數(shù)據(jù)分配部4根據(jù)圖中未表示的只讀存儲器中儲存的程序，從緩沖器3a按順序讀出接收的數(shù)據(jù)。如果讀出的數(shù)據(jù)是關(guān)于MIDI的數(shù)據(jù)M(圖3)，把該事件信息傳給MIDI11再現(xiàn)部。如果事件的內(nèi)容是象“用鋼琴的音發(fā)3的音”之類的命令，MIDI11再現(xiàn)部翻譯該命令，從音源只讀存儲器11a讀入鋼琴的音，通過軟件合成器生成合成音，用“3”的音程開始發(fā)音。CUP2從此時(shí)開始計(jì)算經(jīng)過的時(shí)間，如果該經(jīng)過時(shí)間等于或大于下一個(gè)叫“停止3的發(fā)音”的事件所具有的時(shí)間間隔時(shí)，該命令被傳給MIDI再現(xiàn)部11，MIDI再現(xiàn)部11翻譯該命令，停止“3”音的發(fā)音。據(jù)此，只在發(fā)音開始到發(fā)音停止之間的時(shí)間中，用鋼琴音再現(xiàn)“3”的音。
接著，CUP2從停止發(fā)“3”的音開始計(jì)算經(jīng)過時(shí)間，如果該經(jīng)過時(shí)間等于或大于下一個(gè)例如叫“用鋼琴音發(fā)6的音”的事件所具有的時(shí)間間隔時(shí)，該命令被傳給MIDI再現(xiàn)部11，MIDI再現(xiàn)部11翻譯該命令，從音源只讀存儲器11a讀入鋼琴的音，通過軟件合成器生成合成音，用“6”的音程開始發(fā)音。然后，CUP2從此時(shí)開始計(jì)算經(jīng)過的時(shí)間，如果該經(jīng)過時(shí)間等于或大于下一個(gè)叫“停止6的發(fā)音”的事件所具有的時(shí)間間隔時(shí)，該命令被傳給MIDI再現(xiàn)部11，MIDI再現(xiàn)部11翻譯該命令，停止“6”音的發(fā)音。據(jù)此，只在發(fā)音開始到發(fā)音停止之間的時(shí)間中，用鋼琴音再現(xiàn)“6”的音。通過重復(fù)這樣的動(dòng)作，MIDI再現(xiàn)部11再現(xiàn)根據(jù)MIDI的音。
接著，就具有MIDI以外的事件信息的數(shù)據(jù)加以說明。如上所述，聲音、文字和圖像的各數(shù)據(jù)記錄在META事件(圖5)或系統(tǒng)排他事件(圖7)中。在圖1中，數(shù)據(jù)分配部4與所述一樣，從緩沖器3a按順序讀出接收的數(shù)據(jù)。如果讀出的數(shù)據(jù)的事件信息是關(guān)于聲音的數(shù)據(jù)A時(shí)，根據(jù)時(shí)間間隔把讀出的數(shù)據(jù)的事件信息分配到聲音再現(xiàn)部12，聲音再現(xiàn)部12翻譯該事件的內(nèi)容，實(shí)行事件，再現(xiàn)聲音。如果讀出的數(shù)據(jù)是關(guān)于文字的數(shù)據(jù)T，根據(jù)時(shí)間間隔把讀出的數(shù)據(jù)的事件信息分配到文字再現(xiàn)部13，文字再現(xiàn)部13翻譯該事件的內(nèi)容，實(shí)行事件，再現(xiàn)文字。如果讀出的數(shù)據(jù)是關(guān)于圖像的數(shù)據(jù)P，根據(jù)時(shí)間間隔把讀出的數(shù)據(jù)的事件信息分配到圖像再現(xiàn)部14，圖像再現(xiàn)部14翻譯該事件的內(nèi)容，實(shí)行事件，再現(xiàn)圖像。
更具體地說，如果聲音再現(xiàn)部12從數(shù)據(jù)分配部4接收了如“發(fā)聲音B”這樣的事件，聲音再現(xiàn)部12把該事件所具有的聲音B的數(shù)據(jù)解碼，再現(xiàn)它。CUP2從此時(shí)開始計(jì)算經(jīng)過的時(shí)間，如果該經(jīng)過時(shí)間等于或大于下一個(gè)叫“顯示文字C”的事件所具有的時(shí)間間隔時(shí)，文字再現(xiàn)部13對該事件所具有的文字C的數(shù)據(jù)解碼，再現(xiàn)它。接著，CUP2從文字C的再現(xiàn)開始計(jì)算經(jīng)過的時(shí)間，如果該經(jīng)過時(shí)間等于或大于下一個(gè)比如叫“顯示圖像D”的事件所具有的時(shí)間間隔時(shí)，圖像再現(xiàn)部14對該事件所具有的圖像D的數(shù)據(jù)解碼，再現(xiàn)它。在這點(diǎn)上，與上述的MIDI數(shù)據(jù)的再現(xiàn)原理基本相同。
在所述說明中，為了方便，分為MIDI再現(xiàn)部11的再現(xiàn)動(dòng)作和MIDI以外的再現(xiàn)部12到14的再現(xiàn)動(dòng)作，實(shí)際上，如圖8所示，具有MIDI事件的數(shù)據(jù)M和具有MIDI以外的事件的數(shù)據(jù)A、T、P被按時(shí)間序列混合輸入到數(shù)據(jù)接收部3中。例如，象MIDI(M)→圖像(P)→文字(T)→MIDI(M)→聲音(A)→動(dòng)畫(P)→…，一個(gè)接一個(gè)輸入了不同種類的數(shù)據(jù)。數(shù)據(jù)分配部4根據(jù)時(shí)間間隔把這些數(shù)據(jù)分配到各再現(xiàn)部11至14，各再現(xiàn)部分別進(jìn)行相應(yīng)的數(shù)據(jù)再現(xiàn)處理。
混頻器15把MIDI再現(xiàn)部11再現(xiàn)的數(shù)據(jù)和聲音再現(xiàn)部12再現(xiàn)的數(shù)據(jù)混合，用聲效部15a進(jìn)行回聲處理后，暫時(shí)儲存在輸出緩沖器17中，從揚(yáng)聲器19輸出聲音。一方面，混頻器16把文字再現(xiàn)部13再現(xiàn)的數(shù)據(jù)和圖像再現(xiàn)部14再現(xiàn)的數(shù)據(jù)混合，用視覺效果部16a進(jìn)行特殊影像處理后，暫時(shí)儲存在輸出緩沖器18中，從顯示器20輸出可視信息。然后，數(shù)據(jù)分配部4接收圖6(b)所示的停止再現(xiàn)的META事件，停止再現(xiàn)數(shù)據(jù)。
據(jù)此，圖1的數(shù)據(jù)再現(xiàn)裝置，能從MIDI、聲音、文字和圖像混合在一起的數(shù)據(jù)列中，按種類分配并再現(xiàn)數(shù)據(jù)。然后，在再現(xiàn)文字和圖像時(shí)，與MIDI的再現(xiàn)一樣，要參照時(shí)間間隔，根據(jù)時(shí)間間隔所決定的時(shí)間進(jìn)行再現(xiàn)。因此，只通過記述時(shí)間間隔就能簡單地取得在聲音和圖像等不同種類的數(shù)據(jù)之間的同步，并且，因?yàn)椴挥孟笠郧澳菢?，在處理各?shù)據(jù)的程序中加入時(shí)鐘，所以就不會(huì)發(fā)生因?yàn)闀r(shí)鐘間的不一致而導(dǎo)致的同步偏移。
圖9是表示圖1中的再現(xiàn)裝置的數(shù)據(jù)再現(xiàn)方法的程序流程圖，它顯示了CPU2所實(shí)行的步驟。下面以再現(xiàn)裝置是通信卡拉OK用的再現(xiàn)裝置為例，說明動(dòng)作。另外，以下把程序流程圖的步驟簡稱為“S”。數(shù)據(jù)接收部3通過通信線路從網(wǎng)絡(luò)上的服務(wù)器中的文件1a接收數(shù)據(jù)(S101)，把接收的數(shù)據(jù)儲存到緩沖器3a中(S102)。接著，數(shù)據(jù)分配部4讀出緩沖器3a的數(shù)據(jù)，計(jì)算從實(shí)行上一個(gè)事件開始經(jīng)過的時(shí)間(S103)。然后，判斷該經(jīng)過時(shí)間是否與時(shí)間間隔所表示的時(shí)間一致(或超過)(S104)，如果未超過時(shí)間間隔(S104NO)，返回到S103，繼續(xù)計(jì)算經(jīng)過的時(shí)間。如果經(jīng)過時(shí)間與時(shí)間間隔所表示的時(shí)間一致或超過時(shí)間間隔(S104YES)，轉(zhuǎn)移到數(shù)據(jù)處理。
在數(shù)據(jù)的處理中，首先判斷接收的數(shù)據(jù)的種類。也就是，判斷接收的數(shù)據(jù)是否為MIDI數(shù)據(jù)M(S105)，如果是MIDI數(shù)據(jù)(S105YES)，把它分配到MIDI再現(xiàn)部11，在MIDI再現(xiàn)部11，生成合成音(S111)。因?yàn)橐呀?jīng)說明了詳細(xì)的原理，所以這中就不再說明。通過合成器的聲音再現(xiàn)，從揚(yáng)聲器19輸出卡拉OK的伴奏曲。如果接收的數(shù)據(jù)不是數(shù)據(jù)M(S105NO)，接著判斷是否為聲音數(shù)據(jù)A(S106)，如果是聲音數(shù)據(jù)A(S106YES)，把它分配到聲音再現(xiàn)部12，在聲音再現(xiàn)部12，進(jìn)行聲音的處理，再現(xiàn)聲音(S112)。因?yàn)橐呀?jīng)說明了詳細(xì)的原理，所以這中就不再說明。通過聲音再現(xiàn)，從揚(yáng)聲器19輸出背景合唱等的聲音。
如果接收的數(shù)據(jù)不是數(shù)據(jù)A(S106NO)，接著判斷是否為文字?jǐn)?shù)據(jù)T(S107)，如果是文字?jǐn)?shù)據(jù)T(S107YES)，把它分配到文字再現(xiàn)部13，在文字再現(xiàn)部13，進(jìn)行文字處理，再現(xiàn)文字(S113)。通過文字再現(xiàn)，卡拉OK曲的標(biāo)題和歌詞在顯示器20中顯示出來。如果接收的數(shù)據(jù)不是數(shù)據(jù)T(S107NO)，接著判斷是否為圖像數(shù)據(jù)P(S108)，如果是圖像數(shù)據(jù)P(S108YES)，把它分配到圖像再現(xiàn)部14，在圖像再現(xiàn)部14，進(jìn)行靜止圖像和動(dòng)畫處理，再現(xiàn)圖像(S114)。通過圖像再現(xiàn)，動(dòng)畫片和動(dòng)畫等在顯示器20中顯示出來。
如果接收的數(shù)據(jù)不是數(shù)據(jù)P(S108NO)，例如，該數(shù)據(jù)是與設(shè)置和控制相關(guān)的數(shù)據(jù)，進(jìn)行它的內(nèi)容給定的處理(S109)。接著，判斷是否停止再現(xiàn)，也就是判斷是否接收了圖6(b)中的META事件(S110)。如果不停止再現(xiàn)(S110NO)，返回到S101，等待接收下一數(shù)據(jù)；如果停止再現(xiàn)，(S110YES)，就結(jié)束動(dòng)作。
如上所述，通過在圖1的數(shù)據(jù)再現(xiàn)裝置中，設(shè)置由MIDI再現(xiàn)部11、聲音再現(xiàn)部12組成的聲音再現(xiàn)部和由文字再現(xiàn)部13、圖像再現(xiàn)部14組成的可視信息再現(xiàn)部，構(gòu)成了適用于通信卡拉OK的裝置。雖然在本發(fā)明中，聲音再現(xiàn)部12并不是必要的部，也能省略，但是，通過設(shè)置聲音再現(xiàn)部12，把樂器的部由MIDI再現(xiàn)部11再現(xiàn)，聲音部由聲音再現(xiàn)部再現(xiàn)，就能用本來的聲音再現(xiàn)聲音部，從而得到極富現(xiàn)場感的演奏。另外，如上所述，數(shù)據(jù)接收部3所接收的SMF形式的數(shù)據(jù)是儲存在網(wǎng)絡(luò)上的服務(wù)器的文件1a中，定期把新曲的數(shù)據(jù)上載到文件1a中，更新文件1a的內(nèi)容。
圖10是表示把圖1中的數(shù)據(jù)再現(xiàn)裝置用于電視CM(商業(yè)廣告)放映時(shí)的再現(xiàn)方法的程序流程圖，顯示了CPU2實(shí)行的步驟。在圖中，S121至S124分別與圖9中的S101至S104對應(yīng)，因?yàn)閯?dòng)作與圖9中的一樣，所以不再說明。
給定的時(shí)間一到，就轉(zhuǎn)移到處理(S124)，判斷接收的數(shù)據(jù)是否為CM的背景音樂的數(shù)據(jù)(S125)。這中，背景音樂的數(shù)據(jù)由MIDI構(gòu)成。如果是背景音樂的數(shù)據(jù)(S125YES)，把它分配到MIDI再現(xiàn)部11，進(jìn)行合成處理，再現(xiàn)聲音(S132)。因此，從揚(yáng)聲器19輸出CM的背景音樂。
如果接收的數(shù)據(jù)不是背景音樂的數(shù)據(jù)(S125NO)，接著判斷是否為播音員所說的播音的數(shù)據(jù)(S126)。該播音數(shù)據(jù)由聲音數(shù)據(jù)構(gòu)成。如果是播音數(shù)據(jù)(S126YES)，把它分配到聲音再現(xiàn)部12，進(jìn)行聲音處理，再現(xiàn)聲音(S133)。通過聲音的再現(xiàn)，從揚(yáng)聲器19輸出播音員的解說等。
如果接收的數(shù)據(jù)不是播音的數(shù)據(jù)(S126NO)，接著判斷是否為表示商品名的文字?jǐn)?shù)據(jù)(S127)，如果是文字?jǐn)?shù)據(jù)(S127YES)，把它分配到文字再現(xiàn)部13，用文字再現(xiàn)部13再現(xiàn)文字，在顯示器20上顯示(S134)。
如果接收的數(shù)據(jù)不是文字?jǐn)?shù)據(jù)(S127NO)，接著判斷是否為圖像數(shù)據(jù)(S128)，如果是圖像數(shù)據(jù)(S128YES)，把它分配到圖像再現(xiàn)部14，用圖像再現(xiàn)部14進(jìn)行靜止畫面的處理，再現(xiàn)圖像，在顯示器20上顯示(S135)。
如果接收的數(shù)據(jù)不是圖像數(shù)據(jù)(S128NO)，接著判斷是否為動(dòng)畫數(shù)據(jù)(S129)，如果是動(dòng)畫數(shù)據(jù)(S129YES)，把它分配到圖像再現(xiàn)部14，用圖像再現(xiàn)部14進(jìn)行動(dòng)畫處理，再現(xiàn)動(dòng)畫，在顯示器20上顯示(S136)。接收的數(shù)據(jù)如果不是動(dòng)畫數(shù)據(jù)(S129NO)，就進(jìn)入S130。S130和S131分別與圖9的S109和S110對應(yīng)，因?yàn)樗膭?dòng)作也與圖9中的一樣，所以不再說明。
可是，在上述的再現(xiàn)方法中，在再現(xiàn)嵌入到SMF形式的數(shù)據(jù)中的聲音、文字和圖像數(shù)據(jù)時(shí)，有時(shí)會(huì)多次重復(fù)再現(xiàn)同一數(shù)據(jù)。例如，重復(fù)3次卡拉OK的背景合唱，在商業(yè)廣告的開始和結(jié)束的部，兩次顯示相同的文字。此時(shí)，如果把重復(fù)的次數(shù)所對應(yīng)的數(shù)量的數(shù)據(jù)嵌入到圖5或圖7的格式中，會(huì)導(dǎo)致數(shù)據(jù)量的增大。
圖11中表示的是解決該問題的對策。也就是，如(a)所示，當(dāng)在時(shí)間t1、t2和t3反復(fù)三次再現(xiàn)同一數(shù)據(jù)R時(shí)，在發(fā)送端(服務(wù)器)，如b所示，最初只發(fā)送一次嵌入了數(shù)據(jù)R的信息包。在接收端(數(shù)據(jù)再現(xiàn)裝置)，把該數(shù)據(jù)儲存到存儲器(省略圖示)中。重復(fù)再現(xiàn)時(shí)，發(fā)送端不發(fā)送數(shù)據(jù)R，只發(fā)送內(nèi)容為“如果過了時(shí)間間隔所顯示的時(shí)間，就再現(xiàn)數(shù)據(jù)R”的消息。在接收端，根據(jù)此消息，一到時(shí)間間隔給定的時(shí)間，從存儲器中讀出數(shù)據(jù)R，再現(xiàn)它。該動(dòng)作在t1、t2和t3要進(jìn)行三次，但發(fā)送的數(shù)據(jù)量只有三分之一。
另外，這中舉的是發(fā)送的數(shù)據(jù)儲存到存儲器中后，進(jìn)行再現(xiàn)的例子，圖11的方法是一邊下載數(shù)據(jù)，一邊再現(xiàn)，在所謂的流線方式的數(shù)據(jù)接收中也適用。此時(shí)，在最初的再現(xiàn)時(shí)間t1，把送來的數(shù)據(jù)R儲存到存儲器中。
圖12是表示上述的重復(fù)再現(xiàn)處理的程序流程圖，是圖9的S113、S113或S114的詳細(xì)步驟，或者是圖10中的S133、S134、S135或136的詳細(xì)步驟。首先，判斷判斷接收的數(shù)據(jù)是否是要重復(fù)再現(xiàn)的數(shù)據(jù)R(S141)，如果不是重復(fù)數(shù)據(jù)(S141NO)，作為一般的數(shù)據(jù)處理。如果是重復(fù)數(shù)據(jù)(S141YES)，在CPU內(nèi)部的計(jì)數(shù)器N中設(shè)置再現(xiàn)的次數(shù)(S142)，從存儲器讀出數(shù)據(jù)R(S143)，輸出它(S144)。接著，把計(jì)數(shù)器減1后更新為N-1(S145)。然后，判斷N是否為0(S146)，如果不是0(S146NO)，轉(zhuǎn)移到圖9的S110或圖10的S131。如果計(jì)數(shù)器N為0(S146YES)，消除記錄的數(shù)據(jù)R釋放存儲器(S147)。
圖13是表示流線方式中提前發(fā)送數(shù)據(jù)的原理圖。當(dāng)在MIDI數(shù)據(jù)后發(fā)送聲音和圖像等數(shù)據(jù)時(shí)，如(a)所示，雖然MIDI部的數(shù)據(jù)量少，但是一到聲音和圖像等數(shù)據(jù)X的部，數(shù)據(jù)量一下增大了。(MIDI的數(shù)據(jù)量之所以少是因?yàn)镸IDI不是聲音的數(shù)據(jù)，是控制發(fā)音的命令，它由二進(jìn)制的數(shù)據(jù)構(gòu)成。)因此，如果就這樣發(fā)送數(shù)據(jù)X，就需要大容量的通信線路。
如圖13(b)所示，適當(dāng)?shù)胤指顢?shù)據(jù)X，把ID號X1、X2和X3分配給分割的數(shù)據(jù)，把這些分割的數(shù)據(jù)先插入到MIDI數(shù)據(jù)間，先行發(fā)送，發(fā)送的數(shù)據(jù)量被標(biāo)準(zhǔn)化，就能減小線路的容量。雖然這中只是把分割數(shù)據(jù)X的一部分作為例子，對數(shù)據(jù)X進(jìn)行全面的分割也可以。如圖14所示，作為MIDI的后續(xù)數(shù)據(jù)，也可以同時(shí)存在多個(gè)數(shù)據(jù)X和Y。此時(shí)，分別按X和Y的組別給數(shù)據(jù)X和數(shù)據(jù)Y的各分割數(shù)據(jù)中分配id號，X1、X2，…和Y1、Y2…。圖14(b)表示了先行把分割數(shù)據(jù)插入到MIDI數(shù)據(jù)間的例子。據(jù)此，插入了分割數(shù)據(jù)的數(shù)據(jù)群被數(shù)據(jù)接收部3接收后，從數(shù)據(jù)群抽出插入的分割數(shù)據(jù)，通過合成抽出的分割數(shù)據(jù)，還原為原來的再現(xiàn)數(shù)據(jù)。用圖15和16對此進(jìn)行詳細(xì)說明。把接收的分割數(shù)據(jù)與MIDI數(shù)據(jù)分開，從圖14(b)中的開頭的數(shù)據(jù)開始，按時(shí)間序列依次儲存在存儲器中。圖15表示了存儲器的內(nèi)容。儲存了各分割數(shù)據(jù)的區(qū)域中，分別記錄了X和Y組中與該分割數(shù)據(jù)相連的后續(xù)分割數(shù)據(jù)的開始地址。例如，在數(shù)據(jù)X1的最后記錄了數(shù)據(jù)X2的開始地址，在數(shù)據(jù)X2的最后記錄了數(shù)據(jù)X3的開始地址。并且，在數(shù)據(jù)Y1的最后記錄了數(shù)據(jù)Y2的開始地址，在數(shù)據(jù)Y2的最后記錄了數(shù)據(jù)X3的開始地址。
圖16是表示數(shù)據(jù)接收部13接收了圖14(b)中的數(shù)據(jù)群時(shí)，抽出分割數(shù)據(jù)儲存在存儲器中的動(dòng)作的程序流程圖。首先，讀取開頭的數(shù)據(jù)X1(S151)，把讀取的數(shù)據(jù)X1寫入存儲器(S152)。接著，讀取數(shù)據(jù)X2(S153)，此時(shí)把儲存X2的區(qū)域的開始地址寫到數(shù)據(jù)X1的最后(S154)，把數(shù)據(jù)X2寫入存儲器(S155)。接著，在處理完MIDI數(shù)據(jù)后(S156)，讀取數(shù)據(jù)Y1(S157)，把讀取的數(shù)據(jù)Y1寫入存儲器(S158)。之后，讀取數(shù)據(jù)X3(S159)，把儲存X3的區(qū)域的開始地址寫到數(shù)據(jù)X2的最后(S160)，把數(shù)據(jù)X3寫入存儲器(S161)。接著，讀取數(shù)據(jù)Y2(S162)，把儲存Y2的區(qū)域的開始地址寫到數(shù)據(jù)Y1的最后(S163)，把數(shù)據(jù)Y2寫入存儲器(S164)。以下，與前面同樣，把數(shù)據(jù)X4至X6寫入存儲器。據(jù)此，通過在儲存于存儲器中的分割數(shù)據(jù)的結(jié)尾處記錄了后續(xù)分割數(shù)據(jù)的開始地址，能比較容易地合成并恢復(fù)分割數(shù)據(jù)。也就是，關(guān)于數(shù)據(jù)X，因?yàn)榉指顢?shù)據(jù)X1、X2，…X6通過開始地址，被連結(jié)起來，所以如圖15所示，即使把數(shù)據(jù)X的分割數(shù)據(jù)和數(shù)據(jù)Y的分割數(shù)據(jù)混合儲存，如果參照開始地址，讀出并合成X1、X2，…X6，就能簡單地還原為原來的數(shù)據(jù)X。關(guān)于數(shù)據(jù)Y，也是一樣的。
圖17說明了對有無音區(qū)間的聲音數(shù)據(jù)的處理。例如，把播音員的聲音記錄為聲音信號，嵌入到圖5(b)或圖7(b)中的SMF格式中。播音員的聲音有時(shí)會(huì)中斷，該中斷的區(qū)間(無音區(qū)間)的數(shù)據(jù)本來是不要的。因此，如果能切掉無音區(qū)間的數(shù)據(jù)，只把需要的部嵌入到SMF格式中，就能減少數(shù)據(jù)量。
在圖17的聲音信號中，T區(qū)間為無音區(qū)間。無音區(qū)間T本來是信號水平為0的區(qū)間，可是實(shí)際上由于有噪聲等混在中面，信號水平也就不一定為0。這中，把它定為一定范圍的水平值L，當(dāng)信號水平低于L的區(qū)間持續(xù)了一定區(qū)間時(shí)，把該區(qū)間定為無音區(qū)間T。然后，生成切掉該無音區(qū)間T的聲音數(shù)據(jù)，把它嵌入到圖5(b)或圖7(b)的SMF格式中，再根據(jù)所述再現(xiàn)方法進(jìn)行再現(xiàn)，據(jù)此，發(fā)送的數(shù)據(jù)量也少了，也能節(jié)省接收端的存儲器空間。
可是，如果只切掉無音區(qū)間T，在再現(xiàn)時(shí)，信號急劇的上升和下降，會(huì)產(chǎn)生噪聲。這中，為了避免這，在信號的上升和下降的附近，進(jìn)行窗處理，以便得到平滑的上升和下降特性?？赏ㄟ^使用了窗函數(shù)的眾所周知的方法，實(shí)現(xiàn)窗處理。圖17中，W1至W4是實(shí)施窗處理的部。圖18是切掉無音區(qū)間，記錄數(shù)據(jù)時(shí)的程序流程圖。從開頭按順序讀取數(shù)據(jù)(S171)，判斷讀取的數(shù)據(jù)的水平是否超過了一定值(S172)。如果沒有超過一定值(S172NO)，回到S171，繼續(xù)讀取數(shù)據(jù)，如果超過了一定值(S172YES)，在數(shù)據(jù)的上升部附近，進(jìn)行上述的窗處理，把處理后的數(shù)據(jù)寫入存儲器(S173)。這中的窗處理是圖17中的W1所進(jìn)行的窗處理，是使信號平緩地上升的漸現(xiàn)處理。
接著，再讀取數(shù)據(jù)(S174)，判斷讀取的數(shù)據(jù)的水平是否超過了一定值(S175)。如果超過了一定值(S175YES)，把該數(shù)據(jù)寫入存儲器(S176)，回到174，讀下一數(shù)據(jù)。如果沒有超過一定值(S175NO)，判斷該區(qū)間是否已連續(xù)了一定區(qū)間(S177)，如果沒有連續(xù)一定的區(qū)間(S177NO)，把數(shù)據(jù)寫入存儲器(S176)，回到S174，對下一數(shù)據(jù)。如果低于標(biāo)準(zhǔn)的區(qū)間連續(xù)了一定區(qū)間(S177YES)，把該區(qū)間視為無音區(qū)間，在17圖的W2部進(jìn)行窗處理，把處理后的數(shù)據(jù)寫入存儲器(S178)。這中的窗處理是使信號平緩地下降的漸隱處理。另外，在S178中，進(jìn)行把在S176中寫入的數(shù)據(jù)中處于無音區(qū)間的無用數(shù)據(jù)消除的處理。接著，判斷是否結(jié)束讀數(shù)據(jù)(S179)，如果不結(jié)束(S179NO)，返回到S171，讀下一數(shù)據(jù)，這以后，通過與所述同樣的步驟，進(jìn)行圖17中的W3和W4的窗處理。如果讀數(shù)據(jù)結(jié)束(S179YES)，結(jié)束動(dòng)作。
在所述實(shí)施例中，作為在SMF的擴(kuò)展形式中嵌入的數(shù)據(jù)，已列舉了聲音、文字和圖像，但嵌入的信息可以是任何數(shù)據(jù)，例如計(jì)算機(jī)的程序。此時(shí)，例如，如果設(shè)置為在MIDI數(shù)據(jù)后，接著再現(xiàn)計(jì)算機(jī)的程序，就能實(shí)現(xiàn)在最初演奏根據(jù)MIDI的音樂，音樂結(jié)束后自動(dòng)地啟動(dòng)計(jì)算機(jī)程序。
并且，在所述實(shí)施例中，表示了通過通信線路從網(wǎng)絡(luò)上的服務(wù)器上的文件1a接收數(shù)據(jù)的例子，也可以用個(gè)人電腦生成SMF形式的數(shù)據(jù)，把它儲存在硬盤的文件1b中，再從這中下載數(shù)據(jù)也可以。圖19顯示了本發(fā)明的數(shù)據(jù)再現(xiàn)裝置的其他的例子。1a和1b是記錄了數(shù)據(jù)的文件，1a是例如互聯(lián)網(wǎng)上服務(wù)器上的文件，1b是例如裝置內(nèi)部的硬盤上的文件。2是控制數(shù)據(jù)再現(xiàn)裝置的整體的CPU，它包括數(shù)據(jù)接收部3和數(shù)據(jù)分配部4。雖然CPU2含有除此之外的功能，但因?yàn)榕c本發(fā)明沒有直接關(guān)系，所以在圖示中省略了。數(shù)據(jù)接收部3訪問文件1a和1b，接收儲存在它們中的數(shù)據(jù)?？赏ㄟ^有線或無線接收文件1a的數(shù)據(jù)。接收的數(shù)據(jù)的格式，不是圖2的格式，而與圖8的相同。這些接收的數(shù)據(jù)暫時(shí)儲存在緩沖器3a中。數(shù)據(jù)分配部4把數(shù)據(jù)接收部3接收的數(shù)據(jù)按種類分配，儲存在構(gòu)成存儲部5的緩沖器7至10中。
6是數(shù)據(jù)再現(xiàn)部，它包括用于處理與MIDI有關(guān)的數(shù)據(jù)的MIDI再現(xiàn)部11、用于處理與聲音有關(guān)的數(shù)據(jù)的聲音再現(xiàn)部12、用于處理與文字有關(guān)的數(shù)據(jù)的文字再現(xiàn)部13、用于處理與圖像有關(guān)的數(shù)據(jù)的圖像再現(xiàn)部14。另外，雖然省略了圖示，MIDI再現(xiàn)部11中包括了圖1中的音源只讀存儲器11a。圖像再現(xiàn)部14具有再現(xiàn)靜止畫面和動(dòng)畫的功能。
15是用來混合MIDI再現(xiàn)部11和聲音再現(xiàn)部12的輸出的混頻器，16是用來混合文字再現(xiàn)部13和圖像再現(xiàn)部14的輸出的混頻器?；祛l器15中，具有圖1中的聲效部15a，在混頻器16中，具有圖1中的視覺效果部16a。17是用于暫時(shí)儲存混頻器15的輸出的輸出緩沖器，18是用于暫時(shí)儲存混頻器16的輸出的輸出緩沖器。19是根據(jù)輸出緩沖器17的數(shù)據(jù)輸出聲音的揚(yáng)聲器，20是根據(jù)輸出緩沖器18的數(shù)據(jù)，顯示文字和圖像等可視信息的顯示器。21是產(chǎn)生作為系統(tǒng)的基準(zhǔn)時(shí)間的系統(tǒng)時(shí)鐘，控制各部的時(shí)間的定時(shí)控制部，22是數(shù)據(jù)再現(xiàn)裝置外帶的外部儲存設(shè)備。
存儲部4包括數(shù)據(jù)再現(xiàn)部6、混頻器15、混頻器16、輸出緩沖器17、輸出緩沖器18；定時(shí)控制部21由DSP(數(shù)字信號處理器)構(gòu)成。也可以用大規(guī)模集成電路代替DSP，構(gòu)成所述各部。如果把圖19和圖1做比較，就清楚了，圖19的數(shù)據(jù)再現(xiàn)裝置中，數(shù)據(jù)分配部4和數(shù)據(jù)再現(xiàn)部6之間設(shè)有由緩沖器7至10組成的存儲部5，并且設(shè)有定時(shí)控制部21。
圖20是表示圖19中的數(shù)據(jù)再現(xiàn)裝置的全體的動(dòng)作程序流程圖。首先，數(shù)據(jù)接收部3從文件1a或者文件1b接收數(shù)據(jù)(S181)。把接收的數(shù)據(jù)儲存在緩沖器3a中。接著，CPU2根據(jù)來自定時(shí)控制部21的系統(tǒng)時(shí)鐘和數(shù)據(jù)接收部3接收的各數(shù)據(jù)的時(shí)間間隔，進(jìn)行數(shù)據(jù)分配部4分配數(shù)據(jù)所需的時(shí)間計(jì)算(S182)。將在后面具體介紹S182。數(shù)據(jù)分配部4根據(jù)時(shí)間計(jì)算的結(jié)果，把應(yīng)處理的數(shù)據(jù)按種類分配，儲存在對應(yīng)的緩沖器7至10中(S183)。將在后面具體介紹S183。
各緩沖器所對應(yīng)的數(shù)據(jù)再現(xiàn)部11至14分別讀出緩沖器7至10中儲存的數(shù)據(jù)，在數(shù)據(jù)再現(xiàn)部11至14，實(shí)行數(shù)據(jù)中記錄的事件，再現(xiàn)數(shù)據(jù)(S184)。將在后面具體介紹S184。再現(xiàn)的數(shù)據(jù)中，用混頻器15混合MIDI和聲音數(shù)據(jù)，用混頻器16混合文字和圖像數(shù)據(jù)(S185)。這些混合后的數(shù)據(jù)分別儲存到輸出緩沖器17、18后，由揚(yáng)聲器19和顯示器20輸出(S186)。
圖21是說明在S182的時(shí)間計(jì)算的原理圖。圖的t是時(shí)間軸，事件0至4表示了包括在接收的數(shù)據(jù)列中的事件的再現(xiàn)時(shí)間(但是，該再現(xiàn)時(shí)間是，假設(shè)根據(jù)接收的數(shù)據(jù)的時(shí)間間隔再現(xiàn)時(shí)的時(shí)間，而不表示時(shí)間軸t上實(shí)際再現(xiàn)的時(shí)間)。例如，事件0是圖像事件，事件1是MIDI事件，事件2是聲音事件，事件3是文字事件，事件4是圖像事件。ΔT1至ΔT4是時(shí)間間隔，ΔT1是事件1的時(shí)間間隔，ΔT2是事件2的時(shí)間間隔，ΔT3是事件3的時(shí)間間隔，ΔT4是事件4的時(shí)間間隔。如前所述，時(shí)間間隔是實(shí)行上一事件的時(shí)間到實(shí)行這次的事件間的時(shí)間，例如從實(shí)行事件1的時(shí)間開始，經(jīng)過ΔT2，實(shí)行事件2，從實(shí)行事件2的時(shí)間開始，經(jīng)過ΔT3，實(shí)行事件3。t1是上次處理數(shù)據(jù)的時(shí)間，t2代表現(xiàn)在時(shí)間，t2與t1的差相當(dāng)于單位區(qū)間1幀。1幀的區(qū)間，例如有15毫秒的時(shí)間段，1幀的開始和結(jié)束時(shí)間由來自定時(shí)控制部21(參照圖19)的系統(tǒng)時(shí)鐘決定。Q是數(shù)據(jù)的處理區(qū)間，它被定義為現(xiàn)在時(shí)間t2和前一幀的最后事件(事件0)的實(shí)行時(shí)間t0的差。
圖22是表示數(shù)據(jù)分配部4的數(shù)據(jù)分配步驟的程序流程圖。以下參照圖21和圖22，說明數(shù)據(jù)分配的步驟。在圖21的t2時(shí)間，從定時(shí)控制部21向CPU2發(fā)出時(shí)鐘，系統(tǒng)進(jìn)入喚醒狀態(tài)(S191)，CPU2計(jì)算處理區(qū)間Q的時(shí)間長度(S192)。Q為如上所述，計(jì)算Q＝t2－t0，它代表處理這次數(shù)據(jù)的時(shí)間長度。接著，CPU2順序讀取接收的數(shù)據(jù)的時(shí)間間隔ΔT(S193)，判斷處理區(qū)間Q的時(shí)間長度是否大于ΔT(S194)。如果Q≥ΔT(S194YES)，接著按順序判定數(shù)據(jù)的種類(S195、S198、S200、S202)，分別把數(shù)據(jù)分配到對應(yīng)的緩沖器7至10中，儲存起來(S196、S199、S201、S203)。之后，計(jì)算Q＝Q-ΔT，更新Q的值(S197)。
圖21的例子中，因?yàn)槭录?已在上次處理完了，所以從事件1開始按順序判斷。關(guān)于事件1的時(shí)間間隔ΔT1，因?yàn)镼＞ΔT1，所以S194的判斷是YES，接著判斷數(shù)據(jù)是否為MIDI(S195)。在圖2中，事件1如果是MIDI事件(S195YES)，把數(shù)據(jù)送到緩沖器7，暫時(shí)保存(S196)。如果事件1不是MIDI事件(S195NO)，判斷它是否為聲音事件(S198)。事件1如果是聲音事件(S198YES)，把數(shù)據(jù)送到緩沖器8，暫時(shí)保存(S199)。如果事件1不是聲音事件(S198NO)，判斷它是否為文字事件(S200)。事件1如果是文字事件(S200YES)，把數(shù)據(jù)送到緩沖器9，暫時(shí)保存(S201)。如果事件1不是文字事件(S200NO)，判斷它是否為圖像事件(S202)。事件1如果是圖像事件(S202YES)，把數(shù)據(jù)送到緩沖器10，暫時(shí)保存(S203)。如果事件1不是圖像事件(S202N0)，進(jìn)行其他處理。
據(jù)此，把事件1的數(shù)據(jù)分配到緩沖器7至10中的一個(gè)后，計(jì)算Q＝Q－ΔT1(S197)，返回到S193，讀下一事件2的時(shí)間間隔ΔT2，判斷是否Q≥ΔT2(S194)。此時(shí)，雖然Q＝Q－ΔT1，但是，圖21中Q－ΔT1＞ΔT2，因此S194的判斷為YES，與所述情況一樣，判斷事件2的數(shù)據(jù)種類，分配到對應(yīng)的緩沖器中。
之后，計(jì)算Q＝Q－ΔT2(S197)，返回到S193，讀下一事件3的時(shí)間間隔ΔT3，判斷是否Q≥ΔT3(S194)。此時(shí)，雖然Q＝Q－ΔT1－ΔT2，但是，圖21中Q－ΔT1－ΔT2＞ΔT3，因此S194的判斷為YES，與所述情況一樣，判斷事件3的數(shù)據(jù)種類，分配到對應(yīng)的緩沖器中。之后，計(jì)算Q＝Q－ΔT3(S197)，返回到S193，讀下一事件4的時(shí)間間隔ΔT4(圖21中，事件4是在t2之后，但是在t2時(shí)間，事件4的數(shù)據(jù)已經(jīng)在緩沖器3a中，能夠讀取)，判斷是否Q≥ΔT4(S194)。此時(shí)，雖然Q＝Q－ΔT1－ΔT2－ΔT3，但是，圖21中Q－ΔT1－ΔT2－ΔT3＜ΔT3，因此S194的判斷為NO，CPU2不處理事件4的數(shù)據(jù)，進(jìn)入睡眠狀態(tài)，在下一幀的處理之前處于待機(jī)狀態(tài)(S204)。然后，在下一幀的最初時(shí)間，從定時(shí)控制部21傳來時(shí)鐘，進(jìn)入喚醒狀態(tài)(S191)，對于事件4以下的數(shù)據(jù)，做與上述處理相同的處理。
在圖22的程序流程圖中，S192至S194和S197是圖20中的S182的具體步驟，S195、S196、S198至S203是圖20中的S180的具體步驟。接著，具體說明數(shù)據(jù)再現(xiàn)部11至14的處理，也就是圖20中的S184的具體步驟。圖23是表示各數(shù)據(jù)再現(xiàn)部的處理步驟的程序流程圖。(a)代表MIDI再現(xiàn)部11的處理步驟。在MIDI再現(xiàn)部11，如果由數(shù)據(jù)分配部4分配來的1幀區(qū)間中的數(shù)據(jù)被儲存在緩沖器7中，就在下1幀的區(qū)間，讀入該數(shù)據(jù)(S211)。然后，翻譯讀入的數(shù)據(jù)中記錄的MIDI事件(參照圖3和4)的內(nèi)容，通過軟件合成器生成合成音(S212)。把該合成器的輸出暫時(shí)儲存在圖上未顯示的位于MIDI再現(xiàn)部11內(nèi)部的緩沖器中，從該緩沖器向混頻器15輸出(S213)。
圖23(b)代表聲音再現(xiàn)部12的處理步驟。在聲音再現(xiàn)部12，如果由數(shù)據(jù)分配部4分配來的1幀區(qū)間中的數(shù)據(jù)被儲存在緩沖器8中，就在下1幀的區(qū)間，讀入該數(shù)據(jù)(S311)。然后，翻譯讀入的數(shù)據(jù)的事件中所記錄的聲音數(shù)據(jù)(參照圖5(b)和7(b))，再現(xiàn)音樂(S312)。把該再現(xiàn)數(shù)據(jù)暫時(shí)儲存在圖上未顯示的位于聲音再現(xiàn)部12內(nèi)部的緩沖器中，從該緩沖器向混頻器15輸出(S313)。
圖23(c)代表文字再現(xiàn)部13的處理步驟。在文字再現(xiàn)部13，如果由數(shù)據(jù)分配部4分配來的1幀區(qū)間中的數(shù)據(jù)被儲存在緩沖器9中，就在下1幀的區(qū)間讀入該數(shù)據(jù)(S411)。然后，翻譯讀入的數(shù)據(jù)的事件中所記錄的文字?jǐn)?shù)據(jù)(參照圖5(c)和7(c))，再現(xiàn)文字(S412)。把該再現(xiàn)數(shù)據(jù)暫時(shí)儲存在圖上未顯示的位于文字再現(xiàn)部13內(nèi)部的緩沖器中，從該緩沖器向混頻器16輸出(S413)。
圖23(d)代表圖像再現(xiàn)部14的處理步驟。在圖像再現(xiàn)部14，如果由數(shù)據(jù)分配部4分配來的1幀區(qū)間中的數(shù)據(jù)被儲存在緩沖器10中，就在下1幀的區(qū)間讀入該數(shù)據(jù)(S511)。然后，翻譯讀入的數(shù)據(jù)的事件中所記錄的圖像數(shù)據(jù)(參照圖5(d)和7(d))，再現(xiàn)圖像(S512)。把該再現(xiàn)數(shù)據(jù)暫時(shí)儲存在圖上未顯示的位于圖像再現(xiàn)部14內(nèi)部的緩沖器中，從該緩沖器向混頻器16輸出(S513)。
按照程序給定的順序進(jìn)行上述的圖23(a)至(d)的各處理，在這中，是按(a)至(d)的順序進(jìn)行。也就是，首先進(jìn)行(a)MIDI處理，完后進(jìn)行(b)聲音處理，聲音處理完后轉(zhuǎn)到(c)文字處理，文字處理完后進(jìn)行(d)圖像處理。另外，之所以這樣串行地進(jìn)行處理，是因?yàn)闃?gòu)成存儲部5和數(shù)據(jù)再現(xiàn)部6等的數(shù)字信號處理器只有一個(gè)，如果為各再現(xiàn)部分別設(shè)置一個(gè)數(shù)字信號處理器，就能并行地進(jìn)行處理。
在混頻器15把S213中輸出到混頻器15的MIDI再現(xiàn)數(shù)據(jù)和S313中輸出到混頻器15的聲音再現(xiàn)數(shù)據(jù)混合后，儲存在輸出緩沖器17中，作為聲音從揚(yáng)聲器19輸出。并且，在混頻器16把S413中輸出到混頻器16的文字再現(xiàn)數(shù)據(jù)和S513中輸出到混頻器16的圖像再現(xiàn)數(shù)據(jù)混合和后，儲存在輸出緩沖器18中，作為可視信息從顯示器20輸出。由輸出緩沖器17揚(yáng)聲器19構(gòu)成第一輸出部，由輸出緩沖器18和顯示器20構(gòu)成第二輸出部。另外，輸出緩沖器17具有計(jì)算向揚(yáng)聲器19輸出數(shù)據(jù)的個(gè)數(shù)的功能，根據(jù)該計(jì)數(shù)值，向定時(shí)控制部21發(fā)控制信號，定時(shí)控制部21根據(jù)該控制信號，向CPU2發(fā)定時(shí)信號(系統(tǒng)時(shí)鐘)。也就是，從輸出緩沖器17輸出一個(gè)數(shù)據(jù)所需的時(shí)間由采樣頻率決定，如果用τ代表此時(shí)間，輸出N個(gè)數(shù)據(jù)所需的時(shí)間為N×τ，由N的值可決定定時(shí)。并且，時(shí)間控制不21根據(jù)上述的控制信號，也向輸出緩沖器18發(fā)定時(shí)信號，控制從輸出緩沖器18輸出的數(shù)據(jù)的定時(shí)。
圖24全面顯示了從上述數(shù)據(jù)的分配到再現(xiàn)間的動(dòng)作，(a)表示了各再現(xiàn)部處理的數(shù)據(jù)量和幀區(qū)間的關(guān)系，(b)表示了各再現(xiàn)部的處理時(shí)間和幀區(qū)間的關(guān)系。F1至F3是一個(gè)幀區(qū)間，各幀區(qū)間的時(shí)間長度，例如設(shè)為15毫秒。也就是，數(shù)據(jù)分配部4中，每隔15毫秒，就從定時(shí)控制部21傳來時(shí)鐘。t代表時(shí)間軸，M是MIDI事件的再現(xiàn)定時(shí)，A是聲音事件的再現(xiàn)定時(shí)，T是文字事件的再現(xiàn)定時(shí)，P代表圖像事件的再現(xiàn)定時(shí)。另外，這些再現(xiàn)定時(shí)，和圖21一樣，是假設(shè)根據(jù)時(shí)間間隔再現(xiàn)接收的數(shù)據(jù)時(shí)的時(shí)間，而不表示時(shí)間軸t上實(shí)際再現(xiàn)的定時(shí)。
如圖21所說明的，在區(qū)間F1處理的數(shù)據(jù)，在該區(qū)間的最后定時(shí)，被分配并儲存到緩沖器7至10中。然后，各再現(xiàn)部11至14在下一幀區(qū)間F2，從緩沖器讀出數(shù)據(jù)，并再現(xiàn)。此時(shí)，從各緩沖器向各再現(xiàn)部傳送的數(shù)據(jù)量是各再現(xiàn)部在一幀區(qū)間內(nèi)能處理的數(shù)據(jù)量，如圖24(a)所示，各再現(xiàn)部在下一幀區(qū)間F2內(nèi)，能處理全部數(shù)據(jù)。
該處理的時(shí)間表是圖24(b)，白色箭頭的長度表示處理時(shí)間。該處理時(shí)間因幀而異。如前所述，在下一幀區(qū)間F2，各再現(xiàn)部11至14按重新決定的順序讀出緩沖器中儲存的數(shù)據(jù)，在各再現(xiàn)部，實(shí)行數(shù)據(jù)所記錄的事件，進(jìn)行數(shù)據(jù)再現(xiàn)。圖24(b)中，按M(MIDI)、A(聲音)、P(圖像)的順序再現(xiàn)。再現(xiàn)的M和A由混頻器1(圖19的混頻器15)處理，再現(xiàn)的P由混頻器2(圖19的混頻器16)處理。據(jù)此，在F1區(qū)間分配的數(shù)據(jù)在F2區(qū)間內(nèi)全部處理完畢，剩下的時(shí)間是在下面的F3區(qū)間的處理開始之前的待機(jī)時(shí)間。圖中的SLEEP代表該。然后，把混頻器1的輸出儲存到輸出緩沖器1(圖19中的緩沖器17)后，在下一幀區(qū)間F3，輸出聲音，并且，把混頻器2的輸出儲存到輸出緩沖器2(圖19中的緩沖器18)后，在下一幀區(qū)間F3，輸出可視信息。
同樣，在F2區(qū)間，把A、M、T的數(shù)據(jù)分配到緩沖器中，在F3區(qū)間，按M、A、T的順序讀出這些數(shù)據(jù)，在各再現(xiàn)部以與所述同樣的原理再現(xiàn)，在下一F4區(qū)間(圖24中未顯示)輸出。
如上所述，在圖19的數(shù)據(jù)再現(xiàn)裝置中，把接收的數(shù)據(jù)按幀分配并儲存到緩沖器中，在下一幀，從緩沖器讀出數(shù)據(jù)并再現(xiàn)，再從下一幀輸出聲音和可視信息。因此，能以幀為單位，邊取得數(shù)據(jù)的時(shí)間同步，邊再現(xiàn)。
并且，數(shù)據(jù)分配部4專門從事把接收的數(shù)據(jù)分配到緩沖器7至10的作業(yè)，各再現(xiàn)部11至14專門用于把儲存在緩沖器中的數(shù)據(jù)讀出并再現(xiàn)，因此數(shù)據(jù)接收部3把接收的數(shù)據(jù)流線化，能高速地進(jìn)行處理。
另外，在再現(xiàn)數(shù)據(jù)時(shí)，本來應(yīng)該是根據(jù)時(shí)間間隔管理再現(xiàn)的定時(shí)，但在圖19的裝置中，通過數(shù)據(jù)分配部4把數(shù)據(jù)分配到緩沖器7至10后，數(shù)據(jù)變?yōu)殡x散的，因此各時(shí)間間隔對決定再現(xiàn)定時(shí)沒有實(shí)質(zhì)的意義?？墒?，如前所述，1幀區(qū)間是15毫秒，是極短的時(shí)間，在這一時(shí)間中再現(xiàn)的數(shù)據(jù)，可以看作與各數(shù)據(jù)的再現(xiàn)定時(shí)無關(guān)，可認(rèn)為是同時(shí)發(fā)生的再現(xiàn)。實(shí)際上，經(jīng)驗(yàn)已經(jīng)證明，在15毫秒左右的區(qū)間內(nèi)的數(shù)據(jù)再現(xiàn)的定時(shí)偏差，通常人們是感覺不到的。因此，在分配數(shù)據(jù)的時(shí)間，只要根據(jù)時(shí)間間隔確定了1幀區(qū)間內(nèi)應(yīng)該處理的數(shù)據(jù)，在1幀區(qū)間內(nèi)，即使這些數(shù)據(jù)的再現(xiàn)定時(shí)與根據(jù)時(shí)間間隔的再現(xiàn)定時(shí)有偏差，也沒有問題。
在同一幀區(qū)間內(nèi)，即使交換不同種類的數(shù)據(jù)的再現(xiàn)順序也沒關(guān)系。例如，在圖24(b)的F1區(qū)間中，是按接收的數(shù)據(jù)的順序M、A、P從各數(shù)據(jù)再現(xiàn)緩沖器讀出數(shù)據(jù)，盡管在F2區(qū)間中，接收的數(shù)據(jù)的順序是A、M、T，可是再現(xiàn)部從緩沖器讀數(shù)據(jù)的順序變?yōu)镸、A、T，A和M交換了順序。這是因?yàn)?，如上所述，各再現(xiàn)部的處理順序由程序定為M、A、T、P?？墒牵词惯@樣改變處理順序，如果各再現(xiàn)部在15毫秒以內(nèi)處理數(shù)據(jù)，如上所述，人的感覺也是無法區(qū)分?jǐn)?shù)據(jù)的再現(xiàn)定時(shí)的，因此，不會(huì)成為問題。
并且，在圖24中，使在1幀區(qū)間分配的數(shù)據(jù)全部在下一幀區(qū)間處理，但不必非要如此。也就是，如果輸出緩沖器17和18有超過1幀區(qū)間的處理量的尺寸，即使有在1幀內(nèi)處理不了的數(shù)據(jù)，可是，因?yàn)樵谳敵鼍彌_器17和18中已提前保存了處理的數(shù)據(jù)，所以就能夠不中斷地輸出數(shù)據(jù)。
圖25說明了在圖1或圖19的數(shù)據(jù)再現(xiàn)裝置中，采取邊下載數(shù)據(jù)，邊再現(xiàn)的流線方式時(shí)，數(shù)據(jù)接收部3的動(dòng)作。這中，緩沖器3a由緩沖器A、緩沖器B和緩沖器C等三個(gè)緩沖器構(gòu)成。3b是對應(yīng)于緩沖器A、B、C設(shè)置的寄存器。接收的數(shù)據(jù)表示為流線數(shù)據(jù)S。在流線數(shù)據(jù)S的最前頭記錄了文件頭H，接著用信息包P1、P2、P3，…Pm混合記錄了MIDI、聲音、文字和圖像各數(shù)據(jù)。該流線數(shù)據(jù)S的全部數(shù)據(jù)量定為K。
以下以音樂再現(xiàn)為例，說明接收數(shù)據(jù)的動(dòng)作。通過訪問服務(wù)器，數(shù)據(jù)接收部3開始從文件1a接收流線數(shù)據(jù)S，首先，從流線數(shù)據(jù)S的最開頭開始，把相當(dāng)于緩沖器A的尺寸(容量)的數(shù)據(jù)A1儲存在緩沖器A中。據(jù)此，緩沖器A變?yōu)闈M的狀態(tài)，在寄存器A中，設(shè)置了表示緩沖器處于滿的狀態(tài)的標(biāo)志。接著，把相當(dāng)于緩沖器B的尺寸(容量)的數(shù)據(jù)B1儲存在緩沖器B中。據(jù)此，緩沖器B也變?yōu)闈M的狀態(tài)，在寄存器B中，設(shè)置了表示緩沖器處于滿的狀態(tài)的標(biāo)志。
在緩沖器B變滿的時(shí)間，數(shù)據(jù)分配部4開始分配數(shù)據(jù)，把緩沖器A中儲存的數(shù)據(jù)A1和緩沖器B中儲存的數(shù)據(jù)B1按數(shù)據(jù)的種類傳送到緩沖器7至10。傳送的數(shù)據(jù)在再現(xiàn)部11至14再現(xiàn)，開始曲子的演奏。一方面，把相當(dāng)于緩沖器C的尺寸(容量)的數(shù)據(jù)C1儲存在緩沖器C中。據(jù)此，緩沖器C也變?yōu)闈M的狀態(tài)，在寄存器C中，設(shè)置了表示緩沖器處于滿的狀態(tài)的標(biāo)志。
在緩沖器C儲存數(shù)據(jù)C1期間，緩沖器A的數(shù)據(jù)A1被使用，緩沖器A變空，寄存器A的標(biāo)志被復(fù)位，數(shù)據(jù)接收部3取得下一數(shù)據(jù)A2，儲存在緩沖器A中。據(jù)此，緩沖器A再次變?yōu)闈M的狀態(tài)，在寄存器A中，設(shè)置了標(biāo)志。并且，緩沖器B的數(shù)據(jù)B1被使用，緩沖器B變空，寄存器B的標(biāo)志被復(fù)位，數(shù)據(jù)接收部3取得下一數(shù)據(jù)B2(圖25中未顯示)，儲存在緩沖器B中。據(jù)此，緩沖器B再次變?yōu)闈M的狀態(tài)，在寄存器B中，設(shè)置了標(biāo)志。通過重復(fù)以上的動(dòng)作，進(jìn)行流線數(shù)據(jù)S的再現(xiàn)。圖26表示了此時(shí)的數(shù)據(jù)流。在上述的流線方式中，能從接收數(shù)據(jù)A1的時(shí)間開始再現(xiàn)?？墒牵?dāng)儲存到緩沖器中的數(shù)據(jù)量不充足時(shí)，再現(xiàn)開始后，對緩沖器的數(shù)據(jù)補(bǔ)給趕不上使用量，會(huì)發(fā)生聲音中斷的現(xiàn)象。為了避免這種情況，有必要先在緩沖器中緩存數(shù)據(jù)，在儲存了一定數(shù)量的數(shù)據(jù)的時(shí)間開始再現(xiàn)。以圖27為例說明這種情況。
在圖27中，緩沖器A、B、C的尺寸分別為50千字節(jié)，如果在千字節(jié)存儲器儲數(shù)據(jù)的時(shí)間為5秒，1秒中的數(shù)據(jù)傳送量為50/5＝10千字節(jié)每秒。并且，如果曲子的演奏時(shí)間為10秒，全部數(shù)據(jù)量為200千字節(jié)，由曲子的演奏所消耗的數(shù)據(jù)量為200/10＝20千字節(jié)每秒。因此，如果從接收數(shù)據(jù)的時(shí)間t0開始再現(xiàn)，因?yàn)槭褂玫臄?shù)據(jù)量大于儲存到緩沖器的數(shù)據(jù)量，所以緩沖器的數(shù)據(jù)量不足，發(fā)生音樂中斷。
該問題的解決方法如下。也就是，從接收數(shù)據(jù)的時(shí)間t0開始的5秒內(nèi)，在緩沖器A中儲存50千字節(jié)的數(shù)據(jù)A1，在接著的5秒中，在緩沖器B中儲存50千字節(jié)的數(shù)據(jù)B1，10秒中共緩存了100千字節(jié)的數(shù)據(jù)。然后，從從接收數(shù)據(jù)的時(shí)間t0開始經(jīng)過10秒的時(shí)間t1開始再現(xiàn)。據(jù)此，即使再現(xiàn)開始后的數(shù)據(jù)傳送量小于數(shù)據(jù)的消耗量，在緩沖器A和B中已經(jīng)儲存了100千字節(jié)的數(shù)據(jù)，并且，因?yàn)槟茉谘葑嚅_始的時(shí)間t1到演奏結(jié)束的時(shí)間t2的10秒間，把剩下100千字節(jié)的數(shù)據(jù)(C1和A2的合計(jì))儲存到緩沖器C和A中，所以數(shù)據(jù)就不會(huì)中斷，能到最后一直連續(xù)再現(xiàn)曲子。
對此，當(dāng)儲存到緩沖器的數(shù)據(jù)量大于消耗的數(shù)據(jù)量時(shí)，就不需要所述數(shù)據(jù)的高速緩沖存儲器，但是在緩沖器變?yōu)闈M的狀態(tài)的時(shí)間，有必要從數(shù)據(jù)接收部3向服務(wù)器發(fā)不要再發(fā)送數(shù)據(jù)的指示。此時(shí)，當(dāng)緩沖器俄數(shù)據(jù)被使用完，緩沖器變空的時(shí)間，數(shù)據(jù)接收部3開始從服務(wù)器取得數(shù)據(jù)。
如果把以上所述一般化就得到如下的敘述。如果緩沖器的尺寸為U，把數(shù)據(jù)儲存到緩沖器所需的時(shí)間為t，單位時(shí)間內(nèi)的數(shù)據(jù)傳送量為J，J＝U/t。并且，如果總數(shù)據(jù)量為K，再現(xiàn)時(shí)間為T，單位時(shí)間內(nèi)的數(shù)據(jù)消耗量為E，E＝K/T。在圖25中，總數(shù)據(jù)量K和演奏時(shí)間T記錄在文件頭H中，數(shù)據(jù)接收部3讀取文件頭H，計(jì)算數(shù)據(jù)消耗量E。并且，在把數(shù)據(jù)A1儲存到緩沖器A的時(shí)間，計(jì)算數(shù)據(jù)傳送量J。結(jié)果，如果J＜E，就判斷有必要高速緩沖存儲器數(shù)據(jù)，高速緩沖存儲器必要量的數(shù)據(jù)。此時(shí)，數(shù)據(jù)的高速緩沖存儲器量為C，如果高速緩沖存儲器數(shù)據(jù)，使條件K＜C＋J·T得到滿足，就能不中斷地再現(xiàn)數(shù)據(jù)。為了高速緩沖存儲器數(shù)據(jù)，數(shù)據(jù)接收部3從服務(wù)器取得數(shù)據(jù)B1，儲存在緩沖器B。如果在這一時(shí)間，滿足了上述條件，數(shù)據(jù)接收部3向數(shù)據(jù)分配部4發(fā)ready信號，接收到該信號，數(shù)據(jù)分配部4開始分配緩沖器A和B的數(shù)據(jù)。以后的動(dòng)作已經(jīng)說明過了。
一方面，如果J＞E，就不需要數(shù)據(jù)的高速緩沖存儲器，因此從接收數(shù)據(jù)A1的時(shí)間開始，數(shù)據(jù)分配部4開始分配數(shù)據(jù)?？墒?，因?yàn)樵佻F(xiàn)開始后，緩沖器立刻變滿，在緩沖器變滿的時(shí)間，數(shù)據(jù)再現(xiàn)部3對服務(wù)器發(fā)送停止發(fā)送數(shù)據(jù)的要求。然后，數(shù)據(jù)被消耗，緩沖器一變空，數(shù)據(jù)再現(xiàn)部3再由求服務(wù)器發(fā)送數(shù)據(jù)。也就是，數(shù)據(jù)再現(xiàn)部3從服務(wù)器間歇地取得數(shù)據(jù)。
如上所述，數(shù)據(jù)再現(xiàn)部3監(jiān)視數(shù)據(jù)的傳送量，如果J＜E，在高速緩沖存儲器了必要量的數(shù)據(jù)后，開始再現(xiàn)；如果J＞E，不用高速緩沖存儲器數(shù)據(jù)，邊間歇地接受數(shù)據(jù)，邊再現(xiàn)。據(jù)此，即使變動(dòng)傳輸線路的容量，也能穩(wěn)定地再現(xiàn)數(shù)據(jù)。另外，當(dāng)J＝E時(shí)，不用高速緩沖存儲器數(shù)據(jù)，從服務(wù)器連續(xù)地接收數(shù)據(jù)。
其中，如果傳輸線路的容量由于某種原因突然減小，來不及向緩沖器高速緩沖存儲器數(shù)據(jù)，會(huì)出現(xiàn)緩沖器A、B、C會(huì)全部為空的情況。此時(shí)，從數(shù)據(jù)分配部4向MIDI再現(xiàn)部11和聲音再現(xiàn)部12發(fā)啞音信號，通過禁止輸出雜音，能消除雜音給使用者帶來的不快。并且，從數(shù)據(jù)分配部4向文字再現(xiàn)部13和圖像再現(xiàn)部14發(fā)送前置保持信號，以維持之前的畫面。并且，代替這些，也能采取如下方法即使各再現(xiàn)部11至14沒有收到代表數(shù)據(jù)的結(jié)束的信號，當(dāng)數(shù)據(jù)分配部4沒有發(fā)來數(shù)據(jù)時(shí)，各再現(xiàn)部11至14自動(dòng)進(jìn)行啞音和前置保持處理，有數(shù)據(jù)發(fā)來時(shí)，再開始再現(xiàn)。
在所述說明中，作為緩沖器3a獨(dú)立設(shè)置了三個(gè)緩沖器A、B和C，這不過是一個(gè)例子，緩沖器的數(shù)目可以是任意的。并且，可以用環(huán)狀緩沖器代替獨(dú)立的緩沖器。
接著，說明本發(fā)明的實(shí)施例。圖1或圖19的數(shù)據(jù)再現(xiàn)裝置，能夠安裝在具有電話機(jī)功能的信息終端設(shè)備上。這樣就能使移動(dòng)電話具有如下功能下載聲音、文字和圖像等各種信息，把這些再現(xiàn)，從揚(yáng)聲器放出聲音，在畫面中顯示文字和圖像。例如，能用移動(dòng)電話視聽由網(wǎng)絡(luò)提供一種的CM(商業(yè)廣告)、卡拉OK等的音樂和影像。在圖37中表示了這樣的移動(dòng)電話的例子。
在圖37中，50是作為信息終端設(shè)備的移動(dòng)電話，51是電話機(jī)的主體，主體51中設(shè)有天線52、顯示器53、數(shù)值鍵54等各種鍵、揚(yáng)聲器55和麥克風(fēng)56。移動(dòng)電話50，如圖39所示，與基地電臺73通信，通過電臺73下載服務(wù)器72上儲存的數(shù)據(jù)。天線52是用來在電話與電臺73之間發(fā)送、接收信號。顯示器53由彩色液晶顯示器等構(gòu)成，它顯示電話號碼和圖像等。從發(fā)聲部的揚(yáng)聲器55能聽到通話對方的聲音和音調(diào)。麥克風(fēng)56是用來在通話時(shí)和制作外出留言時(shí)輸入聲音的。
54是0至9的數(shù)字構(gòu)成的數(shù)字鍵，用于輸入電話號碼和縮位號碼等。57是開關(guān)電話機(jī)的電源的電源鍵，58是用于使通話開始的通話鍵，59是用來滾動(dòng)顯示內(nèi)容的滾動(dòng)鍵。60是用來與其他鍵組合使用，以達(dá)到各種功能的功能鍵，61是用來調(diào)用登記的內(nèi)容，在顯示器53上顯示的調(diào)用鍵，62是用來登記縮位撥號號碼等時(shí)使用的登記鍵。63是用來刪除顯示內(nèi)等的刪除鍵，64是用來實(shí)行給定的動(dòng)作的實(shí)行鍵。65是從服務(wù)器72下載音樂數(shù)據(jù)時(shí)，用來顯示新曲目錄的新曲顯示鍵，66是在制作外出留言時(shí)，使用的外出記錄鍵，67是在演奏卡拉OK時(shí)，使用的卡拉OK鍵，68是使演奏開始的演奏開始鍵，69是使演奏結(jié)束的演奏結(jié)束鍵。
并且，70是卡狀和棒狀的小型信息存儲介質(zhì)，能從電話機(jī)主體51上的插口(圖示省略)上安裝、卸下。在該信息存儲介質(zhì)70的內(nèi)部，內(nèi)置有作為儲存元件的閃存71，下載的數(shù)據(jù)儲存在閃存71中。
在以上的結(jié)構(gòu)中，顯示器53相當(dāng)于圖1或圖19中的顯示器20，它顯示文圖和圖像。例如，如果是CM，它顯示文字、繪畫、照片和動(dòng)畫等；如果是卡拉OK，它顯示標(biāo)題、歌詞、背景畫面等。并且，揚(yáng)聲器55相當(dāng)于圖1或圖19的揚(yáng)聲器19，MIDI和聲音的聲音從這中輸出。例如，如果是CM，放出CM歌曲和商品介紹信息；如果是卡拉OK，放出伴奏去和背景合唱。據(jù)此，通過把圖1或圖19的數(shù)據(jù)再現(xiàn)裝置安裝在移動(dòng)電話50上，能把移動(dòng)電話50作為卡拉OK裝置使用。
并且，移動(dòng)電話50能只從服務(wù)器72下載MIDI數(shù)據(jù)。此時(shí)，如果把根據(jù)MIDI生成的音調(diào)作為來電音從揚(yáng)聲器55輸出，來電音成為極清晰、優(yōu)雅的音樂。并且，如果預(yù)先在移動(dòng)電話50的內(nèi)部存儲器中(圖示省略)，對應(yīng)于來電信號儲存了不同的音樂MIDI數(shù)據(jù)，如果對應(yīng)于來電信號用徒步的音調(diào)告知，就能比較容易地識別是來自誰的電話。并且，使移動(dòng)電話50中內(nèi)置的用于告知來電的振動(dòng)器(圖示省略)根據(jù)MIDI數(shù)據(jù)振動(dòng)，例如按與鼓的節(jié)奏相同的節(jié)奏使振動(dòng)器振動(dòng)。另外，也能在外出留言中附加根據(jù)MIDI的BGM(背景音樂)。
信息存儲介質(zhì)70相當(dāng)于圖19的外部信息儲存裝置22，在閃存71中能儲存音樂數(shù)據(jù)和圖像數(shù)據(jù)。例如，當(dāng)下載CD(光盤)的音樂數(shù)據(jù)時(shí)，如圖38所示，通過記錄根據(jù)MIDI或聲音的音樂數(shù)據(jù)，根據(jù)文字的歌詞和曲目解說等數(shù)據(jù)，再加上根據(jù)圖像的光盤護(hù)封的相片數(shù)據(jù)，就能把信息存儲介質(zhì)70自身光盤化。這同樣適用于MD(小盤)的場合。在安裝了所述數(shù)據(jù)再現(xiàn)裝置的移動(dòng)電話50中，例如，在視聽CM時(shí)有來電時(shí)，應(yīng)優(yōu)先輸出來電音。圖28表示了用于實(shí)現(xiàn)這的結(jié)構(gòu)。因?yàn)閳D28的裝置也是安裝在移動(dòng)電話50上的，所以與圖19相同的部使用了相同的符號。圖28與圖19的不同點(diǎn)是，設(shè)置了用于來電信號的緩沖器23和在緩沖器7、MIDI再現(xiàn)部11之間的切換部24。圖29是表示圖28的數(shù)據(jù)再現(xiàn)裝置的動(dòng)作的時(shí)間圖表。最初，如圖(c)所示，從揚(yáng)聲器19放出CM音樂，如(d)所示，在顯示器20上顯示CM圖像?，F(xiàn)在，在數(shù)據(jù)接收部3輸入象(a)那樣的來電信號，數(shù)據(jù)接收部3在把來電信號的數(shù)據(jù)儲存到緩沖器23的同時(shí)，把切換部24從緩沖器7切換到緩沖器23。據(jù)此，代替緩沖器7的數(shù)據(jù)，把緩沖器23的數(shù)據(jù)輸入到MIDI再現(xiàn)部11，MIDI再現(xiàn)部11讀入緩沖器23的數(shù)據(jù)，通過軟件合成器生成來電音，通過混頻器15和輸出緩沖器17向揚(yáng)聲器19輸出。結(jié)果，從揚(yáng)聲器19如(b)所示，代替CM音樂，輸出MIDI來電音。然后，來電結(jié)束，來電音一停止，從揚(yáng)聲器19如(c)所示，再次放出CM音樂。另外，如(d)所示，無論有無來電音，CM圖像繼續(xù)在顯示器20上顯示。據(jù)此，通過圖28的數(shù)據(jù)再現(xiàn)裝置，當(dāng)有來電時(shí)，通過使來電音優(yōu)先輸出，能使視聽者確實(shí)地知道有來電。并且，在生成來電音時(shí)，因?yàn)楣昧薓IDI再現(xiàn)部11的軟件合成器，所以簡化了處理。
本發(fā)明的數(shù)據(jù)再現(xiàn)裝置除了能安裝在具有電話機(jī)功能的信息終端設(shè)備上，還能安裝在具有游戲機(jī)功能的信息終端設(shè)備上。游戲機(jī)可以是游戲?qū)Ｓ脵C(jī)，也可以是同時(shí)具有游戲和其他功能的裝置。例如，圖37所示的移動(dòng)電話50中內(nèi)置了游戲軟件也可以。
在這樣的游戲機(jī)中，通常在進(jìn)行游戲時(shí)播放背景音樂，如果與畫面的狀況相配，把根據(jù)MIDI的效果音與背景音樂重疊播放，就會(huì)展現(xiàn)出很富情趣的游戲。圖30是用于實(shí)現(xiàn)這的結(jié)構(gòu)，與圖19相同的部使用了相同的符號。圖30與圖19的不同點(diǎn)是設(shè)有用于效果音信號的緩沖器25和緩沖器7、MIDI再現(xiàn)部11之間的混頻器26。
圖31是表示圖30的裝置的動(dòng)作的時(shí)間圖表。最初，如圖(c)所示，從揚(yáng)聲器19放出背景音樂，如(d)所示，在顯示器20上顯示游戲圖像?，F(xiàn)在，通過操作游戲機(jī)上的特定按鈕，在數(shù)據(jù)接收部3輸入如(a)所示的效果音信號，數(shù)據(jù)接收部3把效果音信號的數(shù)據(jù)儲存到緩沖器25。在混頻器26把緩沖器25的數(shù)據(jù)和緩沖器7的數(shù)據(jù)混合。MIDI再現(xiàn)部11讀入混頻器26的數(shù)據(jù)，通過軟件合成器加上背景音樂，生成效果音，通過混頻器15和輸出緩沖器17向揚(yáng)聲器19輸出。結(jié)果，從揚(yáng)聲器19如(b)所示，輸出根據(jù)MIDI的效果音(例如爆炸聲)。在播放效果音的同時(shí)，如(c)所示，繼續(xù)播放背景音樂。然后，效果音信號一結(jié)束，來自揚(yáng)聲器19的效果音停止，只播放背景音樂。另外，如(d)所示，游戲圖像持續(xù)在顯示器20上顯示。據(jù)此，通過圖30的數(shù)據(jù)再現(xiàn)裝置，能得到在背景音樂上重疊播放根據(jù)MIDI的效果音的游戲機(jī)。并且，在生成效果音時(shí)，因?yàn)楣昧薓DI再現(xiàn)部11的軟件合成器，所以簡化了處理。
如果使用本發(fā)明的數(shù)據(jù)再現(xiàn)裝置，能得到除具有以上所述功能，還具有其他種種功能的系統(tǒng)。圖32至34是這樣的一個(gè)例子，它表示的例子是，在網(wǎng)絡(luò)上，對于視聽特定的CM的人，給與一定的特權(quán)。CM信息中，如圖33所示，MIDI、聲音、文字和圖像等各數(shù)據(jù)按時(shí)間序列混合存在一起。這中，在文字?jǐn)?shù)據(jù)的最后部(虛線Z)輸入記述了如圖34所示的URL(統(tǒng)一資源定位符)標(biāo)簽。在該標(biāo)簽中，最后的“XXX”代表是何CM。
如果按圖32的程序流程圖說明，視聽者首先從網(wǎng)絡(luò)上的服務(wù)器上的文件1a(參照圖1，圖19)下載CM數(shù)據(jù)(S601)。用數(shù)據(jù)接收部3接收CM數(shù)據(jù)，通過數(shù)據(jù)分配部4向各部分配，按所述步驟再現(xiàn)，從揚(yáng)聲器19和顯示器20輸出。這中，文字再現(xiàn)部把接收的文字?jǐn)?shù)據(jù)全部再現(xiàn)后，就讀取了圖34所示的標(biāo)簽(S602)。
接著，啟動(dòng)瀏覽器(瀏覽軟件)(S603)，鏈接到讀取的標(biāo)簽中記述的統(tǒng)一資源定位符的主頁(S604)。鏈接目標(biāo)的服務(wù)器(圖示省略)，解釋標(biāo)簽的“XXX”部，判斷是視聽何種CM(S605)，當(dāng)在網(wǎng)絡(luò)上購買該CM的商品時(shí)，例如進(jìn)行打折20％的付款處理(S606)。因此，通過所述系統(tǒng)，能夠?qū)M的視聽者給與打折服務(wù)。
圖35和圖36是使用了本發(fā)明的再現(xiàn)裝置的其他實(shí)施例，他表示了對于在網(wǎng)絡(luò)上購買音樂數(shù)據(jù)的人，提供一種票的打折服務(wù)的例子。此時(shí)，在音樂數(shù)據(jù)中，附加了歌詞和曲的解說或演奏者的介紹等文字?jǐn)?shù)據(jù)，在文字?jǐn)?shù)據(jù)的最后部輸入了如圖36所示的標(biāo)簽。在該標(biāo)簽中，“from＝2000/08/15to＝2000/09/15”表示票的有效期限是從公歷2000年8月15日到2000年9月15日。并且，最后的“YYY”是表示購買的音樂數(shù)據(jù)為何物的信息。
如果按圖35的程序流程圖說明，視聽者首先從網(wǎng)絡(luò)上的服務(wù)器上的文件1a下載音樂數(shù)據(jù)(S701)。用數(shù)據(jù)接收部3接收CM數(shù)據(jù)，通過數(shù)據(jù)分配部4向各部分配，按所述步驟再現(xiàn)，從揚(yáng)聲器19和顯示器20輸出。并且，各數(shù)據(jù)被儲存在外部儲存裝置22(在圖37中是信息存儲介質(zhì)70)中。這中，文字再現(xiàn)部把接收的文字?jǐn)?shù)據(jù)全部再現(xiàn)后，就讀取了圖34所示的標(biāo)簽(S702)。
接著，啟動(dòng)瀏覽器(S703)，判斷現(xiàn)在的日期是否在有效期限內(nèi)(S704)。通過是參照所述標(biāo)簽中記錄的有效期限進(jìn)行的。如果在有效期限內(nèi)(S704YES)，鏈接到讀取的標(biāo)簽中記述的統(tǒng)一資源定位符的主頁(S705)，如果不在有效期限內(nèi)，(S704NO)，不做任何事，結(jié)束(S708)。鏈接目標(biāo)的服務(wù)器(圖示省略)，解釋標(biāo)簽的“YYY”部，判斷是購買了何種音樂數(shù)據(jù)(S706)，發(fā)送用于打折購買該音樂家的音樂會(huì)門票的指導(dǎo)信息，在顯示器20上顯示該信息。因此，通過所述系統(tǒng)，能夠?qū)徺I音樂數(shù)據(jù)的人，誘導(dǎo)其購買門票。
產(chǎn)業(yè)上的使用領(lǐng)域本發(fā)明的再現(xiàn)裝置，除了上述的移動(dòng)電話和游戲機(jī)，還能安裝在個(gè)人電腦和網(wǎng)絡(luò)電視用的STB(機(jī)頂盒)等各種信息終端設(shè)備上。
權(quán)利要求
1.一種數(shù)據(jù)再現(xiàn)裝置，是接收并再現(xiàn)包括事件信息和用于實(shí)行事件的時(shí)間信息的數(shù)據(jù)的數(shù)據(jù)再現(xiàn)裝置，其特征在于，包括能接收具有不同屬性的事件信息的多種數(shù)據(jù)的數(shù)據(jù)接收部；根據(jù)所述數(shù)據(jù)接收部接收的各數(shù)據(jù)的時(shí)間信息，來按種類分配數(shù)據(jù)的數(shù)據(jù)分配部；再現(xiàn)利用所述數(shù)據(jù)分配部所分配的數(shù)據(jù)的數(shù)據(jù)再現(xiàn)部；輸出利用所述數(shù)據(jù)再現(xiàn)部所再現(xiàn)的數(shù)據(jù)的輸出部。
2.根據(jù)權(quán)利要求1所述數(shù)據(jù)再現(xiàn)裝置，多種數(shù)據(jù)由具有MIDI事件信息的第一數(shù)據(jù)和具有MIDI以外的事件信息的第二數(shù)據(jù)構(gòu)成。
3.根據(jù)權(quán)利要求2所述數(shù)據(jù)再現(xiàn)裝置，第二數(shù)據(jù)包括具有文字事件信息的數(shù)據(jù)和具有圖像事件信息的數(shù)據(jù)。
4.根據(jù)權(quán)利要求3所述數(shù)據(jù)再現(xiàn)裝置，第二數(shù)據(jù)還包括具有聲音事件的數(shù)據(jù)。
5.根據(jù)權(quán)利要求2所述數(shù)據(jù)再現(xiàn)裝置，第一數(shù)據(jù)和第二數(shù)據(jù)由SMF形式的數(shù)據(jù)構(gòu)成，第二數(shù)據(jù)具有擴(kuò)展的格式，在該擴(kuò)展格式的事件信息中記錄了應(yīng)該再現(xiàn)的數(shù)據(jù)。
6.一種數(shù)據(jù)再現(xiàn)裝置，是接收并再現(xiàn)包括事件信息和用于實(shí)行事件的時(shí)間信息的數(shù)據(jù)的數(shù)據(jù)再現(xiàn)裝置，其特征在于，包括能接收具有MIDI事件信息的數(shù)據(jù)、具有文字事件信息的數(shù)據(jù)和具有圖像事件信息的數(shù)據(jù)的數(shù)據(jù)接收部；根據(jù)所述數(shù)據(jù)接收部接收的各數(shù)據(jù)的時(shí)間信息，按種類分配數(shù)據(jù)的數(shù)據(jù)分配部；實(shí)行用所述數(shù)據(jù)分配部分配的數(shù)據(jù)中所記錄的事件，再現(xiàn)該數(shù)據(jù)的數(shù)據(jù)再現(xiàn)部；把用所述數(shù)據(jù)再現(xiàn)部所再現(xiàn)的MIDI數(shù)據(jù)作為聲音進(jìn)行輸出的第一輸出部；把用所述數(shù)據(jù)再現(xiàn)部所再現(xiàn)的文字和圖像數(shù)據(jù)作為可視信息進(jìn)行輸出的第二輸出部。
7.根據(jù)權(quán)利要求6所述數(shù)據(jù)再現(xiàn)裝置，數(shù)據(jù)接收部還能接收帶聲音事件信息的數(shù)據(jù)，第一輸出部把利用所述數(shù)據(jù)再現(xiàn)部所再現(xiàn)的MIDI和聲音數(shù)據(jù)作為聲音進(jìn)行輸出。
8.根據(jù)權(quán)利要求7所述數(shù)據(jù)再現(xiàn)裝置，包括混合用所述數(shù)據(jù)再現(xiàn)部所再現(xiàn)的MIDI和聲音數(shù)據(jù)的第一混頻器和混合用所述數(shù)據(jù)再現(xiàn)部所再現(xiàn)的文字和圖像數(shù)據(jù)的第二混頻器；所述第一輸出部輸出用所述第一混頻器所混合的數(shù)據(jù)；所述第二輸出部輸出用所述第二混頻器所混合的數(shù)據(jù)。
9.一種數(shù)據(jù)再現(xiàn)方法，是接收并再現(xiàn)包括事件信息和用于實(shí)行事件的時(shí)間信息的數(shù)據(jù)的數(shù)據(jù)再現(xiàn)方法，其特征在于包括接收帶MIDI事件信息的第一數(shù)據(jù)和帶MIDI以外的事件信息的第二數(shù)據(jù)的步驟；根據(jù)接收的各數(shù)據(jù)的時(shí)間信息，按種類分配數(shù)據(jù)的步驟；再現(xiàn)所分配的數(shù)據(jù)的步驟；輸出所再現(xiàn)的數(shù)據(jù)的步驟。
10.一種數(shù)據(jù)再現(xiàn)方法，是按給定次數(shù)重復(fù)再現(xiàn)第二數(shù)據(jù)的根據(jù)權(quán)利要求9所述的數(shù)據(jù)再現(xiàn)方法，包括在最初接收第二數(shù)據(jù)時(shí)，把該第二數(shù)據(jù)中記錄的再現(xiàn)數(shù)據(jù)儲存到存儲器中的步驟；在重復(fù)再現(xiàn)第二數(shù)據(jù)時(shí)，按照該第二數(shù)據(jù)的時(shí)間信息，從所述存儲器中讀出并再現(xiàn)所述再現(xiàn)數(shù)據(jù)的步驟。
11.一種數(shù)據(jù)再現(xiàn)方法，是把第二數(shù)據(jù)中記錄的再現(xiàn)數(shù)據(jù)的全部或一部分分割為多個(gè)數(shù)據(jù)，并接著第一數(shù)據(jù)來再現(xiàn)第二數(shù)據(jù)的根據(jù)權(quán)利要求9所述的數(shù)據(jù)再現(xiàn)方法，包括接收在先行的第一數(shù)據(jù)間插入了所分割的多個(gè)數(shù)據(jù)的數(shù)據(jù)群，從該數(shù)據(jù)群中抽出所插入的分割數(shù)據(jù)的步驟；合成所抽出的分割數(shù)據(jù)，來作為再現(xiàn)數(shù)據(jù)的步驟。
12.根據(jù)權(quán)利要求11所述的數(shù)據(jù)再現(xiàn)方法，把分割數(shù)據(jù)按時(shí)間序列依次儲存到存儲器中，在所儲存的分割數(shù)據(jù)的區(qū)域中記錄與該分割數(shù)據(jù)連接的后續(xù)分割數(shù)據(jù)的開始地址。
13.根據(jù)權(quán)利要求9所述的數(shù)據(jù)再現(xiàn)方法，第二數(shù)據(jù)所記錄的再現(xiàn)數(shù)據(jù)中的信號水平低于一定值的無音區(qū)間被消除了。
14.根據(jù)權(quán)利要求13所述的數(shù)據(jù)再現(xiàn)方法，對再現(xiàn)數(shù)據(jù)的上升部和下降部附近的信號實(shí)施窗處理。
15.一種數(shù)據(jù)再現(xiàn)裝置，是接收并再現(xiàn)包括事件信息和用于實(shí)行事件的時(shí)間信息的數(shù)據(jù)的數(shù)據(jù)再現(xiàn)裝置，其特征在于，包括能接收帶屬性不同的事件信息的多種數(shù)據(jù)的數(shù)據(jù)接收部；根據(jù)所述數(shù)據(jù)接收部接收的各數(shù)據(jù)的時(shí)間信息，把應(yīng)在具有給定時(shí)間長度的單位區(qū)間內(nèi)處理的數(shù)據(jù)，按種類分配到每個(gè)單位區(qū)間的數(shù)據(jù)分配部；按種類暫時(shí)儲存用所述數(shù)據(jù)分配部所分配的數(shù)據(jù)的存儲部；把所述存儲部中儲存的每個(gè)單位區(qū)間的數(shù)據(jù)在下一區(qū)間依次讀出，實(shí)行各數(shù)據(jù)中記錄的事件，再現(xiàn)數(shù)據(jù)的數(shù)據(jù)再現(xiàn)部；輸出用所述數(shù)據(jù)再現(xiàn)部所再現(xiàn)的數(shù)據(jù)的輸出部。
16.根據(jù)權(quán)利要求15所述的數(shù)據(jù)再現(xiàn)裝置，所述數(shù)據(jù)分配部利用單位區(qū)間的最后時(shí)間，把應(yīng)處理的數(shù)據(jù)按種類進(jìn)行分配并儲存到存儲部中；所述數(shù)據(jù)再現(xiàn)部，在下一區(qū)間依次讀出所述數(shù)據(jù)分配部分配的單位區(qū)間數(shù)據(jù)，并實(shí)行該數(shù)據(jù)的事件。
17.根據(jù)權(quán)利要求16所述的數(shù)據(jù)再現(xiàn)裝置，所述時(shí)間信息是作為從實(shí)行上次事件的時(shí)間到實(shí)行這次事件的時(shí)間來規(guī)定的δ時(shí)間；所述數(shù)據(jù)分配部從作為單位區(qū)間的最后時(shí)間的現(xiàn)在時(shí)間與前一個(gè)單位區(qū)間的最后事件的實(shí)行時(shí)間的差，來計(jì)算出這次應(yīng)處理數(shù)據(jù)的處理區(qū)間的時(shí)間長度，分配單位區(qū)間的數(shù)據(jù)并儲存到存儲部中，使該處理區(qū)間中的各事件的δ時(shí)間的和處在處理區(qū)間的時(shí)間長度范圍內(nèi)；所述數(shù)據(jù)再現(xiàn)部把所述數(shù)據(jù)分配部所分配的單位區(qū)間的數(shù)據(jù)在具有與該單位區(qū)間同樣的時(shí)間長度的下一個(gè)單位區(qū)間中再現(xiàn)。
18.根據(jù)權(quán)利要求15～17中任意一項(xiàng)所述的數(shù)據(jù)再現(xiàn)裝置，設(shè)有管理單位區(qū)間的開始時(shí)間和結(jié)束時(shí)間的定時(shí)控制部。
19.根據(jù)權(quán)利要求18所述的數(shù)據(jù)再現(xiàn)裝置，所述輸出部具有計(jì)算輸出數(shù)據(jù)個(gè)數(shù)的功能，根據(jù)該計(jì)數(shù)值向定時(shí)控制部發(fā)送控制信號，定時(shí)控制部根據(jù)該控制信號來輸出定時(shí)信號。
20.一種數(shù)據(jù)再現(xiàn)方法，是接收并再現(xiàn)包括事件信息和用于實(shí)行事件的時(shí)間信息的數(shù)據(jù)的數(shù)據(jù)再現(xiàn)方法，其特征在于包括接收帶屬性不同的事件信息的多種數(shù)據(jù)的步驟；根據(jù)接收的各數(shù)據(jù)的時(shí)間信息，把應(yīng)在具有給定時(shí)間長度的單位區(qū)間內(nèi)處理的數(shù)據(jù)，按種類分配在每個(gè)單位區(qū)間中并暫時(shí)儲存在存儲部中的步驟；把儲存在所述存儲部中的每個(gè)單位區(qū)間的數(shù)據(jù)在下一區(qū)間依次讀出，實(shí)行該數(shù)據(jù)中所記錄的事件并再現(xiàn)數(shù)據(jù)的步驟；輸出所再現(xiàn)的數(shù)據(jù)的步驟。
21.一種數(shù)據(jù)再現(xiàn)裝置，是一邊下載流線數(shù)據(jù)，一邊進(jìn)行再現(xiàn)的根據(jù)權(quán)利要求1或15所述的數(shù)據(jù)再現(xiàn)裝置，其特征在于所述數(shù)據(jù)接收部具有緩沖器；所述數(shù)據(jù)接收部根據(jù)最初接收的數(shù)據(jù)，計(jì)算每單位時(shí)間內(nèi)的數(shù)據(jù)傳輸容量J和每單位時(shí)間內(nèi)的數(shù)據(jù)消耗量E；當(dāng)J＜E時(shí)，只把必要量的數(shù)據(jù)高速緩沖存儲到所述緩沖器中，然后，開始再現(xiàn)；當(dāng)J＞E時(shí)，不進(jìn)行數(shù)據(jù)的高速緩沖存儲，而是一邊間歇性地接收數(shù)據(jù)，一邊進(jìn)行再現(xiàn)。
22.一種信息終端設(shè)備，是安裝了根據(jù)權(quán)利要求1或15所述的數(shù)據(jù)再現(xiàn)裝置，并能下載各種數(shù)據(jù)的信息終端設(shè)備，包括根據(jù)下載的數(shù)據(jù)來輸出聲音的發(fā)音部；根據(jù)下載的數(shù)據(jù)來顯示文字和圖像的顯示器。
23.根據(jù)權(quán)利要求22所述的信息終端設(shè)備，是具有電話機(jī)功能的信息終端設(shè)備，在聲音被輸出的狀態(tài)下，當(dāng)所述數(shù)據(jù)接收部接收到來電信號時(shí)，禁止聲音的輸出，并輸出來電音。
24.根據(jù)權(quán)利要求22所述的信息終端設(shè)備，具有游戲機(jī)的功能，在聲音被輸出的狀態(tài)下，當(dāng)所述數(shù)據(jù)接收部接收到效果音信號時(shí)，與聲音同時(shí)輸出效果音。
25.根據(jù)權(quán)利要求22所述的信息終端設(shè)備，下載根據(jù)MIDI的音樂數(shù)據(jù)、根據(jù)文字的歌詞數(shù)據(jù)和根據(jù)圖像的護(hù)封相片數(shù)據(jù)。
26.根據(jù)權(quán)利要求22～25中任意一項(xiàng)所述的信息終端設(shè)備，能安裝、卸下小型信息存儲介質(zhì)，并把下載的各數(shù)據(jù)儲存在所述信息存儲介質(zhì)中。
27.根據(jù)權(quán)利要求3所述的數(shù)據(jù)再現(xiàn)裝置，接收包括文字的商業(yè)廣告信息，所述文字?jǐn)?shù)據(jù)包括作為啟動(dòng)國際互聯(lián)網(wǎng)瀏覽器時(shí)的轉(zhuǎn)移目標(biāo)的URL；和有關(guān)在該URL中所提供的服務(wù)的信息。
全文摘要
用數(shù)據(jù)接收部(3)所接收的MIDI、聲音、文字以及圖像的數(shù)據(jù)是SMF格式的數(shù)據(jù),該SMF格式的數(shù)據(jù)包括事件信息和用于實(shí)行事件的δ時(shí)間;數(shù)據(jù)分配部4根據(jù)接收的各數(shù)據(jù)的δ時(shí)間,按種類分配數(shù)據(jù)。所分配的各數(shù)據(jù)分別在MIDI再現(xiàn)部(11)、聲音再現(xiàn)部(12)、文字再現(xiàn)部(13)以及圖像再現(xiàn)部(14)中被再現(xiàn)。用混頻器(15)把MIDI再現(xiàn)部和聲音再現(xiàn)部所再現(xiàn)的數(shù)據(jù)混合,作為聲音從揚(yáng)聲器(19)輸出。用混頻器(16)把文字再現(xiàn)部和圖像再現(xiàn)部所再現(xiàn)的數(shù)據(jù)混合,作為可視信息顯示在顯示器(20)上。因?yàn)槭歉鶕?jù)δ時(shí)間的間隔來再現(xiàn)各數(shù)據(jù)的,所以能比較容易地在如聲音和圖像等不同種類的數(shù)據(jù)之間取得同步。
文檔編號G10H1/00GK1343348SQ00804795
公開日2002年4月3日 申請日期2000年2月3日 優(yōu)先權(quán)日1999年3月8日
發(fā)明者馬島良行, 片山忍, 南秀明 申請人:株式會(huì)社飛馳