專利名稱：圖形顯示裝置和同步重放方法以及聲像同步重放裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對計算機制圖(下面稱為CG)進(jìn)行顯示的裝置。具體地說，涉及在服務(wù)器和終端之間進(jìn)行通信，從而在終端側(cè)使音頻數(shù)據(jù)和視頻數(shù)據(jù)同步重放的圖形顯示裝置以及獨立裝置中的聲像(AV)同步重放裝置。
背景技術(shù)：
在電影和電視游戲機等領(lǐng)域中盛行使用CG。
例如，在三維CG中，歷來立體圖符往往具有由骨和關(guān)節(jié)組成的骨骼模型。圖40示出了人體的骨骼模型的一例。
通過對該骨骼模型的周圍由折線構(gòu)成的手、腳立體圖符的各個部位附以肌肉，在該折線的表面附有結(jié)構(gòu)特征，對立體圖符進(jìn)行眾所周知地顯示。這里，將以折線構(gòu)成的各個部位和表面結(jié)構(gòu)特征合稱為形狀數(shù)據(jù)。
并且，借助于將活動該骨骼模型的關(guān)節(jié)的指示(即動作)提供給微型計算機中，實現(xiàn)立體圖符的活動。近年來，由于國際互聯(lián)網(wǎng)的普及，一般地通過網(wǎng)絡(luò)進(jìn)行CG活動圖像通信。作為用國際互聯(lián)網(wǎng)的CG活動圖像的描述語言，普及的有VRML(Virtual Reality Modeling Language，虛擬現(xiàn)實模型語言)。
為了顯示活動圖像，需要用于顯示三維立體圖符的形狀數(shù)據(jù)和用于使該顯示活動圖像的動作。用VRML并利用國際互聯(lián)網(wǎng)將形狀數(shù)據(jù)和動作從服務(wù)器傳輸?shù)浇K端。
終端對接收到的數(shù)據(jù)用VRML瀏覽器顯示CG活動圖像。但是，在這種方式中，因?qū)⑿螤顢?shù)據(jù)和動作從服務(wù)器傳輸?shù)浇K端，所以有增大數(shù)據(jù)傳輸量、增長數(shù)據(jù)的傳輸時間的問題。
在電影和電視游戲機等領(lǐng)域盛行使用CG，最近，不僅CG的圖像數(shù)據(jù)，而且同時重放與其相配的音樂的CG作品大量出現(xiàn)。作為與這種CG和聲音相關(guān)的技術(shù)，有日本特開平8-212388號公報公開的三維圖像處理裝置。
這是規(guī)定開始時刻和結(jié)束時刻的CG數(shù)據(jù)與聲音數(shù)據(jù)相關(guān)連進(jìn)行重放的圖像處理裝置。Cs、Ce分別表示CG的數(shù)據(jù)的開始時刻、結(jié)束時刻。As、Ae分別表示聲音的數(shù)據(jù)的開始時刻、結(jié)束時刻。對聲音的重放時間(Ae-As)和CG的重放時間(Ce-Cs)進(jìn)行比較，在不一致的場合由下式算出聲音重放中使用的速率，并根據(jù)該速率重放聲音。
速率=原來的速率×(Ae-As)/(Ce-Cs)這樣，借助于利用與CG的重放時間的相對比，調(diào)整聲音的速率，實現(xiàn)使重放時間不同的CG和聲音同步并進(jìn)行重放。
但是，在前述的以往的技術(shù)中，雖然能重放一定速率的聲音數(shù)據(jù)，但不能在曲中與速率變化的樂曲數(shù)據(jù)同步。此外，由于卡拉OK的音調(diào)控制操作等，在演奏途中突然地變更曲子的速率的場合，可能破壞同步。此外，在進(jìn)行快進(jìn)和倒放等的特殊重放的場合，也可能破壞同步。
發(fā)明概述鑒于前述的課題，本發(fā)明的目的在于提供能減少從服務(wù)器通過網(wǎng)絡(luò)通信的CG數(shù)據(jù)的數(shù)據(jù)傳輸量，而且能使在終端顯示的立體圖符動作流暢的圖形顯示裝置。
本發(fā)明的目的還在于提供能使速率在曲中變化的歌曲和圖像同步進(jìn)行重放，并且，即使在歌曲的速率突然變更的場合和特殊重放中，也能使歌曲和圖像同步進(jìn)行重放的AV同步重放裝置。
本發(fā)明的第1發(fā)明的圖形顯示裝置，其特征在于，在服務(wù)器上包括通過網(wǎng)絡(luò)向終端發(fā)送記載動作的組合順序的腳本數(shù)據(jù)的數(shù)據(jù)發(fā)送手段，在終端上包括接收由所述數(shù)據(jù)發(fā)送手段發(fā)送的腳本數(shù)據(jù)的數(shù)據(jù)接收手段；顯示立體圖符所需的形狀數(shù)據(jù)庫；使立體圖符動作所需的動作數(shù)據(jù)庫；按照記載在由所述數(shù)據(jù)接收手段接收到的腳本數(shù)據(jù)中的順序，切換動作并顯示所述立體圖符的動作切換描繪手段；在所述切換繪畫手段切換動作時校正前后動作使動作能流暢顯示的動作自動校正手段。
即使各個動作沒有保持中心姿勢，也能使各個動作之間自然連接，并顯示CG活動圖像。
本發(fā)明的第2發(fā)明的圖形顯示裝置，其特征在于，在本發(fā)明的第1發(fā)明中，
在服務(wù)器上包括通過網(wǎng)絡(luò)發(fā)送校正數(shù)據(jù)發(fā)送手段發(fā)送的腳本數(shù)據(jù)所記載各動作間連接部分動作校正的數(shù)據(jù)的校正數(shù)據(jù)發(fā)送手段，并具有接收由所述校正數(shù)據(jù)發(fā)送手段發(fā)送的校正數(shù)據(jù)的校正數(shù)據(jù)接收手段，和根據(jù)由所述校正數(shù)據(jù)接收手段接收到的動作校正數(shù)據(jù)，校正前后動作使切換繪畫手段切換動作時動作能流暢顯示的動作校正手段，以代替終端的動作自動校正手段。
因從服務(wù)器發(fā)送預(yù)先計算的校正數(shù)據(jù)，所以能節(jié)省終端的計算機資源。
本發(fā)明的第3發(fā)明的圖形顯示裝置，其特征在于，在本發(fā)明的第1發(fā)明中，在服務(wù)器上包括動作數(shù)據(jù)庫，和由動作數(shù)據(jù)庫算出校正數(shù)據(jù)發(fā)送手段發(fā)送的腳本數(shù)據(jù)所記載各動作間連接部分的動作的校正數(shù)據(jù)，并通過網(wǎng)絡(luò)用校正數(shù)據(jù)發(fā)送手段進(jìn)行發(fā)送的校正腳本計算手段。
因?qū)崟r地進(jìn)行校正數(shù)據(jù)的計算，所以能節(jié)省服務(wù)器的存儲器資源。
本發(fā)明的第4發(fā)明的圖形顯示方法，其特征在于，在從服務(wù)器向終端指示對立體圖符進(jìn)行圖形顯示時，在終端上準(zhǔn)備記敘立體圖符的活動模式的多個活動模式，服務(wù)器向終端發(fā)送記載所述活動模式的時間序列組合順序的腳本數(shù)據(jù)，檢測來自服務(wù)器的腳本數(shù)據(jù)，根據(jù)這種腳本數(shù)據(jù)進(jìn)行動作并進(jìn)行圖形顯示的終端，用與執(zhí)行中和接著執(zhí)行的活動模式共同的中心姿勢的定時或者用與執(zhí)行中和接著執(zhí)行的所述動作模式幾乎共同的姿勢的定時，切換執(zhí)行的活動模式，并執(zhí)行場面的切換。
采用這種結(jié)構(gòu)，則能從服務(wù)器到終端用較少的數(shù)據(jù)傳送量，而且平滑地進(jìn)行場面和場面的切換，實施自然的圖形顯示。
本發(fā)明的第5發(fā)明圖形顯示裝置，其特征在于，設(shè)置記述多個模式的活動的動作群、基于動作群的任何一個模式，對應(yīng)于場面記述是否使立體圖符動作的腳本數(shù)據(jù)庫，以及根據(jù)腳本數(shù)據(jù)庫和動作群，控制顯示輸出的立體圖符的動作的特征姿勢控制手段，而且，圖符姿勢控制手段的結(jié)構(gòu)做成用與執(zhí)行中和接著執(zhí)行的活動模式共同的中心姿勢定時，或者用與執(zhí)行中和接著執(zhí)行的所述活動模式幾乎共同的姿勢的定時，切換執(zhí)行的活動模式，執(zhí)行場面的切換。
采用這種結(jié)構(gòu)，則能實現(xiàn)如本發(fā)明所述的圖形顯示方法。
本發(fā)明的第6發(fā)明的圖形顯示裝置，是一種在網(wǎng)絡(luò)上設(shè)置服務(wù)器和終端，在終端上進(jìn)行圖形顯示的圖形顯示裝置，其特征在于，在所述服務(wù)器上設(shè)置定義三維圖符的形狀的圖符數(shù)據(jù)的數(shù)據(jù)庫、定義所述圖符的動作的動作數(shù)據(jù)庫，和指定所述圖符數(shù)據(jù)和1個以上的所述動作的時間序列組合的腳本數(shù)據(jù)，在所述終端上設(shè)置保管所述圖符數(shù)據(jù)的圖符數(shù)據(jù)庫、保管所述動作的動作數(shù)據(jù)庫、檢索所述腳本數(shù)據(jù)指定的圖符數(shù)據(jù)是否存在于圖符數(shù)據(jù)庫中的數(shù)據(jù)檢索手段，和向所述服務(wù)器請求取得不存在于所述圖符數(shù)據(jù)庫中的圖符數(shù)據(jù)的數(shù)據(jù)請求手段。
采用這種結(jié)構(gòu)，則因僅向服務(wù)器上請求得到不存在于終端的圖符數(shù)據(jù)庫中的圖符數(shù)據(jù)，就具備必要的圖符數(shù)據(jù)，以生成終端的圖符活動圖像，所以在終端沒有用于描繪三維圖像所需的圖符數(shù)據(jù)的場合進(jìn)行網(wǎng)絡(luò)傳輸，這時，因網(wǎng)絡(luò)傳輸?shù)膬H是終端欠缺的圖符數(shù)據(jù)，所以能在短時間的通信時間內(nèi)向終端供給三維圖符顯示中所需的全部數(shù)據(jù)。
本發(fā)明的第7發(fā)明的圖形顯示裝置，是一種在網(wǎng)絡(luò)上設(shè)置服務(wù)器和終端，在終端上進(jìn)行圖形顯示的圖形顯示裝置，其特征在于在所述服務(wù)器上設(shè)置定義三維圖符的形狀的圖符數(shù)據(jù)的數(shù)據(jù)庫、定義所述特征的動作的動作數(shù)據(jù)庫，和指定所述圖符數(shù)據(jù)和1個以上的所述動作的時間序列組合的腳本數(shù)據(jù)，在所述終端上設(shè)置保管所述圖符數(shù)據(jù)的圖符數(shù)據(jù)庫、保管所述動作的動作數(shù)據(jù)庫、檢索所述腳本數(shù)據(jù)指定的動作數(shù)據(jù)是否存在于動作數(shù)據(jù)庫中的數(shù)據(jù)檢索手段，和向所述服務(wù)器請求取得不存在于所述動作數(shù)據(jù)庫中的動作數(shù)據(jù)的數(shù)據(jù)請求手段。
采用這種結(jié)構(gòu)，則因僅向服務(wù)器請求得到不存在于終端的動作數(shù)據(jù)庫中的動作數(shù)據(jù)，就具備必要的動作數(shù)據(jù)，以生成終端的圖符活動圖像，所以在終端沒有用于描繪三維圖像所需的動作數(shù)據(jù)的場合進(jìn)行網(wǎng)絡(luò)傳輸，這時，因網(wǎng)絡(luò)傳輸?shù)膬H是終端欠缺的動作數(shù)據(jù)，所以能在短時間的通信時間內(nèi)向終端供給三維圖符的顯示中所需的全部數(shù)據(jù)。
本發(fā)明的第8發(fā)明的聲像(AV)同步重放裝置，其特征在于，包括基于樂曲數(shù)據(jù)進(jìn)行演奏的樂曲演奏手段，
對應(yīng)于特定樂曲上的位置的樂曲位置和成為演奏速率的基礎(chǔ)的速率信息以及對它們進(jìn)行更新的時刻，進(jìn)行暫時存儲的同步信息表，基于所述樂曲演奏手段的演奏，更新所述同步信息表的同步信息更新手段，由當(dāng)前時刻和所述同步信息表的內(nèi)容計算所述樂曲演奏手段當(dāng)前正在演奏的樂曲位置的樂曲位置計算手段，暫時存儲幀數(shù)據(jù)的幀緩存器，所述樂曲演奏手段，基于所述樂曲位置計算手段計算的樂曲位置，從與樂曲數(shù)據(jù)關(guān)連的CG數(shù)據(jù)算出與所述樂曲演奏手段同步的幀數(shù)據(jù)，并輸出到所述幀緩存器中的幀輸出手段，將存儲在所述幀緩存器中的幀數(shù)據(jù)作為活動圖像進(jìn)行顯示的圖像顯示手段。
與僅對一定的速率的樂曲數(shù)據(jù)使圖像同步的以往技術(shù)相比，即使在曲子的途中重放速率動態(tài)變化的樂曲數(shù)據(jù)的場合和突然變更速率信息的場合，也能使圖像同步地進(jìn)行重放。
本發(fā)明的第9發(fā)明的聲像(AV)同步重放裝置，其特征在于，在本發(fā)明的第8發(fā)明中，每當(dāng)樂曲位置或者速率信息中任何1個變化時，樂曲演奏手段更新同步信息表，按照這樣的要求構(gòu)成同步信息更新手段。
使同步信息的更新次數(shù)達(dá)到最少，且能得到與本發(fā)明的第8發(fā)明相同的效果。
本發(fā)明的第10發(fā)明的聲像(AV)同步重放裝置，其特征在于，在本發(fā)明的第8發(fā)明中，按照以特定的周期更新同步信息表的要求構(gòu)成同步信息更新手段。
抑制同步信息的更新次數(shù)，且能得到與本發(fā)明第8發(fā)明相同的效果。
本發(fā)明的第11發(fā)明的聲像(AV)同步重放裝置，其特征在于，在本發(fā)明的第8發(fā)明中，增加從CG數(shù)據(jù)量預(yù)測幀數(shù)據(jù)輸出手段需要的運算時間的運算時間預(yù)測手段，而且?guī)敵鍪侄蔚慕Y(jié)構(gòu)做成與由樂曲位置計算手段計算的樂曲位置延遲所述運算時間預(yù)測手段預(yù)測的時間的樂曲位置同步地將幀數(shù)據(jù)輸出到幀緩存器中。
除能得到與本發(fā)明第8發(fā)明相同的效果外，還能沒有幀運算延遲地與樂曲數(shù)據(jù)同步重放圖像。
本發(fā)明的第12發(fā)明的聲像(AV)同步重放裝置，其特征在于，在本發(fā)明的第8發(fā)明中，增加根據(jù)樂曲數(shù)據(jù)預(yù)測當(dāng)前樂曲位置的聲音實際成為聲音輸出前延遲的時間的演奏延遲預(yù)測手段，而且同步信息更新手段的結(jié)構(gòu)做成將延遲所述演奏延遲預(yù)測手段預(yù)測的時間的樂曲、速率信息以及更新時間輸出到同步信息表中。
除能得到與本發(fā)明第8發(fā)明相同的效果外，還能沒有演奏延遲地與樂曲數(shù)據(jù)同步重放圖像。
本發(fā)明的第13發(fā)明的聲像(AV)同步重放裝置，其特征在于，在本發(fā)明的第8發(fā)明中，增加根據(jù)CG數(shù)據(jù)量預(yù)測圖像顯示手段能實際顯示幀緩存器的數(shù)據(jù)前的顯示延遲時間的圖像顯示延遲預(yù)測手段，而且?guī)敵鍪侄蔚慕Y(jié)構(gòu)做成將與由樂曲位置計算手段計算的樂曲位置延遲所述圖像顯示延遲時間預(yù)測手段預(yù)測的時間的樂曲位置同步的幀數(shù)據(jù)輸出到幀緩存器中。
除能得到與本發(fā)明的第8發(fā)明相同的效果外，還能沒有圖像顯示延遲地與樂曲數(shù)據(jù)同步重放圖像。
本發(fā)明的第14發(fā)明的聲像(AV)同步重放裝置，其特征在于，在本發(fā)明的第8發(fā)明中，設(shè)置在樂曲演奏手段開始特殊重放時，發(fā)生特殊重放開始信號的特殊重放開始通知手段、在樂曲演奏手段結(jié)束特殊重放時，發(fā)生特殊重放結(jié)束信號的特殊重放結(jié)束通知手段，以及在特殊重放中將樂曲位置實時同步地輸出到同步信息表中的特殊重放同步信息更新手段，而且?guī)敵鍪侄蔚慕Y(jié)構(gòu)做成在特殊重放中根據(jù)所述特殊重放同步信息更新手段更新的所述同步信息表，將幀數(shù)據(jù)輸出到幀緩存器中。
除能得到與本發(fā)明第8發(fā)明相同的效果外，特殊重放中與以往的可能損壞樂曲數(shù)據(jù)和圖像的同步的以往技術(shù)相比，即使在特殊重放中也能與樂曲數(shù)據(jù)同步重放圖像。
本發(fā)明的第15發(fā)明的聲像(AV)同步重放裝置，使樂曲數(shù)據(jù)和活動圖像數(shù)據(jù)同步重放，其特征在于，包括重放樂曲數(shù)據(jù)時，將規(guī)定每次特定音符份額的樂曲進(jìn)展所對應(yīng)時刻樂曲上的位置的樂曲位置和成為演奏速率的基礎(chǔ)的速率信息作為同步信息，并進(jìn)行輸出的節(jié)拍發(fā)生電路；以所述特定音符為基準(zhǔn)，生成對應(yīng)于樂曲數(shù)據(jù)和活動圖像數(shù)據(jù)的進(jìn)展的AV同步指示數(shù)據(jù)的AV同步指示數(shù)據(jù)生成電路；設(shè)幀緩存器將圖像輸出到圖像顯示電路中的時間間隔為ΔT時，根據(jù)從所述節(jié)拍發(fā)生電路輸入同步信息后，包含在這種同步信息中的速率信息、在輸入這種同步信息的時刻寫入到幀緩存器中的活動圖像數(shù)據(jù)幀的進(jìn)展位置、在輸入接著的同步信息時由所述AV同步指示數(shù)據(jù)指定的活動圖像數(shù)據(jù)幀的進(jìn)展位置，和所述時間間隔ΔT，確定寫入到幀緩存器中的活動圖像數(shù)據(jù)的顯示幀確定電路。
本發(fā)明的第16發(fā)明的聲像(AV)同步重放裝置，同步重放樂曲數(shù)據(jù)和CG圖符的活動圖像數(shù)據(jù)，其特征在于，包括重放樂曲數(shù)據(jù)時，將規(guī)定每次特定音符份額的樂曲進(jìn)展所對應(yīng)時刻樂曲上的位置的樂曲位置和作為演奏速率的基礎(chǔ)的速率信息作為同步信息輸出的節(jié)拍發(fā)生電路；以所述特定音符為基準(zhǔn)，生成對應(yīng)于進(jìn)行樂曲數(shù)據(jù)的進(jìn)展的CG圖符活動圖像數(shù)據(jù)的AV同步指示數(shù)據(jù)的AV同步指示數(shù)據(jù)生成電路；設(shè)幀緩存器將圖像輸出到圖像顯示電路的時間間隔為ΔT時，根據(jù)從所述節(jié)拍發(fā)生電路輸入同步信息后，包含在這種同步信息中的速率信息、在輸入這種同步信息的時刻寫入到幀緩存器中的CG圖符活動圖像數(shù)據(jù)幀進(jìn)展位置、在輸入接著的同步信息時由所述AV同步指示數(shù)據(jù)指定的CG圖符活動圖像數(shù)據(jù)幀的進(jìn)展位置和所述時間間隔ΔT，確定寫入到幀緩存器中的CG圖符的姿勢的圖符姿勢計算電路。
本發(fā)明的第17發(fā)明的AV同步重放裝置，其特征在于，在本發(fā)明的第15或16發(fā)明中，設(shè)置輸入變更速率信息的速率變更輸入電路。
本發(fā)明的第18發(fā)明的聲像(AV)同步重放方法，其特征在于，為了使樂曲和圖像同步，每次所述樂曲進(jìn)展所述特定音符份額，從所述樂曲的聲音生成單元對所述圖像的生成單元傳送以特定音符作為基準(zhǔn)的所述樂曲上的位置的樂曲位置和所述樂曲的速率信息。
本發(fā)明的第19發(fā)明的聲像(AV)同步重放方法，其特征在于，包括
在重放樂曲數(shù)據(jù)時，將規(guī)定每次特定音符份額的樂曲進(jìn)展所對應(yīng)時刻樂曲上的位置的樂曲位置和成為演奏速率的基礎(chǔ)的速率信息作為同步信息進(jìn)行輸出的步驟；以所述特定音符作為基準(zhǔn)，生成對應(yīng)于進(jìn)行樂曲數(shù)據(jù)和活動圖像數(shù)據(jù)進(jìn)展的AV同步指示數(shù)據(jù)的步驟；設(shè)幀緩存器將圖像輸出到圖像顯示電路的時間間隔為ΔT時，根據(jù)從所述節(jié)拍發(fā)生電路輸入同步信息后，包含在這種同步信息中的速率信息、在輸入這種同步信息的時刻寫入到幀緩存器中的活動圖像數(shù)據(jù)幀的進(jìn)展位置、在輸入接著的同步信息時由所述AV同步指示數(shù)據(jù)指定的活動圖像數(shù)據(jù)的幀的進(jìn)展位置和所述時間間隔ΔT，確定寫入到幀緩存器中的活動圖像數(shù)據(jù)。
本發(fā)明的第20發(fā)明的聲像(AV)同步重放方法，其特征在于，包括在重放樂曲數(shù)據(jù)時，將規(guī)定每次特定音符份額的樂曲進(jìn)展所對應(yīng)時刻樂曲上的位置的樂曲位置和成為演奏速率的基礎(chǔ)的速率信息作為同步信息進(jìn)行輸出的步驟；以所述特定音符作為基準(zhǔn)，生成對應(yīng)于樂曲數(shù)據(jù)和CG圖符活動圖像數(shù)據(jù)的AV同步指示數(shù)據(jù)的步驟；設(shè)幀緩存器將圖像輸出到圖像顯示電路的時間間隔為ΔT時，根據(jù)從所述節(jié)拍發(fā)生電路輸入同步信息后，包含在這種同步信息中的速率信息、在輸入這種同步信息的時刻寫入到幀緩存器中的CG圖符的活動圖像數(shù)據(jù)幀的進(jìn)展位置、在輸入接著的同步信息時由所述AV同步指示數(shù)據(jù)指定的CG圖符活動圖像數(shù)據(jù)幀的進(jìn)展位置和所述時間間隔ΔT，確定寫入到幀緩存器中的CG圖符的姿勢。
本發(fā)明的第21發(fā)明的聲像(AV)同步重放方法，其特征在于，在本發(fā)明的第19或20發(fā)明中，包括輸入變更速率信息的步驟；將所述同步信息的速率信息變更成輸入后的速率信息的步驟。
本發(fā)明的第22發(fā)明的記錄媒體，其特征在于，記錄實現(xiàn)在本發(fā)明的第19至21發(fā)明的任一項所述的AV同步重放方法的計算機程序。
附圖簡要說明

圖1表示本發(fā)明實施形態(tài)1的結(jié)構(gòu)圖。
圖2表示實施形態(tài)1的形狀數(shù)據(jù)的說明圖。
圖3表示實施形態(tài)1中伴隨動作Ma的時間經(jīng)過的坐標(biāo)變化的說明圖。
圖4表示實施形態(tài)1的動作Ma的動作圖。
圖5表示實施形態(tài)1的動作Mb的動作圖。
圖6表示實施形態(tài)1的動作Ma和Mb的動作圖。
圖7表示實施形態(tài)1的動作Ma的校正后的動作圖。
圖8表示本發(fā)明實施形態(tài)2的結(jié)構(gòu)圖。
圖9表示實施形態(tài)2的校正數(shù)據(jù)的說明圖。
圖10表示本發(fā)明實施形態(tài)3的結(jié)構(gòu)圖。
圖11表示本發(fā)明實施形態(tài)4的結(jié)構(gòu)圖。
圖12(a)-圖12(c)是表示實施形態(tài)4的動作的一例的說明圖。
圖13是表示實施形態(tài)4的腳本數(shù)據(jù)的結(jié)構(gòu)圖。
圖14是表示按照實施形態(tài)4的腳本數(shù)據(jù)連接的動作的一例的說明圖。
圖15是實施形態(tài)4的動作切換描繪手段的流程圖。
圖16表示本發(fā)明實施形態(tài)5的結(jié)構(gòu)圖。
圖17表示本發(fā)明實施形態(tài)5中終端的欠缺數(shù)據(jù)處理流程圖。
圖18表示本發(fā)明實施形態(tài)5中服務(wù)器的欠缺數(shù)據(jù)處理流程圖。
圖19表示本發(fā)明實施形態(tài)6的方框圖。
圖20是本發(fā)明實施形態(tài)6的流程圖。
圖21表示本發(fā)明實施形態(tài)7的結(jié)構(gòu)圖。
圖22表示本發(fā)明實施形態(tài)8的結(jié)構(gòu)圖。
圖23表示本發(fā)明實施形態(tài)9的結(jié)構(gòu)圖。
圖24表示本發(fā)明實施形態(tài)10的結(jié)構(gòu)圖。
圖25表示本發(fā)明實施形態(tài)11的結(jié)構(gòu)圖。
圖26表示本發(fā)明實施形態(tài)12的結(jié)構(gòu)圖。
圖27表示本發(fā)明實施形態(tài)13的結(jié)構(gòu)圖。
圖28(a)和圖28(b)是表示本發(fā)明實施形態(tài)13的樂曲的節(jié)拍數(shù)、活動圖像數(shù)據(jù)、腳本數(shù)據(jù)和AV同步指示數(shù)據(jù)的關(guān)系的說明圖。
圖29是表示本發(fā)明實施形態(tài)13的樂曲數(shù)據(jù)、CG圖符的姿勢計算和配光處理的時間的關(guān)系的時間圖。
圖30是表示本發(fā)明實施形態(tài)13的樂曲演奏的重放處理的流程圖。
圖31是表示本發(fā)明實施形態(tài)13中AV同步指示數(shù)據(jù)的生成處理的流程圖。
圖32是表示本發(fā)明實施形態(tài)13中ACG圖符的重放處理的流程圖。
圖33表示本發(fā)明實施形態(tài)14的結(jié)構(gòu)圖。
圖34是表示本發(fā)明實施形態(tài)14的樂曲演奏的重放處理的流程圖。
圖35表示本發(fā)明實施形態(tài)15的結(jié)構(gòu)圖。
圖36(a)和圖36(b)是表示本發(fā)明實施形態(tài)15的樂曲的節(jié)拍數(shù)、活動圖像數(shù)據(jù)、活動圖像腳本數(shù)據(jù)和AV同步指示數(shù)據(jù)的關(guān)系的說明圖。
圖37是表示本發(fā)明實施形態(tài)15的活動圖像的重放處理的流程圖。
圖38表示本發(fā)明實施形態(tài)16的結(jié)構(gòu)圖。
圖39是表示本發(fā)明實施形態(tài)16中樂曲演奏的重放處理的流程圖。
圖40是立體圖符的骨骼數(shù)據(jù)的說明圖。
實施發(fā)明的最佳方式下面，參照附圖對本發(fā)明的實施形態(tài)進(jìn)行說明。
實施形態(tài)1圖1-圖7表示實施形態(tài)1。
在圖1中，用網(wǎng)絡(luò)53連接服務(wù)器51和終端52。服務(wù)器51包括數(shù)據(jù)發(fā)送手段1和腳本數(shù)據(jù)庫74。
由數(shù)據(jù)接收手段11、動作切換描繪手段12、動作自動校正手段13、形狀數(shù)據(jù)庫14、動作數(shù)據(jù)庫15以及顯示手段16構(gòu)成終端52。
數(shù)據(jù)發(fā)送手段1通過網(wǎng)絡(luò)53，發(fā)送保腳本數(shù)據(jù)庫74所保存多個腳本數(shù)據(jù)中在終端52顯示的腳本數(shù)據(jù)61。
腳本數(shù)據(jù)61指明顯示的立體圖符，而且規(guī)定用于使立體圖符活動的動作的組合順序，是識別動作的動作ID的表。
其中，對應(yīng)于該動作ID的動作，通過CD-ROM和軟盤等記錄媒體或者網(wǎng)絡(luò)53供給終端，并存儲在終端52的動作數(shù)據(jù)庫15中。
例如，在對應(yīng)于動作ID{Ma,Mb,Mc,Md,Me}的動作存儲在動作數(shù)據(jù)庫1 5中的場合，能規(guī)定[Ma,Mc,Ma,Me](表示從表的開頭順序切換并顯示)的腳本。但是，因Mf沒有存儲在動作數(shù)據(jù)庫14中，所以不能規(guī)定[Ma,Mf,Ma,Me]的腳本。能將存儲在動作數(shù)據(jù)庫15中的動作的任意組合作為腳本數(shù)據(jù)進(jìn)行規(guī)定。
數(shù)據(jù)接收手段11通過網(wǎng)絡(luò)53，接收數(shù)據(jù)發(fā)送手段1發(fā)送的腳本數(shù)據(jù)。
形狀數(shù)據(jù)保存在形狀數(shù)據(jù)庫14中。形狀數(shù)據(jù)由用2個以上的三維(x,y,z坐標(biāo))坐標(biāo)點構(gòu)成的稱為折線的多面體的集合組成。
動作數(shù)據(jù)保存在動作數(shù)據(jù)庫15中?；跁r間序列使形狀數(shù)據(jù)的變化量，來規(guī)定動作。
例如，在a,b,c,d,e和f的6個頂點中，利用其頂點的5個部分集合{a,b,c}{a,e,f}{a,b,d,e}{a,c,d,f}{b,c,e,f}構(gòu)成的5個折線面，能規(guī)定圖2所示的3角柱的形狀數(shù)據(jù)(將其作為物體A)。在60秒間使物體A分別以X軸為中心旋轉(zhuǎn)180度、以Y軸為中心旋轉(zhuǎn)360度的動作，如圖3所示(將這種動作作為動作Ma)。
沒有必要規(guī)定顯示的全部的幀的旋轉(zhuǎn)角。對于特定的時刻，規(guī)定旋轉(zhuǎn)角(稱其為關(guān)鍵幀)，用內(nèi)插算法對其余部分進(jìn)行計算。關(guān)鍵幀的內(nèi)插算法雖然提議有多種一般的算法，但這里用1次線性內(nèi)插算法，并在下面進(jìn)行說明。
這里，如果用1次線性內(nèi)插算法，計算45秒后的x軸的旋轉(zhuǎn)角，則為100(度)=[((45-40)/(50-40))×(120-80)+80]動作數(shù)據(jù)庫15一般是作為關(guān)鍵幀集合規(guī)定的動作數(shù)據(jù)的集合。如果將動作的變化用曲線表示，則成為圖4所示的動作曲線。圖4中黑圓和黑三角表示關(guān)鍵幀。
基于數(shù)據(jù)接收手段11接收到的腳本數(shù)據(jù)61，動作切換描繪手段12順序地切換動作，同時顯示CG活動圖像。各動作是某個特定的時間內(nèi)(動作時間)的關(guān)鍵幀的集合。
例如，動作Ma是在60秒間具有7個關(guān)鍵幀的動作。借助于在動作幀間進(jìn)行1次線性內(nèi)插，能復(fù)原圖4的動作曲線。
在這種實施形態(tài)中，雖然關(guān)鍵幀內(nèi)插用1次線性插補，但存在其它樣條非線性內(nèi)插等的已知的方法。因無論用哪一種手法都能得到相同的效果，所以本發(fā)明不專門限定該內(nèi)插方法。
例如，計算動作Ma的45秒后的物體A的頂點a的坐標(biāo)。首先，用線性內(nèi)插計算x軸旋轉(zhuǎn)角、y軸旋轉(zhuǎn)角。按照前述的計算，x軸的旋轉(zhuǎn)角是100度，y軸旋轉(zhuǎn)角是300(度)=[((45-40)/(50-40))×(345-255)+255]首先，計算以x軸為中心旋轉(zhuǎn)100度的場合的坐標(biāo)。假設(shè)x軸的旋轉(zhuǎn)角為xang，用下式能計算(x,y,z):
(x,y·cos(xang)+z·sin(xang),-y·sin(xang)+z·cos(xang))因此，a(3.0,3.0,1.0)的值為x=3.0y=3.0·(-0.174)+1.0·0.984=0.462z=-3.0·0.984+1.0·(-0.174)=-3.126接著，計算以y軸為中心旋轉(zhuǎn)300度的場合的坐標(biāo)。假設(shè)z軸的旋轉(zhuǎn)角為yang，用下式能計算(x,y,z):
(x·cos(yang)+z·sin(yang),y,-x·sin(yang)+z·cos(yang))因此，得x=3.0·0.5+(-3.126)·(-0.866)=4.207y=0.462z=-3.0·(-0.866)+(-3.126)·0.5=1.035因此，45秒后的頂點a移動到(4.207,0.462,1.035)的位置。對其它的5個頂點施行與其相同的計算，能算出各頂點坐標(biāo)。
在這些坐標(biāo)變換處理后，借助于進(jìn)行配光處理，能對幀進(jìn)行顯示。動作切換描繪手段12在從各動作的開始到結(jié)束之間，借助于基于幀速率(規(guī)定1秒間掃描多少幀)，連鎖地進(jìn)行上述一系列的處理，顯示CG活動圖像。在結(jié)束規(guī)定1個動作的動作時間內(nèi)的CG活動圖像的場合，開始進(jìn)行腳本數(shù)據(jù)規(guī)定的下一個動作的CG活動圖像的顯示。這樣，借助于一個接著一個地切換動作，連續(xù)地顯示CG活動圖像。
在動作切換描繪手段12切換動作時，動作自動校正手段13校正動作。在順序地顯示動作的場合，其連接點上動作往往不連續(xù)。
例如，考察動作Ma后顯示動作Mb的場合。圖5示出了動作Mb動作曲線。圖6示出了動作Ma和Mb的動作曲線合在一起的曲線。
由圖6可見，在動作Ma的第60秒的幀和動作Mb的0秒的幀產(chǎn)生不連續(xù)點。
這里，設(shè)定動作Ma的第60秒的幀和第0秒的幀二者的平均值，作為動作切換時關(guān)鍵幀，避開動作的不連續(xù)。計算動作Ma和動作Mb的切換時的關(guān)鍵幀。
如果設(shè)定x軸的旋轉(zhuǎn)角為160=(180+140)/2,y軸的旋轉(zhuǎn)角為340=(360+320)/2，則如圖7所示，動作曲線平滑地連接。
動作自動校正手段13在切換動作時從前后的動作算出關(guān)鍵幀，自動地校正動作。這種校正方法已知有多種方法存在。因無論用哪一種手法都能得到相同的效果，所以本發(fā)明不專門限定其內(nèi)插法。
這樣，通過網(wǎng)絡(luò)53發(fā)送到終端52上的僅是規(guī)定了動作組合順序后的腳本數(shù)據(jù)，因不發(fā)送數(shù)據(jù)容量大的立體圖符的形狀數(shù)據(jù)和動作，所以數(shù)據(jù)傳輸量小，網(wǎng)絡(luò)的負(fù)擔(dān)也小。
此外，因終端52的動作自動校正手段13校正切換動作時的動作，所以在終端52的顯示手段16上顯示的立體圖符的動作非常流暢。
實施形態(tài)2圖8和圖9表示實施形態(tài)2。
在圖8中，用網(wǎng)絡(luò)53連接服務(wù)器51和終端52。服務(wù)器51包括數(shù)據(jù)發(fā)送手段1和校正數(shù)據(jù)發(fā)送手段21。由數(shù)據(jù)接收手段11、校正數(shù)據(jù)接收手段22、動作切換描繪手段12、顯示手段16、動作校正手段23、形狀數(shù)據(jù)庫14以及多個動作數(shù)據(jù)庫15構(gòu)成終端52。
此外，1、11、12、14、15和16因與實施形態(tài)1中相同故省略其說明。
校正數(shù)據(jù)發(fā)送手段21發(fā)送對數(shù)據(jù)發(fā)送手段1發(fā)送的腳本數(shù)據(jù)61的各動作間進(jìn)行校正的校正數(shù)據(jù)62。
校正數(shù)據(jù)62，用與實施形態(tài)1中說明了的動作自動校正手段13相同的手法預(yù)先算出，是用于切換動作時使切換前后的立體圖符的動作平滑的數(shù)據(jù)。
也就是說，校正數(shù)據(jù)62規(guī)定動作及其幀時間。例如，動作Ma和動作Mb的校正數(shù)據(jù)62如圖9所示。
在動作Ma后切換動作Mb進(jìn)行顯示。表示將Ma的60秒的關(guān)鍵幀(x軸的旋轉(zhuǎn)角180度，y軸的旋轉(zhuǎn)角360度)和動作Mb的0秒的關(guān)鍵幀(x軸的旋轉(zhuǎn)角140度，y軸的旋轉(zhuǎn)角320度)，校正成x軸的旋轉(zhuǎn)角160度，y軸的旋轉(zhuǎn)角340度。
這種校正數(shù)據(jù)62僅需要與腳本數(shù)據(jù)中各動作的切換次數(shù)相當(dāng)?shù)臄?shù)量。例如，在腳本數(shù)據(jù)指定{Ma,Mb,Mc,Md,Me}5個動作的場合，需要切換(Ma,Mb),(Mb,Mc),(Mc,Md),(Md,Me)的4組動作切換時動作之間連接點的校正數(shù)據(jù)。校正數(shù)據(jù)發(fā)送手段21將這種校正數(shù)據(jù)62發(fā)送到終端52中。
校正數(shù)據(jù)接收手段22接收從服務(wù)器發(fā)送來的校正數(shù)據(jù)62。
動作校正手段23在動作切換描繪手段12切換動作時，基于校正數(shù)據(jù)接收手段22接收到的校正數(shù)據(jù)62對動作進(jìn)行校正，使特征的動作平滑。
例如，在接收圖9的校正數(shù)據(jù)的場合，當(dāng)動作切換描繪手段12從動作Ma切換成動作Mb時，分別校正60秒和0秒的關(guān)鍵幀，規(guī)定圖7的幀時間。例如，Ma和Mb的校正數(shù)據(jù)為圖9所示的那樣。
這樣，在本實施形態(tài)中，通過網(wǎng)絡(luò)53發(fā)送到終端52中的僅是規(guī)定了動作組合順序的腳本數(shù)據(jù)61和作為各動作切換前后的活動圖像數(shù)據(jù)的校正數(shù)據(jù)62，因不發(fā)送數(shù)據(jù)容量大的立體圖符的形狀數(shù)據(jù)和全部的動作，所以數(shù)據(jù)傳輸量小，網(wǎng)絡(luò)53的負(fù)擔(dān)也小。
因基于發(fā)送的校正數(shù)據(jù)62校正動作，所以在終端52的顯示手段16中顯示的立體圖符的動作非常流暢。
實施形態(tài)3圖10表示實施形態(tài)3。
在圖10中，用網(wǎng)絡(luò)53連接服務(wù)器51和終端52。服務(wù)器51包括數(shù)據(jù)發(fā)送手段1、動作數(shù)據(jù)庫76、校正數(shù)據(jù)發(fā)送手段21和校正腳本計算手段31。由數(shù)據(jù)接收手段11、校正數(shù)據(jù)接收手段22、動作切換描繪手段12、顯示手段16、動作校正手段23、形狀數(shù)據(jù)庫14以及多個動作數(shù)據(jù)庫15構(gòu)成終端52。
此外，1、11、12、14、15、16、21、22和23因與實施形態(tài)1和實施形態(tài)2中相同故省略其說明。
校正腳本計算手段31基于動作數(shù)據(jù)庫76，計算能平滑地顯示數(shù)據(jù)發(fā)送手段1發(fā)送的腳本數(shù)據(jù)的各動作之間的校正數(shù)據(jù)，并用校正數(shù)據(jù)發(fā)送手段22發(fā)送到終端上。因?qū)τ谛Ｕ龜?shù)據(jù)的計算方法是與在實施形態(tài)1中說明了的動作自動校正手段13的手法相同，這里省略其說明。
這樣，通過網(wǎng)絡(luò)53發(fā)送到終端52中的僅是規(guī)定了動作組合順序的腳本數(shù)據(jù)和用服務(wù)器51的校正腳本計算手段31算出的校正數(shù)據(jù)，因不發(fā)送數(shù)據(jù)容量大的立體圖符的形狀數(shù)據(jù)和全部的動作，所以數(shù)據(jù)傳輸量小，網(wǎng)絡(luò)53的負(fù)擔(dān)也小。
因基于發(fā)送的校正數(shù)據(jù)校正動作，所以在終端52的顯示手段16中顯示的立體圖符的動作非常流暢。
實施形態(tài)4在前述的實施形態(tài)1到實施形態(tài)3中，要在動作切換時對動作進(jìn)行校正，但在實施形態(tài)4中，各動作具有中心姿勢，借助于順序地切換腳本數(shù)據(jù)切換時立體圖符姿勢相同的動作，能流暢地顯示動作。
圖11-圖15表示實施形態(tài)4。
在圖11中，用網(wǎng)絡(luò)53連接服務(wù)器91和終端92。服務(wù)器91包括數(shù)據(jù)發(fā)送手段1和腳本數(shù)據(jù)庫74。由數(shù)據(jù)接收手段11、動作切換描繪手段12、顯示手段16、形狀數(shù)據(jù)庫14以及多個動作數(shù)據(jù)庫15構(gòu)成終端92。
此外，1、11、12、14、1 5、16和74與實施形態(tài)1相同。
在終端92的形狀數(shù)據(jù)庫14中存儲有立體圖符的各種各樣的骨骼模型、頭、胸、腰、兩胳膊、兩手和兩腳等的折線數(shù)據(jù)，以及附在折線表面上的結(jié)構(gòu)特征數(shù)據(jù)。
如圖12所示，在動作數(shù)據(jù)庫15中存儲“場面1”，“場面2”，“場面3”……等各個場面的動作M1,M2,M3,……，從而構(gòu)成動作數(shù)據(jù)庫。
此外，為說明簡單起見，這里用骨骼數(shù)據(jù)顯示動作變化的情況并進(jìn)行說明。但實際的圖形顯示是對圍繞各骨骼數(shù)據(jù)用折線構(gòu)成的各部位附以肌肉，并根據(jù)需要在各部位上附以結(jié)構(gòu)特征進(jìn)行顯示。
在圖12所示的動作M1和動作M2中，設(shè)置姿勢相同的動作中心姿勢HP1。在動作M2和M3中，設(shè)置姿勢相同的動作中心姿勢HP2。動作M3動作開始的中心姿勢(HP2)和動作結(jié)束的結(jié)束中心姿勢(也是HP2)是相同的。
此外，能用例如CD-ROM和DVD(Digital Video Disc)、硬盤、能重寫的半導(dǎo)體RAM，或者能重寫的光盤等構(gòu)成形狀數(shù)據(jù)庫14和動作數(shù)據(jù)庫15。
圖13示出了腳本數(shù)據(jù)61的結(jié)構(gòu)。由形狀數(shù)據(jù)識別信息和動作數(shù)據(jù)指定信息構(gòu)成腳本數(shù)據(jù)61。
形狀數(shù)據(jù)識別信息包括用于識別進(jìn)行顯示的立體圖符的骨骼模型的骨骼模型識別信息、用于識別這種骨骼模型中附有肌肉的折線的立體圖符折線信息，和用于識別附在這種折線表面上的結(jié)構(gòu)特征的立體圖符結(jié)構(gòu)特征識別信息。由這些形狀數(shù)據(jù)識別信息識別顯示的立體圖符。
動作數(shù)據(jù)指定信息記錄在腳本數(shù)據(jù)61中利用的動作順序和指示各動作從開始到結(jié)束的時間的時間寬度。在1個圖像數(shù)據(jù)中分配1個場面號碼。
腳本數(shù)據(jù)61預(yù)先指定動作的順序，使在腳本數(shù)據(jù)61中切換的場面(Si)和場面(Si+1)的動作(Mi)和動作(Mi+1)之間，動作(Mi)的動作結(jié)束姿勢(即動作結(jié)束的中心姿勢)與動作(Mi+1)的動作開始的姿勢(即動作開始的中心姿勢)一致。
作為具體例子，參照圖12和圖13和圖14進(jìn)行說明。
圖14表示以骨骼數(shù)據(jù)起動用圖13的腳本數(shù)據(jù)61指示的立體圖符的動作的圖。
利用圖12(a)-12(c)的動作M1-M3、圖13的腳本數(shù)據(jù)61使立體圖符動作，為了作成場面S1,S2,S3,……Si，指示使立體圖符動作的動作順序和各動作的從開始到結(jié)束的時間長度(下面稱為時間寬度)。
也就是說，在圖14的例中，場面S1在時間寬度T1間分配圖12(a)的動作M1，立體圖符的姿勢僅用時間寬度T1的時間，進(jìn)行從動作M1的開始的姿勢到結(jié)束的姿勢(HP1)的動作。
圖12中為了說明起見，雖然沒有示出動作中典型姿勢，但在實際的動作中應(yīng)該在這些典型姿勢間取立體圖符，以作為數(shù)據(jù)包含細(xì)節(jié)的姿勢。在沒有將姿勢作為數(shù)據(jù)的場合，能用眾所周知的例如1次線內(nèi)性插和樣條內(nèi)插等，以CPU(Central Processing Unit)的運算，生成必要的姿勢。
接著，場面S2中腳本數(shù)據(jù)61在時間寬度T2間分配動作M2。按照這種腳本數(shù)據(jù)，立體圖符僅用時間寬度T2進(jìn)行在圖12(b)的動作M2的開始的姿勢(HP1)到結(jié)束的姿勢(HP2)的動作。
這種場合，腳本數(shù)據(jù)作為在時間上鄰接的場面S1和場面S2間的動作M1和M2，設(shè)定成動作M1的動作結(jié)束的姿勢和接著的動作M2的動作開始的姿勢為相同的中心姿勢(HP1)。
因此，在圖14中，從場面S1到場面S2的立體圖符的動作是流暢的。
同樣，圖13中的腳本數(shù)據(jù)作為時間上鄰接的場面S2和場面S3間的動作M2和M3，設(shè)定成動作M2的動作結(jié)束的姿勢和接著的動作M3的動作開始的姿勢為相同的中心姿勢(HP2)。
因此，在圖14中，從場面S2到場面S3的立體圖符的動作是流暢的。
這樣，預(yù)先設(shè)定動作的順序，使腳本數(shù)據(jù)在時間鄰接的場面間某個場面中使用的動作(Mi)和接著使用的動作(Mi+1)間的中心姿勢為相同，能防止在場面的連接點立體圖符的動作變得不連續(xù)，從而實現(xiàn)動作流暢。
此外，雖然在圖13和圖14中沒有圖示，如圖12(c)的動作M3所示，作為切換的動作，在動作開始的姿勢和動作結(jié)束的姿勢是相同中心姿勢(HP3)的場合，腳本數(shù)據(jù)能無論多少次地重復(fù)指定相同動作M3。這是相同動作的重復(fù)，例如能利用在重復(fù)交互地踏出左右兩腳的步驟的場合中。
這種場合，因僅用規(guī)定的次數(shù)重復(fù)利用1個動作，所以與對重復(fù)2次動作、重復(fù)3次的動作，預(yù)先準(zhǔn)備各次重復(fù)動作的場合相比，包括在終端92的動作數(shù)據(jù)庫15中的動作少，因而經(jīng)濟。
圖11中動作切換描繪手段12進(jìn)行圖15所示的處理。
在圖15中，在步驟1，讀入腳本數(shù)據(jù)61，在步驟2，由動作數(shù)據(jù)庫取入在腳本數(shù)據(jù)中指定的動作。在步驟3，對各動作Mi的時間比例進(jìn)行調(diào)整，以便在時間寬度Ti內(nèi)結(jié)束從各動作Mi的開始到結(jié)束的活動。
這里，所謂的調(diào)整是指進(jìn)行動作的時間比例的放大、縮小。
在步驟4，按照腳本數(shù)據(jù)順序地排列調(diào)整時間比例后的動作Mi。因原來的動作將關(guān)鍵幀作為信息歸其所有，所以有必要利用內(nèi)插生成關(guān)鍵幀和接著的關(guān)鍵幀之間的數(shù)據(jù)。
在步驟5，進(jìn)行關(guān)鍵幀內(nèi)插。此外，作為關(guān)鍵幀內(nèi)插雖然有1次線性內(nèi)插、樣條非線性型內(nèi)插等已知的若干種方法，但因用其它的手法也能達(dá)到相同的效果，所以本發(fā)明不限所述內(nèi)插方法。
在步驟6，按照以每一幀速率排列的動作確定立體特征的姿勢，進(jìn)行構(gòu)思，并在顯示手段16上顯示該立體圖符。
進(jìn)行前述的處理，直到腳本數(shù)據(jù)61指定的動作的最后的動作結(jié)束為止。
這樣，因從服務(wù)器發(fā)送到終端92上的僅是腳本數(shù)據(jù)61，所以發(fā)送的數(shù)據(jù)量少，網(wǎng)絡(luò)53的負(fù)擔(dān)輕。
但是，在場面的切換時，因切換的動作應(yīng)取與立體圖符相同姿勢，并用共同的中心姿勢的定時執(zhí)行切換，所以場面和場面的連接點的圖形顯示流暢。
在前述的實施形態(tài)中，執(zhí)行和接著執(zhí)行的活動模式共同進(jìn)行，換言之，用完全一致的中心姿勢的定時，切換執(zhí)行的活動模式并執(zhí)行場面的切換，但即使終端側(cè)做成確定各場面的時間，使得用與執(zhí)行和接著執(zhí)行的活動模式幾乎共同的位置的定時，切換執(zhí)行的活動模式并執(zhí)行場面的切換，也能期待幾乎相同的效果。
實施形態(tài)5
圖16-圖18表示實施形態(tài)5。
在圖16中，通過網(wǎng)絡(luò)53連接終端32和服務(wù)器31。14是終端32的形狀數(shù)據(jù)庫，15是動作數(shù)據(jù)庫，18是存儲器，74是服務(wù)器31的腳本數(shù)據(jù)庫，75是形狀數(shù)據(jù)庫，76是動作數(shù)據(jù)庫。
此外，能用例如CD-ROM和DVD(Digital Video Disc)、硬盤、能重寫的半導(dǎo)體RAM，或者能重寫的光盤等構(gòu)成終端32的動作數(shù)據(jù)庫15和形狀數(shù)據(jù)庫14。
這里，所謂的服務(wù)器31是指客戶服務(wù)器型的所謂服務(wù)器專用機，同時將在一臺設(shè)備上具有所謂同等層對同等層型功能和客戶功能等兩種功能的設(shè)備也稱為服務(wù)器。
在形狀數(shù)據(jù)庫14、75中保管與各種各樣的立體圖符相關(guān)的數(shù)據(jù)。在各個數(shù)據(jù)上分配各自固有的識別號碼。
舉一例來說，用識別號碼管理附在折線表面上的結(jié)構(gòu)特征等，保管用與骨骼模型相對應(yīng)的手、腳、臉、軀體的折線構(gòu)成各種各樣三維圖符的骨骼模型的各部位的數(shù)據(jù)。
但是，保管在形狀數(shù)據(jù)庫14、75中的數(shù)據(jù)不必是一致的，即使在服務(wù)器31的形狀數(shù)據(jù)庫75中，也有沒有保管在終端32的形狀數(shù)據(jù)庫14中的數(shù)據(jù)。
同樣，在動作數(shù)據(jù)庫15、76中保管對應(yīng)于各立體圖符的動作的數(shù)據(jù)。在各種各樣的動作上附以固有的識別號碼，在動作數(shù)據(jù)庫15中管理并保存。保管在這些數(shù)據(jù)庫中的數(shù)據(jù)不必是一致的，即使在服務(wù)器31的動作數(shù)據(jù)庫76中，也有沒有保管在終端32的動作數(shù)據(jù)庫15中的數(shù)據(jù)。
欠缺數(shù)據(jù)檢索手段71考察從服務(wù)器31發(fā)送來的腳本數(shù)據(jù)61中指定的形狀數(shù)據(jù)和動作數(shù)據(jù)是否全部包含在形狀數(shù)據(jù)庫14和動作數(shù)據(jù)庫15中。
能用圖13所示的腳本數(shù)據(jù)61的動作指定信息中的動作的識別號碼(M1,M2,……,Mi)進(jìn)行這種考察。
如果存在沒有包含在終端32的各數(shù)據(jù)庫中的數(shù)據(jù)，則欠缺數(shù)據(jù)檢索手段71將這種數(shù)據(jù)的識別信息傳送到數(shù)據(jù)請求手段72中。通過網(wǎng)絡(luò)53，數(shù)據(jù)請求手段72將對下載欠缺數(shù)據(jù)的請求，該數(shù)據(jù)的識別信息，以及發(fā)出下載請求的終端32的識別號碼(例如IP地址等)傳送到服務(wù)器31的數(shù)據(jù)選擇手段73中。
由下載請求和數(shù)據(jù)識別信息，數(shù)據(jù)選擇手段73從形狀數(shù)據(jù)庫75或者動作數(shù)據(jù)庫76中找出該數(shù)據(jù)，并與發(fā)出下載請求的終端32的識別號碼一起傳送到數(shù)據(jù)發(fā)送手段1中。
數(shù)據(jù)發(fā)送手段1通過網(wǎng)絡(luò)53，對所接收識別號碼處的終端32發(fā)送接收到的數(shù)據(jù)。
終端32的數(shù)據(jù)接收手段11將接收到的數(shù)據(jù)存儲在存儲器18中。
動作切換描繪圖像手段12用保存在形狀數(shù)據(jù)庫14和動作數(shù)據(jù)庫15，以及存儲器18中的數(shù)據(jù)進(jìn)行用按照腳本數(shù)據(jù)61指示的作圖，并將圖形顯示在顯示手段16上。
圖17表示終端32的處理的流程圖。通過網(wǎng)絡(luò)53，腳本數(shù)據(jù)61從服務(wù)器31全部傳送到終端32上。
圖17中，在步驟B1，將腳本數(shù)據(jù)61讀入到終端32中。在步驟B2，欠缺數(shù)據(jù)檢索手段71檢索形狀數(shù)據(jù)庫14和動作數(shù)據(jù)庫15，根據(jù)形狀數(shù)據(jù)和動作的識別信息，對腳本數(shù)據(jù)61指定的全部的形狀數(shù)據(jù)和動作，考察是否存在，并在步驟B3判定其結(jié)果。
在步驟B3判定不存在的場合，在步驟B4中，數(shù)據(jù)請求手段72向服務(wù)器31請求欠缺的形狀數(shù)據(jù)(或/和)動作，以便傳送到終端32上，這時，也附以請求的終端32的識別號碼，將該請求發(fā)送到服務(wù)器31中。
圖18示出了服務(wù)器31的處理。
在圖18的步驟B21中，服務(wù)器31的數(shù)據(jù)選擇手段73由服務(wù)器31內(nèi)的動作數(shù)據(jù)庫76，檢索由終端32請求的識別號碼的動作，并送到數(shù)據(jù)發(fā)送手段1中。
在步驟B22中，數(shù)據(jù)發(fā)送手段1將這種動作傳送到請求的終端32上。這時，由終端32的識別號碼，識別傳送目的地。
現(xiàn)在回到圖17，在步驟B5，用終端32的數(shù)據(jù)接收手段11接收傳送來的動作(即欠缺數(shù)據(jù))，并保持在存儲器18中。
在步驟B6，按照腳本數(shù)據(jù)61的指定，動作切換描繪手段12對動作進(jìn)行組合，生成一系列的動作，描繪生成的立體圖符，在步驟B7，用顯示手段16進(jìn)行顯示。配光的方法等與實施形態(tài)1相同的。
在這種實施形態(tài)中，因從服務(wù)器31傳送到終端32的是數(shù)據(jù)容量小的腳本數(shù)據(jù)61，所以通信時間短，萬一在終端32上必要的圖符數(shù)據(jù)和動作欠缺時，因只有在這時傳送欠缺的圖符數(shù)據(jù)和動作，所以與以往的每次傳送圖符數(shù)據(jù)和動作的場合相比，能縮短通信時間。
在該實施形態(tài)5中，雖然以欠缺數(shù)據(jù)取為動作數(shù)據(jù)，但除此以外，在形狀數(shù)據(jù)欠缺的場合也相同，借助于終端32向服務(wù)器31請求數(shù)據(jù)，服務(wù)器31檢索由數(shù)據(jù)庫請求的數(shù)據(jù)，并通過網(wǎng)絡(luò)53進(jìn)行發(fā)送，補足終端的欠缺數(shù)據(jù)，能按照腳本數(shù)據(jù)進(jìn)行顯示。
實施形態(tài)6圖19和圖20表示實施形態(tài)6。
在圖19表示本發(fā)明的AV同步重放裝置，樂曲演奏手段101讀入樂曲數(shù)據(jù)并根據(jù)讀入的樂曲數(shù)據(jù)進(jìn)行音樂演奏。樂曲數(shù)據(jù)如MIDI(Musical InstrumentalDigital Interface)標(biāo)準(zhǔn)的那樣，規(guī)定音樂的演奏速率、音色、音調(diào)等音樂演奏中必要的全部參數(shù)。因由這種MIDI數(shù)據(jù)演奏音樂的方式是已經(jīng)有很多系統(tǒng)被實用化了的已知技術(shù)，所以這里省略對其進(jìn)行說明。
這種樂曲演奏手段101實時地更新當(dāng)前已知的樂曲位置。用從樂曲開頭的總的節(jié)拍數(shù)，進(jìn)行在本實施形態(tài)中的樂曲位置的識別。但是，關(guān)于這種識別方法，只要能淮一地識別樂曲位置，用任何識別方法都可以。根據(jù)當(dāng)前演奏的聲音是離演奏開頭的第幾節(jié)拍(下面定義為節(jié)拍ID)，識別樂曲位置。此外，用節(jié)拍的單位時間(下面定義為速率時間)，規(guī)定作為本實施形態(tài)中的演奏的基礎(chǔ)的速率信息。這也是只要是控制演奏速率的信息，任何信息均可。
同步信息表102對應(yīng)于作為樂曲位置的節(jié)拍ID、作為速率信息的速率時間，以及對其進(jìn)行更新的時刻(下面將其定義為同步信息更新時刻)，進(jìn)行暫存。
同步信息更新手段103使樂曲演奏手段101演奏的節(jié)拍ID、速率時間及其更新時刻存儲到同步信息表102中。
樂曲位置計算手段104由當(dāng)前時刻和同步信息表102的同步信息，計算與當(dāng)前時刻對應(yīng)的樂曲位置。該樂曲位置用下式(A)計算。
H(tc)=Ht+((tc-t)/Pt)……(A)H(tc)與當(dāng)前時刻對應(yīng)的樂曲位置(節(jié)拍ID)tc當(dāng)前時刻Ht同步信息表102的節(jié)拍IDt同步信息表102的同步信息更新時刻Pt同步信息表102的速率時間幀輸出手段106從與樂曲演奏手段101正在演奏的樂曲數(shù)據(jù)相對應(yīng)的CG數(shù)據(jù)，基于樂曲位置計算手段104計算的樂曲位置，將與樂曲數(shù)據(jù)同步的幀數(shù)據(jù)輸出到暫時存儲幀數(shù)據(jù)的幀緩存器105中。
CG數(shù)據(jù)不必與樂曲位置一一對應(yīng)。只要有多個關(guān)鍵幀數(shù)據(jù)，就可以用幀內(nèi)插技術(shù)算出對應(yīng)于樂曲位置的幀數(shù)據(jù)。這種幀內(nèi)插技術(shù)如樣條內(nèi)插和線性內(nèi)插等，因多為已知技術(shù)所以省略其說明。采用這些幀內(nèi)插技術(shù)，則根據(jù)由開始時刻和結(jié)束時刻以及關(guān)鍵幀數(shù)據(jù)定義的CG數(shù)據(jù)，可以算出任意幀進(jìn)展位置Ft(開始時刻≤Ft≤結(jié)束時刻)的幀數(shù)據(jù)。
因此，與演奏數(shù)據(jù)相關(guān)連的CG數(shù)據(jù)，借助于與樂曲位置建立對應(yīng)關(guān)系(下面分別用開始節(jié)拍ID、結(jié)束節(jié)拍ID定義對應(yīng)的樂曲位置)，生成開始時刻和結(jié)束時刻。這樣，如果是關(guān)連的CG，則可用下式(B)算出幀的進(jìn)展位置Ft。
Ft=Hs+((H(tc)-Hs)/(He-Hs))……(B)H(tc)與樂曲位置計算手段104計算的當(dāng)前時刻對應(yīng)的樂曲位置(節(jié)拍ID)tc當(dāng)前時刻Hs與開始時刻對應(yīng)的開始節(jié)拍IDHe與結(jié)束時刻對應(yīng)的結(jié)束節(jié)拍ID這樣，基于算出的幀的進(jìn)展位置，能用幀內(nèi)插技術(shù)將與樂曲演奏手段101的演奏同步的幀數(shù)據(jù)不斷地輸出到幀緩存器105中。
圖像顯示手段107借助于順序地更新顯示存儲在幀緩存器105中的幀數(shù)據(jù)，對活動圖像進(jìn)行顯示。圖20示出了這種結(jié)構(gòu)的AV同步重放裝置的具體的流程圖。
AV同步重放裝置從對應(yīng)于CG數(shù)據(jù)的開始節(jié)拍ID到結(jié)束節(jié)拍ID為止重復(fù)以下的動作。這里，對使開始節(jié)拍ID(Hs)、結(jié)束節(jié)拍ID(He)同步并進(jìn)行重放的處理進(jìn)行說明。
在步驟S101中，樂曲位置計算手段104用式(A)計算對應(yīng)于當(dāng)前時刻(t)的樂曲位置(H(t))。
在步驟S102中，在樂曲位置(H(t))比開始節(jié)拍ID(Hs)小的場合，什么也不做就結(jié)束，如果大于開始節(jié)拍ID(Hs)，則進(jìn)入到步驟S103中。
在步驟S103中，在樂曲位置(H(t))比結(jié)束節(jié)拍ID(He)大的場合，什么也不做就結(jié)束，如果小于結(jié)束節(jié)拍ID(Hs)，則進(jìn)入到步驟S104中。
在步驟S104中，基于根據(jù)式(B)算出的幀進(jìn)展位置Ft，幀輸出手段106用幀內(nèi)插技術(shù)算出幀數(shù)據(jù)，并輸出到幀緩存器105中。
實施形態(tài)7圖21表示實施形態(tài)7，在本實施形態(tài)中除設(shè)置同步信息實時更新手段201代替圖19所示的實施形態(tài)6的同步更新手段103這一點不同外，其它的結(jié)構(gòu)要素與實施形態(tài)6相同。
同步信息實時更新手段201僅在樂曲演奏手段101更新數(shù)據(jù)的場合對周期信息表102的同步信息進(jìn)行更新。例如，僅在時而速率信息變化、時而樂曲位置變更的場合進(jìn)行更新。因此，在不更新速率信息、樂曲位置的場合，不進(jìn)行上述更新。
實施形態(tài)8圖22表示實施形態(tài)8，在本實施形態(tài)中除設(shè)置同步信息定期更新手段301代替圖19所示的實施形態(tài)6的同步更新手段103這一點不同外，其它的結(jié)構(gòu)要素與實施形態(tài)6相同。
同步信息定期更新手段301按一定的周期更新周期信息表102。該周期可以是每1節(jié)拍1次那樣的樂曲單位，也可以是每130秒1次那樣的一般的單位。
實施形態(tài)9圖23表示實施形態(tài)9，在本實施形態(tài)中除在圖19所示的實施形態(tài)6中增加運算時間預(yù)測手段401外，其它的結(jié)構(gòu)要素與實施形態(tài)6相同。
運算時間預(yù)測手段401由CG數(shù)據(jù)的折線數(shù)、頂點數(shù)預(yù)測運算所要的時間。運算時間一般與成為運算對象的折線數(shù)、頂點數(shù)成正比。通常，由成為下一個運算對象的折線數(shù)、頂點數(shù)預(yù)測運算時間。此外，運算時間預(yù)測手段401也考慮計算機的CPU處理能力等處理能力進(jìn)行預(yù)測。因此，即使因幀而折線數(shù)不同的的場合，也能預(yù)測與其對應(yīng)的運算時間。
幀輸出手段106將與運算時間預(yù)測手段401預(yù)測的運算時間加到樂曲位置計算手段104計算的樂曲位置上所得的樂曲位置同步的幀數(shù)據(jù)，輸出到幀緩存器105中。用下面的式(C)算出幀的進(jìn)展位置。
Ft=Hs+((H(tc)-Hs)/(He-Hs))+(Et/Pt)……(C)H(tc)與樂曲位置計算手段104計算的當(dāng)前時刻對應(yīng)的樂曲位置(節(jié)拍ID)Hs與開始時刻對應(yīng)的開始節(jié)拍IDHe與結(jié)束時刻對應(yīng)的結(jié)束節(jié)拍ID
Et運算時間預(yù)測手段401預(yù)測的運算時間Pt同步信息表102的速率時間這樣，能基于算出的幀的進(jìn)展位置，將用幀內(nèi)插技術(shù)與樂曲演奏手段101的演奏取得同步的幀數(shù)據(jù)不斷地輸出到幀緩存器105中。
實施形態(tài)10圖24表示實施形態(tài)10，在本實施形態(tài)中除在圖19所示的實施形態(tài)6中增加演奏延遲預(yù)測手段501外，其它的結(jié)構(gòu)要素與實施形態(tài)6相同。
演奏延遲預(yù)測手段501基于樂曲數(shù)據(jù)，將該數(shù)據(jù)實際上作為聲音，預(yù)測從揚聲器等的輸出裝置輸出前的演奏延遲時間。一般也考慮計算機的CPU處理能力等的處理能力進(jìn)行預(yù)測。因此，如果識別樂曲位置，則從樂曲數(shù)據(jù)能實時地預(yù)測該樂曲位置的演奏延遲時間。
同步信息更新手段103將在樂曲位置上增加演奏延遲預(yù)測手段501預(yù)測的演奏延遲時間的值，輸出到同步信息表102中。
實施形態(tài)11圖25表示實施形態(tài)11，在本實施形態(tài)中除在圖19所示的實施形態(tài)6中增加顯示延遲預(yù)測手段601外，其它的結(jié)構(gòu)要素與實施形態(tài)6相同。
顯示延遲預(yù)測手段601預(yù)測圖像顯示手段107實際顯示幀緩存器105的數(shù)據(jù)前的顯示延遲時間。這能由圖像顯示手段107的重現(xiàn)能力等性能進(jìn)行預(yù)測。
幀輸出手段106算出將顯示延遲預(yù)測手段601預(yù)測的顯示延遲時間加到樂曲位置計算手段104計算的樂曲位置上的值的幀數(shù)據(jù)。用下面的式(D)算出幀時間的值。
Ft=Hs+((H(tc)-Hs)/(He-Hs))+(Dt/Pt)……(D)H(tc)與樂曲位置計算手段104計算的當(dāng)前時刻對應(yīng)的樂曲位置(節(jié)拍ID)Hs與開始時刻對應(yīng)的開始節(jié)拍IDHe與結(jié)束時刻對應(yīng)的結(jié)束節(jié)拍IDDt顯示延遲預(yù)測手段601預(yù)測的顯示延遲時間Pt同步信息表102的速率時間這樣，能基于算出的幀的進(jìn)展位置，將用幀內(nèi)插技術(shù)與樂曲演奏手段101的演奏取得同步的幀數(shù)據(jù)不斷地輸出到幀緩存器105中。
實施形態(tài)12
圖26表示實施形態(tài)12，在本實施形態(tài)中除在圖19所示的實施形態(tài)6中增加特殊重放開始通知手段701、特殊重放結(jié)束通知手段702和特殊重放同步信息更新手段703外，其它的結(jié)構(gòu)要素與實施形態(tài)6相同。
特殊重放開始通知手段701在特殊重放開始的場合，由操作員發(fā)生特殊重放開始信號。特殊重放結(jié)束通知手段702在特殊重放結(jié)束的場合，由操作員發(fā)生特殊重放結(jié)束信號。
特殊重放同步信息更新手段703在從特殊重放開始通知手段701發(fā)生特殊重放開始信號的時刻開始到特殊重放結(jié)束通知手段702發(fā)生特殊重放結(jié)束信號為止間的特殊重放中，對應(yīng)于該特殊重放的種類，更新同步信息表102的樂曲位置和速率時間。例如，在倍速重放的場合，將通常的速率時間調(diào)成1/2，用通常的2倍的速度進(jìn)行節(jié)拍ID。
實施形態(tài)13圖27-圖32表示實施形態(tài)13，在下面的說明中根據(jù)計算機制圖(下面稱為“CG制圖”)描繪圖像，例如，將3維的CG制像稱為CG圖符。
圖27所示的AV同步重放裝置包括輸入來自用戶或者操作員的演奏開始命令，保存樂曲數(shù)據(jù)的樂曲數(shù)據(jù)保存單元D1，基于從樂曲數(shù)據(jù)保存單元D1輸出的樂曲數(shù)據(jù)生成演奏聲的波形數(shù)據(jù)的輸出波形生成單元D2，以及暫時存儲來自輸出波形生成單元D2的一定量的波形數(shù)據(jù)的聲音數(shù)據(jù)用緩存器D3。此外，AV同步重放裝置還包括將來自聲音數(shù)據(jù)用緩存器D3的波形數(shù)據(jù)變換成模擬信號的聲音信號的D/A變換器D4、放大來自D/A變換器D4的聲音信號的放大器D5，以及演奏來自放大器D5的被放大的聲音信號進(jìn)行發(fā)音的揚聲器D6。
由能改寫的記錄媒體(例如RAM)構(gòu)成樂曲數(shù)據(jù)保持單元D1，基于在輸入演奏開始命令前CD-ROM、DVD或者類似的記錄媒體，或者通信線路，取得應(yīng)該重放的樂曲的樂曲數(shù)據(jù)。因樂曲數(shù)據(jù)與實施形態(tài)6相同，所以省略其說明。此外，借助于聲音數(shù)據(jù)用緩存器D3存儲一定量的波形數(shù)據(jù)，能防止在揚聲器D6重放的演奏中途中斷。
此外，將用于輸出同步信息的節(jié)拍發(fā)生單元D7連接到樂曲數(shù)據(jù)保持單元D1上。節(jié)拍發(fā)生單元D7根據(jù)包含在來自樂曲數(shù)據(jù)保存單元D1的樂曲數(shù)據(jù)中的速率信息，對特定音符份額、(例如一拍的四分音符)樂曲演奏的每一進(jìn)展，發(fā)生由在該時刻的樂曲演奏位置(節(jié)拍ID)和速率時間Temp(i)(參照圖29)組成的同步信息。因節(jié)拍ID和速率時間與實施形態(tài)6相同，所以省略其說明。
將聲音數(shù)據(jù)用緩存器D3連接到節(jié)拍發(fā)生單元D7上，每當(dāng)從聲音數(shù)據(jù)用緩存器D3將演奏聲的波形數(shù)據(jù)輸出到D/A變換器D4時，就由聲音數(shù)據(jù)用緩存器D3將該輸出的定時告知節(jié)拍發(fā)生單元D7。例如將以44.1KHz的周期輸出波形數(shù)據(jù)的情況告知節(jié)拍發(fā)生單元D7中。
借助于這種結(jié)構(gòu)，來自聲音數(shù)據(jù)用緩存器D3的輸出的定時，具有作為在節(jié)拍發(fā)生單元D7中起44.1KHz的內(nèi)部時鐘的作用。此外，在這種AV同步重放裝置中，作為進(jìn)行CG圖符的重放處理的設(shè)備，包括保存腳本數(shù)據(jù)的腳本數(shù)據(jù)保存單元D8、根據(jù)與腳本數(shù)據(jù)保存單元D8連接的腳本數(shù)據(jù)生成AV同步指示數(shù)據(jù)的AV同步指示數(shù)據(jù)生成單元D9、節(jié)拍發(fā)生單元D7、與AV同步指示數(shù)據(jù)生成單元D9連接的顯示幀確定單元D10、CG配光單元D11、幀緩存器D12和監(jiān)視器D13。
在顯示幀確定單元D10中，連接存儲指示CG圖符的活動(動作)的活動圖像數(shù)據(jù)的活動圖像數(shù)據(jù)保存單元D14和存儲表示CG圖符的形狀的CG圖符形狀數(shù)據(jù)的CG圖符形狀數(shù)據(jù)保存單元D15。
將分別存伴用于進(jìn)行顯示CG圖符的配光的攝像機視點信息、光源信息的攝像機視點信息保存單元D16和光源信息保存單元D17，連接到CG配光單元D11中。
利用能重寫的記錄媒體(例如RAM)構(gòu)成腳本數(shù)據(jù)保存單元D8、活動圖像數(shù)據(jù)保存單元D14、CG圖符形狀數(shù)據(jù)保存單元D15、攝像機視點信息保存單元D16和光源信息保存單元D17。
腳本數(shù)據(jù)保存單元D8/活動圖像數(shù)據(jù)保存單元D14以及CG圖符形狀數(shù)據(jù)保存單元D15根據(jù)在輸入演奏開始命令前，由CD-ROM、DVD或者類似的記錄媒體，或者通信線路，分別輸入并保持腳本數(shù)據(jù)、活動圖像數(shù)據(jù)和CG圖符形狀數(shù)據(jù)。
輸入到腳本數(shù)據(jù)保存單元D8中的腳本數(shù)據(jù)是借助于使多個活動圖像數(shù)據(jù)對應(yīng)于樂曲數(shù)據(jù)按時間序列接合，從而生成CG圖符的一系列動作用的指示數(shù)據(jù)。
此外，腳本數(shù)據(jù)包含攝像機視點信息和光源信息，并對每個顯示的幀指定活動圖像數(shù)據(jù)、CG圖符形狀數(shù)據(jù)、攝像機視點信息和光源信息。腳本數(shù)據(jù)包含攝像機視點信息和光源信息。
攝像機視點信息和光源信息在將腳本數(shù)據(jù)保存在腳本數(shù)據(jù)保存單元D8中的同時，分別輸出并保存在攝像機視點信息保存單元D16和光源信息保存單元D17中。
此外，攝像機視點信息和光源信息是分別表示假想的攝像機的攝影條件和假想的光源的照射條件的信息，由指定攝像機的位置、攝影方向和的數(shù)據(jù)，構(gòu)成攝像機視點信息，而光源信息則由指定光源位置、照射方向和效果的數(shù)據(jù)構(gòu)成。
AV同步指示數(shù)據(jù)生成單元D9在根據(jù)腳本數(shù)據(jù)分割的各活動圖像數(shù)據(jù)中以前述的四分音符(特定音符)的1拍為基準(zhǔn)，生成對應(yīng)于樂曲數(shù)據(jù)的進(jìn)展和CG圖符活動圖像數(shù)據(jù)的進(jìn)展的AV同步指示數(shù)據(jù)。也就是說，AV同步指示數(shù)據(jù)生成單元D9每當(dāng)四分音符(特定音符)進(jìn)展1拍，就生成指定應(yīng)顯示幀的AV同步指示數(shù)據(jù)。
(腳本數(shù)據(jù))現(xiàn)參照圖28(a)、(b)對腳本數(shù)據(jù)和AV同步指示數(shù)據(jù)具體地進(jìn)行說明。
圖28(a)是表示圖27所示的AV同步重放裝置的樂曲的節(jié)拍數(shù)、活動圖像數(shù)據(jù)和腳本數(shù)據(jù)的關(guān)系的圖。圖28(b)是表示圖27所示的AV同步重放裝置的樂曲的節(jié)拍數(shù)、活動圖像數(shù)據(jù)、腳本數(shù)據(jù)和AV同步指示數(shù)據(jù)的關(guān)系的圖。
在圖28(a)和圖28(b)中，橫坐標(biāo)軸表示節(jié)拍ID。雖然能采用任意的音符作為特定音符，但這里如前所述，采用四分音符為節(jié)拍的基準(zhǔn)，作為特定音符。圖28(b)將圖28(a)中第1節(jié)拍到第H1節(jié)拍的部分加以放大后示出。
如圖28(a)所示，腳本數(shù)據(jù)使用保存在樂曲數(shù)據(jù)保存單元D1中的樂曲數(shù)據(jù)的樂曲節(jié)拍數(shù)和保存在活動圖像數(shù)據(jù)保存單元D14中的活動圖像數(shù)據(jù)的初始幀相對應(yīng)。例如，樂曲的節(jié)拍ID從1到H1為止根據(jù)腳本數(shù)據(jù)對應(yīng)于活動圖像數(shù)據(jù)M1。由此，分別指定第N11號的初始幀在第1拍，第N21號的初始幀在第H1拍。同樣，樂曲的節(jié)拍ID從(H1+1)到H2為止根據(jù)腳本數(shù)據(jù)對應(yīng)于活動圖像數(shù)據(jù)M2。由此，分別指定第N12號的初始幀在第(H1+1)拍，第N22號的初始幀在第H2拍。同樣，樂曲的節(jié)拍從(H2+1)到H3為止根據(jù)腳本數(shù)據(jù)對應(yīng)于活動圖像數(shù)據(jù)M3。由此，分別指定第N13號的初始幀在第(H2+1)拍，第N23號的初始幀在第H3節(jié)拍。
此外，稱為初始幀的原因在于顯示幀確定單元D10根據(jù)此初始幀確定實際在監(jiān)視器D13顯示的幀。
借助于前述那樣建立活動圖像數(shù)據(jù)和樂曲的對應(yīng)關(guān)系，例如，當(dāng)根據(jù)樂曲時而用6拍進(jìn)行100幀的動作，時而用8拍進(jìn)行100幀的動作時，能用1個活動圖像數(shù)據(jù)使100幀的活動圖像數(shù)據(jù)對應(yīng)于各種各樣動作的進(jìn)行速度，并因能減少活動圖像數(shù)據(jù)保存單元D14的存儲容量而更加經(jīng)濟。
(AV同步指示數(shù)據(jù))如前所述，AV同步指示數(shù)據(jù)是是使樂曲數(shù)據(jù)的進(jìn)展和CG圖符的動作數(shù)據(jù)的進(jìn)展建立對應(yīng)關(guān)系的數(shù)據(jù)，按四分音符(特定音符)為1拍逐拍均等分割，生成分配給各活動圖像數(shù)據(jù)的初始幀。這樣，如圖28(b)所示，借助于生成AV同步指示數(shù)據(jù)，分配到活動圖像數(shù)據(jù)M1中節(jié)拍ID的從N11開始到N21為止的初始幀，分別對應(yīng)于樂曲數(shù)據(jù)的第2、3、4……拍，分成用于表示在監(jiān)視器D13上顯示的幀的進(jìn)展位置的幀n21、n31、n41……。
此外，因根據(jù)AV同步指示數(shù)據(jù)指定的幀的數(shù)不限于一定是整數(shù)，所以前述的幀n21、n31、n41也有不存儲在活動圖像數(shù)據(jù)保存單元D14中的。但是，不是存儲的幀在后述的顯示幀確定單元D10的CG圖符的重放處理中，利用樣條內(nèi)插等眾所周知的數(shù)據(jù)內(nèi)插方法，能從活動圖像數(shù)據(jù)保存單元D14中存儲的幀求出，所以沒有問題。
同樣，在活動圖像數(shù)據(jù)M2中，也分成用于表示與樂曲數(shù)據(jù)的節(jié)拍逐一對應(yīng)的幀的進(jìn)展位置的幀n22、n32、n42……。
圖27所示的顯示幀確定單元D10在顯示的CG圖符的各幀中，基于AV同步指示數(shù)據(jù)和同步信息，計算并確定下一顯示幀中的CG圖符的姿勢。詳細(xì)地說，假設(shè)幀緩存器D12將圖像輸出到作為圖像顯示裝置的監(jiān)視器D13中的時間間隔為ΔT時，顯示幀確定單元D10根據(jù)前述的節(jié)拍發(fā)生單元D7來的同步信息中包含的速率時間Temp(i)、在輸入這種同步信息的時刻寫入到幀緩存器D12中的CG圖符的活動圖像數(shù)據(jù)幀的進(jìn)展位置、在輸入接著的同步信息時由前述AV同步指示數(shù)據(jù)指定的CG圖符的活動圖像數(shù)據(jù)幀的進(jìn)展位置和前述的時間間隔ΔT，確定寫入到幀緩存器D12中的CG圖符的姿勢。
此外，時間間隔ΔT的具體的值在例如監(jiān)視器D13每1秒30次顯示CG圖符的場合，ΔT是1/30秒。
(CG圖符的姿勢的計算)
下面，對于顯示幀確定單元D10中CG圖符的姿勢的具體計算方法進(jìn)行說明。
首先，顯示幀確定單元D10將由節(jié)拍發(fā)生單元D7輸入的同步信息的樂曲演奏位置(第i拍)與AV同步指示數(shù)據(jù)核對，求得在輸入這種同步信息的時刻寫入到幀緩存器D12中的CG圖符的活動圖像數(shù)據(jù)幀進(jìn)展位置fi和在接著的同步信息送來的定時(第i+1拍)中根據(jù)AV同步指示數(shù)據(jù)指定的幀的進(jìn)展位置Fi+1。此外，顯示幀確定單元D10在從由本次輸入的同步信息的樂曲的速率時間Temp(i)所示的第i拍到第(i+1)拍為止的時間段之間，用下面的式(1)算出每個前述的時間間隔ΔT顯示并進(jìn)展的CG圖符的幀進(jìn)展位置flame(j)。
flame(j)= fi+(Fi+1-fi)×(j×ΔT/Temp(i))……(1)此外，在式(1)中，j是從顯示幀確定單元D10輸入1個同步信息后到輸入接著的同步信息為止，對在幀緩存器D12中寫入的幀數(shù)進(jìn)行計數(shù)的計數(shù)值。也就是說，j的值在輸入同步信息的時刻置0，然后，每當(dāng)CG圖符的幀進(jìn)展時，遞增1，直到等于Temp(i)/ΔT為止。此外，在式(1)中，i和Temp(i)的值在輸入接著的第(i+1)拍的同步信息前保持相同的值，當(dāng)輸入第(i+1)拍的同步信息時，更新該同步信息的值。
接著，顯示幀確定單元D10用對活動圖像數(shù)據(jù)初始幀采用樣條內(nèi)插而求得的幀進(jìn)展位置flame(i)為變量的CG圖符活動圖像數(shù)據(jù)的函數(shù)P(幀進(jìn)展位置)，算出并確定所顯示各幀中的CG圖符的姿勢。
顯示幀決定單元D10在確定了CG圖符的姿勢后，從確定的CG圖符的姿勢算出在這種CG圖符的各折線頂點坐標(biāo)數(shù)據(jù)。此外，顯示幀確定單元D10從CG圖符形狀數(shù)據(jù)保存單元D15讀出由腳本數(shù)據(jù)指定的CD特征形狀數(shù)據(jù)，用這種CG圖符形狀數(shù)據(jù)和算出的頂點坐標(biāo)數(shù)據(jù)生成CG圖符的圖像數(shù)據(jù)。然后，顯示幀確定單元D10將生成的圖像數(shù)據(jù)和腳本數(shù)據(jù)一起輸出到CG配光單元D11中。此外，顯示幀確定單元D10為了進(jìn)行腳本數(shù)據(jù)是否結(jié)束的判斷，記錄送到CG配光單元D11中的幀進(jìn)展位置fi。
CG配光單元D11根據(jù)包含在腳本數(shù)據(jù)中的攝像機視點信息和光源信息，對每一幀進(jìn)行CG圖符的配光。也就是說，CG配光單元D11根據(jù)來自顯示幀確定單元D10的圖像數(shù)據(jù)，生成用指定的攝像機的攝影條件和聚光燈與太陽光等指定的光源的照射條件照出的CG圖符的圖像數(shù)據(jù)。CG配光單元D11將配光后的CG圖符的圖像數(shù)據(jù)輸出并寫入到幀緩存器D12中。然后，幀緩存器D12將CG圖符的圖像數(shù)據(jù)輸出到監(jiān)視器D13中，監(jiān)視器D13對CG圖符進(jìn)行顯示。
下面，參照圖29所示的時序圖對樂曲演奏的進(jìn)展、在每幀中進(jìn)行的顯示幀確定單元D10的姿勢計算和在CG配光單元D11的配光處理的關(guān)系進(jìn)行說明。
圖29是表示圖27所示的AV同步重放裝置的樂曲數(shù)據(jù)、CG圖符的姿勢計算和配光處理在時間上的關(guān)系的時序圖。在圖29中，箭頭“T”表示時間的經(jīng)過，垂直線“A”、“B”、“C”分別表示根據(jù)樂曲數(shù)據(jù)的樂曲的進(jìn)展、在顯示幀確定單元D10中姿勢計算的進(jìn)展和CG配光單元D11中配光處理的進(jìn)展。
如圖29所示，根據(jù)樂曲數(shù)據(jù)的樂曲演奏從樂曲的開頭到達(dá)第i拍時，由節(jié)拍發(fā)生單元D7對顯示幀確定單元D10輸出同步信息。如前所述，這種同步信息包含作為當(dāng)前時刻樂曲演奏位置的第i拍和樂曲的速率時間Temp(i)。
顯示幀確定單元D10用前述的式(1)不斷地利用同步信息計算每ΔT秒進(jìn)行的CG圖符的幀進(jìn)展位置flame(j)。并且，顯示幀確定單元D10用活動圖像數(shù)據(jù)的函數(shù)P(幀進(jìn)展位置)確定CG圖符的姿勢，算出構(gòu)成CG圖符的各折線頂點坐標(biāo)數(shù)據(jù)。在圖中，第i拍的姿勢計算、第i+ΔT/Temp(i)拍的姿勢計算，……，示出了這種姿勢計算所要的時間(包含頂點坐標(biāo)數(shù)據(jù)的算出時間)。然后，顯示幀確定單元D10根據(jù)算出的頂點坐標(biāo)數(shù)據(jù)和腳本數(shù)據(jù)指定的CG圖符形狀數(shù)據(jù)，瞬時地生成圖像數(shù)據(jù)。
每次生成的圖像數(shù)據(jù)從顯示幀確定單元D10輸出到CG配光單元D11中，并開始CG圖符的配光處理。
(樂曲演奏的重放處理)首先，參照圖30對樂曲演奏的重放處理進(jìn)行說明。
圖30表示樂曲演奏的重放處理的流程圖，在樂曲演奏開始前，樂曲數(shù)據(jù)保存單元D1和腳本數(shù)據(jù)保存單元D8由記錄媒體或者通信線路分別取得樂曲數(shù)據(jù)和腳本數(shù)據(jù)(步驟S1)。
接著，AV同步指示數(shù)據(jù)生成單元D9根據(jù)來自腳本數(shù)據(jù)保存單元D8的腳本數(shù)據(jù)，生成AV同步指示數(shù)據(jù)(步驟S2)。
圖31表示在AV同步指示數(shù)據(jù)生成單元D9的AV同步指示數(shù)據(jù)的生成步驟。如圖31所示，AV同步指示數(shù)據(jù)生成單元D9從腳本數(shù)據(jù)保存單元D8一輸入腳本數(shù)據(jù)(步驟S13),AV同步指示數(shù)據(jù)生成單元D9就按四分音符(特定音符)為1拍逐拍均等分割由腳本數(shù)據(jù)指定的活動圖像數(shù)據(jù)Mi的初始幀，生成AV同步指示數(shù)據(jù)(步驟S14)。
返回圖30，在步驟S3，樂曲數(shù)據(jù)保存單元D1一輸入演奏開始命令，樂曲數(shù)據(jù)保存單元D1就將存儲的樂曲數(shù)據(jù)順序地輸出到輸出波形生成單元D2中。
輸出波形生成單元D2根據(jù)樂曲數(shù)據(jù)生成數(shù)字形式的演奏聲的波形數(shù)據(jù)(步驟S4)，并逐次輸出到聲音數(shù)據(jù)用緩存器D3中。聲音數(shù)據(jù)用緩存器D3暫時地存儲一定量的波形數(shù)據(jù)(步驟S5)。然后，將波形數(shù)據(jù)從聲音數(shù)據(jù)用緩存器D3輸出到D/A變換器D4中。
D/A變換器D4將輸入的波形數(shù)據(jù)變換成模擬形式的聲音信號(步驟S6)。并且，D/A變換器D4將聲音信號輸出到放大器D5中，用放大器D5放大聲音信號(步驟S7)。接著，利用揚聲器D6演奏來自放大器D5的聲音信號并發(fā)出聲音(步驟S8)。
聲音數(shù)據(jù)緩存器D3每當(dāng)將波形數(shù)據(jù)輸出到D/A變換器D4中時，就將該定時通知節(jié)拍發(fā)生單元D7中(步驟S9)。
接著，節(jié)拍發(fā)生單元D7根據(jù)包含在樂曲數(shù)據(jù)中的速率時間，每進(jìn)展四分音符1拍的樂曲，就發(fā)生由在該時刻的樂曲的演奏位置(第i拍)和速率時間Temp(i)組成的同步信息，并輸出到顯示幀確定單元D10中(步驟S10)。
接著，節(jié)拍發(fā)生單元D7判定樂曲是否結(jié)束(步驟S11)。如果樂曲沒有結(jié)束，則返回到(步驟S4)所示的處理。如果樂曲結(jié)束，則演奏結(jié)束(步驟S12)。
(CG圖符的重放處理)下面，參照圖32對CG圖符的重放處理進(jìn)行說明。
圖32表示CG圖符的重放處理，當(dāng)顯示幀確定單元D10從節(jié)拍發(fā)生單元D7輸入同步信息時(步驟S15)，顯示幀確定單元D10使j的值為0(步驟S16)。此外，如前所述，j是顯示幀確定單元D10從輸入1個同步信息到輸入下一個同步信息為止，對幀緩存器D12中寫入的幀數(shù)進(jìn)行計數(shù)的計數(shù)值。
接著，顯示幀確定單元D10借助于核對從節(jié)拍發(fā)生單元D7輸入的同步信息的樂曲的演奏位置和AV同步指示數(shù)據(jù)，求得在當(dāng)前時刻(第i拍)和接著輸入同步信息的時刻(第i+1拍)的CG圖符的活動圖像數(shù)據(jù)幀的進(jìn)展位置fi和Fi+1。然后，顯示幀確定單元D10在由當(dāng)前輸入的同步信息的樂曲的速率時間Temp(i)表示的第i拍到第i+1拍為止的時間段間，用前述的式(1)算出每前述的時間間隔ΔT秒顯示并進(jìn)行的CG圖符的幀進(jìn)展位置flame(j)(步驟S17)。
接著，顯示幀確定單元D10用以幀的進(jìn)展位置flame(j)為變量的活動圖像數(shù)據(jù)的函數(shù)P(幀的進(jìn)展位置)算出所顯示各幀的CG圖符的姿勢(步驟S18)。
接著，顯示幀確定單元D10根據(jù)由算出的CG圖符的指示和腳本數(shù)據(jù)指定的CG圖符形狀數(shù)據(jù)，生成幀進(jìn)展位置flame(j)的圖像數(shù)據(jù)，并輸出到CG配光單元D11中(步驟S19)。
CG配光單元D11根據(jù)包含在腳本數(shù)據(jù)中的攝像機視點信息和光源信息，對輸入到的圖像數(shù)據(jù)進(jìn)行配光(步驟S20)。
接著，CG配光單元D11將配光后的圖像數(shù)據(jù)寫入到幀緩存器D12中(步驟S21)。并且，監(jiān)視器D13(圖27)對來自幀緩存器D12的圖像數(shù)據(jù)數(shù)據(jù)進(jìn)行顯示(步驟S22)。
此外，顯示幀確定單元D10在進(jìn)行步驟S19所示的處理時，記錄輸出到CG表現(xiàn)單元D11的幀的進(jìn)展位置fi(步驟S23)。顯示幀確定單元D10根據(jù)記錄的進(jìn)展位置fi，進(jìn)行是否顯示到腳本數(shù)據(jù)的最后而結(jié)束的判斷(步驟S24)。
顯示幀確定單元D10在沒有顯示到最后的場合，使j的值增加1(步驟S25)，并返回到步驟S17所示的處理。
反之，在顯示到最后的場合，結(jié)束CG圖符的繪畫(步驟S26)。
實施形態(tài)14圖33和圖34表示實施形態(tài)14。
本實施形態(tài)在表示實施形態(tài)13的圖27中，增加輸入樂曲的速率變更指示并變更從節(jié)拍發(fā)生單元輸出的同步信息的速率時間的速率變更信息輸入單元D18。其它的結(jié)構(gòu)要素與實施形態(tài)13相同。
如圖33所示，將速率變更信息輸入單元D18連接到節(jié)拍發(fā)生單元D7中。這種速率變更信息輸入單元D18在樂曲的重放(第i拍)中從用戶和外部設(shè)備輸入樂曲速率變更指示的場合，如下述的式(2)所示，在包含保存在樂曲數(shù)據(jù)保存單元D1的樂曲數(shù)據(jù)的初始速率時間Temp(i)上乘以比例常數(shù)Cs，求得新的速率時間Temp(i)。
新的速率時間Temp(i)=初始速率時間Temp(i)×Cs…(2)將新的速率時間Temp(i)從速率變更信息輸入單元D18輸出到節(jié)拍發(fā)生單元D7中，用作從節(jié)拍發(fā)生單元D7輸出的同步信息的速率時間。此外，速率變更信息輸入單元D18在取得樂曲數(shù)據(jù)保存單元D1重放的樂曲數(shù)據(jù)時，由記錄媒體或者通信線路同時取得起始的速率時間Temp(i)。
下面，對這種AV同步重放裝置的樂曲演奏的重放處理進(jìn)行說明。此外，關(guān)于AV同步指示數(shù)據(jù)的生成步驟和CG圖符的重放處理，因分別與圖31和圖32所示的實施形態(tài)13相同，所以省略這些重復(fù)的說明。
圖34表示圖33所示的AV同步重復(fù)裝置的樂曲演奏的重放處理。
首先，步驟S31中，在樂曲演奏開始前，樂曲數(shù)據(jù)保存單元D1和腳本數(shù)據(jù)保存單元D8由記錄媒體和通信線路分別取得樂曲數(shù)據(jù)和腳本數(shù)據(jù)。
接著，在步驟S32中，AV同步指示數(shù)據(jù)生成單元D9根據(jù)來自腳本數(shù)據(jù)保存單元D8的腳本數(shù)據(jù)，生成AV同步指示數(shù)據(jù)。
樂曲數(shù)據(jù)保存單元D1一輸入演奏開始的命令(步驟S33)，速率變更信息輸入單元D18就考察是否輸入速率變更指示。在輸入速率變更指示的場合，速率變更信息輸入單元D18根據(jù)輸入的速率變更指示，變更從節(jié)拍發(fā)生單元D7輸出的同步信息的速率時間(步驟S34)。
樂曲數(shù)據(jù)保存單元D1將存儲的樂曲數(shù)據(jù)順序地輸出到輸出波形生成單元D2中。輸出波形生成單元D2根據(jù)樂曲數(shù)據(jù)，生成數(shù)字形式的演奏聲的波形數(shù)據(jù)(步驟S35)，并逐次輸出到聲音數(shù)據(jù)用緩存器D3中。聲音數(shù)據(jù)用緩存器D3暫時地存儲一定量的波形數(shù)據(jù)(步驟S36)。然后，將波形數(shù)據(jù)從聲音數(shù)據(jù)用緩存器D3輸出到D/A變換器D4中。
D/A變換器D4將輸入的波形數(shù)據(jù)變換成模擬形式的聲音信號(步驟S37)。并且，D/A變換器D4將聲音信號輸出到放大器D5中，并用放大器D5放大聲音信號(步驟S38)。接著，由揚聲器D6演奏來自放大器D5的聲音信號并發(fā)出聲音(步驟S39)。
聲音數(shù)據(jù)用緩存器D3每當(dāng)向D/A變換器D4輸出波形時，就將該定時通知節(jié)拍發(fā)生單元D7(步驟S40)。
接著，節(jié)拍發(fā)生單元D7根據(jù)包含在樂曲數(shù)據(jù)中的速率時間，每進(jìn)展四分音符1拍的樂曲，就發(fā)生由在該時刻的樂曲的演奏位置(第i拍)和速率時間Temp(i)組成的同步信息，并輸出到顯示幀確定單元D10中(步驟S41)。
接著，節(jié)拍發(fā)生單元D7判定樂曲是否結(jié)束(步驟S42)。如果樂曲沒有結(jié)束，則再次返回到(步驟S34)所示的處理。如果樂曲結(jié)束，則演奏結(jié)束(步驟S43)。
這樣，在實施形態(tài)14的AV同步重放裝置中，借助于用幀內(nèi)插方法，顯示幀確定單元能生成與樂曲數(shù)據(jù)同步的活動圖像的圖像數(shù)據(jù)，使活動圖像的重放處理與樂曲演奏所重放處理自動地相合，并能使這些重放處理不斷地同步。
實施形態(tài)15圖35-圖37表示實施形態(tài)15的AV同步重放裝置。
在本實施形態(tài)中，結(jié)構(gòu)上采用與樂曲演奏同步地重放幀的數(shù)據(jù)長度非恒定的一系列活動圖像數(shù)據(jù)，以代替表示實施形態(tài)13的圖27的CG圖符的重放。其它各部分因與實施形態(tài)13相同，所以省略這些重復(fù)的說明。
此外，作為前述活動圖像數(shù)據(jù)的具體例，有MPEG(Moving Picture ExpertsGroup)標(biāo)準(zhǔn)等幀不獨立的壓縮方式的活動圖像數(shù)據(jù)和幀不是固定長度的活動圖像數(shù)據(jù)。
如圖35所示，作為進(jìn)行活動圖像的重放處理的設(shè)備，設(shè)置根據(jù)保存活動圖像腳本數(shù)據(jù)的活動圖像腳本數(shù)據(jù)保存單元D8’、根據(jù)與活動圖像腳本數(shù)據(jù)保存單元D8’連接的活動圖像腳本數(shù)據(jù)生成AV同步指示數(shù)據(jù)的AV同步指示數(shù)據(jù)生成單元D9’，以及與節(jié)拍發(fā)生單元D7和AV同步指示數(shù)據(jù)生成單元D9’連接的顯示幀確定單元D10’。將保存活動圖像數(shù)據(jù)的活動圖像數(shù)據(jù)保存單元D14’連接到顯示幀確定單元D10’中。
顯示幀確定單元D10’根據(jù)活動圖像數(shù)據(jù)，對顯示的各幀分別確定與樂曲數(shù)據(jù)同步的圖像數(shù)據(jù)，并輸出到幀緩存器D12中。
由能改寫的記錄媒體(例如RAM)構(gòu)成活動圖像腳本數(shù)據(jù)保存單元D8’和活動圖像數(shù)據(jù)保存單元D14’，在輸入開始演奏命令前，利用CD-ROM、DVD或者類似的記錄媒體，或者通信線路，分別輸入并保持活動圖像腳本數(shù)據(jù)和活動圖像數(shù)據(jù)。
下面，參照圖36(a)和圖36(b)對活動圖像腳本數(shù)據(jù)和AV同步指示數(shù)據(jù)具體地進(jìn)行說明。
圖36(a)是表示圖35所示的AV同步同步重放裝置的樂曲的節(jié)拍數(shù)、活動圖像數(shù)據(jù)和活動圖像腳本數(shù)據(jù)的關(guān)系的說明圖。圖36(b)表示圖35所示的AV同步同步重放裝置的樂曲的節(jié)拍數(shù)，活動圖像數(shù)據(jù)、活動圖像腳本數(shù)據(jù)和AV同步指示數(shù)據(jù)的關(guān)系。
在圖36(a)和圖36(b)中，橫坐標(biāo)軸表示樂曲演奏開始后的特定音符節(jié)拍數(shù)。圖36(b)將圖36(a)中第1拍到第H1拍的部分加以放大后示出。
如圖36(a)所示，活動圖像腳本數(shù)據(jù)使在保存在樂曲數(shù)據(jù)保存單元D1中的樂曲數(shù)據(jù)中的樂曲節(jié)拍數(shù)和保存在活動圖像數(shù)據(jù)保存單元D14’的活動圖像數(shù)據(jù)初始幀對應(yīng)。例如，從樂曲的第1拍到第H1拍為止根據(jù)活動圖像腳本數(shù)據(jù)與活動圖像數(shù)據(jù)B1對應(yīng)。由此，分別指定第N11初始幀在第1拍、第N21初始幀在第H1拍。同樣，從樂曲的第H1+1拍到第H2拍為止根據(jù)活動圖像腳本數(shù)據(jù)與活動圖像數(shù)據(jù)B2對應(yīng)。
由此，分別指定第N12號的初始幀在第H1+1拍，第N22號的初始幀在第H2拍。同樣，從樂曲的第(H2+1)拍到第H3拍為止根據(jù)腳本數(shù)據(jù)對應(yīng)于活動圖像數(shù)據(jù)B3。由此，分別指定第N13號的初始幀在第(H2+1)拍，第N23號的初始幀在第H3拍。
此外，稱為初始幀的原因在于顯示幀確定單元D10’根據(jù)此初始幀確定實際在監(jiān)視器D13顯示的幀。
借助于前述那樣建立活動圖像數(shù)據(jù)和樂曲的對應(yīng)關(guān)系，例如，當(dāng)根據(jù)樂曲時而用6拍進(jìn)行100幀的動作，時而用8拍進(jìn)行100幀的動作時，能用1個活動圖像數(shù)據(jù)使100幀的活動圖像數(shù)據(jù)對應(yīng)于各種各樣動作的進(jìn)行速度，并因能減少活動圖像數(shù)據(jù)保存單元D14’的存儲容量而更加經(jīng)濟。
AV同步指示數(shù)據(jù)是在根據(jù)活動圖像腳本數(shù)據(jù)分割的各活動圖像數(shù)據(jù)中，以前述的四分音符(特定音符)的1拍作為基準(zhǔn)，使樂曲數(shù)據(jù)和活動圖像數(shù)據(jù)建立對關(guān)系的數(shù)據(jù)，按四分音符(特定音符)為1節(jié)拍逐拍均等分割，生成分配給各活動圖像數(shù)據(jù)的初始幀。
這樣，如圖36(b)所示，借助于生成AV同步指示數(shù)據(jù)，分配到活動圖像數(shù)據(jù)B1中的從第N11開始到第N21為止的初始幀，分別對應(yīng)于樂曲數(shù)據(jù)的第2、3、4……拍，分成用于表示在監(jiān)視器D13上顯示的幀的進(jìn)展位置的幀n21、n31、n41……。
此外，因根據(jù)AV同步指示數(shù)據(jù)指定的幀的數(shù)不限于一定是整數(shù)，所以前述的幀n21、n31、n41也有不存儲在活動圖像數(shù)據(jù)保存單元D14’中的。但是，不是存儲的幀在后述的顯示幀確定單元D10’的活動圖像的重放處理中，利用樣條內(nèi)插等眾所周知的數(shù)據(jù)內(nèi)插方法，能從活動圖像數(shù)據(jù)保存單元D14’中存儲的幀求出，所以沒有問題。同樣，在活動圖像數(shù)據(jù)B2中，也分成用于表示與樂曲數(shù)據(jù)的節(jié)拍逐一對應(yīng)的幀的進(jìn)展位置的幀n22、n32、n42……。
下面，對在顯示幀確定單元D10’中，從活動圖像數(shù)據(jù)計算在各幀顯示的活動圖像數(shù)據(jù)的具體的計算方法進(jìn)行說明。
首先，顯示幀確定單元D10’將由節(jié)拍發(fā)生單元D7輸入的同步信息的樂曲的演奏位置(第i拍)與AV同步指示數(shù)據(jù)核對，求得在輸入這種同步信息的時刻寫入到幀緩存器D12中的活動圖像數(shù)據(jù)幀進(jìn)展位置fi和在接著的同步信息送來的定時(第i+1拍)中根據(jù)AV同步指示數(shù)據(jù)指定的幀進(jìn)展位置Fi+1。
此外，顯示幀確定單元D10’在從由本次輸入的同步信息的樂曲速率時間Temp(i)所示的第i拍到第(i+1)拍為止的時間段之間，并用下面的式(3)算出每個前述的時間間隔ΔT顯示并進(jìn)展的活動圖像數(shù)據(jù)幀進(jìn)展位置flame(j’)。
flame(j’)=fi+(Fi+1-fi)×(j’×ΔT/Temp(i))…(3)此外，在式(3)中，j’是從顯示幀確定單元D10’輸入1個同步信息后到輸入接著的同步信息為止，對在幀緩存器D12中寫入的幀數(shù)進(jìn)行計數(shù)的計數(shù)值。也就是說，j’的值在輸入同步信息的時刻置成0，然后，每當(dāng)活動圖像數(shù)據(jù)的幀進(jìn)展時，遞增1，直到等于Temp(i)/ΔT為止。此外，在式(3)中，i和Temp(i)的值在輸入接著的第(i+1)拍的同步信息保持相同的值，當(dāng)輸入第(i+1)拍的同步信息時，更新該同步信息的值。
接著，顯示幀確定單元D10’用對活動圖像數(shù)據(jù)初始幀采用樣條內(nèi)插而求得的幀進(jìn)展位置flame(j’)為變量的活動圖像數(shù)據(jù)的函數(shù)D(幀進(jìn)展位置)，算出并確定所顯示各幀的活動圖像數(shù)據(jù)。然后，顯示幀確定單元D10’將生成的圖像數(shù)據(jù)輸出并寫入到到幀緩存器D12中。并且，幀緩存器D12將活動圖像數(shù)據(jù)輸出到監(jiān)視器D13中，監(jiān)視器D13顯示活動圖像。
此外，顯示幀確定單元D10’為了進(jìn)行活動圖像腳本數(shù)據(jù)是否結(jié)束的判斷，記錄送到幀緩存器D12中的幀進(jìn)展位置fi。
下面，參照圖37對活動圖像的重放處理進(jìn)行說明。此外，因輸入演奏開始命令后的樂曲演奏重放處理和節(jié)拍發(fā)生單元D7的同步信息生成處理與圖31所示實施形態(tài)13中相同所以省略其說明。
圖37表示圖35所示的AV同步重放裝置的活動圖像重放處理。
在圖37中，當(dāng)顯示幀確定單元D10’從節(jié)拍發(fā)生單元D7輸入同步信息時(步驟S45)，顯示幀確定單元D10’使j’的值為0(步驟S46)。此外，如前所述，j’是顯示幀確定單元D10’從輸入1個同步信息到輸入下一個同步信息為止，對幀緩存器D12中寫入的幀數(shù)進(jìn)行計數(shù)的計數(shù)值。
接著，顯示幀確定單元D10’借助于核對從節(jié)拍發(fā)生單元D7輸入的同步信息的樂曲演奏位置和AV同步指示數(shù)據(jù)，求得在當(dāng)前時刻(第i拍)和接著輸入同步信息的時刻(第i+1拍)的活動圖像數(shù)據(jù)幀進(jìn)展位置fi和Fi+1。然后，顯示幀確定單元D10’在由當(dāng)前輸入的同步信息的樂曲的速率時間Temp(i)表示的第i拍到第i+1拍為止的時間段間，用前述的式(3)算出每前述的時間間隔ΔT秒顯示并進(jìn)展的活動圖像數(shù)據(jù)幀進(jìn)展位置flame(j’)(步驟S47)。
接著，顯示幀確定單元D10’用以幀進(jìn)展位置flame(j’)為變量的活動圖像數(shù)據(jù)的函數(shù)D(幀進(jìn)展位置)算出所顯示各幀的活動圖像數(shù)據(jù)(步驟S48)。
接著，顯示幀確定單元D10’將算出的活動圖像數(shù)據(jù)輸出到幀緩存器D12中(步驟S49)，幀緩存器D12寫入顯示的活動圖像數(shù)據(jù)(步驟S50)。然后，監(jiān)視器D13顯示來自幀緩存器D12的活動圖像數(shù)據(jù)(步驟S51)。
此外，顯示幀確定單元D10’在進(jìn)行步驟S49所示的處理時，記錄輸出到幀緩存器D12的幀的進(jìn)展位置fi(步驟S52)。顯示幀確定單元D10’根據(jù)記錄的進(jìn)展位置fi，進(jìn)行是否顯示到腳本數(shù)據(jù)的最后而結(jié)束的判斷(步驟S53)。
顯示幀確定單元D10’在沒有顯示到最后的場合，j’的值增加1(步驟S54)，并返回到步驟S47所示的處理。反之，在顯示到最后的場合，結(jié)束活動圖像的重放(步驟S55)。
這樣，在實施形態(tài)15的AV同步重放裝置中，輸入樂曲的速率變更指示，并設(shè)置變更節(jié)拍發(fā)生單元所輸出同步信息速率信息的速率變更信息輸入單元。因此，即使用戶在樂曲演奏途中變更樂曲的速率，也能使樂曲演奏與圖像重放同步。
實施形態(tài)16圖38和圖39表示實施形態(tài)16。
本實施形態(tài)設(shè)置輸入樂曲的速率變更指示，并變更節(jié)拍發(fā)生單元D7所輸出同步信息的速率時間的速率變更信息輸入單元D18。因其它的各部分與表示實施形態(tài)15的圖35相同，所以省略這些重復(fù)的說明。
如圖38所示，將速率變更信息輸入單元D18連接到節(jié)拍發(fā)生單元D7中。這種速率變更信息輸入單元D18在樂曲的重放(第i拍)中從用戶和外部設(shè)備輸入樂曲的速率變更指示的場合，如下述的式(4)所示，在包含保存在樂曲數(shù)據(jù)保存單元D1的樂曲數(shù)據(jù)的始始速率時間Temp(i)上乘以比例常數(shù)Cs’，求得新的速率時間Temp(i)。
新的速率時間Temp(i)=初始的速率時間Temp(i)×Cs’ …(4)將新的速率時間Temp(i)從速率變更信息輸入單元D18輸出到節(jié)拍發(fā)生單元D7中，用作從節(jié)拍發(fā)生單元D7輸出的同步信息的速率時間。此外，速率變更信息輸入單元D18在取得樂曲數(shù)據(jù)保存單元D1重放的樂曲數(shù)據(jù)時，由記錄媒體或者通信線路同時取得初始速率時間Temp(i)。
下面，參照圖39對本實施形態(tài)的AV同步重放裝置的樂曲演奏重放處理進(jìn)行說明。此外，關(guān)于AV同步指示數(shù)據(jù)的生成步驟和活動圖像的重放處理，因分別與圖31所示的實施形態(tài)13和圖37所示的實施形態(tài)15相同，所以省略這些重復(fù)的說明。
圖39表示圖38所示的AV同步重復(fù)裝置的樂曲演奏重放處理。
如圖39所示，在樂曲演奏開始前(步驟61)，樂曲數(shù)據(jù)保存單元D1和活動圖像腳本數(shù)據(jù)保存單元D8’由記錄媒體和通信線路分別取得樂曲數(shù)據(jù)和活動圖像腳本數(shù)據(jù)。
接著，在步驟S62中，AV同步指示數(shù)據(jù)生成單元D9’根據(jù)來自腳本數(shù)據(jù)保存單元D8’的腳本數(shù)據(jù)，生成AV同步指示數(shù)據(jù)。
樂曲數(shù)據(jù)保存單元D1一輸入演奏開始的命令(步驟S63)，速率變更信息輸入單元D18就考察是否輸入速率變更指示。
在輸入速率變更指示的場合，速率變更信息輸入單元D18根據(jù)輸入的速率變更指示，變更從節(jié)拍發(fā)生單元D7輸出的同步信息的速率時間(步驟S64)。
樂曲數(shù)據(jù)保存單元D1將存儲的樂曲數(shù)據(jù)順序地輸出到輸出波形生成單元D2中。輸出波形生成單元D2根據(jù)樂曲數(shù)據(jù)，生成數(shù)字形式的演奏聲的波形數(shù)據(jù)(步驟S65)，并逐次輸出到聲音數(shù)據(jù)用緩存器D3中。
聲音數(shù)據(jù)用緩存器D3暫時地存儲一定量的波形數(shù)據(jù)(步驟S66)。然后，將波形數(shù)據(jù)從聲音數(shù)據(jù)用緩存器D3輸出到D/A變換器D4中。
D/A變換器D4將輸入的波形數(shù)據(jù)變換成模擬形式的聲音信號(步驟S67)。并且，D/A變換器D4將聲音信號輸出到放大器D5中，并用放大器D5放大聲音信號(步驟S68)。接著，由揚聲器D6演奏來自放大器D5的聲音信號并發(fā)出聲音(步驟S69)。
聲音數(shù)據(jù)用緩存器D3每當(dāng)向D/A變換器D4輸出波形時，就將該定時通知節(jié)拍發(fā)生單元D7中(步驟S70)。
接著，節(jié)拍發(fā)生單元D7根據(jù)包含在樂曲數(shù)據(jù)中的速率時間，每進(jìn)展四分音符1拍的樂曲，就發(fā)生由在該時刻的樂曲演奏位置(第i拍)和速率時間Temp(i)組成的同步信息，并輸出到顯示幀確定單元D10’中(步驟S71)。
接著，AV同步重放裝置判定樂曲是否結(jié)束(步驟S72)。如果樂曲沒有結(jié)束，則再次返回到(步驟S64)所示的處理。如果樂曲結(jié)束，則演奏結(jié)束(步驟S73)。
這樣，在本實施形態(tài)的AV同步重放裝置中，設(shè)置輸入樂曲的速率變更指示，并變更節(jié)拍發(fā)生單元D7所輸出同步信息的速率時間的速率變更信息輸入單元D18。由此，例如在卡拉OK中即使用戶在樂曲演奏途中將樂曲的速率變更成喜歡的速率，也能保持樂曲演奏的處理與活動圖像的重放處理的同步。
此外，前述的各實施形態(tài)的AV同步重放裝置的重放處理，因任何一種實施形態(tài)都能計算機程序化，所以利用計算機能執(zhí)行的記錄媒體也能提供本申請的AV同步方法。這里所說的記錄媒體是指軟盤、CD-ROM、DVD(數(shù)字視頻光盤)、光磁盤和可換硬盤等。
權(quán)利要求
1．一種圖形顯示裝置，其特征在于，在服務(wù)器上包括通過網(wǎng)絡(luò)向終端發(fā)送記載動作的組合順序的腳本數(shù)據(jù)的數(shù)據(jù)發(fā)送手段，在終端上包括接收由所述數(shù)據(jù)發(fā)送手段發(fā)送的腳本數(shù)據(jù)的數(shù)據(jù)接收手段；顯示立體圖符所需的形狀數(shù)據(jù)庫；使立體圖符動作所需的動作數(shù)據(jù)庫；按照記載在由所述數(shù)據(jù)接收手段接收到的腳本數(shù)據(jù)中的順序，切換動作并顯示所述立體圖符的動作切換描繪手段；在所述切換繪畫手段切換動作時校正前后動作使動作能流暢顯示的動作自動校正手段。
2．如權(quán)利要求1所述的圖形顯示裝置，其特征在于，在服務(wù)器上包括通過網(wǎng)絡(luò)發(fā)送校正數(shù)據(jù)發(fā)送手段發(fā)送的腳本數(shù)據(jù)所記載各動作間連接部分動作校正的數(shù)據(jù)的校正數(shù)據(jù)發(fā)送手段，并具有接收由所述校正數(shù)據(jù)發(fā)送手段發(fā)送的校正數(shù)據(jù)的校正數(shù)據(jù)接收手段，和根據(jù)由所述校正數(shù)據(jù)接收手段接收到的動作校正數(shù)據(jù)，校正前后動作使切換繪畫手段切換動作時動作能流暢顯示的動作校正手段，以代替終端的動作自動校正手段。
3．如權(quán)利要求1所述的圖形顯示裝置，其特征在于，在服務(wù)器上包括動作數(shù)據(jù)庫，和由動作數(shù)據(jù)庫算出校正數(shù)據(jù)發(fā)送手段發(fā)送的腳本數(shù)據(jù)所記載各動作間連接部分動作的校正數(shù)據(jù)，并通過網(wǎng)絡(luò)用校正數(shù)據(jù)發(fā)送手段進(jìn)行發(fā)送的校正腳本計算手段。
4．一種圖形顯示方法，其特征在于，在從服務(wù)器向終端指示對立體圖符進(jìn)行圖形顯示時，在終端上準(zhǔn)備記敘立體圖符的活動模式的多個活動模式，服務(wù)器向終端發(fā)送記載所述活動模式的時間序列組合順序的腳本數(shù)據(jù)，檢測來自服務(wù)器的腳本數(shù)據(jù)，根據(jù)這種腳本數(shù)據(jù)進(jìn)行動作并進(jìn)行圖形顯示的終端，用與執(zhí)行中和接著執(zhí)行的活動模式共同的中心姿勢的定時或者用與執(zhí)行中和接著執(zhí)行的所述動作模式幾乎共同的姿勢的定時，切換執(zhí)行的活動模式，并執(zhí)行場面的切換。
5．一種圖形顯示裝置，其特征在于，設(shè)置記述多個模式的活動的動作群、基于動作群的任何一個模式，對應(yīng)于場面記述是否使立體圖符動作的腳本數(shù)據(jù)庫，以及根據(jù)腳本數(shù)據(jù)庫和動作群，控制顯示輸出的立體圖符的動作的特征姿勢控制手段，而且，圖符姿勢控制手段的結(jié)構(gòu)做成用與執(zhí)行中和接著執(zhí)行的活動模式共同的中心姿勢定時或者用與執(zhí)行中和接著執(zhí)行的所述活動模式幾乎共同的姿勢的定時，切換執(zhí)行的活動模式，執(zhí)行場面的切換。
6．一種圖形顯示裝置，在網(wǎng)絡(luò)上設(shè)置服務(wù)器和終端，在終端上進(jìn)行圖形顯示，其特征在于，在所述服務(wù)器上設(shè)置定義三維圖符的形狀的圖符數(shù)據(jù)的數(shù)據(jù)庫、定義所述圖符的動作的動作數(shù)據(jù)庫，和指定所述圖符數(shù)據(jù)和1個以上的所述動作的時間序列組合的腳本數(shù)據(jù)，在所述終端上設(shè)置保管所述圖符數(shù)據(jù)的圖符數(shù)據(jù)庫、保管所述動作的動作數(shù)據(jù)庫、檢索所述腳本數(shù)據(jù)指定的圖符數(shù)據(jù)是否存在于圖符數(shù)據(jù)庫中的數(shù)據(jù)檢索手段，和向所述服務(wù)器請求取得不存在于所述圖符數(shù)據(jù)庫中的圖符數(shù)據(jù)的數(shù)據(jù)請求手段。
7．一種圖形顯示裝置，在網(wǎng)絡(luò)上設(shè)置服務(wù)器和終端，在終端上進(jìn)行圖形顯示，其特征在于，在所述服務(wù)器上設(shè)置定義三維圖符的形狀的圖符數(shù)據(jù)的數(shù)據(jù)庫、定義所述圖符的動作的動作數(shù)據(jù)庫，和指定所述圖符數(shù)據(jù)和1個以上的所述動作的時間序列組合的腳本數(shù)據(jù)，在所述終端上設(shè)置保管所述圖符數(shù)據(jù)的圖符數(shù)據(jù)庫、保管所述動作的動作數(shù)據(jù)庫、檢索所述腳本數(shù)據(jù)指定的動作數(shù)據(jù)是否存在于動作數(shù)據(jù)庫中的數(shù)據(jù)檢索手段，和向所述服務(wù)器請求取得不存在于所述動作數(shù)據(jù)庫中的動作數(shù)據(jù)的數(shù)據(jù)請求手段。
8．一種聲像(AV)同步重放裝置，其特征在于，包括基于樂曲數(shù)據(jù)進(jìn)行演奏的樂曲演奏手段，對應(yīng)于特定樂曲上的位置的樂曲位置和成為演奏速率的基礎(chǔ)的速率信息以及對它們進(jìn)行更新的時刻，進(jìn)行暫時存儲的同步信息表，基于所述樂曲演奏手段的演奏，更新所述同步信息表的同步信息更新手段，由當(dāng)前時刻和所述同步信息表的內(nèi)容計算所述樂曲演奏手段當(dāng)前正在演奏的樂曲位置的樂曲位置計算手段，暫時存儲幀數(shù)據(jù)的幀緩存器，所述樂曲演奏手段，基于所述樂曲位置計算手段計算的樂曲位置，從與樂曲數(shù)據(jù)關(guān)連的CG數(shù)據(jù)算出與所述樂曲演奏手段同步的幀數(shù)據(jù)，并輸出到所述幀緩存器中的幀輸出手段，將存儲在所述幀緩存器中的幀數(shù)據(jù)作為活動圖像進(jìn)行顯示的圖像顯示手段。
9．如權(quán)利要求8所述的聲像(AV)同步重放裝置，其特征在于，每當(dāng)樂曲位置或者速率信息中任何1個變化時，樂曲演奏手段更新同步信息表，按照這樣的要求構(gòu)成同步信息更新手段。
10．如權(quán)利要求8所述的聲像(AV)同步重放裝置，其特征在于，按照以特定的周期更新同步信息表的要求，構(gòu)成同步信息更新手段。
11．如權(quán)利要求8所述的聲像(AV)同步重放裝置，其特征在于，增加從CG數(shù)據(jù)量預(yù)測幀數(shù)據(jù)輸出手段需要的運算時間的運算時間預(yù)測手段，而且?guī)敵鍪侄蔚慕Y(jié)構(gòu)做成與由樂曲位置計算手段計算的樂曲位置延遲所述運算時間預(yù)測手段預(yù)測的時間的樂曲位置同步地將幀數(shù)據(jù)輸出到幀緩存器中。
12．如權(quán)利要求8所述的聲像(AV)同步重放裝置，其特征在于，增加根據(jù)樂曲數(shù)據(jù)預(yù)測當(dāng)前樂曲位置的聲音實際成為聲音輸出前延遲的時間的演奏延遲預(yù)測手段，而且同步信息更新手段的結(jié)構(gòu)做成將延遲所述演奏延遲預(yù)測手段預(yù)測的時間的樂曲位置、速率信息以及更新時間輸出到同步信息表中。
13．如權(quán)利要求8所述的聲像(AV)同步重放裝置，其特征在于，增加根據(jù)CG數(shù)據(jù)量預(yù)測圖像顯示手段能實際顯示幀緩存器的數(shù)據(jù)前的顯示延遲時間的圖像顯示延遲預(yù)測手段，而且?guī)敵鍪侄蔚慕Y(jié)構(gòu)做成將與由樂曲位置計算手段計算的樂曲位置延遲所述圖像顯示延遲時間預(yù)測手段預(yù)測的時間的樂曲位置同步的幀數(shù)據(jù)輸出到幀緩存器中。
14．如權(quán)利要求8所述的聲像(AV)同步重放裝置，其特征在于，設(shè)置在樂曲演奏手段開始特殊重放時，發(fā)生特殊重放開始信號的特殊重放開始通知手段、在樂曲演奏手段結(jié)束特殊重放時，發(fā)生特殊重放結(jié)束信號的特殊重放結(jié)束通知手段，以及在特殊重放中將樂曲位置實時同步地輸出到同步信息表中的特殊重放同步信息更新手段，而且?guī)敵鍪侄蔚慕Y(jié)構(gòu)做成在特殊重放中根據(jù)所述特殊重放同步信息更新手段更新的所述同步信息表，將幀數(shù)據(jù)輸出到幀緩存器中。
15．一種聲像(AV)同步重放裝置，使樂曲數(shù)據(jù)和活動圖像數(shù)據(jù)同步重放，其特征在于，包括重放樂曲數(shù)據(jù)時，將規(guī)定每次特定音符份額的樂曲進(jìn)展所對應(yīng)時刻樂曲上的位置的樂曲位置和成為演奏速率的基礎(chǔ)的速率信息作為同步信息，并進(jìn)行輸出的節(jié)拍發(fā)生電路；以所述特定音符為基準(zhǔn)，生成對應(yīng)于樂曲數(shù)據(jù)和活動圖像數(shù)據(jù)的進(jìn)展的AV同步指示數(shù)據(jù)的AV同步指示數(shù)據(jù)生成電路；設(shè)幀緩存器將圖像輸出到圖像顯示電路中的時間間隔為ΔT時，根據(jù)從所述節(jié)拍發(fā)生電路輸入同步信息后，包含在這種同步信息中的速率信息、在輸入這種同步信息的時刻寫入到幀緩存器中的活動圖像數(shù)據(jù)幀的進(jìn)展位置、在輸入接著的同步信息時由所述AV同步指示數(shù)據(jù)指定的活動圖像數(shù)據(jù)幀的進(jìn)展位置，和所述時間間隔ΔT，確定寫入到幀緩存器中的活動圖像數(shù)據(jù)的顯示幀確定電路。
16．一種聲像(AV)同步重放裝置，同步重放樂曲數(shù)據(jù)和CG圖符的活動圖像數(shù)據(jù)，其特征在于，包括重放樂曲數(shù)據(jù)時，將規(guī)定每次特定音符份額的樂曲進(jìn)展所對應(yīng)時刻樂曲上的位置的樂曲位置和作為演奏速率的基礎(chǔ)的速率信息作為同步信息輸出的節(jié)拍發(fā)生電路；以所述特定音符為基準(zhǔn)，生成對應(yīng)于進(jìn)行樂曲數(shù)據(jù)的進(jìn)展的CG圖符活動圖像數(shù)據(jù)的AV同步指示數(shù)據(jù)的AV同步指示數(shù)據(jù)生成電路；設(shè)幀緩存器將圖像輸出到圖像顯示電路的時間間隔為ΔT時，根據(jù)從所述節(jié)拍發(fā)生電路輸入同步信息后，包含在這種同步信息中的速率信息、在輸入這種同步信息的時刻寫入到幀緩存器中的CG圖符活動圖像數(shù)據(jù)幀進(jìn)展位置、在輸入接著的同步信息時由所述AV同步指示數(shù)據(jù)指定的CG圖符活動圖像數(shù)據(jù)幀的進(jìn)展位置和所述時間間隔ΔT，確定寫入到幀緩存器中的CG圖符的姿勢的圖符姿勢計算電路。
17．如權(quán)利要求15或16所述的聲像(AV)同步重放裝置，其特征在于，設(shè)置輸入變更速率信息的速率變更輸入電路。
18．一種聲像(AV)同步重放方法，其特征在于，為了使樂曲和圖像同步，每次所述樂曲進(jìn)展所述特定音符份額，從所述樂曲的聲音生成單元對所述圖像的生成單元傳送以特定音符作為基準(zhǔn)的所述樂曲上的位置的樂曲位置和所述樂曲的速率信息。
19．一種聲像(AV)同步重放方法，其特征在于，包括在重放樂曲數(shù)據(jù)時，將規(guī)定每次特定音符份額的樂曲進(jìn)展所對應(yīng)時刻樂曲上的位置的樂曲位置和成為演奏速率的基礎(chǔ)的速率信息作為同步信息進(jìn)行輸出的步驟；以所述特定音符作為基準(zhǔn)，生成對應(yīng)于進(jìn)行樂曲數(shù)據(jù)和活動圖像數(shù)據(jù)進(jìn)展的AV同步指示數(shù)據(jù)的步驟；設(shè)幀緩存器將圖像輸出到圖像顯示電路的時間間隔為ΔT時，根據(jù)從所述節(jié)拍發(fā)生電路輸入同步信息后，包含在這種同步信息中的速率信息、在輸入這種同步信息的時刻寫入到幀緩存器中的活動圖像數(shù)據(jù)幀的進(jìn)展位置、在輸入接著的同步信息時由所述AV同步指示數(shù)據(jù)指定的活動圖像數(shù)據(jù)的幀的進(jìn)展位置和所述時間間隔ΔT，確定寫入到幀緩存器中的活動圖像數(shù)據(jù)。
20．一種聲像(AV)同步重放方法，其特征在于，包括在重放樂曲數(shù)據(jù)時，將規(guī)定每次特定音符份額的樂曲進(jìn)展所對應(yīng)時刻樂曲上的位置的樂曲位置和成為演奏速率的基礎(chǔ)的速率信息作為同步信息進(jìn)行輸出的步驟；以所述特定音符作為基準(zhǔn)，生成對應(yīng)于樂曲數(shù)據(jù)和CG圖符活動圖像數(shù)據(jù)的AV同步指示數(shù)據(jù)的步驟；設(shè)幀緩存器將圖像輸出到圖像顯示電路的時間間隔為ΔT時，根據(jù)從所述節(jié)拍發(fā)生電路輸入同步信息后，包含在這種同步信息中的速率信息、在輸入這種同步信息的時刻寫入到幀緩存器中的CG圖符的活動圖像數(shù)據(jù)幀的進(jìn)展位置、在輸入接著的同步信息時由所述AV同步指示數(shù)據(jù)指定的CG圖符活動圖像數(shù)據(jù)幀的進(jìn)展位置和所述時間間隔ΔT，確定寫入到幀緩存器中的CG圖符的姿勢。
21．如權(quán)利要求19或20所述的聲像(AV)同步重放方法，其特征在于，包括輸入變更速率信息的步驟；將所述同步信息的速率信息變更成輸入后的速率信息的步驟。
22．一種記錄媒體，其特征在于，記錄實現(xiàn)如權(quán)利要求19至21任一項所述的聲像(AV)同步重放方法的計算機程序。
全文摘要
本發(fā)明揭示一種圖形顯示裝置和同步重放方法以及AV同步重放裝置。在從服務(wù)器向終端指示對立體圖符進(jìn)行圖形顯示時,在終端上準(zhǔn)備多個活動模式服務(wù)器向終端發(fā)送腳本數(shù)據(jù),終端側(cè)根據(jù)腳本數(shù)據(jù)進(jìn)行工作,切換場面并顯示圖符。用與執(zhí)行中和接著執(zhí)行的活動模式共同的中心姿勢的定時或者用與執(zhí)行中和接著執(zhí)行的所述活動模式幾乎共同姿勢的定時,終端側(cè)執(zhí)行場面的切換并顯示圖形。本發(fā)明的目的在于提供能減少從服務(wù)器經(jīng)網(wǎng)絡(luò)通信的CG數(shù)據(jù)的數(shù)據(jù)傳輸量,而且能使在終端顯示的立體圖符流暢的圖形顯示裝置。本發(fā)明的目的還在于提供能使速率在曲中變化的曲子和圖像同步進(jìn)行重放的AV同步重放裝置。
文檔編號H04N7/24GK1225734SQ9880058
公開日1999年8月11日 申請日期1998年5月15日 優(yōu)先權(quán)日1997年5月19日
發(fā)明者鈴木誠一, 白井豐, 德永真志, 大久保晴代, 津田賢治郎, 今村哲也 申請人:松下電器產(chǎn)業(yè)株式會社