專利名稱：聲音控制裝置、聲音控制程序及聲音控制方法
技術(shù)領域：
本發(fā)明涉及對動畫的聲音進行控制的技術(shù)。
背景技術(shù)：
近年來，搭載有高性能的存儲器或CPU的手機、數(shù)字家電設備正在普及。另外，伴隨寬帶因特網(wǎng)(broadband Internet)的普及，使用戶能夠容易地制作實現(xiàn)各種動畫的應用程序或動畫的工具等正在普及。在利用此類工具制作成的動畫中，維持動畫的動作與動畫的聲音之間的匹配性成為課題。作為針對該課題的現(xiàn)有技術(shù)，例如專利文獻1所示的動畫生成裝置為公眾所知。 圖11是專利文獻1中記載的動畫生成裝置的框圖。圖11所示的動畫生成裝置包括用戶設定部300、對象屬性取得部304、聲音加工部 305、動畫生成部101以及顯示部102。用戶設定部300具備對象設定部301、動畫設定部 302、聲音文件設定部303，用戶進行動畫效果的設定。對象設定部301按照用戶的設定操作，生成表示動畫顯示的對象的對象數(shù)據(jù)。動畫設定部302按照用戶的設定操作，生成表示動畫效果的動畫效果信息。聲音文件設定部 303按照用戶的設定操作，生成動畫的聲音數(shù)據(jù)。對象屬性取得部304取得表示作為動畫效果的對象的對象的屬性(形狀、顏色、尺寸以及位置等)的對象屬性信息。聲音加工部305具備編輯對應表306、波形編輯裝置307以及加工控制部308，基于動畫效果信息及對象屬性信息，加工編輯聲音文件。編輯對應表306存儲對象屬性信息和波形編輯用參數(shù)的對應關(guān)系、動畫效果信息和波形編輯用參數(shù)的對應關(guān)系。在此，作為對象屬性信息和波形編輯用參數(shù)的對應關(guān)系，例如有聲音相對于視覺上給人以莊重的印象的對象而給人更莊重的印象的對應關(guān)系。作為動畫效果信息和波形編輯用參數(shù)的對應關(guān)系，例如有“對象被漸漸放大顯示” 的波形編輯用參數(shù)與“放大(zoom in)”的動畫效果對應起來的對應關(guān)系。加工控制部308從編輯對應表306中指定與動畫效果信息相應的波形編輯用參數(shù)，并讓波形編輯裝置307執(zhí)行使用指定的波形編輯用參數(shù)的波形編輯處理。波形編輯裝置307使用由加工控制部308指定的波形編輯用參數(shù)，進行波形編輯處理。動畫生成部101利用由加工控制部308加工編輯后的聲音數(shù)據(jù)，生成有關(guān)動畫對象的對象的動畫。顯示部102輸出由動畫生成部101生成的動畫及聲音。由此，在專利文獻1的動畫生成裝置中，聲音的長度及音量得以調(diào)整，以便符合用戶預先設定的、動畫顯示的對象的顏色、尺寸以及形狀等特征，從而實現(xiàn)動畫的動作與聲音的匹配性。另外，近年來，在數(shù)字家電設備的用戶界面等中，采用動畫的情況增多。在這種用CN 102473415 A說明書2/12 頁
戶界面中，動畫有時會根據(jù)來自用戶的操作指令而在中途停止。然而，在專利文獻1所示的動畫生成裝置中，完全沒有關(guān)于當動畫在再生中途被停止時如何處理聲音的記載。因此，即使在動畫開始前對聲音進行了編輯而使聲音與動畫的動作匹配，當動畫根據(jù)來自用戶的操作指令而在中途被停止時，聲音會繼續(xù)響，無法實現(xiàn)動畫的動作與聲音的匹配性。其結(jié)果，產(chǎn)生對用戶提供存在不諧調(diào)感的動畫的問題。因此，在只是讓基于專利文獻1生成的動畫與數(shù)字家電設備等用戶界面相適應的情況下，如果用戶在任意的時刻停止動畫，則聲音依然繼續(xù)響，存在給用戶帶來不諧調(diào)感的問題。專利文獻1 日本專利公開公報特開2000-339485號

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種即使用戶在中途停止動畫，也能夠不給用戶帶來不諧調(diào)感地輸出聲音的技術(shù)。本發(fā)明所提供的聲音控制裝置包括取得表示基于來自用戶的設定操作被預先生成的動畫的動畫數(shù)據(jù)和表示與所述動畫數(shù)據(jù)聯(lián)動再生的聲音的聲音數(shù)據(jù)的動畫取得部；通過解析從開始到結(jié)束為止的所述聲音數(shù)據(jù)的特征生成聲音屬性信息的聲音解析部；基于所述動畫數(shù)據(jù)再生動畫，當用戶輸入了用于使所述動畫停止的停止指令時使所述動畫停止的動畫顯示控制部；以及基于所述聲音數(shù)據(jù)再生聲音的聲音輸出控制部，所述聲音輸出控制部，當輸入所述停止指令時，利用所述聲音屬性信息計算表示所述動畫停止時的聲音的特征的停止時聲音信息，基于計算出的停止時聲音信息決定與停止的動畫匹配的所述聲音的指定的輸出方法，并按照所決定的輸出方法再生所述聲音。本發(fā)明所提供的聲音控制程序，使計算機作為以下各部發(fā)揮功能取得表示基于來自用戶的設定操作被預先生成的動畫的動畫數(shù)據(jù)和表示與所述動畫聯(lián)動再生的聲音的聲音數(shù)據(jù)的動畫取得部；通過解析從開始到結(jié)束為止的所述聲音數(shù)據(jù)的特征生成聲音屬性信息的聲音解析部；基于所述動畫數(shù)據(jù)再生動畫，當用戶輸入了用于使所述動畫停止的停止指令時使所述動畫停止的動畫顯示控制部；以及基于所述聲音數(shù)據(jù)再生聲音的聲音輸出控制部，所述聲音輸出控制部，當輸入所述停止指令時，利用所述聲音屬性信息計算表示所述動畫停止時的聲音的特征的停止時聲音信息，基于計算出的停止時聲音信息決定與停止的動畫匹配的所述聲音的指定的輸出方法，并按照所決定的輸出方法再生所述聲音。本發(fā)明所提供的聲音控制方法包括計算機取得表示基于來自用戶的設定操作被預先生成的動畫的動畫數(shù)據(jù)和表示與所述動畫數(shù)據(jù)聯(lián)動再生的聲音的聲音數(shù)據(jù)的動畫取得步驟；計算機通過解析從開始到結(jié)束為止的所述聲音數(shù)據(jù)的特征生成聲音屬性信息的聲音解析步驟；計算機基于所述動畫數(shù)據(jù)再生動畫，當用戶輸入了用于使所述動畫停止的停止指令時使所述動畫停止的動畫顯示控制步驟；以及計算機基于所述聲音數(shù)據(jù)再生聲音的聲音輸出控制步驟，在所述聲音輸出控制步驟中，當輸入所述停止指令時，利用所述聲音屬性信息計算表示所述動畫停止時的聲音的特征的停止時聲音信息，基于計算出的停止時聲音信息決定與停止的動畫匹配的所述聲音的指定的輸出方法，并按照所決定的輸出方法再生所述聲音。


圖1是表示本發(fā)明的實施方式所涉及的聲音控制裝置的結(jié)構(gòu)的框圖。圖2是表示本發(fā)明的實施方式所涉及的聲音控制裝置的處理流程的流程圖。圖3是表示本發(fā)明的實施方式所涉及的聲音控制裝置的處理流程的流程圖。圖4是表示存儲在控制信息存儲部的聲音控制信息表的數(shù)據(jù)結(jié)構(gòu)的一例的圖。圖5是表示本發(fā)明的實施方式所涉及的動畫的概要的圖。圖6是用于說明本實施方式所涉及的漸漸消失的方法的曲線圖。圖7是表示聲音屬性信息保存部保存的聲音屬性信息表的數(shù)據(jù)結(jié)構(gòu)的一例的圖。圖8是表示由聲音解析部解析的頻率特性的曲線圖。圖9是表示費萊切爾-蒙松(Fletcher-Mimson)的等響曲線的曲線圖。圖10是表示本發(fā)明的實施方式2中的聲音控制信息表的數(shù)據(jù)結(jié)構(gòu)的一例的圖。圖11是專利文獻1中記載的動畫生成裝置的框圖。
具體實施例方式(實施方式1)以下，參照

本發(fā)明的實施方式中的聲音控制裝置。圖1是表示本發(fā)明的實施方式所涉及的聲音控制裝置1的結(jié)構(gòu)的框圖。聲音控制裝置1包括動畫取得部11、聲音輸出控制部12、動畫顯示控制部13、顯示部14、聲音輸出部15、聲音解析部16、控制信息存儲部17、聲音屬性信息保存部18以及操作部19。此外，動畫取得部11、聲音輸出控制部12、動畫顯示控制部13、聲音解析部16、控制信息存儲部17以及聲音屬性信息保存部18通過讓計算機執(zhí)行用于使計算機作為聲音控制裝置發(fā)揮功能的聲音控制程序而實現(xiàn)。該聲音控制程序可以存儲在計算機可讀取的記錄介質(zhì)中提供給用戶，也可以通過經(jīng)由網(wǎng)絡下載提供給用戶。另外，聲音控制裝置1可以應用于用戶在生成動畫時使用的動畫生成裝置，也可以應用于數(shù)字家電設備的用戶界面。動畫取得部11取得表示基于用戶的設定操作被預先生成的動畫的動畫數(shù)據(jù)Dl和表示與動畫聯(lián)動再生的聲音的聲音數(shù)據(jù)D2。在此，動畫數(shù)據(jù)Dl包含專利文獻1中記載的對象數(shù)據(jù)、動畫效果信息及對象屬性信息。這些數(shù)據(jù)是按照用戶利用操作部19等進行的設定操作而預先生成的。對象數(shù)據(jù)是定義動畫顯示的對象的數(shù)據(jù)，例如，當動畫顯示三個對象時，采用表示對象A、B、C等各對象名的數(shù)據(jù)等。動畫效果信息是定義用對象數(shù)據(jù)定義的各對象的動作等的數(shù)據(jù)，例如，包含對象的動作時間及對象的移動模式等。作為移動模式，例如采用使對象漸漸放大顯示的放大 (zoom in)、使對象漸漸縮小顯示的縮小(zoom out)、使對象以指定的速度從畫面上的指定的位置移動到指定的位置的滑動等。對象屬性信息是定義用對象數(shù)據(jù)定義的各對象的顏色、尺寸以及形狀等的數(shù)據(jù)。聲音數(shù)據(jù)D2是與由對象數(shù)據(jù)定義的各對象的動作聯(lián)動再生的聲音數(shù)據(jù)。該聲音數(shù)據(jù)D2是使用專利文獻1所示的方法對由用戶設定的聲音數(shù)據(jù)進行了預先編輯使其與各對象的動作匹配的聲音數(shù)據(jù)。具體而言，聲音數(shù)據(jù)D2是根據(jù)與各對象的以對象屬性信息定義的內(nèi)容及以動畫效果信息定義的內(nèi)容等預先對應起來的編輯參數(shù)來編輯的。由此，聲音數(shù)據(jù)D2的原來的聲音數(shù)據(jù)被編輯使得再生時間、音量以及聽得見的位置等與對象的動作時間、移動模式匹配。另外，動畫取得部11接受由用戶利用操作部19輸入的動畫開始指令，將動畫數(shù)據(jù) Dl及聲音數(shù)據(jù)D2輸出至動畫顯示控制部13及聲音輸出控制部12，從而再生動畫。此外，當聲音控制裝置1應用于動畫生成裝置時，動畫取得部11基于利用操作部 19的設定操作，生成動畫數(shù)據(jù)Dl及聲音數(shù)據(jù)D2。另外，當聲音控制裝置1應用于數(shù)字家電設備時，動畫取得部11取得用戶利用動畫生成裝置生成的動畫數(shù)據(jù)Dl及聲音數(shù)據(jù)D2。另外，動畫取得部11在動畫的再生中，檢測用戶是否在操作部19輸入了用于使動畫停止的停止指令。并且，動畫取得部11在檢測到停止指令的輸入時，將停止指令檢測通知D3輸出至動畫顯示控制部13及聲音輸出控制部12。在此，一旦動畫的再生開始，動畫取得部11開始計時動畫的再生時間，如果檢測停止指令，則求出從開始再生起到檢測停止指令為止的經(jīng)過時間。并且，動畫取得部11將表示該經(jīng)過時間的經(jīng)過時間通知D5輸出至聲音輸出控制部12。聲音解析部16通過解析聲音數(shù)據(jù)D2表示的聲音從開始到結(jié)束為止的特征，生成聲音屬性信息D4，并將生成的聲音屬性信息D4保存在聲音屬性信息保存部18中。具體而言，聲音解析部16提取聲音數(shù)據(jù)D2表示的聲音從開始到結(jié)束為止的最大音量，并將提取到的最大音量作為聲音屬性信息D4而生成。當輸入了停止指令檢測通知D3時，聲音輸出控制部12利用聲音屬性信息D4，計算表示動畫停止時的聲音的特征的停止時聲音信息，基于計算出的停止時聲音信息，決定與動畫匹配的聲音的指定的輸出方法，并按照決定的輸出方法再生聲音。具體而言，聲音輸出控制部12從聲音屬性信息保存部18取得聲音屬性信息D4，計算停止時的聲音相對于取得的聲音屬性信息D4表示的最大音量的相對音量(停止時聲音信息的一例)，以音量的減少率隨著計算出的相對音量增大而減小的方式使聲音漸漸消失 (fade out) 0更具體而言，聲音輸出控制部12參照存儲在控制信息存儲部17的聲音控制信息表TB1，決定與相對音量相應的聲音控制信息，利用所決定的聲音控制信息和經(jīng)過時間通知 D5表示的經(jīng)過時間來計算減少率，并以計算出的減少率使聲音漸漸消失。圖4是表示存儲在控制信息存儲部17的聲音控制信息表TBl的數(shù)據(jù)結(jié)構(gòu)的一例的圖。聲音控制信息表TBl包含相對音量字段(filed)Fl和聲音控制信息字段F2，將相對音量和聲音控制信息對應起來存儲。在圖4的例子中，聲音控制信息表TBl包括三個記錄 (record) Rl至R3。記錄Rl在相對音量字段Fl存儲有“高音量(最大音量的60%以上)”， 在聲音控制信息字段F存儲有表示“以(-1/2) X (停止時的音量/經(jīng)過時間)的減少率漸漸消失”的聲音控制信息。因此，當停止時的相對音量為最大音量的60%以上時，聲音輸出控制部12利用 (-1/2) X (停止時的音量/經(jīng)過時間)的公式計算減少率，使音量以計算出的減少率漸漸減少，從而使聲音漸漸消失。記錄R2在相對音量字段Fl存儲有“中音量(最大音量的40%以上且小于60%)”， 在聲音控制信息字段F2存儲有表示“以(-1) X (停止時的音量/經(jīng)過時間)的減少率漸漸消失”的聲音控制信息。
7
因此，當相對音量為最大音量的40%以上且小于60%時，聲音輸出控制部12利用 (-1) X (停止時的音量/經(jīng)過時間)的公式計算減少率，使音量以計算出的減少率漸漸減少，從而使聲音漸漸消失。記錄R3在相對音量字段Fl存儲有“低音量(小于最大音量的40% ) ”，在聲音控制信息字段F2存儲有表示“以(- X (停止時的音量/經(jīng)過時間)的減少率漸漸消失”的
聲音控制信息。因此，當相對音量小于最大音量的40%時，聲音輸出控制部12利用(-2) X (停止時的音量/經(jīng)過時間)的公式計算減少率，使音量以計算出的減少率漸漸減少，從而使聲音漸漸消失。作為在動畫停止時使聲音停止的方法，通?？紤]使聲音消音(mute)的方法。然而，若在動畫停止的同時使聲音消音，則會給用戶帶來聲音突然切斷的印象，從而帶來不諧調(diào)感。對動畫附加聲音的本來的目的在于，通過附加聲音制作出更高品位的動畫。因此， 為了與動畫的停止相協(xié)調(diào)，最好以自然的感覺讓聲音結(jié)束。對此，在本實施方式中，當動畫在中途停止時，使聲音漸漸消失。另外，在動畫停止時的音量較大的情況下，若使音量在短時間內(nèi)急速地漸漸消失， 則會給用戶帶來不諧調(diào)感。另一方面，在動畫停止時的音量較小的情況下，即使使音量在短時間內(nèi)急速地漸漸消失，也不太會給用戶帶來不諧調(diào)感。因此，在圖4的聲音控制信息表TBl中，減少率的系數(shù)的絕對值被規(guī)定為隨著相對音量增大而以2、1、1/2減小。由此，由于停止時的音量越大，聲音越緩慢地漸漸消失，因此能夠不給用戶帶來不諧調(diào)感地使聲音停止。此外，在圖4的例子中，聲音控制信息表TBl以表形式來記述，但只要是文本、XML 或者二進制等計算機能夠讀取的形式，則可以以各種形式記述。另外，在圖4的例子中，根據(jù)相對音量，規(guī)定三個聲音控制信息，但不限定于此，也可以根據(jù)相對音量規(guī)定四個以上或者兩個聲音控制信息。另外，作為聲音控制信息，也可以采用將音量及經(jīng)過時間作為自變量來計算減少率的函數(shù)，利用通過該函數(shù)計算出的減少率來使聲音漸漸消失。另外，圖4所示的相對音量的閾值也不限定于40%、60%，也可以酌情采用30%、50%、70%等不同的值。當動畫到停止為止的經(jīng)過時間較長時，若使聲音急速地漸漸消失，則會給用戶帶來聲音突然變化的印象，從而給用戶帶來不諧調(diào)感。因此，圖4所示的三個聲音控制信息均包括(停止時的音量/經(jīng)過時間)項。即， 將減少率的絕對值設定成隨著動畫到停止為止的經(jīng)過時間的增大而減小，并且將減少率的絕對值設定成隨著經(jīng)過時間的減少而增大。由此，聲音隨著動畫到停止為止的經(jīng)過時間的增長而緩慢地漸漸消失，從而能夠進一步降低給用戶帶來的不諧調(diào)感。圖5是表示本發(fā)明的實施方式所涉及的動畫的概要的圖。在圖5的例子中，示出了對象OB從顯示畫面的左下向右上滑動5秒鐘的動畫。此時，為了使聲音數(shù)據(jù)D2與對象OB的動作匹配，聲音數(shù)據(jù)D2的再生時間被編輯為5秒。并且，在圖5的例子中，當從動畫的再生開始時刻起經(jīng)過了 3秒時，用戶輸入停止指令。因此，在從動畫的再生開始時刻起經(jīng)過了 3秒的時刻，動畫被停止，從而對象OB停止。在現(xiàn)有的方法中，由于動畫在中途停止時不對聲音數(shù)據(jù)實施任何處理，因此從輸入停止指令的3秒的時刻起到動畫結(jié)束時刻即5秒的時刻為止的2秒鐘的期間，聲音繼續(xù)響。因此，失去了動畫的動作與聲音的匹配性。另一方面，在本實施方式中，在輸入了停止指令的時刻，按照聲音控制信息，使聲音漸漸消失。因此，能夠維持動畫的動作與聲音的匹配性。圖6是用于說明本實施方式所涉及的漸漸消失的方法的曲線圖，縱軸表示音量， 橫軸表示時間。波形Wl示出了聲音數(shù)據(jù)D2表示的聲音波形。波形Wl的最大音量具有50的音量級。因此，聲音屬性信息D4為50。假設在從動畫的再生開始后的經(jīng)過時間達到Tl的點P1， 用戶輸入停止指令。此外，音量級是在指定范圍內(nèi)(例如0至100的范圍內(nèi))規(guī)定的表示音量大小的數(shù)值。此時，由于點Pl的音量VLl的相對音量(=VL1/50)小于40%，因此利用圖4所示的記錄R3的聲音控制信息字段F2中存儲的聲音控制信息所表示的“(- X (停止時的音量/經(jīng)過時間)，，計算減少率DR1，并使聲音按照減少率DRl漸漸消失。因此，聲音沿著具有減少率DRl的傾斜的直線Li，以音量從音量VLl向音量0漸漸減小的方式漸漸消失。另一方面，假設在從動畫的再生開始后的經(jīng)過時間達到T2的點P2，用戶輸入停止指令。此時，由于點P2的音量VL2的相對音量( = VL2/50)為60%以上，因此利用圖4所示的記錄Rl的聲音控制信息字段F2中存儲的聲音控制信息表示的“(-1/2) X (停止時的音量/經(jīng)過時間)，，計算減少率DR2，并使聲音按照減少率DR2漸漸消失。因此，聲音沿著具有減少率DR2的傾斜的直線L2，以音量從音量VL2向音量0漸漸減小的方式漸漸消失。在此，減少率DR2大致為減少率DRl的1/4倍的值。因此，可知，與在經(jīng)過時間Tl 輸入停止指令時相比，在經(jīng)過時間T2輸入停止指令時，由于相對音量較大，因此聲音緩慢地漸漸消失。返回到圖1，聲音輸出部15例如具備揚聲器及控制揚聲器的控制電路等，按照從聲音輸出控制部12輸出的聲音輸出指令，將聲音數(shù)據(jù)D2轉(zhuǎn)換成聲音并輸出。動畫顯示控制部13基于動畫數(shù)據(jù)再生動畫，當用戶輸入了停止指令時，使動畫停止。具體而言，動畫顯示控制部13向顯示部14輸出用于將動畫數(shù)據(jù)Dl表示的動畫顯示在顯示畫面上的繪畫指令，并使顯示部14顯示動畫。在此，動畫顯示控制部13在從動畫取得部11輸出了停止指令檢測通知D3時，判定用戶輸入了停止指令，并將用于使繪畫停止的繪畫停止指令輸出至顯示部14，使動畫停止。顯示部14包括具有繪畫緩沖器的圖形處理器(graphic processor)及顯示寫入繪畫緩沖器的圖像數(shù)據(jù)的顯示器。并且，顯示部14按照從動畫顯示控制部13輸出的繪畫指令，將動畫的幀圖像(frame image)的圖像數(shù)據(jù)依次寫入繪畫緩沖器，并依次顯示在顯示器上,從而顯示動畫。操作部19例如由數(shù)字電視或者DVD刻錄機等數(shù)字家電設備的遙控器或者鍵盤等構(gòu)成，接受來自用戶的操作輸入。在本實施方式中，操作部19尤其輸入使動畫的再生開始的動畫開始指令以及使動畫的再生在中途停止的停止指令等。控制信息存儲部17由例如可改寫的非易失性的存儲裝置構(gòu)成，存儲圖4所示的聲音控制信息表TBI。聲音屬性信息保存部18由例如可改寫的非易失性的存儲裝置構(gòu)成，存儲由聲音解析部16生成的聲音屬性信息D4。圖7是表示聲音屬性信息保存部18保存的聲音屬性信息表TB2的數(shù)據(jù)結(jié)構(gòu)的一例的圖。聲音屬性信息表TB2包括聲音數(shù)據(jù)D2的文件名字段F3和最大音量字段F4，將聲音數(shù)據(jù)D2的文件名與聲音數(shù)據(jù)D2的最大音量對應起來存儲。在本實施方式中，由于最大音量作為聲音屬性信息D4而被采用，因此存儲在最大音量的字段F4中的最大音量為聲音屬性信息D4。此外，在圖7的例子中，對文件名為myMusic.wav的聲音數(shù)據(jù)D2進行了解析， 其結(jié)果是最大音量為50，因此在文件名的字段F3存儲myMusic. wav,在最大音量的字段F4 存儲50。在圖7中，聲音屬性信息表TB2包含一個記錄，但根據(jù)由動畫取得部11取得的聲音數(shù)據(jù)D2的數(shù)目可以追加記錄。圖2及圖3是表示本發(fā)明的實施方式所涉及的聲音控制裝置1的處理流程的流程圖。首先，在步驟Si，動畫取得部11取得動畫數(shù)據(jù)Dl及聲音數(shù)據(jù)D2。該聲音數(shù)據(jù)D2是通過將由用戶所指定的聲音數(shù)據(jù)與動畫數(shù)據(jù)Dl的動作相適應地進行編輯而得到的聲音數(shù)據(jù)。即，按照動畫數(shù)據(jù)Dl表示的對象的顏色、尺寸以及形狀，聲音數(shù)據(jù)D2的再生時間、音量以及能聽見的位置等被預先調(diào)整。接著，聲音解析部16取得由動畫取得部11編輯過的聲音數(shù)據(jù)D2，通過解析該聲音數(shù)據(jù)D2 (步驟S2)，確定最大音量，并作為聲音屬性信息D4保存在聲音屬性信息保存部18 中(步驟S3)。接著，動畫顯示控制部13從動畫取得部11取得動畫數(shù)據(jù)Dl，將用于顯示由所取得的動畫數(shù)據(jù)Dl表示的動畫的繪畫指令輸出至顯示部14，開始動畫的再生(步驟S4)。在此，動畫取得部11也開始對動畫的再生時間進行計時。接著，動畫取得部11在動畫的再生開始后到動畫結(jié)束為止的期間，監(jiān)視是否從用戶輸入了動畫的停止指令(步驟S5)。然后，如果動畫取得部11檢測到停止指令的輸入(在步驟S6為“是”)，則將停止指令檢測通知D3輸出至動畫顯示控制部13及聲音輸出控制部12 (步驟S7)。另一方面，如果動畫取得部11未檢測到停止指令的輸入(在步驟S6為“否”)，使處理返回到步驟S5。接著，動畫取得部11將表示從動畫的再生開始到檢測到停止指令為止的經(jīng)過時間的經(jīng)過時間通知D5輸出至聲音輸出控制部12(步驟S8)。接著，聲音輸出控制部12從聲音屬性信息保存部18取得再生中的動畫的聲音屬性信息D4(步驟S9)。接著，聲音輸出控制部12計算停止時的音量相對于聲音屬性信息D4表示的最大音量的相對音量，從聲音控制信息表TBl中指定與計算出的相對音量相應的聲音控制信息(步驟S10)。接著，聲音輸出控制部12將停止時的音量、經(jīng)過時間通知D5表示的經(jīng)過時間代入確定的聲音控制信息表示的式中來計算減少率，并向聲音輸出部15輸出聲音輸出指令，以使聲音以計算出的減少率漸漸消失(步驟Sll)。接著，聲音輸出部15按照從聲音輸出控制部12輸出的聲音輸出指令輸出聲音 (步驟S12)。由此，如圖6所示，根據(jù)動畫停止時的音量，聲音以恰當?shù)臏p少率漸漸消失。這樣，根據(jù)聲音控制裝置1，在伴有聲音的動畫中，當動畫在再生中途被用戶停止時，聲音以與停止時的音量及從再生起到停止為止的經(jīng)過時間相適應的恰當?shù)囊袅繙p少率漸漸消失。因此，能夠自動地調(diào)整聲音，以便配合動畫的停止，從而即使動畫在再生中途停止，也能夠不給用戶帶來不諧調(diào)感地使聲音停止。此外，在本實施方式中，采用聲音解析部16解析聲音數(shù)據(jù)D2來生成聲音屬性信息 D4并將其保存在聲音屬性信息保存部18中的方式，但也可以采用動畫取得部11預先解析聲音數(shù)據(jù)D2來生成聲音屬性信息D4，并將其保存在聲音屬性信息保存部18中的方式。另外，在本實施方式中，利用存儲在聲音控制信息表TBl的聲音控制信息來計算減少率，并使聲音以計算出的減少率漸漸消失，但本發(fā)明不限定于此。即，也可以是，將根據(jù)在動畫在再生中途被停止時計算出的停止時聲音信息被預先確定的聲音停止模式事先存儲在控制信息存儲部17中，當用戶輸入了停止指令時，按照存儲在控制信息存儲部17的聲音停止模式使聲音停止。在此，作為聲音停止模式，例如能夠采用表示從動畫停止起到聲音停止為止的聲音波形的聲音數(shù)據(jù)。此時，讓控制信息存儲部17預先存儲與停止時聲音信息相應的多個聲音停止模式。并且，只要聲音輸出控制部12指定與作為停止時聲音信息的相對音量相應的聲音停止模式，并向聲音輸出部15輸出用于以指定的聲音停止模式輸出聲音的聲音輸出指令即可。此外，該方式也適用于后述的實施方式2。(實施方式2)實施方式2所涉及的聲音控制裝置1的特征在于，當用戶輸入了停止指令時，代替音量而按照頻率特性來使聲音停止。此外，在本實施方式中，整體結(jié)構(gòu)與圖1相同。而且， 在本實施方式中，處理的流程也與圖2及圖3相同。另外，在本實施方式中，對與實施方式 1相同的部分省略說明。在本實施方式中，聲音解析部16計算聲音數(shù)據(jù)D2的從開始到結(jié)束為止的頻率特性的時間推移，并將計算出的頻率特性的時間推移作為聲音屬性信息D4而生成，將其保存在聲音屬性信息保存部18中。作為解析聲音的頻率特性的方法，將聲音數(shù)據(jù)作為輸入信號并對該輸入信號應用離散傅里葉變換的方法已為公眾所知。離散傅里葉變換例如通過下述的式(1)來表示。F(u〉=2 f (x)e-2
X=O(1)其中，u = 0，......，M-I在此，f (χ)是1維的輸入信號，χ是規(guī)定f的變量。F(U)表示f (χ)的1維的頻率特性。U表示與X相對應的頻率，M表示采樣點的個數(shù)。
因此，聲音解析部16將聲音數(shù)據(jù)D2作為輸入信號，利用式(1)計算頻率特性。離散傅里葉變換通常使用高速傅里葉變換來執(zhí)行，但作為高速傅里葉變換的方法，存在Cooley-Tukey式算法、Prime Factor算法等各種算法。在本實施方式中，作為頻率特性，僅利用振幅特性(振幅頻譜)，不利用相位特性。因此，計算時間不太會成為問題， 作為離散傅里葉變換，可以采用任意方式。圖8是表示由聲音解析部16解析后的頻率特性的曲線圖，(A)表示某時刻的聲音數(shù)據(jù)D2的頻率特性，(B)表示聲音數(shù)據(jù)D2，(C)表示某時刻的頻率特性。聲音解析部16在多個時刻計算圖8(C)所示的頻率特性，將這些多個時刻的頻率特性作為聲音屬性信息D4 而生成，并將其保存在聲音屬性信息保存部18中。此外，聲音解析部16例如可以在時間軸上設定用于確定聲音數(shù)據(jù)D2的頻率特性的計算期間的計算窗，并一邊使計算窗沿著時間軸移動，一邊反復計算聲音數(shù)據(jù)D2的頻率特性，從而計算頻率特性的時間推移。當輸入了停止指令檢測通知D3時，聲音輸出控制部12從聲音屬性信息保存部18 中指定在經(jīng)過時間通知D5表示的經(jīng)過時間時的頻率特性即停止時頻率特性(停止時聲音信息的一例)。然后，當停止時頻率特性分布于指定的非可聽頻帶時，聲音輸出控制部12使聲音消音。另外，當停止時頻率特性分布于人類聽力的靈敏度較高的指定的高靈敏度頻帶時，與分布于可聽頻帶的其他頻帶時相比，聲音輸出控制部12將漸漸消失時的音量的減少率設定得較小。眾所周知，人類的聽力具有頻率特性，人類聽力的最低頻率為20Hz左右，并以 2kHz附近為中心，聽力的靈敏度變高。因此，在本實施方式中，作為非可聽頻帶，采用20Hz 以下的頻帶，作為可聽頻帶，采用大于20Hz并且為人類聽力的上限頻率(例如3. 5kHz至 7kHz)以下的頻帶。圖9是表示費萊切爾-蒙松(Fletcher-Munson)的等響曲線(isosensitivity curve)的曲線圖，縱軸表示聲壓級(dB)，橫軸以對數(shù)標度表示頻率(Hz)。根據(jù)圖9所示的費萊切爾-蒙松的等響曲線，可知，在大約500Hz以下的低頻域， 頻率越低或者音量越小，聲音越難以聽得見。因此，在本實施方式中，聲音輸出控制部12利用圖10所示的聲音控制信息表TBI 1 決定聲音的輸出方法。圖10是表示本發(fā)明的實施方式2中的聲音控制信息表TBll的數(shù)據(jù)結(jié)構(gòu)的一例的圖。如圖10所示，聲音控制信息表TBll包含頻率字段Fll和聲音控制信息字段F12，將頻率與聲音控制信息對應起來存儲。在圖10的例子中，聲音控制信息表TBll 包括五個記錄Rll至R15。記錄Rl 1在頻率字段Fl 1存儲有“非可聽頻帶”，在聲音控制信息字段F2存儲有表示“消音”的聲音控制信息。因此，當停止時頻率特性分布于非可聽區(qū)域時，聲音輸出控制部12使聲音消音。記錄R12至R15與可聽頻帶相對應。并且，記錄R12在頻率字段Fll存儲有“20Hz 至500Hz”，在聲音控制信息字段F12存儲有表示“以(-2) X (停止時的音量/經(jīng)過時間) 的減少率漸漸消失”的聲音控制信息。因此，當停止時頻率特性分布于20Hz至500Hz的頻帶時，聲音輸出控制部12利用 (-2) X (停止時的音量/經(jīng)過時間)的公式計算減少率，并使音量以計算出的減少率漸漸減少，從而使聲音漸漸消失。記錄R13在頻率字段Fll存儲有“500Hz至1500Hz”，在聲音控制信息字段F12存儲有表示“以(-1) X (停止時的音量/經(jīng)過時間)的減少率漸漸消失”的聲音控制信息。因此，當停止時頻率特性分布于500Hz以上且小于1500Hz的頻帶時，聲音輸出控制部12利用(-1) X (停止時的音量/經(jīng)過時間)的公式計算減少率，并使音量以計算出的減少率漸漸減少，從而使聲音漸漸消失。記錄R14在頻率字段Fl 1存儲有“ 1500Hz至2500Hz，，，在聲音控制信息字段F12存儲有表示“以(-1/2) X (停止時的音量/經(jīng)過時間)的減少率漸漸消失”的聲音控制信息。 在本實施方式中，“1500Hz至2500Hz”的頻帶相當于高靈敏度頻帶。此外，該數(shù)值是一例， 高靈敏度頻帶的范圍可以比其窄，也可以比其寬。因此，當停止時頻率特性分布于1500Hz以上且小于2500Hz的頻帶時，聲音輸出控制部12利用(-1/2) X (停止時的音量/經(jīng)過時間)的減少率的公式計算減少率，并使音量以計算出的減少率漸漸減少，從而使聲音漸漸消失。記錄R15在頻率字段Fll存儲有“2500Hz以上”，在聲音控制信息字段F12存儲有表示“以(-1) X (停止時的音量/經(jīng)過時間)的減少率漸漸消失”的聲音控制信息。因此，當停止時頻率特性分布于2500Hz以上的頻帶時，聲音輸出控制部12利用 (-1) X (停止時的音量/經(jīng)過時間)的減少率的公式計算減少率，并使音量以計算出的減少率漸漸減少，從而使聲音漸漸消失。S卩，在聲音控制信息表TBll中，如記錄R12至R15所示，由于在高靈敏度頻帶的系數(shù)是-1/2，因此與可聽頻帶的其他頻帶相比，計算出的減少率的絕對值較小。因此，當停止時頻率特性分布于人類的聽力變得敏感的2kHz附近時，與分布于其他頻帶時相比，聲音慢慢地漸漸消失，因此能夠不給用戶帶來不諧調(diào)感地使聲音停止。此外，聲音輸出控制部12也可以求出停止時頻率特性顯示出峰值時的頻率即峰值頻率，根據(jù)該峰值頻率屬于圖10所示的頻帶中的哪個頻帶，來判斷停止時頻率特性分布于哪個頻帶。在上述的實施方式1、2中，當用戶輸入停止指令而被停止的動畫再次由用戶開始時，動畫從停止處再次開始。此時，只要記錄動畫被停止時的音量及頻率頻率特性即可。并且，當用戶指示再生與停止中的動畫不同的動畫時，只要著眼于所記錄的音量或者頻率特性使動畫再生即可。例如，當停止時的頻率特性為20Hz以下或分布于20Hz以上且小于500Hz的頻帶
時，可以直接再生下一動畫的聲音。另外，當停止時的頻率特性分布于2kHz附近即分布于高靈敏度頻帶時，可以使先前的動畫的聲音以圖10的“(-1) X (停止時的音量/經(jīng)過時間)”的減少率漸漸消失(fade out)，并且使之后的動畫的聲音以“(停止時的音量/經(jīng)過時間)”的增加率漸顯(fade in)。 作為漸顯的期間，可采用與漸漸消失的期間相同的期間。上述的聲音控制裝置的技術(shù)特征被總結(jié)為如下。(1)本發(fā)明所提供的聲音控制裝置包括取得表示基于來自用戶的設定操作被預先生成的動畫的動畫數(shù)據(jù)和表示與所述動畫數(shù)據(jù)聯(lián)動再生的聲音的聲音數(shù)據(jù)的動畫取得部；通過解析從開始到結(jié)束為止的所述聲音數(shù)據(jù)的特征生成聲音屬性信息的聲音解析部；基于所述動畫數(shù)據(jù)再生動畫，當用戶輸入了用于使所述動畫停止的停止指令時使所述動畫停止的動畫顯示控制部；以及基于所述聲音數(shù)據(jù)再生聲音的聲音輸出控制部，所述聲音輸出控制部，當輸入所述停止指令時，利用所述聲音屬性信息計算表示所述動畫停止時的聲音的特征的停止時聲音信息，基于計算出的停止時聲音信息決定與停止的動畫匹配的所述聲音的指定的輸出方法，并按照所決定的輸出方法再生所述聲音。根據(jù)該結(jié)構(gòu)，在伴有聲音的動畫中，當動畫在再生中途被用戶停止時，表示動畫停止時的聲音的特征的停止時聲音信息被計算，基于該停止時聲音信息，決定與停止的動畫匹配的指定的輸出方法。因此，能夠自動地調(diào)整聲音，以便配合動畫的停止，即使動畫在再生中途停止，也能夠不給用戶帶來不諧調(diào)感地輸出聲音。(2)較為理想的是，上述的聲音控制裝置還包括存儲根據(jù)所述停止時聲音信息被預先確定的多個聲音控制信息的控制信息存儲部，所述聲音輸出控制部決定與所述停止時聲音信息相應的聲音控制信息，并按照所決定的聲音控制信息使聲音停止。根據(jù)該結(jié)構(gòu)，從存儲在聲音控制信息存儲部的聲音控制信息中決定與停止時聲音信息相應的聲音控制信息，并按照所決定的聲音控制信息使聲音停止。因此，能夠簡便且快速地決定聲音的輸出方法。(3)較為理想的是，上述的聲音控制裝置還包括保存所述聲音屬性信息的聲音屬性信息保存部，所述聲音輸出控制部利用保存于所述聲音屬性信息保存部的聲音屬性信息，計算所述停止時聲音信息。根據(jù)該結(jié)構(gòu)，由于在動畫的再生之前，聲音屬性信息被預先保存在聲音屬性信息保存部，因此，聲音輸出控制部能夠在動畫停止時，快速地決定聲音屬性信息，并且能夠快速地決定聲音的輸出方法。(4)較為理想的是，所述聲音屬性信息表示所述聲音的最大音量，所述停止時聲音信息表示所述停止時的所述聲音相對于所述最大音量的相對音量，所述聲音輸出控制部以音量的減少率隨著所述相對音量增大而減小的方式使聲音漸漸消失。根據(jù)該結(jié)構(gòu)，停止時的音量越大，減少率被設定得越小，以此使聲音漸漸消失。因此，當動畫停止時的音量較大時，聲音慢慢地漸漸消失，能夠防止給用戶帶來不諧調(diào)感。另一方面，當動畫停止時的音量較小時，聲音急速地漸漸消失，因此能夠不給用戶帶來不諧調(diào)感地使聲音急速地停止。(5)較為理想的是，所述聲音輸出控制部設定所述減少率使其隨著所述動畫到停止為止的經(jīng)過時間的增大而減小。根據(jù)該結(jié)構(gòu)，隨著動畫到停止為止的經(jīng)過時間的增大，聲音緩慢地漸漸消失，因此能夠不給用戶帶來不諧調(diào)感地使聲音停止。(6)較為理想的是，所述聲音屬性信息表示所述聲音數(shù)據(jù)的從開始到結(jié)束為止的頻率特性的時間推移，所述停止時聲音信息是表示所述停止時的所述聲音數(shù)據(jù)的頻率特性的停止時頻率特性，當所述停止時頻率特性分布于指定的非可聽頻帶時，所述聲音輸出控制部使聲音消音，當所述停止時頻率特性分布于所述非可聽頻帶之上的可聽頻帶時，所述聲音輸出控制部使聲音漸漸消失。根據(jù)該結(jié)構(gòu)，當停止時頻率特性分布于非可聽頻帶時，使聲音消音，當停止時頻率特性分布于可聽頻帶時，使聲音漸漸消失，因此能夠不給用戶帶來不諧調(diào)感地使聲音停止。
14
(7)較為理想的是，當所述停止時頻率特性分布于人類聽力的靈敏度較高的指定的高靈敏度頻帶時，與分布于所述可聽頻帶的其他頻帶時相比，所述聲音輸出控制部將漸漸消失時的音量的減少率設定得較小。根據(jù)該結(jié)構(gòu)，當停止時頻率特性分布于高靈敏度頻帶時，與分布于其他頻帶時相比，聲音慢慢地漸漸消失，因此能夠不給用戶帶來不諧調(diào)感地使聲音停止。(8)較為理想的是，所述聲音輸出控制部使所述減少率隨著所述動畫到停止為止的經(jīng)過時間的增大而減小。根據(jù)該結(jié)構(gòu)，隨著動畫到停止為止的經(jīng)過時間的增大，聲音慢慢地漸漸消失，因此能夠不給用戶帶來不諧調(diào)感地使聲音停止。(9)較為理想的是，所述聲音輸出控制部以根據(jù)所述停止時聲音信息被預先確定
的聲音停止模式使聲音停止。根據(jù)該結(jié)構(gòu)，當動畫被停止時，能夠簡便且快速地使聲音停止。產(chǎn)業(yè)上的可利用性根據(jù)本發(fā)明的裝置，在伴有聲音的動畫中，當動畫在動畫執(zhí)行中途被用戶停止時， 可決定聲音的輸出方法以便與停止的動畫相匹配，因此能夠提高對用動畫生成工具開發(fā)動畫的用戶以及利用數(shù)字家電設備的用戶界面的用戶的便利性。尤其在預計今后會逐漸擴大運用的動畫軟件開發(fā)時，本發(fā)明是有用的。
權(quán)利要求
1.一種聲音控制裝置，其特征在于包括動畫取得部，取得表示基于來自用戶的設定操作預先生成的動畫的動畫數(shù)據(jù)和表示與所述動畫數(shù)據(jù)聯(lián)動再生的聲音的聲音數(shù)據(jù)；聲音解析部，通過解析從開始到結(jié)束為止的所述聲音數(shù)據(jù)的特征生成聲音屬性信息；動畫顯示控制部，基于所述動畫數(shù)據(jù)再生動畫，當用戶輸入了用于使所述動畫停止的停止指令時，使所述動畫停止；以及聲音輸出控制部，基于所述聲音數(shù)據(jù)再生聲音，其中，所述聲音輸出控制部，當輸入所述停止指令時，利用所述聲音屬性信息計算表示所述動畫停止時的聲音的特征的停止時聲音信息，基于計算出的停止時聲音信息，決定與停止的動畫匹配的所述聲音的指定的輸出方法，并按照所決定的輸出方法再生所述聲音。
2.根據(jù)權(quán)利要求1所述的聲音控制裝置，其特征在于還包括存儲根據(jù)所述停止時聲音信息被預先確定的多個聲音控制信息的控制信息存儲部，其中，所述聲音輸出控制部，決定與所述停止時聲音信息相應的聲音控制信息，并按照所決定的聲音控制信息使聲音停止。
3.根據(jù)權(quán)利要求1或2所述的聲音控制裝置，其特征在于還包括保存所述聲音屬性信息的聲音屬性信息保存部，其中，所述聲音輸出控制部，利用保存在所述聲音屬性信息保存部的聲音屬性信息，計算所述停止時聲音信息。
4.根據(jù)權(quán)利要求1至3中的任一項所述的聲音控制裝置，其特征在于所述聲音屬性信息，表示所述聲音數(shù)據(jù)的最大音量，所述停止時聲音信息，表示所述停止時的聲音相對于所述最大音量的相對音量，所述聲音輸出控制部，以音量的減少率隨著所述相對音量的增大而減小的方式使聲音漸漸消失。
5.根據(jù)權(quán)利要求4所述的聲音控制裝置，其特征在于所述聲音輸出控制部，設定所述減少率使其隨著所述動畫到停止為止的經(jīng)過時間的增大而減小。
6.根據(jù)權(quán)利要求1至3中的任一項所述的聲音控制裝置，其特征在于所述聲音屬性信息，表示所述聲音數(shù)據(jù)從開始到結(jié)束為止的頻率特性的時間推移，所述停止時聲音信息，是表示所述停止時的所述聲音數(shù)據(jù)的頻率特性的停止時頻率特性，所述聲音輸出控制部，當所述停止時頻率特性分布于指定的非可聽頻帶時使聲音消音，當所述停止時頻率特性分布于頻率高于所述非可聽頻帶的可聽頻帶時使聲音漸漸消失。
7.根據(jù)權(quán)利要求6所述的聲音控制裝置，其特征在于所述聲音輸出控制部，當所述停止時頻率特性分布于人類聽力的靈敏度較高的指定的高靈敏度頻帶時，與分布于所述可聽頻帶的其他頻帶時相比，將漸漸消失時的音量的減少率設定得較小。
8.根據(jù)權(quán)利要求7所述的聲音控制裝置，其特征在于所述聲音輸出控制部，使所述減少率隨著所述動畫到停止為止的經(jīng)過時間的增大而減小。
9.根據(jù)權(quán)利要求1至3中的任一項所述的聲音控制裝置，其特征在于所述聲音輸出控制部，以根據(jù)所述停止時聲音信息被預先確定的聲音停止模式使聲音停止。
10.一種聲音控制程序，其特征在于使計算機作為以下各部發(fā)揮功能動畫取得部，取得表示基于來自用戶的設定操作被預先生成的動畫的動畫數(shù)據(jù)、表示與所述動畫聯(lián)動再生的聲音的聲音數(shù)據(jù)；聲音解析部，通過解析從開始到結(jié)束為止的所述聲音數(shù)據(jù)的特征生成聲音屬性信息； 動畫顯示控制部，基于所述動畫數(shù)據(jù)再生動畫，當用戶輸入了用于使所述動畫停止的停止指令時使所述動畫停止；以及聲音輸出控制部，基于所述聲音數(shù)據(jù)再生聲音，其中，所述聲音輸出控制部，當所述停止指令被輸入時，利用所述聲音屬性信息計算表示所述動畫停止時的聲音的特征的停止時聲音信息，基于計算出的停止時聲音信息決定與停止的動畫匹配的所述聲音的指定的輸出方法，并按照所決定的輸出方法再生所述聲音。
11.一種聲音控制方法，其特征在于包括動畫取得步驟，計算機取得表示基于來自用戶的設定操作被預先生成的動畫的動畫數(shù)據(jù)和表示與所述動畫數(shù)據(jù)聯(lián)動再生的聲音的聲音數(shù)據(jù)；聲音解析步驟，計算機通過解析從開始到結(jié)束為止的所述聲音數(shù)據(jù)的特征生成聲音屬性信息；動畫顯示控制步驟，計算機基于所述動畫數(shù)據(jù)再生動畫，當用戶輸入了用于使所述動畫停止的停止指令時使所述動畫停止；以及聲音輸出控制步驟，計算機基于所述聲音數(shù)據(jù)再生聲音，其中， 在所述聲音輸出控制步驟，當輸入所述停止指令時，利用所述聲音屬性信息計算表示所述動畫停止時的聲音的特征的停止時聲音信息，基于計算出的停止時聲音信息決定與停止的動畫匹配的所述聲音的指定的輸出方法，并按照所決定的輸出方法再生所述聲音。
全文摘要
根據(jù)本發(fā)明，即使用戶在中途停止動畫，也不會給用戶帶來不諧調(diào)感地輸出聲音。動畫取得部(11)取得表示基于用戶的設定操作預先生成的動畫的動畫數(shù)據(jù)(D1)和表示與動畫聯(lián)動再生的聲音的聲音數(shù)據(jù)(D2)。當用戶輸入了停止指令時，聲音輸出控制部(12)利用聲音屬性信息(D4)計算表示動畫停止時的聲音的特征的停止時聲音信息，基于計算出的停止時聲音信息決定與動畫匹配的聲音的指定的輸出方法，并按照所決定的輸出方法再生聲音。
文檔編號G10L13/02GK102473415SQ20118000295
公開日2012年5月23日 申請日期2011年5月19日 優(yōu)先權(quán)日2010年6月18日
發(fā)明者箱田航太郎 申請人:松下電器產(chǎn)業(yè)株式會社