專利名稱：一種演唱和演奏的計(jì)算機(jī)實(shí)時分析系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
發(fā)明涉及-一種演唱和演奏的計(jì)算機(jī)實(shí)時分析系統(tǒng)。
背景技術(shù)：
長期以來，由于科技水平的局限，又由于聲樂(演唱)和器樂(演奏)學(xué)科本身固有的復(fù)雜性(涉及音樂學(xué)、數(shù)學(xué)、物理學(xué)、生理解剖學(xué)、心理學(xué)等多學(xué)科)和主觀性(難以觀察人的活動的內(nèi)部腔體、個人對美學(xué)的自我判斷不一、聽眾受人耳生理閾限的限制無法準(zhǔn)確地聽到歌手實(shí)際演唱的聲音的全域等)，人們對聲樂和器樂的研究一直只是停留在定性或稍許定量方面，在聲樂和器樂的計(jì)算機(jī)處理實(shí)時可視化、系統(tǒng)而定量地測量和測試等方面一直非常欠缺，采用計(jì)算機(jī)圖像和視頻自動識別并指導(dǎo)演唱狀態(tài)和演奏狀態(tài)就更是至今都鮮有研究。
近兩百年以來，人們逐步開始從理性和科學(xué)的角度來分析和研究聲樂和器樂，以便更好更科學(xué)地獲得所需的音色，也為創(chuàng)立各種民族聲樂學(xué)派提供基礎(chǔ)理論。自從半個多世紀(jì)前世界上第一部真正的計(jì)算機(jī)得以發(fā)明以來，計(jì)算機(jī)和其他學(xué)科的緊密結(jié)合并廣泛應(yīng)用，逐歩在影響和改變著人們的生活和工作，并為其他各學(xué)科的高速發(fā)展提供了現(xiàn)代化的有力工具，聲樂和器樂學(xué)科便是其中受益的學(xué)科之-一。
在聲樂(演唱)和器樂(演奏)中，需要結(jié)合計(jì)算機(jī)、數(shù)學(xué)、物理學(xué)等學(xué)科的相關(guān)知識，以便對聲音進(jìn)行實(shí)時分析，獲得對聲音的真實(shí)情況和定量情況的掌握，其原因是由于人、樂器和演奏方法等本身就存在一些聽覺上難以克服的問題
1.在演唱時，演唱者自身聽不到自己的聲音的真實(shí)情況，其原因主要是演唱者的各個發(fā)聲器官的振動影響到其聽覺神經(jīng)，使演唱者產(chǎn)生錯誤聽覺；同時，演唱者所發(fā)聲音的聲波是向前傳播(特別是較高頻的聲音)，而不是向演唱者的兩旁耳朵傳播的，所以導(dǎo)致演唱者在演唱時聽不到自身真正真實(shí)性的聲音情況，從而使演唱者產(chǎn)生錯誤聽覺；另夕卜，人本身對于以前自身和別人演唱的聽覺記憶、多次演唱的疲憊或產(chǎn)生的麻木等主觀情況也影響演唱時的演唱者聽覺的真實(shí)反i^;2.在演奏時，演奏者自身聽不到自己的聲音的真實(shí)情況，其原因主要是演奏的樂器的振動通過樂器與人的振動接觸影響到其聽覺神經(jīng)，使演唱者產(chǎn)生錯誤聽覺；同時，樂器所發(fā)聲音的聲波是往往是背對演奏者
傳播的，而不是向演唱者的兩旁耳朵傳播的，所以導(dǎo)致演奏者在演奏
時聽不到真正真實(shí)性的聲音情況，從而使演奏者產(chǎn)生錯誤聽覺；另外，人本身對于以前自身和別人演奏的聽覺記憶、多次演奏的疲憊或產(chǎn)生的麻木等主觀情況也影響演奏時的演奏者聽覺的真實(shí)反應(yīng)。
本發(fā)明中，音樂的"節(jié)奏、音準(zhǔn)、音色"及相關(guān)名詞的含義分別是
1. ，節(jié)奏指的是音樂中交替出現(xiàn)的有規(guī)律的強(qiáng)弱、長短的現(xiàn)象；
2. 音準(zhǔn)指的是音高(聲音的高低，由音波振動的頻率來決定)的準(zhǔn)確程度；
3. —般的樂音都是復(fù)合音(Compound Tone,亦簡稱復(fù)音)， 一個復(fù)合音中，頻率最低的純音叫做基音(Fundamental Tone)，基音是聲音的最主要成分，由發(fā)聲體整體振動所產(chǎn)生)；除去基音外，所有其余的純音叫做泛音(Harmonics)，也叫倍音(Overtone)、分音(Partial);一個復(fù)合音中的泛音按次序分別稱為"二倍音"(第一泛音)、"三倍音"(第二泛音)、"四倍音"(第三泛音)等等；
4. ^ (Musical Quality):音色指音的感覺特性，主要由其泛音的多寡及各泛音的相對強(qiáng)度所決定；音色也稱音品、音質(zhì)；音色是音樂中極為吸引人、能直接觸動感官的重要表現(xiàn)手段；每個人的聲音以及各種樂器所發(fā)出的聲音的區(qū)別，就是由音色不同造成的；
5. 共振峰(Formant):對于兩個振動頻率相同的物體，-'個物體發(fā)生振動時將引起另一個物體振動，從而形成共振，也稱共鳴。共振的產(chǎn)生能使音量顯著增強(qiáng)，并使聲音更為飽滿。共振峰指的是聲音的產(chǎn)生由于存在共振現(xiàn)象，從而使得聲音頻譜的泛音列在某一特定段所形成的局部高峰。

發(fā)明內(nèi)容
本發(fā)明的演唱和演奏的計(jì)算機(jī)實(shí)時分析系統(tǒng)，包括
聲音信號的分段檢包裝置，用于根據(jù)聲音信號，檢測某個音到哪個位置轉(zhuǎn)換成了另外一個音，或者嚴(yán)格限定分段步長，然后按照一定規(guī)則進(jìn)行分段；
聲音信號時間域數(shù)據(jù)的實(shí)時記錄、存儲、顯示和播放裝置，用于根據(jù)聲音信號的分段檢包得到的數(shù)據(jù)序列，實(shí)時記錄在內(nèi)存中，并對這些數(shù)據(jù)進(jìn)行存儲和顯示，獲得聲音的時間一幅度序列圖，并實(shí)時發(fā)送給揚(yáng)聲器等
發(fā)生設(shè)備進(jìn)行播放；
短時快速傅里葉變換，繪制"時間一頻率一強(qiáng)度"的聯(lián)合圖的裝置，對聲音的時間域數(shù)據(jù)進(jìn)行短時快速傅里葉變換，并由此得到"時間一頻率一強(qiáng)度/功率"，即(聲音音色)的聯(lián)合圖，其中"時間一頻率一強(qiáng)度"的
聯(lián)合圖用亍反應(yīng)聲音音色的如下信息
聲音的穩(wěn)定性和抖動范圍情況；
聲音的共振峰位置及其強(qiáng)度情況；
聲音的連續(xù)行進(jìn)中，兩個基音之間滑音的粘連情況；
聲音的基音和各泛音的強(qiáng)弱對比情況；
聲音的基音和各泛音的頻率隨時間的行進(jìn)情況；短時快速傅里葉變換，繪制"時間一頻率"的實(shí)時頻譜圖的裝置,用于對聲音的時間域數(shù)據(jù)，分段取數(shù)據(jù)，進(jìn)行短時快速傅里葉變換，繪制"時間一頻率"的實(shí)時頻譜聲音的基音、泛音和共振峰的識別、分析處理和顯示的裝置，用
于
對聲音的時間域分段數(shù)據(jù)進(jìn)行基音搜索、剔除噪聲等一系列識別和分析處理之后，顯示聲音的基音的值，以及聲音的基音跟所選定的律制下的最接近的音的頻率偏差值，同時，根據(jù)音樂學(xué)中音分的定義，即時把這個頻率偏差值轉(zhuǎn)換為音分值，并加以顯示；
通過對頻率曲線各個局部峰的搜索，并且根據(jù)音樂學(xué)的規(guī)律進(jìn)行推算，可以實(shí)時分析獲得聲音的泛音信息，從而得到聲音的共振峰狀況；聲音的節(jié)奏識別、分析處理和顯示裝置，用于對聲音的時間域數(shù)據(jù)，采用時間域分析、頻率域分析或"時一頻"聯(lián)合分析，實(shí)時獲得聲音的節(jié)奏及其變化；
聲音的基音序列的律制分析裝置，用于由聲音的基音序列對聲音的律制進(jìn)行分析，分析得到聲音的曲譜是十二平均律、五度相生律、純律，還是其他特別的律制體系；
根據(jù)基音、唱詞、節(jié)奏和律制等信息，分析整理成曲譜并顯示的裝置由前述所獲得的基音、唱詞、節(jié)奏和律制等的信息，實(shí)時分析整理，獲得含有各個音偏移的律制信息的曲譜序列；聲音時間域和頻率域信號修改、記錄、存儲、評估、顯示、播放和傳輸?shù)难b置，用于
對聲音的時間域和頻率域信號，不做任何修改，直接進(jìn)行記錄、存儲、評估、顯示、播放和傳輸；或
基于一定的修改規(guī)則，對聲音的時間域和頻率域信號進(jìn)fiH己錄、
存儲、評估、顯示、播放和傳輸。
本發(fā)明的目的是對聲樂(演唱)和器樂(演奏)進(jìn)行計(jì)算機(jī)實(shí)時可視化、系統(tǒng)而定量地測量和測試，并采用計(jì)算機(jī)圖像和視頻自動識別技術(shù)識別并指導(dǎo)演唱狀態(tài)和演奏狀態(tài)，形成- 套"演唱和演奏的計(jì)算機(jī)實(shí)時分析系統(tǒng)"。本發(fā)明的"演唱和演奏的計(jì)算機(jī)實(shí)時分析系統(tǒng)"主要實(shí)時分析聲
樂(演唱)和器樂(演奏)的聲音和視頻，解決音樂的三個基本要素問題:節(jié)奏、音準(zhǔn)、音色。使用本發(fā)明的演唱和演奏的計(jì)算機(jī)實(shí)時分析系統(tǒng)后，用戶能夠在短時間內(nèi)迅速提高對于"節(jié)奏、音準(zhǔn)、音色"三者的把握。
從計(jì)算機(jī)輔助聲樂和器樂的角度出發(fā)，在總結(jié)國內(nèi)外研究現(xiàn)^^的基礎(chǔ)上，從音樂學(xué)、物理學(xué)、聲學(xué)、數(shù)學(xué)的角度出發(fā)，對現(xiàn)場及錄音音頻材料做精確測量和分析，將聲音以數(shù)據(jù)、圖、表和數(shù)據(jù)視頻等聲音用可視化方式詳盡顯示，精確測量、實(shí)時分析出聲音的各個物理學(xué)參數(shù)(包括聲音的音準(zhǔn)和強(qiáng)度/功率、基音的位置及其強(qiáng)弱、泛音的位置及其強(qiáng)弱、共振峰的位置及其強(qiáng)弱、頻譜圖、時頻圖等)和各個音樂學(xué)參數(shù)(包括音樂序列的節(jié)奏、音樂序列的律制、音樂序列的曲譜等)，使得聲音視頻化后使得聲音既可以聽得見，還可以看得見；這些信息的分析和輸出(音樂信息化)
用以構(gòu)建一個智能音樂分析專家系統(tǒng)——"演唱和演奏的計(jì)算機(jī)實(shí)時分析
系統(tǒng)"，使得聲音"百聞不如一見"；在聲樂(演唱)和器樂(演奏)中實(shí)時指導(dǎo)演唱者和演奏者，展現(xiàn)聲音的可視化信息，從而可以實(shí)時調(diào)節(jié)歌唱的發(fā)聲狀態(tài)和腔體、器樂的演奏狀態(tài)和演奏方法等而獲得所需的聲情并茂的音色。
本發(fā)明對亍演唱的聲音，采用語音模式識別，對聲音中演唱的唱詞的語音進(jìn)行識別和顯示，識別出來的唱詞用于后續(xù)曲譜的整理和分析。
本發(fā)明由聲音實(shí)時分析所獲得的基音、唱詞、節(jié)奏和律制等的信息，實(shí)時分析整理，獲得含有各個音偏移的律制信息的曲譜序列。
本發(fā)明采用計(jì)算機(jī)圖像和視頻自動識別技術(shù)，對演唱的發(fā)聲狀態(tài)或器樂的演奏狀態(tài)進(jìn)行識別，結(jié)合前述對于聲音的"節(jié)奏、音準(zhǔn)、音色"的分析，根據(jù)演唱或演奏的狀況，實(shí)時給出指導(dǎo)建議。
因?yàn)檎f話語音的聲音與聲樂(演唱)和器樂(演奏)的聲音在本質(zhì)上沒有什么區(qū)別，所以本發(fā)明對于說話語音的計(jì)算機(jī)實(shí)時分析也是適用的。


圖1 一種演唱和演奏的計(jì)算機(jī)實(shí)時分析系統(tǒng)的系統(tǒng)結(jié)構(gòu)圖。
具體實(shí)施例方式
本發(fā)明的"演唱和演奏的計(jì)算機(jī)實(shí)時分析系統(tǒng)"由聲音采集輸入設(shè)備和計(jì)算機(jī)軟件系統(tǒng)等組成。本發(fā)明的聲音采集輸入設(shè)備包括但不限于麥克
風(fēng)、錄音線路和CD (CompactDisc,光盤)等。本發(fā)明的"演唱和演奏的計(jì)算機(jī)實(shí)時分析系統(tǒng)"的軟件系統(tǒng)部分可以運(yùn)行于包括但不限于臺式計(jì)算機(jī)、智能設(shè)備(如手機(jī)、掌上電腦、個人數(shù)字助理PDA等)、智能家電(如電視電腦一體機(jī)等)等平臺上。
在律制方面，本發(fā)明的"演唱和演奏的計(jì)算機(jī)實(shí)時分析系統(tǒng)"支持十二平均律、五度相生律、純律等律制體系，也支持用戶自定義律制體系；在音準(zhǔn)顯示方面，本發(fā)明的"演唱和演奏的計(jì)算機(jī)實(shí)時分析系統(tǒng)"支持簡譜顯示方式、五線譜顯示方式、國際鋼琴標(biāo)準(zhǔn)標(biāo)記法、中國大字組小字組記譜法、MDI標(biāo)記法等。本發(fā)明的"演唱和演奏的計(jì)算機(jī)實(shí)時分析系統(tǒng)"在保證精度的同時，具有實(shí)時分析的優(yōu)點(diǎn)，所以具有測量精確(精度為0.5Hz)、實(shí)時(時延50ms)、可視化和方便等特點(diǎn)。本發(fā)明的"演唱和演奏的計(jì)算機(jī)實(shí)時分析系統(tǒng)"的軟件界面主要由聲音的響度窗口、聲音的音色窗口、聲音的頻率窗口、聲音的音準(zhǔn)窗口、聲音的曲譜窗口、聲音的節(jié)奏窗口、聲音的信號修改窗口等組成。
聲音的各個物理學(xué)參數(shù)和各個音樂學(xué)參數(shù)的精確檢測，幫助人們理性和感性相結(jié)合來認(rèn)識聲音，擺脫傳統(tǒng)研究中人作為研究主體因生理閾限制及主觀審美差異等原因造成的誤差甚至錯誤。
圖1是本發(fā)明的系統(tǒng)結(jié)構(gòu)圖。本發(fā)明的演唱和演奏的計(jì)算機(jī)實(shí)時分析系統(tǒng)組成及其功能分別是
1. 聲音信號的采集裝置:這里的采集裝置和線路包含但并不僅限于麥克風(fēng)、錄音線路和CD (CompactDisc，光盤)等；
2. 聲音信號數(shù)字化裝置，用于在時間和幅度上都連續(xù)的模擬聲音信號，經(jīng)過采樣、量化和編碼后，得到用離散的數(shù)字表示的數(shù)字信號，然后才可以傳遞給計(jì)算機(jī)做進(jìn)一步處理；
3. 聲音信號數(shù)字化后存儲的文件，聲音信號在數(shù)字化以后，以一定的壓縮或非壓縮存儲格式保存在文件中。其中，常見的數(shù)字聲音信號存儲格式有WAV、 MP3、 WMA、 CDA、 APE、 MJF、 VOC、 PCM、 AIF、 RA、 RM、 RMX、 VQF、 MIDI、 RMI等；還包括含有聲音和視頻的合成文 件格式，如AVI、 MPG、 MPEG、 DAT、 FLV、 MP4、 DivX、 MOV、 QT、 ASF、 WMV、 RM、畫VB等；
4. 聲音信號的分段檢包裝置，用于根據(jù)聲音信號的數(shù)字化數(shù)據(jù)，按照第 16項(xiàng)的系統(tǒng)設(shè)置與選項(xiàng)中的設(shè)置，檢測某個音到哪個大概位置轉(zhuǎn)換成 了另外一個音，或者嚴(yán)格限定分段步長，然后按照一定規(guī)則進(jìn)行分段；
5. 聲音信號時間域數(shù)據(jù)的實(shí)時記錄、存儲、顯示和播放裝置，用于根據(jù)聲 音信號的分段檢包得到的數(shù)據(jù)序列，實(shí)時記錄在內(nèi)存中，并對這些數(shù)據(jù) 進(jìn)行存儲和顯示，獲得聲音的時間一幅度序列圖，并可以實(shí)時發(fā)送給揚(yáng) 聲器等發(fā)生設(shè)備進(jìn)行播放；
6. 短時快速傅里葉變換，繪制"時間一頻率一強(qiáng)度"的聯(lián)合圖的裝置，對 聲音的時間域數(shù)據(jù)進(jìn)行短時快速傅里葉變換，并由此得到"時間一頻率 —強(qiáng)度/功率"，即(聲音音色)的聯(lián)合圖。時間軸與頻率軸組成垂直 正交平面A;強(qiáng)度/功率數(shù)據(jù)的表示可以是用深淺顏色數(shù)據(jù)表示數(shù)據(jù)的 大小；強(qiáng)度/功率數(shù)據(jù)也可以使用笛卡兒坐標(biāo)系統(tǒng)中與平面A相垂直正 交的第三軸表示，從而繪制出三維圖；"時間一頻率一強(qiáng)度"的聯(lián)合圖 主要用于反應(yīng)聲音音色的如下信息
1) 聲音的穩(wěn)定性和抖動范圍情況(音色穩(wěn)定性和豐富不單薄性的指 標(biāo))s
2) 聲音的共振峰位置及其強(qiáng)度情況(音色光澤度、亮度和穿透力的指 標(biāo))5
3) 聲音的連續(xù)行進(jìn)中，兩個基音之間滑音的粘連情況(音色行腔韻味 的指標(biāo))；
4) 聲音的基音和各泛音的強(qiáng)弱對比情況(音色力度、圓潤度、柔和度、 厚度、飽滿度與和諧度的指標(biāo))；
5) 聲音的基音和各泛音的頻率隨時間的行進(jìn)情況(音色協(xié)調(diào)性的指 標(biāo))；
7. 短時快速傅里葉變換，繪制"時間一頻率"的實(shí)時頻譜圖的裝置.用于
對聲音的時間域數(shù)據(jù)，分段取數(shù)據(jù)，進(jìn)行短時快速傅里葉變換，繪制"時 間一頻率"的實(shí)時頻譜圖，為便于用戶實(shí)時觀看，頻率值可以繪制成 Decibel (分貝)的形式，也可以繪制成Decibel-Log-Frequency (分貝對 數(shù)頻率)的形式，還可以繪制成數(shù)據(jù)傅里葉變換后實(shí)部與虛部的平方和 的形式；
8. 聲音的基音、泛音和共振峰的識別、分析處理和顯示的裝置:
1)大多數(shù)人聲和樂器所發(fā)出的聲音都包含有泛音，而且有時泛音的能 量可能超過基音，尤其是頻率較低的時候。對聲音的時間域分段數(shù)據(jù)進(jìn)行基音搜索、剔除噪聲等一系列識別和分析處理之后，以數(shù)據(jù) 和指針盤等方式，顯示聲音的基音的值，以及聲音的基音跟所選定 的律制下的最接近的音的頻率偏差值(單位為赫茲，Hz)，同時， 根據(jù)音樂學(xué)中音分的定義，即日寸把這個頻率偏差值轉(zhuǎn)換為音分值(單
位為音分，Cent)，并加以顯示；
2) 由于在聲音的各頻率中，比基音頻率高的頻段中可能包含有整數(shù)倍 頻率和分?jǐn)?shù)倍頻率，比基音頻率低的頻段中也可能包含有整數(shù)倍頻 率和分?jǐn)?shù)倍頻率，通過對頻率曲線各個局部峰的搜索，并且根據(jù)音 樂學(xué)的規(guī)律進(jìn)行推算，可以實(shí)時分析獲得聲音的泛音信息(泛音的 多少、泛音的位置、泛音的強(qiáng)度/功率等)，從而得到聲音的共振峰 狀況；
3) 在顯示基音、泛音及其偏差的時候，用戶可以更改音樂的調(diào)式、顯 示方式、律制等音符顯示選項(xiàng)，以便于對聲音的音準(zhǔn)信息進(jìn)行實(shí)時 觀察。這些處理，也有利于后續(xù)曲譜的整理和分析；
4) 該模塊還可以發(fā)出MIDI (Musical Instrument Digital Interface,樂器 數(shù)字接口)的標(biāo)準(zhǔn)音準(zhǔn)，也可以發(fā)出由數(shù)學(xué)函數(shù)(如正弦函數(shù)、余 弦函數(shù)等)構(gòu)造的標(biāo)準(zhǔn)音準(zhǔn)，以便將標(biāo)準(zhǔn)音和用戶演唱或演奏的音 進(jìn)行核對；
5) 在精度方面，采用頻率拓展技術(shù)，頻率偏差值小于0.5 Hz，音分偏 差值小于0.5 Cent;在實(shí)時性方面，采用多線程與算法優(yōu)化技術(shù)， 對于目前一般的個人計(jì)算機(jī)配置而言，兩次聲音信號時間域數(shù)據(jù)的 檢包與后續(xù)處理之間的時間間隔小于50毫秒，從而可以達(dá)到每秒 20次運(yùn)算的高實(shí)時性；
9. 聲音中演唱的唱詞的語音識別裝置，用于對于演唱的聲音，采用語音模 式識別，對聲音中演唱的唱詞的語音進(jìn)行識別和顯示，識別出來的唱詞 用于后續(xù)曲譜的整理和分析；
10. 聲音的節(jié)奏識別、分析處理和顯示裝置，用于對聲音的時間域數(shù)據(jù)， 采用時間域分析、頻率域分析或"時一頻"聯(lián)合分析，實(shí)時獲得聲音的 節(jié)奏及其變化，使得演唱者和演奏者實(shí)時"看到"聲音的節(jié)奏。這也以 便于后續(xù)曲譜的整理和分析。也可以由用戶自定義節(jié)奏(音樂的速度)， 使得該模塊成為一個節(jié)拍器，以節(jié)奏運(yùn)動視頻的方式顯示節(jié)拍，或者以 節(jié)奏聲音播放的方式表達(dá)節(jié)拍；
11. 聲音的基音序列的律制分析裝置:由聲音的基音序列對聲音的律制 進(jìn)行分析，分析得到聲音的曲譜是十二平均律、五度相生律、純律，還 是其他特別的律制體系；
12. 根據(jù)基音、唱詞、節(jié)奏和律制等信息，分析整理成曲譜并顯示的裝1) 由前述所獲得的基音、唱詞、節(jié)奏和律制等的信息，實(shí)時分析整理， 獲得含有各個音偏移的律制信息的曲譜序列；
2) 在顯示時，可以使用簡譜方式、五線譜方式、國際鋼琴標(biāo)準(zhǔn)標(biāo)記法、
中國大字組小字組記譜法、MIDI標(biāo)記法等；
3) 所獲得的曲譜允許用戶進(jìn)行剪切、復(fù)制、粘貼、刪除、查找、替換、 新建、打開、保存等編輯處理；
4) 用戶可以設(shè)置曲譜的演唱和演奏模版，可以將實(shí)時分析獲得的曲譜 與設(shè)置的曲譜模版進(jìn)行對比分析，得到模版和實(shí)時聲音數(shù)據(jù)之間的 節(jié)奏、音準(zhǔn)、音色等對比分析信息；
13. 聲音時間域和頻率域信號修改、記錄、存儲、評估、顯示、播放和
傳輸?shù)难b置
1) 這個裝置主要有兩個功能，--是對聲音的時間域和頻率域信號，不 做任何修改，直接進(jìn)行記錄、存儲、評估、顯示、播放和傳輸；二 是可以基于一定的修改規(guī)則(如演唱和演奏的模版、實(shí)時調(diào)整節(jié)奏、 實(shí)時調(diào)整音準(zhǔn)、實(shí)時調(diào)整音色、實(shí)時自動配和弦等)，對聲音的時 間域和頻率域信號進(jìn)行記錄、存儲、評估、顯示、播放和傳輸；
2) 這里的評估指的是對聲音的節(jié)奏、音準(zhǔn)、音色進(jìn)行評價(jià)分析；
3) 這里第二個功能的一個應(yīng)用是當(dāng)用戶跟隨伴奏進(jìn)行演唱或演奏時， 本發(fā)明的"演唱和演奏的計(jì)算機(jī)實(shí)時分析系統(tǒng)"能夠根據(jù)演唱和演 奏的模版、實(shí)時調(diào)整節(jié)奏、實(shí)時調(diào)整音準(zhǔn)、實(shí)時調(diào)整音色、實(shí)時自 動配和弦等處理后，然后播放輸出，這將給人感覺節(jié)奏準(zhǔn)確、聲音 準(zhǔn)確、音色純正、和聲動聽；
14. 視頻信號和聲音信號混合的實(shí)時采集、記錄、存儲、顯示、播放和 傳輸?shù)难b置:在對聲音實(shí)時進(jìn)行數(shù)據(jù)采集和記錄的同時，對演唱和演奏 的視頻信號實(shí)時進(jìn)行數(shù)據(jù)采集和記錄，然后，將視頻信號和聲音信號進(jìn) 行混合，然后存儲、顯示、播放和傳輸，有利于用戶回放現(xiàn)場、回放測 量分析聲音信號、從回放中總結(jié)演唱和演奏的經(jīng)驗(yàn)等；
15. 從視頻信號中識別演唱的發(fā)聲狀態(tài)或器樂的演奏狀態(tài)，實(shí)時給出指
導(dǎo)建議的裝置:采用計(jì)算機(jī)圖像和視頻自動識別技術(shù)，對演唱的發(fā)聲狀 態(tài)或器樂的演奏狀態(tài)進(jìn)行實(shí)時識別，結(jié)合前述對于聲音的"節(jié)奏、音準(zhǔn)、 音色"的分析，根據(jù)演唱或演奏的狀況，實(shí)時給出指導(dǎo)建議；
16. 系統(tǒng)設(shè)置與選項(xiàng):用于對聲音的采集選項(xiàng)、數(shù)字化選項(xiàng)、數(shù)字化文 件錄入選項(xiàng)、顯示顏色信息選項(xiàng)、強(qiáng)度顯示選項(xiàng)、頻率顯示選項(xiàng)、音符 顯示選項(xiàng)、語音識別選項(xiàng)、節(jié)奏選項(xiàng)、曲譜選項(xiàng)、視頻采集選項(xiàng)、視頻 識別選項(xiàng)、自動更新等等系統(tǒng)必要選項(xiàng)進(jìn)行設(shè)置；
17. 幫助和使用指南等文件:主要包括本發(fā)明的"演唱和演奏的計(jì)算機(jī) 實(shí)時分析系統(tǒng)"的幫助文件和使用指南等文件，方便用戶操作使用，也包含常見問題解答等信息。 應(yīng)當(dāng)理解，上述的聲音信號采集裝置、聲音信號數(shù)字化裝置、聲音信
號數(shù)字化后存儲的文件對于本發(fā)明并不是必要的。這些裝置和文件在聲音
信號是模擬信號的情況下才會采用。對于己經(jīng)是數(shù)字化的音源來說，則可
直接將輸入的數(shù)字化音頻信號用于本發(fā)明的演唱和演奏的實(shí)時分析。
本發(fā)明中涉及語音識別的部分也是可選的。對沒有演唱的樂曲或演奏， 則可不采用語言識別分析。
本發(fā)明中涉及視頻信號的部分也是可選的。在沒有視頻信號的情況下， 則可不采用與視頻信號相關(guān)的分析和處理。
以上對本發(fā)明進(jìn)行了詳細(xì)描述。應(yīng)當(dāng)理解，上述描述是示意性的，而 非用于限定本發(fā)明。本領(lǐng)域的普通技術(shù)人員能夠在上述描述的基礎(chǔ)上進(jìn)行 各種修改，這些修改應(yīng)該屬于本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種演唱和演奏的計(jì)算機(jī)實(shí)時分析系統(tǒng)，包括聲音信號的分段檢包裝置，用于根據(jù)聲音信號，檢測某個音到哪個位置轉(zhuǎn)換成了另外一個音，或者嚴(yán)格限定分段步長，然后按照一定規(guī)則進(jìn)行分段；聲音信號時間域數(shù)據(jù)的實(shí)時記錄、存儲、顯示和播放裝置，用于根據(jù)聲音信號的分段檢包得到的數(shù)據(jù)序列，實(shí)時記錄在內(nèi)存中，并對這些數(shù)據(jù)進(jìn)行存儲和顯示，獲得聲音的時間-幅度序列圖，并實(shí)時發(fā)送給揚(yáng)聲器等發(fā)生設(shè)備進(jìn)行播放；短時快速傅里葉變換，繪制“時間-頻率-強(qiáng)度”的聯(lián)合圖的裝置，對聲音的時間域數(shù)據(jù)進(jìn)行短時快速傅里葉變換，并由此得到“時間-頻率-強(qiáng)度/功率”，即(聲音音色)的聯(lián)合圖，其中“時間-頻率-強(qiáng)度”的聯(lián)合圖用于反應(yīng)聲音音色的如下信息聲音的穩(wěn)定性和抖動范圍情況；聲音的共振峰位置及其強(qiáng)度情況；聲音的連續(xù)行進(jìn)中，兩個基音之間滑音的粘連情況；聲音的基音和各泛音的強(qiáng)弱對比情況；聲音的基音和各泛音的頻率隨時間的行進(jìn)情況；短時快速傅里葉變換，繪制“時間-頻率”的實(shí)時頻譜圖的裝置，用于對聲音的時間域數(shù)據(jù)，分段取數(shù)據(jù)，進(jìn)行短時快速傅里葉變換，繪制“時間-頻率”的實(shí)時頻譜圖；聲音的基音、泛音和共振峰的識別、分析處理和顯示的裝置，用于對聲音的時間域分段數(shù)據(jù)進(jìn)行基音搜索、剔除噪聲等一系列識別和分析處理之后，顯示聲音的基音的值，以及聲音的基音跟所選定的律制下的最接近的音的頻率偏差值，同時，根據(jù)音樂學(xué)中音分的定義，即時把這個頻率偏差值轉(zhuǎn)換為音分值，并加以顯示；通過對頻率曲線各個局部峰的搜索，并且根據(jù)音樂學(xué)的規(guī)律進(jìn)行推算，可以實(shí)時分析獲得聲音的泛音信息，從而得到聲音的共振峰狀況；聲音的節(jié)奏識別、分析處理和顯示裝置，用于對聲音的時間域數(shù)據(jù)，采用時間域分析、頻率域分析或“時-頻”聯(lián)合分析，實(shí)時獲得聲音的節(jié)奏及其變化；聲音的基音序列的律制分析裝置，用于由聲音的基音序列對聲音的律制進(jìn)行分析，分析得到聲音的曲譜是十二平均律、五度相生律、純律，還是其他特別的律制體系；根據(jù)基音、唱詞、節(jié)奏和律制等信息，分析整理成曲譜并顯示的裝置由前述所獲得的基音、唱詞、節(jié)奏和律制等的信息，實(shí)時分析整理，獲得含有各個音偏移的律制信息的曲譜序列；聲音時間域和頻率域信號修改、記錄、存儲、評估、顯示、播放和傳輸?shù)难b置，用于對聲音的時間域和頻率域信號，不做任何修改，直接進(jìn)行記錄、存儲、評估、顯示、播放和傳輸；或基于一定的修改規(guī)則，對聲音的時間域和頻率域信號進(jìn)行記錄、存儲、評估、顯示、播放和傳輸。
2. 根據(jù)權(quán)利要求1的演唱和演奏的計(jì)算機(jī)實(shí)時分析系統(tǒng)，進(jìn)一步包括:視頻信號和聲音信號混合的實(shí)時—采集、記錄、存儲、顯示、播放和傳輸?shù)难b置，用于在對聲音實(shí)時進(jìn)行數(shù)據(jù)采集和記錄的同時，對演唱和演奏的視頻信號實(shí)時進(jìn)行數(shù)據(jù)采集和記錄，然后，將視頻信號和聲音信號進(jìn)行混合，然后存儲、顯示、播放和傳輸。
3. 根據(jù)權(quán)利要求1的演唱和演奏的計(jì)算機(jī)實(shí)時分析系統(tǒng)，進(jìn)一步包括從視頻信號中識別演唱的發(fā)聲狀態(tài)或器樂的演奏狀態(tài)，實(shí)時給出指導(dǎo)建議的裝置采用計(jì)算機(jī)圖像和視頻自動識別技術(shù)，對演唱的發(fā)聲狀態(tài)或器樂的演奏狀態(tài)進(jìn)行實(shí)時識別，結(jié)合前述對于聲音的"節(jié)奏、音準(zhǔn)、音色"的分析，根據(jù)演唱或演奏的狀況，實(shí)時給出指導(dǎo)建議。
4. 根據(jù)權(quán)利要求1的演唱和演奏的計(jì)算機(jī)實(shí)時分析系統(tǒng)，進(jìn)一歩包括聲音中演唱的唱詞的語音識別裝置，用于對于演唱的聲音，采用語音模式識別，對聲音中演唱的唱詞的語音進(jìn)行識別和顯示，識別出來的唱詞用于后續(xù)曲譜的整理和分析。
全文摘要
本發(fā)明涉及一種演唱和演奏的計(jì)算機(jī)實(shí)時分析系統(tǒng)，包括聲音信號的分段檢包裝置，聲音信號時間域數(shù)據(jù)的實(shí)時記錄、存儲、顯示和播放裝置，短時快速傅里葉變換，繪制“時間—頻率—強(qiáng)度”的聯(lián)合圖的裝置，短時快速傅里葉變換，繪制“時間—頻率”的實(shí)時頻譜圖的裝置，聲音的基音、泛音和共振峰的識別、分析處理和顯示的裝置，聲音的節(jié)奏識別、分析處理和顯示裝置，根據(jù)基音、唱詞、節(jié)奏和律制等信息，分析整理成曲譜并顯示的裝置聲音時間域和頻率域信號修改、記錄、存儲、評估、顯示、播放和傳輸?shù)难b置。本發(fā)明對聲樂和器樂進(jìn)行計(jì)算機(jī)實(shí)時可視化、系統(tǒng)而定量地測量和測試，并采用計(jì)算機(jī)圖像和視頻自動識別技術(shù)識別并指導(dǎo)演唱狀態(tài)和演奏狀態(tài)。
文檔編號G10L15/00GK101645268SQ20091016290
公開日2010年2月10日 申請日期2009年8月19日 優(yōu)先權(quán)日2009年8月19日
發(fā)明者宋 李 申請人:宋 李