專(zhuān)利名稱(chēng)：弦樂(lè)音樂(lè)顫音自動(dòng)檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種音頻識(shí)別技術(shù)和自動(dòng)音樂(lè)標(biāo)注領(lǐng)域的檢測(cè)方法，具體涉 及一種在自動(dòng)音樂(lè)標(biāo)注過(guò)程中對(duì)弦樂(lè)音樂(lè)實(shí)時(shí)檢測(cè)的方法。
背景技術(shù)：
自動(dòng)音樂(lè)標(biāo)注是多媒體技術(shù)的一項(xiàng)重要應(yīng)用，它是指通過(guò)對(duì)音樂(lè)音頻信 號(hào)的分析和處理，自動(dòng)將其樂(lè)譜通過(guò)某種形式記錄下來(lái)，以應(yīng)用于輔助音樂(lè) 教學(xué)、輔助音樂(lè)創(chuàng)作等許多音樂(lè)相關(guān)領(lǐng)域。雖然近年來(lái)自動(dòng)音樂(lè)標(biāo)注技術(shù)已 經(jīng)取得了長(zhǎng)足的進(jìn)步，但是至今仍有許多問(wèn)題沒(méi)有得到很好的解決，目前大 部分研究成果都是在單個(gè)樂(lè)器獨(dú)奏、主調(diào)音樂(lè)、無(wú)特殊技巧演奏等條件之上 取得的，多樂(lè)器合奏的標(biāo)注、復(fù)調(diào)音樂(lè)的自動(dòng)標(biāo)注、和旋和聲的識(shí)別、顫音 等特殊音效識(shí)別等復(fù)雜條件下的自動(dòng)音樂(lè)標(biāo)注進(jìn)展緩慢。在許多弦樂(lè)器演奏 的音樂(lè)中存在著大量用于修飾或表現(xiàn)樂(lè)曲情感、風(fēng)格的顫音(在樂(lè)譜中用""" 標(biāo)記)。在針對(duì)這類(lèi)樂(lè)器的自動(dòng)音樂(lè)標(biāo)注研究中，如果不進(jìn)行顫音檢測(cè)而直 接進(jìn)行標(biāo)注是很容易出現(xiàn)錯(cuò)誤的，甚至在旋律上讓自動(dòng)音樂(lè)標(biāo)注系統(tǒng)摸不著 頭腦。 一般情況下，顫音在聲音效果上是兩個(gè)連續(xù)的音階快速交替出現(xiàn)，然 而恰恰有很多音樂(lè)的片段卻有非顫音的連續(xù)音階快速交替出現(xiàn)的正常音符， 如不加區(qū)分則會(huì)造成音樂(lè)標(biāo)注上的錯(cuò)誤(如誤標(biāo)注成十六分音符或三十二分 音符等)。此外，又由于顫音音符出現(xiàn)速率的不確定性，即顫音本身只要求 出現(xiàn)快速交替音符而并沒(méi)有規(guī)定具體速率，其速率完全由樂(lè)曲需要及演奏者 習(xí)慣、技術(shù)而定，因此如不予以專(zhuān)門(mén)檢測(cè)則會(huì)在旋律上使自動(dòng)音樂(lè)標(biāo)注系統(tǒng) 產(chǎn)生錯(cuò)誤，目前還沒(méi)有一種專(zhuān)門(mén)針對(duì)弦樂(lè)音樂(lè)顫音的自動(dòng)檢測(cè)方法。

發(fā)明內(nèi)容
本發(fā)明為解決在弦樂(lè)音樂(lè)自動(dòng)標(biāo)注過(guò)程中，顫音對(duì)于自動(dòng)音樂(lè)標(biāo)注的影 響較大以及傳統(tǒng)的自動(dòng)音樂(lè)標(biāo)注方法不能對(duì)音樂(lè)中的顫音進(jìn)行自動(dòng)檢測(cè)的問(wèn) 題，提供一種弦樂(lè)音樂(lè)顫音自動(dòng)檢測(cè)方法。本發(fā)明由以下步驟實(shí)現(xiàn)
步驟A1、根據(jù)弦樂(lè)常用音域的音符數(shù)N，將顫音分為N類(lèi)，N表示自然
數(shù)，通過(guò)音頻識(shí)別的方法將N類(lèi)顫音模型訓(xùn)練為匹配對(duì)象庫(kù)；
步驟A2、將輸入待檢測(cè)的音樂(lè)的音頻信號(hào)記為s(n)，對(duì)音頻信號(hào)s(n)進(jìn)行 特征提取得到特征矢量序列X= {Xl，x2， ...,xs}， S代表自然數(shù)；
步驟A3、在分幀的基礎(chǔ)上，以統(tǒng)計(jì)出來(lái)的顫音平均周期T為長(zhǎng)度對(duì)特征 矢量序列X進(jìn)行分段，T代表大于O的實(shí)數(shù)；
步驟A4、通過(guò)音頻識(shí)別的方法對(duì)每一段矢量序列進(jìn)行識(shí)別；
步驟A5、對(duì)于設(shè)定的參數(shù)M，連續(xù)M或M以上段被識(shí)別為同一類(lèi)顫音 的矢量序列所對(duì)應(yīng)的時(shí)間段即檢測(cè)為顫音的時(shí)間段。
有益效果本發(fā)明通過(guò)在分幀基礎(chǔ)上以統(tǒng)計(jì)出來(lái)的顫音平均周期為長(zhǎng)度 對(duì)特征矢量序列進(jìn)行分段，并逐段識(shí)別，檢測(cè)出弦樂(lè)音樂(lè)中的顫音片段，從 而實(shí)現(xiàn)了對(duì)音樂(lè)中的顫音的自動(dòng)檢測(cè)，以達(dá)到去除顫音對(duì)于自動(dòng)音樂(lè)標(biāo)注的 影響的目的。


圖1是步驟A5中所述的檢測(cè)的方法流程圖；圖2是一段測(cè)試用的待檢 測(cè)帶顫音的弦樂(lè)音樂(lè)片段的頻譜圖，從圖2中可以看到其中大約0.200秒至 2.609秒為顫音，6.889秒至7.969秒為顫音；圖3是步驟A5中所述的檢測(cè)的 方法對(duì)圖2所示的音樂(lè)片段進(jìn)行檢測(cè)得到的結(jié)果(示例程序在步驟Al和步 驟A4的對(duì)音樂(lè)段的識(shí)別中使用了基于矢量量化的識(shí)別方法)，其中橫坐標(biāo) 為端點(diǎn)名稱(chēng)，縱坐標(biāo)表示實(shí)際和檢測(cè)出的顫音端點(diǎn)所對(duì)應(yīng)的時(shí)刻，單位為秒， "+ "表示實(shí)際顫音端點(diǎn)，"+ "表示檢測(cè)顫音端點(diǎn)。
具體實(shí)施例方式
具體實(shí)施方式
一本實(shí)施方式由以下步驟組成
步驟A1、根據(jù)弦樂(lè)常用音域的音符數(shù)N，將顫音分為N類(lèi)，N表示自然
數(shù)，通過(guò)音頻識(shí)別的方法將N類(lèi)顫音模型訓(xùn)練為匹配對(duì)象庫(kù)；
步驟A2、將輸入待檢測(cè)的音樂(lè)的音頻信號(hào)記為s(n)，對(duì)音頻信號(hào)s(n)進(jìn)行 特征提取得到特征矢量序列X= {Xl，x2, ...,xs}， S代表自然數(shù)；
步驟A3、在分幀的基礎(chǔ)上，以統(tǒng)計(jì)出來(lái)的顫音平均周期T為長(zhǎng)度對(duì)特征 矢量序列X進(jìn)行分段，T代表大于O的實(shí)數(shù)；
步驟A4、通過(guò)音頻識(shí)別的方法對(duì)每一段矢量序列進(jìn)行識(shí)別；
步驟A5、對(duì)于設(shè)定的參數(shù)M，連續(xù)M或M以上段被識(shí)別為同一類(lèi)顫音
的矢量序列所對(duì)應(yīng)的時(shí)間段即檢測(cè)為顫音的時(shí)間段。
本實(shí)施方式的步驟Al和步驟A4中采用的音頻識(shí)別的方法為矢量量化方
法，另外神經(jīng)網(wǎng)絡(luò)方法和隱馬爾科夫模型方法也同樣適用于本實(shí)施方式。在本
實(shí)施方式的步驟A2中所述的特征提取的過(guò)程為對(duì)音頻信號(hào)s(n)進(jìn)行采樣量 化和預(yù)加重處理，假設(shè)說(shuō)話人信號(hào)是短時(shí)平穩(wěn)的，所以說(shuō)話人信號(hào)可以進(jìn)行分 幀處理，具體分幀方法是采用可移動(dòng)的有限長(zhǎng)度窗口進(jìn)行加權(quán)的方法來(lái)實(shí)現(xiàn) 的，對(duì)加權(quán)后的音頻信號(hào)sJn)計(jì)算Md倒譜系數(shù)(MFCC)，從而得到特征矢量
序列X二(Xi,X2，…，xJ，
MFCC參數(shù)的提取過(guò)程如下-
(1) 對(duì)輸入的音頻信號(hào)進(jìn)行分幀、加窗，然后作離散傅立葉變換，獲得 頻譜分布信息。
設(shè)音頻信號(hào)的DFT為
<formula>formula see original document page 5</formula>
式中x(")為輸入的音頻信號(hào)，N表示傅立葉變換的點(diǎn)數(shù)；
(2) 再求頻譜幅度的平方，得到能量譜；
(3) 將能量譜通過(guò)一組Mel尺度的三角形濾波器組；
對(duì)于步驟A5中所述的參數(shù)M，定義一個(gè)有M個(gè)濾波器的濾波器組(濾 波器的個(gè)數(shù)和臨界帶的個(gè)數(shù)相近)，采用的濾波器為三角濾波器，中心頻率為 f(m)， m=l，2,，..M，在本實(shí)施方式中令M=24;濾波器組中每個(gè)三角濾波器的 跨度在Md標(biāo)度上是相等的，在本實(shí)施方式中取150Md;三角濾波器的頻率 響應(yīng)定義為
<formula>formula see original document page 5</formula>
其中<formula>formula see original document page 5</formula>(4)計(jì)算每個(gè)濾波器組輸出的對(duì)數(shù)能量為:
(5)經(jīng)離散余弦變換(DCT)得到MFCC系數(shù)
W-/
具體實(shí)施方式
二參見(jiàn)圖1 圖3，本實(shí)施方式在具體實(shí)施方式
一的基礎(chǔ) 上進(jìn)一步限定了步驟A5中所述的檢測(cè)由以下步驟組成
步驟B1、將計(jì)數(shù)器的值n清零，n為自然數(shù)；
步驟B2、從特征矢量序列X中取一段長(zhǎng)度為T(mén)的矢量序列；
步驟B3、通過(guò)音頻識(shí)別的方法判斷長(zhǎng)度為T(mén)的矢量序列是否為顫音且同
時(shí)與上一個(gè)記錄的顫音類(lèi)別相同，判斷結(jié)果為是，則進(jìn)入步驟B4，判斷結(jié)果
為否，則進(jìn)入步驟B5;
步驟B4、記錄該顫音的類(lèi)別，計(jì)數(shù)器的值n加1并返回步驟B2; 步驟B5、判斷計(jì)數(shù)器的值n是否大于或等于M(可令M等于3)，判斷結(jié)
果為是，則進(jìn)入步驟B6，判斷結(jié)果為否，則返回步驟B1繼續(xù)檢測(cè)； 步驟B6，檢測(cè)到一段顫音并輸出結(jié)果；
步驟B7、判斷音頻流是否結(jié)束，判斷結(jié)果為是，則結(jié)束檢測(cè)過(guò)程，判斷 結(jié)果為否，則返回步驟B1繼續(xù)檢測(cè)。
權(quán)利要求
1、弦樂(lè)音樂(lè)顫音自動(dòng)檢測(cè)方法，其特征在于它包括以下步驟步驟A1、根據(jù)弦樂(lè)常用音域的音符數(shù)N，將顫音分為N類(lèi)，N表示自然數(shù)，通過(guò)音頻識(shí)別的方法將N類(lèi)顫音模型訓(xùn)練為匹配對(duì)象庫(kù)；步驟A2、將輸入待檢測(cè)的音樂(lè)的音頻信號(hào)記為s(n)，對(duì)音頻信號(hào)s(n)進(jìn)行特征提取得到特征矢量序列X＝{x1，x2，...，xs)，S代表自然數(shù)；步驟A3、在分幀的基礎(chǔ)上，以統(tǒng)計(jì)出來(lái)的顫音平均周期T為長(zhǎng)度對(duì)特征矢量序列X進(jìn)行分段，T代表大于0的實(shí)數(shù)；步驟A4、通過(guò)音頻識(shí)別的方法對(duì)每一段矢量序列進(jìn)行識(shí)別；步驟A5、對(duì)于設(shè)定的參數(shù)M，連續(xù)M或M以上段被識(shí)別為同一類(lèi)顫音的矢量序列所對(duì)應(yīng)的時(shí)間段即檢測(cè)為顫音的時(shí)間段。
2、 根據(jù)權(quán)利要求1所述的弦樂(lè)音樂(lè)顫音自動(dòng)檢測(cè)方法，其特征在于步驟 Al和步驟A4中所述的音頻識(shí)別的方法為矢量量化方法、神經(jīng)網(wǎng)絡(luò)方法或隱 馬爾科夫模型方法。
3、 根據(jù)權(quán)利要求1或2所述的弦樂(lè)音樂(lè)顫音自動(dòng)檢測(cè)方法，其特征在于 步驟A5中所述的檢測(cè)包括以下步驟步驟B1、將計(jì)數(shù)器的值n清零，n為自然數(shù)；步驟B2、從特征矢量序列X中取一段長(zhǎng)度為T(mén)的矢量序列；步驟B3、通過(guò)音頻識(shí)別的方法判斷長(zhǎng)度為T(mén)的矢量序列是否為顫音且同時(shí)與上一個(gè)記錄的顫音類(lèi)別相同，判斷結(jié)果為是，則進(jìn)入步驟B4，判斷結(jié)果為否，則進(jìn)入步驟B5;步驟B4、記錄該顫音的類(lèi)別，計(jì)數(shù)器的值n加1并返回步驟B2; 步驟B5、判斷計(jì)數(shù)器的值n是否大于或等于M，判斷結(jié)果為是，則進(jìn)入步驟B6，判斷結(jié)果為否，則返回步驟B1繼續(xù)檢測(cè)； 步驟B6，檢測(cè)到一段顫音并輸出結(jié)果；步驟B7、判斷音頻流是否結(jié)束，判斷結(jié)果為是，則結(jié)束檢測(cè)過(guò)程，判斷 結(jié)果為否，則返回步驟B1繼續(xù)檢測(cè)。
全文摘要
弦樂(lè)音樂(lè)顫音自動(dòng)檢測(cè)方法，它涉及一種在自動(dòng)音樂(lè)標(biāo)注過(guò)程中對(duì)弦樂(lè)音樂(lè)實(shí)時(shí)檢測(cè)的方法，以解決在弦樂(lè)音樂(lè)自動(dòng)標(biāo)注過(guò)程中，顫音對(duì)于自動(dòng)音樂(lè)標(biāo)注的影響較大以及傳統(tǒng)的自動(dòng)音樂(lè)標(biāo)注方法不能對(duì)音樂(lè)中的顫音進(jìn)行自動(dòng)檢測(cè)的問(wèn)題。根據(jù)弦樂(lè)常用音域的音符數(shù)將顫音分為N類(lèi)，通過(guò)音頻識(shí)別的方法將N類(lèi)顫音模型訓(xùn)練為匹配對(duì)象庫(kù)；將輸入待檢測(cè)的音樂(lè)的音頻信號(hào)，對(duì)音頻信號(hào)進(jìn)行特征提取得到特征矢量序列；以統(tǒng)計(jì)出來(lái)的顫音平均周期為長(zhǎng)度對(duì)特征矢量序列進(jìn)行分段；通過(guò)音頻識(shí)別的方法對(duì)每一段矢量序列進(jìn)行識(shí)別；連續(xù)M或M以上段被識(shí)別為同一類(lèi)顫音的矢量序列所對(duì)應(yīng)的時(shí)間段即檢測(cè)為顫音的時(shí)間段。本發(fā)明自動(dòng)檢測(cè)顫音，去除顫音對(duì)于自動(dòng)音樂(lè)標(biāo)注的影響。
文檔編號(hào)G10L11/00GK101383149SQ20081013740
公開(kāi)日2009年3月11日 申請(qǐng)日期2008年10月27日 優(yōu)先權(quán)日2008年10月27日
發(fā)明者孫榮坤, 韓紀(jì)慶 申請(qǐng)人:哈爾濱工業(yè)大學(xué)