專利名稱：從音頻視頻流中高精度檢測(cè)模板的兩階段方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種信號(hào)檢測(cè)方法，具體地說(shuō)，是涉及一種檢測(cè)音頻 視頻流中是否存在預(yù)設(shè)模板的兩階段方法。
技術(shù)背景在一些應(yīng)用中，需要根據(jù)事先指定的音頻視頻片斷(也稱為模板) 在大量的音頻視頻流中檢測(cè)該模板。例如，在電視監(jiān)控中要檢測(cè)某個(gè) 廣告是否在節(jié)目中出現(xiàn)；在版權(quán)保護(hù)中，檢測(cè)某個(gè)正在播放的音樂(lè)或 電視節(jié)目是否是事先指定的保護(hù)節(jié)目。由于即使相同的音頻經(jīng)過(guò)不同 的信道傳輸、信源編解碼后，其數(shù)字形態(tài)也可能發(fā)生很大變化，因此 直接將待測(cè)的音頻數(shù)字信號(hào)與預(yù)設(shè)模板進(jìn)行比較沒(méi)有任何作用。音頻指紋是從音頻片斷中抽取的反映其獨(dú)特性的數(shù)字串。這里的 獨(dú)特性指同樣的音頻經(jīng)過(guò)反復(fù)的錄音、數(shù)字化后，仍然能夠抽取出相 同的指紋。由于音頻指紋具有受外界因素影響較小的特性，而且不同 的音頻所抽取的音頻指紋不同，因此，通過(guò)音頻指紋來(lái)實(shí)現(xiàn)在待測(cè)音 頻中檢測(cè)預(yù)設(shè)模板便成了一種可行的方案。Jaap Haitsma等人在論文"A Highly Robust Audio Fingerprinting System"中提出了一種音頻指紋提取方法和相應(yīng)的 檢測(cè)算法。在該論文中，作者通過(guò)比較預(yù)設(shè)模板和待測(cè)音頻的音頻指 紋是否相同來(lái)判斷待測(cè)音頻中是否含有預(yù)設(shè)模板。通過(guò)試驗(yàn)，我們發(fā) 現(xiàn)采用該方法進(jìn)行判斷的査全率較低，分析發(fā)現(xiàn)該方法提取的音頻指紋抗噪性能較差。若待測(cè)音頻經(jīng)過(guò)一定的變換(壓縮、傳輸)后，音 頻的音質(zhì)將發(fā)生變化，采用該方法獲得的音頻指紋也將會(huì)發(fā)生較大的
變化，從而使得査全率較低。在這個(gè)基礎(chǔ)上，Jerome Lebosse等人在 "A Robust Audio Fingerprint Extraction Algorithm"中提出了 累加能量的差分方法。與Jaap Haitsma等人的方法相比，Lebosse等 人的方法的音頻指紋的魯棒性得到了增強(qiáng)，使得檢測(cè)時(shí)音頻指紋的擊 中率增加，提高了査全率，但是相應(yīng)地又帶來(lái)了一定的虛警。
通過(guò)試驗(yàn)發(fā)現(xiàn)，相鄰幀往往存在相同的指紋特征。JaapHaitsma 等在"A Highly Robust Audio Fingerprinting System"中對(duì)音頻 模板的所有幀的指紋特征做倒排索引，采用散列表的形式存放。但這 些方法并沒(méi)有利用幀間的相關(guān)性，匹配速度較低。
Akisato Kimura等人在論文 "Very Quck Audio Searching: Introducing Global Pruning to the Time-Series Active Search"
中提出了一種根據(jù)特征直方圖的相似性檢測(cè)音頻模板的方法。實(shí)驗(yàn)發(fā) 現(xiàn)，上述方法仍然存在虛警較高的問(wèn)題，而且與JaapHaitsma等人的 方法相比，匹配速度較慢。
以上各種方法都只是根據(jù)音頻段某一種指紋進(jìn)行檢測(cè)，并沒(méi)有對(duì) 音頻的多種指紋進(jìn)行綜合利用。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種從音頻視頻流中高精度檢測(cè)模板的 兩階段方法，將音頻信號(hào)中累積能量的差分特征與QPLP特征優(yōu)勢(shì)互 補(bǔ)，從而降低檢測(cè)的虛警率，保證較高的查全率，提高匹配速度。為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下 從音頻視頻流中高精度檢測(cè)模板的兩階段方法，包括第一階段
采用累加能量的差分特征進(jìn)行粗匹配，還包括第二階段采用QPLP
特征對(duì)粗匹配成功的音頻進(jìn)行確認(rèn)。
所述采用QPLP特征進(jìn)行確認(rèn)包括以下步驟(1)對(duì)待測(cè)音頻流通
過(guò)哈明窗來(lái)進(jìn)行分幀，并對(duì)每一幀進(jìn)行FFT; (2)計(jì)算每一幀音頻信
號(hào)的臨界帶聽(tīng)覺(jué)譜；(3)獲取等響度曲線；(4)進(jìn)行離散傅立葉反變換；
(5)通過(guò)Durbin算法獲得全極點(diǎn)模型的系數(shù)，并計(jì)算其倒譜系數(shù)， 得到PLP參數(shù)；(6)對(duì)每一幀的PLP參數(shù)進(jìn)行矢量化，得到每一幀的 QPLP特征；(7)比較待測(cè)音頻流的QPLP特征與預(yù)設(shè)模板的QPLP特征 是否相同，若相同，則表明待測(cè)音頻流中含有預(yù)設(shè)模板，反之，則不 含預(yù)設(shè)模板。
所述第一階段中，對(duì)相鄰幀中累加能量差分特征相同的幀只進(jìn)行 一次索引。所述臨界帶聽(tīng)覺(jué)譜的計(jì)算方法如下
一個(gè)臨界帶寬單位用Bark來(lái)表示。臨界帶寬編號(hào)Z (Bark)與頻 率f (Hz)之間的關(guān)系式為
其中OSZ《21.6&A(0S/ < 4A:他)，臨界帶A:的中心頻率4則位于 0"狄Bark ("1，2，…，22)處。去掉第一個(gè)和最后一個(gè)頻帶，只用中間 20個(gè)頻帶。這20個(gè)頻帶中每個(gè)頻帶內(nèi)的能量譜與如下的加權(quán)重函數(shù) 相乘，求和后得到臨界帶聽(tīng)覺(jué)譜。加權(quán)重公式為10(z—Z《Z*-0.5
1 Zt-0.5《Z<Z4+0,5
10—2'5(z—z「05) Z2Zt+0.5
本發(fā)明主要是在Jaap Haitsma等人的方法上改進(jìn)而來(lái)，包括 兩個(gè)階段第一階段，與JaapHaitsma所述的方法相同，采用"累 加能量的差分"特征，迅速去掉大多數(shù)不是模板的匹配；第二階段， 利用音頻信號(hào)的QPLP特征，對(duì)第一階段的命中結(jié)果進(jìn)行確認(rèn)，最終 判定待測(cè)音頻中是否存在預(yù)設(shè)模板。
所謂QPLP特征，即量化的PLP特征，是指抽取音頻的PLP參 數(shù)，并對(duì)PLP參數(shù)矢量化，得到的符號(hào)化特征。PLP參數(shù)是一種基 于聽(tīng)覺(jué)模型的特征參數(shù)，目前己經(jīng)在各種傳統(tǒng)的音頻識(shí)別領(lǐng)域得到廣 泛應(yīng)用。該參數(shù)是全極點(diǎn)模型預(yù)測(cè)多項(xiàng)式的一組系數(shù)，等效于一種 LPC特征。實(shí)驗(yàn)證明，若音頻流的內(nèi)容相同，那么它們的QPLP特征 將呈現(xiàn)很高的相似性，而內(nèi)容不同的音頻流，其QPLP特征將不具有 相似性。根據(jù)這一特性，可以準(zhǔn)確地判斷出待測(cè)音頻中是否存在預(yù)設(shè) 模板。
本發(fā)明與現(xiàn)有技術(shù)相比，具有以下有益效果 (1)模板約減(template reducing)技術(shù)提高匹配速度 通過(guò)模板約減技術(shù)可以降低存儲(chǔ)量，加快匹配速度。音頻信號(hào)存 在短時(shí)相關(guān)的特性，音頻指紋的提取過(guò)程中采取了部分重疊的分幀策 略。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，相鄰的音頻幀中存在較多指紋相同的幀，那么在 對(duì)指紋做倒排索引時(shí)，就可以對(duì)這些時(shí)間上相差很小(10ms)而指紋相 同的幀只做一次索引，在檢測(cè)時(shí)可以減少待檢測(cè)音頻指紋在索引庫(kù)中擊中的次數(shù)，從而減少做匹配的次數(shù)，達(dá)到加快匹配速度而不影響査
全率的目的。實(shí)驗(yàn)結(jié)果證明通過(guò)模板約減首次擊中率下降了 30%而査
全率并沒(méi)有下降。
(2)兩階段檢測(cè)方法提高了性能
對(duì)于音頻信號(hào)，分別提取累積能量的差分特征，然后使用該特征 進(jìn)行檢測(cè)，如果沒(méi)有匹配則意味著本次檢測(cè)沒(méi)有發(fā)現(xiàn)模板。如果匹配 了，則使用QPLP特征進(jìn)行第二階段的確認(rèn)，如果仍然匹配則認(rèn)為發(fā) 現(xiàn)模板。QPLP特征和累加能量的差分特征所得的指紋形成了很好的 互補(bǔ)，因此，本發(fā)明所述的兩階段檢測(cè)方法可以有效的降低錯(cuò)誤率， 實(shí)驗(yàn)證明，通過(guò)兩階段檢測(cè)方法能夠有效去除約90%的虛警。
下面通過(guò)附圖及具體實(shí)例來(lái)對(duì)本發(fā)明作進(jìn)一步說(shuō)明。


圖1為現(xiàn)有技術(shù)的基本流程圖。
圖2為本發(fā)明中Jaap Haitsma等人所述的音頻指紋提取方法 示意圖。
圖3為獲取QPLP特征的基本流程。 圖4為本發(fā)明的基本流程圖。
具體實(shí)施例方式
下面通過(guò)舉例來(lái)對(duì)本發(fā)明做進(jìn)一步說(shuō)明。
如圖l所示，音頻指紋提取的一般流程如下首先離線完成預(yù)設(shè) 模板的指紋提取，并將其存入模板指紋庫(kù)，對(duì)指紋建立索引；然后在 待測(cè)音頻信號(hào)輸入后，對(duì)待測(cè)音頻信號(hào)進(jìn)行指紋提取；最后將待測(cè)音 頻信號(hào)的指紋與預(yù)設(shè)模板的指紋進(jìn)行對(duì)比，如果兩者相似度超過(guò)預(yù)先設(shè)定的門(mén)限，則報(bào)告匹配位置，反之，則不匹配。
如圖2所示，Jaap Haitsma等人所述的音頻指紋提取過(guò)程包括 首先對(duì)輸入的音頻信號(hào)通過(guò)Hamming窗來(lái)分幀，對(duì)每一幀進(jìn)行FFT; 然后對(duì)一定頻率范圍內(nèi)的信號(hào)進(jìn)行頻帶劃分(等間隔或者M(jìn)el對(duì)數(shù))， 并計(jì)算每一幀每一頻帶內(nèi)的能量。提取出的指紋為bit形式，第"幀
的第m個(gè)頻帶計(jì)算出的指紋為
f 1 五("，w) — m — 1) — — 1，附)_ — 1，附—1)) > 0 l0 z/E(w，w) — ^0,附—l)—(五("—1，附)_五("_1,附一1))《0
其中F("，/n)代表在幀"的第w個(gè)頻帶的特征取值，A"，W代表頻
譜在幀"的第w個(gè)頻帶的能量值。
為了增加Jaap Haitsma等人的方法的魯棒性，可對(duì)上述方法提
取的音頻指紋進(jìn)行累積能量，幀"的第^個(gè)頻帶的累積能量定義為
1 OT
然后進(jìn)一步采用累積能量的差分以提取指紋
—Jl z/ SO，附) 一 《0， m -1) — (SO 一 1， m) — SO -1, w —1)) > 0 F("，附)—{(J SO， m) — SO, m — 1) 一 (SO — 1， w) — SO — 1, m —1)) < 0
通過(guò)上述方法，可以得到待測(cè)音頻的指紋，將待測(cè)音頻的指紋與 預(yù)設(shè)模板的指紋進(jìn)行對(duì)比，可以剔除大多數(shù)與模板不相符的匹配，只 剩下很少一部分可能與模板相同的匹配，即完成了本發(fā)明所述的第一 階段的任務(wù)。在第一階段中，雖然音頻指紋的魯棒性得到增強(qiáng)，使檢 測(cè)時(shí)的擊中率得到增加，但是也帶來(lái)一定的虛警率，為保證檢測(cè)的準(zhǔn) 確性，必須對(duì)第一階段的結(jié)果進(jìn)行確認(rèn)。
下面重點(diǎn)介紹第二階段的任務(wù)——利用QPLP特征對(duì)第一階段的結(jié)果進(jìn)行確認(rèn)。
以8k采樣、16比特量化的音頻數(shù)字信號(hào)為例，信號(hào)每512點(diǎn)為 一幀，加哈明窗，用FFT求得512點(diǎn)能量譜，再計(jì)算聽(tīng)覺(jué)能量譜，即 臨界帶聽(tīng)覺(jué)譜。 一個(gè)臨界帶寬單位用Bark來(lái)表示。臨界帶寬編號(hào)Z 與頻率f之間的關(guān)系式為
式中0^z^21。6Bark，臨界帶的中心頻率位于0. 98kBark處，4k所 對(duì)應(yīng)的256點(diǎn)能量譜被劃分成22個(gè)頻帶，去掉第一個(gè)和最后一個(gè)頻 帶，只用中間20個(gè)頻帶。這20個(gè)頻帶中每個(gè)頻帶內(nèi)的能量譜與如下 的加權(quán)重函數(shù)相乘，求和得到臨界帶聽(tīng)覺(jué)譜。，加權(quán)重公式為
在相同的聲強(qiáng)下，人耳對(duì)不同的頻率所感到的響度并不相同，為 了模擬人耳的特點(diǎn)，對(duì)上一步的輸出做反對(duì)數(shù)后，做lg40dB等響度 曲線函數(shù)變換。等響度曲線函數(shù)公式如下
經(jīng)過(guò)20點(diǎn)的離散傅立葉反變換后，用Durbin算法計(jì)算M階全 極點(diǎn)模型得到系數(shù)再計(jì)算倒譜系數(shù)，最后的結(jié)果為PLP參數(shù)，將PLP 參數(shù)矢量化，得到QPLP特征。
將音頻數(shù)字信號(hào)的QPLP特征與預(yù)設(shè)模板的QPLP特征進(jìn)行比較， 若匹配，則說(shuō)明音頻數(shù)字信號(hào)中含有預(yù)設(shè)模板，反之，則不含有預(yù)設(shè)
Ck(z)=
10(z-Zk+05) z^zk-0.5
1 zk—0.5^z《zk+0.5
10(z-Zk-o.5) z^z +0,5模板。
權(quán)利要求
1.從音頻視頻流中高精度檢測(cè)模板的兩階段方法，包括第一階段提取累加能量的差分特征進(jìn)行粗匹配，其特征在于，還包括第二階段提取量化的PLP特征對(duì)粗匹配成功的音頻視頻進(jìn)行確認(rèn)。
2. 根據(jù)權(quán)利要求1所述的從音頻視頻流中高精度檢測(cè)模板的兩 階段方法，其特征在于，所述提取量化的PLP特征對(duì)粗匹配成功的音 頻視頻進(jìn)行確認(rèn)包括以下步驟(1) 對(duì)待測(cè)音頻流進(jìn)行分幀，并對(duì)每一幀進(jìn)行FFT;(2) 計(jì)算每一幀音頻信號(hào)的臨界帶聽(tīng)覺(jué)譜；(3) 獲取等響度曲線；(4) 進(jìn)行離散傅立葉反變換；(5) 計(jì)算全極點(diǎn)模型獲取系數(shù)，并計(jì)算其倒譜系數(shù)，得到PLP參數(shù)；(6) 對(duì)每一幀的PLP參數(shù)進(jìn)行矢量化，得到每一幀的QPLP特征。(7) 比較待測(cè)音頻流的QPLP特征與預(yù)設(shè)模板的QPLP特征是否 相同，若相同，則表明待測(cè)音頻流中含有預(yù)設(shè)模板，反之，則不含預(yù) 設(shè)模板。
3. 根據(jù)權(quán)利要求1所述的從音頻視頻流中高精度檢測(cè)模板的兩 階段方法，其特征在于，所述第一階段中，對(duì)相鄰幀中累加能量差分 特征相同的幀只進(jìn)行了一次索引。
4. 根據(jù)權(quán)利要求2所述的從音頻視頻流中高精度檢測(cè)模板的兩 階段方法，其特征在于，所述步驟(1)是通過(guò)哈明窗來(lái)實(shí)現(xiàn)分幀的。
5. 根據(jù)權(quán)利要求2所述的從音頻視頻流中高精度檢測(cè)模板的兩階段方法，其特征在于，所述臨界帶聽(tīng)覺(jué)譜的計(jì)算方法如下一個(gè)臨界帶寬單位用Bark來(lái)表示，臨界帶寬編號(hào)Z (Bark)與頻率f (Hz)之間的關(guān)系式為:<formula>formula see original document page 3</formula>其中OS Z《21.6&A(0S/ <4A/fe)，臨界帶*的中心頻率4則位于 0.98*Bark ("1，2，…，22)處，去掉第一個(gè)和最后一個(gè)頻帶，只用中間 20個(gè)頻帶，這20個(gè)頻帶中每個(gè)頻帶內(nèi)的能量譜與如下的加權(quán)重函數(shù) 相乘，求和后得到臨界帶聽(tīng)覺(jué)譜，加權(quán)重公式為<formula>formula see original document page 3</formula>
6.根據(jù)權(quán)利要求2所述的從音頻視頻流中高精度檢測(cè)模板的兩 階段方法，其特征在于，所述全極點(diǎn)模型的系數(shù)通過(guò)Durbin算法得到。
全文摘要
本發(fā)明公開(kāi)了一種從音頻視頻流中高精度檢測(cè)模板的兩階段方法，屬于一種音頻指紋檢測(cè)方法，解決了現(xiàn)有技術(shù)中檢測(cè)虛警率高、速度慢的問(wèn)題。所述從音頻視頻流中高精度檢測(cè)模板的兩階段方法包括兩個(gè)階段一.采用累加能量的差分特征進(jìn)行粗匹配，二.采用QPLP特征對(duì)粗匹配的結(jié)果進(jìn)行確認(rèn)。本發(fā)明將累加能量的差分特征與QPLP特征結(jié)合起來(lái)，使兩者形成了優(yōu)勢(shì)互補(bǔ)，在降低虛警率的同時(shí)保持了較高的目標(biāo)查全率。
文檔編號(hào)G10L11/00GK101594527SQ20091005982
公開(kāi)日2009年12月2日 申請(qǐng)日期2009年6月30日 優(yōu)先權(quán)日2009年6月30日
發(fā)明者周后林, 姚太平, 兵 戴 申請(qǐng)人:成都艾索語(yǔ)音技術(shù)有限公司