專利名稱：內(nèi)容再現(xiàn)設(shè)備和方法以及程序的制作方法
技術(shù)領(lǐng)域：
本公開(kāi)內(nèi)容涉及一種內(nèi)容再現(xiàn)設(shè)備和方法以及程序，且尤其涉及一種其中在能夠一直注意周圍環(huán)境的聲音的同時(shí)還可以愜意地聽(tīng)音樂(lè)的內(nèi)容再現(xiàn)設(shè)備和方法以及程序。
背景技術(shù)：
在相關(guān)領(lǐng)域中已經(jīng)研究出將音頻信號(hào)分類成音樂(lè)或聲音的技術(shù)。例如，在疊加的聲音或背景噪音的音量與音樂(lè)等相比很大的情況下，難以對(duì)音頻信號(hào)是音樂(lè)還是聲音進(jìn)行分類。因此，提出了如下技術(shù)作為音樂(lè)節(jié)段檢測(cè)技術(shù)，該技術(shù)通過(guò)對(duì)來(lái)自輸入的音頻信號(hào)的每個(gè)短幀時(shí)間周期計(jì)算音頻特征量向量序列，來(lái)計(jì)算表示每個(gè)幀是否包含音樂(lè)的音樂(lè)信息評(píng)估值，并確定音樂(lè)的起始時(shí)間和結(jié)束時(shí)間等(例如日本未審查專利申請(qǐng)公布號(hào)2009-8836)。此外，已提出如下技術(shù)，該技術(shù)基于由接收聲音水平檢測(cè)器所檢測(cè)的接收到的聲音的水平和由外界聲音檢測(cè)器所檢測(cè)的外界聲音的水平來(lái)對(duì)可變?cè)鲆娣糯笃鞯脑鲆孢M(jìn)行控制，以提供在對(duì)作為目標(biāo)的音頻信號(hào)源等進(jìn)行接收的同時(shí)還能夠精確地對(duì)周圍環(huán)境的聲音進(jìn)行接收的耳機(jī)(例如日本未審查專利申請(qǐng)公布號(hào)2005-295175)。

發(fā)明內(nèi)容
然而，在用戶正在使用耳機(jī)聽(tīng)音樂(lè)的情況下，例如，當(dāng)音樂(lè)正與周圍環(huán)境的聲音一起播放時(shí)，如果使周圍環(huán)境的聲音在耳機(jī)內(nèi)聽(tīng)得見(jiàn)，則會(huì)感覺(jué)其非常吵人。期望在能夠一直注意周圍環(huán)境的聲音的同時(shí)能夠愜意地聽(tīng)音樂(lè)。根據(jù)本公開(kāi)內(nèi)容的一個(gè)實(shí)施例，提供一種內(nèi)容再現(xiàn)設(shè)備，包括麥克風(fēng)，其收集外殼周圍環(huán)境中的聲音；特征量提取器，其提取多個(gè)特征量作為特征量向量，所述多個(gè)特征量向量是從所述麥克風(fēng)所收集的聲音的信號(hào)的波形中獲得的；距離計(jì)算器，其計(jì)算如下兩個(gè)特征量向量之間的向量間距離，所述兩個(gè)特征量向量分別是所提取出的特征量向量以及作為音樂(lè)信號(hào)的波形的特征量預(yù)先設(shè)定的維度相同的特征量向量；判斷器，其通過(guò)對(duì)計(jì)算出的距離進(jìn)行閾值判斷，來(lái)判斷所述麥克風(fēng)所收集的聲音中是否包含音樂(lè)；處理器，其對(duì)所述麥克風(fēng)所收集的聲音的信號(hào)進(jìn)行處理，以在所述判斷器判斷出所述麥克風(fēng)所收集的聲音中包含音樂(lè)的情況下改變所述麥克風(fēng)所收集的聲音的音量或頻率特性；以及相加器，其將所述麥克風(fēng)所收集的聲音的信號(hào)與所再現(xiàn)的內(nèi)容的聲音的信號(hào)相加并輸出。所述特征量提取器可以包括幀分割單元和音頻特征量提取單元，所述幀分割單元用于將所述麥克風(fēng)所收集的聲音的信號(hào)的波形分割為在時(shí)間上具有預(yù)定長(zhǎng)度的幀，所述音頻特征量提取單元用于提取多個(gè)類型的特征量。所述特征量提取器可以將所述麥克風(fēng)所收集的聲音的信號(hào)的波形分割為在時(shí)間上具有預(yù)定長(zhǎng)度的幀，所述判斷器還在預(yù)先設(shè)定的多個(gè)幀中判斷所述麥克風(fēng)所收集的聲音中是否包含音樂(lè)，以及所述處理器在所述判斷器在預(yù)先設(shè)定的多個(gè)幀中判斷出所述麥克風(fēng)所收集的聲音中包含音樂(lè)的情況下對(duì)所述麥克風(fēng)所收集的聲音的信號(hào)進(jìn)行處理。
所述內(nèi)容再現(xiàn)設(shè)備還可以包括節(jié)奏檢測(cè)器，其檢測(cè)所述麥克風(fēng)所收集的聲音的節(jié)奏，其中，所述判斷器基于所述節(jié)奏檢測(cè)器的檢測(cè)結(jié)果對(duì)所計(jì)算的向量間距離進(jìn)行加權(quán)。所述內(nèi)容再現(xiàn)設(shè)備還可以包括另外的處理器，其可以對(duì)所再現(xiàn)的內(nèi)容的聲音的信號(hào)進(jìn)行處理，以在所述判斷器判斷出所述麥克風(fēng)所收集的聲音中包含音樂(lè)的情況下改變所再現(xiàn)的內(nèi)容的聲音的音量或頻率特性。所述節(jié)奏檢測(cè)器可以檢測(cè)所述麥克風(fēng)所收集的聲音的信號(hào)的波形的波峰，可以計(jì)算所檢測(cè)出的波峰在時(shí)間上的位置與預(yù)先設(shè)定的拍子間隔中的拍子在時(shí)間上的位置之間的匹配度，并判斷所述拍子與所述波峰是否匹配，以及可以保存在單位時(shí)間內(nèi)與所述波峰匹配的拍子的個(gè)數(shù)。所述節(jié)奏檢測(cè)器可以判斷在比所述單位時(shí)間短的預(yù)定時(shí)間段內(nèi)所述拍子與所述波峰是否匹配，以及可以基于該判斷結(jié)果對(duì)所述拍子間隔進(jìn)行更新。所述內(nèi)容再現(xiàn)設(shè)備還可以包括加權(quán)控制器，其根據(jù)每單位時(shí)間內(nèi)與所述波峰匹配的拍子的數(shù)量來(lái)設(shè)置加權(quán)系數(shù)，并用所述距離計(jì)算器所計(jì)算出的所述向量間距離乘以所述加權(quán)系數(shù)。在從所述判斷器判斷出所述麥克風(fēng)所收集的聲音中包含音樂(lè)之后直到判斷出所述麥克風(fēng)所收集的聲音中不包含音樂(lè)的期間內(nèi)，所述加權(quán)控制器可以根據(jù)拍子的數(shù)量改變加權(quán)系數(shù)的值。根據(jù)本公開(kāi)內(nèi)容的另一實(shí)施例，提供一種內(nèi)容再現(xiàn)方法，包括由麥克風(fēng)收集外殼周圍環(huán)境中的聲音；由特征量提取器提取多個(gè)特征量作為特征量向量，所述多個(gè)特征量向量是從所述麥克風(fēng)所收集的聲音的信號(hào)的波形中獲得的；由距離計(jì)算器計(jì)算如下兩個(gè)特征量向量之間的向量間距離，所述兩個(gè)特征量向量分別是所提取出的特征量向量以及作為音樂(lè)信號(hào)的波形的特征量預(yù)先設(shè)定的相同維度的特征量向量；由判斷器通過(guò)對(duì)所計(jì)算出的距離進(jìn)行閾值判斷，來(lái)判斷所述麥克風(fēng)所收集的聲音中是否包含音樂(lè)；由處理器對(duì)所述麥克風(fēng)所收集的聲音的信號(hào)進(jìn)行處理，以在所述判斷器判斷出所述麥克風(fēng)所收集的聲音中包含音樂(lè)的情況下改變所述麥克風(fēng)所收集的聲音的音量或頻率特性；以及由相加器將所述麥克風(fēng)所收集的聲音的信號(hào)與所再現(xiàn)的內(nèi)容的聲音的信號(hào)相加并輸出。根據(jù)本公開(kāi)內(nèi)容的又一實(shí)施例，提供一種程序，包括使計(jì)算機(jī)用作內(nèi)容再現(xiàn)設(shè)備， 所述內(nèi)容再現(xiàn)設(shè)備包括麥克風(fēng)，其收集外殼周圍環(huán)境中的聲音；特征量提取裝置，用于提取多個(gè)特征量作為特征量向量，所述多個(gè)特征量向量是從所述麥克風(fēng)所收集的聲音的信號(hào)的波形中獲得的；距離計(jì)算裝置，用于計(jì)算如下兩個(gè)特征量向量之間的向量間距離，所述兩個(gè)特征量向量分別是所提取出的特征量向量以及作為音樂(lè)信號(hào)的波形的特征量預(yù)先設(shè)定的相同維度的特征量向量；判斷裝置，用于通過(guò)對(duì)所計(jì)算出的距離進(jìn)行閾值判斷，來(lái)判斷所述麥克風(fēng)所收集的聲音中是否包含音樂(lè)；處理裝置，用于對(duì)所述麥克風(fēng)所收集的聲音的信號(hào)進(jìn)行處理，以在所述判斷器判斷出所述麥克風(fēng)所收集的聲音中包含音樂(lè)的情況下改變所述麥克風(fēng)所收集的聲音的音量或頻率特性；以及相加裝置，用于將所述麥克風(fēng)所收集的聲音的信號(hào)與所再現(xiàn)的內(nèi)容的聲音的信號(hào)相加并輸出。根據(jù)本公開(kāi)內(nèi)容的一個(gè)實(shí)施例，收集外殼周圍環(huán)境中的聲音；提取多個(gè)特征量作為特征量向量，所述多個(gè)特征量向量是從所收集的聲音的信號(hào)的波形中獲得的；計(jì)算如下兩個(gè)特征量向量之間的向量間距離，所述兩個(gè)特征量向量分別是所提取出的特征量向量以及作為音樂(lè)信號(hào)的波形的特征量預(yù)先設(shè)定的相同維度的特征量向量；通過(guò)對(duì)所計(jì)算出的距離進(jìn)行閾值判斷，來(lái)判斷所收集的聲音中是否包含音樂(lè)；對(duì)所收集的聲音的信號(hào)進(jìn)行處理， 以在判斷出所收集的聲音中包含音樂(lè)的情況下改變所收集的聲音的音量或頻率特性；以及將所收集的聲音的信號(hào)與所再現(xiàn)的內(nèi)容的聲音的信號(hào)相加并輸出?？梢栽谀軌蛞恢弊⒁庵車h(huán)境的聲音的同時(shí)愜意地聽(tīng)音樂(lè)。


圖1是示出根據(jù)應(yīng)用了本公開(kāi)內(nèi)容的音樂(lè)再現(xiàn)設(shè)備的一個(gè)實(shí)施例的配置示例的框圖；圖2是示出根據(jù)應(yīng)用了本公開(kāi)內(nèi)容的音樂(lè)再現(xiàn)設(shè)備的一個(gè)實(shí)施例的另一配置示例的框圖；圖3是示出根據(jù)應(yīng)用了本公開(kāi)內(nèi)容的音樂(lè)再現(xiàn)設(shè)備的一個(gè)實(shí)施例的另一配置示例的框圖；圖4是示出引用檢測(cè)單元的詳細(xì)配置示例的框圖；圖5是描繪圖4中的幀分割單元和音頻特征量提取單元的處理的圖；圖6是描述音樂(lè)再現(xiàn)處理的示例的流程圖；圖7是描述音樂(lè)再現(xiàn)處理的另一示例的流程圖；圖8是示出音樂(lè)檢測(cè)單元的不同詳細(xì)配置示例的框圖；圖9是描述節(jié)奏檢測(cè)單元的處理的圖；圖10是示出節(jié)奏檢測(cè)單元的詳細(xì)配置示例的框圖；圖11是示出跟蹤器的詳細(xì)配置示例的框圖；圖12是描述拍子數(shù)量和加權(quán)系數(shù)的圖；圖13是描述拍子數(shù)量和加權(quán)系數(shù)的另一圖；圖14是描述評(píng)估結(jié)果的圖，其中通過(guò)F度量(F-measure)來(lái)評(píng)估音樂(lè)檢測(cè)單元對(duì)音樂(lè)的檢測(cè)結(jié)果；圖15是描述音樂(lè)檢測(cè)處理的不同示例的流程圖；圖16是描述節(jié)奏檢測(cè)處理的示例的流程圖；以及圖17是示出個(gè)人計(jì)算機(jī)的配置示例的框圖。
具體實(shí)施例方式下文將參照附圖描述本公開(kāi)內(nèi)容的實(shí)施例。圖1是示出應(yīng)用了本公開(kāi)內(nèi)容實(shí)施例的音樂(lè)再現(xiàn)設(shè)備20的實(shí)施例的配置示例的框圖。音樂(lè)再現(xiàn)設(shè)備20可被配置為例如所謂的耳機(jī)立體音響裝置(headphone stereo)，或者可以簡(jiǎn)單地被配置為耳機(jī)。也就是說(shuō)，在此描述的音樂(lè)再現(xiàn)設(shè)備20并不一定本身包括再現(xiàn)音樂(lè)內(nèi)容等功能，而是可以被配置為例如與數(shù)字音頻播放器等連接的耳機(jī)。附圖中示出的音樂(lè)再現(xiàn)設(shè)備20被配置為包括麥克風(fēng)21、音樂(lè)檢測(cè)單元22、處理單元23、相加器對(duì)、處理單元25和揚(yáng)聲器26。麥克風(fēng)21收集周圍環(huán)境的聲音，并輸出與所收集的聲音對(duì)應(yīng)的信號(hào)。在此，所收集的聲音例如包括沿用戶正在步行的道路行駛的自行車的聲音、用戶周圍環(huán)境中的人聲、用戶逗留的店鋪等中作為背景音樂(lè)正在播放的音樂(lè)等。音樂(lè)檢測(cè)單元22通過(guò)判斷從麥克風(fēng)21輸出的信號(hào)中是否包括音樂(lè)來(lái)從周圍環(huán)境的聲音中檢測(cè)音樂(lè)。在此，音樂(lè)檢測(cè)單元22的詳細(xì)配置將隨后描述。處理單元23基于音樂(lè)檢測(cè)單元22的檢測(cè)結(jié)果來(lái)處理從麥克風(fēng)21輸出的信號(hào)。處理單元23例如可以執(zhí)行處理以調(diào)節(jié)從麥克風(fēng)21輸出的信號(hào)的音量，或者可以執(zhí)行處理以調(diào)節(jié)從麥克風(fēng)21輸出的信號(hào)的頻率特性。處理單元25基于音樂(lè)檢測(cè)單元22的檢測(cè)結(jié)果來(lái)處理由再現(xiàn)單元(未示出)所再現(xiàn)的音樂(lè)的內(nèi)容的信號(hào)(音樂(lè)信號(hào))。處理單元25例如可以執(zhí)行處理以調(diào)節(jié)音樂(lè)信號(hào)的音量，或者可以執(zhí)行處理以調(diào)節(jié)音樂(lè)信號(hào)的頻率特性。在此，可以不設(shè)置處理單元25。相加器M將從處理單元23輸出的信號(hào)與從處理單元25輸出的信號(hào)相加，并輸出相加所得的信號(hào)給揚(yáng)聲器26。揚(yáng)聲器沈輸出與輸入的信號(hào)對(duì)應(yīng)的聲音，該聲音成為用戶的耳朵聽(tīng)得見(jiàn)的聲音。也就是說(shuō)，使用音樂(lè)再現(xiàn)設(shè)備20，必要時(shí)除了所再現(xiàn)的音樂(lè)以外還能夠聽(tīng)見(jiàn)周圍環(huán)境的聲音。也就是說(shuō)，例如，在正在用耳機(jī)聽(tīng)音樂(lè)的情況下，由于周圍環(huán)境的聲音不容易聽(tīng)見(jiàn)，所以將周圍環(huán)境的聲音疊加在音樂(lè)上以被聽(tīng)見(jiàn)。這樣做，希望通過(guò)能夠注意到人的呼喊或者能夠聽(tīng)見(jiàn)車輛移動(dòng)的聲音來(lái)提高安全性。然而，在周圍環(huán)境中正在播放音樂(lè)的情況下，如果該音樂(lè)被疊加，則該疊加的音樂(lè)與正在再現(xiàn)的內(nèi)容的音樂(lè)形成競(jìng)爭(zhēng)。因此，音樂(lè)檢測(cè)單元22檢測(cè)該音樂(lè)，以便處理單元23 或處理單元25執(zhí)行改變音量或改變頻率特性等的處理，比如執(zhí)行濾波處理。如圖2中所示，音樂(lè)檢測(cè)單元22至處理單元25可被設(shè)置在外殼之內(nèi)，比如該附圖中用虛線示出的耳機(jī)。或者，如圖3中所示，音樂(lè)檢測(cè)單元22至處理單元25可被設(shè)置在外殼之外，比如該附圖中用虛線示出的數(shù)字音頻播放器。在根據(jù)本公開(kāi)內(nèi)容的一個(gè)實(shí)施例中，音樂(lè)檢測(cè)單元包括特征量提取器、距離計(jì)算器和判斷器。在根據(jù)本公開(kāi)內(nèi)容的另一實(shí)施例中，除了特征量提取器、距離計(jì)算器和判斷器以外，音樂(lè)檢測(cè)單元還包括節(jié)奏檢測(cè)器。在根據(jù)本公開(kāi)內(nèi)容的又一實(shí)施例當(dāng)中，除了特征量提取器、距離計(jì)算器、判斷器和節(jié)奏檢測(cè)器以外，音樂(lè)檢測(cè)單元還包括加權(quán)控制器。在根據(jù)本公開(kāi)內(nèi)容的一個(gè)實(shí)施例中，特征量提取器包括幀分割單元和音頻特征量提取單元。圖4是示出音樂(lè)檢測(cè)單元22的一個(gè)詳細(xì)配置示例的框圖。如圖中所示，音樂(lè)檢測(cè)單元22被配置為包括幀分割單元41、音頻特征量提取單元42以及識(shí)別單元43。幀分割單元41通過(guò)將輸入信號(hào)乘以短時(shí)窗函數(shù)來(lái)將輸入信號(hào)分割為在時(shí)間上具有預(yù)定長(zhǎng)度的多個(gè)幀。此外，通過(guò)對(duì)從信號(hào)中分割出的每個(gè)幀執(zhí)行傅里葉變換來(lái)執(zhí)行頻率分析。在此，短時(shí)窗函數(shù)可被設(shè)置為使得一部分時(shí)間段重疊，且例如使用比如漢明窗 (Hamming window)、漢寧窗(Hann window)禾口布萊克曼窗(Blackman window)等窗函數(shù)。音頻特征量提取單元42例如在幀分割單元41執(zhí)行傅里葉變換之前和之后提取多個(gè)類型的特征量。將參照?qǐng)D5給出進(jìn)一步的描述。圖5是描述幀分割單元41和音頻特征量提取單元42的處理的示例的圖。在附圖的頂部示出的波形61表示圖1至圖3的麥克風(fēng)21所收集的聲音的信號(hào)的波形。幀分割單元41將波形61分割為在時(shí)間上具有預(yù)定長(zhǎng)度的幀幀62-1、幀62-2、幀
62-3等。音頻特征量提取單元42例如在幀分割單元41執(zhí)行傅里葉變換之前和之后提取具有小維度的多個(gè)類型的特征量。例如，在傅里葉變換之前提取比如過(guò)零率(zero cross)等特征量，而在傅里葉變換之后提取比如Mel頻率倒譜系數(shù)(MFCC)、頻譜質(zhì)心(spectrum centroid)、頻譜流量 (spectrum flux)、衰減截止頻率(roll off)等特征量。在圖5的示例中，從幀62-1中包含的波形中提取出特征量組63-1。類似地，通過(guò)從幀62-2中包含的波形中提取出特征量組63-2、從幀62-3中包含的波形中提取出特征量組63-3等，從而提取出多個(gè)特征量組。分別將特征量組63-1、特征量組63-2、特征量組63-3等作為每個(gè)幀的特征量提供給識(shí)別單元43。使用預(yù)先從音樂(lè)信號(hào)中提取出的多個(gè)特征量向量，識(shí)別單元43例如通過(guò)具有用于正確答案的標(biāo)簽的普通監(jiān)督學(xué)習(xí)，來(lái)學(xué)習(xí)音樂(lè)信號(hào)的特征量。例如，執(zhí)行使用高斯混合模型(Gaussian mixture model)、k個(gè)最近鄰分類器(kNN classifier)、支持向量機(jī)(support vector machine)等的學(xué)習(xí)。從上述學(xué)習(xí)獲得典型特征量向量，該典型特征量向量是具有與例如特征量組
63-1、特征量組63-2、特征量組63-3等相同的維度的特征量向量，并且對(duì)應(yīng)于音樂(lè)信號(hào)。該典型特征量向量可例如獲得多個(gè)特征量向量，比如與敘事曲(ballade)音樂(lè)的信號(hào)對(duì)應(yīng)的特征量向量、與搖滾音樂(lè)的信號(hào)對(duì)應(yīng)的特征量向量等。識(shí)別單元43計(jì)算每個(gè)幀的特征量向量與上述典型特征量向量之間的距離，將計(jì)算出的向量間距離與閾值進(jìn)行比較，并在向量間距離等于或小于閾值的情況下將與該幀有關(guān)的識(shí)別標(biāo)識(shí)轉(zhuǎn)變?yōu)椤伴_(kāi)”(0N)。在此，在存在多個(gè)典型特征量向量的情況下，計(jì)算每個(gè)幀的特征量向量與這多個(gè)典型特征量向量之間的距離，并在其中任意距離等于或小于閾值的情況下將與這樣的幀有關(guān)的識(shí)別標(biāo)識(shí)轉(zhuǎn)變?yōu)椤伴_(kāi)”。此外，例如在過(guò)去的10個(gè)幀的識(shí)別標(biāo)識(shí)均為“開(kāi)”的情況下，識(shí)別單元43判斷出當(dāng)前幀是音樂(lè)信號(hào)的幀。在此，以上描述的判斷方法僅作為示例，還可以通過(guò)其他方法來(lái)判斷幀是否屬于
音樂(lè)信號(hào)。以此方式來(lái)檢測(cè)麥克風(fēng)21所收集的聲音中的音樂(lè)。此外，在音樂(lè)檢測(cè)單元22檢測(cè)到音樂(lè)的情況下，處理單元23執(zhí)行處理，比如降低從麥克風(fēng)21輸出的信號(hào)的音量、通過(guò)從麥克風(fēng)21輸出的信號(hào)中去除預(yù)定頻帶的信號(hào)來(lái)改變頻率特性等。這樣做，除了能夠通過(guò)能夠注意到人的呼喊或者能夠聽(tīng)見(jiàn)車輛的移動(dòng)來(lái)提高安全性以外，例如，甚至在用戶周圍環(huán)境中正在播放音樂(lè)時(shí)還能避免打擾。接下來(lái)，將參照?qǐng)D6的流程圖來(lái)描述圖1的音樂(lè)再現(xiàn)設(shè)備20進(jìn)行的音樂(lè)再現(xiàn)處理的示例。
在步驟S21，麥克風(fēng)21收集周圍環(huán)境的聲音。在此，所收集的聲音的信號(hào)被輸出給音樂(lè)檢測(cè)單元22和處理單元23。在步驟S22，音樂(lè)檢測(cè)單元22執(zhí)行音樂(lè)檢測(cè)處理，該處理將在下文參照?qǐng)D7描述。在步驟S23，處理單元23或處理單元25判斷是否檢測(cè)到音樂(lè)。在步驟S23中判斷出檢測(cè)到音樂(lè)的情況下，處理進(jìn)行到步驟S24，從而處理單元23 或處理單元25對(duì)輸入的信號(hào)進(jìn)行處理。這時(shí)，例如執(zhí)行降低(或增大)音量或者使頻率特性被加以限定的濾波處理等。也就是說(shuō)，與從處理單元23或處理單元25輸出的信號(hào)對(duì)應(yīng)的聲音的音量、頻率特性等被設(shè)置成不同于通常值的特殊值。簡(jiǎn)而言之，在麥克風(fēng)21所收集的聲音中包括音樂(lè)的情況下，處理單元23或處理單元25執(zhí)行使得內(nèi)容的音樂(lè)更容易聽(tīng)取的處理。另一方面，在步驟S23中判斷出沒(méi)有檢測(cè)到音樂(lè)的情況下，跳過(guò)步驟S24的處理。 也就是說(shuō)，處理單元23或處理單元25不對(duì)輸入的信號(hào)進(jìn)行處理，而是將其原樣輸出。在此，相加器M將從處理單元23輸出的信號(hào)與音樂(lè)信號(hào)相加并輸出。以此方式來(lái)執(zhí)行音樂(lè)再現(xiàn)處理。接下來(lái)，將參照?qǐng)D7描述圖6的步驟S22的音樂(lè)檢測(cè)處理的詳細(xì)示例。在步驟S41，幀分割單元41通過(guò)將輸入的信號(hào)乘以短時(shí)窗函數(shù)，來(lái)將輸入的信號(hào)分割為在時(shí)間上具有預(yù)定長(zhǎng)度的多個(gè)幀。此外，通過(guò)對(duì)從信號(hào)中分割出的每個(gè)幀執(zhí)行傅里葉變換，來(lái)執(zhí)行頻率分析。在步驟S42，與步驟S41的處理一起，在幀分割單元41執(zhí)行傅里葉變換之前和之后提取多個(gè)類型的特征量。這時(shí)，如上文所述，在傅里葉變換之前提取比如過(guò)零率等特征量， 而在傅里葉變換之后提取Mel頻率倒譜系數(shù)(MFCC)、頻譜質(zhì)心、頻譜流量、衰減截止頻率等特征量。在步驟S43，識(shí)別單元43計(jì)算由在步驟S42中提取的特征量組成的特征量向量與對(duì)應(yīng)于被預(yù)先學(xué)習(xí)的音樂(lè)信號(hào)的典型特征量向量之間的距離。在步驟S44，識(shí)別單元43判斷在步驟S43中計(jì)算出的向量間距離是否等于或小于閾值。在步驟S44中判斷出計(jì)算出的向量間距離等于或小于閾值的情況下，處理進(jìn)行至步驟 S45。在步驟S45，識(shí)別單元43將與該幀有關(guān)的識(shí)別標(biāo)識(shí)轉(zhuǎn)變?yōu)椤伴_(kāi)”。在步驟S46，識(shí)別單元43判斷過(guò)去的例如預(yù)定數(shù)量的幀(例如10個(gè)幀)的識(shí)別標(biāo)識(shí)是否為“開(kāi)”。在步驟S46中判斷出過(guò)去的預(yù)定數(shù)量的幀的識(shí)別標(biāo)識(shí)為“開(kāi)”的情況下，處理進(jìn)行至步驟S47，從而識(shí)別單元43輸出音樂(lè)檢測(cè)信號(hào)作為識(shí)別結(jié)果。這樣，通知處理單元23或處理單元25已檢測(cè)到了音樂(lè)。另一方面，在步驟S46中判斷出過(guò)去的預(yù)定數(shù)量的幀的識(shí)別標(biāo)識(shí)為“關(guān)”(OFF)的情況下，跳過(guò)步驟S47的處理。此外，在步驟S44中判斷出計(jì)算出的向量間距離并不等于或小于閾值的情況下， 跳過(guò)步驟S45至步驟S47的處理。以此方式來(lái)執(zhí)行音樂(lè)檢測(cè)處理。順便提及，在上文參照?qǐng)D4描述的示例中，音樂(lè)是基于對(duì)特征量向量的向量間距離的比較的結(jié)果來(lái)檢測(cè)的。然而，采用這樣的方法，存在不能穩(wěn)定地檢測(cè)音樂(lè)的情況。例如，在音樂(lè)檢測(cè)單元22的檢測(cè)結(jié)果變化并在短時(shí)間段內(nèi)不穩(wěn)定的情況下，當(dāng)周圍環(huán)境的聲音中包括很多噪音等時(shí)，存在檢測(cè)結(jié)果缺乏準(zhǔn)確性的可能性。因此，本公開(kāi)內(nèi)容的實(shí)施例還提出一種能夠更穩(wěn)定且準(zhǔn)確地檢測(cè)音樂(lè)的方法。圖8是示出圖1的音樂(lè)檢測(cè)單元22的不同配置示例的框圖。在圖8中，音樂(lè)檢測(cè)單元22被配置為包括幀分割單元81、音頻特征量提取單元82、識(shí)別單元83和節(jié)奏檢測(cè)單元84。由于圖8的幀分割單元81、音頻特征量提取單元82和識(shí)別單元83分別是與圖4 的幀分割單元41、音頻特征量提取單元42和識(shí)別單元43相同的功能模塊，因此將省略其詳細(xì)描述。在圖8的示例中，與圖4的情況不同，設(shè)置了節(jié)奏檢測(cè)單元84。節(jié)奏檢測(cè)單元84基于從麥克風(fēng)21所收集的聲音來(lái)檢測(cè)節(jié)奏。此外，例如通過(guò)基于節(jié)奏檢測(cè)單元84對(duì)節(jié)奏的檢測(cè)結(jié)果來(lái)對(duì)由識(shí)別單元83進(jìn)行的閾值判斷的加權(quán)進(jìn)行調(diào)節(jié)， 能夠更穩(wěn)定且準(zhǔn)確地檢測(cè)音樂(lè)。圖9是用于描述節(jié)奏檢測(cè)單元的處理的圖。在該附圖中，橫軸是時(shí)間，且在區(qū)域91 中示出了幀分割單元81所分割的多個(gè)幀的波形，該波形是麥克風(fēng)21所收集的聲音的信號(hào)的波形。區(qū)域91中示出的波形的包絡(luò)被示出在區(qū)域92中。該包絡(luò)是例如通過(guò)使區(qū)域91 中示出的波形的信號(hào)通過(guò)低通濾波器而獲得的。通過(guò)獲得該包絡(luò)，檢測(cè)該波形的波峰變得
各易ο在區(qū)域93中，基于包絡(luò)獲得的該波形的波峰被圖示為在附圖中的豎直方向上延伸的多個(gè)條。也就是說(shuō)，在區(qū)域93中示出的多個(gè)條在附圖中的水平方向上的位置對(duì)應(yīng)于波峰在時(shí)間上的位置。在圖9的區(qū)域93的下方示出了跟蹤器1、跟蹤器2、跟蹤器3、跟蹤器4等的檢測(cè)結(jié)^ ο跟蹤器1、跟蹤器2、跟蹤器3、跟蹤器4等各自是被設(shè)置于節(jié)奏檢測(cè)單元84上的功能模塊，并且例如根據(jù)節(jié)奏(tempo)來(lái)設(shè)置拍子間隔。在此，在無(wú)需單獨(dú)區(qū)分跟蹤器1、跟蹤器2、跟蹤器3、跟蹤器4等的情況下，將這些跟蹤器簡(jiǎn)單地稱為跟蹤器。例如，預(yù)先設(shè)定如下比如bpm(beats per minute，每分鐘拍子數(shù))的不同節(jié)奏的拍子間隔bpm = 100用于跟蹤器l、bpm = 50用于跟蹤器2等。各個(gè)跟蹤器中的每個(gè)跟蹤器均計(jì)算設(shè)定的拍子間隔與區(qū)域93中示出的波峰位置之間的匹配度。在圖9中，在附圖中的水平方向上的線(該線被示出在其中書寫跟蹤器1、 跟蹤器2、跟蹤器3、跟蹤器4的部分的右邊)上的、被在附圖中的豎直方向上延伸的多個(gè)條圖示的、在附圖中的水平方向上的位置是由各個(gè)跟蹤器設(shè)定的拍子的位置。跟蹤器1例如設(shè)定與條101-1至條101-7示出的位置對(duì)應(yīng)的拍子間隔。跟蹤器1 基于條101-1與在區(qū)域93中示出的波峰的位置之間在時(shí)間上的差，來(lái)計(jì)算這些拍子的位置 (拍子位置)與這些波峰的位置(波峰位置)之間的匹配度(波峰匹配度)。例如，在波峰匹配度超過(guò)閾值的情況下，判斷出由跟蹤器1設(shè)定的拍子與波峰匹配。在圖9的示例中，與波峰匹配的拍子被添加圓圈，例如，在跟蹤器1的條101-1、條101-2、條101-4和條101-6 處拍子與波峰匹配。
此外，跟蹤器1例如對(duì)單位時(shí)間內(nèi)與波峰匹配的拍子的數(shù)量進(jìn)行計(jì)數(shù)，并保存該數(shù)量。如果圖9中示出的時(shí)間是單位時(shí)間，則在跟蹤器1的情況下有4個(gè)拍子與波峰匹配。在此，例如，在比單位時(shí)間短的預(yù)定時(shí)間段內(nèi)沒(méi)有檢測(cè)到與波峰匹配的拍子的情況下，改變跟蹤器1的節(jié)奏和執(zhí)行對(duì)拍子間隔的更新。例如，把bpm = 100的節(jié)奏變成bpm =105，以重新設(shè)定拍子間隔?；蛘撸瑢?duì)拍子間隔的更新可以通過(guò)使跟蹤器1的旋律變化來(lái)執(zhí)行。例如，在跟蹤器1設(shè)定的作為初始值的拍子間隔是搖滾旋律的短拍子間隔的情況下， 可以通過(guò)把曲調(diào)改變成巴薩諾瓦(bossa nova)來(lái)重新設(shè)置長(zhǎng)拍子間隔。對(duì)跟蹤器2、跟蹤器3、跟蹤器4等也執(zhí)行類似的處理。這樣，各個(gè)跟蹤器分別保存了在跟蹤器自身設(shè)定的拍子間隔中與波峰匹配的拍子的數(shù)量(拍子數(shù)量)。節(jié)奏檢測(cè)單元84例如從各個(gè)跟蹤器的拍子數(shù)量中選擇最大的拍子數(shù)量，并將該數(shù)量提供給識(shí)別單元83。在這種情況下，識(shí)別單元83例如通過(guò)將對(duì)應(yīng)于該拍子數(shù)量的加權(quán)系數(shù)乘以上述特征量向量的向量間距離來(lái)進(jìn)行閾值判斷。圖10是示出節(jié)奏檢測(cè)單元84的詳細(xì)配置示例的框圖。如該附圖中所示，節(jié)奏檢測(cè)單元84被配置為包括包絡(luò)計(jì)算單元121、波峰檢測(cè)單元122、選擇單元123、跟蹤器131-1、 跟蹤器131-2等。在此，圖10的跟蹤器131-1、跟蹤器131-2等對(duì)應(yīng)于圖9的跟蹤器1、跟
莊不益^寺。包絡(luò)計(jì)算單元121基于從幀分割單元81輸出的幀分割信號(hào)的波形來(lái)計(jì)算包絡(luò)。因此，例如獲得如圖9的區(qū)域92中所示的包絡(luò)。波峰檢測(cè)單元122基于包絡(luò)計(jì)算單元121所計(jì)算的包絡(luò)來(lái)檢測(cè)波形的波峰。因此， 例如獲得如圖9的區(qū)域93中所示的波峰位置。波峰檢測(cè)單元122的檢測(cè)結(jié)果被提供給跟 S宗器131_1、足艮足宗器131—2等。選擇單元123從跟蹤器131-1、跟蹤器131-2等保存的拍子數(shù)量中選出最大拍子數(shù)量。圖11是示出圖10的跟蹤器131的詳細(xì)配置示例的框圖。在此，由于圖10的跟蹤器131-1、跟著去131-2等分別被類似地配置，因此在此將這樣的跟蹤器一起稱為跟蹤器 131。如圖11中所示，跟蹤器131被配置為包括拍子間隔設(shè)置單元151、波峰匹配度計(jì)算單元152、拍子間隔更新單元153和拍子數(shù)量保存單元154。拍子間隔設(shè)置單元151設(shè)置拍子間隔，例如類似上文參照?qǐng)D9所述的條101-1、 101-2 等。波峰匹配度計(jì)算單元152例如基于如上文參照?qǐng)D9所述的拍子位置與波峰位置在時(shí)間上的差來(lái)計(jì)算波峰匹配度。例如在預(yù)定時(shí)間段內(nèi)沒(méi)有檢測(cè)到與波峰匹配的拍子的情況下，拍子間隔更新單元 153通過(guò)改變節(jié)奏、旋律等來(lái)重新設(shè)置(更新)拍子間隔。拍子數(shù)量保存單元IM保存拍子數(shù)量，該拍子數(shù)量是在單位時(shí)間內(nèi)與波峰匹配的拍子的數(shù)量。以此方式，拍子數(shù)量被保存，從而通過(guò)對(duì)應(yīng)于所設(shè)定的拍子數(shù)量的加權(quán)系數(shù)執(zhí)行加權(quán)。圖12和圖13是描述拍子數(shù)量與加權(quán)系數(shù)的圖。
11
圖12是描述在從音樂(lè)檢測(cè)單元22沒(méi)有輸出音樂(lè)檢測(cè)信號(hào)的情況下(即在沒(méi)有檢測(cè)到音樂(lè)的情況下)拍子數(shù)量與加權(quán)系數(shù)之間的關(guān)系的圖。如該附圖中所示，當(dāng)拍子數(shù)量增大時(shí)，加權(quán)系數(shù)的值減小。特別地，當(dāng)拍子數(shù)量超過(guò)N時(shí)，加權(quán)系數(shù)的值急劇地減小。例如，當(dāng)識(shí)別單元83在圖7的步驟S44的處理中進(jìn)行閾值判斷時(shí)，如果用圖12中示出的加權(quán)系數(shù)乘以在步驟S43中計(jì)算出的向量間距離，那么， 當(dāng)拍子數(shù)量的值增大時(shí)，輸出音樂(lè)檢測(cè)信號(hào)的可能性增大。不過(guò)，在拍子數(shù)量等于或小于N 的情況下，即使拍子數(shù)量的值增大，輸出音樂(lè)檢測(cè)信號(hào)的可能性也不會(huì)增大很多。圖13是描述在從音樂(lè)檢測(cè)單元22輸出音樂(lè)檢測(cè)信號(hào)的情況下(即在檢測(cè)到音樂(lè)的情況下)拍子數(shù)量與加權(quán)系數(shù)之間的關(guān)系的圖。如該附圖中所示，當(dāng)拍子數(shù)量增大時(shí)，加權(quán)系數(shù)的值減小。特別地，加權(quán)系數(shù)的值在0和M的拍子數(shù)量之間急劇地減小。例如，當(dāng)識(shí)別單元83在圖7的步驟S44的處理中進(jìn)行閾值判斷時(shí)，如果用圖13中示出的加權(quán)系數(shù)乘以在步驟S43中計(jì)算出的向量間距離，那么，當(dāng)拍子數(shù)量的值增大時(shí)，輸出音樂(lè)檢測(cè)信號(hào)的可能性增大。不過(guò)，在拍子數(shù)量超過(guò)M的情況下，即使拍子數(shù)量的值小，輸出音樂(lè)檢測(cè)信號(hào)的可能性也很大。也就是說(shuō)，在檢測(cè)到音樂(lè)之前，只要沒(méi)有檢測(cè)到某一拍子數(shù)量，就將加權(quán)系數(shù)設(shè)置為使得不輸出音樂(lè)檢測(cè)信號(hào)；而在檢測(cè)到音樂(lè)之后，除非檢測(cè)到的拍子數(shù)量相當(dāng)少，否則總將加權(quán)系數(shù)設(shè)置為使得輸出音樂(lè)檢測(cè)信號(hào)。這樣，能夠更準(zhǔn)確和穩(wěn)定地檢測(cè)音樂(lè)。以此方式，通過(guò)識(shí)別單元83基于節(jié)奏檢測(cè)單元84的檢測(cè)結(jié)果執(zhí)行處理，更準(zhǔn)確和穩(wěn)定地檢測(cè)音樂(lè)成為可能。其原因在于即使在例如周圍環(huán)境的聲音中包括大噪音的情況下，檢測(cè)音樂(lè)的拍子位置也相對(duì)容易。圖14是描述評(píng)估結(jié)果的圖，其中通過(guò)F度量(F-measure)來(lái)評(píng)估音樂(lè)檢測(cè)單元 22對(duì)音樂(lè)的檢測(cè)結(jié)果。該附圖中的橫軸表示周圍環(huán)境的聲音中的噪聲大小的度(SNR，信噪比)，而該附圖中的縱軸表示F度量。此外，該附圖中通過(guò)連接點(diǎn)而形成的具有方形記號(hào)的線181表示具有圖8中示出的配置的音樂(lè)檢測(cè)單元22的檢測(cè)結(jié)果，而該附圖中通過(guò)連接點(diǎn)而形成的具有菱形記號(hào)的線182表示具有圖4中示出的配置的音樂(lè)檢測(cè)單元22的檢測(cè)結(jié)^ ο如圖14中所示，線182向附圖中的右手邊急劇地下降，即隨著周圍環(huán)境的聲音中的噪音的度變大，F(xiàn)度量減小且整體性能下降。另一方面，線181向附圖中的右手邊平緩地下降，g卩即使周圍環(huán)境的聲音中的噪音的度增大，F(xiàn)度量也沒(méi)有減小很多且整體性能沒(méi)有下降。也就是說(shuō)，可見(jiàn)如果使用圖8中示出的配置的音樂(lè)檢測(cè)單元22的話，即使在周圍環(huán)境的聲音中包括大噪音的情況下，也能夠更準(zhǔn)確和穩(wěn)定地檢測(cè)音樂(lè)。接下來(lái)，將參照?qǐng)D15的流程圖描述在采用圖8的配置的情況下圖6的步驟S22的音樂(lè)檢測(cè)處理的示例。由于圖15的步驟S81至步驟S83分別是與圖7的步驟S41至步驟S43相同的處理，因此省略其詳細(xì)描述。在步驟S84，節(jié)奏檢測(cè)單元84執(zhí)行將在下文參照?qǐng)D16詳細(xì)描述的節(jié)奏檢測(cè)處理。 對(duì)周圍環(huán)境的聲音中的節(jié)奏的檢測(cè)因此被執(zhí)行。在步驟S85，識(shí)別單元83設(shè)置加權(quán)系數(shù)，該加權(quán)系數(shù)對(duì)應(yīng)于隨步驟S84的處理一起輸出的拍子數(shù)量；并將步驟S83的處理中計(jì)算出的向量間距離乘以該加權(quán)系數(shù)。此時(shí)，例如如上文參照?qǐng)D12和圖13所述，設(shè)置該加權(quán)系數(shù)并將其乘以向量間距離。由于圖15的步驟S86至步驟S89的處理與圖7的步驟S44至步驟S47的處理相同，因此省略其詳細(xì)描述。接下來(lái)，將參照?qǐng)D16描述圖15的步驟S84的節(jié)奏檢測(cè)處理的詳細(xì)示例。在步驟S101，包絡(luò)計(jì)算單元121基于從幀分割單元81輸出的幀分割信號(hào)的波形來(lái)計(jì)算包絡(luò)。這樣，獲得例如圖9的區(qū)域92中示出的包絡(luò)。在步驟S102，波峰檢測(cè)單元122基于通過(guò)步驟SlOl的處理而計(jì)算出的包絡(luò)來(lái)檢測(cè)波形的波峰。這樣，獲得例如圖9的區(qū)域93中示出的波峰位置。波峰檢測(cè)單元122的檢測(cè)結(jié)果被提供給跟蹤器131-1、跟蹤器131-2等。因此，步驟S103至步驟S109的處理是同時(shí)用各個(gè)跟蹤器執(zhí)行的處理。在步驟S103，拍子間隔設(shè)置單元151將拍子間隔設(shè)置為例如上文參照?qǐng)D9描述的條 101-1、條 101-2 等。在步驟S104，波峰匹配度計(jì)算單元152基于例如拍子位置與波峰位置之間在時(shí)間上的差來(lái)計(jì)算波峰匹配度。在步驟S105，波峰匹配度計(jì)算單元152例如通過(guò)對(duì)在步驟S104的處理中計(jì)算出的波峰匹配度進(jìn)行閾值判斷來(lái)判斷波峰位置是否與拍子位置匹配。在步驟S105中判斷出存在匹配的情況下，處理進(jìn)行至步驟S106。在步驟S106，拍子數(shù)量保存單元IM對(duì)拍子數(shù)量進(jìn)行計(jì)數(shù)并保存。另一方面，當(dāng)在步驟S105中判斷出不存在匹配的情況下，處理進(jìn)行至步驟S107。在步驟S107，拍子間隔更新單元153判斷例如在預(yù)定時(shí)間段內(nèi)是否檢測(cè)到與波峰匹配的拍子。在步驟S107中判斷出在預(yù)定時(shí)間段內(nèi)沒(méi)有檢測(cè)到與波峰匹配的拍子的情況下， 處理進(jìn)行至步驟S108。在步驟S108，拍子間隔更新單元153重新設(shè)置(更新)拍子間隔。拍子間隔是通過(guò)例如改變節(jié)奏、旋律等來(lái)更新的。在此，這時(shí)清除拍子數(shù)量保存單元1 所保存的拍子數(shù)
So另一方面，在步驟S107中判斷出在預(yù)定時(shí)間段內(nèi)檢測(cè)到與波峰匹配的拍子的情況下，跳過(guò)步驟S108的處理。在步驟S107中判斷出在預(yù)定時(shí)間內(nèi)檢測(cè)到與波峰匹配的拍子的情況下，在步驟 S108的處理之后或者在步驟S106的處理之后，處理執(zhí)行至步驟S109。在步驟S109，判斷是否已處理完單位時(shí)間的幀，在判斷出尚未處理完單位時(shí)間的幀的情況下，處理返回步驟S103并再次執(zhí)行其后的處理。另一方面，在步驟S109中判斷出已處理完單位時(shí)間的幀的情況下，處理進(jìn)行至步驟S110。在步驟S110，選擇單元123從由跟蹤器131-1、跟蹤器131-2等通過(guò)步驟S106的處理保存的各個(gè)拍子數(shù)量中選出最大拍子數(shù)量，并將其輸出。節(jié)奏檢測(cè)處理因此被執(zhí)行。在此，以上描述的系列處理可由硬件執(zhí)行，或者可由軟件執(zhí)行。在以上描述的系列處理由軟件執(zhí)行的情況下，從網(wǎng)絡(luò)或記錄介質(zhì)把對(duì)軟件進(jìn)行配置的程序安裝到被構(gòu)建成為專用硬件的計(jì)算機(jī)上。此外，如圖17中所示，把該程序例如安裝在通用個(gè)人計(jì)算機(jī)700上， 該通用個(gè)人計(jì)算機(jī)700能夠通過(guò)安裝不同類型的程序來(lái)執(zhí)行不同類型的功能。在圖17中，CPU(中央處理單元)701根據(jù)來(lái)自存儲(chǔ)單元708的存儲(chǔ)在ROM(只讀存儲(chǔ)器)702上的程序或從RAM(隨機(jī)存取存儲(chǔ)器)703加載的程序來(lái)執(zhí)行不同類型的處理。 用于CPU 701執(zhí)行不同類型的處理等的數(shù)據(jù)必要時(shí)也被存儲(chǔ)在RAM 703當(dāng)中。CPU 701、ROM 702和RAM 703通過(guò)總線704彼此連接。此外，輸入輸出接口 705連接至總線704。由鍵盤和鼠標(biāo)等組成的輸入單元706、由IXD (液晶顯示器)組成的顯示器以及由揚(yáng)聲器等組成的輸出單元707均連接至輸入輸出接口 705。此外，由硬盤等配置的存儲(chǔ)單元708以及由調(diào)制解調(diào)器、網(wǎng)絡(luò)接口(比如局域網(wǎng)網(wǎng)卡)等配置的通信單元709連接至輸入輸出接口 705。通信單元709經(jīng)由包括因特網(wǎng)的網(wǎng)絡(luò)來(lái)執(zhí)行通信處理。此外，驅(qū)動(dòng)器710被連接至輸入輸出接口 705，以在必要時(shí)將比如磁盤、光盤、光磁盤或半導(dǎo)體存儲(chǔ)器的可移動(dòng)介質(zhì)711適配至輸入輸出接口 705。此外，必要時(shí)將從該可移動(dòng)介質(zhì)讀取的計(jì)算機(jī)程序安裝至存儲(chǔ)單元708。在以上描述的系列處理由軟件執(zhí)行的情況下，從比如因特網(wǎng)的網(wǎng)絡(luò)或者由可移動(dòng)介質(zhì)711等組成的記錄介質(zhì)安裝對(duì)軟件進(jìn)行配置的程序。在此，這樣的記錄介質(zhì)可以不僅由圖17中示出的作為分布式的以便獨(dú)立于設(shè)備主體傳輸程序給用戶的可移動(dòng)介質(zhì)711(可移動(dòng)介質(zhì)711包括磁盤(包括軟盤(注冊(cè)商標(biāo) floppy disk))、光盤(包括⑶-R0M(只讀光盤)和DVD(數(shù)字多功能盤))、光磁盤(包括 MD(微型盤)(注冊(cè)商標(biāo)Mini-Disc))、半導(dǎo)體存儲(chǔ)器等)來(lái)配置，而且包括在被構(gòu)建成為設(shè)備主體的狀態(tài)下預(yù)先傳輸給用戶的由其中記錄有程序的ROM 702配置的記錄介質(zhì)、包含在存儲(chǔ)單元708之中的硬盤等。在此，本說(shuō)明書中的上述系列處理不僅包括按所述順序以時(shí)間序列執(zhí)行的處理， 還包括不一定以時(shí)間序列執(zhí)行的并行或單獨(dú)執(zhí)行的處理。此外，本公開(kāi)內(nèi)容的實(shí)施例并不限于以上描述的實(shí)施例，且各種修改在不背離本公開(kāi)內(nèi)容范圍的范圍內(nèi)都是可以的。本公開(kāi)內(nèi)容包含的主題涉及在2010年12月21號(hào)遞交日本專利局的日本優(yōu)先權(quán)專利申請(qǐng)JP 2010-284367中公開(kāi)的內(nèi)容，因此通過(guò)引用將該申請(qǐng)的整體內(nèi)容合并于此。
權(quán)利要求
1.一種內(nèi)容再現(xiàn)設(shè)備，包括麥克風(fēng)，其收集外殼周圍環(huán)境中的聲音；特征量提取器，其提取多個(gè)特征量作為特征量向量，所述多個(gè)特征量向量是從所述麥克風(fēng)所收集的聲音的信號(hào)的波形中獲得的；距離計(jì)算器，其計(jì)算如下兩個(gè)特征量向量之間的向量間距離所提取出的特征量向量， 以及作為音樂(lè)信號(hào)的波形的特征量預(yù)先設(shè)定的維度相同的特征量向量；判斷器，其通過(guò)對(duì)計(jì)算出的距離進(jìn)行閾值判斷，來(lái)判斷所述麥克風(fēng)所收集的聲音中是否包含音樂(lè)；處理器，其對(duì)所述麥克風(fēng)所收集的聲音的信號(hào)進(jìn)行處理，以在所述判斷器判斷出所述麥克風(fēng)所收集的聲音中包含音樂(lè)的情況下改變所述麥克風(fēng)所收集的聲音的音量或頻率特性；以及相加器，其將所述麥克風(fēng)所收集的聲音的信號(hào)與所再現(xiàn)的內(nèi)容的聲音的信號(hào)相加并輸出ο
2.根據(jù)權(quán)利要求1所述的內(nèi)容再現(xiàn)設(shè)備，其中，所述特征量提取器包括幀分割單元和音頻特征量提取單元，所述幀分割單元用于將所述麥克風(fēng)所收集的聲音的信號(hào)的波形分割為在時(shí)間上具有預(yù)定長(zhǎng)度的幀，所述音頻特征量提取單元用于提取多個(gè)類型的特征量。
3.根據(jù)權(quán)利要求1所述的內(nèi)容再現(xiàn)設(shè)備，其中，所述特征量提取器將所述麥克風(fēng)所收集的聲音的信號(hào)的波形分割為在時(shí)間上具有預(yù)定長(zhǎng)度的幀，所述判斷器還在預(yù)先設(shè)定的多個(gè)幀中判斷所述麥克風(fēng)所收集的聲音中是否包含音樂(lè)，以及所述處理器在所述判斷器在預(yù)先設(shè)定的多個(gè)幀中判斷出所述麥克風(fēng)所收集的聲音中包含音樂(lè)的情況下對(duì)所述麥克風(fēng)所收集的聲音的信號(hào)進(jìn)行處理。
4.根據(jù)權(quán)利要求1所述的內(nèi)容再現(xiàn)設(shè)備，還包括 節(jié)奏檢測(cè)器，其檢測(cè)所述麥克風(fēng)所收集的聲音的節(jié)奏，其中，所述判斷器基于所述節(jié)奏檢測(cè)器的檢測(cè)結(jié)果對(duì)所計(jì)算的向量間距離進(jìn)行加權(quán)。
5.根據(jù)權(quán)利要求1所述的內(nèi)容再現(xiàn)設(shè)備，還包括另外的處理器，其對(duì)所再現(xiàn)的內(nèi)容的聲音的信號(hào)進(jìn)行處理，以在所述判斷器判斷出所述麥克風(fēng)所收集的聲音中包含音樂(lè)的情況下改變所再現(xiàn)的內(nèi)容的聲音的音量或頻率特性。
6.根據(jù)權(quán)利要求4所述的內(nèi)容再現(xiàn)設(shè)備， 其中，所述節(jié)奏檢測(cè)器檢測(cè)所述麥克風(fēng)所收集的聲音的信號(hào)的波形的波峰，計(jì)算所檢測(cè)出的波峰在時(shí)間上的位置與預(yù)先設(shè)定的拍子間隔中的拍子在時(shí)間上的位置之間的匹配度，并判斷所述拍子與所述波峰是否匹配，以及保存在單位時(shí)間內(nèi)與所述波峰匹配的拍子的個(gè)數(shù)。
7.根據(jù)權(quán)利要求6所述的內(nèi)容再現(xiàn)設(shè)備， 其中，所述節(jié)奏檢測(cè)器判斷在比所述單位時(shí)間短的預(yù)定時(shí)間段內(nèi)所述拍子與所述波峰是否匹配，以及基于該判斷結(jié)果對(duì)所述拍子間隔進(jìn)行更新。
8.根據(jù)權(quán)利要求6所述的內(nèi)容再現(xiàn)設(shè)備，還包括加權(quán)控制器，其根據(jù)每單位時(shí)間內(nèi)與所述波峰匹配的拍子的數(shù)量來(lái)設(shè)置加權(quán)系數(shù)，并用所述距離計(jì)算器所計(jì)算出的所述向量間距離乘以所述加權(quán)系數(shù)。
9.根據(jù)權(quán)利要求8所述的內(nèi)容再現(xiàn)設(shè)備，其中，在從所述判斷器判斷出所述麥克風(fēng)所收集的聲音中包含音樂(lè)之后直到判斷出所述麥克風(fēng)所收集的聲音中不包含音樂(lè)的期間內(nèi)，所述加權(quán)控制器根據(jù)拍子的數(shù)量改變加權(quán)系數(shù)的值。
10.一種內(nèi)容再現(xiàn)方法，包括由麥克風(fēng)收集外殼周圍環(huán)境中的聲音；由特征量提取器提取多個(gè)特征量作為特征量向量，所述多個(gè)特征量向量是從所述麥克風(fēng)所收集的聲音的信號(hào)的波形中獲得的；由距離計(jì)算器計(jì)算如下兩個(gè)特征量向量之間的向量間距離所提取出的特征量向量， 以及作為音樂(lè)信號(hào)的波形的特征量預(yù)先設(shè)定的相同維度的特征量向量；由判斷器通過(guò)對(duì)所計(jì)算出的距離進(jìn)行閾值判斷，來(lái)判斷所述麥克風(fēng)所收集的聲音中是否包含音樂(lè)；由處理器對(duì)所述麥克風(fēng)所收集的聲音的信號(hào)進(jìn)行處理，以在所述判斷器判斷出所述麥克風(fēng)所收集的聲音中包含音樂(lè)的情況下改變所述麥克風(fēng)所收集的聲音的音量或頻率特性； 以及由相加器將所述麥克風(fēng)所收集的聲音的信號(hào)與所再現(xiàn)的內(nèi)容的聲音的信號(hào)相加并輸出ο
11.一種程序，包括使計(jì)算機(jī)用作內(nèi)容再現(xiàn)設(shè)備，所述內(nèi)容再現(xiàn)設(shè)備包括麥克風(fēng)，其收集外殼周圍環(huán)境中的聲音；特征量提取裝置，用于提取多個(gè)特征量作為特征量向量，所述多個(gè)特征量向量是從所述麥克風(fēng)所收集的聲音的信號(hào)的波形中獲得的；距離計(jì)算裝置，用于計(jì)算如下兩個(gè)特征量向量之間的向量間距離所提取出的特征量向量，以及作為音樂(lè)信號(hào)的波形的特征量預(yù)先設(shè)定的相同維度的特征量的特征量向量；判斷裝置，用于通過(guò)對(duì)所計(jì)算出的距離進(jìn)行閾值判斷，來(lái)判斷所述麥克風(fēng)所收集的聲音中是否包含音樂(lè)；處理裝置，用于對(duì)所述麥克風(fēng)所收集的聲音的信號(hào)進(jìn)行處理，以在所述判斷器判斷出所述麥克風(fēng)所收集的聲音中包含音樂(lè)的情況下改變所述麥克風(fēng)所收集的聲音的音量或頻率特性；以及相加裝置，用于將所述麥克風(fēng)所收集的聲音的信號(hào)與所再現(xiàn)的內(nèi)容的聲音的信號(hào)相加并輸出。
全文摘要
公開(kāi)了內(nèi)容再現(xiàn)設(shè)備和方法以及程序。一種內(nèi)容再現(xiàn)設(shè)備，包括麥克風(fēng)，其收集外殼周圍環(huán)境中的聲音；特征量提取器，其提取多個(gè)特征量；距離計(jì)算器，其計(jì)算所提取出的特征量向量與作為音樂(lè)信號(hào)的波形的特征量預(yù)先設(shè)定的維度相同的特征量向量之間的向量間距離；判斷器，其判斷所述麥克風(fēng)所收集的聲音中是否包含音樂(lè)；處理器，其對(duì)所述麥克風(fēng)所收集的聲音的信號(hào)進(jìn)行處理，以改變所述麥克風(fēng)所收集的聲音的音量或頻率特性；以及相加器，其將所述麥克風(fēng)所收集的聲音的信號(hào)與所再現(xiàn)的內(nèi)容的聲音的信號(hào)相加并輸出。
文檔編號(hào)H04R3/00GK102547521SQ20111041820
公開(kāi)日2012年7月4日 申請(qǐng)日期2011年12月14日 優(yōu)先權(quán)日2010年12月21日
發(fā)明者井上晃, 松本恭輔, 角尾衣未留 申請(qǐng)人:索尼公司