專利名稱：信息處理裝置、旋律線提取方法、低音線提取方法及程序的制作方法
技術領域：
本發(fā)明涉及信息處理裝置、旋律線提取方法、低音線提取方法及程序。
背景技術：
近年來，用于從任意音樂數(shù)據(jù)提取音樂數(shù)據(jù)特有的特征量(亦稱為“FQ”)的技術 引起了關注。作為這里的對象的獨特特征量例如包括音樂片段的輕快度、節(jié)拍、旋律部分、 低音部分、和弦的進行等。然而，直接從音樂數(shù)據(jù)中提取特征量是極難的。對于從音樂數(shù)據(jù) 提取旋律部分和低音部分的技術，JP-A-2008-209579和JP-A-2008-58755公開了從同時包 括語音和多種類型的樂器聲音的音響信號中估計旋律部分或低音部分的音高(Pitch)的 技術。具體地，文獻中公開的技術用于利用期望值最大化(EM)算法來估計旋律部分或低音 部分的音高。

發(fā)明內容
然而，即使使用JP-A-2008-209579和JP-A-2008-58755中公開的技術，也極難從
音樂數(shù)據(jù)準確地提取旋律線和低音線。因此，鑒于前面的問題，希望提供能夠從音樂數(shù)據(jù)準 確地提取旋律線或低音線的新穎的經改進的信息處理裝置、旋律線/低音線提取方法及程序。根據(jù)本發(fā)明的一個實施例，提供了一種信息處理裝置，包括信號轉換單元，用于 將音頻信號轉換為表示各個音高的信號強度的音高信號；旋律概率估計單元，用于基于音 頻信號來針對每幀估計各個音高是旋律音符的概率；以及旋律線確定單元，用于基于各個 音高是旋律音符的概率，即由旋律概率估計單元針對每幀估計出的概率，來從自音頻信號 的開始幀到結束幀的音高的路徑中，檢測最大似然路徑(maximum likelihood path)，并且 將最大似然路徑確定為旋律線。此外，信息處理裝置還可以包括中心提取單元，用于在所述音頻信號為立體聲信 號的情況中，從所述立體聲信號提取中心信號。在這種情況中，所述信號轉換單元將所述中 心提取單元提取的所述中心信號轉換為所述音高信號。此外，信息處理裝置還可以包括信號分類單元，用于將所述音頻信號分到特定類 別中。在此情況中，所述旋律概率估計單元基于所述信號分類單元的分類結果來估計各個 音高是旋律音符的概率。此外，所述旋律線確定單元基于所述信號分類單元的分類結果來 檢測所述最大似然路徑。此外，信息處理裝置還可以包括音高分布估計單元，用于針對所述音高信號來估 計特定時段的每個時段中作為旋律音符的音高的分布。在此情況中，所述旋律線確定單元 基于所述音高分布估計單元的估計結果來檢測所述最大似然路徑。此外，信息處理裝置還可以包括平滑單元，用于針對每個節(jié)拍區(qū)間，對由所述旋律 線確定單元確定的旋律線的音高進行平滑。此外，所述旋律概率估計單元可以通過將旋律線以及已知其旋律線的多個音頻信
4號提供到能夠自動地生成用于提取任意音頻信號的特征量的計算公式的計算公式生成裝 置中，來生成用于提取各個音高是旋律音符的概率的計算公式，并且通過利用計算公式來 針對每幀估計出各個音高是旋律音符的概率，所述計算公式生成裝置利用多個音頻信號以 及每個音頻信號的特征量來自動地生成計算公式。此外，信息處理裝置還可以包括節(jié)拍檢測單元，用于檢測音頻信號的每個節(jié)拍區(qū) 間；和弦概率檢測單元，用于針對由所述節(jié)拍檢測單元檢測到的每個節(jié)拍區(qū)間，來檢測每個 和弦被演奏的概率；以及基調檢測單元，用于利用由所述和弦概率檢測單元針對每個節(jié)拍 區(qū)間檢測到的每個和弦被演奏的概率，來檢測音頻信號的基調。在此情況中，所述旋律線確 定單元基于由所述基調檢測單元檢測到的基調來檢測最大似然路徑。根據(jù)本發(fā)明的另一實施例，提供了一種信息處理裝置，包括信號轉換單元，用于 將音頻信號轉換為表示各個音高的信號強度的音高信號；低音概率估計單元，用于基于所 述音高信號來針對每幀估計各個音高是低音音符的概率；以及低音線確定單元，用于基于 各個音高是低音音符的概率，即由所述低音概率估計單元針對每幀估計出的概率，來從自 音頻信號的開始幀到結束幀的音高的路徑中，檢測最大似然路徑，并且將所述最大似然路 徑確定為低音線。根據(jù)本發(fā)明的另一實施例，提供了一種旋律線提取方法，包括以下步驟將音頻信 號轉換為表示各個音高的信號強度的音高信號；基于所述音高信號來針對每幀估計各個音 高是旋律音符的概率；以及基于各個音高是旋律音符的概率，即由估計各個音高是旋律音 符的步驟針對每幀估計出的概率，來從自音頻信號的開始幀到結束幀的音高的路徑中，檢 測最大似然路徑，并且將所述最大似然路徑確定為旋律線。步驟由信息處理裝置來執(zhí)行。根據(jù)本發(fā)明的另一實施例，提供了一種低音線提取方法，包括以下步驟將音頻信 號轉換為表示各個音高的信號強度的音高信號；基于所述音高信號來針對每幀估計各個音 高是低音音符的概率；以及基于各個音高是低音音符的概率，即由估計各個音高是低音音 符的概率的步驟針對每幀估計出的概率，來從自音頻信號的開始幀到結束幀的音高的路徑 中，檢測最大似然路徑，并且將所述最大似然路徑確定為低音線。步驟由信息處理裝置來執(zhí) 行。根據(jù)本發(fā)明的另一實施例，提供了一種用于使得計算機執(zhí)行以下步驟的程序將 音頻信號轉換為表示各個音高的信號強度的音高信號；基于所述音高信號來針對每幀估計 各個音高是旋律音符的概率；以及基于各個音高是旋律音符的概率，即由估計各個音高是 旋律音符的步驟針對每幀估計出的概率，來從自音頻信號的開始幀到結束幀的音高的路徑 中，檢測最大似然路徑，并且將所述最大似然路徑確定為旋律線。根據(jù)本發(fā)明的另一實施例，提供了一種用于使得計算機執(zhí)行以下步驟的程序將 音頻信號轉換為表示各個音高的信號強度的音高信號；基于所述音高信號來針對每幀估計 各個音高是低音音符的概率；以及基于各個音高是低音音符的概率，即由估計各個音高是 低音音符的概率的步驟針對每幀估計出的概率，來從自音頻信號的開始幀到結束幀的音高 的路徑中，檢測最大似然路徑，并且將所述最大似然路徑確定為低音線。根據(jù)本發(fā)明的另一實施例，可以提供一種存儲可由計算機讀取的程序的記錄介 質。根據(jù)上述本發(fā)明的實施例，可以準確地從音樂數(shù)據(jù)中提取旋律線或低音線。


圖1是示出用于自動生成計算特征量的算法的特征量計算公式生成裝置的配置 示例的說明圖；圖2是示出根據(jù)本發(fā)明實施例的信息處理裝置(旋律線提取裝置)的功能配置示 例的說明圖；圖3是示出根據(jù)本實施例的中心提取方法的示例的說明圖；圖4是示出根據(jù)本實施例的對數(shù)譜生成方法的示例的說明圖；圖5是示出根據(jù)本實施例由對數(shù)譜生成方法生成的對數(shù)譜的示例的說明圖；圖6是示出根據(jù)本實施例的音樂分類示例的說明圖；圖7是示出根據(jù)本實施例類別估計方法的示例的說明圖；圖8是示出根據(jù)本實施例執(zhí)行對數(shù)譜方法的示例的說明圖；圖9是示出由根據(jù)本實施例的旋律線的分布估計方法估計出的旋律線的期望值 和標準偏差的示例的說明圖；圖10是示出根據(jù)本實施例的旋律概率估計方法的示例的說明圖；圖11是示出根據(jù)本實施例的旋律概率估計方法的示例的說明圖；圖12是示出根據(jù)本實施例的旋律概率估計方法的示例的說明圖；圖13是示出旋律線確定方法的示例的說明圖；圖14是示出旋律線確定方法的示例的說明圖；圖15是示出旋律線確定方法的示例的說明圖；圖16是示出根據(jù)本實施例用于檢測供旋律線確定方法使用的節(jié)拍的節(jié)拍檢測單 元的詳細功能配置示例的說明圖；圖17是示出根據(jù)本實施例的節(jié)拍檢測方法的示例的說明圖
圖18是示出根據(jù)本實施例的節(jié)拍檢測方法的示例的說明圖
圖19是示出根據(jù)本實施例的節(jié)拍檢測方法的示例的說明圖
圖20是示出根據(jù)本實施例的節(jié)拍檢測方法的示例的說明圖
圖21是示出根據(jù)本實施例的節(jié)拍檢測方法的示例的說明圖
圖22是示出根據(jù)本實施例的節(jié)拍檢測方法的示例的說明圖
圖23是示出根據(jù)本實施例的節(jié)拍檢測方法的示例的說明圖
圖24是示出根據(jù)本實施例的節(jié)拍檢測方法的示例的說明圖
圖25是示出根據(jù)本實施例的節(jié)拍檢測方法的示例的說明圖
圖26是示出根據(jù)本實施例的節(jié)拍檢測方法的示例的說明圖
圖27是示出根據(jù)本實施例的節(jié)拍檢測方法的示例的說明圖
圖28是示出根據(jù)本實施例的節(jié)拍檢測方法的示例的說明圖
圖29是示出根據(jù)本實施例的節(jié)拍檢測方法的示例的說明圖
圖30是示出根據(jù)本實施例的節(jié)拍檢測方法的示例的說明圖
圖31是示出根據(jù)本實施例的節(jié)拍檢測方法的示例的說明圖
圖32是示出根據(jù)本實施例的節(jié)拍檢測方法的示例的說明圖
圖33是示出根據(jù)本實施例的節(jié)拍檢測方法的示例的說明圖
6
圖34是示出根據(jù)本實施列的節(jié)拍檢測方法的示例的說明圖
圖35是示出根據(jù)本實施列的節(jié)拍檢測方法的示例的說明圖
圖36是示出根據(jù)本實施列的節(jié)拍檢測方法的示例的說明圖
圖37是示出根據(jù)本實施列的節(jié)拍檢測方法的示例的說明圖
圖38是示出根據(jù)本實施列的節(jié)拍檢測方法的示例的說明圖
圖39是示出根據(jù)本實施列的和弦概率計算單元的詳細功能配置示例的說明圖40是示出根據(jù)本實施列的和弦概率計算方法的示例的說明圖41是示出根據(jù)本實施列的和弦概率計算方法的示例的說明圖42是示出根據(jù)本實施列的和弦概率計算方法的示例的說明圖43是示出根據(jù)本實施列的和弦概率計算方法的示例的說明圖44是示出根據(jù)本實施列的和弦概率計算方法的示例的說明圖45是示出根據(jù)本實施列的基調檢測單元的詳細功能配置示例的說明圖46是示出根據(jù)本實施列的基調檢測方法的示例的說明圖
圖47是示出根據(jù)本實施列的基調檢測方法的示例的說明圖
圖48是示出根據(jù)本實施列的基調檢測方法的示例的說明圖
圖49是示出根據(jù)本實施列的基調檢測方法的示例的說明圖
圖50是示出根據(jù)本實施列的基調檢測方法的示例的說明圖
圖51是示出根據(jù)本實施列的基調檢測方法的示例的說明圖
圖52是示出根據(jù)本實施列的基調檢測方法的示例的說明圖
圖53是示出根據(jù)本實施列的基調檢測方法的示例的說明圖
圖54是示出根據(jù)本實施列的基調檢測方法的示例的說明圖以及
圖55是示出根據(jù)本實施列的信息處理裝置的硬件配置示例的說明圖。
具體實施例方式下面，將參考附圖詳細描述本發(fā)明的優(yōu)選實施例。注意，在本說明書和附圖中，具 有基本上相同的功能和結構的結構元件用相同的標號表示，并且省略對這些結構元件的重 復說明。在本說明書中，將以如下所示順序進行說明。(說明項)1.基礎技術1-1.特征量計算公式生成裝置10的配置示例2.實施例
2--1.信息處理裝置100的整體配置
2--2.中心提取單元102的配置
2--3.對數(shù)譜分析單元104的配置
2--4.類別估計單元106的配置
2--5.音高分布估計單元108的配置
2--6.旋律概率估計單元110的配置
2--7.旋律線確定單元112的配置
2-8.平滑單元114的配置2-9.節(jié)拍檢測單元116和基調(key)檢測單元1182-9-1.節(jié)拍檢測單元116的配置2-9-2.和弦概率檢測單元120的配置2-9-3.基調檢測單元118的配置2-10.硬件配置示例2-11.總結<1.基礎技術〉首先，在描述根據(jù)本發(fā)明實施例的技術之前，將簡要描述用于實現(xiàn)本實施例的技 術性配置的基礎技術。這里描述的基礎技術涉及算法的自動生成方法，該算法以特征量形 式對任意輸入數(shù)據(jù)的特征定量。例如可以將諸如音頻信號的信號波形或者包括在圖像中 的每種顏色的亮度數(shù)據(jù)之類的各種類型的數(shù)據(jù)用作輸入數(shù)據(jù)。此外，當以音樂片段為例 時，通過采用基礎技術，從音樂數(shù)據(jù)的波形自動地生成用于計算指示音樂片段的輕快度或 者節(jié)奏的特征量的算法。此外，還可以將JP-A-2008-123011中公開的學習算法(learning algorithm)用來代替下面描述的特征量計算公式生成裝置10的配置示例。(1-1.特征量計算公式生成裝置10的配置示例)首先，參考圖1，將描述根據(jù)上述基礎技術的特征量計算公式生成裝置10的功能 配置。圖1是示出根據(jù)上述基礎技術的特征量計算公式生成裝置10的配置示例的說明圖。 這里描述的特征量計算公式生成裝置10是用于自動生成如下算法(此后，稱為計算公式) 的裝置(學習算法)的示例用于利用任意輸入數(shù)據(jù)以特征量的形式對輸入數(shù)據(jù)的特征進
行定量。如圖1所示，特征量計算公式生成裝置10主要具有操作符存儲單元12、提取公式 生成單元14、提取公式列表生成單元20、提取公式選擇單元22以及計算公式設置單元24。 此外，特征量計算公式生成裝置10包括計算公式生成單元26、特征量選擇單元32、評估數(shù) 據(jù)獲取單元34、教員數(shù)據(jù)獲取單元36以及公式估計單元38。此外，提取公式生成單元14 包括操作符選擇單元16。而且，計算公式生成單元26包括提取公式計算單元28和系數(shù)計 算單元30。此外，公式估計單元38包括計算公式評估單元40和提取公式評估單元42。首先，提取公式生成單元14通過組合存儲在操作符存儲單元12中的多個操作符 來生成特征量提取公式(此后，稱為提取公式)，該提取公式作為計算公式的基礎。這里的 “操作符”是用于對輸入數(shù)據(jù)的數(shù)據(jù)值執(zhí)行特定操作處理的操作符。由操作符執(zhí)行的操作類 型包括差分計算、最大值提取、低通濾波、無偏方差計算、快速傅里葉變換、標準偏差計算、 平均值計算等。當然，不限于上面例示出的這些類型的操作，并且可以包括可對輸入數(shù)據(jù)的 數(shù)據(jù)值執(zhí)行的任何類型的操作。此外，針對每個操作符設置操作類型、操作對象軸以及用于操作的參數(shù)。操作對象 軸是指定義輸入數(shù)據(jù)的各個數(shù)據(jù)值的軸中作為操作處理對象的軸。例如，當以音樂數(shù)據(jù)為 例時，音樂數(shù)據(jù)在由時間軸和音高軸(頻率軸)形成的空間中被給出為音量的波形。當對 音樂數(shù)據(jù)執(zhí)行差分操作時，必須確定是沿著時間軸執(zhí)行差分操作還是沿著頻率軸執(zhí)行差分 操作。因此，每個參數(shù)包括與形成了定義輸入數(shù)據(jù)的空間的軸中將作為操作處理對象的軸 有關的信息。
8
此外，參數(shù)取決于操作類型而成為必要的。例如，在低通濾波的情況中，定義將通 過的數(shù)據(jù)值的范圍的閾值必須被固定為參數(shù)。由于這些原因，除了操作類型外，操作對象軸 和必要參數(shù)被包括在每個操作符中。例如，將操作符表達為在指示操作對象軸的操作符的 開始處添加的 F#Differential，F(xiàn)#MaxIndex, T#LPF_1 ；0. 861，T#UVariance, .... F 等等。 例如，F(xiàn)是指頻率軸，并且T是指時間軸。操作對象軸之后的由#分割的所添加的Differential (差分)等指示操作類型。 例如，Differential是指差分計算操作，MaxIndex是指最大值提取操作，LPF是指低通濾 波，并且UVariance是指無偏方差計算操作。操作類型之后的數(shù)字表示參數(shù)。例如，LPF_1 ； 0. 861表示以1至0. 861的范圍作為通帶的低通濾波器。這些各個操作符存儲在操作符存 儲單元12中，并且由提取公式生成單元14讀取并使用。提取公式生成單元14首先通過操 作符選擇單元16選擇任意操作符，并且通過組合所選操作符來生成提取公式。例如，操作符選擇單元16 選擇了 F#Differential，F(xiàn)#MaxIndex, T#LPF_1 ； 0. 861and TiiUVariance，并且提取公式生成單元14生成表達為下面的式(1)的提取公式f。 然而，添加在開始處的12Tones表示作為處理對象的輸入數(shù)據(jù)的類型。例如，當12Tones被 描述時，使通過分析輸入數(shù)據(jù)的波形獲得的時間音高空間中的信號數(shù)據(jù)(后面描述的對數(shù) 譜)成為操作處理對象。即，表達為下面的式(1)的提取公式指示后面描述的對數(shù)譜是處 理對象，并且對于輸入數(shù)據(jù)，沿著頻率軸(音高軸方向)順序地執(zhí)行差分操作和最大值提取 并且沿著時間軸順序地執(zhí)行低通濾波和無偏方差操作。[公式1]f = {12Tones, F#Differential, F#MaxIndex, T#LPF_1 ；0.861, T#UVariance} ...(1)如上所述，提取公式生成單元14生成針對操作符的各種組合的如上述式(1)所示 的提取公式。將詳細描述生成方法。首先，提取公式生成單元14利用操作符選擇單元16 選擇操作符。此時，操作符選擇單元16判斷通過組合所選操作符(提取公式)對輸入數(shù)據(jù) 的操作結果是特定大小或更小的標量還是特定大小或更小的矢量(是否收斂)。此外，上述判決處理是基于每個操作符中包括的操作類型和操作對象軸的類型來 執(zhí)行的。當操作符的組合由操作符選擇單元16選擇時，針對每種組合執(zhí)行判決處理。然后， 當操作符選擇單元16判定操作結果收斂時，提取公式生成單元14利用由操作符選擇單元 16選擇的使操作結果收斂的操作符的組合，來生成提取公式。提取公式生成單元14針對提 取公式的生成處理被執(zhí)行直到生成了特定數(shù)目(此后，稱為所選提取公式數(shù)目)的提取公 式為止。由提取公式生成單元14生成的提取公式被輸入提取公式列表生成單元20。當提取公式從提取公式生成單元14被輸入提取公式列表生成單元20時，從輸入 的提取公式中選擇特定數(shù)目的提取公式(此后，列表中的提取公式數(shù)目 <所選提取公式數(shù) 目)，并且生成提取公式列表。此時，提取公式列表生成單元20的生成處理被執(zhí)行，直到生 成了特定數(shù)目的提取公式列表(此后，稱為列表數(shù)目)為止。然后，由提取公式列表生成單 元20生成的提取公式列表被輸入提取公式選擇單元22。將描述與提取公式生成單元14和提取公式列表生成單元20的處理有關的具體示 例。首先，輸入數(shù)據(jù)的類型被提取公式生成單元14確定為例如音樂數(shù)據(jù)。接下來，由操作 符選擇單元16隨機選擇操作符OPp OP2, OP3和0P4。然后，執(zhí)行與通過所選操作符的組合，對音樂數(shù)據(jù)的操作結果是否收斂有關的判決處理。當判定音樂數(shù)據(jù)的操作結果收斂時，利 用OP1至OP4的組合生成提取公式f”由提取公式生成單元14生成的提取公式被輸入 提取公式列表生成單元20。此外，提取公式生成單元14重復與提取公式的生成處理相同的處理，并且生成 例如提取公式f2、f3和f4。以這種方式生成的提取公式f2、f3和f4被輸入提取公式列表生 成單元20。當提取公式f2、f3和f4被輸入時，提取公式列表生成單元20例如生成提取公式 列表L1 = {fi; f2，f4}和取公式列表L2 = {f1; f3，f4}。由提取公式列表生成單元20生成的 提取公式列表L1和L2被輸入提取公式選擇單元22。如上通過具體示例所述的，提取公式 由提取公式生成單元14生成，并且提取公式列表由提取公式列表生成單元20生成，并被輸 入提取公式選擇單元22。然而，雖然在上述示例中描述了所選提取公式數(shù)目為4，列表中的 提取公式數(shù)目為3并且列表數(shù)目為2的情況，然而，應當主要，實際上，會生成極大數(shù)目的提 取公式和提取公式列表。現(xiàn)在，當提取公式列表從提取公式列表生成單元20輸入時，提取公式選擇單元22 從輸入的提取公式中選擇將插入后面描述的計算公式中的提取公式。例如，當上述提取公 式列表L1中的提取公式和f4將被插入計算公式中時，提取公式選擇單元22相對于提取 公式列表L1選擇提取公式和f4。提取公式選擇單元22針對每個提取公式列表執(zhí)行上述 選擇處理。然后，當選擇處理完成時，提取公式選擇單元22的選擇處理結果以及各個提取 公式列表被輸入計算公式設置單元24。當選擇結果和各個提取公式列表從提取公式選擇單元22被輸入時，計算公式設 置單元24在考慮提取公式選擇單元22的選擇結果的情況下，來設置與各個提取公式相對 應的計算公式。例如，如下面的式(2)所示，計算公式設置單元24通過線性結合(couple) 包括在各個提取公式列表Lm = {f1;...，fK}中的提取公式fk，來設置計算公式Fm。此外，m =1，. . .，M(M為列表數(shù)目)，k = 1，. . .，K(K為列表中的提取公式數(shù)目)，并且Β。，. . .，Bk 為結合系數(shù)。[公式2]Fm = BdBJ1+…+BKfK. . . (2)此外，還可以將計算公式FmS置為提取公式fk(k= 1 to K)的非線性函數(shù)。然而， 由計算公式設置單元24設置的計算公式Fm的函數(shù)形式取決于由后面描述的計算公式生成 單元26所使用的結合系數(shù)估計算法。因此，計算公式設置單元24被配置為根據(jù)計算公式 生成單元26可以使用的估計算法來設置計算公式Fm的函數(shù)形式。例如，計算公式設置單 元24可以被配置為根據(jù)輸入數(shù)據(jù)的類型來改變函數(shù)形式。然而，在本說明書中，為了說明 的方便，將使用表達為上述式(2)的線性結合。由計算公式設置單元24設置的計算公式的 信息被輸入到計算公式生成單元26。此外，希望由計算公式計算的特征量的類型從特征量選擇單元32輸入計算公式 生成單元26。特征量選擇單元32是用于選擇希望由計算公式計算的特征量的類型的裝置。 此外，與輸入數(shù)據(jù)的類型相對應的評估數(shù)據(jù)從評估數(shù)據(jù)獲取單元34輸入計算公式生成單 元26。例如，在輸入數(shù)據(jù)的類型為音樂的情況中，多段音樂數(shù)據(jù)被輸入為評估數(shù)據(jù)。而且， 與各個評估數(shù)據(jù)相對應的教員數(shù)據(jù)從教員數(shù)據(jù)獲取單元36輸入計算公式生成單元26。這 里的教員數(shù)據(jù)是各個評估數(shù)據(jù)的特征量。具體地，針對特征量選擇單元32所選類型的教員
10數(shù)據(jù)被輸入計算公式生成單元26。例如，在輸入數(shù)據(jù)為音樂數(shù)據(jù)并且特征量的類型為節(jié)奏 的情況中，各個評估數(shù)據(jù)的正確節(jié)奏值被輸入計算公式生成單元26中作為教員數(shù)據(jù)。當評估數(shù)據(jù)、教員數(shù)據(jù)、特征量類型、計算公式等被輸入時，計算公式生成單元26 首先將各個評估數(shù)據(jù)輸入包括在計算公式Fm中的提取公式f1; . . .，fK中，并且通過提取公 式計算單元28獲取各個提取公式的計算結果(此后稱為提取公式計算結果)。當與各個 評估數(shù)據(jù)有關的各個提取公式的提取公式計算結果由提取公式計算單元28計算出時，各 個提取公式計算結果從提取公式計算單元28被輸入到系數(shù)計算單元30。系數(shù)計算單元30 利用與各個評估數(shù)據(jù)相對應的教員數(shù)據(jù)以及輸入的提取公式計算結果，并且計算在上述式 (2)中表達為Btl，...，Bk的結合系數(shù)。例如，可以利用最小平方方法來確定系數(shù)Btl，...，BK。 此時，系數(shù)計算單元30還計算諸如均方誤差之類的評估值。針對特征量的每個類型以及針對列表的數(shù)目計算出了提取公式計算結果、結合系 數(shù)、均方誤差等。由提取公式計算單元28計算出的提取公式計算結果、由系數(shù)計算單元30 計算出的結合系數(shù)以及諸如均方誤差之類的評估值被輸入公式估計單元38。當這些計算結 果被輸入時，公式估計單元38利用輸入的計算結果來計算用于判斷各個計算公式的有效 性的評估值。如上所述，在確定對各個計算公式進行配置的提取公式以及對提取公式進行 配置的操作符的處理中，包括了隨機選擇處理。即，對于在確定處理中是否選擇了最優(yōu)提取 公式和最優(yōu)操作符，存在不確定性。因此，由公式估計單元38執(zhí)行評估，以對計算結果進行 評估并且適當?shù)貓?zhí)行重計算或校正計算結果。在圖1的公式估計單元38中設置了用于計算各個計算公式的評估值的計算公式 評估單元40以及用于計算各個提取公式的貢獻度(contributiondegree)的提取公式評估 單元42。計算公式評估單元40例如利用稱為AIC或BIC的評估方法來評估各個計算公式。 這里的AIC是赤池(Akaike)信息準則的縮寫。另一方面，BIC是貝葉斯(Bayesian)信息準 則的縮寫。當使用AIC時，通過利用各個計算公式的教員數(shù)據(jù)段數(shù)(此后稱為教員數(shù))以 及均方誤差來計算針對各個計算公式的評估值。例如，基于由下面的式(3)表達的值(AIC) 來計算評估值。[公式3]AIC =教員數(shù) X{log 2n + l + log(均方誤差)}+2(Κ+1) …⑶根據(jù)上述式(3)，隨著AIC越小，計算公式的準確度就越高。因此，隨著AIC越小， 針對使用AIC的情況的評估值被設為變得越大。例如，通過上述式(3)所表達的AIC的逆 數(shù)(inverse number)來計算評估值。此外，計算公式評估單元40針對特征量類型的數(shù)目 來計算評估值。因此，計算公式評估單元40針對每個計算公式的特征量類型數(shù)目來執(zhí)行平 均操作，并且計算平均評估值。即，在此階段中計算出各個計算公式的平均評估值。由計算 公式評估單元40計算出的平均評估值作為計算公式的評估結果被輸入提取公式列表生成 單元20。另一方面，提取公式評估單元42基于提取公式計算結果和結合系數(shù)，來計算各個 提取公式在各個計算公式中的貢獻比，作為評估值。例如，提取公式評估單元42根據(jù)下面 的式(4)來計算貢獻比。提取公式&的提取公式計算結果的標準偏差是從針對各個評估 值計算出的提取公式計算結果獲得的。由提取公式評估單元42根據(jù)下面的式(4)針對各個計算公式計算出的各個提取公式的貢獻比被輸入提取公式列表生成單元20來作為提取 公式的評估結果。[公式4]
&的貢獻比
二_Bk χ StDev(評估對象的Fg )_
二 StDev( fk的計算結果)xPearSOn( fk的計算結果，評估對象FQ) ...(4)這里，StDevC ..)表示標準偏差。此外，評估對象的特征量是音樂數(shù)據(jù)的節(jié)奏等。 例如，在100個音樂片段的對數(shù)譜被給出為評估數(shù)據(jù)并且每個音樂片段的節(jié)奏被給出為教 員數(shù)據(jù)的情況中，StDev (評估對象的特征量)表示100個音樂片段的節(jié)奏的標準偏差。此 外，包括在上述式(4)中的Pearson (...)表示相關函數(shù)。例如，Pearson (fK的計算結果fK， 評估對象FQ)表示用于計算的計算結果與評估對象特征量之間的相關系數(shù)的相關函數(shù)。此 外，雖然音樂片段的節(jié)奏被表示為特征量的示例，然而，評估對象特征量不限于此。當評估結果以這種方式從公式估計單元38輸入提取公式列表生成單元20時，用 于構成新的計算公式的提取公式列表被生成。首先，提取公式列表生成單元20按由計算公 式評估單元40計算出的平均評估值的降序來選擇特定數(shù)目的計算公式，并且設置與所選 計算公式相對應的提取公式列表作為新的提取公式列表(選擇)。此外，提取公式列表生成 單元20按由計算公式評估單元40計算出的平均評估值的降序通過加權來選擇兩個計算公 式，并且通過組合提取公式列表中與計算公式相對應的提取公式來生成新的提取公式列表 (交叉)。此外，提取公式列表生成單元20按由計算公式評估單元40計算出的平均評估值 的降序通過加權來選擇一個計算公式，并且通過部分地改變提取公式列表中與計算公式相 對應的提取公式來生成新的提取公式列表(突變)。此外，提取公式列表生成單元20通過 隨機選擇提取公式來生成新的提取公式列表。在上述交叉中，提取公式的貢獻比越低，就越適于將提取公式被設置得沒有可能 被選擇。此外，在上述的突變中，當提取公式的貢獻比越低時，越傾向于提取公式易于被改 變的設置。利用以這種方式新生成的或新設置的提供公式列表，來再次執(zhí)行提取公式選擇 單元22、計算公式設置單元24、計算公式生成單元26和公式估計單元38的處理。重復執(zhí) 行處理序列，直到公式估計單元38的評估結果中的改進程度收斂為某個程度為止。然后， 當公式估計單元38的評估結果中的改進程度收斂為某個程度時，此時的計算公式被輸出 為計算結果。通過利用輸出的計算公式，從與上述評估值不同的任意輸入數(shù)據(jù)中高準確度 地計算出表示輸入數(shù)據(jù)的目標特征的特征量。如上所述，特征量計算公式生成裝置10的處理是基于如下遺傳算法的，該遺傳算 法用于在考慮諸如交叉或突變之類的因素的情況下，重復執(zhí)行處理同時從一代前進到下一 代。通過利用遺傳算法可以獲得能夠高準確度地估計特征量的計算公式。然而，在后面描述 的實施例中，可以使用用于通過比遺傳算法簡單的方法來計算出計算公式的學習算法。例 如，不用提取公式列表生成單元20執(zhí)行諸如上述的選擇、交叉和突變之類的處理，而是可
12以構想這樣的方法，該方法通過改變將由提取公式選擇單元22使用的提取公式來選出使 計算公式評估單元40的評估值最高的組合。在此情況中，可以省略提取公式評估單元42 的配置。此外，可以根據(jù)操作負荷以及所希望的評估準確度來適當?shù)馗淖兣渲谩?lt;2.實施例〉下面，描述本發(fā)明的一個實施例。本實施例與用于自動地從以Wav數(shù)據(jù)等形式提 供的音樂數(shù)據(jù)中提取音樂片段的旋律線的技術有關。具體地，在本實施例中，提出了用于提 高旋律線的提取準確度的技術。例如，根據(jù)這種技術，能夠減小將樂器的音高而非旋律錯誤 地檢測為旋律的錯誤檢測頻率。還能夠減小由于顫音等而將從原始旋律被位移了半音的音 高錯誤地檢測為旋律的頻率。此外，還能夠減小將不同八音度中的音高錯誤地檢測為旋律 的頻率。還可以將這種技術應用到高準確度地從音樂數(shù)據(jù)提取低音線的技術中。(2-1.信息處理裝置100的整體配置)首先，參考圖2，描述根據(jù)本實施例的信息處理裝置100的功能配置。圖2是示出 根據(jù)本實施例的信息處理裝置100的功能配置示例的說明圖。此外，這里描述的信息處理 裝置100用作能夠從音樂數(shù)據(jù)提取旋律線的旋律線提取裝置。下面，在描述了信息處理裝 置100的整體配置后，將分別描述各個結構元件的詳細配置。如圖2所示，信息處理裝置100具有中心提取單元102、對數(shù)譜分析單元104、類別 估計單元106、音高分布估計單元108以及旋律概率估計單元110。此外，信息處理裝置100 具有旋律線確定單元112、平滑單元114、節(jié)拍檢測單元116、基調檢測單元118以及和弦概 率檢測單元120。此外，特征量計算公式生成裝置10被包括在圖2所示的信息處理裝置100中。特 征量計算公式生成裝置10可以被設置在信息處理裝置100內或者可以作為外部設備連接 到信息處理裝置100。下面，為了方便起見，假設將特征量計算公式生成裝置10內置于信息 處理裝置100中。此外，信息處理裝置100可以不用特征量計算公式生成裝置10，而使用能 夠生成針對特征量的計算公式的各種學習算法。處理的整體流程如下面所述的。首先，音樂數(shù)據(jù)被輸入到中心提取單元102中。在 包括在音樂數(shù)據(jù)中的立體聲分量中，僅中心分量(centrecomponent)被中心提取單元102 提取。音樂數(shù)據(jù)的中心分量被輸入到對數(shù)譜分析單元104。音樂數(shù)據(jù)的中心分量被對數(shù)譜 分析單元104轉換為后面將描述的對數(shù)譜。從對數(shù)譜分析單元104輸出的對數(shù)譜被輸入到 特征量計算公式生成裝置10、旋律概率估計單元110等中。此外，對數(shù)譜還可以由除特征量 計算公式生成裝置10、旋律概率估計單元110以外的結構元件使用。在此情況中，從對數(shù)譜 分析單元104直接或間接地將所希望的對數(shù)譜適當?shù)靥峁┙o各個結構元件。例如，對數(shù)譜被輸入到類別估計單元106中，并且通過利用特征量計算公式生成 裝置10將與對數(shù)譜相對應的音樂片段歸類為特定類別。而且，對數(shù)譜被輸入音高分布估計 單元108，并且通過利用特征量計算公式生成裝置10來從對數(shù)譜中粗略地估計出旋律線的 分布概率。此外，旋律概率估計單元110從輸入的對數(shù)譜中估計對數(shù)譜的各個音高是旋律 線的概率。此時，由類別估計單元106估計出的音樂類別被考慮在內。由旋律概率估計單 元110估計出的旋律線的概率被輸入到旋律線確定單元112中。然后，由旋律線確定單元 112來確定旋律線。平滑單元114針對每個節(jié)拍來對確定出的旋律線進行平滑，并且隨后將 其輸出到外面。
上面粗略地描述了與旋律線提取處理有關的流程。對于每個結構元件的處理，例 如使用了音樂片段的節(jié)拍、基調行進(key progression)等。因此，節(jié)拍由節(jié)拍檢測單元 116來檢測，并且基調行進由基調檢測單元118檢測。而且，在基調檢測處理中使用的和弦 概率(后面將描述)由弦概率檢測單元120來檢測。下面，首先，將詳細描述除節(jié)拍檢測單 元116、基調檢測單元118以及和弦概率檢測單元120之外的結構元件，并且將詳細描述主 要用于從音樂數(shù)據(jù)提取旋律線的功能。然后，將詳細描述節(jié)拍檢測單元116、基調檢測單元 118以及和弦概率檢測單元120的功能配置。(2-2.中心提取單元102的配置)首先，描述中心提取單元102。中心提取單元102是用于從輸入的立體聲信號中 提取位于中心周圍的音頻信號(此后稱為中心信號)的裝置。例如，中心提取單元102計 算中心信號與位于非中心部分的音頻信號(此后稱為非中心信號)之間的音量差，并且 根據(jù)計算結果來抑制非中心信號。這里的中心信號是指左右聲道之間的電平差(level difference)和相位差較小的信號。圖3示出了聲音源分離單元的配置示例(中心提取方法)。參考圖3，將詳細描述 描述中心提取單元102的配置。如圖3所示，描述中心提取單元102可以由左聲道頻帶分 割單元122、右聲道頻帶分割單元124、帶通濾波器126、左聲道頻帶合成單元128以及右聲 道頻帶合成單元130構成。首先，輸入到中心提取單元102的立體聲信號的左聲道信號、被輸入左聲道頻帶 分割單元122。左聲道的非中心信號L和中心信號C以混合的形式出現(xiàn)在左聲道信號、中。 此外，左聲道信號&是隨著時間改變的音量級信號。因此，左聲道頻帶分割單元122對輸 入的左聲道信號&執(zhí)行DFT處理，并且將其從時域信號轉換為頻域信號(此后，稱為多頻 帶信號4(0)，. . .，fL (N-D)0這里，fL(K)是與第k(k = 0，. . .，N-1)個頻帶相對應的子頻 帶信號。此外，上述DFT是離散傅里葉變換的縮寫。從左聲道頻帶分割單元122輸出的左 聲道多頻帶信號被輸入到帶通濾波器126中。以類似的方式，輸入到中心提取單元102的立體聲信號的右聲道信號sK被輸入右 聲道頻帶分割單元124。右聲道的非中心信號R和中心信號C以混合的形式出現(xiàn)在右聲道 信號sK中。此外，右聲道信號sK是隨著時間改變的音量級信號。因此，右聲道頻帶分割單 元124對輸入的右聲道信號sK執(zhí)行DFT處理，并且將其從時域信號轉換為頻域信號(此后， 稱為多頻帶信號fK(0)，. . .，fE(N-D)0這里，fK(k’ )是與第k’(k = 0，. . .，N-1)個頻帶 相對應的子頻帶信號。從右聲道頻帶分割單元124輸出的右聲道多頻帶信號被輸入到帶通 濾波器126中。此外，每個聲道的多頻帶信號被分割的頻帶數(shù)目為N(例如，N = 8192)。如上所述，各個聲道的多頻帶信號fL(k) (k = 0，. . .，N-1)和fK(k，)(k，= 0，...， N-1)被輸入帶通濾波器126中。下面，按諸如k = 0，. . .，N-I或k’ = 0，. . .，N-I的升序 來對頻率進行標注。此外，將各個信號分量fjk)和fK(k’)稱為子聲道信號。首先，在帶通 濾波器126中，從兩個聲道的多頻帶信號中選出同一頻帶中的子聲道信號fV(k)和fK(k’)， 并且計算子聲道信號之間的類似度a(k)。例如根據(jù)下面的式(5)和(6)來計算類似度 a(k)。這里，幅度分量和相位分量被包括在子聲道信號中。因此，將幅度分量的類似度表達 為ap (k)，并且將相位分量的類似度表達為ai (k)。[公式5]
ai(k)=
COS^
=Re[fR(k)fL(k)*: |fR(k) ||fL(k)|
5
ap(k)=
jfR(k)丨 |fL(k)|
IAM |fR(k)|
|fR(k) |<|fL(k)|
|fR(k) |>|fL(k)| 這里，I... I表示“...”的范數(shù)。θ表示
(O彡I θ I彡JI)。上標*表示復共軛。Re[...]表示“. 楚的，在子聲道信號f^(k)與fK(k)的范數(shù)一致的情況中， 之，在子聲道信號fjk)與fK(k)的范數(shù)不一致的情況中 一方面，對于相位分量的類似度ai(k)，當θ相位差為O 差為^!/^時，類似度^仏)為O ；并且當θ相位差為π 聲道信號fjk) %fE(k)的相位一致的情況中，類似度ai 與fK(k)的相位不一致的情況中，類似度ai(k)取小于1
...(6)
fL(k)與fE(k)之間的相位差 .· ”的實部。如從上述式(6)可清 幅度分量的類似度ap(k)為1。反 ，類似度ap(k)取小于1的值。另 時，類似度ai(k)為1 ；當θ相位 時，類似度ai(k)為-1。即，在子 (k)為1，并且在子聲道信號fL(k) 的值。當通過上述方法計算出每個頻帶k(k = 0，. . .，N-1)的類似度a(k)時，帶通濾波 器126提取出與ap (q)相對應的頻帶q以及小于特定閾值的ai (q) (ο ^ q ^ N_l)。然后，僅 位于由帶通濾波器126提取出的頻帶q中的子聲道信號被輸入左聲道頻帶合成單元128或 右聲道頻帶合成單元130。例如，子聲道信號fjq) (q = q0,. . .,Qn^1)被輸入左聲道頻帶合 成單元128。因此，左聲道頻帶合成單元128對從帶通濾波器126輸入的子聲道信號
(q =如，...，q」執(zhí)行IDFT處理，并且將其從頻域轉換為時域。此外，上述IDFT是逆離散 傅里葉變換的縮寫。以類似的方式，子聲道信號fK(q) (q = qQ，. . .，Qn^1)被輸入右聲道頻帶合成單元 130。因此，右聲道頻帶合成單元130對從帶通濾波器126輸入的子聲道信號fK(q) (q = qQ，. . .，qn-i)執(zhí)行IDFT處理，并且將其從頻域轉換為時域。從左聲道頻帶合成單元128輸 出包括在左聲道信號、中的中心信號分量、，。另一方面，從右聲道頻帶合成單元130輸出 包括在右聲道信號sK中的中心信號分量sK,。中心提取單元102通過上述方法從立體聲信 號中提取中心信號。然后，由中心提取單元102提取出的中心信號被輸入到對數(shù)譜分析單 元104中(參考圖2)。(2-3.對數(shù)譜分析單元104的配置)接下來，將描述對數(shù)譜分析單元104。對數(shù)譜分析單元104是用于將輸入音頻信號 轉換為各個音高的強度分布的裝置。每八音度的音頻信號中包括12個音高(C，C#, D，D#, E，F(xiàn)，F(xiàn)#，G，G#，A，A#，B)。此外，每個音高的中心頻率成對數(shù)分布。例如，當以音高A3的中 心頻率fA3作為標準時，將A#3的中心頻率表達為fA#3 = fA3*2"12。類似地，將音高B3的中心
頻率 fB3 表達為 fB3 = fAfl3*21/12c
以這種方式，相鄰音高的中心頻率之比為1 21Λ2。然而，當處理音頻信號時，將音頻信號作為時間頻率空間中的信號強度分布將使頻率軸作為對數(shù) 軸，從而，使得對音頻信號的處理變得復雜。因此，對數(shù)譜分析單元104分析音頻信號，并且 將其從時間頻率空間中的信號轉換為時間音高空間中的信號(此后稱為對數(shù)譜)。圖4示出了對數(shù)譜分析單元104的配置示例。參考圖4，將詳細描述對數(shù)譜分析單 元104的配置。如圖4所示，對數(shù)譜分析單元104可以由重采樣單元132、八音度分割單元 134和多個帶通濾波器組(BPFB) 136。首先，音頻信號被輸入到重采樣單元132中。然后，重采樣單元132將輸入音頻信 號的采樣頻率(例如，44. IkHz)轉換為特定采樣頻率。將通過以八音度之間的邊界處的頻 率作為標準并且將邊界頻率乘以二的冪所獲得的頻率作為特定采樣頻率。例如，音頻信號 的采樣頻率取八音度4和八音度5之間的邊界頻率1016. 7Hz作為標準，并且被轉換為標準 的25倍的采樣頻率(32534.7Hz)。通過以這種方式來轉換采樣頻率，作為隨后由重采樣單 元132執(zhí)行的頻帶分割處理和下采樣(down sampling)處理的結果而獲得的最高和最低頻 率將與某個八音度的最高和最低頻率一致。結果，可以簡化從音頻信號提取針對每個音高 的信號的處理。由重采樣單元132對其采樣頻率進行了轉換的音頻信號被輸入八音度分割單 元134。然后，八音度分割單元134通過重復地執(zhí)行頻帶分割處理和下采樣處理來將輸入 的音頻信號分割為針對各個八音度的信號。通過八音度分割單元134的分割而獲得的每 個信號被輸入到為各個八音度(01，...，08)的設置的帶通濾波器組136 (BPFB(Ol) BPFB(OS))中。每個帶通濾波器組136由12個帶通濾波器構成，每個帶通濾波器具有針對 12個音高之一的通頻帶，以便從針對各個八音度的輸入音頻信號中提取出針對每個音高的 信號。例如，在通過八音度8的帶通濾波器組136 (BPFB(OS))后，從八音度8的音頻信號中 提取出 了針對 12 個音高(C8, C#8, D8, D#8, E8, F8, F#8, G8, G#8, A8, A#8, B)的信號。示出了每個八音度中的12個音高的信號強度(此后稱為能量)的對數(shù)譜可以通 過從各個帶通濾波器組136輸出的信號來獲得。圖5是示出從對數(shù)譜分析單元104輸出的 對數(shù)譜的示例的說明圖。參考圖5的縱軸(音高)，輸入音頻信號被分割為7個八音度，并且每個八音度進 一步被分割為 12 個音高:"C, ” “C#，” ‘‘D，” ‘‘D#，” ‘ ，” “F，” “F#，” “G，” “G#，” “A，” “A#，” 和“B”。另一方面，圖5的橫軸(時間)示出了沿著時間軸采樣音頻信號時的幀數(shù)目。 例如，當重采樣單元132以127. 0888 (Hz)的采樣頻率對音頻信號重采樣時，1幀將為 1 (sec)/127. 0888 = 7. 8686 (msec)所對應的時間段。此外，圖5所示的對數(shù)譜的顏色濃度 表示各幀處的各音高的能量強度。例如，位置Sl以暗色示出，因此，可以理解為，位置Sl所 對應的音高處的音符(note)是在位置Sl所對應的時間處強烈地產生的。此外，圖5是在 將某個音頻信號作為輸入信號時所獲得的對數(shù)譜的示例。因此，如果輸入信號不同，則獲得 不同的對數(shù)譜。以這種方式獲得的對數(shù)譜被輸入類別估計單元106 (參考圖2)。(2-4.類別估計單元106的配置)接下來，描述類別估計單元106。類別估計單元106是用于在音樂片段信號被輸入 時估計輸入信號所屬的類別的裝置。如后面所述的，通過將各個輸入信號所屬的音樂類別 考慮在內，可以提高后面執(zhí)行的旋律線檢測處理中的檢測準確度。如圖6所示，音樂片段例 如被分為“古典片段”、“男聲樂、高聲背景(BG) ”、“男聲樂、柔和背景(BG) ”、“女聲樂、高聲
16背景(BG) ”等類。例如，“古典片段”具有如下特征由于記錄時的記錄設備和聲音設施的 技術水平與當前的技術水平不同，因此，音質較差或者背景中的音量比例較小。對于其它類 別，針對各個類別存在如圖6所示的特征。因此，輸入信號基于各個音樂片段的特征而被分 類。此外，音樂類別不限于圖6所示的那些類別。例如，還可以基于語音質量等來使用更精 細的類別。類別估計單元106執(zhí)行如圖7所示的處理以估計音樂類別。首先，類別估計單元 106具有多個音頻信號(音樂片段1，...，音樂片段4)，供用作被對數(shù)譜分析單元104轉換 為對數(shù)譜的評估數(shù)據(jù)。然后，類別估計單元106將多個音頻信號(音樂片段1，...，音樂片 段4)的對數(shù)譜作為評估數(shù)據(jù)輸入到特征量計算公式生成裝置10中。此外，將用作評估值 的每個音頻信號(音樂片段1，...，音樂片段4)的類別給出為如圖7所示的類別值(0或 1)。類別值0表示不相符(non-correspondence)，并且類別值1表示相符。例如，音頻信 號(音樂片段1)不符合類別“古典片段”和“男聲樂，柔和BG”，而符合“男聲樂，高聲BG”。 類別估計單元106生成用于計算類別值的估計算法(計算公式)，如利用特征量計算公式生 成裝置10所述的。因此，類別估計單元106在將多個音頻信號(音樂片段1，...，音樂片段4)的對 數(shù)譜輸入作為評估值的同時，將各個類別的類別值作為教員數(shù)據(jù)輸入到特征量計算公式生 成裝置10中。因此，音頻信號(音樂片段1，...，音樂片段4)的對數(shù)譜作為評估值并且各 個類別的類別值作為教員數(shù)據(jù)被輸入到特征量計算公式生成裝置10中。此外，將一個音樂 片段的對數(shù)譜用作與各個音頻信號相對應的評估數(shù)據(jù)。當如所述的評估數(shù)據(jù)和教員數(shù)據(jù)被 輸入時，特征量計算公式生成裝置10針對各個類別生成計算公式GA，該公式用于從任意音 頻信號的對數(shù)譜中計算出各個類別的類別值。此時，特征量計算公式生成裝置10同時輸出 由作為最終輸出的每個計算公式GA輸出的評估值(概率)。當由特征量計算公式生成裝置10生成各個類別的計算公式GA時，類別估計單元 106使實際上希望被分類的音樂片段的音頻信號(此后稱為處理過的片段)被對數(shù)譜分析 單元104轉換為對數(shù)譜。然后，類別估計單元106將處理過的片段的對數(shù)譜輸入到由特征 量計算公式生成裝置10生成的各個類別的計算公式GA中，并且計算處理過的片段的各個 類別的類別值。當計算出了各個類別的類別值后，類別估計單元106將處理過的片段歸類 為具有最高類別值的類別。類別估計單元106還可以被配置為在分類時，將每個計算公式 計算出的概率考慮在內。在此情況中，類別估計單元106利用由各個類別所對應的計算公 式計算出的類別值以及計算公式計算出的概率，來計算與各個類別相對應的處理過的片段 的概率(此后，稱為相符概率)。然后，類別估計單元106將處理過的片段指派到相符概率 最高的類別中。結果，獲得了圖7所示的分類結果。以這種方式獲得的分類結果被輸入到 音高分布估計單元108、旋律概率估計單元110和旋律線確定單元112中(參考圖2)。(2-5.音高分布估計單元108的配置示例)接下來，參考圖8和9描述音高分布估計單元108的配置。音高分布估計單元108 是用于自動估計旋律線的分布的裝置。用針對隨著時間改變的旋律線的各個區(qū)段計算出的 期望值以及針對整個音樂片段計算出的標準偏差來表示旋律線的分布。為了估計如根據(jù)對 數(shù)譜所描述的旋律線的分布，音高分布估計單元108利用特征量計算公式生成裝置10生成 用于計算每個區(qū)段中的旋律線的期望值的計算公式。
首先，與類別估計單元106—樣，音高分布估計單元108將多個音頻信號的對數(shù)譜 作為評估值輸入到特征量計算公式生成裝置10中。此外，音高分布估計單元108切出每個 區(qū)段中的每個音頻信號的正確旋律線作為教員數(shù)據(jù)(參考圖8)，并將其輸入到特征量計算 公式生成裝置10中。當以這種方式輸入評估值和教員數(shù)據(jù)后，從特征量計算公式生成裝置 10中輸出用于計算每個區(qū)段中的旋律線的期望值的計算公式。此外，類別估計單元106相 對于用作評估數(shù)據(jù)的每個音頻信號的對數(shù)譜，來計算由計算公式計算出的輸出值與用作教 員數(shù)據(jù)的正確旋律線之間的誤差。此外，類別估計單元106通過利用正態(tài)分布來近似所獲 得的誤差，從而計算出標準偏差。將由期望值以及音高分布估計單元108計算出的旋律線 的標準偏差所定義的范圍例如表達為圖9所示的曲線圖。以這種方式，音高分布估計單元108利用特征量計算公式生成裝置10生成用于從 對數(shù)譜的區(qū)段(時間段)估計出該區(qū)段中的旋律線的計算公式，并且利用該計算公式估計 旋律線的分布。此時，音高分布估計單元108生成針對類別估計單元106所估計出的每個 音樂類別的計算公式。然后，音高分布估計單元108在逐漸移動時間的同時，從對數(shù)譜中切 出時間段，并且將切出的對數(shù)譜輸入到計算公式中，并且計算期望值和旋律線的標準偏差。 結果，針對對數(shù)譜的每個區(qū)段計算出了旋律線的估計值。以這種方式由音高分布估計單元 108計算出的旋律線的估計值被輸入到旋律線確定單元112中(參考圖2)。(2-6.旋律概率估計單元110的配置示例)接下來，參考圖10至12，描述旋律概率估計單元110的配置。旋律概率估計單元 110是用于將從對數(shù)譜分析單元104輸出的對數(shù)譜轉換為旋律概率的裝置。例如，旋律概率 估計單元110將圖10(A)所示的對數(shù)譜轉換為圖10(B)所示的旋律概率分布。即，旋律概 率估計單元110計算基于對數(shù)譜的時間音高空間中的每個坐標位置處的旋律概率。這里的 旋律概率是指旋律線所對應的每個坐標位置處的對數(shù)譜的值的概率。首先，旋律概率估計 單元110利用預先知道了其正確旋律線的音樂數(shù)據(jù)的對數(shù)譜來執(zhí)行l(wèi)ogistic回歸，以估計 出各個坐標位置處的旋律概率。通過該logistic回歸來獲得用于從對數(shù)譜計算出旋律線 的函數(shù)f。然后，旋律概率估計單元110利用所獲得函數(shù)來計算如圖10(B)所示的旋律概率 分布。這里，參考圖11和12分別詳細描述旋律概率估計單元110的上述函數(shù)f的生成 方法以及使用函數(shù)f的旋律概率計算方法。首先，如圖11所示，在定義了對數(shù)譜的值的時 間音高空間中，旋律概率估計單元110取將估計其旋律概率的坐標位置作為基準點，并且 選擇具有特定大小的范圍(此后稱為基準范圍)。例如，旋律概率估計單元110以各個估 計位置為基準點，選擇在音高軸方向上具有-12至+36個半音并且在時間軸方向上具有_2 至+2幀的基準范圍。圖11示意性地示出了由旋律概率估計單元110選出的基準范圍的示 例。在此示例中，以黑色繪制的坐標位置是估計位置，而估計位置周圍的陰影部分為基準范 圍。當以這種方式選出針對每個估計位置的基準范圍時，旋律概率估計單元110計算 與所選基準范圍中的每個坐標位置相對應的對數(shù)譜值的對數(shù)值(能量)。此外，旋律概率估 計單元110以如下方式來歸一化各個坐標位置的對數(shù)值針對基準范圍內的各個坐標位置 計算出的對數(shù)值的平均值變?yōu)?。歸一化后的對數(shù)值x(在圖11的示例中，X= (X1,
x245) ；49個音高X5幀)被用于對旋律概率進行估計的函數(shù)f(x)的生成處理。利用預先給
18出了其正確旋律線的多段音樂數(shù)據(jù)(此后稱為用于學習的音樂數(shù)據(jù))來執(zhí)行函數(shù)f(x)的 生成處理。首先，旋律概率估計單元110使用用于學習的音樂數(shù)據(jù)的對數(shù)譜，并且針對每個 估計位置計算歸一化后的對數(shù)值x(此后，稱為歸一化對數(shù)值X)。此外，旋律概率估計單元 110判斷正確的旋律線是否包括在各個基準范圍中。下面，在正確的旋律線包括在基準范 圍的情況中，將判決結構表達為真(true)；并且在正確的旋律線未包括在基準范圍的情況 中，將判決結構表達為假(false)。當獲得了歸一化對數(shù)值χ和判決結果后，旋律概率估計單元110使用這些結果并 生成“供輸出的函數(shù)f (X)，其中，歸一化對數(shù)值X被輸入，針對與歸一化對數(shù)值X相對應的 基準范圍判決結果的概率為真”。旋律概率估計單元110例如可以利用logistic回歸來生 成函數(shù)f(x)。logistic回歸是用于通過回歸分析來計算結合系數(shù)的方法，假設可以通過輸 入變量的線性結合來表達判決結果為真或假的概率的分對數(shù)(Iogit)。例如，當將輸入變 量表達為χ = (X1, . . · , xn)時，判決結果為真的概率為P (True)，并且結合系數(shù)為 ^，...， βη，logistic回歸模式表達為下面的式(7)。當對下面的式(7)進行修改后，獲得了下面 的式(8)，并且獲得了用于根據(jù)輸入變量χ計算判決結果為真的概率P (True)的函數(shù)f(x)。[公式6]
-I-P(Tme)J…(7)f (x) = P(True)
__1_=l + exp[-(^0+Ax1+- + ^nXn)]…⑴旋律概率估計單元110向上面的式(7)輸入從用于學習的音樂數(shù)據(jù)獲得的針 對每個基準范圍的判決結果以及歸一化的對數(shù)值χ = (x17 ...，x245)，并且計算結合系數(shù) βο，...，β 245。利用以這種方式確定的結合系數(shù)β ο，...，β 245，獲得了用于從歸一化對數(shù) 值X計算判決結果為真的概率P (True)的函數(shù)f(x)。由于函數(shù)f(x)是在0.0至1.0的范 圍中定義的概率并且同一時間處的正確旋律線的音高數(shù)目為1，因此，以同一時間的合計值 變?yōu)?的方式來使函數(shù)f(x)歸一化。而且，優(yōu)選地，針對每個音樂類別生成函數(shù)f(x)。因 此，旋律概率估計單元110利用針對各個類別給出的用于學習的音樂數(shù)據(jù)，來計算針對每 個類別的函數(shù)f(x)。當通過這種方法生成了針對每個類別的函數(shù)f(x)后，當處理過的片段數(shù)據(jù)的對 數(shù)譜被輸入時，旋律概率估計單元110選擇將針對處理過的片段數(shù)據(jù)的從類別估計單元 106輸入的類別考慮在內的函數(shù)f(x)。例如，在處理過的片段被歸類為“古典片段”的情況 中，選擇用于針對“古典片段”進行學習的從音樂數(shù)據(jù)獲得的函數(shù)f (χ)。然后，旋律概率估 計單元110在將處理過的片段數(shù)據(jù)的對數(shù)譜值轉換為歸一化對數(shù)值χ之后，通過所選函數(shù) f(x)來計算旋律概率。當由旋律概率估計單元110計算出了時間音高空間中的每個坐標位 置的旋律概率時，就獲得了如圖10(B)所示的旋律概率分布。以這種方式獲得的旋律概率 分布被輸入到旋律線確定單元112 (參考圖2)。(函數(shù)f(χ)生成處理的流程)
這里，參考圖12，簡要描述旋律概率估計單元110的函數(shù)f (χ)生成方法的處理流程。如圖12所示，首先，旋律概率估計單元110針對時間軸方向開始循環(huán)處理(S102)。 此時，表示時間軸方向上的估計位置的時間t(幀編號t)被設置。然后，旋律概率估計單 元110開始針對音高軸方向的循環(huán)處理(S104)。此時，表示音高軸方向上的估計位置的 音高ο被設置。然后，旋律概率估計單元110獲取在步驟S102和S104中設置的時間t 和音高O所表示的估計位置的基準范圍的歸一化對數(shù)值X(Sioe)。例如，估計位置(t，ο) 的周圍(t-2至t+2，0-12至0+36)被選作基準范圍，并且歸一化對數(shù)值X = {x(t+At, ο+Δο) ；-2 ^ At^ 2，-12彡ο彡36}被計算出來。接下來，旋律概率估計單元110利用 通過使用用于學習的音樂數(shù)據(jù)的學習處理預先獲得的函數(shù)f(x)，來計算時間t和音高ο處 的旋律概率(S108)。由時間t和音高ο指示的估計位置的旋律概率由步驟S106和S108估計出?，F(xiàn) 在，旋律概率估計單元110返回步驟S104的步驟(SllO)，并且將估計位置的音高O遞增1 個半音并重復步驟S106和S108的處理。旋律概率估計單元110通過每次使估計位置的音 高ο遞增1個半音來針對特定音高范圍(例如，ο = 12至72)執(zhí)行步驟S106和S108的處 理。針對特定音高范圍執(zhí)行了步驟S106和S108的處理之后，旋律概率估計單元110前進 到步驟Sl 12的處理。在步驟S112，旋律概率估計單元110在時間t處歸一化旋律概率，以使得旋律概率 的和變?yōu)?(S112)。S卩，相對于步驟S102中設置的估計位置的時間t，在步驟S112中以使 針對特定音高范圍計算出的旋律概率的和變?yōu)?的方式來歸一化每個音高ο的旋律概率。 然后，旋律概率估計單元110返回步驟S102的處理(S114)，并且在使估計位置的時間t遞 增1幀后重復步驟S104至S112的處理。旋律概率估計單元110通過每次使估計位置的時 間t遞增1幀來針對特定時間范圍(例如，t = 1至T)執(zhí)行步驟S104至S112的處理。當 針對特定時間范圍執(zhí)行了步驟S104至S112的處理之后，旋律概率估計單元110結束旋律 概率的估計處理。(2-7.旋律線確定單元112的配置示例)接下來，參考圖13至15，描述旋律線確定單元112的配置。圖13示出旋律概率分 布。旋律線確定單元112是用于基于由旋律概率估計單元110估計出的旋律概率以及由音 高分布估計單元108估計出的期望值、標準偏差等來確定可能的旋律線的裝置。為了確定 可能的旋律線，旋律線確定單元112在時間音高空間中執(zhí)行搜索具有最高旋律概率的路徑 的處理。針對要執(zhí)行的路徑搜索，使用了下面示出的概率Ρ(Δο)和P(IltIrvi)以及音高分 布估計單元108計算出的P(o|Wt)。如已經描述過的，概率P(o|Wt)是在某個時間t處的音 高ο處的旋律的概率。首先，旋律線確定單元112計算改變量為△ ο的音高轉變在每個音樂數(shù)據(jù)的正確 旋律線處的出現(xiàn)率。當計算出了多段音樂數(shù)據(jù)的每個音高轉變Δο的出現(xiàn)率之后，旋律線 確定單元112針對每個音高轉變△ O，計算所有段音樂數(shù)據(jù)的出現(xiàn)率的平均值和標準偏差。 然后，通過利用以上述方式計算出的與每個音高轉變△ ο有關的出現(xiàn)率的平均值和標準偏 差，旋律線確定單元112通過具有平均值和標準偏差的高斯分布來近似概率P(A0)o接下來，對概率ρ (IitIrv1)進行說明。概率Ρ(η>Η)表示反映了從音高IV1轉變
20為音高nt時的轉變方向的概率。音高nt取如下值中的任一個Cdown，Cftdown，. . . , Bdown, Cup，C#up，···，Bup。這里，“down”是指音高向下，并且“up”是指音高向上。另一方面，Iv1 不將音高的向上和向下考慮在內，并且取值C，C#，...，B中的任一個。例如，概率p(Dup|C) 表示音高C上升為音高D的概率。通過將實際基調(例如D)轉移為特定基調(例如C)來 使用概率P (nt I Iv1)。例如，在當前基調為D并且特定基調為C的情況中，針對F# — Adown 的轉變概率參照了概率P (Gdown IE)，這是因為因基調的轉移而使F#變?yōu)镋并且A變?yōu)镚。同樣，對于概率ρ (nt I Iv1)，如在概率ρ ( Δ 0)的情況中一樣，旋律線確定單元112 計算每個音高轉變Iv1 — nt在每個音樂數(shù)據(jù)的正確旋律線中的出現(xiàn)率。在針對多段音樂數(shù) 據(jù)計算出了每個音高轉變IV1 — nt的出現(xiàn)率之后，旋律線確定單元112針對每個音高轉變 IV1 — nt，來計算針對所有段音樂數(shù)據(jù)的出現(xiàn)率的平均值和標準偏差。然后，通過利用以上 述方式計算出的與每個音高轉變IV1 — nt有關的出現(xiàn)率的平均值和標準偏差，旋律線確定 單元112通過具有平均值和標準偏差的高斯分布來近似概率ρ (IitIrv1)。圖14概念性地示出了這些概率。在圖14的示例中，旋律線的當前音高為C4。在 時間、處的旋律線的音高轉變情況中，參考了概率ρ(Δ0)和P(IltIrvi)tj例如，在從音高 C4到音高D4的轉變的情況中，音高之差為+2半音。而且，在圖14的示例中，轉變是去往同 一八音度中的較高音高的。因此，參考了概率Ρ(Δο = +2)和概率p(Dup|C)。另一方面，在 從音高C4到音高G3的轉變情況中，音高之差為-5半音。而且，在圖14的示例中，轉變是 去往較低八音度中的較低音高的。因此，參考了概率Ρ(Δο = -2)和概率ρ (Gdown I C)。類 似地，在旋律在時間、時轉變到音高D4然后在時間t2時到音高G3的情況中，參考了概率 P ( Δ ο = -7)和概率ρ (Gdown ID)。此外，作為音高C4、D4和G3的每個的概率，參考了概率 P(o|Wt)。旋律線是通過利用以上述方式獲得的概率P(o|Wt)，ρ(Δ0)和P(IltIrvi)來確定 的。然而，為了使用概率P (nt ι IV1)，要對其旋律線進行估計的音樂數(shù)據(jù)的基調成為必要。因 此，旋律線確定單元112利用基調檢測單元118來檢測音樂數(shù)據(jù)的基調。后面將描述基調 檢測單元118的配置。這里，在假設已經給出音樂數(shù)據(jù)的基調的情況下，來描述旋律線的確 定方法。旋律線確定單元112利用維特比搜索(Viterbi serch)來確定旋律線。Viterbi搜 索本身是基于隱式馬可夫模型的公知路徑搜索方法。除概率P(o|Wt)，ρ(Δ0)和ρ (IltIrvi) 外，旋律線確定單元112還將由旋律概率估計單元110針對每個估計位置估計出的旋律概 率用于維特比搜索。下面，將時間t和音高ο處的旋律概率表達為ρ (Mt| o，t)。利用這些概 率，將某個時間t處的音高ο為旋律的概率P (o，t)表達為下面的式(9)。將從音高ο轉變 為同一音高ο的概率P(t+At，o|t, ο)表達為下面的式(10)。此外，將從音高0轉變?yōu)椴?同音高ο+Δ ο的概率P(t+At，o+A0|t，ο)表達為下面的式(11)。[公式7]P (o, t) = ρ (Mt I ο, t) P (ο I Wt). . . (9)P(o, t+At|o, t) = (I-EP(HtIn^1))P(A0) . . . (10)P (ο+ Δ ο, t+ Δ 11 ο, t) = ρ (nt | η^) ρ ( Δ ο)…(11)當利用這些表達式時，從節(jié)點 (時間、，音高O27)轉移到節(jié)點(時間t2，音高O26) 的情況的概率 P(q1; Q2)表達為 P(q” q2) = ρ (nt21 ntl) ρ ( Δ ο = -1) ρ (Ml | O27,、) ρ (O271 Wtl)。如上那樣表達的概率在音樂片段中為最大的路徑被提取為可能的旋律線。這里，將每條 維特比路徑的概率的對數(shù)值作為路徑搜索的基準。例如，諸如log (P (nt21 ntl)) +log (ρ ( Δ ο ="I)) +log (ρ (Ml I o27, tl)) +log (p (O271 Wtl))之類的對數(shù)值之和將用于 log (P) (Ql, q2))。此外，旋律線確定單元112可以被配置為將通過對各種類型的概率執(zhí)行加權獲得 的相加的經加權對數(shù)值作為維特比搜索的基準，而不是簡單地將對數(shù)值之和用作基準。例 如，旋律線確定單元112將通過節(jié)點的log(p(Mt|o，t)，Mlog(P(C)Iwt))以及通過節(jié)點之 間的轉變的I^log(PntIrv1) *b3*log(p(A0))相加之和，用作維特比搜索的基準。這里， bl、b2和b3是給予每種類型的概率的權重參數(shù)。即，旋律線確定單元112計算遍及音樂片 段的上述相加的經加權對數(shù)值，并且提取相加后的對數(shù)值最大的路徑。由旋律線確定單元 112提取的路徑被確定為旋律線。此外，優(yōu)選地，用于維特比搜索的概率和權重參數(shù)根據(jù)類別估計單元106估計出 的音樂類別而不同。例如，對于針對被歸類為“古典片段”的音樂片段的旋律線的維特比 搜索，最好使用從預先給出了正確旋律線的大量“古典片段”中獲得的概率以及針對“古典 片段”調諧過的參數(shù)。由旋律線確定單元112以這種方式確定的旋律線被輸入平滑單元 114(參考圖2)。(2-8.平滑單元114的配置示例)接下來，描述平滑單元114的配置。平滑單元114是用于針對由音樂片段的節(jié)拍 所確定的每個區(qū)段來對由旋律線確定單元112確定的旋律線進行平滑的裝置。音樂數(shù)據(jù)的 節(jié)拍是由節(jié)拍檢測單元116檢測到的。將在后面描述節(jié)拍檢測單元116的配置。例如，當 由節(jié)拍檢測單元116檢測到節(jié)拍時，平滑單元114針對每個八音度音符的旋律線執(zhí)行投票， 并且取最頻繁出現(xiàn)的音高作為旋律線。節(jié)拍區(qū)段可以包括多個音高作為旋律線。因此，平 滑單元114在每個節(jié)拍區(qū)段中檢測被確定為旋律線的音高的出現(xiàn)頻率，并且通過最頻繁出 現(xiàn)的音高來平滑每個節(jié)拍區(qū)段的音高。以這種方式針對每個節(jié)拍區(qū)段平滑過的音高作為旋 律線被輸出到外面。(2-9.節(jié)拍檢測單元116和基調檢測單元118的配置示例)下面描述尚未描述的節(jié)拍檢測單元116和基調檢測單元118的配置。這里，還將 描述用于計算在基調檢測單元118的基調檢測處理中使用的和弦概率的和弦概率檢測單 元120的配置示例。如后面所述的，和弦概率檢測單元120的處理結果是基調檢測單元118 的處理所需要的。而且，節(jié)拍檢測單元116的處理結果是和弦概率檢測單元120的處理所 需要的。因此，將以節(jié)拍檢測單元116、和弦概率檢測單元120和基調檢測單元118的順序 來進行描述。(2-9-1.節(jié)拍檢測單元116的配置示例)首先，描述節(jié)拍檢測單元116的配置。如上所述，節(jié)拍檢測單元116的處理結果被 用于和弦概率檢測單元120的處理以及檢測將由平滑單元114使用的音樂片段的節(jié)拍的處 理。如圖16所示，節(jié)拍檢測單元116由節(jié)拍概率計算單元142和節(jié)拍分析單元144構成。 節(jié)拍概率計算單元142是用于基于音樂數(shù)據(jù)的對數(shù)譜計算每幀作為節(jié)拍位置的概率的裝 置。而且，節(jié)拍分析單元144是用于基于由節(jié)拍概率計算單元142計算出的每幀的節(jié)拍概 率來檢測節(jié)拍位置的裝置。下面，將詳細描述這些結構元件的功能。首先，將描述節(jié)拍概率計算單元142。節(jié)拍概率計算單元142針對從對數(shù)譜分析單元104輸入的對數(shù)譜的特定時間單元(例如，1幀)的每個，來計算節(jié)拍包括在時間單位中 的概率(此后稱為“節(jié)拍概率”)。此外，當特定時間單元為1幀時，可以認為節(jié)拍概率是每 幀與節(jié)拍位置(節(jié)拍在時間軸上的位置)相符的概率。由節(jié)拍概率計算單元142用來計算 節(jié)拍概率的公式是通過特征量計算公式生成裝置10使用學習算法而生成的。而且，諸如圖 17所示的那些數(shù)據(jù)之類的數(shù)據(jù)被給予特征量計算公式生成裝置10作為供學習的教員數(shù)據(jù) 和評估數(shù)據(jù)。在圖17中，用于計算節(jié)拍概率的時間單位為1幀。如圖17所示，從節(jié)拍位置已知的音樂片段的音頻信號轉換來的對數(shù)譜的片段(此 后稱為“部分對數(shù)譜”)以及各個部分對數(shù)譜的節(jié)拍概率被提供給特征量計算公式生成裝置 10。即，部分對數(shù)譜被提供給特征量計算公式生成裝置10作為評估數(shù)據(jù)，并且節(jié)拍概率作 為教員數(shù)據(jù)。這里，在將節(jié)拍概率的計算準確度與處理成本之間的折中考慮在內的情況下， 來確定部分對數(shù)譜的窗寬度。例如，部分對數(shù)譜的窗寬度可以包括將計算其節(jié)拍概率的幀 之前和之后的7幀(S卩，總計15幀)。此外，被提供作為教員數(shù)據(jù)的節(jié)拍概率例如基于已知的節(jié)拍位置并且利用真值 (1)和假值(0)來指示節(jié)拍是否包括在每個部分對數(shù)譜的中心幀中。這里，未考慮節(jié)線 (bar)的位置，并且當中心幀對應于節(jié)拍位置時，節(jié)拍概率為1 ；并且當中心幀與節(jié)拍位置 不相對應時，節(jié)拍概率為0。在圖17所示示例中，部分對數(shù)譜徹，113，1(3，...的節(jié)拍概率分 布給出為1，0，1，...,O0用于從部分對數(shù)譜計算節(jié)拍概率的節(jié)拍概率公式P(W)是由特征 量計算公式生成裝置10基于多組評估數(shù)據(jù)和教員數(shù)據(jù)生成的。當以這種方式生成節(jié)拍概 率公式P (W)時，節(jié)拍概率計算單元142從處理過的音樂數(shù)據(jù)的對數(shù)譜中切出針對每幀的部 分對數(shù)譜，并且通過將節(jié)拍概率公式P (W)應用到各個部分對數(shù)譜來順序地計算節(jié)拍概率。圖18是示出由節(jié)拍概率計算單元142計算出的節(jié)拍概率的示例的說明圖。圖 18(A)示出了將從對數(shù)譜分析單元104輸入到節(jié)拍概率計算單元142中的對數(shù)譜的示例。 另一方面，在圖18 (B)中，用時間軸上的多邊形線示出了節(jié)拍概率計算單元142基于對數(shù)譜 (A)計算出的節(jié)拍概率。例如，參考幀位置F1，可見，部分對數(shù)譜Wl對應于幀位置F1。艮口， 幀F(xiàn)l的節(jié)拍概率P(Wl) =0.95是根據(jù)對數(shù)譜Wl計算出來的。類似地，基于從對數(shù)譜切出 的部分對數(shù)譜W2將幀位置F2的節(jié)拍概率P (W2)計算為0. 1。幀位置Fl的節(jié)拍概率P (Wl) 較高而幀位置F2的節(jié)拍概率P (W2)較低，因此，可以說幀位置Fl與節(jié)拍位置相對應的概率 較高，而幀位置F2與節(jié)拍位置相對應的概率較低。此外，可以通過另一學習算法來生成由節(jié)拍概率計算單元142使用的節(jié)拍概率 公式。然而，應當注意，通常，對數(shù)譜包括多種參數(shù)，例如鼓聲的頻譜、因說話引起的頻譜， 以及因和弦的改變引起的頻譜的改變。在鼓聲頻譜的情況中，很有可能擊鼓的時間點為 節(jié)拍位置。另一方面，在語音頻譜的情況中，很有可能發(fā)聲的開始時間點為節(jié)拍位置。為 了總地利用多種參數(shù)來高準確度地計算節(jié)拍概率，使用特征量計算公式生成裝置10或者 JP-A-2008-123011中公開的學習算法是合適的。由節(jié)拍概率計算單元142以上述方式計算 出的節(jié)拍概率被輸入節(jié)拍分析單元144。節(jié)拍分析單元144基于從節(jié)拍概率計算單元142輸入的各幀的節(jié)拍概率來確定節(jié) 拍位置。如圖16所示，節(jié)拍分析單元144包括突起(onset)檢測單元152、節(jié)拍得分計算單 元154、節(jié)拍搜索單元156、恒定節(jié)奏判定單元158、針對恒定節(jié)奏的節(jié)拍重搜索單元160、節(jié) 拍確定單元162以及節(jié)奏修訂單元164。各幀的節(jié)拍概率從節(jié)拍概率計算單元142輸入突
23起檢測單元152、節(jié)拍得分計算單元154和節(jié)奏修訂單元164。突起檢測單元152基于從節(jié)拍概率計算單元142輸入的節(jié)拍概率來檢測包括在音 頻信號中的突起。這里的突起是指音頻信號中產生聲音的時間點。更具體地，節(jié)拍概率高 于特定閾值并且取最大值的點稱為突起。例如，在圖19中，示出了基于針對音頻信號計算 出的節(jié)拍概率而檢測到的突起的示例。在圖19中，與圖18(B) —樣，用時間軸上的多邊形 線來示出由節(jié)拍概率計算單元142計算出的節(jié)拍概率。在圖19所示的節(jié)拍概率曲線圖的 情況中，取最大值的點為三個點，即，幀F(xiàn)3、F4和F5。其中，對于幀F(xiàn)3和F5，這些時間點處 的節(jié)拍概率高于預先給出的特定閾值Thl。另一方面，幀F(xiàn)4的時間點處的節(jié)拍概率低于閾 值Thl。在這種情況中，兩個點，即幀F(xiàn)3和F5被檢測為突起。這里，參考圖20，簡要描述突起檢測單元152的突起檢測處理流程。如圖20所示， 首先，突起檢測單元152相對于針對各幀計算出的節(jié)拍概率，從第一幀開始，順序地執(zhí)行針 對幀的循環(huán)(S1322)。然后，突起檢測單元152相對于每幀，判斷節(jié)拍概率是否高于特定閾 值(S1324)，以及節(jié)拍概率是否指示了最大值(S1326)。這里，當節(jié)拍概率高于特定閾值并 且節(jié)拍概率最大時，突起檢測單元152前進到步驟S1328。另一方面，當節(jié)拍概率低于特定 閾值或者節(jié)拍概率不是最大的時，則跳過步驟S1328的處理。在步驟S1328，當前時間(或 者幀編號)被添加到突起位置的列表中(S1328)。然后，當對于所有幀的處理結束時，突起 檢測處理的循環(huán)終止(S1330)。通過如上所述的突起檢測單元152的突起檢測處理，生成了包括在音頻信號中的 突起的位置列表(各個突起的時間或幀編號的列表)。而且，通過上述突起檢測處理，例如 檢測到了如圖21所示的突起的位置。圖21示出了與節(jié)拍概率有關的由突起檢測單元152 檢測到的突起的位置。在圖21中，利用示出了節(jié)拍概率的多邊形線之上的圓圈示出了由突 起檢測單元152檢測到的突起的位置。在圖21的示例中，將節(jié)拍概率高于閾值Thl中的最 大值檢測為15個突起。由突起檢測單元152以這種方式檢測到的突起的位置被輸出到節(jié) 拍得分計算單元154(參考圖16)。節(jié)拍得分計算單元154針對突起檢測單元152檢測到的每個突起，來計算指示形 成節(jié)拍序列的節(jié)拍中的節(jié)拍與恒定節(jié)奏(或恒定節(jié)拍間隔)的相符程度的節(jié)拍得分。首先，節(jié)拍得分計算單元154設置所關注突起，如圖22所示。在圖22的示例中， 在由突起檢測單元152檢測到的突起中，幀位置Fk(幀編號k)處的突起被設為所關注突 起。此外，參考了離幀位置Fk特定距離d的整數(shù)倍處的幀位置序列Fk_3，F(xiàn)k_2，F(xiàn)k_1; Fk, Fk+1， Fk+2和Fk+3。下面，將特定距離d稱為轉移量，并且將相隔轉移量d整數(shù)倍處的幀位置稱為 轉移位置。節(jié)拍得分計算單元154取包括在已計算出節(jié)拍概率的幀的群組F中的所有轉移 位置(...Fk_3，F(xiàn)k_2，F(xiàn)k_1; Fk，F(xiàn)k+1，F(xiàn)k+2和Fk+3...)處的節(jié)拍概率之和作為所關注突起的節(jié)拍得 分。例如，當幀位置Fi處的節(jié)拍概率為P(Fi)時，與針對所關注突起的幀編號k和轉移量d 相關的節(jié)拍得分BS (k，d)用下面的式(12)來表達。可以將由下面的式(12)表達的節(jié)拍得 分BS(k，d)說成是這樣的得分，該得分指示音頻信號的第k幀處的突起與以轉移量d作為 節(jié)拍間隔的恒定節(jié)奏同步的概率。[公式8] 這里，參考圖23，將簡要描述節(jié)拍得分計算單元154的節(jié)拍得分計算處理流程。如圖23所示，首先，節(jié)拍得分計算單元154相對于突起檢測單元152檢測到的突 起，從第一個突起開始，順序地執(zhí)行針對突起的循環(huán)(S1322)。此外，得分計算單元154相對 于所關注突起執(zhí)行針對所有轉移量d的循環(huán)(S1344)。作為循環(huán)對象的轉移量d是可以用 在音樂演奏中的所有節(jié)拍的間隔值。節(jié)拍得分計算單元154隨后初始化節(jié)拍得分BS(k，d) (即，將0代入節(jié)拍得分BS(k，d))(S1346)。接下來，節(jié)拍得分計算單元154執(zhí)行針對轉移 系數(shù)η的循環(huán)，轉移系數(shù)η用于轉移所關注突起的幀位置Fd (S1348)。然后，節(jié)拍得分計算單 元154順序地將各個轉移位置處的節(jié)拍概率P (Fk+nd)添加到節(jié)拍得分BS (k，d)中(S1350)。 然后，當針對所有轉移系數(shù)η的循環(huán)結束時(S1352)，節(jié)拍得分計算單元154記錄所關注突 起的幀位置(幀編號k)、轉移量d和節(jié)拍得分BS (k，d) (S1354)。節(jié)拍得分計算單元154針 對所有突起的每個轉移量重復這種節(jié)拍得分BS (k，d)計算(S1356，S1358)。通過如上所述的節(jié)拍得分計算單元154的節(jié)拍得分計算處理，針對由突起檢測單 元152檢測到的每個突起輸出遍及多個轉移量d的節(jié)拍得分BS(k，d)。通過上述節(jié)拍得分 計算處理獲得了如圖24所示的節(jié)拍得分分布圖。節(jié)拍得分分布圖使從節(jié)拍得分計算單元 154輸出的節(jié)拍得分可視化。在圖24中，在沿著橫軸的時間序列中示出了由突起檢測單元 152檢測到的突起。圖24中的縱軸表示已針對其計算出了針對每個突起的節(jié)拍得分的轉移 量。此外，圖中每個點的顏色濃度表示針對轉移量處的突起計算出的節(jié)拍得分的水平。在 圖24的示例中，在轉移量dl的附近，所有突起的節(jié)拍得分都較高。當假設以轉移量dl處 的節(jié)奏來演奏音樂片段時，很有可能檢測到的突起中的許多突起對應于節(jié)拍。由節(jié)拍得分 計算單元154計算出的節(jié)拍得分被輸入到節(jié)拍搜索單元156。節(jié)拍搜索單元156基于由節(jié)拍得分計算單元154計算出的節(jié)拍得分，搜索示出了 可能的節(jié)奏波動的突起位置的路徑。例如，可以將基于隱式馬可夫模型的維特比搜索算法 用作節(jié)拍搜索單元156的路徑搜索方法。對于節(jié)拍搜索單元156的維特比搜索，例如突起 編號被設置為時間軸(橫軸)的單位，并且在節(jié)拍得分計算時使用的轉移量被設為觀察序 列(縱軸)，如圖25示意性地示出的。節(jié)拍搜索單元156搜索連接了分別由觀察序列和時 間軸的值定義的節(jié)點的維特比路徑。換言之，節(jié)拍搜索單元156取用在節(jié)拍得分計算單元 154計算節(jié)拍得分時使用的轉移量和突起的所有組合中的每種組合來作為目標節(jié)點。此外， 每個節(jié)點的轉移量等同于針對節(jié)點假設的節(jié)拍間隔。因此，下面，可以將每個節(jié)點的轉移量 稱為節(jié)拍間隔。對于如上所述的節(jié)點，節(jié)拍搜索單元156沿著時間軸順序地選擇節(jié)點中的任意節(jié) 點，并且評估由所選節(jié)點序列形成的路徑。此時，在節(jié)點選擇中，允許節(jié)拍搜索單元156跳 過突起。例如，在圖25的示例中，在第k-Ι個突起之后，第k個突起被跳過，而第k+Ι個突 起被選擇。這是因為通常，在突起中混合了是節(jié)拍的突起以及不是節(jié)拍的突起，并且必須從 包括不經過不是節(jié)拍的突起的路徑在內的路徑中搜索可能路徑。例如，對于路徑的評估，可以使用四個評估值，SP⑴節(jié)拍得分，(2)節(jié)奏改變得 分，⑶突起移動得分以及⑷跳過的代價(penalty)。其中，⑴節(jié)拍得分是節(jié)拍得分計 算單元154針對每個節(jié)點計算出來的節(jié)拍得分。另一方面，(2)節(jié)奏改變得分，(3)突起移 動得分以及(4)給出了節(jié)點之間的轉變。在給出節(jié)點之間的轉變的評估值中，(2)節(jié)奏改 變得分是基于經驗知識(通常，節(jié)奏在音樂片段中逐漸地波動)給出的評估值。因此，當轉變之前的節(jié)點處的節(jié)拍間隔與轉換之后的節(jié)點處的節(jié)拍間隔之差越小時，給予節(jié)奏改變得 分的值就越高。這里，參考圖26，詳細描述(2)節(jié)奏改變得分。在圖26的示例中，當前選擇了節(jié) 點W。節(jié)拍搜索單元156可能選擇節(jié)點N2至N5中的任一節(jié)點作為下一節(jié)點。雖然還可 以選擇除N2至N5之外的節(jié)點，然而，為了方便描述，將描述四個節(jié)點，即節(jié)點N2至N5。這 里，當節(jié)拍搜索單元156選擇節(jié)點N4時，由于節(jié)點m和節(jié)點N4處的節(jié)拍間隔之間不存在 差異，因此，將給出最高值作為節(jié)奏改變得分。另一方面，當節(jié)拍搜索單元156選擇節(jié)點N3 或N5時，由于節(jié)點m和節(jié)點N3或N5處的節(jié)拍間隔之間存在差異，因此，與選擇節(jié)點N4時 相比而言給出了較低的節(jié)奏改變得分。此外，當節(jié)拍搜索單元156選擇節(jié)點N2時，節(jié)點m 和節(jié)點N2處的節(jié)拍間隔之差比選擇節(jié)點N3或N5時大。因此，將給出甚至更低的節(jié)奏改變 得分。接下來，參考圖27，詳細描述(3)突起移動得分。突起移動得分是根據(jù)轉變之前 和之后的節(jié)點的突起位置之間的間隔是否與轉變之前的節(jié)點處的節(jié)拍間隔相匹配來給出 的評估值。在圖27(A)中，當前選擇了針對第k個突起的具有節(jié)拍間隔d2的節(jié)點N6。而 且，兩個節(jié)點N7和N8被示為可供節(jié)拍搜索單元156接下來選擇的節(jié)點。其中，節(jié)點N7是 第k+Ι個突起的節(jié)點，并且第k個突起與第k+Ι個突起之間的間隔(例如，幀編號之差)為 D7。另一方面，節(jié)點N8是第k+2個突起的節(jié)點，并且第k個突起與第k+2個突起之間的間 隔為D8。這里，當假設路徑上的所有節(jié)點一定與恒定節(jié)奏中的節(jié)拍位置相對應的理想路徑 時，相鄰節(jié)點的突起位置之間的間隔是各個節(jié)點處的節(jié)拍間隔的整數(shù)倍(當不存在休止符 時為相同間隔)。因此，如圖27(B)所示，關于當前節(jié)點N6，當突起位置之間的間隔越接近 節(jié)點N6處的節(jié)拍間隔d2的整數(shù)倍時，將給出越高的突起移動得分。在圖27(B)的示例中， 由于節(jié)點N6和N8之間的間隔D8比節(jié)點N6和N7之間的間隔D7更接近節(jié)點N6處的節(jié)拍 間隔d2的整數(shù)倍時，越高的突起移動得分被給予從節(jié)點N6到節(jié)點N8的轉變。接下來，參考圖28，詳細描述(4)跳過的代價。跳過的代價是用于在節(jié)點之間的轉 變中限制過多地跳過突起的評估值。因此，當在一次轉變中跳過越多的突起時，得分越低， 而在一次轉變中跳過越少的突起時，得分越高。這里，越低的得分意味著越高的代價。在 圖28的示例中，第k個突起的節(jié)點N9被選為當前節(jié)點。而且，在圖28的示例中，三個節(jié)點 N10.N11和N12被示為可供節(jié)拍搜索單元156接下來選擇的節(jié)點。節(jié)點NlO是第k+Ι個突 起的節(jié)點，節(jié)點Nll是第k+2個突起的節(jié)點，并且節(jié)點N12是第k+3個突起的節(jié)點。因此，在從節(jié)點N9到節(jié)點NlO的轉變情況中，未跳過突起。另一方面，在從節(jié)點N9 到節(jié)點Nll的轉變情況中，跳過了第k+Ι個突起。此外，在從節(jié)點N9到節(jié)點N12的轉變的 情況中，跳過了第k+Ι和第k+2個突起。因此，跳過的代價在從節(jié)點N9到節(jié)點NlO的轉變 情況中取相對高的值，在從節(jié)點N9到節(jié)點Nll的轉變情況中取中間值，并且在從節(jié)點N9到 節(jié)點W2的轉變的情況中取較低的值。結果，在路徑搜索時，可以防止大量突起被跳過從而 使節(jié)點之間的間隔保持恒定的現(xiàn)象。到此為止，已描述了用于評估由節(jié)拍搜索單元156搜索出的路徑的四種評估值。 相對于所選路徑，通過順序地將給予每個節(jié)點或給予包括在路徑中的節(jié)點之間的轉變的上 述評估值⑴至⑷彼此相乘，來執(zhí)行利用圖25描述的路徑的評估。節(jié)拍搜索單元156將
26所有可想到的路徑中評估值之積最大的路徑確定為最優(yōu)路徑。以這種方式確定的路徑例如 如圖29所示。圖29示出了被節(jié)拍搜索單元156確定為最優(yōu)路徑的維特比路徑的示例。在 圖29的示例中，在圖24所示的節(jié)拍得分分布圖上用虛線描繪出了由節(jié)拍搜索單元156確 定的最優(yōu)路徑的輪廓。在圖29的示例中，可見，由節(jié)拍搜索單元156針對其進行了搜索的 音樂片段的節(jié)奏以節(jié)拍間隔d3為中心波動。由節(jié)拍搜索單元156確定的最優(yōu)路徑(包括 在最優(yōu)路徑中的節(jié)點列表)被輸入恒定節(jié)奏判定單元158、針對恒定節(jié)奏的節(jié)拍重搜索單 元160以及節(jié)拍確定單元162。恒定節(jié)奏判定單元158判斷由節(jié)拍搜索單元156確定的最優(yōu)路徑是否表示針對各 個節(jié)點所假設的節(jié)拍間隔的方差較小的恒定節(jié)奏。首先，恒定節(jié)奏判定單元158計算包括 在從節(jié)拍搜索單元156輸入的最優(yōu)路徑中的節(jié)點處的一組節(jié)拍間隔的方差。然后，當計算 出的方差小于預先給定的特定閾值時，恒定節(jié)奏判定單元158判定節(jié)奏恒定，并且當計算 出的方差大于特定閾值時，恒定節(jié)奏判定單元158判定節(jié)奏不恒定。例如，恒定節(jié)奏判定單 元158如圖30所示那樣來判定節(jié)奏。例如，在圖30(A)所示的示例中，在由虛線勾繪出的最優(yōu)路徑中的突起位置的節(jié) 拍間隔隨著時間而變化。對于這樣的路徑，可以如恒定節(jié)奏判定單元158的與閾值相關的 判定結果一樣，將節(jié)奏判定為不恒定。另一方面，在圖30(B)所示的示例中，在由虛線勾繪 出的最優(yōu)路徑中的突起位置的節(jié)拍間隔在整個音樂片段中幾乎恒定。如恒定節(jié)奏判定單元 158的與閾值相關的判定結果一樣，可以將這種路徑判定為恒定的。以這種方式獲得的恒 定節(jié)奏判定單元158的與閾值相關的判定結果被輸入針對恒定節(jié)奏的節(jié)拍重搜索單元160 中。當由節(jié)拍搜索單元156提取出的最優(yōu)路徑被恒定節(jié)奏判定單元158判定為指示恒 定節(jié)奏時，針對恒定節(jié)奏的節(jié)拍重搜索單元160通過將作為搜索對象的節(jié)點限制為僅在最 頻繁出現(xiàn)的節(jié)拍間隔周圍的那些節(jié)點，來重新執(zhí)行路徑搜索。例如，針對恒定節(jié)奏的節(jié)拍重 搜索單元160通過圖31所示的方法來執(zhí)行針對路徑的重新搜索處理。此外，與圖25 —樣， 針對恒定節(jié)奏的節(jié)拍重搜索單元160針對以節(jié)拍間隔作為觀察序列的時間軸(突起編號) 的一組節(jié)點來執(zhí)行針對路徑的重新搜索處理。例如，假設包括在被節(jié)拍搜索單元156確定為最優(yōu)路徑的路徑中的節(jié)點處的節(jié)拍 間隔的最頻值(mode)為d4，并且路徑的節(jié)奏被恒定節(jié)奏判定單元158判定為恒定。在此情 況中，針對恒定節(jié)奏的節(jié)拍重搜索單元160僅以節(jié)拍間隔d滿足d4-Th2 ^ d ^ d4+Th2 (Th2 是特定閾值)的節(jié)點作為搜索對象來再次搜索路徑。在圖31的示例中，示出了針對第k個 突起的五個節(jié)點N12至附6。其中，N13至N15處的節(jié)拍間隔包括在針對恒定節(jié)奏的節(jié)拍重 搜索單元160的搜索范圍(d4-Th2 ^ d^ d4+Th2)內。反之，N12和N16處的節(jié)拍間隔未 包括在上述搜索范圍中。因此，對于第k個突起，僅三個節(jié)點N13至N15成為針對恒定節(jié)奏 的節(jié)拍重搜索單元160的重執(zhí)行對象。此外，除要成為搜索對象的節(jié)點范圍之外，針對恒定節(jié)奏的節(jié)拍重搜索單元160 的重搜索處理的流程類似于節(jié)拍搜索單元156的路徑搜索處理。根據(jù)如上所述的針對恒定 節(jié)奏的節(jié)拍重搜索單元160的路徑重搜索處理，對于具有恒定節(jié)奏的音樂片段，可以減少 路徑搜索結果中可能部分地出現(xiàn)的與節(jié)拍位置有關的錯誤。由針對恒定節(jié)奏的節(jié)拍重搜索 單元160重新確定的最優(yōu)路徑被輸入節(jié)拍確定單元162中。
節(jié)拍確定單元162基于由節(jié)拍搜索單元156確定的最優(yōu)路徑或由針對恒定節(jié)奏的 節(jié)拍重搜索單元160重新確定的最優(yōu)路徑以及包括在路徑中的每個節(jié)點處的節(jié)拍間隔，來 確定包括在音頻信號中的節(jié)拍位置。例如，節(jié)拍確定單元162利用如圖32所示的方法來確 定節(jié)拍位置。在圖32(A)中，示出了由突起檢測單元152檢測到的第k個突起附近的14個 突起。在該示例中，示出了由突起檢測單元152檢測出的在第k個突起附近的14個突起。 作為對比，圖32(B)示出了由節(jié)拍搜索單元156或針對恒定節(jié)奏的節(jié)拍重搜索單元160確 定的最優(yōu)路徑中所包括的突起。在(B)的示例中，圖(A)所示的14個突起中的第k-7個突 起、第k個突起和第k+6個突起(幀編號Fk_7，F(xiàn)k, Fk+6)包括在最優(yōu)路徑中。此外，第k-7個 突起處的節(jié)拍間隔(等同于在相對應節(jié)點處的節(jié)拍間隔)為dk_7，并且第k個突起處的節(jié)拍 間隔為dk。對于這些突起，首先，節(jié)拍確定單元162取包括在最優(yōu)路徑中的突起的位置作為 音樂片段的節(jié)拍位置。然后，節(jié)拍確定單元162根據(jù)各個突起處的節(jié)拍間隔在包括在最優(yōu) 路徑中的相鄰突起之間布置補充節(jié)拍。此時，節(jié)拍確定單元162首先確定補充節(jié)拍的數(shù)目 以在最優(yōu)路徑上彼此相鄰的突起之間布置節(jié)拍。例如，如圖33所示，節(jié)拍確定單元162取 兩個相鄰突起的位置為Fh和Fh+1，并且突起位置Fh處的節(jié)拍間隔為dh。在此情況中，將布置 在Fh和間的補充節(jié)拍的數(shù)目Bfill由下面的等式給出。[公式9] Bfill = Round
廣 F -F、 1h+l 1h
ν dh y
...(13)這里，RoimdC..)表示將“...”圓整為最近的整數(shù)。根據(jù)上面的式(13)，將由節(jié) 拍確定單元162布置的補充節(jié)拍的數(shù)目為通過以下計算獲得數(shù)將相鄰突起之間的間隔除 以節(jié)拍間隔獲得的值圓整為最近的整數(shù)，然后考慮到柵欄(fenc印ost)問題而從所獲得的 整數(shù)中減去1。接下來，節(jié)拍確定單元162通過所確定的節(jié)拍數(shù)目將補充節(jié)拍布置在最優(yōu)路徑上 彼此相鄰的突起之間，以使得節(jié)拍以相等的間隔排列。在圖32(C)中，示出了布置了補充節(jié) 拍后的突起。在(C)的示例中，兩個補充節(jié)拍被布置在第k-7個突起與第k個突起之間，并 且兩個補充節(jié)拍被布置在第k個突起與第k+6個突起之間。應當注意，由節(jié)拍確定單元162 提供的補充節(jié)拍的位置不一定與突起檢測單元152檢測到的突起的位置相對應。利用這種 配置，可以確定節(jié)拍的位置，而不受節(jié)拍位置之外的局部產生的聲音的影響。此外，甚至在 節(jié)拍位置處存在休止符而不產生聲音的情況中，也可以適當?shù)卣莆展?jié)拍位置。以這種方式 由節(jié)拍確定單元162確定的節(jié)拍位置的列表(包括最優(yōu)路徑上的突起以及由節(jié)拍確定單元 162布置的補充節(jié)拍)被輸入節(jié)奏修訂單元164中。節(jié)奏修訂單元164修訂由節(jié)拍確定單元162確定的節(jié)拍位置所指示的節(jié)奏。修訂 之前的節(jié)奏可能是音樂片段的原始節(jié)奏的恒定倍數(shù)，例如2倍、1/2倍、3/2倍、2/3倍等(參 考圖34)。因此，節(jié)奏修訂單元164修訂被錯誤地掌握為恒定倍數(shù)的節(jié)奏，并重現(xiàn)音樂片段 的原始節(jié)奏。這里，參考示出了由節(jié)拍確定單元162確定的節(jié)拍位置的圖案的圖34的示例。 在圖34的示例中，在圖中所示的時間范圍中，6個節(jié)拍被包括用于圖案(A)。作為對比，對 于圖案(B)，12個節(jié)拍包括在相同的時間范圍中。S卩，以圖案(A)的節(jié)拍位置為基準，圖案
28(B)的節(jié)拍位置指示了 2倍的節(jié)奏。另一方面，對于圖案(C_l)，3個節(jié)拍包括在相同時間范圍中。S卩，以圖案㈧的節(jié) 拍位置為基準，圖案(C-I)的節(jié)拍位置指示了 1/2倍的節(jié)奏。此外，對于圖案(C-2)，與圖案 (C-I) 一樣，3個節(jié)拍包括在相同時間范圍中，并且因此，以圖案㈧的節(jié)拍位置為基準指示 了 1/2倍的節(jié)奏。然而，圖案(C-I)和圖案(C-2)因在根據(jù)基準節(jié)奏改變節(jié)奏時將余下的 節(jié)拍位置而彼此不同。例如通過下面的過程(Si)至(S3)來執(zhí)行節(jié)奏修訂單元164的節(jié)奏 修訂。(Si)確定基于波形估計出的估計節(jié)奏(S2)確定多個倍率中的最優(yōu)基本倍率(S3)重復(S2)直到基本倍率為1首先，將對(Si)確定基于波形估計出的估計節(jié)奏進行說明。節(jié)奏修訂單元164確 定估計節(jié)奏，該估計節(jié)奏是根據(jù)出現(xiàn)在音頻信號的波形中的聲音特征被估計為是適當?shù)摹?例如，由中公開的學習算法生成的特征量計算公式生成裝置10或用于估計節(jié)奏辨別的計 算公式(估計節(jié)奏辨別公式)被用于估計節(jié)奏的確定。例如，如圖35所示，多個音樂片段 的對數(shù)譜作為評估數(shù)據(jù)被提供到特征量計算公式生成裝置10中。在圖35的示例中，提供 了對數(shù)譜LSl和LSn。此外，通過人類聽音樂片段而判定為正確的節(jié)奏被提供作為教員數(shù) 據(jù)。在圖35的示例中，提供了每個對數(shù)譜的正確節(jié)奏(LSI 100, ...，LSn 60)?；诙嘟M 這種評估數(shù)據(jù)和教員數(shù)據(jù)生成了估計節(jié)奏辨別公式。節(jié)奏修訂單元164利用所生成的估計 節(jié)奏辨別公式來計算處理過的片段的估計節(jié)奏。接下來，將說明(S2)確定多個倍率中的最優(yōu)基本倍率。節(jié)奏修訂單元164從多個 基本倍率中確定使修訂后的節(jié)奏最接近音樂片段的原始節(jié)奏的基本倍率。這里，基本倍率 是作為用于修訂節(jié)奏的恒定比的基本單位的倍率。例如，將七種類型的倍率，即，1/3，1/2， 2/3，1，3/2，2和3中的任一種用作基本倍率。然而，本發(fā)明的應用范圍不限于這些示例，并 且基本倍率例如可以是五種類型的倍率，即1/3，1/2，1，2和3中的任一種。為了確定最優(yōu) 基本倍率，節(jié)奏修訂單元164首先通過各個基本倍率計算修訂了節(jié)拍位置后的平均節(jié)拍概 率。然而，在基本倍率為1的情況中，平均節(jié)拍概率是針對未修訂節(jié)拍位置的情況來計算 的。例如，由節(jié)奏修訂單元164通過如圖36所示的方法來針對每個基本倍率計算平均節(jié)拍 概率。在圖36中，在時間軸上用多邊形線示出了由節(jié)拍概率計算單元142計算出的節(jié)拍 概率。此外，在縱軸上示出了根據(jù)倍率中的任意一個修訂后的三個節(jié)拍的幀編號Fh_1; Fh和 Fh+1。這里，當幀編號Fh處的節(jié)拍概率為BP (h)時，根據(jù)倍率r修訂過的節(jié)拍位置組F (r)的 平均節(jié)拍概率BPAve(r)由下面的式(14)給出。這里，m(r)是包括在組F(r)中的幀編號的 片段數(shù)。[公式10] BPAVG(r)=Z_;)BP(h)
m(r) ... (14) 如利用圖34的圖案(C-I)和(C-2)所述的，在基本倍率r為1/2的情況中，存在用于節(jié)拍位置的兩種類型的候選圖案。在這種情況中，節(jié)奏修訂單元164計算用于節(jié)拍位 置的兩種類型的候選圖案中的每種的平均節(jié)拍概率BPAve(r)，并且采用具有較高平均節(jié)拍 概率BPAve(r)的節(jié)拍位置作為根據(jù)倍率r = 1/2修訂過的節(jié)拍位置。類似地，在倍率為1/3 的情況中，存在用于節(jié)拍位置的三種類型的候選圖案。因此，節(jié)奏修訂單元164計算用于節(jié) 拍位置的三種類型的候選圖案中的每種的平均節(jié)拍概率BPAve(r)，并且采用具有最高平均 節(jié)拍概率BPAve(r)的節(jié)拍位置作為根據(jù)倍率r = 1/3修訂過的節(jié)拍位置。在計算出了針對每個基本倍率的平均節(jié)拍概率之后，節(jié)奏修訂單元164基于估計 出的節(jié)奏和平均節(jié)拍概率，計算針對每個基本倍率的修訂后的節(jié)奏的似然度(likelihood) (此后，稱為節(jié)奏似然度)?？梢杂闷骄?jié)拍概率與以估計出的節(jié)奏為中心的高斯分布所示 的節(jié)奏概率之積來表達節(jié)奏似然度。例如，圖37所示的節(jié)奏似然度是由節(jié)奏修訂單元164 計算出的。圖37 (A)示出了節(jié)奏修訂單元164針對各個倍率計算出的平均節(jié)拍概率。此外，圖 37(B)以高斯分布的形式示出了節(jié)奏概率，該高斯分布是由預先給出的特定方差Ql確定 的并且以節(jié)奏修訂單元164基于音頻信號的波形估計出的估計節(jié)奏為中心。此外，圖37(A) 和37 (B)的橫軸表示根據(jù)每個倍率對節(jié)拍位置進行修訂后的節(jié)奏的對數(shù)。節(jié)奏修訂單元 164通過將平均節(jié)拍概率與節(jié)奏概率彼此相乘來針對各個基本倍率計算(C)中所示的節(jié)奏 似然度。在圖37的示例中，雖然平均節(jié)拍概率在基本倍率為1和基本倍率為1/2時幾乎相 同，然而，被修訂為1/2倍的節(jié)奏更接近于估計出的節(jié)奏(節(jié)奏概率更高)。因此，針對被修 訂為1/2倍的節(jié)奏，計算出的節(jié)奏似然度更高。節(jié)奏修訂單元164以這種方式計算節(jié)奏似 然度，并且將產生最高節(jié)奏似然度的基本倍率確定為用來使修訂后的節(jié)奏最接近音樂片段 的原始節(jié)奏的基本倍率。以這種方式，通過在確定可能節(jié)奏時將可從估計節(jié)奏獲得的節(jié)奏概率考慮在內， 可以從作為恒定倍數(shù)關系的節(jié)奏的并且基于聲音的局部波形難以辨別彼此的候選者中，準 確地確定適當?shù)墓?jié)奏。當以這種方式對節(jié)奏進行修訂后，節(jié)奏修訂單元164執(zhí)行(S3)重復 (S2)直到基本倍率為1。具體地，節(jié)奏修訂單元164重復平均節(jié)拍概率的計算以及針對每 個基本倍率的節(jié)奏似然度的計算，直到產生最高節(jié)奏似然度的基本倍率為1為止。結果，即 使在節(jié)奏修訂單元164修訂之前的節(jié)奏為音樂片段的原始節(jié)奏的1/4倍、1/6倍、4倍、6倍 等，也可以利用通過基本倍率的組合(例如，1/2倍X 1/2倍=1/4倍)獲得的用于修訂的 適當倍率來修訂節(jié)奏。這里，參考圖38，簡要描述節(jié)奏修訂單元164的修訂處理。如圖38所示，首先，節(jié) 奏修訂單元164利用由特征量計算公式生成裝置10預先獲得的估計節(jié)奏辨別公式來從音 頻信號確定估計節(jié)奏(S1442)。接下來，節(jié)奏修訂單元164順序地執(zhí)行針對多個基本倍率 (例如1/3、1/2等)的循環(huán)(S1444)。在循環(huán)中，節(jié)奏修訂單元164根據(jù)每個基本倍率來改 變節(jié)拍位置并且修訂節(jié)奏(S1446)。接下來，節(jié)奏修訂單元164計算修訂后的節(jié)拍位置的平 均節(jié)拍概率(S1448)。接下來，節(jié)奏修訂單元164基于在S1448處計算出的平均節(jié)拍概率以 及在S1442處確定的估計出的節(jié)奏來計算針對每個基本倍率的節(jié)奏似然度(S1450)。然后，當針對所有基本倍率的循環(huán)結束后(S1452)，節(jié)奏修訂單元164確定產生最 高節(jié)奏似然度的基本倍率(S1454)。然后，節(jié)奏修訂單元164判斷產生最高節(jié)奏似然度的基 本倍率是否為1(S1456)。如果產生最高節(jié)奏似然度的基本倍率為1，則節(jié)奏修訂單元164
30結束修訂處理。另一方面，當產生最高節(jié)奏似然度的基本倍率不為1時，節(jié)奏修訂單元164 返回步驟S1444的處理。由此，基于根據(jù)產生最高節(jié)奏似然度的基本倍率修訂的節(jié)奏(節(jié) 拍位置)來再次進行根據(jù)任一基本倍率的節(jié)奏的修訂。到此為止，已描述了節(jié)拍檢測單元116的配置。平滑單元114基于以上述方式檢 測到的節(jié)拍位置信息來對每個節(jié)拍區(qū)間的旋律線進行平滑，并且將其輸出為旋律線的檢測 結果。此外，節(jié)拍檢測單元116的檢測結果被輸入到和弦概率檢測單元120中(參考圖2)。(2-9-2.和弦概率檢測單元120的配置示例)和弦概率檢測單元120計算在節(jié)拍分析單元144檢測到的每個節(jié)拍的節(jié)拍區(qū)間中 演奏的每個和弦的概率(此后稱為和弦概率)。如上所述，由和弦概率檢測單元120計算 出的和弦概率供基調檢測單元118的基調檢測處理使用。如圖39所示，和弦概率檢測單元 120包括節(jié)拍區(qū)間特征量計算單元172、根音(root)特征量準備單元174和和弦概率計算 單元176。如上所述，對數(shù)譜以及由節(jié)拍檢測單元116檢測到的節(jié)拍位置的信息被輸入到和 弦概率檢測單元120中。因此，節(jié)拍區(qū)間特征量計算單元172相對于節(jié)拍分析單元144檢 測到的每個節(jié)拍，計算每個音符的能量，作為表示節(jié)拍區(qū)間中的音頻信號的特征的節(jié)拍區(qū) 間特征量。節(jié)拍區(qū)間特征量計算單元172計算每個音符的能量作為節(jié)拍區(qū)間特征量，并且 將其輸入根音特征量準備單元174。根音特征量準備單元174基于從節(jié)拍區(qū)間特征量計算 單元172輸入的每個音符的能量，來針對每個節(jié)拍區(qū)間生成用于計算和弦概率的根音特征 量。例如，根音特征量準備單元174通過圖40和41所示的方法生成根音特征量。首先，根音特征量準備單元174針對所關注的節(jié)拍區(qū)間BDi,提取所關注節(jié)拍區(qū)間 BDi以及之前和之后的N個區(qū)間的每12個音符的能量(亦稱為“2N+1個區(qū)間”)(參考圖 40)。所關注節(jié)拍區(qū)間BDi以及之前和之后的N個區(qū)間的每12個音符的能量可以被當作和 弦的以音符C為根音(基本音符)的特征量。在圖40的示例中，由于N為2，因此，提取出 以音符C為根音的五個區(qū)間(12X5個維度)的根音特征量。接下來，根音特征量準備單元 174通過將以音符C為根音的五個區(qū)間的根音特征量的12個音符的元素位置轉移特定數(shù) 目，來生成11個分離的根音特征量，每個根音特征量針對五個區(qū)間并且每個根音特征量以 音符C#至音符B中的任一個作為根音(參考圖41)。此外，對于以音符C#作為根音的情 況，元素位置被轉移的轉移數(shù)目為1，對于以音符D作為根音的情況轉移數(shù)目為2，...，并且 對于以音符B作為根音的情況轉移數(shù)目為11。結果，由根音特征量準備單元174針對每12 個音符生成了分別以12個音符(從音符C到音符B)中的一個作為根音的根音特征量(分 別為12X5維)。根音特征量準備單元174針對所有節(jié)拍區(qū)間執(zhí)行如上所述的根音特征量生成處 理，并且準備供計算每個區(qū)間的和弦概率使用的根音特征量。此外，在圖40和41的示例中， 為一個節(jié)拍區(qū)間準備的特征量為12X5X12維的向量。由根音特征量準備單元174生成的 根音特征量被輸入和弦概率計算單元176。和弦概率計算單元176利用從根音特征量準備 單元174輸入的根音特征量，針對每個節(jié)拍區(qū)間計算每個和弦被演奏的概率(和弦概率)。 這里的“每個和弦”例如是指基于根音(C，C#，D，...)、組分音符的數(shù)目(三和弦、第7和弦、 第9和弦)、音調性(大/小)等進行辨別的和弦的每個。例如可以將通過logistic回歸 分析預先學習到的和弦概率公式用于計算和弦概率。
例如，和弦概率計算單元176通過圖42所示的方法來生成用于計算和弦概率的和 弦概率公式。針對每種類型的和弦來執(zhí)行和弦概率公式的學習。即，針對如下和弦概率公 式的每個來執(zhí)行下述的學習處理例如，針對大和弦(major chord)的和弦概率公式、針對 小和弦(minor chord)的和弦概率公式、針對第7和弦的和弦概率公式以及針對第9和弦 的和弦概率公式。首先，用于已知了其正確和弦的節(jié)拍區(qū)間的多個根音特征量(例如，利用圖41描 述的12X5X12維向量)被提供作為用于logistic回歸分析的獨立變量。此外，用于預測 logistic回歸分析的生成概率的偽數(shù)據(jù)(dummydata)被提供用于每個節(jié)拍區(qū)間的根音特 征量的每個。例如，當針對大和弦學習和弦概率公式時，如果已知和弦為大和弦，則偽數(shù)據(jù) 的值為真值(1)，并且對于任何其它情況偽數(shù)據(jù)的值為假值(0)。另一方面，當針對小和弦 學習和弦概率公式時，如果已知和弦為小和弦則偽數(shù)據(jù)的值為真值(1)，并且對于任何其它 情況偽數(shù)據(jù)的值為假值(0)。對于第7和弦和第9和弦也可以如此。通過例如如上所述的獨立變量和偽數(shù)據(jù)來針對足夠數(shù)目的根音特征量(其每個 針對一節(jié)拍區(qū)間)執(zhí)行l(wèi)ogistic回歸分析，生成了用于從每個節(jié)拍區(qū)間的根音特征量計算 和弦概率的和弦概率公式。然后，和弦概率計算單元176將從根音特征量生產單元174輸 入的根音特征量應用于所生成的和弦概率公式，并且順序地計算針對每個節(jié)拍區(qū)間的各個 類型的和弦的和弦概率。例如通過圖43所示的方法來執(zhí)行和弦概率計算單元176的和弦 概率計算處理。在圖43(A)中，示出了每個節(jié)拍區(qū)間的根音特征量中以音符C為根音的根 音特征量。例如，和弦概率計算單元176將針對大和弦的和弦概率公式應用于以音符C為根 音的根音特征量，并且針對每個節(jié)拍區(qū)計算和弦為“C”的和弦概率CP。。此外，和弦概率計 算單元176將針對小和弦的和弦概率公式應用于以音符C為根音的根音特征量，并且針對 每個節(jié)拍區(qū)計算和弦為“Cm”的和弦概率CP。m。以類似方式，和弦概率計算單元176將針對 大和弦的和弦概率公式以及針對小和弦的和弦概率公式應用于以音符C#為根音的根音特 征量，并且可以計算和弦為“C#”的和弦概率CPra以及和弦為“C#m”的和弦概率CPc#m。以相 同的方式(C)，計算出針對和弦“B”的和弦概率CPb以及針對和弦“Bm”的和弦概率CPBm。如圖44所示的和弦概率是通過上述方法由和弦概率計算單元176計算出的。 參考圖44，對于從音符C到音符B的12個音符的每個，針對某個節(jié)拍區(qū)間、針對諸如 "Maj (major)，” "m (minor)，” “7 (7th) ” 和"m7minor (7th) ” 之類的和弦來計算和弦概率。 根據(jù)圖44的示例，和弦概率CPe為0. 88，和弦概率CPem為0. 08，和弦概率CPe7為0. 01，和弦 概率CPqii7* 0.02，并且弦概率CPb* 0.01。其他類型的和弦概率都指示為0。此外，當以 上述方式改變針對多個類型的和弦的和弦概率后，和弦概率計算單元176以使得每個節(jié)拍 區(qū)間的計算出的概率值的總和變?yōu)?的方式來歸一化概率值。針對包括在音頻信號中的所 有節(jié)拍區(qū)間來重復如上所述的和弦概率計算單元176針對和弦概率的計算和歸一化處理。和弦概率檢測單元120通過如上所述的節(jié)拍區(qū)間特征量計算單元172、根音特征 量準備單元174和和弦概率計算單元176的處理來計算和弦概率。然后，由和弦概率檢測 單元120計算出的和弦概率被輸入到基調檢測單元118(參考圖2)。(2-9-3.基調檢測單元118的配置示例)接下來，將描述基調檢測單元118的配置。如上所述，由和弦概率檢測單元120計單元118?；{檢測單元118是用于利用和弦概率檢測 單元120針對每個節(jié)拍區(qū)間計算出的和弦概率檢測每個節(jié)拍區(qū)間的基調(音調性/基本音 階)的裝置。如圖45所示，基調檢測單元118包括相對和弦概率生成單元182、特征量準備 單元184、基調概率計算單元186以及基調確定單元188。首先，和弦概率由和弦概率檢測單元120輸入到相對和弦概率生成單元182。相 對和弦概率生成單元182根據(jù)從和弦概率檢測單元120輸入的針對每個節(jié)拍區(qū)間的和弦概 率，來生成用于計算每個節(jié)拍區(qū)間的基調概率的相對和弦概率。例如，相對和弦概率生成單 元182通過如圖46所示的方法來生成相對和弦概率。首先，相對和弦概率生成單元182從 某個所關注節(jié)拍區(qū)間的和弦概率中，提取與大和弦和小和弦有關的和弦概率。這里所提取 的和弦概率值被表達為總計24維度的向量，S卩，用于大和弦的12個音符以及用于小和弦的 12個音符。下面，把包括這里所提取的和弦概率值的24維向量當作假設以音符C作為基調 的相對和弦概率。接下來，相對和弦概率生成單元182將針對大和弦和小和弦的所提取和弦概率的 12個音符的元素位置轉移特定數(shù)目。通過以這種方式進行轉移，生成了 11個分離的相對和 弦概率。此外，轉移元素位置的轉移數(shù)目與例如圖41所述的生成根音特征量時的轉移數(shù)目 相同。以這種方式，相對和弦概率生成單元182生成了 12個分離的相對和弦概率，每個和 弦概率假設以從音符C到音符B的12個音符之一作為基調。相對和弦概率生成單元182 針對所有節(jié)拍區(qū)間執(zhí)行如上所述的相對和弦概率生成處理，并且將所生產的相對和弦概率 輸入到特征量準備單元184。特征量準備單元184生成用于計算每個節(jié)拍區(qū)間的基調概率的特征量。從相對和 弦概率生成單元182輸入到特征量準備單元184的根據(jù)相對和弦概率生成的針對每個節(jié)拍 區(qū)間的和弦出現(xiàn)得分以及和弦轉變出現(xiàn)得分被用作將由特征量準備單元184生成的特征量。首先，特征量準備單元184通過如圖47所示的方法生成每個節(jié)拍區(qū)間的和弦出現(xiàn) 得分。首先，特征量準備單元184為所關注節(jié)拍區(qū)間以及之前和之后的M個節(jié)拍區(qū)間提供假 設音符C為基調的相對和弦概率CP。然后，特征量準備單元184將所關注節(jié)拍區(qū)間以及之 前和之后的M個區(qū)間中的相同位置處的元素的概率值(概率值包括在假設音符C為基調的 相對和弦概率中)加起來。結果，獲得了和弦出現(xiàn)得分(CEc，CEcfl, ... , CEbJ (24維向量)， 這是根據(jù)每個和弦的出現(xiàn)概率的，出現(xiàn)概率是針對所關注節(jié)拍區(qū)間以及所關注節(jié)拍區(qū)間周 圍的多個節(jié)拍區(qū)間的并且假設音符C為基調。特征量準備單元184針對假設以從音符C到 音符B的12個音符之一為基調的每個情況，執(zhí)行如上所述的和弦出現(xiàn)得分計算。根據(jù)該計 算，獲得了針對一個所關注節(jié)拍區(qū)間的12個分離的和弦出現(xiàn)得分。接下來，特征量準備單元184通過如圖48所示的方法來生成針對每個節(jié)拍區(qū)間 的和弦轉變出現(xiàn)得分。首先，特征量準備單元184首先相對于節(jié)拍區(qū)間BDi和相鄰的節(jié)拍 區(qū)間BDi+1之間的所有對的和弦(所有和弦轉變)，將和弦轉變之前和之后的相對和弦概率 彼此相乘，相對和弦概率假設音符C為基調。這里，“所有對的和弦”是指24X 24對，即， “C”一 “C，” “C”一 “C#，” “C”一 “D，”...，“B”一 “B”。接下來，特征量準備單元 184 針對 所關注節(jié)拍區(qū)間以及之前和之后的M個區(qū)間，將和弦轉換之前和之后的相對和弦概率的相 乘結果加起來。結果，獲得了 24X24維和弦轉變出現(xiàn)得分(24X24維向量)，這是根據(jù)每個
33和弦轉變的出現(xiàn)概率的，出現(xiàn)概率是針對所關注節(jié)拍區(qū)間以及所關注節(jié)拍區(qū)間周圍的多個 節(jié)拍區(qū)間的并且假設音符C為基調。例如，針對所關注節(jié)拍區(qū)間BDi的與從“C”到“C#”的 和弦轉變有關的和弦轉變出現(xiàn)得分CTpc#(i)由下面的式(15)給出。[公式11]CTc —c#(i) = CPc(i-M) · CPc#(i-M+l)+. . . +CPc(i+M) · CPc#(i+M+l) ...(15)以這種方式，特征量準備單元184針對假設以從音符C到音符B的12個音符之一 為基調的每個情況，執(zhí)行上述24X24個針對和弦轉變出現(xiàn)得分CT的單獨計算。根據(jù)該計 算，獲得了針對所關注節(jié)拍區(qū)間的12個分離的和弦轉變出現(xiàn)得分。此外，與易于針對每個 節(jié)線改變的基調不同，在較長時段的許多情況中，音樂片段的基調保持不變。因此，定義了 將用于計算和弦出現(xiàn)得分或和弦轉變出現(xiàn)得分的相對和弦概率范圍的值M例如適當?shù)貫?可以包括諸如數(shù)十個節(jié)拍之類的多個節(jié)線的值。特征量準備單元184將針對每個節(jié)拍區(qū)間 計算出的24維和弦出現(xiàn)得分CE以及24X24維和弦轉變出現(xiàn)得分作為用于計算基調概率 的特征量輸入到基調概率計算單元186?；{概率計算單元186利用從特征量準備單元184輸入的和弦出現(xiàn)得分以及和 弦轉變出現(xiàn)得分，針對每個節(jié)拍區(qū)間計算指示每個基調被演奏的概率的基調概率。“每個基 調”是指例如基于12個音符(C，C#, D,...)或音調性(大/小)進行辨別的基調。例如， 通過logistic回歸分析預先學習到的基調概率公式被用于計算基調概率。例如，基調概率 計算單元186通過如圖49所示的方法來生成用于計算基調概率的基調概率公式。獨立地 針對大調和小調來執(zhí)行基調概率公式的學習。因此，生成了大調概率公式和小調概率公式。如圖49所示，已知了其正確基調的各個節(jié)拍區(qū)間的多個和弦出現(xiàn)得分以及和弦 行進出現(xiàn)得分被提供作為logistic回歸分析中的獨立變量。接下來，為所提供的每對和弦 出現(xiàn)得分以及和弦行進出現(xiàn)得分提供用于預測logistic回歸分析的生成概率的偽數(shù)據(jù)。 例如，當學習大調概率公式時，如果已知基調為大調，則偽數(shù)據(jù)的值為真值(1)，并且對于任 何其他情況，偽數(shù)據(jù)的值為假值(0)。此外，當學習小調概率公式時，如果已知基調為小調， 則偽數(shù)據(jù)的值為真值(1)，并且對于任何其他情況，偽數(shù)據(jù)的值為假值(0)。通過利用足夠數(shù)目的獨立變量對以及偽數(shù)據(jù)來執(zhí)行l(wèi)ogistic回歸分析，從每個 節(jié)拍區(qū)間的和弦出現(xiàn)得分與和弦行進出現(xiàn)得分對，生成了用于計算大調或小調的概率的基 調概率公式。基調概率計算單元186將從特征量準備單元184輸入的和弦出現(xiàn)得分與和弦 行進出現(xiàn)得分對應用到每個基調概率公式，并且順序地計算每個節(jié)拍區(qū)間的各個基調的基 調概率。例如，通過如圖50所示的方法來計算基調概率。例如，在圖50 (A)中，基調概率計算單元186將假設音符C為基調的和弦出現(xiàn)得分 與和弦行進出現(xiàn)得分對應用到通過學習預先獲得的大調概率公式，并且針對每個節(jié)拍區(qū)間 計算基調為“C”的基調概率KP。。此外，基調概率計算單元186將假設音符C為基調的和弦 出現(xiàn)得分與和弦行進出現(xiàn)得分對應用到小調概率公式，并且針對相對應的節(jié)拍區(qū)間計算基 調為“Cm”的基調概率KP。m。類似地，基調概率計算單元186將假設音符C#為基調的和弦 出現(xiàn)得分與和弦行進出現(xiàn)得分對應用到大調概率公式和小調概率公式，并且計算基調概率 KPcfl和KPesm(B)?；{概率KPb和KPBm的計算也可以如此(C)。通過這種計算，例如計算出了如圖51所示的基調概率。參考圖51，針對從音符C到音符B的12個音符的每個的某個節(jié)拍區(qū)間計算了兩種類型的基調概率，每種都針對 "Maj (major)，，和“m (minor) ”。根據(jù)圖51的示例，基調概率KPc為0. 90，并且基調概率KPcm 為0.03。此外，除上述基調概率之外的基調概率值都指示0。在計算了所有類型的基調的 基調概率之后，基調概率計算單元186以使得每個節(jié)拍區(qū)間的計算出的概率值的總和變?yōu)?1的方式來歸一化概率值。針對包括在音頻信號中的所有節(jié)拍區(qū)間重復如上所述的基調概 率計算單元186的計算和歸一化處理。以這種方式針對每個節(jié)拍區(qū)間計算出的每個基調的 基調概率被輸入到基調確定單元188?；{確定單元188基于基調概率計算單元186針對每個節(jié)拍區(qū)間計算出的每個基 調的基調概率，來通過路徑搜索確定可能的基調行進。例如將上述的維特比算法用作基調 確定單元188的路徑搜索方法。例如通過如圖52所示的方法來執(zhí)行針對維特比路徑的路 徑搜索。此時，將節(jié)拍順序地排列作為時間軸(橫軸)，并且將基調類型排列作為觀察序列 (縱軸)。因此，基調確定單元188將所有對的基調類型與已由基調概率計算單元186計算 出了其基調概率的節(jié)拍中的每對作為路徑搜索的對象節(jié)點。相對于如上所述的節(jié)點，基調確定單元188在時間軸中順序地選擇節(jié)點中的任何 節(jié)點，并且利用兩個評估值(1)基調概率和(2)基調轉變概率來評估由所選擇的節(jié)點序列 形成的路徑。此外，在基調確定單元188選擇節(jié)點時，不允許跳過節(jié)拍。這里，將用于評估 的(1)基調概率是由基調概率計算單元186計算出的基調概率。向圖52所示的每個節(jié)點 給出基調概率。另一方面，(2)基調轉變概率是給予節(jié)點之間的轉變的評估值?；谝阎?了其正確基調的音樂片段中的轉調(modulation)出現(xiàn)概率，來針對每種模式的轉調預先 定義基調轉變概率。根據(jù)轉變的轉調量將12個單獨的值定義作為針對如下四種模式的基調轉變中的 每種的基調轉變概率從大到大，從大到小，從小到小以及從小到大。圖53示出了根據(jù)從大 到大的基調轉變的轉調量的12個單獨的概率值的示例。在圖53的示例中，當與轉調量Ak 有關的基調轉變概率為Pr (Ak)時，基調轉變概率Pr(O)為0. 9987。這表明音樂片段中的基 調改變概率很小。另一方面，基調轉變概率Pr(I)為0.0002。這表明基調通過一個音高升 高(或通過11個音高降低)的概率為0.02%。類似地，在圖53的示1例中，Pr⑵，Pr (3)， Pr (4)，Pr (5)，Pr (7)，Pr (8)，Pr (9)禾口 Pr(IO)分別為 0.0001。此夕hPr(6)禾口 Pr(Il)分別 為0. 0000。還分別針對如下轉變模式中的每種模式定義了根據(jù)轉調量的12個單獨的概率 值從大到小，從小到大，以及從小到小?；{確定單元188相對于表示基調行進的每條路徑，順序地將包括在路徑中的每 個節(jié)點的(1)基調概率與給予節(jié)點之間的轉變的(2)基調轉變概率彼此相乘。然后，基調 確定單元188將作為路徑評估值的乘法結果最大的路徑確定為表示可能的基調行進的最 優(yōu)路徑。例如，基調確定單元188確定了如圖54所示的基調行進。在圖54中，在從音樂片 段的開始到結束的時間量程下，示出了由基調確定單元188確定的音樂片段的基調行進示 例。在此示例中，在從音樂片段開始起的三分鐘內，音樂片段的基調為“Cm”。然后，音樂片 段的基調改變?yōu)椤癈#m”，并且基調保持不變直到音樂片段結束為止。以這種方式通過相對和 弦概率生成單元182、特征量準備單元184、基調概率計算單元186以及基調確定單元188 的處理確定的基調行進被輸入到旋律線確定單元112中(參考圖2)。到此為止，已詳細描述了節(jié)拍檢測單元116、和弦概率檢測單元120和基調檢測單
35元118的配置。如上所述，由節(jié)拍檢測單元116檢測到的音樂片段的節(jié)拍供和弦概率檢測 單元120和平滑單元114使用。此外，由和弦概率檢測單元120計算出的和弦概率供基調 檢測單元118使用。此外，由基調檢測單元118檢測到的基調行進供旋律線確定單元112 使用。根據(jù)這種配置，可由信息處理裝置100從音樂數(shù)據(jù)中高準確度地提取出旋律線。(2-10.硬件配置(信息處理裝置100))例如可以通過圖55所示的硬件配置以及利用用于實現(xiàn)上述功能的計算機程序來 實現(xiàn)上述裝置的各個結構元件的功能。圖55是示出能夠實現(xiàn)上述裝置的各個結構元件的 能夠的信息處理裝置的硬件配置的說明圖。信息處理裝置的模式是任意的，并且包括諸如 移動信息終端(例如個人計算機、移動電話、PHS或PDA)、游戲機或各種類型的信息應用之 類的模式。此外，PHS是個人手持電話系統(tǒng)的縮寫。而且，PDA是個人數(shù)字助理的縮寫。如圖55所示，信息處理裝置100包括CPU 902,ROM 904、RAM906、主機總線908、橋 接器910、外部總線912和接口 914。此外，信息處理裝置100包括輸入單元916、輸出單元 918、存儲單元920、驅動器922、連接端口 924以及通信單元926。此外，CPU是中央處理單 元的縮寫。此外，ROM是只讀存儲器的縮寫。此外，RAM是隨機存取存儲器的縮寫。CPU 902用作例如運算處理單元或控制單元，并且基于記錄在R0M904、RAM 906、 存儲單元920或可移除記錄介質928上的各種程序來控制結構元件的整體操作或結構元件 的一些。ROM 904例如存儲載入CPU902的程序以及在運算操作中使用的數(shù)據(jù)等。RAM 906 例如臨時地或永久地存儲載入CPU 902的程序或者在程序執(zhí)行時任意改變的各種參數(shù)等。 這些結構元件例如通過可以執(zhí)行高速數(shù)據(jù)傳輸?shù)闹鳈C總線908彼此相連。主機總線908例 如通過橋接器910連接到數(shù)據(jù)傳輸速度相對低的外部總線912。輸入單元916例如是諸如鼠標、鍵盤、觸控板、按鈕、開關或操作桿之類的操作裝 置。輸入單元916可以是利用紅外線或其它電波發(fā)送控制信號的遙控裝置(所謂的遙控 器)。輸入單元916包括輸入控制電路等，來將利用上述操作裝置輸入的信息作為輸入信號 發(fā)送到CPU 902。輸出單元918例如是顯示設備，例如CRT、IXD、PDP或ELD。此外，輸出單元918是 這種設備諸如揚聲器或耳機之類的音頻輸出設備、打印機、移動電話，或者可以通過視覺 或聽覺向用戶通知所獲取的信息的傳真機。存儲單元920是存儲各種數(shù)據(jù)的設備，并且包 括例如諸如HDD之類的磁存儲設備、半導體存儲設備、光存儲設備或者磁至光存儲設備。此 外，CRT是陰極射線管的縮寫。而且，IXD是液晶顯示器的縮寫。此外，PDP是等離子顯示面 板的縮寫。此外，ELD是電致發(fā)光顯示器的縮寫。此外，HDD是硬盤驅動器的縮寫。驅動器922是讀取記錄在可移除記錄介質928上的信息或者將信息寫入可移除記 錄介質928的設備，可移除記錄介質928例如是磁盤、光盤、磁至光盤或半導體存儲器?？?移除記錄介質928例如是DVD介質、藍光介質或者HD-DVD介質。此外，可移除記錄介質928 例如是致密閃存(CF;CompactFlash)(注冊商標)、存儲棒或者SD存儲卡。當然，可移除記 錄介質928例如可以是安裝有非接觸式IC芯片的IC卡。此外，SD是安全數(shù)字的縮寫。而 且，IC是集成電路的縮寫。連接端口 924 是諸如 USB 端 口、IEEE1394 端 口、SCSI、RS-232C 端口之類的端 口， 或者用于連接諸如光學音頻端子之類的外部連接設備930的端口。外部連接設備930例如 是打印機、移動音樂播放器、數(shù)字相機、數(shù)字攝像機或IC記錄器。此外，USB是通用串行總線的縮寫。而且，SCSI是小型計算機系統(tǒng)接口的縮寫。通信單元926是連接到網絡932的通信設備。通信單元926例如是用于有線或無 線LAN、藍牙(注冊商標)或WUSB的通信卡、光通信路由器、ADSL路由器或各種通信調制解 調器。連接到通信單元926的網絡932包括有線連接的或無線連接的網絡。網絡932例如 是因特網、家庭用LAN、紅外通信、可見光通信、廣播或者衛(wèi)星通信。此外，LAN是局域網的縮 寫。而且，WUSB是無線USB的縮寫。此外，ADSL是非對稱數(shù)字訂戶線的縮寫。(2-11.總結)最后，簡要描述本實施例的信息處理裝置的功能配置以及由該功能配置獲得的效^ ο首先，根據(jù)本實施例的信息處理裝置的功能配置可以被描述為如下。信息處理裝 置包括如下的信號轉換單元、旋律線估計單元和旋律線確定單元。信號轉換單元用于將音 頻信號轉換為指示每個音高的信號強度的音高信號。通常將音頻信號給出為時間頻率空間 中的信號強度分布。然而，由于每個音高的中心頻率是成對數(shù)地分布的，因此，信號處理變 得復雜。因此，由信號轉換單元執(zhí)行到音高信號的轉換。將音頻信號轉換為時間頻率空間 中的音高信號使得能夠提高后面執(zhí)行的處理的效率。此外，旋律線概率估計單元用于估計音高信號的每個音高是旋律音符的概率(旋 律概率)。此時，旋律線概率估計單元針對音高信號的每幀(時間單位)來估計旋律概率。 例如，將已經描述過的學習算法用于旋律概率的估計。針對每幀估計出的旋律概率供旋律 線確定單元使用。旋律線確定單元用于基于每個音高是旋律音符的概率、由旋律概率估計 單元針對每幀估計出的概率，從音頻信號的開始幀到結束幀的音高的路徑中檢測最大似然 路徑，并且將最大似然路徑確定為旋律線。如所述的，旋律線不是通過使用學習算法并估計 整個旋律線而估計出的，而是通過利用學習算法基于針對每幀估計出的旋律概率來執(zhí)行路 徑搜索而估計出來的。結果，可以提高旋律線的估計準確度。此外，上述信息處理裝置還可以包括中心提取單元，用于在音頻信號為立體聲信 號的情況中，從立體聲信號中提取中心信號。通過包括中心提取單元，可以在從立體聲信號 估計旋律線時提高估計準確度。此外，在包括中心提取單元的情況中，信號轉換單元將中心 提取單元提取出的中心信號轉換為音高信號。然后，基于從中心信號轉換來的音高信號執(zhí) 行后續(xù)處理。此外，上述信息處理裝置還可以包括信號分類單元，用于將音頻信號歸為特定類 別。在這種情況中，旋律概率估計單元基于信號分類單元的分類結果來估計每個音高是旋 律音符的概率。此外，旋律線確定單元基于信號分類單元的分類結果來檢測最大似然路徑。 如上所述，旋律概率的估計是利用學習算法實現(xiàn)的。因此，通過分類來縮窄給予學習算法的 音頻信號(以及特征量)，可以估計出更可能的旋律概率。此外，在根據(jù)每個類別、每個節(jié)點 (每幀的音高)的概率以及節(jié)點之間的轉變的概率，通過加權來執(zhí)行路徑搜索時，可以提高 最大似然路徑(旋律線)的估計準確度。此外，上述信息處理裝置還包括音高分布估計單元，用于相對于音高信號在針對 每幀估計作為旋律音符的音高的期望值的同時，估計作為旋律音符的音高的標準偏差?？?以根據(jù)由音高分布估計單元估計出的期望值與標準偏差來獲得粗略的旋律概率分布。由 此，旋律線確定單元基于音高分布估計單元的估計結果來檢測最大似然路徑。以這種方式，
37通過將粗略旋律概率分布考慮在內，可以減少與八音度有關的檢測誤差。此外，還可以包括平滑單元，用于針對每個節(jié)拍區(qū)間對由旋律線確定單元確定的 旋律線的音高進行平滑。如所述的，由旋律線確定單元確定的旋律線是通過針對旋律概率 的估計處理以及路徑搜索處理估計出來的。因此，以每幀為單位包括了音高中的微小波動。 因此，平滑單元對每個節(jié)拍區(qū)間的音高進行平滑并且對旋律線成形。通過這種成形處理，輸 出了接近于實際旋律線的整潔的旋律線。此外，旋律概率估計單元可以被配置為通過將旋律線以及已知其旋律線的多個音 頻信號提供到能夠自動地生成用于提取任意音頻信號的特征量的計算公式的計算公式生 成裝置中，來生成用于提取每個音高是旋律音符的概率的計算公式，并且通過利用計算公 式來針對每幀估計出每個音高是旋律音符的概率，計算公式生成裝置利用多個音頻信號以 及每個音頻信號的特征量來自動地生成計算公式。如上所述，例如，利用特征量已知的音頻 信號進行學習處理而生成的計算公式被用于旋律概率的估計處理。通過使用足夠數(shù)量的音 頻信號進行學習處理，以高的準確率估計了旋律概率。此外，上述信息處理裝置還可以包括節(jié)拍檢測單元，用于檢測音頻信號的每個節(jié) 拍區(qū)間；和弦概率檢測單元，用于針對由所述節(jié)拍檢測單元檢測到的每個節(jié)拍區(qū)間，來檢測 每個和弦被演奏的概率；以及基調檢測單元，用于利用由所述和弦概率檢測單元針對每個 節(jié)拍區(qū)間檢測到的每個和弦被演奏的概率，來檢測音頻信號的基調。在此情況中，所述旋律 線確定單元基于由所述基調檢測單元檢測到的基調來檢測最大似然路徑。以這種方式，通 過在將音頻信號的基調考慮在內的情況下執(zhí)行路徑搜索，可以提高旋律線的估計準確度。 特別地，可以減小因顫音等引起的出現(xiàn)半音單位的檢測誤差的頻率。此外，上述信息處理裝置還可以包括信號轉換單元，用于將音頻信號轉換為表示 每個音高的信號強度的音高信號；低音概率估計單元，用于基于所述音高信號來針對每幀 估計每個音高是低音音符的概率；以及低音線確定單元，用于基于每個音高是低音音符的 概率，即由所述低音概率估計單元針對每幀估計出的概率，來從自音頻信號的開始幀到結 束幀的音高的路徑中，檢測最大似然路徑，并且將所述最大似然路徑確定為低音線。以這種 方式，上述信息處理裝置還可以以與旋律線的估計處理類似的方式來估計低音線。(備注)上述對數(shù)譜是音高信號的示例。上述對數(shù)譜分析單元104是信號轉換單元的示 例。上述維特比搜索是最大似然路徑檢測方法的示例。上述特征量計算公式生成裝置10 是計算公式生成裝置的示例。本領域的技術人員應當明白，可以根據(jù)設計要求和其它因素進行各種修改、組合、 子組合和變更，只要它們在所附權利要求或其等同物的范圍之內。在對實施例的說明中，描述了用于提取音樂片段的旋律線的方法。然而，本實施例 的技術還可以應用于用于提取低音線的方法。例如，通過將給出作為學習數(shù)據(jù)的有關旋律 線的信息改變?yōu)橛嘘P低音線的信息，可以利用基本上相同的配置從音樂數(shù)據(jù)中高準確度地 提取出低音線。本申請包含與2008年12月5日向日本特許廳提交的日本優(yōu)先專利申請JP 2008-311566中公開的主題有關的主題，該申請的全部內容通過引用結合于此。
權利要求
一種信息處理裝置，包括信號轉換單元，用于將音頻信號轉換為表示各個音高的信號強度的音高信號；旋律概率估計單元，用于基于所述音高信號來針對每幀估計各個音高是旋律音符的概率；以及旋律線確定單元，用于基于各個音高是旋律音符的概率，即由所述旋律概率估計單元針對每幀估計出的概率，來在從音頻信號的開始幀到結束幀的音高的路徑中，檢測最大似然路徑，并且將所述最大似然路徑確定為旋律線。
2.根據(jù)權利要求1所述的信息處理裝置，還包括中心提取單元，用于在所述音頻信號為立體聲信號的情況下，從所述立體聲信號提取 中心信號， 其中所述信號轉換單元將所述中心提取單元提取出的所述中心信號轉換為所述音高信號。
3.根據(jù)權利要求1所述的信息處理裝置，還包括 信號分類單元，用于將所述音頻信號分類為特定類別，其中，所述旋律概率估計單元基于所述信號分類單元的分類結果來估計各個音高是旋 律音符的概率，并且所述旋律線確定單元基于所述信號分類單元的分類結果來檢測所述最大似然路徑。
4.根據(jù)權利要求3所述的信息處理裝置，還包括音高分布估計單元，用于針對所述音高信號來估計每個特定時段中作為旋律音符的音 高的分布， 其中所述旋律線確定單元基于所述音高分布估計單元的估計結果來檢測所述最大似然路徑。
5.根據(jù)權利要求4所述的信息處理裝置，還包括平滑單元，用于針對每個節(jié)拍區(qū)間，對由所述旋律線確定單元確定的旋律線的音高進 行平滑。
6.根據(jù)權利要求1所述的信息處理裝置，其中所述旋律概率估計單元通過將旋律線已知的多個音頻信號以及旋律線提供到能自動 生成用于提取任意音頻信號的特征量的計算公式的計算公式生成裝置，來生成用于提取各 個音高是旋律音符的概率的計算公式，并且所述旋律概率估計單元通過利用所述計算公式 來針對每幀估計出各個音高是旋律音符的概率，所述計算公式生成裝置通過利用多個音頻 信號以及每個音頻信號的特征量來自動生成所述計算公式。
7.根據(jù)權利要求5所述的信息處理裝置，還包括 節(jié)拍檢測單元，用于檢測音頻信號的每個節(jié)拍區(qū)間；和弦概率檢測單元，用于針對由所述節(jié)拍檢測單元檢測到的每個節(jié)拍區(qū)間，來檢測每 個和弦被演奏的概率；以及基調檢測單元，用于利用由所述和弦概率檢測單元針對每個節(jié)拍區(qū)間檢測到的每個和 弦被演奏的概率，來檢測音頻信號的基調， 其中所述旋律線確定單元基于由所述基調檢測單元檢測到的基調來檢測最大似然路徑。
8.一種信息處理裝置，包括信號轉換單元，用于將音頻信號轉換為表示各個音高的信號強度的音高信號； 低音概率估計單元，用于基于所述音高信號來針對每幀估計各個音高是低音音符的概 率；以及低音線確定單元，用于基于各個音高是低音音符的概率，即由所述低音概率估計單元 針對每幀估計出的概率，在來從音頻信號的開始幀到結束幀的音高的路徑中，檢測最大似 然路徑，并且將所述最大似然路徑確定為低音線。
9.一種旋律線提取方法，包括以下步驟將音頻信號轉換為表示各個音高的信號強度的音高信號； 基于所述音高信號來針對每幀估計各個音高是旋律音符的概率；以及 基于各個音高是旋律音符的概率，即由估計各個音高是旋律音符的步驟針對每幀估計 出的概率，來在從音頻信號的開始幀到結束幀的音高的路徑中，檢測最大似然路徑，并且將 所述最大似然路徑確定為旋律線， 其中步驟由信息處理裝置來執(zhí)行。
10.一種低音線提取方法，包括以下步驟將音頻信號轉換為表示各個音高的信號強度的音高信號； 基于所述音高信號來針對每幀估計各個音高是低音音符的概率；以及 基于各個音高是低音音符的概率，即由估計各個音高是低音音符的概率的步驟針對每 幀估計出的概率，來在從音頻信號的開始幀到結束幀的音高的路徑中，檢測最大似然路徑， 并且將所述最大似然路徑確定為低音線， 其中步驟由信息處理裝置來執(zhí)行。
11.一種用于使得計算機執(zhí)行以下步驟的程序 將音頻信號轉換為表示各個音高的信號強度的音高信號；基于所述音高信號來針對每幀估計各個音高是旋律音符的概率；以及 基于各個音高是旋律音符的概率，即由估計各個音高是旋律音符的步驟針對每幀估計 出的概率，來在從音頻信號的開始幀到結束幀的音高的路徑中，檢測最大似然路徑，并且將 所述最大似然路徑確定為旋律線。
12.一種用于使得計算機執(zhí)行以下步驟的程序 將音頻信號轉換為表示各個音高的信號強度的音高信號；基于所述音高信號來針對每幀估計各個音高是低音音符的概率；以及 基于各個音高是低音音符的概率，即由估計各個音高是低音音符的概率的步驟針對每 幀估計出的概率，來在從音頻信號的開始幀到結束幀的音高的路徑中，檢測最大似然路徑， 并且將所述最大似然路徑確定為低音線。
全文摘要
本發(fā)明公開了信息處理裝置、旋律線提取方法、低音線提取方法及程序。提供了一種信息處理裝置，包括信號轉換單元，用于將音頻信號轉換為表示每個音高的信號強度的音高信號；旋律概率估計單元，用于基于音頻信號來針對每幀估計每個音高是旋律音符的概率；以及旋律線確定單元，用于基于每個音高是旋律音符的概率，即由旋律概率估計單元針對每幀估計出的概率，來從自音頻信號的開始幀到結束幀的音高的路徑中，檢測最大似然路徑，并且將最大似然路徑確定為旋律線。
文檔編號G10G3/04GK101916564SQ200910253629
公開日2010年12月15日 申請日期2009年12月7日 優(yōu)先權日2008年12月5日
發(fā)明者小林由幸 申請人:索尼株式會社