專利名稱：音調(diào)再現(xiàn)裝置和方法
技術(shù)領域：
本發(fā)明涉及用于基于演奏數(shù)據(jù)(諸如MID數(shù)據(jù))與音頻信號同步地再現(xiàn)音調(diào)信號的裝置和方法。
背景技術(shù)：
對應于日本專利申請公報(Laid-open) No. 2003-316356的美國專利 No. 7，026，537(下文稱為“專利文獻”)中公開了用于與音頻數(shù)據(jù)同步地再現(xiàn)其它樂曲 (music piece)演奏數(shù)據(jù)的、傳統(tǒng)上已知的技術(shù)的示例之一。專利文獻中公開的技術(shù)被設計為在數(shù)字音頻數(shù)據(jù)的LSB(最低有效比特)中存儲MIDI (樂器數(shù)字接口(注冊商標))數(shù)據(jù)，并基于這些數(shù)據(jù)之間的關(guān)聯(lián)性再現(xiàn)各個數(shù)據(jù)。在經(jīng)由通信網(wǎng)絡(諸如因特網(wǎng))傳遞樂曲演奏數(shù)據(jù)和音頻數(shù)據(jù)的情況下，有時壓縮這些數(shù)據(jù)。然而，對于專利文獻中公開的技術(shù)，如果音頻數(shù)據(jù)被壓縮或者被轉(zhuǎn)換為模擬形式的音調(diào)信號，則由于同步再現(xiàn)的必要信息的丟失，而不期望地阻止了音頻數(shù)據(jù)的同步再現(xiàn)。

發(fā)明內(nèi)容
鑒于上述，本發(fā)明的目的在于提供一種改進的技術(shù)，用于基于從音調(diào)信號獲得的信息，與音調(diào)信號同步地再現(xiàn)樂曲演奏數(shù)據(jù)。為了實現(xiàn)上述目的，本發(fā)明提供了一種改進的音調(diào)再現(xiàn)裝置，用于基于樂曲演奏數(shù)據(jù)，互相同步地再現(xiàn)第一音頻信號和音調(diào)信號，該音調(diào)再現(xiàn)裝置包括獲取部分，獲取第二音頻信號，該第二音頻信號是通過將表示要與該第一音頻信號同步再現(xiàn)的樂曲演奏數(shù)據(jù)的內(nèi)容的水印信息嵌入到該第一音頻信號中而獲得的音頻信號，該水印信息以位于高于該第一音頻信號的頻率分量的頻帶中的方式而被嵌入在該第一音頻信號中；音頻再現(xiàn)部分， 基于該第二音頻信號再現(xiàn)該第一音頻信號；解碼部分，從由該獲取部分獲取的第二音頻信號中解碼出該水印信息；以及音調(diào)再現(xiàn)部分，基于由該解碼部分解碼出的水印信息，識別要被再現(xiàn)的樂曲演奏數(shù)據(jù)的內(nèi)容，并且依據(jù)所識別的內(nèi)容，基于樂曲演奏數(shù)據(jù)再現(xiàn)該音調(diào)信號。根據(jù)本發(fā)明，將表示要與第一音頻信號同步再現(xiàn)的樂曲演奏數(shù)據(jù)的內(nèi)容的水印信息嵌入到第一音頻信號中，并獲取所生成的信號作為第二音頻信號，并基于第二音頻信號再現(xiàn)第一音頻信號。與上述處理并行地，從第二音頻信號中解碼水印信息，基于所解碼的水印信息識別要被再現(xiàn)的樂曲演奏數(shù)據(jù)的內(nèi)容，并接著依據(jù)所識別的內(nèi)容，再現(xiàn)基于樂曲演奏數(shù)據(jù)的音調(diào)信號。這樣，本發(fā)明可以與第一音頻信號同步地再現(xiàn)基于樂曲演奏數(shù)據(jù)的音調(diào)信號。在一個實施例中，對應于沿著該第一音頻信號的時間軸的多個再現(xiàn)時間位置嵌入多個水印信息，并且每個該水印信息識別至少一個音調(diào)。在一個實施例中，由該水印信息表示的樂曲演奏數(shù)據(jù)的內(nèi)容包括識別樂曲的識別信息、以及表示由該識別信息識別的樂曲的再現(xiàn)時間位置的位置信息。該音調(diào)再現(xiàn)部分包括存儲部分，在其中存儲該樂曲演奏數(shù)據(jù)；以及讀出和再現(xiàn)部分，從該存儲部分中讀出由包含在所解碼的水印信息中的識別信息識別的樂曲的樂曲演奏數(shù)據(jù)，并接著基于所讀出的樂曲演奏數(shù)據(jù)，再現(xiàn)對應于由包含在該水印信息中的位置信息表示的任一再現(xiàn)時間位置的
音調(diào)信號。
本發(fā)明不僅可以被構(gòu)建和實施為上述的裝置發(fā)明，還可作為方法發(fā)明。而且，本發(fā)明還可以被安排和實施為由處理器(諸如計算機或DSP)執(zhí)行的軟件程序以及存儲這樣的軟件程序的存儲介質(zhì)。下面將描述本發(fā)明的實施例，但應該理解，本發(fā)明不限于所描述的實施例，并且在不偏離基本原理的情況下可以對本發(fā)明進行各種修改。因此，僅以所附權(quán)利要求確定本發(fā)明的范圍。


為了更好地理解本發(fā)明的目的和其它特征，下面參照附圖更詳細地描述本發(fā)明的優(yōu)選實施例，其中圖1是示出本發(fā)明的再現(xiàn)系統(tǒng)的實施例的一般結(jié)構(gòu)的框圖；圖2是示出該再現(xiàn)系統(tǒng)的實施例中的音調(diào)信號提供裝置的一般結(jié)構(gòu)的框圖；圖3是存儲在該再現(xiàn)系統(tǒng)的實施例中的音調(diào)信號提供裝置中的音頻文件的結(jié)構(gòu)的說明圖；圖4是示出該再現(xiàn)系統(tǒng)的實施例中的自動演奏裝置的一般硬件結(jié)構(gòu)的框圖；圖5是存儲在該自動演奏裝置中的MIDI文件的結(jié)構(gòu)的說明圖；圖6是示出由該音調(diào)信號提供裝置的控制部分實施的功能的功能框圖；圖7是第二音調(diào)信號的結(jié)構(gòu)的說明圖；圖8是第二音調(diào)信號的時序變化的說明圖；圖9是表示由自動演奏裝置的控制部分實施的功能的功能框圖；圖10是由自動演奏裝置中的第二再現(xiàn)部分進行的處理的說明圖；圖11是示出再現(xiàn)系統(tǒng)的修改的結(jié)構(gòu)的框圖；以及圖12是示出再現(xiàn)系統(tǒng)的修改的結(jié)構(gòu)的框圖。
具體實施例方式圖1是示出本發(fā)明的再現(xiàn)系統(tǒng)1的實施例的一般結(jié)構(gòu)的框圖。再現(xiàn)系統(tǒng)1包括經(jīng)由音頻線纜100互連的音調(diào)信號提供裝置10和自動演奏裝置20。音調(diào)信號提供裝置10是本發(fā)明的音調(diào)信號提供裝置的示例，其經(jīng)由音頻線纜100將音調(diào)信號輸出到自動演奏裝置 20。自動演奏裝置20是本發(fā)明的再現(xiàn)裝置的示例，在該情況下，其是具有自動演奏功能的電子鋼琴。這里使用的“音調(diào)信號”是指表示音調(diào)波形的模擬形式的波形信號。圖2是示出音調(diào)信號提供裝置10的一般結(jié)構(gòu)的框圖，其包括控制部分11、存儲部分12、操作部分13、顯示部分14和輸出接口 15?？刂撇糠?1包括CPU (中央處理單元)、ROM (只讀存儲器)和RAM (隨機訪問存儲器)。使用RAM作為工作區(qū)域，CPU執(zhí)行存儲在ROM中的程序，以控制音調(diào)信號提供裝置10的各個組 件。存儲部分12是包括例如硬盤裝置的存儲部分，其在其中存儲控制部分11執(zhí)行各種控制操作的程序，并具有其中存儲了音頻文件的音頻文件存儲區(qū)域121。操作部分 13包括例如鍵盤、鼠標等，并且一旦被用戶或人類操作者或演奏者操作，其向控制部分11 輸出對應于用戶的操作的操作信號。顯示部分14包括例如液晶顯示器，其顯示各種信息。 輸出接口 15是輸出部分的示例，并且其上連接了音頻線纜100，其將從控制部分11提供的音調(diào)信號經(jīng)由音頻線纜100輸出到自動演奏裝置20。圖3是存儲在音頻文件存儲區(qū)域121中的音頻文件Aud之一的結(jié)構(gòu)的說明圖。音頻文件Aud包括互相關(guān)聯(lián)存儲的歌曲ID與音頻數(shù)據(jù)的信息。歌曲ID是識別歌曲或樂曲的唯一 ID，音頻數(shù)據(jù)是表示要通過樂器演奏和/或給定樂曲的演唱生成的聲音的時序的一組數(shù)據(jù)。音頻數(shù)據(jù)表示通過根據(jù)特定的采樣頻率(例如44. IkHz)對模擬波形采樣并量化采樣結(jié)果而獲得的數(shù)字數(shù)據(jù)。歌曲數(shù)據(jù)ID是唯一地識別存儲在音頻文件存儲區(qū)域121中的音頻文件之一的識別信息。圖4是示出自動演奏裝置20的一般硬件結(jié)構(gòu)的框圖。自動演奏裝置20包括控制部分21、輸入接口 22、存儲部分23、揚聲器24、演奏操作部分25和音調(diào)信號生成部分26?？刂撇糠?1包括用于實現(xiàn)或?qū)嵤┤缫粜蚱?此情況下是MIDI音序器)的功能的組件以及類似于音調(diào)信號提供裝置10的控制部分11的組件的組件。控制部分21的CPU 執(zhí)行存儲在ROM或存儲部分23中的程序，以控制自動演奏裝置20的各個組件。輸入接口 22是連接音頻線纜100的輸入端子。從音調(diào)信號提供裝置10提供的音調(diào)信號被輸入到輸入接口 22。存儲部分23是包括例如硬盤裝置的存儲部分，其在其中存儲控制部分21執(zhí)行各種控制操作的程序，并具有其中存儲了 MIDI文件的MIDI文件存儲區(qū)域231。揚聲器24 是用于依據(jù)由控制部分21再現(xiàn)的音調(diào)信號以及MIDI數(shù)據(jù)音頻地(audibly)生成音調(diào)的發(fā)聲裝置，該音調(diào)信號和MIDI數(shù)據(jù)是樂曲演奏數(shù)據(jù)的示例。演奏操作部分25包括演奏控制器(諸如具有多個鍵的鋼琴鍵盤)、用于檢測演奏操作的傳感器、用于在甚至沒有人類演奏者的演奏操作的情況下也按下任何一個鍵的驅(qū)動電路等，人類演奏者經(jīng)由演奏操作部分25 執(zhí)行演奏操作，或者演奏操作部分25接受由人類演奏者進行的操作。一旦人類演奏者執(zhí)行了演奏操作，則演奏操作部分25經(jīng)由傳感器檢測到人類演奏者的演奏操作，并向控制部分 21輸出表示所檢測到的演奏操作的演奏信息。音調(diào)信號生成部分26包括音調(diào)生成器電路和DSP (數(shù)字信號處理器)，其通過依據(jù)所提供的演奏信息執(zhí)行聲音處理來生成對應于從控制部分21提供的演奏信息的音調(diào)信號，并接著將所生成音調(diào)信號輸出到控制部分21?？刂撇糠?1將音調(diào)信號輸出到揚聲器24，從而揚聲器24音頻地生成對應于音調(diào)信號的音調(diào)。圖5是存儲在MIDI文件存儲區(qū)域231中的MIDI文件之一的結(jié)構(gòu)的說明圖。MIDI 文件Mid對應于例如樂曲，其具有互相關(guān)聯(lián)存儲的樂曲ID、歌曲ID和MIDI數(shù)據(jù)(即，樂曲演奏數(shù)據(jù))的多個信息。樂曲ID是唯一地識別MIDI文件的識別信息。MIDI數(shù)據(jù)是演奏控制信息，包括指示特定音調(diào)的演奏控制(諸如產(chǎn)生和停止(deaden))的“事件”以及表示事件之間的產(chǎn)生時間間隔的Delta(增量)時間。歌曲ID對應于分配給存儲在音頻文件存儲區(qū)域121中的音頻文件Aud的歌曲ID，即，具有相同歌曲ID的音頻文件和MIDI文件對應于相同樂曲。歌曲ID是分配來允許選擇當音頻演奏裝置20再現(xiàn)基于音頻文件Aud生成的音調(diào)信號時應該再現(xiàn)哪個MIDI數(shù)據(jù)的識別信息。在此說明書中，“樂曲(或者歌曲)”可以是一個音樂上完整的樂曲，或者一個或多個樂曲短句(phrase)而不是這種音樂上完整的樂曲。以前述方式構(gòu)建的MIDI文件存儲區(qū)域231是本發(fā)明的樂曲演奏數(shù)據(jù)存儲部分的示例。下面描述由音調(diào)信號提供裝置10和自動演奏裝置20實施的功能。[音調(diào)信號提供裝置10]首先，將描述由音調(diào)信號提供裝置10實施的功能。圖6是示出由音調(diào)信號提供裝置10的控制部分11實施的功能的功能框圖?？刂撇糠?1執(zhí)行再現(xiàn)時間識別部分111、水印(watermark)信息生成部分112、預處理部分113以及卷入或嵌入部分(convoluting or emdedding)114的功能。音調(diào)信號(或音頻信號)是被嵌入水印信息之前的信號，并將在上述每個功能部分中處理，下文將其稱為“第一音調(diào)信號”(或第一音頻信號)?？刂撇糠?1 從音頻文件存儲區(qū)域121中讀出由用戶操作操作部分13指定的音頻文件Aud，并基于包含在所讀出的音頻文件Aud中的音頻數(shù)據(jù)生成第一音調(diào)信號。再現(xiàn)時間識別部分111識別表示第一音調(diào)信號的再現(xiàn)時間位置的再現(xiàn)時間(即， 再現(xiàn)時間位置)。假定再現(xiàn)時間基于音頻數(shù)據(jù)的開始位置(在此情況下是“0:00”)指示時間位置。再現(xiàn)時間識別部分11可以參考音頻文件Aud識別每個再現(xiàn)時間。水印信息生成部分112生成要被卷入或嵌入到第一音調(diào)信號中的水印信息。在此實施例中，水印信息是包含歌曲ID和指示再現(xiàn)時間的位置信息(即，再現(xiàn)時間位置)的比特序列；下文將這種位置信息稱為“時間碼”。水印信息生成部分112可以從音頻文件Aud 中識別歌曲ID。預處理部分113包括例如LPF(低通濾波器)，并執(zhí)行對第一音調(diào)信號的預處理。 更具體地，預處理部分113使用LPF執(zhí)行對第一音調(diào)信號的濾波處理作為預處理，由此從第一音調(diào)信號的頻率分量中截止包含在要嵌入水印信息的頻帶中的頻率分量。即，LPF具有截止頻率Fo。嵌入部分114將指示要與第一音調(diào)信號同步地再現(xiàn)的樂曲演奏數(shù)據(jù)的內(nèi)容的水印信息卷入或嵌入到已經(jīng)經(jīng)歷了上述預處理的第一音調(diào)信號中。在當前實施例中，嵌入部分114被構(gòu)建為通過基于水印信息執(zhí)行表示用于攜帶第一音調(diào)信號的載波的載波信號的相位調(diào)制，而將水印信息嵌入到高于第一音調(diào)信號的頻率分量的頻帶中。下文將具有以上述方式在其中嵌入水印信息的第一音調(diào)信號稱為“第二音調(diào)信號”(第二音頻信號)。換句話說，第二音調(diào)信號(第二音頻信號)是通過將第一音調(diào)信號和表示水印信息的波的波形信號合成在一起而獲得音調(diào)信號。注意，在音頻數(shù)據(jù)包括多聲道的情況下，嵌入部分114僅必須通過將水印信息嵌入到至少一個聲道的第一音調(diào)信號中來生成第二音調(diào)信號。圖7是第二音調(diào)信號的結(jié)構(gòu)的說明圖，其中，橫軸表示頻率f，縱軸表示頻率分量的音壓電平(sound pressure level)。如圖7所示，第二音調(diào)信號包括在低于頻率fo的頻帶中的第一音調(diào)信號的頻率分量，以及在高于頻率fo的頻帶中的水印信息的頻率分量。 換句話說，例如在聽覺范圍(約20Hz至20kHz)中包含第一音調(diào)信號的頻率分量，并且將水印 信息嵌入在高于聽覺范圍的頻帶中。最好是，頻率fo在聽覺范圍之外，例如高于20kHz。 因為，甚至當已經(jīng)生成了對應于第二音調(diào)信號的音調(diào)時，對于人的耳朵而言，也聽不到對應于水印信息的聲音，因此，水印信息幾乎沒有聽覺影響。例如，在由于音調(diào)信號的壓縮時的編碼器、用于模數(shù)轉(zhuǎn)換的A/D轉(zhuǎn)換器等的特征而不能保持將水印信息嵌入在聽覺范圍之外的頻帶中的情況下，可以將水印信息嵌入在相對較低的頻帶中，諸如15kHz或更高。簡而言之，最好是將水印信息嵌入在高于第一音調(diào)信號的頻率分量且?guī)缀鯖]有聽覺影響的頻帶中。音調(diào)信號提供裝置10的輸出接口 15輸出第二音調(diào)信號，從而自動演奏裝置20的控制部分21可以獲得所輸出的第二音調(diào)信號，該第二音調(diào)信號是通過嵌入部分114嵌入了水印信息的音調(diào)信號。音調(diào)信號提供裝置10的控制部分11對按照給定的處理單元提供的第一音調(diào)信號執(zhí)行由上述功能實施的處理，從而生成要被輸出到自動演奏裝置20的第二音調(diào)信號。圖8是示出經(jīng)由輸出接口 15輸出的第二音調(diào)信號的時序變化(即，隨時間的變化)的圖。在圖8中，橫軸表示時間t，縱軸表示第二音調(diào)信號的幅度。在圖8中，由實線指示的波形表示第二音調(diào)信號，所描繪的虛線表示第二音調(diào)信號的包絡。如圖8所示，其中已經(jīng)嵌入了水印信號的第二音調(diào)信號包括表示對應于各個信號部分的再現(xiàn)時間的時間碼和歌曲ID，圖中由雙向箭頭表示每個信號部分。因為從一個音頻文件Aud生成的第二音調(diào)信號對應于單個樂曲，所以，該情況下歌曲ID是“001 ”，其對所有信號部分共用。此外，以一秒一秒為基礎地在時間上連續(xù)地設定由時間碼表示的再現(xiàn)時間， 例如 “0:01”，“0:02”，......
作為音調(diào)信號提供裝置10的修改示例，通過將水印信息嵌入到第一音調(diào)信號中而獲得的第二音調(diào)信號可以被預先存儲在存儲部分中，從而從存儲部分中讀出第二音調(diào)信號。替代地，可以經(jīng)由網(wǎng)絡等從外部獲取這種第二音調(diào)信號。[自動演奏裝置2O]下面，將描述由自動演奏裝置20實施的功能。圖9是表示由自動演奏裝置20的控制部分21執(zhí)行或?qū)嵤┑墓δ艿墓δ芸驁D?？刂撇糠?1執(zhí)行程序來執(zhí)行對應于音調(diào)信號獲取部分211、第一再現(xiàn)部分212、解碼部分213、讀出部分214以及第二再現(xiàn)部分215的功能。音調(diào)信號獲取部分211經(jīng)由輸入接口 22獲取從音調(diào)信號提供裝置10輸出的第二音調(diào)信號。即，音調(diào)信號獲取部分211是本發(fā)明的獲取部分的示例。第一再現(xiàn)部分212包括具有例如截止頻率fo的LPF，并且，在利用LPF對所獲取的第二音調(diào)信號執(zhí)行濾波處理之后，再現(xiàn)由音調(diào)信號獲取部分211獲取的第二音調(diào)信號。如此，第一再現(xiàn)部分212再現(xiàn)從中去除了水印信息的頻率分量的第二音調(diào)信號，因此理想地， 由第一再現(xiàn)部分212再現(xiàn)的音調(diào)信號在內(nèi)容上與第一音調(diào)信號類似。S卩，第一再現(xiàn)部分212 再現(xiàn)第二音調(diào)信號，使得可以經(jīng)由揚聲器24聽覺地生成對應于第一音調(diào)信號的音調(diào)。艮口， 第一再現(xiàn)部分212是本發(fā)明的音頻再現(xiàn)部分的示例。注意，在水印信息的頻率分量包含在聽覺范圍之外的頻帶中的情況下，或者在水印信息的頻率分量具有低音壓電平的情況下，對與水印信息對應的聲音幾乎沒有聽覺影響，因此，可以省略上述濾波處理。即第一再現(xiàn)部分212可以直接或原樣地再現(xiàn)(由音調(diào)信號獲取部分211獲取的)第二音調(diào)信號。解碼部分213包括具有例如截止頻率fo的HPF (高通濾波器)，并從第二音調(diào)信號中解碼水印信息。如上所示，水印信息的頻率分量包含在比第一音調(diào)信號高的頻帶中。因此，解碼部分213通過使用HPF對第二音調(diào)信號執(zhí)行濾波處理，可以從第二音調(diào)信號中取出水印信息的頻率分量。然后，解碼部分213對通過濾波處理取出的信號解碼，從而解碼水印 fn息ο 讀出部分214基于由解碼部分213解碼的水印信息識別歌曲ID，并從MIDI文件存儲區(qū)域231中讀出與所識別的歌曲ID關(guān)聯(lián)的MIDI數(shù)據(jù)。第二再現(xiàn)部分215基于水印信息識別要與由第一再現(xiàn)部分212再現(xiàn)的音調(diào)信號同步再現(xiàn)的樂曲演奏數(shù)據(jù)的內(nèi)容，并再現(xiàn)所識別的樂曲演奏數(shù)據(jù)的內(nèi)容。在由讀出部分214 讀出的MIDI數(shù)據(jù)中，第二再現(xiàn)部分215再現(xiàn)由解碼部分213從水印信息中解碼出的時間碼表示的再現(xiàn)時間的MIDI數(shù)據(jù)。這樣，第二再現(xiàn)部分215可以與由第一再現(xiàn)部分212再現(xiàn)的音調(diào)信號同步地再現(xiàn)對應于第二音調(diào)信號的再現(xiàn)時間的MIDI數(shù)據(jù)的內(nèi)容。例如，在由時間碼表示的再現(xiàn)時間與要基于MIDI數(shù)據(jù)再現(xiàn)的音調(diào)的再現(xiàn)時間之間進行比較，從而再現(xiàn)對應于由時間碼表示的再現(xiàn)時間中的任意一個的每個音調(diào)(基于MIDI數(shù)據(jù)的音調(diào))?？梢酝ㄟ^Delta時間的累加來識別MIDI數(shù)據(jù)的再現(xiàn)時間(絕對時間)。存儲部分23、讀出部分 214和第二再現(xiàn)部分215構(gòu)成本發(fā)明的音調(diào)再現(xiàn)部分。此外，讀出部分214和第二再現(xiàn)部分 215構(gòu)成本發(fā)明的讀出和再現(xiàn)部分。圖10是由第二再現(xiàn)部分215進行的處理的說明圖。一旦第二再現(xiàn)部分215識別出再現(xiàn)時間，其識別對應于所識別的再現(xiàn)時間的MIDI數(shù)據(jù)的事件?，F(xiàn)在假定當再現(xiàn)時間是例如“0:04”時要與音調(diào)信號同步再現(xiàn)的樂曲演奏數(shù)據(jù)是事件E3，如圖中雙向箭頭所示。 在此情況下，第二再現(xiàn)部分215基于表示事件E3的事件數(shù)據(jù)再現(xiàn)MIDI數(shù)據(jù)。由解碼部分 213、讀出部分214和第二再現(xiàn)部分215執(zhí)行的處理需要一定時間。因此，第二再現(xiàn)部分215 最好是基于比從水印信息中識別的再現(xiàn)時間早一定時間(例如100ms)的事件數(shù)據(jù)來再現(xiàn) MIDI數(shù)據(jù)。此外，在MIDI數(shù)據(jù)和第二音調(diào)信號的再現(xiàn)時間互不相同的情況下，諸如當?shù)诙佻F(xiàn)部分215正基于表示事件El的事件數(shù)據(jù)再現(xiàn)MIDI數(shù)據(jù)時，第二再現(xiàn)部分215可以例如通過跳過事件El和E2或使拍子更快(即，使Delta時間更短)來實現(xiàn)同步再現(xiàn)?？刂撇糠?1不僅以上述方式執(zhí)行同步再現(xiàn)，而且還合成響應于人類演奏者經(jīng)由演奏操作部分25執(zhí)行的演奏操作而生成的音調(diào)信號，并接著使揚聲器24聽覺地生成對應于所合成的音調(diào)信號的音調(diào)，或發(fā)出該音調(diào)的聲音。此外，控制部分11通過根據(jù)所再現(xiàn)的 MIDI數(shù)據(jù)驅(qū)動演奏操作部分25的驅(qū)動電路，而使每個相應的鍵甚至在沒有人類演奏者的操作時也能被按下。根據(jù)本發(fā)明的上述實施例，音調(diào)信號提供裝置10將水印信息嵌入到第一音調(diào)信號中，并將嵌入了水印信息的信號作為第二音調(diào)信號輸出，該水印信息被用于第一音調(diào)信號和MIDI數(shù)據(jù)的同步再現(xiàn)。自動演奏裝置20基于水印信息識別要與第二音調(diào)信號同步再現(xiàn)的MIDI數(shù)據(jù)的內(nèi)容，并再現(xiàn)所識別的MIDI數(shù)據(jù)的內(nèi)容與第二音調(diào)信號。此外，在已經(jīng)通過音調(diào)信號提供裝置10和自動演奏裝置20壓縮了第二音調(diào)信號的情況下，并且如果已經(jīng)丟失了歌曲ID和/或時間碼的一部分，則盡管當前實施例僅在丟失了歌曲ID和/或時間碼的部分的時間段內(nèi)不能識別MIDI數(shù)據(jù)的內(nèi)容，但其允許MIDI數(shù)據(jù)繼續(xù)再現(xiàn)；因此，歌曲 ID和/或時間碼的丟失不太影響同步再現(xiàn)。在上述方式中，本發(fā)明的再現(xiàn)系統(tǒng)1可以基于從音調(diào)信號中獲得的信息實現(xiàn)音調(diào)信號和樂曲演奏數(shù)據(jù)的同步再現(xiàn)。
[修改]可以如下所舉例地對本發(fā)明進行各種修改，而不是將其限定為上述實施例，并且根據(jù)需要可以組合下面的修改。(修改1) 在上述實施例中，音調(diào)信號提供裝置10被構(gòu)建為將包含歌曲ID和時間碼的水印信息嵌入到第一音調(diào)信號中。作為修改，音調(diào)信號提供裝置10可以將MIDI數(shù)據(jù)本身作為水印信息嵌入到第一音調(diào)信號中。在此情況下，水印信息是表示要與第一音調(diào)信號同步再現(xiàn)的MIDI數(shù)據(jù)本身的內(nèi)容的信息。在此修改中，在上述實施例中由自動演奏裝置20存儲的MIDI文件可以由音調(diào)信號提供裝置10存儲；即在該修改中，自動演奏裝置20不需要存儲MIDI文件。在此修改中，水印信息生成部分112識別要與第一音調(diào)信號同步再現(xiàn)的MIDI數(shù)據(jù)的內(nèi)容，并生成表示所識別的MIDI數(shù)據(jù)的內(nèi)容的比特序列作為水印信息。嵌入部分114 以與上述實施例所描述的方式相同的方式將由此生成的水印信息嵌入到第一音調(diào)信號中。 在該修改中，由音調(diào)信號提供裝置10執(zhí)行的其它處理與上述實施例所描述的處理相同。此夕卜，在此修改中，自動演奏裝置20的第二再現(xiàn)部分215基于從第二音調(diào)信號中解碼出的水印信息識別MIDI數(shù)據(jù)的內(nèi)容，并接著再現(xiàn)所識別的MIDI數(shù)據(jù)的內(nèi)容。利用這種結(jié)構(gòu)，可以在音調(diào)信號提供裝置10中指定要與第一音調(diào)信號同步再現(xiàn)的MIDI數(shù)據(jù)，因此，不需要在自動演奏裝置20中存儲新文件。在此情況下，水印信息的數(shù)據(jù)量可能變得大于上述實施例中的數(shù)據(jù)量，因此嵌入和解碼水印信息所需要的處理時間可能變得比上述實施例中的處理時間長。然而，在此情況下，通過第二再現(xiàn)部分215在考慮嵌入和解碼水印信息所需要的處理時間的情況下合適地控制再現(xiàn)時間，可以與上述示例同樣地實現(xiàn)音調(diào)信號和MIDI數(shù)據(jù)的同步再現(xiàn)。[修改2]雖然音調(diào)信號提供裝置10和自動演奏裝置20在上述實施例中經(jīng)由音頻線纜100 互連，但再現(xiàn)系統(tǒng)10可被如下修改。圖11是修改的再現(xiàn)系統(tǒng)Ia的框圖，其包括音調(diào)信號提供裝置IOa和自動演奏裝置20a。在圖11中，音調(diào)信號提供裝置IOa除控制部分11外包括與音調(diào)信號提供裝置10 的組件相似的組件，并且自動演奏裝置20a除控制部分21外包括與自動演奏裝置20組件相似的組件。音調(diào)信號提供裝置IOa包括例如與裝置IOa可拆卸連接的揚聲器16，取代上述實施例中采用的輸出接口 15。揚聲器16是發(fā)聲設備，其響應于從控制部分11提供的音調(diào)信號聽覺地生成音調(diào)。自動演奏裝置20a包括例如與裝置20a可拆卸連接的麥克風27，取代上述實施例中采用的輸入接口 22。麥克風27是聲音拾取設備，其拾取聲音并輸出表示所拾取的聲音的聲音信號。音調(diào)信號提供裝置IOa和自動演奏裝置20a被幾乎互相相鄰地布置，使得經(jīng)由揚聲器16聽覺地生成的聲音可以被麥克風27拾取。在此修改中，音調(diào)信號提供裝置IOa的控制部分11將所生成的第二音調(diào)信號輸出到揚聲器16，以使揚聲器16聽覺地生成對應于第二音調(diào)信號的音調(diào)。自動演奏裝置20a的控制部分21使麥克風27拾取由揚聲器16聽覺地生成的音調(diào)，并獲取表示所拾取的音調(diào)的音頻信號作為第二音調(diào)信號。通過以與上述實施例中相同的方式從第二音調(diào)信號中解碼水印信息，控制部分21與上述實施例一樣實現(xiàn)了同步再現(xiàn)。其它處理與關(guān)于上述實施例說明的處理相同。因此，當前修改獲得了與上述實施例相同的有利益處。此外，本發(fā)明的再現(xiàn)系統(tǒng)1還可被如下修改。圖12是示出修改的再現(xiàn)系統(tǒng)Ib的框圖，其包括音調(diào)信號提供裝置IOb和自動演奏裝置20b。音調(diào)信號提供裝置IOb除控制部分11外包括與音調(diào)信號提供裝置10的組件類似的組件，并且自動演奏裝置20b除控制部分21外包括與自動演奏裝置20的組件類似的組件。音調(diào)信號提供裝置IOb被構(gòu)建為具有傳送第二音調(diào)信號的功能的傳送器，例如是廣播站的發(fā)送器。自動演奏裝置20b是具有接收由音調(diào)信號提供裝置IOb傳送的第二音調(diào)信號的功能的接收器，并由收聽廣播裝置廣播的聲音的用戶擁有。音調(diào)信號提供裝置IOb 包括傳送部分17，取代上述實施例中采用的輸出接口 15。傳送部分17依據(jù)從控制部分 11提供的第二音調(diào)信號調(diào)制表示載波的載波信號，由此生成傳送信號并接著傳送該傳送信號。自動演奏裝置20b包括接收部分28，取代上述實施例中采用的輸入接口 22。一旦接收部分28接收到由音調(diào)信號提供裝置IOb傳送的傳送信號，其解調(diào)傳送信號，以取出第二音調(diào)信號，并將第二音調(diào)信號輸出到控制部分21?？刂撇糠?1以與上述實施例相同的方式從第二音調(diào)信號中解碼出水印信息，從而實現(xiàn)同步再現(xiàn)。其它處理與關(guān)于上述實施例說明的處理相同。因此，當前修改獲得了與上述實施例相同的有利益處。利用上述修改，擁有自動演奏裝置20b的用戶可以使用裝置20b欣賞與由音調(diào)信號表示的音調(diào)同步的演奏(同步的再現(xiàn))，該音調(diào)信號由位于自動演奏裝置20b的遠程處的音調(diào)信號提供裝置IOb輸出。另一方面，甚至不擁自動演奏裝置20b的用戶在聽音調(diào)時也基本不遭受負面影響。

此外，本發(fā)明的基本原理適用于音調(diào)信號提供裝置IOb和自動演奏裝置20b經(jīng)由通信網(wǎng)絡(諸如因特網(wǎng))互連并且壓縮音頻數(shù)據(jù)等來傳輸聲音和動畫的服務。在此情況下， 音調(diào)信號提供裝置IOb是服務器裝置，諸如內(nèi)容提供方。自動演奏裝置20b由從內(nèi)容提供方接收內(nèi)容的客戶方擁有。在此情況下，音調(diào)信號提供裝置IOb將水印信息嵌入到包含在要被傳輸?shù)膬?nèi)容中的第二音調(diào)信號中，并且其傳送其中嵌入了水印信息的第二音調(diào)信號。接著，自動演奏裝置20b從接收自音調(diào)信號提供裝置IOb的第二音調(diào)信號中解碼出水印信息， 由此實現(xiàn)同步再現(xiàn)。[修改3]上述實施例中用于音調(diào)信號提供裝置10嵌入水印信息的結(jié)構(gòu)可以如下修改。例如，可以采用這樣的方法，其采用使用M和Gold序列中的任一的偽噪聲信號。在此情況下， 嵌入部分114生成偽噪聲信號，并基于水印信息對由此生成的偽噪聲信號進行相位調(diào)制。 解碼部分213生成與嵌入部分114相同的偽噪聲信號，并確定該偽噪聲信號與第二音調(diào)信號之間的相關(guān)性。在使用具有高自相關(guān)性的信號作為嵌入到第二音調(diào)信號中的偽噪聲信號的情況下，并且如果確定了第二音調(diào)信號和偽噪聲信號之間的相關(guān)性，則提取出現(xiàn)陡峰的波形。此波形表示水印信息，并且解碼部分213可以通過提取該波形而解碼水印信息。此夕卜，可以使用偽噪聲信號執(zhí)行頻譜擴展，或者可以使用OFDM(正交頻分復用)調(diào)制嵌入水印信息。在后一情況下，控制部分11移除第一音調(diào)信號的頻率分量的高頻帶部分，并接著將 OFDM調(diào)制的水印信息嵌入到與原始音調(diào)信號的頻率分布一致的頻帶中。甚至在這種嵌入方式中，當前修改也可以獲得與上述實施例相同的有利益處，因為音調(diào)信號提供裝置10將水印信息嵌入到高于第一音調(diào)信號的頻率分量的高頻帶中。 在上述實施例中，要被自動演奏裝置20再現(xiàn)的樂曲演奏數(shù)據(jù)的格式可以是與 MIDI數(shù)據(jù)格式不同的格式，諸如MP3格式。雖然已經(jīng)如上將自動演奏裝置20描述為具有自動演奏功能的電子鋼琴，然而，其可以是任何其它類型的電子樂器，諸如電吉他或 electone (注冊商標)。此外，自動演奏裝置20不限于用作電子樂器的裝置，本發(fā)明的基本原理還適應于具有至少用于在再現(xiàn)音調(diào)信號的同時再現(xiàn)樂曲演奏數(shù)據(jù)的功能的再現(xiàn)裝置。此外，在上述實施例中，對應于預處理部分113的功能可以被省略。因為，例如在音調(diào)信號的頻率分量不包含在高于頻率fo的頻帶中的情況下，或者在音調(diào)信號的頻率分量在音壓電平上大大小于水印信息的頻率分量的情況下，即使省略預處理，也認為幾乎沒有聽覺影響并且對水印信息的解碼也幾乎沒有聽覺影響。由音調(diào)信號提供裝置10的控制部分11以及自動演奏裝置20的控制部分21執(zhí)行的程序可以存儲在計算機可讀記錄或存儲介質(zhì)中，諸如，磁記錄介質(zhì)(例如，磁帶或類似 HDD或FD的磁盤)、光記錄介質(zhì)(例如，類似CD或DVD的光盤)、光磁記錄介質(zhì)或半導體存儲器。此外，可以經(jīng)由網(wǎng)絡(諸如因特網(wǎng))下載這種程序。此外，可以通過一個或多個軟件或者一個或多個硬件實施要由控制部分11和21執(zhí)行的功能。本申請基于2010年1月15日提交的JP PA2010-007150并要求其優(yōu)先權(quán)。通過引用將該在先申請的公開全文合并于此，包括附圖，權(quán)利要求和說明書。
權(quán)利要求
1.一種音調(diào)再現(xiàn)裝置，用于基于樂曲演奏數(shù)據(jù)，互相同步地再現(xiàn)第一音頻信號和音調(diào)信號，所述音調(diào)再現(xiàn)裝置包括獲取部分，獲取第二音頻信號，所述第二音頻信號是通過將表示要與所述第一音頻信號同步再現(xiàn)的樂曲演奏數(shù)據(jù)的內(nèi)容的水印信息嵌入到所述第一音頻信號中而獲得的音頻信號，所述水印信息以位于高于所述第一音頻信號的頻率分量的頻帶中的方式而被嵌入在所述第一音頻信號中；音頻再現(xiàn)部分，基于所述第二音頻信號再現(xiàn)所述第一音頻信號； 解碼部分，從由所述獲取部分獲取的第二音頻信號中解碼出所述水印信息；以及音調(diào)再現(xiàn)部分，基于由所述解碼部分解碼出的水印信息，識別要被再現(xiàn)的樂曲演奏數(shù)據(jù)的內(nèi)容，并且依據(jù)所識別的內(nèi)容，基于樂曲演奏數(shù)據(jù)再現(xiàn)所述音調(diào)信號。
2.如權(quán)利要求1所述的音調(diào)再現(xiàn)裝置，其中，對應于沿著所述第一音頻信號的時間軸的多個再現(xiàn)時間位置嵌入多個水印信息，并且每個所述水印信息識別至少一個音調(diào)。
3.如權(quán)利要求1所述的音調(diào)再現(xiàn)裝置，其中，由所述水印信息表示的樂曲演奏數(shù)據(jù)的內(nèi)容包括識別樂曲的識別信息、以及表示由所述識別信息識別的樂曲的再現(xiàn)時間位置的位直fe息，所述音調(diào)再現(xiàn)部分包括存儲部分，在其中存儲所述樂曲演奏數(shù)據(jù)；以及讀出和再現(xiàn)部分，從所述存儲部分中讀出由包含在所解碼的水印信息中的識別信息識別的樂曲的樂曲演奏數(shù)據(jù)，并接著基于所讀出的樂曲演奏數(shù)據(jù)，再現(xiàn)對應于由包含在所述水印信息中的位置信息表示的任一再現(xiàn)時間位置的音調(diào)信號。
4.如權(quán)利要求3所述的音調(diào)再現(xiàn)裝置，其中，所述讀出和再現(xiàn)部分將由所述位置信息表示的再現(xiàn)時間位置與基于所述樂曲演奏數(shù)據(jù)的音調(diào)信號的再現(xiàn)時間位置進行比較，并接著基于對應于由所述位置信息表示的任一再現(xiàn)時間位置的樂曲演奏數(shù)據(jù)再現(xiàn)音調(diào)信號。
5.如權(quán)利要求1所述的音調(diào)再現(xiàn)裝置，其中，由所述水印信息表示的樂曲演奏數(shù)據(jù)的內(nèi)容包括分別表示要被演奏的音調(diào)的樂曲演奏數(shù)據(jù)本身，并且所述音調(diào)再現(xiàn)部分基于包含在所解碼的水印信息中的樂曲演奏數(shù)據(jù)本身再現(xiàn)音調(diào)信號。
6.如權(quán)利要求1-5中的任一項所述的音調(diào)再現(xiàn)裝置，其中，所述獲取部分被構(gòu)建為接收從外部提供的第二音頻信號。
7.如權(quán)利要求1-5中的任一項所述的音調(diào)再現(xiàn)裝置，還包括嵌入部分，將表示要與所述第一音頻信號同步再現(xiàn)的樂曲演奏數(shù)據(jù)的內(nèi)容的水印信息，以位于高于所述第一音頻信號的頻率分量的頻帶中的方式，嵌入到所述第一音頻信號中；以及輸出部分，輸出其中由所述嵌入部分嵌入了水印信息的第一音頻信號，作為所述第二音頻信號，所述獲取部分獲取由所述輸出部分輸出的第二音頻信號。
8.如權(quán)利要求1-5中的任一項所述的音調(diào)再現(xiàn)裝置，其中，所述音頻再現(xiàn)部分從所述第二音頻信號中提取所述第一音頻信號，并再現(xiàn)所提取的第一音頻信號。
9.如權(quán)利要求1-5中的任一項所述的音調(diào)再現(xiàn)裝置，其中，嵌入了所述水印信息的頻帶是非聽覺頻帶，并且所述音頻再現(xiàn)部分通過原樣地再現(xiàn)所述第二音頻信號來再現(xiàn)所述第二音頻信號。
10.一種用于基于樂曲演奏數(shù)據(jù)互相同步地再現(xiàn)第一音頻信號和音調(diào)信號的計算機實現(xiàn)的方法，所述方法包括獲取步驟，獲取第二音頻信號，所述第二音頻信號是通過將表示要與所述第一音頻信號同步再現(xiàn)的樂曲演奏數(shù)據(jù)的內(nèi)容的水印信息嵌入到所述第一音頻信號中而獲得的音頻信號，所述水印信息以位于高于所述第一音頻信號的頻率分量的頻帶中的方式而被嵌入在所述第一音頻信號中；基于所述第二音頻信號再現(xiàn)所述第一音頻信號的步驟； 解碼步驟，從由所述獲取步驟獲取的第二音頻信號中解碼出所述水印信息；以及一步驟，基于由所述解碼步驟解碼出的水印信息，識別要被再現(xiàn)的樂曲演奏數(shù)據(jù)的內(nèi)容，并且依據(jù)所識別的內(nèi)容，基于樂曲演奏數(shù)據(jù)再現(xiàn)所述音調(diào)信號。
11.一種音調(diào)信號提供裝置，包括嵌入部分，將表示要與第一音頻信號同步再現(xiàn)的樂曲演奏數(shù)據(jù)的內(nèi)容的水印信息，以位于高于所述第一音頻信號的頻率分量的頻帶中的方式，嵌入到所述第一音頻信號中；以及輸出部分，輸出由所述嵌入部分將所述水印信息嵌入到所述第一音頻信號中而獲得的第二音頻信號。
12.—種音調(diào)再現(xiàn)系統(tǒng)，包括嵌入部分，將表示要與第一音頻信號同步再現(xiàn)的樂曲演奏數(shù)據(jù)的內(nèi)容的水印信息，以位于高于所述第一音頻信號的頻率分量的頻帶中的方式，嵌入到所述第一音頻信號中；輸出部分，輸出由所述嵌入部分將所述水印信息嵌入到所述第一音頻信號中而獲得的第二音頻信號；獲取部分，獲取由所述輸出部分輸出的第二音頻信號； 音頻再現(xiàn)部分，基于所述第二音頻信號再現(xiàn)所述第一音頻信號； 解碼部分，從由所述獲取部分獲取的第二音頻信號中解碼出所述水印信息；以及音調(diào)再現(xiàn)部分，基于由所述解碼部分解碼出的水印信息，識別要被再現(xiàn)的樂曲演奏數(shù)據(jù)的內(nèi)容，并且依據(jù)所識別的內(nèi)容，基于樂曲演奏數(shù)據(jù)再現(xiàn)所述音調(diào)信號。
13.一種用于基于樂曲演奏數(shù)據(jù)互相同步地再現(xiàn)第一音頻信號和音調(diào)信號的計算機實現(xiàn)的方法，所述方法包括嵌入步驟，將表示要與第一音頻信號同步再現(xiàn)的樂曲演奏數(shù)據(jù)的內(nèi)容的水印信息，以位于高于所述第一音頻信號的頻率分量的頻帶中的方式，嵌入到所述第一音頻信號中；輸出步驟，輸出由所述嵌入步驟將所述水印信息嵌入到所述第一音頻信號中而獲得的第二音頻信號；獲取步驟，獲取由所述輸出步驟輸出的第二音頻信號； 基于所述第二音頻信號再現(xiàn)所述第一音頻信號的步驟； 解碼步驟，從由所述獲取步驟獲取的第二音頻信號中解碼出所述水印信息；以及一步驟，基于由所述解碼步驟解碼出的水印信息識別樂曲演奏數(shù)據(jù)的內(nèi)容，并依據(jù)所識別的內(nèi)容，基于樂曲演奏數(shù)據(jù)再現(xiàn)所述音調(diào)信號。
全文摘要
將表示要與第一音頻信號同步再現(xiàn)的樂曲演奏數(shù)據(jù)的內(nèi)容的水印信息嵌入到第一音頻信號中，并獲取所生成的信號作為第二音頻信號。與上述處理并行地，從第二音頻信號中解碼水印信息，基于所解碼的水印信息識別要被再現(xiàn)的樂曲演奏數(shù)據(jù)的內(nèi)容，并接著依據(jù)所識別的內(nèi)容，再現(xiàn)基于樂曲演奏數(shù)據(jù)的音調(diào)信號。
文檔編號G11B20/12GK102169705SQ20111000871
公開日2011年8月31日 申請日期2011年1月17日 優(yōu)先權(quán)日2010年1月15日
發(fā)明者奧山福太郎, 小關(guān)信也 申請人:雅馬哈株式會社