專利名稱：檢測現(xiàn)場聲音的音域以調(diào)諧和聲的卡拉ok裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及卡拉OK裝置，更具體地涉及能在卡拉OK演唱者的現(xiàn)場演唱聲上自動加上合成和聲的卡拉OK裝置。
傳統(tǒng)卡拉OK裝置具有各種設施來表現(xiàn)卡拉OK表演。這些設施中包括和聲生成以在卡拉OK演唱者的現(xiàn)場聲音上加上合成的和聲。和聲生成是通過在跟蹤主調(diào)線時產(chǎn)生具有相對于主現(xiàn)場聲音的主調(diào)線第三或第五度的某種音高差的和聲進行的。在另一種方法中，與卡拉OK演唱的進行同步播放事先錄制的和聲。再者，如果卡拉OK歌曲包含兩個或多個聲部，有可能保留一個聲部供卡拉OK演唱者唱這一聲部，而將其它聲部包含在歌曲數(shù)據(jù)中作為伴奏和聲。
在用主演唱主調(diào)跟蹤生成和聲中，可響應主調(diào)跟蹤將主聲音線與諸如移位高第三度的某一音高的和聲疊加，然而，在女聲卡拉OK演唱者的情況中，如果總是生成高第三或第五度的和聲，則所生成的和聲難免超出可聽見范圍的最高頻率。在男聲卡拉OK演唱者的情況中，如果總是生成低第三或第五度的和聲，則所生成的和聲難免超出可聽見范圍的最低頻率。再者，單純在平行的第三或第五度上生成和聲可能產(chǎn)生不自然的旋律線。
在通過預錄制和聲聲部的和聲生成中，預錄制的和聲聲部聽起來可能與某一音域的主聲部和諧，但與另一音域的主聲部不和諧?？ɡ璒K演唱者可能經(jīng)常將主聲部變調(diào)一個音階來使主調(diào)線與他/她的音域符合。在這一情況中，所生成的和聲聽起來可能與變調(diào)的主調(diào)線不和諧。
有時非常難于識別卡拉OK歌曲的哪一聲部是作為現(xiàn)場聲部演唱的，特別是在具有多個聲部的卡拉OK歌曲中。在這種卡拉OK歌曲中，難于預言歌曲的哪一聲部將由卡拉OK演唱者演唱，所以有時所生成的和聲聲部與卡拉OK演唱者的現(xiàn)場聲部互相重合。再者，可在某些節(jié)目中將多個聲部作曲成互相交叉。另一方面，一名卡拉OK演唱者可無條件演唱高音聲部，或該演唱者可能混淆一首歌曲中的高音與低音聲部。在卡拉OK演唱者演唱這一歌曲時，演唱者在歌曲的兩個平行聲部之間轉(zhuǎn)換其現(xiàn)場聲部，從而使和聲聲部的某些節(jié)與現(xiàn)場聲部的某些節(jié)重疊。
本發(fā)明的目的為提供一種能夠通過根據(jù)實際演唱聲調(diào)整或調(diào)諧和聲而混合與卡拉OK演唱者的聲音和諧的最佳和聲。
按照本發(fā)明，將卡拉OK裝置構(gòu)造成演奏伴隨一個現(xiàn)場聲部的一個卡拉OK伴奏聲部及一個卡拉OK和聲聲部。該卡拉OK裝置包括采集現(xiàn)場聲部的演唱聲的拾音器、分析所采集的演唱聲以檢測現(xiàn)場聲部實際演唱的音域(musical register)的檢測器、根據(jù)檢測到的音域生成卡拉OK和聲聲部的和聲聲音而使卡拉OK和聲聲部與現(xiàn)場聲部和諧的和聲發(fā)生器、以及生成平行于卡拉OK和聲聲部的卡拉OK伴奏聲部的器樂音調(diào)的音調(diào)發(fā)生器。在本創(chuàng)造性卡拉OK裝置中，檢測演唱聲的音域來調(diào)諧和聲。例如，檢測用多個聲部之一的音域。和聲是配合檢測到的聲部生成的，從而使和聲與現(xiàn)場演唱聲及器樂伴奏音調(diào)十分和諧。
在本創(chuàng)造性卡拉OK裝置的一種形式中，和聲發(fā)生器裝置包括用于存儲對應于卡拉OK和聲聲部中不同地記錄的多條主調(diào)線的多個和聲數(shù)據(jù)圖式的存儲裝置、用于根據(jù)檢測到的演唱聲的音域選擇這些和聲數(shù)據(jù)圖式之一的選擇裝置、用于根據(jù)選擇的和聲數(shù)據(jù)圖式沿對應的主調(diào)線生成和聲的發(fā)生裝置。即該創(chuàng)造性卡拉OK裝置預先存儲多個和聲數(shù)據(jù)圖式。按照檢測到的現(xiàn)場演唱聲的音域選擇和聲數(shù)據(jù)圖式中最佳的一個。按照所選擇的和聲數(shù)據(jù)圖式合成和聲，借此與歌曲聲很好地符合。
在本創(chuàng)造性卡拉OK裝置的另一種形式中，和聲發(fā)生器裝置包括用于存儲表示一序列定義卡拉OK和聲聲部的音符的和聲數(shù)據(jù)圖式的存儲裝置、用于按照檢測到的演唱聲的音域移位該音符序列的音高借此調(diào)諧和聲數(shù)據(jù)圖式的移位裝置、及用于按照調(diào)諧后的和聲數(shù)據(jù)圖式生成和聲的發(fā)生裝置。即按照檢測到的音域移位初始卡拉OK和聲聲部的音高或頻率來產(chǎn)生經(jīng)過調(diào)諧或調(diào)整的卡拉OK和聲聲部。從而，可以用和聲數(shù)據(jù)圖式的最小數(shù)據(jù)量配合演唱聲的音域生成和聲。
在本創(chuàng)造卡拉OK裝置的又另一種形式中，檢測器裝置包括用于將采集的演唱聲的音高與現(xiàn)場聲部的范圍內(nèi)定義不同音域的參考數(shù)據(jù)進行比較以便確定所采集的演唱聲所屬的一個音域的比較裝置。檢測器裝置還包括供給裝置，用于隨著卡拉OK伴奏聲部的進行同步地順序提供參考數(shù)據(jù)，以便連續(xù)地檢測采集的演唱聲的音域，借此在整個卡拉OK伴奏聲部的進行中保持卡拉OK和聲聲部與現(xiàn)場聲部和諧。即按照多個參考或閾值數(shù)據(jù)將現(xiàn)場聲部的音程分成多個音高區(qū)。用演唱聲所屬的音高區(qū)來表示檢測到的演唱聲的音域或主調(diào)線。用這種構(gòu)造，即使演唱聲的音高波動，也能精確地檢測到音域。


圖1為展示按照本發(fā)明的卡拉OK裝置的主要部分的構(gòu)造的說明性方框圖。
圖2為展示本創(chuàng)造性卡拉OK裝置的主要部分的構(gòu)造的另一說明性方框圖。
圖3為展示本創(chuàng)作性卡拉OK裝置的主要部分的構(gòu)造的又另一說明性方框圖。
圖4為按照本發(fā)明的卡拉OK裝置的整體方框圖。
圖5為展示本卡拉OK裝置中所采用的聲音處理DSP的功能的說明性方框圖。
圖6A、6B與6C為展示卡拉OK裝置中所采用的歌曲數(shù)據(jù)格式的說明圖。
圖7為展示卡拉OK裝置中所采用的歌曲數(shù)據(jù)格式的說明性方框圖。
圖8為展示卡拉OK裝置中所采用的歌曲數(shù)據(jù)格式的說明性方框圖。
下面參考圖1至3描述本發(fā)明的基本配置。圖1示出利用由多種和聲數(shù)據(jù)圖式及逐個聲部地與各該多種和聲數(shù)據(jù)圖式對應的多種參考數(shù)據(jù)圖式構(gòu)式的歌曲數(shù)據(jù)的卡拉OK裝置。用數(shù)字1表示的歌曲數(shù)據(jù)包含多種和聲數(shù)據(jù)圖式、多種參考數(shù)據(jù)圖式及再生器樂伴奏聲的卡拉OK數(shù)據(jù)圖式。在卡拉OK演唱開始時，為了生成伴奏聲音而將卡拉OK數(shù)據(jù)圖式饋送給音調(diào)發(fā)生器6。通過混合器7與揚聲器8可聽見地播放所生成的伴奏聲。卡拉OK演唱者聽著伴奏聲唱一支卡拉OK歌曲。將用數(shù)字3表示的演唱聲音信號饋送到混合器7、聲音分析器4、聲音處理器5及和聲發(fā)生器2。
聲音分析器4為了分析演唱聲的音域而將輸入的演唱聲音信號3與多個參考數(shù)據(jù)圖式進行比較。參考數(shù)據(jù)圖式可以是與卡拉OK歌曲的同一聲部的和聲數(shù)據(jù)圖式的進行同步上升與下降的聲部的主調(diào)線的一種。例如，一個聲部的參考數(shù)據(jù)圖式可以從MI DI數(shù)據(jù)數(shù)據(jù)格式或諸如多音卡拉OK歌曲數(shù)據(jù)的主調(diào)音軌的另一種數(shù)據(jù)格式描述。音域檢測或聲部分析可按照各種方法進行。例如，當演唱聲音信號與事先以主調(diào)線格式描述的某一參考數(shù)據(jù)圖式重合時，最簡單的方法是將演唱聲音信號的音域作為對應的聲部檢測。另一種簡單方法是以定義不同音域的多個閾值數(shù)據(jù)圖式的形式提供參考數(shù)據(jù)圖式。通過評估演唱聲音信號屬于所定義的音域中哪一個而檢測出演唱聲的聲部或音域。將聲音分析器4的分析結(jié)果送至和聲發(fā)生器2及聲音處理器5。和聲發(fā)生器2根據(jù)輸入的分析結(jié)果選擇包含在歌曲數(shù)據(jù)中的多種和聲數(shù)據(jù)圖式之一。在這一選擇中，選擇最佳的和聲數(shù)據(jù)圖式來與分析出的演唱聲很好地和諧。和聲發(fā)生器2可通過處理或修正輸入的演唱聲音信號生成和聲信號。否則，和聲發(fā)生器2再生事先預錄制的和聲信號。聲音處理器5將音響效果給予演唱聲音信號。效果可從混響、響應聲音分析器4的分析結(jié)果進行的共振峰轉(zhuǎn)換等中間選擇。例如在共振峰轉(zhuǎn)換中，在采集到女聲(男聲)演唱聲時，有可能用男聲(女聲)共振峰來取代女聲(男聲)共振峰。用這種共振峰轉(zhuǎn)換，可將現(xiàn)場演唱聲的性別轉(zhuǎn)換成卡拉OK歌曲原演唱者的性別。
和聲發(fā)生器2連接在一個面板開關(guān)9上，手操作后者來選擇一個所想要的和聲聲部。在用開關(guān)9手動選擇了和聲聲部的情況中，不論聲音分析器4導出的是什么分析結(jié)果，都生成所選擇的和聲聲部的和聲信號。評分裝置50根據(jù)聲音分析器4的分析結(jié)果評價卡拉OK演唱并顯示評分結(jié)果。
有時，在歌曲的中間一名卡拉OK演唱者可改變到另一卡拉OK演唱者，或者可能改變他/她的聲部，或者可能改變音高一個音階?；旧希粲驒z測或聲部分析能跟上這些改變，使得播放的和聲聲部響應音域變化切換。然而，和聲聲部的突然切換會對聽眾或演唱者產(chǎn)生不自然的感覺。為了避免這一點，可在一定的過渡定時上切換和聲聲部。諸如在一個樂節(jié)或旋律的結(jié)束處。
如上所述，本創(chuàng)造性卡拉OK裝置構(gòu)造成可演奏用于伴隨現(xiàn)場聲音的卡拉OK伴奏聲部及卡拉OK和聲聲部。諸如麥克風等拾音器采集現(xiàn)場聲部的演唱聲3。聲音分析器4分析采集的演唱聲3以檢測出現(xiàn)場實際演唱的聲部的音域。和聲發(fā)生器2根據(jù)檢測出的音域生成卡拉OK和聲聲部的和聲，使得卡拉OK和聲聲部與現(xiàn)場聲部和諧。音調(diào)發(fā)生器6生成與卡拉OK和聲聲部平行的卡拉OK伴奏聲部的器樂音調(diào)。和聲發(fā)生器2存儲與不同地記錄在卡拉OK和聲聲部中的多條主調(diào)線對應的多種和聲數(shù)據(jù)圖式，按照檢測到的演唱聲的音域選擇和聲數(shù)據(jù)圖式之一，及根據(jù)選擇的和聲數(shù)據(jù)圖式沿對應的主調(diào)線生成和聲。例如，和聲發(fā)生器2選擇對應于具有與檢測到的演唱聲的音域?qū)Φ鹊囊粲虻闹髡{(diào)線的一種和聲數(shù)據(jù)圖式。聲音分析器4將采集的演唱聲的高音與定義現(xiàn)場聲部的范圍內(nèi)的不同音域的參考數(shù)據(jù)進行比較，以便確定所采集的演唱聲所屬的一個音域。聲音分析器4與卡拉OK伴奏聲部的進行同步地順序提供參考數(shù)據(jù)，以便連續(xù)地檢測所采集的演唱聲的音域，借此在卡拉OK伴奏聲部的整個進行中保持卡拉OK和聲聲部與現(xiàn)場聲部和諧。
圖2示出利用由一種和聲數(shù)據(jù)圖式及一種參考數(shù)據(jù)圖式構(gòu)成的歌曲數(shù)據(jù)的另一種卡拉OK裝置。圖2中，與圖1中相同的部件用相同的數(shù)字指示以使更好地理解本實施例。歌曲數(shù)據(jù)1’包含和聲數(shù)據(jù)圖式，參考數(shù)據(jù)圖式及演奏伴音的卡拉OK數(shù)據(jù)圖式。聲音分析器4’分析演唱聲音信號高于或低于參考數(shù)據(jù)圖式多少度?？蓪⒙曇舴治銎?’簡化成檢測用一個音階表示的演唱聲音信號的音域。聲音分析器4’計算參考數(shù)據(jù)圖式與演唱聲音信號之間的音高差，并將計算結(jié)果發(fā)送給和聲發(fā)生器2’。為了確定要演奏的和聲的音高，和聲發(fā)生器2’響應輸入的音高差移位和聲數(shù)據(jù)圖式的音高。和聲發(fā)生器2’可通過處理或修正輸入的演唱聲音信號或通過再生類似于圖1中的和聲發(fā)生器2事先預錄制的樣本和聲信號而生成和聲信號。
如上所述，在圖2的卡拉OK裝置中，和聲發(fā)生器2’存儲表示定義卡拉OK和聲聲部的一序列音符的一個和聲數(shù)據(jù)圖式，按照檢測到的用音高差表示的演唱聲的音域移位該音符序列的音高借此調(diào)諧和聲數(shù)據(jù)圖式，及按照經(jīng)過調(diào)諧的和聲數(shù)據(jù)圖式生成和聲。和聲發(fā)生器2’包括用于按照經(jīng)過調(diào)諧的和聲數(shù)據(jù)圖式修正采集的演唱聲的音高而生成來源于演唱聲的和聲的音高移位器。
圖3示出采用只由一種和聲數(shù)據(jù)圖式及一種卡拉OK數(shù)據(jù)圖式構(gòu)成的歌曲數(shù)據(jù)的另一實施例的卡拉OK裝置。圖3中，與圖1中相同的部件用相同的數(shù)字指示，并從而省略其詳細描述。聲音分析器4”以三個固定的閾值數(shù)據(jù)的形式存儲儲參考數(shù)據(jù)。這三個閾值數(shù)據(jù)稱作歌曲頂點閾值、男聲最高閾值及女聲最低閾值。一般地說，一首普通的卡拉OK歌曲的聲音旋律在一個特有的音域上開始，從而有可能通過在卡拉OK歌曲演唱開始時檢測演唱聲音信號的音階而探測出演唱者是男的還是女的。從而，將歌曲頂點閾值設定在普通男聲與女聲域的邊界上。聲音分析器4”根據(jù)歌曲頂點閾值在卡拉OK歌唱開始時便快速探測出卡拉OK演唱者是男的還是女的。聲音旋律中可包含一序列具有從高到低的各種音高的音符。然而，即使初始將演唱者深測為男的，如果演唱聲的音高相對于男聲最高閾值太高，使可認為更換了演唱者或者原來的探測是錯誤的。這一認識是用男聲最高閾值完成的。如果演唱聲的音高超過男聲最高閾值，便取消原來的探測結(jié)果而將演唱者探測為女的。另一方面，即使將演唱者原來深測為女的，如果歌唱聲的音高太低，便可認為更換了演唱者或原來的探測是錯的。這一認識是用女聲最低閾值完成的。如果演唱聲的音高落在女聲最低閾值以下，便取消原來的探測結(jié)果而將演唱者探測為男的，將男聲/女聲識別結(jié)果饋送到和聲發(fā)生器2”。和聲發(fā)生器2”根據(jù)探測到的以音階表示的男聲/女聲音域確定和聲信號的音高。
從而，在圖1中所示的實施例中，為了根據(jù)音域分析結(jié)果從多種和聲數(shù)據(jù)圖式中選擇最佳的一種而利用多種參考數(shù)據(jù)圖式分析演唱聲音信號，從而使和聲聲部與演唱者的聲部和諧。在圖2與3中所示的實施例中，和聲信號可用簡單的配置調(diào)諧。
下面參考圖4至8說明按照本發(fā)明的卡拉OK裝置的細節(jié)。該卡拉OK裝置為在其中實現(xiàn)通信設施與調(diào)諧設施的聲源類型。在聲源型卡拉OK裝置中，將歌曲數(shù)據(jù)饋送到為卡拉OK演唱再生音樂聲的聲源裝置。歌曲數(shù)據(jù)由指定音符的音高與定時的多個記錄軌的序列數(shù)據(jù)組成。用通信設施將卡拉OK裝置通過一個通信網(wǎng)絡與一個主站連接，從主站下裝歌曲數(shù)據(jù)并將歌曲數(shù)據(jù)存儲在HDD(硬盤驅(qū)動器)17中(圖4)。HDD17能存儲數(shù)百到數(shù)千個歌曲數(shù)據(jù)文件?？ɡ璒K裝置響應對演唱者的聲音的分析，用調(diào)諧設施生成和播放與演唱者的聲音和諧的和聲。
下面參考圖6A至8描述存儲在HDD17中的歌曲數(shù)據(jù)的格式?？筛鶕?jù)用于檢測演唱者的聲部或音域的若干參考數(shù)據(jù)圖式及若干和聲數(shù)據(jù)圖式將歌曲數(shù)據(jù)分類成類型I、類型II及類型III。參考圖1描述類型I的歌曲數(shù)據(jù)，參考圖2描述類型II的歌曲數(shù)據(jù)及參考圖3描述類型III的歌曲數(shù)據(jù)。
圖6A示出類型I的歌曲數(shù)據(jù)的格式。歌曲數(shù)據(jù)包括一個標題、一個伴奏聲音記錄軌、一個歌詞顯示數(shù)據(jù)記錄軌、與多種和聲數(shù)據(jù)圖式對應的個多和聲聲部數(shù)據(jù)記錄軌及與多種參考數(shù)據(jù)圖式對應的多個聲部分析數(shù)據(jù)記錄軌。標題中包含卡拉OK歌曲的名稱、卡拉OK歌曲的種類、卡拉OK歌曲的發(fā)行日期、卡拉OK歌曲的演唱時間(長度)等有關(guān)卡拉OK歌曲的各種提要數(shù)據(jù)。伴奏聲音數(shù)據(jù)記錄軌中包含合成卡拉OK伴奏聲音的一序列數(shù)據(jù)。特別是伴奏聲音數(shù)據(jù)記錄軌中包含主調(diào)記錄軌、節(jié)奏記錄軌等并行器樂子記錄軌。各子記錄軌中包含由音符事件數(shù)據(jù)及指定各音符事件的時間間隔的持續(xù)時間數(shù)據(jù)組成的序列數(shù)據(jù)。歌詞顯示數(shù)據(jù)記錄軌中記錄在視頻監(jiān)視器上顯示卡拉OK歌曲的歌詞的一序列數(shù)據(jù)。歌曲數(shù)據(jù)中包含N個和聲聲部數(shù)據(jù)記錄軌。和聲聲部數(shù)據(jù)記錄軌中存儲表示對應的和聲聲部的主調(diào)線的音高序列數(shù)據(jù)。存儲在和聲聲部數(shù)據(jù)記錄軌中的音高序列數(shù)據(jù)包括指令按鍵或松鍵及各音符的音高的事件數(shù)據(jù)的組合。再者，歌曲數(shù)據(jù)中包含M個聲部分析數(shù)據(jù)記錄軌。各聲部分析數(shù)據(jù)記錄軌中存儲一序列數(shù)據(jù)。該序列數(shù)據(jù)也實現(xiàn)為事件數(shù)據(jù)與持續(xù)時間數(shù)據(jù)的組合，因此聲部分析數(shù)據(jù)記錄軌也保持與卡拉OK歌曲演唱同步進行。
圖6B與6C展示演唱者的現(xiàn)場聲部、和聲聲部與分析聲部之間的關(guān)系。圖6B示出一個示例，其中的歌曲數(shù)據(jù)包含若干演唱者的聲部1、2與3，以及對應于這些演唱者的聲部的若干和聲聲部1、2與3。為了檢測演唱者實際唱出的是演唱者的聲部1至3中哪一個，以閾值數(shù)據(jù)1與2的形式實現(xiàn)聲部分析數(shù)據(jù)。為了檢測實際上演唱者正在演唱的聲部及為了選擇對應的和聲配合而評估閾值數(shù)據(jù)1與2所定義的音域中的哪一個覆蓋演唱聲音信號。
在圖6C中所示的另一示例中，利用多個演唱者的聲部原封不動地用于分析數(shù)據(jù)聲部及和聲聲部兩者。如果卡拉OK演唱者唱出多個演唱者聲部中的某一個，卡拉OK裝置檢測出演唱者實際唱出的聲部，并選擇另一聲部作為要演奏的和聲聲部。
可從圖6B與6C中看出，這些示例中的和聲數(shù)據(jù)相對于演唱者的聲部并不代表簡單的平行第三或第五對等旋律，而是從卡拉OK歌曲的節(jié)奏或和諧方面的音樂觀點上代表與演唱者的聲部完美地配合的獨一無二地與演唱者的聲部組合的旋律。
圖7示出類型II的歌曲數(shù)據(jù)的示例。歌曲數(shù)據(jù)中包括一個標題、一個伴奏聲音數(shù)據(jù)記錄軌、一個歌詞顯示數(shù)據(jù)記錄軌、一個和聲聲部數(shù)據(jù)記錄軌及一個聲部分析數(shù)據(jù)記錄軌。標題、伴奏聲音數(shù)據(jù)記錄軌及歌詞顯示數(shù)據(jù)記錄軌是和類型I的歌曲數(shù)據(jù)相似地構(gòu)成的。在這一示例中只提供了一個和聲聲部數(shù)據(jù)記錄軌。和聲信號是取決于演唱者實際上正在演唱的聲部的音域通過在一定度數(shù)(通常為一個音階)上移位和聲聲部數(shù)據(jù)的音高而生成的。根據(jù)演唱聲音信號與音高分析數(shù)據(jù)之間的音高差檢測出卡拉OK演唱者所唱的聲部或音域。和聲聲部的主調(diào)線可以與圖6C的情況中的卡拉OK演唱者的聲部的主調(diào)線相同。
圖8示出類型III的歌曲數(shù)據(jù)的示例。歌曲數(shù)據(jù)中包括一個標題、一個伴奏聲音數(shù)據(jù)記錄軌、一個歌詞顯示數(shù)據(jù)記錄軌及一個和聲聲部數(shù)據(jù)記錄軌。標題、伴奏聲音數(shù)據(jù)記錄軌及歌詞顯示數(shù)據(jù)記錄軌與歌曲數(shù)據(jù)類型I相似地組成。和類型II的歌曲數(shù)據(jù)一樣，移位和聲聲部數(shù)據(jù)記錄軌中規(guī)定的和聲主調(diào)線的音高來產(chǎn)生和聲信號。由于聲部分析數(shù)據(jù)不包含在歌曲數(shù)據(jù)中，通過將演唱者的聲音信號與存儲在聲部分析器中的固定閾值進行比較而檢測出演唱者所唱的聲部。移位和聲聲部數(shù)據(jù)記錄軌的音高使和聲信號與檢測到的演唱者的聲部和諧。
按照本發(fā)明的卡拉OK裝置支持上述三種類型的歌曲數(shù)據(jù)中任何一種。按照各歌曲數(shù)據(jù)類型專用的不同分析方法檢測出卡拉OK演唱者所唱的聲部，以便將和聲聲部調(diào)諧成與檢測到的現(xiàn)場聲部或其音域和諧。
圖4為卡拉OK裝置的詳細示意方框圖。CPU10通過其系統(tǒng)總線控制整個系統(tǒng)。CPU10連接到一個ROM11、一個RAM12、一個HDD(硬盤驅(qū)動器)17、一個ISDN控制器16、一個遙控接收器13、一塊顯示面板14、一塊開關(guān)面板15、一個聲源18、一個聲音數(shù)據(jù)處理器19、一個效果DSP20、一個字符發(fā)生器23、一個LD更換器24、一個顯示控制器25及一個聲音處理DSP30。
ROM11中存儲系統(tǒng)程序、應用程序、一個加載程序及字體數(shù)據(jù)。系統(tǒng)程序控制系統(tǒng)的基本操作及外圍設備與系統(tǒng)之間的數(shù)據(jù)往來。應用程序中包括外圍設備控制程序、序列程序等。在卡拉OK演唱中，CPU10執(zhí)行各序列程序來按照歌曲數(shù)據(jù)播放音樂聲及視頻圖象。用加載程序從主站通過ISDN控制器16加載歌曲數(shù)據(jù)。字體數(shù)據(jù)用來顯示歌詞與歌曲名稱。存儲了諸如“Mincho”與“哥德體”等各種字體作為字體數(shù)據(jù)。在RAM12中分配一個工作區(qū)。HDD17中存儲歌曲數(shù)據(jù)文件。
ISDN控制器16控制通過ISDN網(wǎng)與主站的通信。包含歌曲數(shù)據(jù)在內(nèi)的各種數(shù)據(jù)是從主站下裝的。ISDN控制器16提供一個DMA控制器，后者將數(shù)據(jù)及諸如下裝的歌曲數(shù)據(jù)與應用程序等程序直接寫入HDD17中而無需CPU10的控制。
遙控接收器13接收遙控器31發(fā)射的紅外線控制信號，及解碼所接收的控制信號。遙控器31上設置有十鍵開關(guān)及諸如歌曲選擇器開關(guān)等命令開關(guān)。遙控器31發(fā)射用對應于用戶操作的開關(guān)的命令碼調(diào)制的紅外線控制信號。顯示面板14設置在卡拉OK裝置的正面。顯示面板14上顯示當前正在播放的卡拉OK歌曲的歌曲代碼，保留要播放的若干歌曲等。開關(guān)面板15設置在卡拉OK裝置的正面操作面板上。開關(guān)面板15包含一個歌曲代碼輸入開關(guān)，一個演唱鍵更換開關(guān)等。
聲源18由按照CPU10分配的歌曲數(shù)據(jù)生成伴奏聲音的音調(diào)發(fā)生器構(gòu)成。聲音數(shù)據(jù)處理器19生成背景合唱聲音信號或其它具有對應于包含在歌曲數(shù)據(jù)中的合唱聲音數(shù)據(jù)的指定長度與音高的其它信號。聲音數(shù)據(jù)由背景合唱聲的ADPCM波形或其它聲源18難于合成的波形數(shù)據(jù)構(gòu)成，并原封不動地數(shù)字編碼。
麥克風27采集或拾取卡拉OK演唱者的演唱聲音信號。將所采集的演唱聲音信號通過前置放大器28及A/D轉(zhuǎn)換器29饋送給聲音處理器DSP30。除了演唱聲音信號，DSP30還接收來自CPU10的聲部分析數(shù)據(jù)及和聲聲部數(shù)據(jù)。聲音處理DSP30根據(jù)輸入的聲部分析數(shù)據(jù)檢測出卡拉OK演唱者所唱的聲部，并生成與演唱者的聲部和諧的和聲信號。和聲信號是通過移位演唱者的聲音信號的音高而生成的。將所生成的和聲信號饋送給效果DSP20。
效果DSP20接收聲源18生成的伴奏聲音信號、聲音數(shù)據(jù)處理器19生成的背景合唱聲音信號及聲音DSP30生成的和聲信號。效果DSP20將諸如回響與混響等各種聲音效果分配給聲音信號。效果DSP20所分配的聲音效果的類型與層次是根據(jù)包含在歌曲數(shù)據(jù)的伴奏聲音記錄軌中的效果控制數(shù)據(jù)控制的。在D/A轉(zhuǎn)換器21中將分配了效果的伴奏聲音與演唱聲音信號轉(zhuǎn)換成模擬信號，然后饋送給放大器/揚聲器22。放大器/揚聲器22播放帶放大的輸入模擬信號的聲音。
字符發(fā)生器23生成表示歌曲名稱及對應于輸入的字符數(shù)據(jù)的歌詞的字符圖式。LD更換器24提供包含120種場景的大約五塊激光光盤，并能有選擇地播放大約120個場景的背景視頻圖象。LD更換器24接收根據(jù)包含在歌曲數(shù)據(jù)中的種類數(shù)據(jù)確定的圖象選擇數(shù)據(jù)。LD更換器24從120種場景的視頻圖象中選擇一種背景視頻圖象，并可見地播出該視頻圖象。將生成的字符圖式數(shù)據(jù)與選中的視頻圖象數(shù)據(jù)送到顯示控制器25。顯示控制器25互相疊加這兩種輸入數(shù)據(jù)，然后在視頻監(jiān)視器26上顯示合成的圖象。
圖5展示聲音處理DSP30的詳細結(jié)構(gòu)。為了生成與演唱聲音信號和諧的和聲聲部的音頻信號，聲音處理DSP30分析輸入的演唱聲音信號。圖5中，用方框示出聲音處理DSP30的功能。這些功能實際上是由DSP的微程序?qū)崿F(xiàn)的。
將通過A/D轉(zhuǎn)換器29提供的演唱聲音信號饋送給一個音高檢測器40、一個音節(jié)檢測器42及一個音高移位器43。音高檢測器40檢測輸入演唱聲音信號的音高或頻率。音節(jié)檢測器42檢測包含在輸入演唱聲音信號中的各個音節(jié)。音節(jié)是通過根據(jù)輔音與元音的語音學特征判定輔音與元音而檢測出的。音高移位器43移位輸入演唱聲音信號的音高來生成與輸入演唱聲音信號和諧的和聲信號。從而，通過一條聲道原封不動地輸出采集的卡拉OK演唱者的聲音，并且還由聲音處理DSP30移位音高，而與伴奏聲音信號平行地轉(zhuǎn)換成與演唱者的聲音和諧的和聲信號。
將音高檢測器40檢測到的音高信息饋送給聲部分析器41及音高移動控制器46。聲部分析器41接收關(guān)于歌曲數(shù)據(jù)類型(I至III)的參考信息及聲部分析數(shù)據(jù)。聲部分析器41根據(jù)歌曲數(shù)據(jù)類型信息及音高檢測器40檢測到的音高信息分析與檢測卡拉OK演唱者所唱的卡拉OK歌曲的聲部。稍后詳細描述聲部分析方法。
將聲部分析器41的聲部分析結(jié)果反饋給CPU10，然后饋送給音高移位控制器46。如果是類型I的歌曲數(shù)據(jù)，CPU10選擇和聲聲部數(shù)據(jù)記錄軌之一，并將選中的和聲聲部數(shù)據(jù)傳送給包含在聲音處理DSP30中的和聲聲部寄存器44。如果是類型II或III的歌曲數(shù)據(jù)，只存儲了一個和聲聲部數(shù)據(jù)記錄軌，因此將該唯一記錄軌的和聲聲部數(shù)據(jù)送至聲音處理DSP30的和聲聲部寄存器44。
根據(jù)指針生成器45生成的地址指針讀出存儲在和聲聲部寄存器44中的和聲聲部數(shù)據(jù)，然后饋送給音高移位控制器46。指針生成器45響應音節(jié)檢測器42生成的音節(jié)信息增量地址指針。從而，和聲聲部的主調(diào)線并不與恒定的節(jié)拍時鐘同步進行，而是與卡拉OK演唱者的演唱的實際節(jié)拍同步進行，從而即使演唱者的演唱越出恒定的節(jié)拍，所生成的和聲聲部也能與演唱者的聲部很好地同步。
為了生成與輸入的演唱聲及伴奏聲和諧的和聲信號，音高移位控制器46根據(jù)檢測到的輸入演唱聲音信號的音高與音域以及從和聲聲部寄存器44中讀出的和聲聲部數(shù)據(jù)，計算要作用在輸入演唱聲音信號的音高移位置。將音高移位控制器46計算的音高移位量作為音高移位控制數(shù)據(jù)饋送給音高移位器43。音高移位器43按照輸入的音高移位控制數(shù)據(jù)移位所采集的演唱聲音信號的音高。假定演唱者在正常的音高上唱歌，音高移位后的聲音信號與演唱聲音信號及伴奏聲音信號便能十分和諧。將經(jīng)過音高移位的聲音信號送至效果DSP20。
下面相對于各歌曲數(shù)據(jù)類型I至III說明聲部分析方法及音高移位計算方法。如果是圖6A-6C中所示的類型I歌曲數(shù)據(jù)，將多種聲部分析數(shù)據(jù)分配給聲部分析器41。聲部分析器41按照定義不同音域的閾值的聲部分析數(shù)據(jù)分析唱聲音信號的音域。根據(jù)分析結(jié)果，選擇與檢測到的音域?qū)囊粋€和聲聲部。將聲部分析結(jié)果送至CPU10。取決于聲部分析結(jié)果，CPU10從和聲聲部數(shù)據(jù)記錄軌中選出一個和聲聲部，讀出所選中的和聲聲部，并將其送至和聲聲部寄存器44。對于類型I的歌曲數(shù)據(jù)，最佳和聲聲部是從多個和聲聲部數(shù)據(jù)記錄軌中選出的。選中的和聲聲部數(shù)據(jù)表示和聲主調(diào)線的一序列絕對音高數(shù)據(jù)。為了將演唱聲音信號移位到選中的和聲聲部的絕對音高上，音高移位控制器46計算演唱聲與和聲主調(diào)線之間的音高差來確定作用在演唱聲信號上的音高移位量。在以上的說明中，假定聲部分析數(shù)據(jù)是作為圖6B中所示的閾值數(shù)據(jù)存儲的。然而，如果聲部分析數(shù)據(jù)是作為多種和聲旋律數(shù)據(jù)存儲的，便有可能檢測哪一種聲部旋律數(shù)據(jù)與演唱聲音信號符號合，及有可能生成所選中的旋律聲部以外的和聲聲部。聲部分析器41連續(xù)地分析演唱聲的聲部或音域，因此即使演唱者在演唱中途改變他/她的主調(diào)聲部，和聲聲部也能切換。
對于圖7中所示的類型II的歌曲數(shù)據(jù)，聲部分析器41計算聲部分析數(shù)據(jù)與演唱聲音信號之間的音高差。根據(jù)計算出的音高差確定要作用在和聲聲部上的音高移位調(diào)整。將導出的音高移位調(diào)整作為聲部分析結(jié)果給予音高移位控制器46。和聲數(shù)據(jù)寄存器44中存儲為該歌曲準備的唯一和聲聲部數(shù)據(jù)。根據(jù)指針生成器45饋送來的地址指針將存儲在和聲聲部寄存器44中的和聲聲部數(shù)據(jù)分配給音高移位控制器46。音高移位控制器46根據(jù)演唱聲音信號與和聲聲部數(shù)據(jù)之間的音高差并根據(jù)聲部分析部41分配的音高移位調(diào)整，生成最終的音高移位信息。將最終音高移位信息饋送給音高移位器43。用這種和聲聲部處理，即使在演唱者在他/她的音域內(nèi)將其主調(diào)聲部變調(diào)一個音階來演唱時，和聲聲部也能適應音域的變調(diào)，并能在足夠的音域中生成一個最佳的和聲。
對于圖8中所示的類型III歌曲數(shù)據(jù)，歌曲數(shù)據(jù)中并不包含聲部分析數(shù)據(jù)。對于類型III的歌曲數(shù)據(jù)，聲部分析器41用三個固定的閾值數(shù)據(jù)來分析演唱者的音域，它們是男聲最高閾值、女聲最低閾值及歌曲頂點閾值。在歌曲開始時，將演唱者的聲音信號與歌曲頂點閾值比較。在這一比較中，如果演唱者的聲音信號的音高高于歌曲頂點閾值，便探測出演唱者為女性。如果探測到演唱者為女性，便將和聲聲部的絕對音高移位到女聲或男聲音域中。具體地，如果需要同一性別的和聲便將和聲聲部移位到女聲音域中，或者如果需要相反性別的和聲，便移位到男聲音域中。反之，如果演唱者的聲音信號低于歌曲頂點閾值則探測出演唱者為男性。類似于上述女性演唱者的情況，將和聲聲部的音高移位到男聲或女聲音域中。
效果DSP20不僅可加上諸如混響等典型的效果，也能加上諸如共振峰轉(zhuǎn)換等一定的特殊效果。
如上所述，本發(fā)明的卡拉OK裝置根據(jù)包含在歌曲數(shù)據(jù)中的和聲聲部數(shù)據(jù)記錄軌的數(shù)目及參考數(shù)據(jù)記錄軌的數(shù)目進行聲部分析來生成和聲信號。從而，能為各種類型的歌曲數(shù)據(jù)生成一個最佳的和聲。
如上面所示，按照本發(fā)明的第一方面，連續(xù)地分析現(xiàn)場演唱聲的音域來調(diào)諧對應的和聲，因此有可能生成與卡拉OK演唱聲十分和諧的最佳和聲。按照本發(fā)明的第二方面，不僅只通過移位演唱聲，還通過選擇多種和聲聲部數(shù)據(jù)中的最佳一種，而為所有的聲音音域生成最佳的和聲。按照本發(fā)明的第三方面，即使演唱聲升高或降低了一個音階，也能相應地移位和聲的頻率，因此有可能在演唱聲與聲之間保持最佳的音高間隔。按照本發(fā)明的第四方面，演唱聲的音域是根據(jù)與卡拉OK演唱同步變化的頻率閾值數(shù)據(jù)檢測的。從而，便有可能互相獨立地進行和聲聲部控制與演唱聲的聲部分析，從而能夠不依賴于演唱聲的主調(diào)生成與演唱聲完全不同的和聲。再者，假定演唱聲屬于閾值所定義的范圍，即使演唱走調(diào)時也能檢測到演唱聲的聲部。
權(quán)利要求
1.一種構(gòu)造成演奏伴隨現(xiàn)場聲部的卡拉OK伴奏聲部及卡拉OK和聲聲部的卡拉OK裝置，包括一個拾音裝置，采集現(xiàn)場聲部的演唱聲；一個檢測器裝置，分析采集的演唱聲以檢測現(xiàn)場聲部實際演唱的音域；一個和聲發(fā)生器裝置，根據(jù)檢測到的音域生成卡拉OK和聲聲部的和聲，使得卡拉OK和聲聲部與現(xiàn)場聲部和諧；以及一個音調(diào)發(fā)生器裝置，與卡拉OK和聲聲部平行地生成卡拉OK伴奏聲部的器樂音調(diào)。
2.按照權(quán)利要求1的卡拉OK裝置，其中該和聲發(fā)生器裝置包括存儲裝置，用于存儲與多個不同地記錄在卡拉OK和聲聲部中的多條主調(diào)線對應的多種和聲數(shù)據(jù)圖式；選擇裝置，用于按照檢測到的演唱聲的音域選擇和聲數(shù)據(jù)圖式之一；以及發(fā)生裝置，用于按照選中的和聲數(shù)據(jù)圖式沿對應的主調(diào)線生成和聲。
3.按照權(quán)利要求2的卡拉OK裝置，其中該選擇裝置包括用于選擇對應于具有與所檢測到的演唱聲的音域?qū)Φ鹊囊粲虻闹髡{(diào)線的一種和聲數(shù)據(jù)圖式的裝置。
4.按照權(quán)利要求1的卡拉OK裝置，其中該和聲發(fā)生器裝置包括存儲裝置，用于存儲表示定義卡拉OK和聲聲部的一序列音符的和聲數(shù)據(jù)圖式；移位裝置，用于按照檢測到的演唱聲的音域移位該音符序列的音高，借此調(diào)諧和聲數(shù)據(jù)圖式；以及發(fā)生裝置，用于按照經(jīng)過調(diào)諧的和聲數(shù)據(jù)圖式生成和聲。
5.按照權(quán)利要求4的卡拉OK裝置，其中該發(fā)生裝置包括用于按照經(jīng)過調(diào)諧的和聲數(shù)據(jù)圖式修正采集的演唱聲的音高以生成來源于演唱聲的和聲的裝置。
6.按照權(quán)利要求1的卡拉OK裝置，其中該和聲發(fā)生器裝置包括用于按照檢測到的音域修正采集的演唱聲的音高以生成和聲的裝置。
7.按照權(quán)利要求1的卡拉OK裝置，其中該和聲發(fā)生器裝置包括用于生成具有與檢測到的演唱聲的音域相差一個音階的音域的和聲的裝置。
8.按照權(quán)利要求1的卡拉OK裝置，其中該檢測裝置包括比較裝置，用于將所采集的演唱聲的音高與在現(xiàn)場聲部的范圍內(nèi)定義不同音域的參考數(shù)據(jù)進行比較，以便確定所采集的演唱聲屬于的一個音域。
9.按照權(quán)利要求8的卡拉OK裝置，其中該檢測器裝置還包括供給裝置，用于與卡拉OK伴奏聲部的進行同步地順序提供參考數(shù)據(jù)，以便連續(xù)地檢測所采集的演唱聲的音域，借此在整個卡拉OK伴奏聲部的進行中初始保持卡拉OK和聲聲部與現(xiàn)場聲部和諧。
10.按照權(quán)利要求8的卡拉OK裝置，其中該檢測器裝置還包括供給裝置，用于在卡拉OK伴奏聲部開始時初始提供參考數(shù)據(jù)，以便快速檢測采集的演唱聲的音域。
11.一種演奏伴隨現(xiàn)場聲部的卡拉OK伴奏聲部及卡拉OK和聲聲部的方法，包括下述步驟采集現(xiàn)場聲部的演唱聲；分析采集的演唱聲以檢測現(xiàn)場聲部實際演唱的音域；按照檢測到的音域生成卡拉OK和聲聲部的和聲，從而使卡拉OK和聲聲部與現(xiàn)場聲部和諧；以及與卡拉OK和聲聲部平行生成卡拉OK伴奏聲部的器樂音調(diào)。
12.按照權(quán)利要求11的方法，其中生成和聲的步驟包括下述步驟存儲與不同地記錄在卡拉OK和聲聲部中的多條主調(diào)線對應的多種和聲數(shù)據(jù)圖式；按照檢測到的演唱聲的音域選擇和聲數(shù)據(jù)圖式之一；以及按照選中的和聲數(shù)據(jù)圖式沿對應的主調(diào)線生成和聲。
13.按照權(quán)利要求12的方法，其中的選擇步驟包括選擇對應于具有與檢測到的演唱聲的音域?qū)Φ鹊囊粲虻闹髡{(diào)線的一種和聲數(shù)據(jù)圖式。
14.按照權(quán)利要求11的方法，其中的生成和聲的步驟包括下述步驟存儲表示一序列定義卡拉OK和聲聲部的音符和聲數(shù)據(jù)圖式；按照檢測到的演唱聲的音域移位該音符序列的音高借此調(diào)諧和聲數(shù)據(jù)圖式；以及按照經(jīng)過調(diào)諧的和聲數(shù)據(jù)圖式生成和聲。
15.按照權(quán)利要求14的方法，其中的生成和聲的步驟包括按照經(jīng)過調(diào)諧的和聲數(shù)據(jù)圖式修正所采集的演唱聲的音高，從而生成來源于演唱聲的和聲。
16.按照權(quán)利要求11的方法，其中的生成和聲的步驟包括根據(jù)檢測到的音域修正所采集的演唱聲的音高以生成和聲。
17.按照權(quán)利要求11的方法，其中的生成和聲的步驟包括生成具有與檢測到的演唱聲的音域相差一個音階的音域的和聲。
18.按照權(quán)利要求11的方法，其中的分析所采集的演唱聲的步驟包括將采集的演唱聲的音高與現(xiàn)場聲部的范圍內(nèi)定義不同音域的參考數(shù)據(jù)進行比較以便確定采集的演唱聲所屬的一個音域。
19.按照權(quán)利要求18的方法，其中的分析所采集的演唱聲的步驟還包括與卡拉OK伴奏聲部的進行同步地順序提供參考數(shù)據(jù)，以便連續(xù)地檢測采集的演唱聲的音域，借此使卡拉OK和聲聲部在整個卡拉OK伴奏聲部的進行中始終保持與現(xiàn)場聲部和諧。
20.按照權(quán)利要求18的方法，其中的分析所采集的演唱聲的步驟還包括在卡拉OK伴奏聲部開始時初始提供參考數(shù)據(jù)，以便快速檢測采集的演唱聲的音域。
全文摘要
一種卡拉OK裝置，構(gòu)成為演奏伴隨現(xiàn)場聲部的卡拉OK伴奏聲部及卡拉OK和聲聲部。一個拾音器采集現(xiàn)場聲部的演唱聲。一個檢測器裝置分析所采集的演唱聲以檢測實際演唱的現(xiàn)場聲部所屬的音域。一個和聲發(fā)生器裝置根據(jù)檢測到的音域生成卡拉OK和聲聲部的和聲，使得卡拉OK和聲聲部與現(xiàn)場聲部和諧。一個音調(diào)發(fā)生器裝置與卡拉OK和聲聲部平行地生成卡拉OK伴奏聲部的器樂音調(diào)。
文檔編號G10H1/10GK1150289SQ9610924
公開日1997年5月21日 申請日期1996年7月31日 優(yōu)先權(quán)日1995年7月31日
發(fā)明者松本秀一 申請人:雅馬哈株式會社