本發(fā)明涉及計(jì)算機(jī)信息處理領(lǐng)域，具體為古琴動(dòng)態(tài)譜的一種實(shí)現(xiàn)方法。

背景技術(shù)：

1、古琴是中國(guó)的古老樂(lè)器，減字譜是描述古琴指法的譜子，隨著科學(xué)技術(shù)的發(fā)展，音視頻的出現(xiàn)，古琴藝術(shù)的展示和傳播方式發(fā)生了變化，以前常通過(guò)閱讀琴譜或者音視頻來(lái)學(xué)習(xí)古琴。而古琴聲譜同步播放作為一種新的表現(xiàn)形式出現(xiàn)，大大方便了古琴的學(xué)習(xí)。其實(shí)現(xiàn)將本來(lái)孤立的音視頻內(nèi)容和琴譜結(jié)合起來(lái)，同步展示，在播放音視頻的同時(shí)，同步展示其樂(lè)譜，提高了學(xué)習(xí)效率。

2、現(xiàn)有常用方法是手動(dòng)制作聲譜同步，首先手動(dòng)標(biāo)記樂(lè)譜的每個(gè)音符位置，然后記錄每個(gè)音符在音頻中的時(shí)間軸信息，達(dá)到播放音頻時(shí)，自動(dòng)高亮顯示對(duì)音位置的區(qū)域。

3、現(xiàn)有系統(tǒng)在實(shí)際使用的過(guò)程中會(huì)存在以下問(wèn)題：

4、1、樂(lè)譜可能是一張圖片，或者簡(jiǎn)線譜圖片，本身不是數(shù)字化內(nèi)容，需要手動(dòng)對(duì)坐標(biāo)，標(biāo)記所有音符的位置信息，然后通過(guò)記錄每個(gè)位置對(duì)音音頻的時(shí)間信息，從而在播放時(shí)顯示此位置區(qū)域，需要大量的人力勞動(dòng)，而且容易發(fā)生錯(cuò)誤；

5、2、手動(dòng)制作聲譜同步的過(guò)程極為繁瑣。不僅需要仔細(xì)辨認(rèn)樂(lè)譜上的每個(gè)音符，確定其在樂(lè)譜中的準(zhǔn)確位置，還要精確地將這些位置與音頻中的時(shí)間軸進(jìn)行對(duì)應(yīng)。對(duì)于復(fù)雜的古琴樂(lè)譜，可能包含大量不同的音符和演奏技巧，這使得標(biāo)記工作變得更加困難。例如，一些快速的彈奏段落可能有多個(gè)音符密集出現(xiàn)，要準(zhǔn)確標(biāo)記這些音符的位置和時(shí)間信息需要高度的專注和耐心。

6、所以需要古琴動(dòng)態(tài)譜的一種實(shí)現(xiàn)方法來(lái)解決上述問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、解決的技術(shù)問(wèn)題

2、針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供了古琴動(dòng)態(tài)譜的一種實(shí)現(xiàn)方法，解決了現(xiàn)有技術(shù)中樂(lè)譜可能是一張圖片，或者簡(jiǎn)線譜圖片，本身不是數(shù)字化內(nèi)容，需要手動(dòng)對(duì)坐標(biāo)，標(biāo)記所有音符的位置信息，然后通過(guò)記錄每個(gè)位置對(duì)音音頻的時(shí)間信息，從而在播放時(shí)顯示此位置區(qū)域，需要大量的人力勞動(dòng)，而且容易發(fā)生錯(cuò)誤的問(wèn)題。

3、技術(shù)方案

4、為實(shí)現(xiàn)以上目的，本發(fā)明通過(guò)以下技術(shù)方案予以實(shí)現(xiàn)：古琴動(dòng)態(tài)譜的一種實(shí)現(xiàn)方法，包括古琴音樂(lè)信息提取、古琴譜的數(shù)字化、數(shù)據(jù)歸一化預(yù)處理、數(shù)據(jù)同步匹配以及古琴聲譜同步系統(tǒng)，所述古琴音樂(lè)信息提取，具體包含識(shí)別音樂(lè)事件，提取音符時(shí)間、音高和音色特征，所述古琴譜的數(shù)字化具體包含使用數(shù)字化方式記錄古琴譜和對(duì)減字譜進(jìn)行編碼，所述數(shù)據(jù)歸一化預(yù)處理具體包含使用統(tǒng)一的方式記錄音樂(lè)信息和古琴譜的音符序列數(shù)據(jù)，所述數(shù)據(jù)同步匹配是對(duì)音樂(lè)生成的序列和琴譜生成的序列進(jìn)行算法匹配。

5、此方案通過(guò)一系列精確的步驟，將古琴的音樂(lè)信息與琴譜進(jìn)行高效整合，實(shí)現(xiàn)同步展示。古琴音樂(lè)信息提取能夠準(zhǔn)確捕捉音符的關(guān)鍵特征，為后續(xù)的同步操作提供基礎(chǔ)數(shù)據(jù)。古琴譜的數(shù)字化使得傳統(tǒng)的琴譜能夠以數(shù)字形式進(jìn)行處理和分析，提高了琴譜的可操作性和存儲(chǔ)便利性。數(shù)據(jù)歸一化預(yù)處理確保了音樂(lè)信息和琴譜數(shù)據(jù)的一致性和規(guī)范性，便于后續(xù)的算法處理。數(shù)據(jù)同步匹配則是整個(gè)方案的核心環(huán)節(jié)，通過(guò)特定的算法實(shí)現(xiàn)音樂(lè)與琴譜的精準(zhǔn)同步，大大提高了古琴學(xué)習(xí)和欣賞的體驗(yàn)。

6、優(yōu)選的，所述古琴音樂(lè)信息提取步驟中，通過(guò)音頻預(yù)處理生成頻譜圖，利用卷積神經(jīng)網(wǎng)絡(luò)或其他模型自動(dòng)識(shí)別音樂(lè)事件并初步提取相關(guān)特征，將頻譜圖按照采樣的音頻數(shù)據(jù)拆分成幀長(zhǎng)30ms，移幀20ms，每秒產(chǎn)生50個(gè)圖片數(shù)據(jù)，將數(shù)據(jù)送入lstm模型中，配合卷積神經(jīng)網(wǎng)絡(luò)和全聯(lián)接模型，訓(xùn)練和識(shí)別音頻中的事件信息。

7、在古琴音樂(lè)信息提取過(guò)程中，音頻預(yù)處理是關(guān)鍵的第一步。通過(guò)生成頻譜圖，可以將音頻信號(hào)轉(zhuǎn)化為更易于分析的圖像形式。然后，利用卷積神經(jīng)網(wǎng)絡(luò)等先進(jìn)的深度學(xué)習(xí)模型，對(duì)頻譜圖進(jìn)行自動(dòng)識(shí)別，能夠高效地提取音樂(lè)事件和相關(guān)特征。將頻譜圖按照特定的幀長(zhǎng)和移幀進(jìn)行拆分，能夠提高數(shù)據(jù)的分辨率和準(zhǔn)確性。將數(shù)據(jù)送入lstm模型中，并結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和全聯(lián)接模型進(jìn)行訓(xùn)練和識(shí)別，可以充分發(fā)揮不同模型的優(yōu)勢(shì)，提高音樂(lè)事件識(shí)別的準(zhǔn)確性和可靠性。

8、優(yōu)選的，所述古琴音樂(lè)信息提取步驟中，使用算法進(jìn)行音樂(lè)事件的更高級(jí)的特征識(shí)別，包括時(shí)間特征提取，使用短時(shí)傅里葉變換或其它時(shí)頻分析方法分解音頻信號(hào)，提取音頻信號(hào)中的時(shí)間特征，如音符的起始時(shí)間和持續(xù)時(shí)間等；音高特征提取，采用音高檢測(cè)算法識(shí)別音頻信號(hào)中指定時(shí)間范圍內(nèi)的音高，記錄每個(gè)音符的音高值；音色特征提取，使用梅爾頻率倒譜系數(shù)或其它音色特征提取法，提取音頻信號(hào)的音色特征，用于區(qū)分古琴中的散音，泛音，按音等音色。

9、對(duì)于古琴音樂(lè)信息的提取，不僅需要初步的事件識(shí)別，還需要進(jìn)行更高級(jí)的特征識(shí)別。時(shí)間特征提取能夠準(zhǔn)確確定音符的起始時(shí)間和持續(xù)時(shí)間，為同步操作提供關(guān)鍵的時(shí)間信息。音高特征提取通過(guò)特定的音高檢測(cè)算法，可以精確地識(shí)別音頻信號(hào)中的音高，為琴譜的匹配提供重要依據(jù)。音色特征提取則能夠區(qū)分古琴的不同音色，如散音、泛音和按音等，豐富了音樂(lè)信息的內(nèi)容，提高了同步展示的準(zhǔn)確性和表現(xiàn)力。

10、優(yōu)選的，所述古琴譜的數(shù)字化步驟中，使用json數(shù)據(jù)來(lái)標(biāo)記減字譜音符的序列,json數(shù)據(jù)包含減字譜音符的位置、音高和指法，為同步操作提供詳細(xì)的琴譜信息。

11、古琴譜的數(shù)字化是實(shí)現(xiàn)聲譜同步的重要環(huán)節(jié)。使用json數(shù)據(jù)對(duì)減字譜音符的序列進(jìn)行標(biāo)記，能夠以結(jié)構(gòu)化的方式存儲(chǔ)琴譜信息，便于后續(xù)的處理和分析。json數(shù)據(jù)可以包含減字譜的多種屬性，如音符的位置、音高、指法等，為同步操作提供詳細(xì)的琴譜信息。參照特定的專利中所使用的數(shù)字化辦法，可以確保數(shù)字化過(guò)程的準(zhǔn)確性和規(guī)范性，提高琴譜的質(zhì)量和可用性。

12、優(yōu)選的，所述數(shù)據(jù)歸一化預(yù)處理步驟中，將使用統(tǒng)一的序列格式標(biāo)記兩個(gè)序列，音樂(lè)提取的信息序列包含提取出的音符事件，每個(gè)音符包含時(shí)間，音高，音色等特征；針對(duì)數(shù)字化的古琴譜進(jìn)行音符的特征提取，組成一個(gè)序列，包含第一個(gè)序列中非時(shí)間信息的其他特征信息，在數(shù)據(jù)歸一化預(yù)處理過(guò)程中，使用統(tǒng)一的序列格式標(biāo)記音樂(lè)提取的信息序列和數(shù)字化的古琴譜序列，能夠確保兩個(gè)序列在后續(xù)的處理中具有相同的格式和結(jié)構(gòu)，便于進(jìn)行算法匹配。音樂(lè)提取的信息序列包含時(shí)間、音高、音色等特征，能夠全面地描述音樂(lè)事件。針對(duì)數(shù)字化的古琴譜進(jìn)行音符的特征提取，組成一個(gè)包含非時(shí)間信息的序列，可以與音樂(lè)提取的信息序列進(jìn)行互補(bǔ)，提高同步操作的準(zhǔn)確性和完整性。

13、優(yōu)選的，所述數(shù)據(jù)同步匹配步驟中，使用動(dòng)態(tài)時(shí)間規(guī)整或其他匹配算法，將序列2中的音符，匹配到序列1中的各個(gè)時(shí)間點(diǎn)位置，從而達(dá)到兩個(gè)序列的匹配過(guò)程，通過(guò)兩個(gè)序列的同步，將古琴音頻和樂(lè)譜進(jìn)行同步輸出，數(shù)據(jù)同步匹配是實(shí)現(xiàn)古琴聲譜同步的核心步驟。使用動(dòng)態(tài)時(shí)間規(guī)整等匹配算法，能夠?qū)?shù)字化的古琴譜序列中的音符與音樂(lè)提取的信息序列中的時(shí)間點(diǎn)進(jìn)行精確匹配，實(shí)現(xiàn)兩個(gè)序列的同步。通過(guò)兩個(gè)序列的同步，可以將古琴音頻和樂(lè)譜進(jìn)行同步輸出，使得學(xué)習(xí)者在欣賞古琴音樂(lè)的同時(shí)，能夠直觀地看到對(duì)應(yīng)的琴譜，提高學(xué)習(xí)效率和體驗(yàn)。匹配算法的選擇和優(yōu)化是確保同步準(zhǔn)確性和穩(wěn)定性的關(guān)鍵。

14、優(yōu)選的，所述古琴聲譜同步系統(tǒng)中包含有古琴音樂(lè)信息提取模塊、古琴譜數(shù)字化模塊、數(shù)據(jù)歸一化預(yù)處理模塊和數(shù)據(jù)同步匹配模塊，各系統(tǒng)由多個(gè)模塊組成，每個(gè)模塊都具有特定的功能。古琴音樂(lè)信息提取模塊負(fù)責(zé)提取音樂(lè)事件和相關(guān)特征，為同步操作提供基礎(chǔ)數(shù)據(jù)。古琴譜數(shù)字化模塊將傳統(tǒng)的琴譜轉(zhuǎn)化為數(shù)字形式，便于進(jìn)行處理和分析。數(shù)據(jù)歸一化預(yù)處理模塊對(duì)音樂(lè)信息和琴譜數(shù)據(jù)進(jìn)行統(tǒng)一處理，確保數(shù)據(jù)的一致性和規(guī)范性。數(shù)據(jù)同步匹配模塊通過(guò)特定的算法實(shí)現(xiàn)音樂(lè)與琴譜的同步輸出。各模塊協(xié)同工作，共同實(shí)現(xiàn)古琴聲譜的同步播放，為古琴學(xué)習(xí)和欣賞提供了有力的支持。

15、優(yōu)選的，所述古琴音樂(lè)信息提取模塊包括音頻預(yù)處理單元、音樂(lè)事件識(shí)別單元和特征提取單元，通過(guò)生成頻譜圖并利用深度學(xué)習(xí)模型和算法識(shí)別音樂(lè)事件及提取特征，古琴音樂(lè)信息提取模塊是系統(tǒng)的關(guān)鍵組成部分。音頻預(yù)處理單元通過(guò)對(duì)音頻信號(hào)進(jìn)行預(yù)處理，生成頻譜圖，為后續(xù)的音樂(lè)事件識(shí)別和特征提取提供基礎(chǔ)。音樂(lè)事件識(shí)別單元利用深度學(xué)習(xí)模型和算法，自動(dòng)識(shí)別音樂(lè)事件，如音符的起始、結(jié)束和音高變化等。特征提取單元?jiǎng)t進(jìn)一步提取音樂(lè)事件的相關(guān)特征，如時(shí)間、音高、音色等。這些單元相互配合，能夠高效地提取古琴音樂(lè)的關(guān)鍵信息，為同步操作提供準(zhǔn)確的數(shù)據(jù)支持。

16、優(yōu)選的，所述古琴譜數(shù)字化模塊采用特定的數(shù)據(jù)格式對(duì)減字譜進(jìn)行編碼，實(shí)現(xiàn)古琴譜的數(shù)字化記錄，古琴譜數(shù)字化模塊采用特定的數(shù)據(jù)格式對(duì)減字譜進(jìn)行編碼，能夠?qū)鹘y(tǒng)的琴譜轉(zhuǎn)化為數(shù)字形式，便于存儲(chǔ)、傳輸和處理。數(shù)據(jù)格式的選擇應(yīng)考慮琴譜的特點(diǎn)和需求，確保編碼的準(zhǔn)確性和可讀性。數(shù)字化記錄的琴譜可以與音樂(lè)信息提取模塊提取的音樂(lè)數(shù)據(jù)進(jìn)行匹配和同步，實(shí)現(xiàn)古琴聲譜的同步展示。同時(shí)，數(shù)字化的琴譜也為古琴教學(xué)、研究和傳承提供了新的途徑和方法。

17、優(yōu)選的，所述數(shù)據(jù)同步匹配模塊對(duì)音樂(lè)生成的序列和琴譜生成的序列進(jìn)行精確匹配，確保音樂(lè)與琴譜的同步性，數(shù)據(jù)同步匹配模塊是實(shí)現(xiàn)古琴聲譜同步的核心模塊。它利用特定的匹配算法，對(duì)音樂(lè)生成的序列和琴譜生成的序列進(jìn)行精確匹配，確保音樂(lè)與琴譜的同步性。匹配算法應(yīng)具有高效性、準(zhǔn)確性和穩(wěn)定性，能夠適應(yīng)不同的音樂(lè)風(fēng)格和琴譜類型。通過(guò)動(dòng)態(tài)同步展示，學(xué)習(xí)者可以在欣賞古琴音樂(lè)的同時(shí)，直觀地看到對(duì)應(yīng)的琴譜，提高學(xué)習(xí)效果和體驗(yàn)。同時(shí)，數(shù)據(jù)同步匹配模塊還可以根據(jù)用戶的需求進(jìn)行個(gè)性化設(shè)置，如調(diào)整同步速度、顯示方式等，滿足不同用戶的需求。

18、有益效果

19、本發(fā)明提供了古琴動(dòng)態(tài)譜的一種實(shí)現(xiàn)方法，具備以下有益效果：

20、本發(fā)明中通過(guò)深度學(xué)習(xí)和算法識(shí)別兩種方式的結(jié)合，能夠從不同角度對(duì)音頻信號(hào)進(jìn)行分析。深度學(xué)習(xí)模型如卷積神經(jīng)網(wǎng)絡(luò)(cnn)和長(zhǎng)短期記憶網(wǎng)絡(luò)(lstm)可以自動(dòng)學(xué)習(xí)音頻信號(hào)的復(fù)雜特征，捕捉音符的時(shí)間變化和音高、音色等特征的潛在模式。而算法識(shí)別部分，如短時(shí)傅里葉變換(stft)、音高檢測(cè)算法(yin算法)和音色特征提取法(mfcc)等，能夠基于特定的數(shù)學(xué)原理準(zhǔn)確地提取音頻信號(hào)的時(shí)間、音高和音色特征。兩種方式相互交叉驗(yàn)證，能夠減少單一方法可能出現(xiàn)的錯(cuò)誤，大大提高音樂(lè)信息提取的準(zhǔn)確性。例如，在識(shí)別音符起始時(shí)間和持續(xù)時(shí)間時(shí)，深度學(xué)習(xí)模型可能會(huì)因?yàn)橛?xùn)練數(shù)據(jù)的局限性而出現(xiàn)偏差，而stft等算法則可以基于信號(hào)處理的原理更準(zhǔn)確地確定這些時(shí)間特征，兩者相互驗(yàn)證可以得到更準(zhǔn)確的結(jié)果。

21、本發(fā)明中單一的音樂(lè)信息提取方法可能會(huì)受到各種因素的影響，導(dǎo)致結(jié)果不穩(wěn)定。而深度學(xué)習(xí)和算法識(shí)別的結(jié)合可以增加模型的穩(wěn)定性和可靠性。深度學(xué)習(xí)模型具有較強(qiáng)的泛化能力，但可能會(huì)受到數(shù)據(jù)噪聲和過(guò)擬合的影響。算法識(shí)別方法則通?；诔墒斓臄?shù)學(xué)理論和算法，具有一定的穩(wěn)定性。通過(guò)交叉驗(yàn)證，當(dāng)一種方法出現(xiàn)異常結(jié)果時(shí)，可以通過(guò)另一種方法進(jìn)行驗(yàn)證和調(diào)整，從而提高整個(gè)模型的穩(wěn)定性和可靠性。例如，如果深度學(xué)習(xí)模型在某一特定音頻片段上的輸出結(jié)果與預(yù)期相差較大，而算法識(shí)別的結(jié)果相對(duì)穩(wěn)定，就可以分析深度學(xué)習(xí)模型出現(xiàn)問(wèn)題的原因，進(jìn)行調(diào)整和優(yōu)化。同時(shí)，在實(shí)際應(yīng)用中，這種穩(wěn)定性和可靠性對(duì)于古琴聲譜同步等需要準(zhǔn)確音樂(lè)信息的任務(wù)至關(guān)重要，可以確保同步的準(zhǔn)確性和穩(wěn)定性，提高用戶體驗(yàn)。

22、本發(fā)明中不同的音樂(lè)信息提取方法具有各自的優(yōu)勢(shì)和適用場(chǎng)景，深度學(xué)習(xí)和算法識(shí)別的結(jié)合為音樂(lè)信息處理提供了更靈活的選擇。在不同的情況下，可以根據(jù)具體需求選擇合適的方法或方法組合。例如，對(duì)于復(fù)雜的音樂(lè)片段，深度學(xué)習(xí)模型可能更擅長(zhǎng)捕捉整體的音樂(lè)結(jié)構(gòu)和特征；而對(duì)于特定的音色區(qū)分任務(wù)，mfcc等算法可能更加準(zhǔn)確。通過(guò)交叉驗(yàn)證和模型融合，可以根據(jù)不同的音頻特點(diǎn)和任務(wù)要求，靈活地調(diào)整模型的參數(shù)和方法組合，以達(dá)到最佳的音樂(lè)信息提取效果。這種靈活性使得該方法可以適用于各種不同類型的古琴音樂(lè)和其他音頻處理任務(wù)，為音樂(lè)研究、教學(xué)和創(chuàng)作等領(lǐng)域提供了有力的工具。