本發(fā)明涉及手寫音樂記號到音樂符號的轉(zhuǎn)換，并且更具體來說涉及一種基于數(shù)字格式的手寫音樂記號來識別音樂符號的方法，以及一種用于實(shí)施此類方法的裝置。

背景技術(shù)：

本發(fā)明可以被應(yīng)用于由用戶在輸入設(shè)備上輸入的手寫音樂記號，或者被應(yīng)用于先前以電子格式(例如在電子文檔中)接收或存儲并且出于識別音樂符號的目的被處理的手寫音樂記號。

在最近的幾年里，基于與筆的交互的計(jì)算機(jī)系統(tǒng)(比如智能電話、口袋PC或平板PC)已經(jīng)有了大量增長。在觸摸屏上使用手指或觸筆是非常直觀的，這是因?yàn)槠湓试S用戶像在紙上一樣自然的方式來進(jìn)行書寫或編寫。

現(xiàn)在存在許多能夠識別由用戶輸入的手寫記號的裝備有觸摸屏的輸入設(shè)備。

例如在觸摸屏上實(shí)現(xiàn)的對于手寫圖畫的解釋(例如在線識別)需要復(fù)雜的處理，這是因?yàn)槿Q于當(dāng)前的記號的類型、用戶的風(fēng)格等等，這些圖畫可能由許多不同性質(zhì)的單元構(gòu)成。對于在線文檔的識別可以即時(shí)發(fā)生，或者只有在檢測到例如用戶的明確請求之類的特定條件時(shí)才發(fā)生。即時(shí)識別系統(tǒng)在編寫文檔的同時(shí)把用戶的筆劃直接變換成其相應(yīng)的符號表示，這需要重要的處理能力。

手寫音樂識別是在近年來已經(jīng)取得幾項(xiàng)進(jìn)展的一個(gè)特定領(lǐng)域。雖然對于離線識別系統(tǒng)已經(jīng)實(shí)現(xiàn)了一些改進(jìn)(特別是對于應(yīng)用在掃描音樂記號上的光學(xué)方法)，但是用于離線識別系統(tǒng)的音樂符號識別在效率和用戶友好性方面仍然不令人滿意。

文獻(xiàn)US 6538187描述了一種系統(tǒng)，其中在音樂編輯器應(yīng)用上提供音符的菜單，以使得用戶點(diǎn)擊所期望的音符或音樂符號。但是該應(yīng)用存在幾個(gè)缺點(diǎn)，比如對于無法以自然且容易的方式編寫音樂符號的用戶的約束。

因此，需要一種能夠更加高效地基于手寫音樂記號來識別音樂符號的解決方案。對于處理由用戶在例如觸摸屏之類的輸入設(shè)備上輸入的音樂記號或者對于事先以電子格式存儲以供后來處理的手寫音樂記號需要更高的效率。在用戶編寫音樂記號的方式方面還需要更高的友好性。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的一個(gè)目的是解決前面所提到的需求和缺陷。從本文獻(xiàn)可以得出本發(fā)明的其他目的和優(yōu)點(diǎn)。

本發(fā)明提供一種通過用于根據(jù)手寫音樂記號來識別音樂符號的音樂符號識別裝置所實(shí)施的方法，所述方法包括：

-檢測手寫音樂記號；

-把所述手寫音樂記號預(yù)先分割成多個(gè)基本墨水片段；

-基于基本墨水片段之間的空間關(guān)系把基本墨水片段分組成圖形對象，其中每一個(gè)基本墨水片段屬于其中一個(gè)或更多所述圖形對象；

-對于每一個(gè)圖形對象確定至少一個(gè)音樂符號候選，其中與代表所述圖形對象屬于所述音樂符號候選的預(yù)定分類的可能性的指派符號成本相關(guān)聯(lián)，所述確定是基于從所述圖形對象提取出的圖形特征；以及

-對音樂符號候選進(jìn)行解析，其中所述解析包括：

-通過對所述音樂符號候選應(yīng)用預(yù)定語法規(guī)則集合當(dāng)中的至少一條而形成一個(gè)或更多圖形，其中每一個(gè)圖形包括與被應(yīng)用于由至少一個(gè)后代節(jié)點(diǎn)構(gòu)成的集合的語法規(guī)則相對應(yīng)的至少一個(gè)非終端節(jié)點(diǎn)，其中每一個(gè)后代節(jié)點(diǎn)或者是對應(yīng)于音樂符號候選的終端節(jié)點(diǎn)，或者是與被應(yīng)用于至少另一個(gè)后代節(jié)點(diǎn)的語法規(guī)則相對應(yīng)的非終端節(jié)點(diǎn)；

-把被應(yīng)用于至少兩個(gè)后代節(jié)點(diǎn)的每一條語法規(guī)則與代表所述應(yīng)用的語法規(guī)則的相關(guān)性的空間成本相關(guān)聯(lián)，這是根據(jù)所述應(yīng)用的語法規(guī)則的定義并且基于所述至少兩個(gè)后代節(jié)點(diǎn)的圖形對象之間的空間關(guān)系；以及

-基于與每一個(gè)音樂符號候選相關(guān)聯(lián)的符號成本以及與每一條所應(yīng)用的語法規(guī)則相關(guān)聯(lián)的空間成本，選擇至少一個(gè)所述圖形以作為手寫音樂記號的最有代表性的圖形。

本發(fā)明的有利之處在于，其考慮到符號成本和空間成本以選擇最具相關(guān)性的圖形，從而允許找到對應(yīng)于手寫音樂記號的最佳符號表示。有賴于一方面的符號成本和另一方面的空間成本的互補(bǔ)性，選擇單元檢測到與當(dāng)前的手寫音樂記號最具相關(guān)性的圖形組合。

音樂記號通常是根據(jù)音樂家和作曲家所熟知的標(biāo)準(zhǔn)編寫規(guī)則來繪制的。本發(fā)明考慮到通常編寫音樂記號所根據(jù)的具體規(guī)則和方式，以便實(shí)現(xiàn)最優(yōu)的識別效率。

在一個(gè)特定實(shí)施例中，所述形成步驟包括：嘗試通過遞歸方式把所述語法規(guī)則集合當(dāng)中的每一條應(yīng)用于所述音樂符號候選。

在一個(gè)特定實(shí)施例中，所述解析包括：對于每一個(gè)圖形計(jì)算總成本，其中考慮到為所述圖形的音樂符號候選所指派的每一項(xiàng)符號成本以及與應(yīng)用在所述圖形中的至少一條語法規(guī)則相關(guān)聯(lián)的每一項(xiàng)空間成本。

在一個(gè)特定實(shí)施例中，所述選擇是基于針對每一個(gè)圖形獲得的總成本。

在一個(gè)特定實(shí)施例中，通過至少把所述圖形的每一項(xiàng)空間成本和符號成本相加而獲得對應(yīng)于每一個(gè)圖形的總成本。

在一個(gè)特定實(shí)施例中，所述選擇包括：確定表示所檢測到的手寫音樂符號的每一個(gè)可能的圖形，并且選擇具有最低總成本的圖形。

在一個(gè)特定實(shí)施例中，所述方法包括：在所述音樂符號識別裝置的顯示器上顯示至少一個(gè)所選圖形的符號候選。

在一個(gè)特定實(shí)施例中，所顯示的每一個(gè)符號候選取代呈現(xiàn)在所述顯示器上的相應(yīng)的圖形對象。

在一個(gè)特定實(shí)施例中，所述方法包括：在所述預(yù)先分割之前對所述檢測到的手寫音樂符號進(jìn)行規(guī)范化。通過向所檢測到的手寫音樂記號應(yīng)用所述規(guī)范化允許獨(dú)立于初始書寫風(fēng)格始終如一地對其進(jìn)行渲染。

在一個(gè)特定實(shí)施例中，所述確定至少一個(gè)音樂符號候選是通過神經(jīng)網(wǎng)絡(luò)來實(shí)施的。學(xué)習(xí)例如神經(jīng)網(wǎng)絡(luò)之類的分類器的能力可以顯著改進(jìn)所述確定步驟中的分類效率。可以訓(xùn)練確定單元學(xué)習(xí)不同人的不同風(fēng)格。

在一個(gè)特定實(shí)施例中，每一條語法規(guī)則在適用時(shí)定義：

-音樂符號或音樂符號群組與至少一個(gè)非終端節(jié)點(diǎn)之間的預(yù)定關(guān)聯(lián)；以及

-如果在所述關(guān)聯(lián)中存在至少兩個(gè)后代節(jié)點(diǎn)，則作為對應(yīng)于所述后代節(jié)點(diǎn)的圖形對象的彼此空間關(guān)系的函數(shù)定義代表所述語法規(guī)則的相關(guān)性的空間成本的數(shù)值。

在一個(gè)特定實(shí)施例中，所述方法包括：基于被選擇為對于所檢測到的手寫音樂符號最具代表性的每一個(gè)圖形而產(chǎn)生解析樹。

在一個(gè)特定實(shí)施例中，對于所述音樂符號候選的所述確定包括提取出所述圖形對象的靜態(tài)圖形特征和動態(tài)圖形特征的至少其中之一，所述確定是基于所述提取的結(jié)果。

在一個(gè)特定實(shí)施例中，在檢測步驟中，所述音樂記號識別裝置檢測由用戶在所述音樂記號識別裝置的輸入表面上輸入的所述手寫音樂符號。

在一個(gè)特定實(shí)施例中，根據(jù)本發(fā)明的用于識別音樂符號的方法的各個(gè)步驟由計(jì)算機(jī)程序指令規(guī)定。

因此，本發(fā)明還提供一種記錄介質(zhì)上的計(jì)算機(jī)程序，該計(jì)算機(jī)程序被安排成由音樂符號識別裝置來實(shí)施，并且更一般來說是由計(jì)算機(jī)實(shí)施，該計(jì)算機(jī)程序包括適于實(shí)施如前面所定義的用于識別音樂符號的方法的指令。

本發(fā)明的計(jì)算機(jī)程序可以通過任何編程語言來表達(dá)，并且可以具有源代碼、對象代碼或者源代碼與對象代碼之間的任何中間代碼的形式，從而例如具有部分編譯形式或者具有任何其他適當(dāng)?shù)男问健?/p>

本發(fā)明還提供一種可由音樂符號識別裝置讀取的記錄介質(zhì)，或者更一般來說可由計(jì)算機(jī)讀取，該記錄介質(zhì)包括如前面所提到的計(jì)算機(jī)程序指令。

前面提到的記錄介質(zhì)可以是能夠存儲計(jì)算機(jī)程序的任何實(shí)體或設(shè)備。舉例來說，所述記錄介質(zhì)可以包括存儲裝置，比如ROM存儲器(CD-ROM或者實(shí)施在微電子電路中的ROM)，或者例如軟盤或硬盤之類的磁性存儲裝置。

本發(fā)明的記錄介質(zhì)可以對應(yīng)于可傳輸介質(zhì)，比如電信號或光學(xué)信號，其可以通過電纜或光纜或者通過無線電或者任何其他適當(dāng)?shù)氖侄蝸韨魉?。根?jù)本發(fā)明的計(jì)算機(jī)程序特別可以從因特網(wǎng)或者類似的網(wǎng)絡(luò)下載。

或者，所述記錄介質(zhì)可以對應(yīng)于其中加載計(jì)算機(jī)程序的集成電路，所述電路適于執(zhí)行本發(fā)明的方法或者在本發(fā)明的方法的執(zhí)行過程中被使用。

本發(fā)明還提供一種基于手寫音樂記號來識別音樂符號的音樂符號識別裝置，其包括：

-用于檢測手寫音樂記號的檢測單元；

-用于把所述手寫音樂記號預(yù)先分割成多個(gè)基本墨水片段的預(yù)先分割單元；

-基于基本墨水片段之間的空間關(guān)系把基本墨水片段分組成圖形對象的分組單元，其中每一個(gè)基本墨水片段屬于其中一個(gè)或更多所述圖形對象；

-對于每一個(gè)圖形對象確定至少一個(gè)音樂符號候選的確定單元，其中與代表所述圖形對象屬于所述音樂符號候選的預(yù)定分類的可能性的指派符號成本相關(guān)聯(lián)，所述確定是基于從所述圖形對象提取出的圖形特征；以及

-用于對音樂符號候選進(jìn)行解析的解析單元，其中所述解析包括：

-用于通過對所述音樂符號候選應(yīng)用預(yù)定語法規(guī)則集合當(dāng)中的至少一條而形成一個(gè)或更多圖形的形成單元，其中每一個(gè)圖形包括與被應(yīng)用于由至少一個(gè)后代節(jié)點(diǎn)構(gòu)成的集合的語法規(guī)則相對應(yīng)的至少一個(gè)非終端節(jié)點(diǎn)，其中每一個(gè)后代節(jié)點(diǎn)或者是對應(yīng)于音樂符號候選的終端節(jié)點(diǎn)，或者是與被應(yīng)用于至少另一個(gè)后代節(jié)點(diǎn)的語法規(guī)則相對應(yīng)的非終端節(jié)點(diǎn)；

-用于把被應(yīng)用于至少兩個(gè)后代節(jié)點(diǎn)的所應(yīng)用的語法規(guī)則與代表所述應(yīng)用的語法規(guī)則的相關(guān)性的空間成本相關(guān)聯(lián)的關(guān)聯(lián)單元，這是根據(jù)所述應(yīng)用的語法規(guī)則的定義并且基于所述至少兩個(gè)后代節(jié)點(diǎn)的圖形對象之間的空間關(guān)系；以及

-基于與每一個(gè)音樂符號候選相關(guān)聯(lián)的符號成本以及與每一條所應(yīng)用的語法規(guī)則相關(guān)聯(lián)的空間成本來選擇至少一個(gè)所述圖形以作為手寫音樂記號的最有代表性的圖形的選擇單元。

應(yīng)當(dāng)提到的是，前面參照根據(jù)本發(fā)明的用于識別音樂符號的方法所定義的各個(gè)實(shí)施例可以類似地關(guān)于本發(fā)明的音樂符號識別裝置來實(shí)施。此外，前面參照用于識別音樂符號的方法的各個(gè)實(shí)施例所闡述的優(yōu)點(diǎn)和評論類似地適用于根據(jù)本發(fā)明的音樂符號識別裝置的各個(gè)實(shí)施例。

在一個(gè)特定實(shí)施例中，所述裝置包括輸入表面，其中所述檢測單元被配置成檢測由用戶在所述輸入表面上輸入的手寫音樂符號。

在一個(gè)特定實(shí)施例中，所述確定單元是神經(jīng)網(wǎng)絡(luò)。

附圖說明

通過閱讀后面僅出于非限制性和說明性目的而給出的關(guān)于一個(gè)優(yōu)選實(shí)施例的描述并且從附圖將會更加清楚地認(rèn)識到本發(fā)明的其他特性和優(yōu)點(diǎn)，其中：

-圖1是根據(jù)本發(fā)明的一個(gè)特定實(shí)施例的音樂符號識別裝置的外部表示；

-圖2是示出了根據(jù)本發(fā)明的一個(gè)特定實(shí)施例的圖1的音樂符號識別裝置的主要硬件組件的方塊圖；

-圖3是示出了根據(jù)本發(fā)明的一個(gè)特定實(shí)施例的圖1的音樂符號識別裝置的主要功能單元的方塊圖；

-圖4、5和6示意性地示出了音樂符號識別裝置的檢測單元、預(yù)先分割單元和分組單元如何根據(jù)本發(fā)明的一個(gè)特定實(shí)施例來操作；

-圖8A到8F示出了由根據(jù)本發(fā)明的一個(gè)特定實(shí)施例的音樂符號識別裝置的形成單元所形成的各種圖形；以及

-圖9是示出了根據(jù)本發(fā)明的一個(gè)特定實(shí)施例的用于識別音樂符號的方法的主要步驟的流程圖。

具體實(shí)施方式

本發(fā)明涉及手寫音樂記號到音樂符號的轉(zhuǎn)換，并且更具體來說涉及一種基于數(shù)字格式的手寫音樂記號來識別音樂符號的方法，以及一種用于實(shí)施此類方法的裝置。

正如前面所表面的那樣，本發(fā)明可以被應(yīng)用于由用戶在輸入設(shè)備上輸入的手寫音樂記號，或者被應(yīng)用于先前以電子格式(例如在電子文檔中)接收或存儲以供后來處理的手寫音樂記號。

在本文獻(xiàn)中，術(shù)語“音樂記號”指的是用戶在編寫音樂時(shí)可以繪制的任何種類的記號或樂譜。音樂記號例如可以是指四分音符(或“crotchet”)、八分音符、二分音符(或“minim”)、全音符、樂調(diào)(高音譜號、低音譜號…)、單拍子或復(fù)拍子、四分休止符、變音符號(降號、升號、附點(diǎn))等等。每一個(gè)音符的音高可以取決于其在五線譜線(如果存在的話)上的位置。但是應(yīng)當(dāng)理解的是，使用音樂五線譜對于實(shí)施本發(fā)明并不是強(qiáng)制性的。

音樂記號通常是根據(jù)音樂家和作曲家所熟知的標(biāo)準(zhǔn)編寫規(guī)則來繪制的。本發(fā)明考慮到通常編寫音樂記號所根據(jù)的具體規(guī)則和方式，以便實(shí)現(xiàn)最優(yōu)的識別效率。

現(xiàn)在將參照圖1到9來描述本發(fā)明的一個(gè)特定實(shí)施例。

圖1描繪出根據(jù)本發(fā)明的一個(gè)特定實(shí)施例的適合于實(shí)施音樂符號識別的示例性音樂符號識別裝置2。音樂符號識別裝置2在本例中是手持式觸摸屏設(shè)備(比如平板計(jì)算機(jī))，并且為了簡單起見在這里將被稱作“終端2”。

應(yīng)當(dāng)提到的是，雖然在這里解釋了實(shí)施在平板計(jì)算機(jī)上的示例性實(shí)施例，但是本領(lǐng)域技術(shù)人員將認(rèn)識到，本發(fā)明可以被實(shí)施在具有支持這里所描述的處理的適當(dāng)?shù)奶幚砥骱痛鎯ζ髟O(shè)備的任何計(jì)算機(jī)類裝置上。本發(fā)明的音樂符號識別裝置可以是個(gè)人數(shù)字助理(PDA)、移動電話、膝上型計(jì)算機(jī)或者臺式計(jì)算機(jī)等等。

在本例中，終端2包括觸摸屏4(或數(shù)字化器)，其允許用戶在編寫音樂時(shí)在其上輸入手寫音樂記號8。觸摸屏4可操作來顯示由用戶輸入的手寫音樂記號以及將由根據(jù)本實(shí)施例的終端2實(shí)施的音樂符號識別處理的結(jié)果。

可以通過把觸筆6、手指等等施加在觸摸屏4的表面上來實(shí)施音樂記號輸入。該觸摸屏4能夠捕獲由用戶利用觸筆6在其上作出的移動。正如后文中更加詳細(xì)地解釋的那樣，觸筆6與觸摸屏4之間的接觸導(dǎo)致生成數(shù)字墨水的筆劃。由用戶繪制的各種墨水筆劃將由終端2處理以便轉(zhuǎn)換成相應(yīng)的音樂符號。

應(yīng)當(dāng)提到的是，本發(fā)明的音樂符號識別裝置不一定包括觸摸屏，或者更一般來說是用于輸入音樂記號8的用戶輸入接口。

音樂符號識別裝置可以獲得先前以電子格式(例如在電子文檔中)存儲的音樂記號，并且將其所述音樂記號轉(zhuǎn)換成等效的音樂符號?；蛘?，音樂符號識別可以處理以電子格式接收自終端2外部的音樂記號。

圖2示出了終端2的示例性硬件架構(gòu)。在該例中，終端2給出計(jì)算機(jī)的硬件結(jié)構(gòu)。具體來說，終端2包括控制器10(例如處理器)、RAM存儲器12、ROM存儲器14、可重寫非易失性存儲器16(例如EEPROM類型)、用戶接口18以及允許終端2與外部設(shè)備(例如基于WiFi技術(shù))進(jìn)行通信的通信接口20。

控制器10通過總線線路與終端2的每一個(gè)其他組件協(xié)作。

終端2的可重寫非易失性存儲器16構(gòu)成根據(jù)本發(fā)明的一個(gè)特定實(shí)施例的記錄介質(zhì)。存儲器16包括根據(jù)本發(fā)明的一個(gè)特定實(shí)施例的計(jì)算機(jī)程序P，該計(jì)算機(jī)程序包括用以實(shí)施根據(jù)本發(fā)明的一個(gè)特定實(shí)施例的方法的指令。后面將尤其參照圖9的流程圖來詳細(xì)描述該方法的主要步驟(S2到S18)。

通過在后面參照圖4-9，存儲在存儲器16中的分類CL以及語法規(guī)則集合GR的使用和目的將變得更加顯而易見。

用戶接口18包括用于允許用戶輸入手寫音樂記號8的輸入單元18A，以及允許終端8顯示手寫音樂記號8或者作為本發(fā)明的音樂符號識別的結(jié)果而獲得的相應(yīng)音樂符號的輸出單元18B。在本發(fā)明的范圍內(nèi)可以設(shè)想到除了觸摸屏之外的其他輸入和輸出單元。

在本實(shí)施例中，觸摸屏4同時(shí)形成輸入表面和顯示表面。可以設(shè)想到其中輸入表面與顯示表面彼此分開的其他實(shí)施例(例如不同于屏幕的觸摸板)。

正如前面所提到的那樣，包括用戶接口18對于實(shí)施本發(fā)明并不是強(qiáng)制性的。

圖3是示出了根據(jù)本發(fā)明的一個(gè)特定實(shí)施例的在運(yùn)行計(jì)算機(jī)程序P時(shí)由控制器10實(shí)施的功能單元的功能圖。

在本例中，終端2包括存儲單元24，其可以被用來以電子格式存儲手寫音樂記號8。為此，存儲單元24可以存儲包括一個(gè)或更多手寫音樂記號的電子文檔。存儲單元24例如可以通過在控制器10的控制下操作的存儲器16來實(shí)施。

檢測單元26可操作來檢測手寫音樂記號(或其一部分)。所檢測到的手寫音樂記號可以是源自多種來源。檢測單元26可以檢測用戶通過用戶接口18輸入的手寫音樂記號?；蛘?，檢測單元26可以從存儲單元24取回手寫音樂記號8，并且/或者從終端2外部(例如通過通信接口20)接收手寫音樂記號8。每一個(gè)手寫音樂記號例如通過一組(x,y)坐標(biāo)來表示。雖然并不要求如此，但是優(yōu)選地顯示五線譜線以便在用戶編寫音樂時(shí)為其提供視覺幫助。

預(yù)先分割單元28可操作來實(shí)施把所檢測到的手寫音樂記號預(yù)先分割成多個(gè)基本墨水片段。正如后面將更加詳細(xì)地看到的那樣，基本墨水片段(其在后文中也被稱作墨水片段)定義手寫音樂記號的輪廓的任何基本部分?；灸卫缤ㄟ^安排在所述記號的輪廓上的兩個(gè)相繼的鄰近分割點(diǎn)來界定。每一個(gè)墨水片段表示一個(gè)手寫音樂記號或者其一部分。所生成的墨水片段后來被用于確定適當(dāng)?shù)囊魳贩柡蜻x。

分組單元30可操作來基于墨水片段之間的空間關(guān)系把墨水片段分組成圖形對象。每一個(gè)墨水片段可以屬于一個(gè)或更多圖形對象。

確定單元(或分類器)32可操作來對于由分組單元30形成的每一個(gè)圖形對象與指派符號成本相關(guān)聯(lián)地確定至少一個(gè)音樂符號候選。由確定單元32指派的每一項(xiàng)符號成本代表相應(yīng)的圖形對象屬于存儲在存儲器16中的分類CL當(dāng)中的所確定的音樂符號候選的預(yù)定分類的可能性。

在該例中，符號成本越高，音樂符號候選是對應(yīng)于相應(yīng)圖形對象的良好候選的概率就越低?；蛘?，可以使用隨著分類匹配的可能性增大而增大的符號分?jǐn)?shù)來取代符號成本SC?？梢酝ㄟ^函數(shù)(-log)把分?jǐn)?shù)轉(zhuǎn)換為成本。

由確定單元32實(shí)施的確定是基于其從經(jīng)歷符號識別處理的圖形對象中提取出的圖形特征。

解析單元34可操作來處理確定單元32的輸出，從而把手寫音樂記號轉(zhuǎn)換成對于用戶具有明確已知的含義的適當(dāng)?shù)囊魳贩?。在本?shí)施例中，解析單元包括以下三個(gè)單元(或子單元)：

-形成單元36；

-關(guān)聯(lián)單元38；以及

-選擇單元40。

形成單元36可操作來通過把來自(存儲在存儲器16中的)預(yù)定語法規(guī)則集合GR的至少一條語法規(guī)則應(yīng)用于由確定單元32生成的音樂符號候選而形成一個(gè)或更多圖形。正如后文中更加詳細(xì)地解釋的那樣，這些圖形當(dāng)中的每一個(gè)包括與被應(yīng)用于由至少一個(gè)后代節(jié)點(diǎn)構(gòu)成的集合的語法規(guī)則相對應(yīng)的至少一個(gè)非終端節(jié)點(diǎn)。每一條語法規(guī)則被定義成將被應(yīng)用于一個(gè)或更多后代節(jié)點(diǎn)。每一個(gè)后代節(jié)點(diǎn)或者是對應(yīng)于音樂符號候選的終端節(jié)點(diǎn)，或者是與被應(yīng)用于至少另一個(gè)后代節(jié)點(diǎn)的語法規(guī)則相對應(yīng)的非終端節(jié)點(diǎn)。

終端節(jié)點(diǎn)不具有任何后代，而終端節(jié)點(diǎn)則在圖形中具有至少一個(gè)后代。

正如前面所表明的那樣，取決于其定義，語法規(guī)則可以適用于一個(gè)或更多后代節(jié)點(diǎn)。關(guān)聯(lián)單元38可操作來把在圖形中被應(yīng)用于至少兩個(gè)后代節(jié)點(diǎn)的每一條語法規(guī)則與代表所應(yīng)用的語法規(guī)則的相關(guān)性的空間成本相關(guān)聯(lián)。所述空間成本是根據(jù)所應(yīng)用的語法規(guī)則的定義并且基于所述至少兩個(gè)后代節(jié)點(diǎn)的圖形對象之間的空間關(guān)系而確定的。

選擇單元40可操作來基于與每一個(gè)音樂符號候選相關(guān)聯(lián)的符號成本以及與每一條所應(yīng)用的語法規(guī)則相關(guān)聯(lián)的空間成本選擇至少一個(gè)圖形以作為正被處理的手寫音樂記號的最有代表性的圖形。

現(xiàn)在將參照圖4到9來描述由終端8實(shí)施的用于識別音樂符號的方法的一個(gè)示例性實(shí)施例的主要步驟S2到S18。通過在圖4到9中示出的示例性實(shí)施例，終端2的前述功能單元的操作將更加顯而易見。

在該例中，檢測單元26檢測(S2)如圖4中所示的手寫音樂記號MA。在本例中可以看到，所檢測到的音樂記號MA相繼地包括：一個(gè)降號、兩個(gè)八分音符以及一個(gè)半音符。這些音樂記號由五線譜線50上的數(shù)字墨水表示。

音樂記號MA可以由用戶通過用戶接口18的輸入單元18A輸入，從存儲單元24取回，或者直接從終端2的外部接收(或者其任意組合)。在任何情況下，存儲單元24都可以被用來存儲手寫音樂記號或者在實(shí)施根據(jù)本發(fā)明的音樂符號識別時(shí)的任何中間或最終數(shù)據(jù)結(jié)果。

所述兩個(gè)八分音符分別由實(shí)心的橢圓形音符頭以及從音符頭的右側(cè)向上的直線無符尾(flagless)的符干(stem)形成。兩個(gè)符干通過符梁(beam)連接。所述半音符利用空心的橢圓形音符頭以及不具有符尾的向上的直線音符干來標(biāo)記。

如果必要的話，在一個(gè)優(yōu)選實(shí)施例中，終端2對所采集的數(shù)字墨水筆劃應(yīng)用可選的預(yù)處理(S4)以便對其進(jìn)行規(guī)范化，并且從而獨(dú)立于初始書寫風(fēng)格始終如一地對這些筆劃進(jìn)行渲染。關(guān)于是否應(yīng)用此類預(yù)處理的決定以及在肯定的情況下關(guān)于該預(yù)處理的性質(zhì)的決定可以例如取決于對于實(shí)施音樂符號識別所需要的質(zhì)量水平。

該規(guī)范化S4特別可以包括以下變換當(dāng)中的任一項(xiàng)(或者其任意組合)：

-基于信號居中或者關(guān)于五線譜線位置的位置規(guī)范化，從而允許對于輸入信號的第一均勻化；

-關(guān)于五線譜線間或者關(guān)于任何其他參考尺寸的尺寸規(guī)范化；

-基于例如B樣條或Bezier曲線擬合之類的平滑算法的信號平滑，這例如在低空間分辨率的情況下是有用的；以及

-點(diǎn)內(nèi)插，這例如在低采集分辨率的情況下是有用的。

本領(lǐng)域技術(shù)人員將認(rèn)識到，該預(yù)處理可以是基于未在前面列出的任何其他規(guī)范化標(biāo)準(zhǔn)。

如圖5中所示，一旦預(yù)處理S4完成，預(yù)先分割單元28就實(shí)施(S6)把手寫音樂記號MA預(yù)先分割成多個(gè)基本墨水片段。為此，把音樂記號AM的數(shù)字墨水筆劃分割成基本墨水片段SG1到SG8。這些墨水片段SG構(gòu)成可以由終端2處理以用于后來的音樂符號識別的最小墨水部分。

預(yù)先分割S6是基于檢測定義用于把筆劃分解成其構(gòu)成片段的位置的特定點(diǎn)。這樣的特定點(diǎn)例如可以對應(yīng)于兩個(gè)墨水筆劃之間的交叉點(diǎn)、墨水筆劃的斜率的改變、記號中的特定角等等?？梢岳斫獾氖牵梢允褂枚喾N技術(shù)來把手寫音樂記號分解成基本墨水片段。本領(lǐng)域技術(shù)人員將會知道如何實(shí)施這樣的預(yù)先分割，因此在這方面不提供進(jìn)一步的細(xì)節(jié)。

在本例中，降號記號被分解成墨水片段SG1和SG2。此外，所述兩個(gè)八分音符被分解成墨水片段SG3到SG7，其分別對應(yīng)于兩個(gè)實(shí)心音符頭、兩個(gè)相應(yīng)的符干以及其間的符梁。所述半音符被分解成墨水片段SG8和SG9。但是在該特定實(shí)例中也可以設(shè)想到其他墨水分割。

如圖6中所示，分組單元30隨后把基本墨水片段SG1到SG9分組(S8)成由至少一個(gè)墨水片段構(gòu)成的特定集合，每一個(gè)集合形成在本例中被稱作GO1到GO9的圖形對象GO。每一個(gè)圖形對象構(gòu)成在此階段對于終端2不具有符號含義的實(shí)體。這些實(shí)體將在后來由終端2處理以便轉(zhuǎn)換成適當(dāng)?shù)囊魳贩枴?/p>

例如在該例中，兩個(gè)第一墨水片段SG1和SG2被分組形成表示降號的第一圖形對象GO1。

正如前面所解釋的那樣，每一個(gè)墨水片段SG1-SG9屬于其中一個(gè)或更多所生成的圖形對象GO1-GO9。圖形對象GO5例如包含圖形對象GO6和GO7連同連接兩個(gè)墨水片段SG5和SG6的符梁。但是取決于被用于識別音樂符號的實(shí)現(xiàn)方式，也可以作出其他分組選擇。

分組操作S8是基于基本墨水片段之間的空間關(guān)系來實(shí)施的。在該特定實(shí)例中，分組單元30基于以下標(biāo)準(zhǔn)的至少其中之一把墨水片段SG1-SG9分組成圖形對象GO1-GO9：

-墨水片段之間的距離；

-墨水片段的相對水平和/或垂直位置；以及

-可以在墨水片段之間作出區(qū)分的任何相關(guān)的墨水屬性(例如尺寸)。

取決于每一種特定情況下的需求，當(dāng)然可以應(yīng)用任何其他適當(dāng)?shù)臉?biāo)準(zhǔn)。

在步驟S8完成之后，確定單元(或分類器)32對于由分組單元30生成的每一個(gè)圖形對象GO1-GO9與指派符號成本SC相關(guān)聯(lián)地確定(S10)至少一個(gè)音樂符號候選MSC。確定步驟S10的結(jié)果可以通過如圖7中所示的表的形式來表示，該表列出了由確定單元32對于其中每一個(gè)所述圖形對象GO1到GO9所確定的音樂符號候選MSC和對應(yīng)的指派符號成本SC。

每一項(xiàng)指派符號成本SC代表對應(yīng)的圖形對象屬于存儲在存儲器16中的分類CL當(dāng)中的預(yù)定分類的可能性。在給出特定的圖形對象作為輸入的情況下，考慮到最有可能的分類建立符號候選列表。

在該例中，成本SC越低，圖形對象與預(yù)定分類相對應(yīng)的可能性越高?；蛘?，可以使用當(dāng)分類匹配的可能性增大時(shí)增大的符號分?jǐn)?shù)來取代符號成本SC。正如前面所表明的那樣，可以通過函數(shù)(-log)把分?jǐn)?shù)轉(zhuǎn)換為成本。

編程者當(dāng)然可以創(chuàng)建或刪除分類，并且適配其定義以滿足每一種特定情況的需求。

一個(gè)分類在至少一條圖形特征標(biāo)準(zhǔn)方面規(guī)定繪制特定音樂符號的一種或多種方式。其結(jié)果是，確定單元32可以從預(yù)定分類學(xué)習(xí)基于圖形對象的圖形特征來識別音樂符號。

一個(gè)分類對應(yīng)于可由確定單元32識別的其中一個(gè)音樂符號(例如符干、黑色音符頭、白色音符頭、降號標(biāo)記等等)。符號候選是對應(yīng)于特定圖形對象的分類的一個(gè)實(shí)例。

確定單元32基于從其中每一個(gè)圖形對象GO1-GO9提取出的圖形(或幾何)特征來實(shí)施所述確定S10。確定單元32把每一個(gè)圖形對象的圖形特征與預(yù)定集合CL當(dāng)中的分類進(jìn)行比較并且尋找匹配。如果給定的圖形對象的圖形特征(至少在某種程度上)與特定分類的定義相符，則確定單元32推斷所述給定的圖形對象可能屬于該特定分類，并且隨后把該分類的符號候選添加到圖形對象的候選列表。

確定S10例如可以是基于圖形對象的預(yù)定靜態(tài)圖形特征、圖形對象的預(yù)定動態(tài)圖形特征或者全部二者。

在一個(gè)特定實(shí)施例中，音樂符號候選的確定步驟S10包括提取所述圖形對象GO的靜態(tài)圖形特征和動態(tài)圖形特征的至少其中之一，該確定S10是基于所述提取的結(jié)果。

動態(tài)信息例如可以從觸筆6的軌跡提取，并且是基于例如形成圖形對象的墨水筆劃的位置、方向和曲率之類的信息。另一方面，靜態(tài)信息可以例如從墨水的位圖表示計(jì)算，并且通常是基于投影和/或直方圖。

從圖7中示出的結(jié)果可以看到，對于每一個(gè)圖形對象可以確定一個(gè)或幾個(gè)音樂符號候選。例如對于圖形對象GO2，音樂符號候選明顯是不適當(dāng)?shù)?。其結(jié)果是，由確定單元32指派的相應(yīng)符號成本SC21非常高，這意味著音樂符號候選MSC21是對應(yīng)于圖形對象GO2的良好候選的概率很低。

在某些情況下，確定單元32可能不會找到特定圖形對象可能屬于的任何分類，因此不會輸出對應(yīng)的音樂符號候選。如果分組單元30對于圖形對象的定義較差，則例如可能會發(fā)生這種情況。

在一個(gè)特定實(shí)施例中，確定單元32是分類器。出于非限制性的說明性目的，確定單元32可以是基于以下手段的至少其中之一：

-Kohonen神經(jīng)網(wǎng)絡(luò)；

-支持矢量機(jī)；

-內(nèi)核方法；

-隱藏Markov模型；

-神經(jīng)網(wǎng)絡(luò)；

-其他模式識別范例。

例如使用神經(jīng)網(wǎng)絡(luò)分類器來識別從基于筆的在線輸入機(jī)制獲得的音樂符號對于本領(lǐng)域技術(shù)人員是眾所周知的，因此在本文獻(xiàn)中將不作詳細(xì)描述。更具體來說，過去已經(jīng)設(shè)想到針對音樂符號識別的基于神經(jīng)網(wǎng)絡(luò)(ANN)的方法。ANN可以被用作必須“學(xué)習(xí)”通過訓(xùn)練過程來識別模式的模式識別的統(tǒng)計(jì)方法。在一個(gè)特定實(shí)施例中，在訓(xùn)練階段期間調(diào)節(jié)通過網(wǎng)絡(luò)節(jié)點(diǎn)之間的“權(quán)重”來表達(dá)的ANN的參數(shù)。一旦經(jīng)過訓(xùn)練，可以向網(wǎng)絡(luò)呈現(xiàn)其將能夠處理和分類的新的音樂記號，盡管其之前可能從未確實(shí)遇到過任何此類內(nèi)容。

這些ANN系統(tǒng)的學(xué)習(xí)能力可以顯著改進(jìn)步驟S10中的分類效率。確定單元32可以被訓(xùn)練來學(xué)習(xí)不同人的不同風(fēng)格。

一種被廣泛使用的ANN的形式是多層感知(MLP)，其可以在本實(shí)施例中被用作確定單元34以實(shí)施確定步驟S10。

在一個(gè)特定實(shí)施例中，在確定步驟S10的階段，一旦由確定單元32給出的其中一些音樂符號候選具有高于或者相反地低于預(yù)定閾值的符號成本，則可以拒絕或確認(rèn)這些音樂符號候選。在一個(gè)特定實(shí)施例中，確定單元32被配置成對具有非常低的概率的音樂符號候選實(shí)施刪減，也就是例如具有高于預(yù)定閾值的符號成本的音樂符號候選。所述刪減允許減少將要處理的數(shù)據(jù)的數(shù)量，從而提高速度并且提高資源使用效率。應(yīng)當(dāng)理解的是，使得有可能保留或者拒絕音樂符號候選的該閾值可以由用戶例如基于其對于特定識別處理所期望實(shí)現(xiàn)的識別的相關(guān)性水平來配置。

解析單元34隨后對音樂符號候選實(shí)施解析(S12)，以便對于每一個(gè)圖形對象確定最適當(dāng)?shù)囊魳贩柡蜻x。在該例中，該解析操作S12包括將在后面進(jìn)一步描述的步驟S14、S16和S18。

更具體來說，形成單元36通過對先前由確定單元32確定的音樂符號候選應(yīng)用預(yù)定語法規(guī)則集合GR當(dāng)中的至少一條而形成(S14)一個(gè)或更多圖形。

圖8A到8E示出了在本例中由形成單元36形成(S14)的示例性圖形GR1到GR9。

正如前面所表明的那樣，其中每一個(gè)圖形GR1-GR9包括對應(yīng)于被應(yīng)用于由至少一個(gè)后代節(jié)點(diǎn)構(gòu)成的集合的語法規(guī)則的至少一個(gè)非終端節(jié)點(diǎn)。每一個(gè)后代節(jié)點(diǎn)或者是對應(yīng)于先前由確定單元32確定的其中一個(gè)音樂符號候選的終端節(jié)點(diǎn)(也就是沒有后代的節(jié)點(diǎn))，或者是與被應(yīng)用于至少另一個(gè)后代節(jié)點(diǎn)的(集合GR當(dāng)中的)語法規(guī)則相對應(yīng)的非終端節(jié)點(diǎn)(也就是具有至少一個(gè)后代節(jié)點(diǎn)的節(jié)點(diǎn))。

從圖8A到8E中的示例性圖形可以看到，取決于其定義，語法規(guī)則可以適用于一個(gè)或者多個(gè)后代節(jié)點(diǎn)。

在本實(shí)施例中，形成單元36嘗試把存儲在存儲器16中的預(yù)定集合GR當(dāng)中的每一條語法規(guī)則應(yīng)用于先前通過確定單元32獲得的音樂符號候選MSC。

在一個(gè)特定實(shí)施例中，形成單元36通過遞歸方式嘗試把預(yù)定集合GR當(dāng)中的每一條語法規(guī)則應(yīng)用于每一個(gè)音樂符號候選。正如已經(jīng)提到的那樣，每一條語法規(guī)則可以被應(yīng)用于一個(gè)或幾個(gè)后代節(jié)點(diǎn)。在一個(gè)特定實(shí)施例中，形成單元36嘗試把每一條語法規(guī)則應(yīng)用于如在所述語法規(guī)則的定義中規(guī)定的一定數(shù)目的后代節(jié)點(diǎn)。

特定的語法規(guī)則可能或者可能不適用于由至少一個(gè)音樂符號候選構(gòu)成的特定集合。如果其適用，則形成單元36根據(jù)所述語法規(guī)則輸出圖形。否則，不輸出圖形。

在一個(gè)特定實(shí)施例中，在步驟S14中應(yīng)用的每一條語法規(guī)則定義特定音樂符號或音樂符號群組與至少一個(gè)非終端節(jié)點(diǎn)的預(yù)定關(guān)聯(lián)。

正如前面所表明的那樣，形成單元36通過對先前由確定單元32確定的音樂符號候選應(yīng)用至少一條語法規(guī)則而形成(S14)一個(gè)或更多圖形。形成單元36構(gòu)造圖形的方式可以根據(jù)每一種情況而不同，并且可以由編程者或用戶進(jìn)行適當(dāng)?shù)剡m配。圖8A到8E僅僅是出于非限制性的說明性目的而提供的。出于解釋實(shí)現(xiàn)方式實(shí)例的目的，在附圖中僅僅示出了幾個(gè)可能的圖形。但是應(yīng)當(dāng)理解的是，基于本發(fā)明的原理，在該特定實(shí)例中可以形成其他圖形。

如圖8A中所示，形成單元36通過對MSC11應(yīng)用“身份”規(guī)則生成圖形GR1，并且通過對MSC12應(yīng)用該相同的身份規(guī)則以相同的方式生成圖形GR2。圖形GR1由對應(yīng)于在本例中應(yīng)用的身份規(guī)則的非終端節(jié)點(diǎn)ND1以及在本例中是對應(yīng)于音樂符號候選MSC11的終端節(jié)點(diǎn)的一個(gè)后代節(jié)點(diǎn)形成。類似的評論適用于由非終端ND2和一個(gè)后代終端節(jié)點(diǎn)DN21形成的圖形GR2。

在該實(shí)施例中，僅適用于一個(gè)后代節(jié)點(diǎn)的身份規(guī)則沒有形成音樂符號候選的關(guān)聯(lián)。所述身份規(guī)則把特定的音樂符號候選識別成本身有意義的實(shí)體。

如圖8B中所示，形成單元36還通過對MSC12和MSC32應(yīng)用“變音”規(guī)則生成圖形GR3，并且通過對MSC12和MSC31應(yīng)用變音規(guī)則以相同的方式生成圖形GR4。圖形GR3由對應(yīng)于在本例中應(yīng)用的變音規(guī)則的非終端節(jié)點(diǎn)ND3以及在本例中是分別對應(yīng)于MSC12和MSC32的兩個(gè)終端節(jié)點(diǎn)的兩個(gè)后代節(jié)點(diǎn)形成。類似的評論適用于由非終端節(jié)點(diǎn)ND4以及兩個(gè)后代終端節(jié)點(diǎn)DN41和DN42形成的圖形GR4。

在本例中，變音規(guī)則被設(shè)計(jì)成把例如降號之類的變音與音符相關(guān)聯(lián)。根據(jù)變音規(guī)則的定義，變音必須處在將要變音的音符之前。

此外，關(guān)聯(lián)單元38把被應(yīng)用于至少兩個(gè)后代節(jié)點(diǎn)的每一條語法規(guī)則與代表所應(yīng)用的語法規(guī)則的相關(guān)性的空間成本PC相關(guān)聯(lián)(S16)，這是根據(jù)所應(yīng)用的語法規(guī)則的定義并且基于所述至少兩個(gè)后代節(jié)點(diǎn)的圖形對象之間的空間關(guān)系。

在該特定實(shí)例中，關(guān)聯(lián)單元38基于以下標(biāo)準(zhǔn)的至少其中之一確定空間成本PC：

-圖形對象之間的距離；

-圖形對象的相對水平和/或垂直位置；以及

-可以在墨水片段之間作出區(qū)分的任何相關(guān)的墨水屬性(例如尺寸)。

取決于每一種特定情況下的需求，當(dāng)然可以應(yīng)用任何其他適當(dāng)?shù)臉?biāo)準(zhǔn)。

形成單元36和關(guān)聯(lián)單元38或者可以被視為兩個(gè)分開的功能單元，或者作為可操作來實(shí)施形成步驟S14和關(guān)聯(lián)步驟S16的同一個(gè)功能單元?？梢园凑杖魏芜m當(dāng)?shù)捻樞騺韺?shí)施形成和關(guān)聯(lián)步驟S14、S16。舉例來說，一旦形成圖形就計(jì)算和指派空間成本PC?；蛘?，可以在相同的階段對于先前形成的各個(gè)圖形計(jì)算空間成本PC。

正如在圖8A中可以看到的那樣，身份規(guī)則被設(shè)計(jì)成僅適用于一個(gè)后代終端節(jié)點(diǎn)，因此關(guān)聯(lián)單元36不向圖形GR1和GR2指派空間成本PC。

但是如圖8B中所示，關(guān)聯(lián)單元38確定空間成本PC1和PC2，并且把圖形GR3和GR4分別與空間成本PC3和PC4相關(guān)聯(lián)(S16)。

在一個(gè)特定實(shí)施例中，每一條語法規(guī)則在適用時(shí)定義：

-音樂符號或音樂符號群組與至少一個(gè)非終端節(jié)點(diǎn)之間的預(yù)定關(guān)聯(lián)；以及

-如果在所述關(guān)聯(lián)中存在至少兩個(gè)后代節(jié)點(diǎn)，則作為對應(yīng)于所述后代節(jié)點(diǎn)的圖形對象的彼此空間關(guān)系的函數(shù)定義代表所述語法規(guī)則的相關(guān)性的空間成本的數(shù)值。

在一個(gè)特定實(shí)施例中，從分隔語法規(guī)則內(nèi)部的圖形對象的距離估計(jì)空間成本。舉例來說，如圖10中所示，符干規(guī)則的成本函數(shù)是基于符干與音符頭之間的水平間隙dx，以及符干的底部與音符頭的中部之間的垂直對準(zhǔn)差異dy。在這種情況下，基于下面的表達(dá)式來計(jì)算空間成本PC：

Cost_stemRule＝f(dx)+f(dy)

如圖8C中所示，形成單元36還形成(S14)圖形GR5和GR6。通過對兩個(gè)后代節(jié)點(diǎn)應(yīng)用“符干”規(guī)則而形成圖形GR5，也就是：

-對應(yīng)于被應(yīng)用于MSC12和MSC32的變音規(guī)則的圖形GR3的非終端節(jié)點(diǎn)ND3；以及

-對應(yīng)于音樂符號候選MSC41的終端節(jié)點(diǎn)DN51。

換句話說，圖形GR5中的符干規(guī)則被應(yīng)用于在圖形GR3中應(yīng)用的變音規(guī)則的結(jié)果并且被應(yīng)用于MSC41。在本例中，符干規(guī)則被定義成把音符頭與符干相關(guān)聯(lián)以便將其關(guān)聯(lián)識別成音符。

此外，關(guān)聯(lián)單元38把空間成本PC5與圖形GR5的符干規(guī)則(非終端節(jié)點(diǎn)ND5)相關(guān)聯(lián)(S16)。

通過對圖形GR4的非終端節(jié)點(diǎn)ND4并且對與MSC41相對應(yīng)的后代終端節(jié)點(diǎn)DN61應(yīng)用符干規(guī)則，以類似的方式形成圖形GR6。由關(guān)聯(lián)單元38把空間成本PC6指派(S16)給圖形GR6中的非終端節(jié)點(diǎn)ND6的符干規(guī)則。

從前面的實(shí)例可以理解，形成單元36可操作來從音樂符號候選構(gòu)造各種圖形，以便根據(jù)語法規(guī)則的可用集合GR在其間形成最具相關(guān)性的關(guān)聯(lián)。

如圖8D中所示，形成單元在本例中通過對圖形GR6并且對圖形GR8的非終端節(jié)點(diǎn)應(yīng)用“符梁起始”規(guī)則而形成(S14)圖形GR7。通過對MSC51并且對圖形GR9的非終端節(jié)點(diǎn)應(yīng)用“符梁結(jié)束”規(guī)則而形成圖形GR8。通過對MSC71并且對MSC61應(yīng)用符干規(guī)則而形成圖形GR9，以便識別由實(shí)心音符頭和向上的符干構(gòu)成的節(jié)點(diǎn)?？梢岳斫獾氖?，圖形GR8的符梁起始規(guī)則和符梁結(jié)束規(guī)則把MSC51識別成連接兩個(gè)音符的符梁。

由關(guān)聯(lián)單元38為每一個(gè)圖形GR7、GR8和GR9適當(dāng)?shù)刂概?S16)對應(yīng)的空間成本PC7、PC8和PC9。

此外，如圖8E中所示，形成單元36通過對MSC81和MSC91應(yīng)用符干規(guī)則而形成圖形GR10，并且通過對MSC82和MSC91應(yīng)用符干規(guī)則而形成圖形GR11。由關(guān)聯(lián)單元38把空間成本PC10和PC11分別與圖形GR10和GR11(也就是與相應(yīng)的語法規(guī)則)相關(guān)聯(lián)(S16)。

在步驟S18中，基于與每一個(gè)音樂符號候選相關(guān)聯(lián)的符號成本以及與每一條所應(yīng)用的語法規(guī)則相關(guān)聯(lián)的空間成本，選擇單元40把由形成單元36形成的至少一個(gè)圖形選擇(S18)成手寫音樂記號MA的最具代表性的圖形。

如圖8F中所示，形成單元36在本例中形成(S14)完整的圖形GR12，其也被稱作“解析樹”，這是因?yàn)槠浯韴D4中示出的整個(gè)手寫音樂記號MA。通過對前面提到的圖形GR7和GR10應(yīng)用“水平對”規(guī)則而形成圖形GR12。由關(guān)聯(lián)單元38把通過水平對規(guī)則形成的非終端節(jié)點(diǎn)與空間成本PC12相關(guān)聯(lián)。

在該例中，選擇單元40選擇(S18)圖形GR12作為手寫音樂記號MA的最具代表性的圖形。這一選擇是基于以下各項(xiàng)而作出的：

-與圖形GR12的每一個(gè)音樂符號候選相關(guān)聯(lián)的符號成本SC，也就是SC12、SC31、SC41、SC51、SC71、SC61、SC81和SC91；以及

-與被應(yīng)用來形成圖形GR12的每一條語法規(guī)則相關(guān)聯(lián)的空間成本PC，也就是PC4、PC6到PC10和PC12。

盡管是優(yōu)選的，但是生成最終的解析樹以使得選擇單元40選擇最適當(dāng)?shù)膱D形的做法并不是強(qiáng)制性的。選擇單元40可以選擇組合起來表示手寫音樂記號MA的符號版本的多個(gè)更小的圖形。

本發(fā)明的有利之處在于，其考慮到符號成本和空間成本以選擇最具相關(guān)性的圖形，從而允許找到對應(yīng)于手寫音樂記號的最佳符號表示。有賴于一方面的符號成本和另一方面的空間成本的互補(bǔ)性，選擇單元40檢測到與當(dāng)前的手寫音樂記號最具相關(guān)性的圖形組合。

在一個(gè)特定實(shí)施例中，選擇單元40對于由形成單元36形成的每一個(gè)圖形(或者在如前面所解釋的那樣實(shí)施刪減時(shí)，可能是對于由形成單元36保留的每一個(gè)圖形)計(jì)算總成本TC，其考慮到為這些圖形的音樂符號候選MSC指派的每一項(xiàng)符號成本SC以及關(guān)聯(lián)到在所述圖形中應(yīng)用的語法規(guī)則的每一項(xiàng)空間成本PC(如果存在的話)。

在一個(gè)優(yōu)選實(shí)施例中，選擇單元40根據(jù)對于每一個(gè)圖形獲得的總成本TC選擇(S18)最有代表性的圖形。

在一個(gè)特定實(shí)施例中，通過至少把所述圖形的每一項(xiàng)空間成本PC和符號成本SC相加而獲得對應(yīng)于每一個(gè)圖形的總成本TC。舉例來說，可以如下計(jì)算圖形12的總成本TC12：

TC12＝TSC12+TPC12

其中，TSC12(對應(yīng)于GR12的總符號成本)和TPC12(對應(yīng)于GR12的總空間成本)使得：

TSC12＝SC12+SC31+SC41+SC51+SC61+SC71+SC81+SC91；以及

TPC12＝PC4+PC6+PC7+PC8+PC9+PC10+PC12。

在前面的實(shí)例中，通過在不應(yīng)用任何加權(quán)(也就是所有權(quán)重都等于1)的情況下把每一項(xiàng)符號成本和空間成本相加來計(jì)算總成本。在一種變型中，可以適當(dāng)?shù)貙υ摽偤偷拿恳豁?xiàng)成本進(jìn)行加權(quán)，以便為總成本TC12的計(jì)算中的每一項(xiàng)成本給出更多或更少的重要性?？梢杂捎脩艋蚓幊陶邔?quán)重系數(shù)進(jìn)行適配，以便對于每一種情況優(yōu)化識別系統(tǒng)。

在一個(gè)特定實(shí)施例中，選擇單元40確定表示所檢測到的手寫音樂記號的每一個(gè)可能的圖形，并且選擇具有最低總成本的一個(gè)或更多圖形。回到前面的實(shí)例，根據(jù)該特定實(shí)施例，由選擇單元40選擇圖形GR12，這是因?yàn)槠渑c其他所形成(或保留)的圖形的總成本相比具有最低的總成本TC12。

在一個(gè)特定實(shí)施例中，所述方法還包括由所述終端2顯示包括在由選擇單元40選擇的圖形中的一個(gè)或更多符號候選。例如由終端2在圖2中示出的輸出單元18B上(例如在圖1中示出的觸摸屏4上)按照適當(dāng)?shù)捻樞蝻@示該選擇的結(jié)果。

在本發(fā)明中可以設(shè)想到顯示所選擇的圖形的各種方式。在一個(gè)特定實(shí)施例中，所顯示的每一個(gè)符號候選取代呈現(xiàn)在顯示器上的相應(yīng)的圖形對象。其結(jié)果是，用戶可以在先前繪制給定手寫音樂記號的位置處看到由終端2識別的相應(yīng)的音樂符號。

優(yōu)選的是，所述音樂符號識別裝置能夠并且被配置成實(shí)時(shí)(或者接近實(shí)時(shí))地顯示所選擇的音樂符號候選，以便為用戶提供他的筆跡到適當(dāng)?shù)臉?biāo)準(zhǔn)化音樂符號的瞬時(shí)轉(zhuǎn)換。

優(yōu)選地根據(jù)預(yù)先定義的設(shè)定參數(shù)(字體尺寸、顏色等等)來顯示所選擇的音樂符號。

在一個(gè)特定實(shí)施例中，選擇單元40還使用統(tǒng)計(jì)語言模型來選擇最適當(dāng)?shù)膱D形。語言模型允許基于先前的統(tǒng)計(jì)知識來確定音樂符號序列的概率。該語言模型例如可以基于用戶輸入歷史和/或定義在音樂樂譜的大型數(shù)據(jù)庫上估計(jì)的被允許或禁止的語言關(guān)聯(lián)的規(guī)則集合來鼓噪。在一個(gè)特定實(shí)施例中，選擇單元40計(jì)算對應(yīng)于被應(yīng)用于至少兩個(gè)音樂符號候選的一條或更多條語法規(guī)則的語言成本LC。如果使用語言模型，則選擇單元40被配置成除了符號和空間成本之外還考慮到每一個(gè)所計(jì)算的語言模型LC。通過使用語言模型允許進(jìn)一步改進(jìn)本發(fā)明的音樂符號識別處理的效率。