專利名稱：采用神經(jīng)網(wǎng)絡(luò)的手寫識(shí)別的制作方法
采用神經(jīng)網(wǎng)絡(luò)的手寫識(shí)別 背景 近年來(lái)，計(jì)算機(jī)通常包含帶用戶可用指示筆在其上進(jìn)行書寫的觸敏屏幕的用戶輸 入模式。該種方式讓用戶輸入手寫電子墨水，對(duì)多種應(yīng)用來(lái)說(shuō)，這被廣泛認(rèn)為是一種與計(jì)算 機(jī)交互的最便捷方式。為了讓這種用戶輸入模式更可靠，開發(fā)了手寫識(shí)別器以解釋用戶的 手寫輸入。 隨著技術(shù)的成熟，現(xiàn)有的各種手寫識(shí)別器采用執(zhí)行手寫輸入的初始分析和分類的 神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的使用成為手寫識(shí)別的一個(gè)重要發(fā)展；識(shí)別的精確性取得了成倍的提 高。為了創(chuàng)建精確的神經(jīng)網(wǎng)絡(luò)，需要對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，即對(duì)其反復(fù)提供手寫輸入的實(shí)際 樣本并給出關(guān)于神經(jīng)網(wǎng)絡(luò)在手寫輸入的解釋方面是否做出了正確推測(cè)的反饋。有效訓(xùn)練同 時(shí)意味著從大量不同人中提供手寫輸入樣本。這是因?yàn)槊總€(gè)人都有不同的書寫風(fēng)格。如果 用戶滿意該最終結(jié)果，則神經(jīng)網(wǎng)絡(luò)應(yīng)當(dāng)足夠強(qiáng)健以便能夠識(shí)別出各種各樣的書寫風(fēng)格。
鑒于必須獲得全部的手寫樣本，以及必須投入大量時(shí)間以正確訓(xùn)練神經(jīng)網(wǎng)絡(luò)，因 此從零開始訓(xùn)練神經(jīng)網(wǎng)絡(luò)的花費(fèi)極其巨大。而且，訓(xùn)練通常僅僅針對(duì)單個(gè)語(yǔ)言來(lái)執(zhí)行。換 言之，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行特別訓(xùn)練以識(shí)別英文或中文的書寫。但因?yàn)槭澜缟嫌卸喾N語(yǔ)言，因此 并不存在針對(duì)多種語(yǔ)言的高質(zhì)量神經(jīng)網(wǎng)絡(luò)。事實(shí)上，對(duì)某些人們了解得比較少的語(yǔ)言，根本 就不存在神經(jīng)網(wǎng)絡(luò)。對(duì)于計(jì)算機(jī)和/或軟件公司來(lái)說(shuō)，單單為了解比較少的語(yǔ)言構(gòu)建并訓(xùn) 練神經(jīng)網(wǎng)絡(luò)投入足夠的經(jīng)費(fèi)不足以構(gòu)成財(cái)務(wù)激勵(lì)。
概述
需要一種提供沒有神經(jīng)網(wǎng)絡(luò)可用或沒有足夠質(zhì)量的神經(jīng)網(wǎng)絡(luò)可用的語(yǔ)言的手寫 識(shí)別能力的較不昂貴和/或更為容易的方式。為大量的語(yǔ)言從零開始構(gòu)建并訓(xùn)練神經(jīng)網(wǎng)絡(luò) 是昂貴且耗時(shí)的。 因此，此處本發(fā)明的各方面涉及從現(xiàn)有神經(jīng)網(wǎng)絡(luò)構(gòu)建新神經(jīng)網(wǎng)絡(luò)。基于所需目標(biāo) 語(yǔ)言選擇用于一起始語(yǔ)言的現(xiàn)有神經(jīng)網(wǎng)絡(luò)。修正該神經(jīng)網(wǎng)絡(luò)以使其可用于識(shí)別目標(biāo)語(yǔ)言的 字符，并且該經(jīng)修正的神經(jīng)網(wǎng)絡(luò)在用于該目標(biāo)語(yǔ)言的手寫識(shí)別器中使用。修正包括復(fù)制現(xiàn) 有神經(jīng)網(wǎng)絡(luò)的一個(gè)或多個(gè)初步輸出。 本發(fā)明的另一些方面涉及基于所需目標(biāo)語(yǔ)言選擇一適當(dāng)?shù)钠鹗颊Z(yǔ)言。這可以由用 戶手動(dòng)和/或由計(jì)算機(jī)自動(dòng)執(zhí)行。可使用主觀和/或客觀標(biāo)準(zhǔn)來(lái)選擇適當(dāng)?shù)钠鹗颊Z(yǔ)言。
本發(fā)明的另外一些方面涉及訓(xùn)練經(jīng)修正的神經(jīng)網(wǎng)絡(luò)以更好地識(shí)別目標(biāo)語(yǔ)言。具體 地，可訓(xùn)練所復(fù)制的初步輸出以對(duì)與從其中復(fù)制該初步輸出的原始初步輸出略微不同的輸 入組合作出響應(yīng)。這使新復(fù)制的初步輸出對(duì)起始語(yǔ)言和目標(biāo)語(yǔ)言之間字符上的微妙差別作 出響應(yīng)。當(dāng)然，可以使用訓(xùn)練來(lái)使復(fù)制的節(jié)點(diǎn)對(duì)與原始節(jié)點(diǎn)所響應(yīng)的輸入組合不止有輕微 差別的輸入組合作出響應(yīng)。 此外，還可以銷售一種成套工具，它包含有用于各種不同起始語(yǔ)言的多個(gè)不同的 現(xiàn)有神經(jīng)網(wǎng)絡(luò)以及計(jì)算機(jī)可讀介質(zhì)上的軟件，該軟件幫助用戶選擇適當(dāng)?shù)钠鹗颊Z(yǔ)言、對(duì)現(xiàn) 有神經(jīng)網(wǎng)絡(luò)之一進(jìn)行修正、和/或進(jìn)一步對(duì)經(jīng)修正的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。根據(jù)此處的本發(fā) 明的再有一些方面，可提供一種"超網(wǎng)絡(luò)"，它是被配置成從多種不同語(yǔ)言中識(shí)別字符的相對(duì)較大的神經(jīng)網(wǎng)絡(luò)?？善谕摮W(wǎng)絡(luò)要比單個(gè)語(yǔ)言專用的典型神經(jīng)網(wǎng)絡(luò)大得多。通過用程 序設(shè)計(jì)一屏蔽以阻塞來(lái)自該超網(wǎng)絡(luò)的對(duì)于待識(shí)別的語(yǔ)言不必需的輸出，可以定制使用這種 超網(wǎng)絡(luò)的手寫識(shí)別器。在此描述的另一些方面可將超網(wǎng)絡(luò)用作可被修正或屏蔽的現(xiàn)有網(wǎng) 絡(luò)，或者甚至是在同一實(shí)施例中既被修正又被屏蔽。 根據(jù)如下說(shuō)明性實(shí)施例的詳細(xì)描述，此處的本發(fā)明的這些或其它方面將變得顯而 易見。 附圖簡(jiǎn)述 當(dāng)結(jié)合附圖閱讀時(shí)，可更好地理解以上概述以及以下說(shuō)明例性實(shí)施例的詳細(xì)描
述，附圖是作為示例而非對(duì)所要求保護(hù)的本發(fā)明的限制被包括在內(nèi)。


圖1是一說(shuō)明性計(jì)算環(huán)境的功能框圖； 圖2是一說(shuō)明性手寫識(shí)別器的功能框圖； 圖3是可在圖2的手寫識(shí)別器中使用的說(shuō)明性神經(jīng)網(wǎng)絡(luò)； 圖4是可以作為圖3的的神經(jīng)網(wǎng)絡(luò)的一部分的說(shuō)明性隱藏節(jié)點(diǎn)； 圖5是一說(shuō)明性神經(jīng)網(wǎng)絡(luò)選擇過程； 圖6和8將目標(biāo)語(yǔ)言和潛在起始語(yǔ)言進(jìn)行了比較； 圖7和9示出了神經(jīng)網(wǎng)絡(luò)的一個(gè)說(shuō)明性修正； 圖10是一說(shuō)明性手寫識(shí)別器創(chuàng)建過程的流程圖； 圖11示出了帶屏蔽的說(shuō)明性"超網(wǎng)絡(luò)"； 圖12是神經(jīng)網(wǎng)絡(luò)的一部分的功能框圖，它說(shuō)明性地示出了可如何復(fù)制初步輸出。
說(shuō)明性實(shí)施例的詳細(xì)描述
說(shuō)明性計(jì)算環(huán)境 圖1示出了可在其中實(shí)現(xiàn)手寫識(shí)別功能和/或神經(jīng)網(wǎng)絡(luò)創(chuàng)建、修正和/或訓(xùn)練的 合適的計(jì)算系統(tǒng)環(huán)境100的一個(gè)示例。計(jì)算環(huán)境100只是合適的計(jì)算環(huán)境的一個(gè)示例，并 不旨在對(duì)本發(fā)明的使用范圍或功能提出任何限制。也不應(yīng)該把計(jì)算環(huán)境ioo解釋為對(duì)說(shuō)明 性操作環(huán)境100中示出的任一組件或其組合有任何依賴性或要求。 可以使用其它通用或?qū)Ｓ糜?jì)算系統(tǒng)環(huán)境或配置。公知的計(jì)算系統(tǒng)、環(huán)境和/或配 置的示例包括，但不限于，個(gè)人計(jì)算機(jī)(PC);服務(wù)器計(jì)算機(jī)；諸如個(gè)人數(shù)字助理(PDA)、平板 式PC或膝上型PC等手持式和其它便攜式設(shè)備；多處理器系統(tǒng)；基于微處理器的系統(tǒng)；機(jī)頂 盒；可編程消費(fèi)者電子產(chǎn)品；網(wǎng)絡(luò)PC ;小型機(jī)；大型計(jì)算機(jī)；包含上述系統(tǒng)或設(shè)備中的任一 個(gè)的分布式計(jì)算機(jī)環(huán)境；等等。 此處的本發(fā)明有時(shí)可在諸如程序模塊等由計(jì)算機(jī)執(zhí)行的計(jì)算機(jī)可執(zhí)行指令的一 般上下文中描述。 一般而言，程序模塊包括例程、程序、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)等，它們執(zhí)行特 定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型。分布式計(jì)算環(huán)境還可在任務(wù)由通過通信網(wǎng)絡(luò)鏈接的遠(yuǎn)程 處理設(shè)備執(zhí)行的地方使用。在分布式計(jì)算環(huán)境中，程序模塊可以位于包括存儲(chǔ)器存儲(chǔ)設(shè)備 在內(nèi)的本地和遠(yuǎn)程計(jì)算機(jī)存儲(chǔ)介質(zhì)中。 參考圖1，說(shuō)明性計(jì)算環(huán)境100包括計(jì)算機(jī)100形式的通用計(jì)算設(shè)備。計(jì)算機(jī)100 的組件可以包括，但不限于，處理單元120、系統(tǒng)存儲(chǔ)器130、以及將包括系統(tǒng)存儲(chǔ)器130在 內(nèi)的各種系統(tǒng)組件耦合至處理單元120的系統(tǒng)總線121。系統(tǒng)總線121可以是若干類型的 總線結(jié)構(gòu)中的任一種，包括存儲(chǔ)器總線或存儲(chǔ)器控制器、外圍總線和使用各種總線體系結(jié)構(gòu)中的任一種的局部總線。作為示例，而非限制，這樣的體系結(jié)構(gòu)包括工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu) (ISA)總線、微通道體系結(jié)構(gòu)(MCA)總線、擴(kuò)展的ISA (EISA)總線、視頻電子技術(shù)標(biāo)準(zhǔn)協(xié)會(huì) (VESA)局部總線和外圍部件互連(PCI)總線(也被稱為Mezzanine總線)。
計(jì)算機(jī)100通常包括各種計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀介質(zhì)可以是能夠被計(jì)算 機(jī)100訪問的任何可用介質(zhì)，諸如易失性、非易失性、可移動(dòng)和不可移動(dòng)介質(zhì)。作為示例，而 非限制，計(jì)算機(jī)可讀介質(zhì)可以包括計(jì)算機(jī)存儲(chǔ)介質(zhì)和通信介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)可包括以 任何方法或技術(shù)實(shí)現(xiàn)的用于存儲(chǔ)諸如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)等 信息的易失性、非易失性、可移動(dòng)和不可移動(dòng)介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括，但不限于，隨機(jī) 存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、電可擦除可編程ROM(EEPROM)、閃存或其它存儲(chǔ)器技 術(shù)、緊致盤ROM (CD-ROM)、數(shù)字視頻盤(DVD)或其它光盤存儲(chǔ)、磁帶盒、磁帶、磁盤存儲(chǔ)或其 它磁性存儲(chǔ)設(shè)備、或能用于存儲(chǔ)所需信息且可以由計(jì)算機(jī)IOO訪問的任何其它介質(zhì)。通信 介質(zhì)通常具體化為諸如載波或其它傳輸機(jī)制等已調(diào)制數(shù)據(jù)信號(hào)中的計(jì)算機(jī)可讀指令、數(shù)據(jù) 結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)，且包含任何信息傳遞介質(zhì)。術(shù)語(yǔ)"已調(diào)制數(shù)據(jù)信號(hào)"指的是這 樣一種信號(hào)，其一個(gè)或多個(gè)特征以在信號(hào)中編碼信息的方式被設(shè)定或更改。作為示例，而非 限制，通信介質(zhì)包括諸如有線網(wǎng)絡(luò)或直接線連接等有線介質(zhì)，以及諸如聲學(xué)、射頻(RF)(例 如，藍(lán)牙、WiFi、UWB)、光學(xué)(例如，紅外線)和其它無(wú)線介質(zhì)等無(wú)線介質(zhì)。
系統(tǒng)存儲(chǔ)器130包括易失性和/或非易失性存儲(chǔ)器形式的計(jì)算機(jī)存儲(chǔ)介質(zhì)，諸如 ROM 131和RAM 132。基本輸入/輸出系統(tǒng)133 (BIOS)包含有助于諸如啟動(dòng)時(shí)在計(jì)算機(jī)100 中的元件之間傳遞信息的基本例程，它通常存儲(chǔ)在ROM 131中。RAM 132通常包含處理單元 120可以立即訪問和/或目前正在操作的數(shù)據(jù)和/或程序模塊。作為示例而非限制，圖l示 出了計(jì)算機(jī)可執(zhí)行指令形式的軟件，包括操作系統(tǒng)134、應(yīng)用程序135、其它程序模塊136和 程序數(shù)據(jù)137。 計(jì)算機(jī)100也可以包括其它計(jì)算機(jī)存儲(chǔ)介質(zhì)。僅作為示例，圖1示出了從不可移 動(dòng)、非易失性磁介質(zhì)中讀取或向其寫入的硬盤驅(qū)動(dòng)器141，從可移動(dòng)、非易失性磁盤152中 讀取或向其寫入的磁盤驅(qū)動(dòng)器151，以及從諸如CD R0M、 DVD或其它光學(xué)介質(zhì)等可移動(dòng)、非 易失性光盤156中讀取或向其寫入的光盤驅(qū)動(dòng)器155?？梢栽谡f(shuō)明性操作環(huán)境下使用的 其它計(jì)算機(jī)存儲(chǔ)介質(zhì)包括，但不限于，盒式磁帶、閃存卡、數(shù)字多功能盤、固態(tài)RAM、固態(tài)ROM 等。硬盤驅(qū)動(dòng)器141通常通過諸如接口 140等不可移動(dòng)存儲(chǔ)器接口連接至系統(tǒng)總線121，磁 盤驅(qū)動(dòng)器151和光盤驅(qū)動(dòng)器155通常由諸如接口 150等可移動(dòng)存儲(chǔ)器接口連接至系統(tǒng)總線 121。 以上描述和在圖1中示出的驅(qū)動(dòng)器及其相關(guān)聯(lián)的計(jì)算機(jī)存儲(chǔ)介質(zhì)為計(jì)算機(jī)100提 供了對(duì)計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其它數(shù)據(jù)的存儲(chǔ)。例如，在圖1中，硬盤驅(qū)動(dòng) 器141被示為存儲(chǔ)操作系統(tǒng)144、應(yīng)用程序145、其它程序模塊146和程序數(shù)據(jù)147。注意， 這些組件可以與操作系統(tǒng)134、應(yīng)用程序135、其它程序模塊136和程序數(shù)據(jù)137相同或不 同。操作系統(tǒng)144、應(yīng)用程序145、其它程序模塊146和程序數(shù)據(jù)147在這里被標(biāo)注了不同 的標(biāo)號(hào)是為了說(shuō)明至少它們是不同的副本。用戶可以通過諸如鍵盤162、觸摸墊165(諸如 數(shù)字化儀)和指示筆166、以及定點(diǎn)設(shè)備161(通常稱為鼠標(biāo)、跟蹤球或觸摸墊)等輸入設(shè)備 向計(jì)算機(jī)100輸入命令和信息。觸摸墊165可以是單獨(dú)的物理設(shè)備，或者可以與諸如監(jiān)視 器191等顯示設(shè)備集成。其它輸入設(shè)備(未示出)可以包括話筒、操縱桿、游戲墊、圓盤式衛(wèi)星天線、掃描儀等。這些和其它輸入設(shè)備通常通過耦合至系統(tǒng)總線121的用戶輸入接口 160耦合至處理單元120，但也可以由其它接口和總線結(jié)構(gòu)，諸如并行端口 、游戲端口 、通用 串行總線(USB)、或IEEE 1394串行總線(火線)連接。監(jiān)視器191或其它類型的顯示設(shè)備 也經(jīng)由諸如視頻接口 190等接口連接至系統(tǒng)總線121。視頻接口 190除其子集的專用處理 器和存儲(chǔ)器之外還可具有高級(jí)2D或3D圖形能力。計(jì)算機(jī)100還可以包括其它外圍輸出設(shè) 備，諸如揚(yáng)聲器197和打印機(jī)196，它們可以通過輸出外圍接口 195連接。
計(jì)算機(jī)100可使用至一個(gè)或多個(gè)遠(yuǎn)程計(jì)算機(jī)，諸如遠(yuǎn)程計(jì)算機(jī)180的邏輯連接在 網(wǎng)絡(luò)化環(huán)境下操作。遠(yuǎn)程計(jì)算機(jī)180可以是個(gè)人計(jì)算機(jī)、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對(duì)等設(shè)備 或其它常見的網(wǎng)絡(luò)節(jié)點(diǎn)，且通常包括上文相對(duì)于計(jì)算機(jī)100描述的許多或所有元件，盡管 在圖1中僅示出了存儲(chǔ)器存儲(chǔ)設(shè)備181。圖1中所示的邏輯連接包括局域網(wǎng)(LAN) 171和廣 域網(wǎng)(WAN)173，但也可以包括其它網(wǎng)絡(luò)，諸如因特網(wǎng)。這樣的聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍 計(jì)算機(jī)網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中是常見的。 當(dāng)在LAN聯(lián)網(wǎng)環(huán)境中使用時(shí)，計(jì)算機(jī)IOO通過網(wǎng)絡(luò)接口或適配器170連接至LAN 171。當(dāng)在WAN聯(lián)網(wǎng)環(huán)境中使用時(shí)，計(jì)算機(jī)IOO可包括調(diào)制解調(diào)器172或用于通過諸如因特 網(wǎng)等WAN 173建立通信的另一設(shè)備。調(diào)制解調(diào)器172可以是內(nèi)置或外置的，它可以通過用戶 輸入接口 160或其它合適的機(jī)制連接至系統(tǒng)總線121。在網(wǎng)絡(luò)化環(huán)境中，相對(duì)于計(jì)算機(jī)IOO 描述的程序模塊或其部分可以遠(yuǎn)程地存儲(chǔ)，諸如存儲(chǔ)在遠(yuǎn)程存儲(chǔ)設(shè)備181中。作為示例，而 非限制，圖1示出了遠(yuǎn)程應(yīng)用程序185駐留在存儲(chǔ)器設(shè)備181上。可以理解，所示的網(wǎng)絡(luò)連 接是說(shuō)明性的，且可以使用在計(jì)算機(jī)之間建立通信鏈路的其它手段。
手寫識(shí)別的概述 計(jì)算機(jī)100可以用軟件來(lái)編程和/或用硬件和/或固件來(lái)配置以識(shí)別用戶的手寫 輸入。該手寫輸入可以采用任何形式，例如電子墨水的形式。在此和在權(quán)利要求書中使用 的術(shù)語(yǔ)"手寫識(shí)別"被定義為指的是將手寫輸入轉(zhuǎn)換為一組與手寫輸入相對(duì)應(yīng)的字符。"手 寫識(shí)別器"執(zhí)行手寫識(shí)別。"識(shí)別"手寫輸入就是對(duì)手寫輸入執(zhí)行手寫識(shí)別。電子手寫墨水 通常在諸如個(gè)人數(shù)字助理(PDA)和平板型個(gè)人計(jì)算機(jī)(通常也被稱為平板PC)等多種常規(guī) 的計(jì)算裝置中使用并由其識(shí)別。電子墨水可以用任何常規(guī)或尚待定義的格式來(lái)存儲(chǔ)。目前 存在多種墨水存儲(chǔ)格式，例如由微軟WINDOWS系列操作系統(tǒng)和PalmSource的PALM OS系列 操作系統(tǒng)所使用的格式。 此處以及權(quán)利要求書中使用的術(shù)語(yǔ)"字符"根據(jù)語(yǔ)言(例如，英文，羅馬尼亞文，中 文，西伯來(lái)文等)可具有不同的含義。主要有三種主要的手寫語(yǔ)言類別字母的、音節(jié)的、以 及語(yǔ)標(biāo)的。字母手寫語(yǔ)言采用了描述一個(gè)單詞如何發(fā)音的一組定義的字母。但是，在所發(fā) 音的單詞的每一字母和每一聲音之間通常沒有一對(duì)一的對(duì)應(yīng)性。例如，字母書寫語(yǔ)言是英 文和羅馬尼亞文，二者都基于拉丁字母表。音節(jié)書寫語(yǔ)言采用各自表示發(fā)音的音節(jié)或音素 的一組定義的符號(hào)("音節(jié)表")。在所發(fā)音的單詞的每一音節(jié)和每一發(fā)音之間通常有一對(duì) 一的對(duì)應(yīng)性。音節(jié)書寫語(yǔ)言的一個(gè)示例是日文。語(yǔ)標(biāo)書寫語(yǔ)言采用各自表示客觀或抽象思 想的一組定義的符號(hào)。例如，中文采用一組語(yǔ)標(biāo)符號(hào)。應(yīng)當(dāng)注意，許多語(yǔ)言并不單純是一種 或另一種類別。例如，書寫中文包括表示發(fā)音的某些符號(hào)，而英文包括表示抽象思想的某些 符號(hào)(例如，"&"和"$"，以及數(shù)字)。每一語(yǔ)言因此具有自己的定義字符集，且術(shù)語(yǔ)"字符" 的含義取決于所參照的語(yǔ)言。然而，一般而言，此處以及權(quán)利要求中采用的術(shù)語(yǔ)"字符"指的是正討論的書寫語(yǔ)言所采用的字母表字母、音節(jié)、語(yǔ)標(biāo)符號(hào)、語(yǔ)法注釋或某些其它符號(hào)。從 手寫識(shí)別所得的字符可以由計(jì)算機(jī)ioo用任何數(shù)據(jù)格式來(lái)表示。例如，每一字符、單詞或短 語(yǔ)可由一獨(dú)特的預(yù)定代碼，如由美國(guó)信息交換標(biāo)準(zhǔn)代碼(ASCII)或統(tǒng)一代碼(Unicode)系 統(tǒng)所定義的預(yù)定代碼來(lái)表示。 圖2示出了計(jì)算機(jī)100可如何在功能上被配置成執(zhí)行手寫識(shí)別。各種功能可用軟 件，硬件，和/或固件來(lái)執(zhí)行，并且可以是操作系統(tǒng)、軟件應(yīng)用程序、設(shè)備驅(qū)動(dòng)程序、和/或任 何其它類型的計(jì)算機(jī)可執(zhí)行代碼的一部分。圖2所示的配置是常規(guī)手寫識(shí)別器的代表。如 本示例中所示，手寫用戶輸入可從觸摸墊165以電子墨水的形式來(lái)收集。計(jì)算機(jī)100接著 對(duì)該墨水執(zhí)行特征化(featurization)201。特征化指的是從墨水?dāng)?shù)據(jù)中提取有助于識(shí)別過 程的某些特征。這些特征可包括，例如寬度，高度，長(zhǎng)度(如坐標(biāo)對(duì)計(jì)數(shù)和/或坐標(biāo)空間中 行進(jìn)的距離，以二維方式考慮或在X和/或Y方向上分開計(jì)算)、最大速度、X和/或Y方向 上的方向反轉(zhuǎn)的計(jì)數(shù)、檢測(cè)到的尖點(diǎn)以及方向性和/或位置(如相對(duì)于墨水樣本或書寫區(qū) 域的垂直位置和/或水平位置)、檢測(cè)到的墨水交叉以及位置(按照類似于尖點(diǎn)的方式)、 和/或在X和/或Y方向上的傅立葉變換頻率分量。 接下來(lái)，將特征化201過程中提取的特征提供給神經(jīng)網(wǎng)絡(luò)202的一組初步輸入。神 經(jīng)網(wǎng)絡(luò)202是常規(guī)上已知的，并且可以被訓(xùn)練成將一特定的輸入組合關(guān)聯(lián)到該初步輸入。 應(yīng)當(dāng)注意，網(wǎng)絡(luò)202可以是除神經(jīng)網(wǎng)絡(luò)以外的網(wǎng)絡(luò)。例如，網(wǎng)絡(luò)202可以是貝葉斯網(wǎng)絡(luò)、隱 馬爾可夫機(jī)(HMM)、支持矢量機(jī)(SVM)、模板匹配器、和/或動(dòng)態(tài)時(shí)間扭曲(DTW)單元。
如圖3所示，神經(jīng)網(wǎng)絡(luò)202有n個(gè)初步輸入[IpI^I^…In]，以及一組初步輸出 [a，b， c…0]。雖然沒有示出所有的初步輸出，但該示例中的神經(jīng)網(wǎng)絡(luò)202具有對(duì)英文語(yǔ)言 的每一小寫和大寫字母、每一數(shù)字和每一其它符號(hào)的不同初步輸出。該初步輸出通過諸如 隱藏節(jié)點(diǎn)301等"隱藏節(jié)點(diǎn)"的網(wǎng)絡(luò)耦合到初步輸入。該隱藏節(jié)點(diǎn)可以按層組織，每一層之 間完全互連(如圖所示)。但該隱藏節(jié)點(diǎn)可以按任何希望的方式組織并互連。每一隱藏節(jié) 點(diǎn)可用作一個(gè)簡(jiǎn)單的計(jì)算機(jī)，這類似于哺乳動(dòng)物大腦中的生物神經(jīng)元。使用這種隱藏節(jié)點(diǎn) 體系結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)是公知的。 圖4示出了如常規(guī)上已知的隱藏節(jié)點(diǎn)301的一個(gè)說(shuō)明性配置。在該圖中，可以看到 隱藏節(jié)點(diǎn)301具有多個(gè)輸入和單個(gè)輸出。在該例子中，輸入是初步輸入的部分或全部。但 取決于隱藏節(jié)點(diǎn)在神經(jīng)網(wǎng)絡(luò)202中的位置，輸入可以是其它隱藏節(jié)點(diǎn)的輸出。所示的隱藏 節(jié)點(diǎn)301從功能上分為求和部分401和閾值部分402。求和部分401提供了每一輸入的加 權(quán)和，其中每個(gè)輸入IJ皮分配了一個(gè)對(duì)應(yīng)的權(quán)重Wx。該求和的結(jié)果被提供給閾值部分402， 該部分判定該求和的結(jié)果是否滿足一個(gè)或一組預(yù)定準(zhǔn)則，比如超出一預(yù)定值。如果不滿足 該一個(gè)或一組準(zhǔn)則，則輸出一否定結(jié)果(例如邏輯0)。但如果滿足該一個(gè)或一組準(zhǔn)則，則輸 出一肯定結(jié)果(例如邏輯l)。關(guān)于可如何配置隱藏節(jié)點(diǎn)有許多變化。例如，可以沒有閾值 部分402，或者閾值部分402可輸出一模擬值而非限于二進(jìn)制值。可采用調(diào)整在各隱藏節(jié)點(diǎn) 的閾值部分402中定義的權(quán)重w和/或準(zhǔn)則的公知技術(shù)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)202以提供所需的 結(jié)果。 —旦神經(jīng)網(wǎng)絡(luò)202完成了訓(xùn)練，在該示例中，對(duì)初步輸入的一組適當(dāng)?shù)妮斎霐?shù)據(jù) 將導(dǎo)致一適當(dāng)?shù)某醪捷敵霰贿x中。初步輸出可用各種方式而被認(rèn)為是被選中。例如，如果 初步輸出具有一表示肯定結(jié)果的值，則該初步輸出可被認(rèn)為是被選中?；蛘撸绻怀醪捷敵鼍哂幸槐硎驹诙喾N可能的肯定結(jié)果中比其它初步輸出更為肯定的結(jié)果的值，則該初步輸 出可被認(rèn)為是被選中?；蛘?，如果一初步輸出具有滿足一個(gè)后一組預(yù)定準(zhǔn)則(如超出一閾 值)的值，則該初步輸出可被認(rèn)為是被選中。 為了使上述討論與所示實(shí)施例彼此有上下文關(guān)系，考慮如下內(nèi)容。神經(jīng)網(wǎng)絡(luò)202 的每一初步輸入對(duì)應(yīng)于一個(gè)或一組特定的墨水特征。神經(jīng)網(wǎng)絡(luò)202的每一初步輸出對(duì)應(yīng)于 來(lái)自同一給定語(yǔ)言的不同字符。在該特定示例中，假定語(yǔ)言為英文。假定計(jì)算機(jī)100從墨水 中提取提供了對(duì)神經(jīng)網(wǎng)絡(luò)202的初步輸入值的第一組合的特定特征(還假定神經(jīng)網(wǎng)絡(luò)202 已被正確訓(xùn)練)。作為響應(yīng)，神經(jīng)網(wǎng)絡(luò)202選擇第一初步輸出(例如，初步輸出"B")。這意 味著神經(jīng)網(wǎng)絡(luò)202已經(jīng)確定正在分析的特定墨水最可能對(duì)應(yīng)于手寫字母"B"?，F(xiàn)在假定待 分析的下一段墨水提供了對(duì)神經(jīng)網(wǎng)絡(luò)202的初步輸入值的第二不同組合。作為響應(yīng)，神經(jīng) 網(wǎng)絡(luò)202選擇一不同的第二初步輸出(例如，初步輸出"3")。這意味著神經(jīng)網(wǎng)絡(luò)202已經(jīng) 確定正在分析的特定墨水最可能對(duì)應(yīng)于手寫數(shù)字"3"。 在某些情況下，神經(jīng)網(wǎng)絡(luò)202可響應(yīng)于初步輸入值的給定組合來(lái)選擇一個(gè)以上初 步輸出。例如，在第一實(shí)例中，可能的情況是，神經(jīng)網(wǎng)絡(luò)202不僅選擇初步輸出"B"，而且還 選擇初步輸出"8"。這是可能的情形，因?yàn)榇髮懽帜?B"和數(shù)字"8"通?？瓷先ハ嗨?，尤其 是當(dāng)字母"B"是印刷時(shí)(g卩，不是以草體手寫)。或者，當(dāng)手寫是草體時(shí)，神經(jīng)網(wǎng)絡(luò)202很可 能響應(yīng)于草體的"e"手寫輸入而同時(shí)選中初步輸出"e"和"o"。而且，這兩個(gè)手寫字符看上 去非常相似。處理這種情況的處理技術(shù)是已知的(例如，通過檢查該字符的上下文，諸如通 過將整個(gè)單詞與已知的詞典進(jìn)行對(duì)比，以幫助確定正在書寫哪一字符)。
再參考圖2，后處理功能205可接收并解釋來(lái)自神經(jīng)網(wǎng)絡(luò)202的初步輸出。雖然在 理論上神經(jīng)網(wǎng)絡(luò)202的原始初步輸出本身指示了與手寫輸入相對(duì)應(yīng)的已識(shí)別字符，但實(shí)際 上可以預(yù)期有大量誤差。這種誤差大部分是由于每個(gè)人的手寫的不完美性和怪癖；每個(gè)用 戶的手寫是不同的，并且每個(gè)用戶每次并非以完全相同的方式來(lái)書寫。由此，所期望的是添 加一后處理功能205，這實(shí)質(zhì)上通過使由神經(jīng)網(wǎng)絡(luò)202的初步輸出標(biāo)識(shí)的已識(shí)別字符彼此 有上下文關(guān)系來(lái)濾除大多數(shù)誤差。這可通過采用引用語(yǔ)言模型204的搜索引擎來(lái)執(zhí)行。后 處理功能205和語(yǔ)言模型204均是公知的。 語(yǔ)言模型204定義了針對(duì)所預(yù)期的已識(shí)別文本的各種規(guī)則或方針。這些規(guī)則可包 括相關(guān)語(yǔ)言中的已知單詞的列表、一組語(yǔ)法規(guī)則、一組特殊格式(例如，日期，時(shí)間等)、雙 字母組(bi-gram)和/或三字母組。每次神經(jīng)網(wǎng)絡(luò)202識(shí)別一新字符，后處理功能205就 參考語(yǔ)言模型204，以查看最新識(shí)別的字符是否滿足任何一種語(yǔ)言模型規(guī)則。這是一個(gè)迭代 且動(dòng)態(tài)的過程；在識(shí)別每一個(gè)新字符時(shí)，做出并給出應(yīng)應(yīng)用哪些語(yǔ)言規(guī)則的假設(shè)。該后處理 功能也是公知的?；谠撜Z(yǔ)言模型規(guī)則，后處理功能205輸出最終的已識(shí)別文本。
重復(fù)使用現(xiàn)有網(wǎng)絡(luò) 如前所述，許多手寫識(shí)別器利用神經(jīng)網(wǎng)絡(luò)來(lái)幫助解釋手寫輸入。通常訓(xùn)練神經(jīng)網(wǎng) 絡(luò)來(lái)識(shí)別一種語(yǔ)言的書寫。例如，可存在英文神經(jīng)網(wǎng)絡(luò)、法文神經(jīng)網(wǎng)絡(luò)和日文神經(jīng)網(wǎng)絡(luò)。每 個(gè)神經(jīng)網(wǎng)絡(luò)可根據(jù)語(yǔ)言來(lái)識(shí)別出其自己的唯一字符集。此外，使用為給定語(yǔ)言訓(xùn)練的神經(jīng) 網(wǎng)絡(luò)的識(shí)別器也將使用與該給定語(yǔ)言相一致的特定語(yǔ)言模型。例如，可獨(dú)立存在英文，法文 和日文語(yǔ)言模型。已知的手寫識(shí)別器由此采用了用于給定語(yǔ)言的神經(jīng)網(wǎng)絡(luò)和用于該給定語(yǔ) 言的語(yǔ)言模型。
但是，還有對(duì)其不存在或不容易得到經(jīng)訓(xùn)練的手寫識(shí)別神經(jīng)網(wǎng)絡(luò)的大量可能的語(yǔ) 言。這是因?yàn)?，如前所述，正確訓(xùn)練用于給定語(yǔ)言的神經(jīng)網(wǎng)絡(luò)是非常昂貴的。正確訓(xùn)練通常 涉及利用即使沒有成千也有上百人的手寫樣本，每個(gè)手寫樣本包括字符、單詞和其它符號(hào) 的各種各樣的不同組合。 然而，希望能提供用于對(duì)其還沒有可接受的手寫識(shí)別器可用的各種語(yǔ)言的手寫識(shí) 別功能。如將更加詳細(xì)地討論的，代替如過去所做的一樣從零開始訓(xùn)練神經(jīng)網(wǎng)絡(luò)，為了識(shí)別 給定語(yǔ)言的書寫，可重復(fù)使用并修正現(xiàn)有的已預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別之前訓(xùn)練網(wǎng)絡(luò)來(lái) 識(shí)別的其它語(yǔ)言。相比于從零開始訓(xùn)練新的神經(jīng)網(wǎng)絡(luò)，重復(fù)使用現(xiàn)有神經(jīng)網(wǎng)絡(luò)可以節(jié)省大 量的時(shí)間和費(fèi)用。 通常，參考圖IO，可按照如下方式重復(fù)使用和修正神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別目標(biāo)語(yǔ)言。在步 驟1001，選擇一目標(biāo)語(yǔ)言。在步驟1002，基于該目標(biāo)語(yǔ)言選擇一起始語(yǔ)言。用于所選起始 語(yǔ)言的現(xiàn)有神經(jīng)網(wǎng)絡(luò)可以已被預(yù)先訓(xùn)練來(lái)識(shí)別該起始語(yǔ)言中的手寫字符。起始語(yǔ)言可基于 目標(biāo)語(yǔ)言以及其它因素來(lái)選擇。在步驟1003，比較目標(biāo)語(yǔ)言字符和起始語(yǔ)言字符，并且基 于被比較的兩字符之間的視覺相似性來(lái)確定二者之間的對(duì)應(yīng)性。如果確定二者的對(duì)應(yīng)性不 夠，則步驟1004使該過程返回到步驟IOOI，選擇為一不同的起始語(yǔ)言選擇的神經(jīng)網(wǎng)絡(luò)。但 是，如果有足夠的對(duì)應(yīng)性，則在步驟1005，復(fù)制特定的初步輸出，并將這些副本分配為表示 目標(biāo)語(yǔ)言中并非同樣存在于起始語(yǔ)言中的字符。以下章節(jié)將討論該說(shuō)明性過程的細(xì)節(jié)。
網(wǎng)絡(luò)選擇 為重復(fù)使用現(xiàn)有的神經(jīng)網(wǎng)絡(luò)，首先應(yīng)當(dāng)從一組現(xiàn)有神經(jīng)網(wǎng)絡(luò)中選擇一特定的現(xiàn)有 神經(jīng)網(wǎng)絡(luò)。例如，如圖5所示，可以有一組潛在候選神經(jīng)網(wǎng)絡(luò)(網(wǎng)絡(luò)A、網(wǎng)絡(luò)B、網(wǎng)絡(luò)C和網(wǎng) 絡(luò)D)。假定網(wǎng)絡(luò)A是為日文書寫訓(xùn)練的，網(wǎng)絡(luò)B是為意大利文書寫訓(xùn)練的，網(wǎng)絡(luò)C是為英文 書寫訓(xùn)練的，網(wǎng)絡(luò)D是為西伯來(lái)文書寫訓(xùn)練的。影響選擇哪一現(xiàn)有神經(jīng)網(wǎng)絡(luò)的因素可包括 每一可用的現(xiàn)有神經(jīng)網(wǎng)絡(luò)的語(yǔ)言("起始語(yǔ)言")、神經(jīng)網(wǎng)絡(luò)的訓(xùn)練質(zhì)量和精確度、以及需要 神經(jīng)網(wǎng)絡(luò)的語(yǔ)言("目標(biāo)語(yǔ)言")。出于如以下進(jìn)一步描述的將變得清楚的原因，起始語(yǔ)言 越接近目標(biāo)語(yǔ)言， 一般就能期望更好的結(jié)果。例如，如果目標(biāo)語(yǔ)言是羅馬尼亞文，則采用網(wǎng) 絡(luò)A(例如，日文網(wǎng)絡(luò))很可能無(wú)法提供可接受的結(jié)果。這是因?yàn)?，即使不是全部，也有大?數(shù)日文字符一般看上去與羅馬尼亞字符有很大的不同。另一方面，一種合理的起始語(yǔ)言可 能是網(wǎng)絡(luò)C(如英文網(wǎng)絡(luò))。這是因?yàn)榱_馬尼亞語(yǔ)言有許多與英文通用的字符，尤其是因?yàn)?二者都基于同一拉丁字母表。羅馬尼亞和英文字母表之間的主要差別例如是對(duì)羅馬尼亞文 中變音符的使用。 一般而言，起始語(yǔ)言中與目標(biāo)語(yǔ)言的不同字符具有一對(duì)一的等同對(duì)應(yīng)性 的字符越多，則該起始語(yǔ)言就越好。而且，起始語(yǔ)言中在外觀上與目標(biāo)語(yǔ)言的不同字符非常 相似的字符越多，該起始語(yǔ)言就越好。 目標(biāo)語(yǔ)言羅馬尼亞文與英文和西伯來(lái)文兩個(gè)潛在起始語(yǔ)言的比較在圖6中示出。 圖6的表示出了將目標(biāo)語(yǔ)言羅馬尼亞文的字符與英文和希伯來(lái)文中看上去類似于羅馬尼 亞文的每一字符的字符進(jìn)行匹配的嘗試。如可以見到的，對(duì)羅馬尼亞文的所有字符，可以相 對(duì)容易地找到英文中的匹配字符。例如，許多羅馬尼亞字符(例如，"A"、"B"和"C")與英 文字符相同。其它羅馬尼亞字符盡管與英文字符相同，但也是非常接近的。例如，羅馬尼亞 字符"A"(帶短音符號(hào)的字母A)看上去與英文字符A相當(dāng)相似。羅馬尼亞字符"T"(帶 下加符的字母T)看上去與英文字符T相似。另一方面，羅馬尼亞字符中并沒有很多看上去與西伯來(lái)字符相似。盡管存在某些良好匹配(諸如羅馬尼亞字符"T"與西伯來(lái)字符"7"相 比，羅馬尼亞字符"X"與西伯來(lái)字符"JT相比)，但多數(shù)是較差的匹配。例如，西伯來(lái)字符
"P"是與羅馬尼亞字符"F"和"P"的相對(duì)較差的匹配。事實(shí)上，羅馬尼亞文中有存在與西 伯來(lái)文無(wú)論如何都沒有良好匹配的某些字符，例如"M"。 一個(gè)合理的結(jié)論是當(dāng)目標(biāo)語(yǔ)言是 羅馬尼亞文時(shí)，西伯來(lái)文作為起始語(yǔ)言是一個(gè)相對(duì)較差的選擇；而英文作為起始語(yǔ)言將是 一個(gè)較好的選擇。應(yīng)當(dāng)注意，圖6中的比較可以通過僅示出羅馬尼亞文的大寫字母表來(lái)簡(jiǎn) 化。但是，可以如所需地針對(duì)目標(biāo)語(yǔ)言的任一個(gè)字符或全部字符進(jìn)行這樣的比較，例如，數(shù) 字、符號(hào)、和語(yǔ)法記號(hào)。 目標(biāo)語(yǔ)言與候選起始語(yǔ)言的比較可以由人和/或計(jì)算機(jī)執(zhí)行。例如，該比較可依 賴于人做出的主觀比較。作為替代或除此之外，該比較可以依賴于一計(jì)算機(jī)算法，該計(jì)算 機(jī)算法對(duì)目標(biāo)和起始語(yǔ)言中的字符作出基于統(tǒng)計(jì)的對(duì)比，得到基于目標(biāo)語(yǔ)言的用戶輸入的 一個(gè)或多個(gè)建議的最優(yōu)起始語(yǔ)言。此外，無(wú)論比較是通過人主觀執(zhí)行和/或由計(jì)算機(jī)自動(dòng) 執(zhí)行的，都會(huì)得出目標(biāo)語(yǔ)言中的字符與一種或多種起始語(yǔ)言中的字符之間建議的一對(duì)一比 較。例如，這一 比較無(wú)論是由人主觀執(zhí)行和/或由計(jì)算機(jī)自動(dòng)執(zhí)行的，都得出圖6所示的比 較表。 如下即將討論的，目標(biāo)語(yǔ)言與一種或多種起始語(yǔ)言的比較結(jié)果可用來(lái)判斷如何修
正起始語(yǔ)言神經(jīng)網(wǎng)絡(luò)，這最終將得到用于該目標(biāo)語(yǔ)言的手寫識(shí)別器。
網(wǎng)絡(luò)修正 —旦確定了應(yīng)采用哪種起始語(yǔ)言，就選擇為該起始語(yǔ)言訓(xùn)練適當(dāng)?shù)默F(xiàn)有神經(jīng)網(wǎng) 絡(luò)。參見圖7，示出了這樣一個(gè)現(xiàn)有神經(jīng)網(wǎng)絡(luò)701(還包括將在以下進(jìn)一步討論的修正)。在 此示例中，神經(jīng)網(wǎng)絡(luò)701是英文語(yǔ)言的已訓(xùn)練神經(jīng)網(wǎng)絡(luò)(例如，圖5中的網(wǎng)絡(luò)C)，而目標(biāo)語(yǔ) 言是羅馬尼亞文。如先前結(jié)合圖6所討論的，英文和羅馬尼亞文的字符相對(duì)彼此相似。鑒 于此，需要對(duì)神經(jīng)網(wǎng)絡(luò)701進(jìn)行相抵較小的修正以允許其正確識(shí)別羅馬尼亞字符。為了修 正神經(jīng)網(wǎng)絡(luò)701，創(chuàng)建神經(jīng)網(wǎng)絡(luò)701的特定初步輸出的副本(即，復(fù)制品)702。換言之，創(chuàng) 建冗余輸出節(jié)點(diǎn)。 雖然可對(duì)神經(jīng)網(wǎng)絡(luò)701的任何初步輸出進(jìn)行復(fù)制，但在該示例中，只復(fù)制了某些 特定初步輸出。具體地，復(fù)制那些看上去與羅馬尼亞字符相似但并不完全匹配的初步輸出。 例如，參考圖8，包圍在黑體字邊框內(nèi)的英文字符表示那些看上去與對(duì)應(yīng)的羅馬尼亞字符相 似，但并不完全匹配的英文字符。這些英文字符包括"A"、"I"、"S"和"T"。還有其它一些， 但圖8中僅考慮了大寫字母。復(fù)制所選初步輸出的目標(biāo)是創(chuàng)建可用于表示現(xiàn)有起始語(yǔ)言神 經(jīng)網(wǎng)絡(luò)當(dāng)前無(wú)法支持的目標(biāo)語(yǔ)言字符的新輸出。由此，創(chuàng)建初步輸出"A"的兩個(gè)副本以分 別表示羅馬尼亞字符"A"和"A"(帶長(zhǎng)音符號(hào)的字母A)，創(chuàng)建初步輸出"I"的一個(gè)副本來(lái)
表示羅馬尼亞字符"i"，創(chuàng)建初步輸出"s"的一個(gè)副本來(lái)表示羅馬尼亞字符"s"，并創(chuàng)建初
步輸出"T"的一個(gè)副本來(lái)表示羅馬尼亞字符"T"。在生成這些副本702時(shí)，經(jīng)修正的神經(jīng) 網(wǎng)絡(luò)因而具有更大總數(shù)的初步輸出。 例如，圖7示出了上述新復(fù)制的初步輸出初步輸出"A"被復(fù)制兩次以產(chǎn)生兩個(gè)新 的初步輸出，初步輸出"I"被復(fù)制一次以產(chǎn)生一個(gè)新的初步輸出，初步輸出"S"被復(fù)制一次 以產(chǎn)生一個(gè)新的初步輸出，初步輸出"T"被復(fù)制一次以產(chǎn)生一個(gè)新的初步輸出。如下將進(jìn)一
步討論的，每一初步輸出被復(fù)制所需次數(shù)以對(duì)相似但并不包括在起始語(yǔ)言中的新字符提供新的初步輸出。為了復(fù)制初步輸出，復(fù)制分配給定義初步輸出的輸出節(jié)點(diǎn)的輸入的加權(quán)輸 入。也復(fù)制分配給所復(fù)制的加權(quán)輸入的權(quán)重。這些權(quán)重將一個(gè)或多個(gè)隱藏節(jié)點(diǎn)連接到初步 輸出節(jié)點(diǎn)。該隱藏節(jié)點(diǎn)因此保持不受干擾，除了其中的一個(gè)或多個(gè)現(xiàn)在將具有附加的輸出 連接，以說(shuō)明對(duì)初步輸出節(jié)點(diǎn)的加權(quán)輸入的新副本。這一概念可參見圖12來(lái)更好地解釋， 圖12示出了神經(jīng)網(wǎng)絡(luò)的多個(gè)隱藏節(jié)點(diǎn)，包括隱藏節(jié)點(diǎn)1201-1204。該神經(jīng)網(wǎng)絡(luò)還具有多個(gè) 初步輸出，其每一個(gè)都對(duì)應(yīng)于一不同的初步輸出節(jié)點(diǎn)，諸如初步輸出節(jié)點(diǎn)1205和1206。圖 12所示的體系結(jié)構(gòu)僅僅是說(shuō)明性的，并且為簡(jiǎn)化起見僅示出了神經(jīng)網(wǎng)絡(luò)的一部分。在該示 例中，將復(fù)制對(duì)應(yīng)于初步輸出節(jié)點(diǎn)1206的初步輸出。初步輸出節(jié)點(diǎn)1206具有權(quán)重為wl和 w2的兩個(gè)輸入。由此，創(chuàng)建了同樣具有權(quán)重為wl和w2的相同的兩個(gè)輸入的新初步輸出節(jié) 點(diǎn)1207。當(dāng)然，實(shí)際上，神經(jīng)網(wǎng)絡(luò)可以提供對(duì)每一初步輸出節(jié)點(diǎn)的比圖12所示的更多或更 少的輸入。 本領(lǐng)域的技術(shù)人員在受到指示時(shí)很容易能夠復(fù)制初步輸出。在復(fù)制時(shí)，所復(fù)制的
初步輸出將按照與原始的初步輸出相同的方式對(duì)初步輸入的所有組合做出響應(yīng)。例如，新 復(fù)制初步輸出"A"按照與原始的初步輸出"A"相同的方式對(duì)初步輸入的所有組合做出響應(yīng)。 這樣，修正了神經(jīng)網(wǎng)絡(luò)701以包括對(duì)與起始語(yǔ)言字符不同的每個(gè)目標(biāo)語(yǔ)言字符的 附加初步輸出。接下來(lái)將討論在被配置成識(shí)別手寫目標(biāo)語(yǔ)言的手寫識(shí)別器中如何實(shí)現(xiàn)神經(jīng) 網(wǎng)絡(luò)701的經(jīng)修正的形式。 識(shí)別器內(nèi)的實(shí)現(xiàn)/經(jīng)修正的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 神經(jīng)網(wǎng)絡(luò)701的經(jīng)修正的形式可以用于手寫識(shí)別器中，諸如圖2所示的手寫識(shí)別 器。為實(shí)現(xiàn)這個(gè)過程，后處理功能205和語(yǔ)言模型204可被配置成正確地解釋并響應(yīng)于新 添加的初步輸出。由此，新初步輸出副本702可按照副本702已知來(lái)表示目標(biāo)語(yǔ)言中其相 應(yīng)的新字符的方式來(lái)耦合到識(shí)別器系統(tǒng)。在該示例中，每一個(gè)新副本702可由后處理功能 205來(lái)解釋以分別表示為"入""人""|""§""丁"。這在圖9中示出。如圖3中一樣，為簡(jiǎn)化起 見僅示出了部分的初步輸出。但實(shí)際上，期望經(jīng)修正的神經(jīng)網(wǎng)絡(luò)如所需且恰當(dāng)?shù)鼐哂嗅槍?duì) 要添加到目標(biāo)語(yǔ)言中的每一額外字符的新初步示出。 例如，響應(yīng)于羅馬尼亞文字符"§"的手寫輸入，經(jīng)修正的神經(jīng)網(wǎng)絡(luò)701將同時(shí)選擇 初步輸出"S"和初步輸出"S"兩者。后處理后功能205然后可對(duì)"S"和"S"兩者的概率將 手寫輸入與語(yǔ)言模型204相關(guān)，以檢查上下文是否指示了哪一個(gè)更恰當(dāng)。應(yīng)當(dāng)注意，在該示 例中，語(yǔ)言模型204將用羅馬尼亞文語(yǔ)言模型來(lái)替換，包括例如羅馬尼亞文單詞和記號(hào)的 字典列表。因?yàn)槭謱懽R(shí)別器無(wú)法在手寫的"S"和"S"之間進(jìn)行區(qū)分，而且因?yàn)槟承┝_馬尼亞 單詞可以僅通過單個(gè)字符"S"或"S"來(lái)彼此區(qū)分，因此這可能是或也可能不是一個(gè)完善的 方案。換言之，盡管手寫識(shí)別器一般能正常工作，但可能存在更希望能夠在諸如"S"和"S" 等兩個(gè)相似字符之間進(jìn)行區(qū)分的情況。 因此，可能希望對(duì)經(jīng)修正的神經(jīng)網(wǎng)絡(luò)701進(jìn)行進(jìn)一步訓(xùn)練以識(shí)別特定起始語(yǔ)言字 符與對(duì)應(yīng)的目標(biāo)語(yǔ)言字符之間的差別。這涉及對(duì)經(jīng)修正的神經(jīng)網(wǎng)絡(luò)701進(jìn)行訓(xùn)練，使得曾 經(jīng)是原始的對(duì)應(yīng)初步輸出的相同副本的初步輸出不再是相同的副本。相反，每一副本可響 應(yīng)于與其對(duì)應(yīng)的原始初步輸入不同的初步輸入組合來(lái)選擇。例如，可按照可在兩字符之間 進(jìn)行區(qū)分的已知方式，用手寫字符"S"和"S"來(lái)訓(xùn)練經(jīng)修正的神經(jīng)網(wǎng)絡(luò)701。在訓(xùn)練完成后，
12經(jīng)修正的神經(jīng)網(wǎng)絡(luò)701理想地響應(yīng)于手寫"S"僅僅選擇初步輸出"S"，而響應(yīng)于手寫"§ "僅 選擇初步輸出"§"。該訓(xùn)練可以針對(duì)任何一個(gè)以及所有的所復(fù)制的初步輸出來(lái)執(zhí)行。
因?yàn)楝F(xiàn)有神經(jīng)網(wǎng)絡(luò)701在修正前都已經(jīng)對(duì)起始語(yǔ)言進(jìn)行了訓(xùn)練，因此可期望目標(biāo)
語(yǔ)言所需的額外訓(xùn)練將少于對(duì)該目標(biāo)語(yǔ)言從零開始訓(xùn)練神經(jīng)網(wǎng)絡(luò)。
"超網(wǎng)纟各" 現(xiàn)在參考圖ll，可使用上述方法或使用任何其它過程來(lái)創(chuàng)建"超網(wǎng)絡(luò)"llOl。例 如，可通過對(duì)一系列多種不同語(yǔ)言迭代地復(fù)制初步輸出來(lái)擴(kuò)展神經(jīng)網(wǎng)絡(luò)701 。不同語(yǔ)言可以 相關(guān)，諸如所有都基于拉丁字母表，或者它們可以不相關(guān)。無(wú)論是如何創(chuàng)建的，總會(huì)創(chuàng)建包 括表示用于多種不同語(yǔ)言的字符的初步輸出01:0m的大型神經(jīng)網(wǎng)絡(luò)1101。例如，神經(jīng)網(wǎng)絡(luò) 1101可包括針對(duì)英文字符集和羅馬尼亞字符集的初步輸出。 這個(gè)大型神經(jīng)網(wǎng)絡(luò)1101連同屏蔽1102 —起可在被動(dòng)態(tài)配置成識(shí)別針對(duì)其訓(xùn)練了 神經(jīng)網(wǎng)絡(luò)701的所有語(yǔ)言的一個(gè)子集的手寫識(shí)別器系統(tǒng)中實(shí)現(xiàn)。屏蔽1102功能上用于阻 塞初步輸出01:0m的一個(gè)子集。實(shí)際上，屏蔽1102可以是執(zhí)行選擇性屏蔽功能的開關(guān)網(wǎng)絡(luò) 或任何其它硬件、軟件和/或固件。屏蔽1102可根據(jù)Prog信號(hào)來(lái)確定要屏蔽輸出01:0m 中的哪一個(gè)。例如，Prog信號(hào)可被設(shè)為O以屏蔽羅馬尼亞語(yǔ)言的字符集，并被設(shè)為1以屏 蔽英文語(yǔ)言的字符集。應(yīng)當(dāng)注意的是，至少在本示例中，英文和羅馬尼亞文字符集相交，這 應(yīng)在確定屏蔽哪些初步輸出時(shí)加以考慮。雖然上述示例將Prog呈現(xiàn)為一二進(jìn)制值，但Prog 可以采用任何數(shù)據(jù)格式，或甚至是模擬信號(hào)。Prog可以是用戶可配置的，并可在手寫識(shí)別過
程中動(dòng)態(tài)地調(diào)整。
結(jié)論 由此，在此已描述了創(chuàng)建手寫識(shí)別功能的新方法。通過重復(fù)使用現(xiàn)有神經(jīng)網(wǎng)絡(luò)，相 比從零開始構(gòu)建并訓(xùn)練新神經(jīng)網(wǎng)絡(luò)，節(jié)省了大量的時(shí)間和經(jīng)費(fèi)。此處描述的方法和功能中 的任一個(gè)可以由硬件、軟件和/或固件來(lái)實(shí)現(xiàn)，并可由人手動(dòng)和/或由計(jì)算機(jī)自動(dòng)執(zhí)行。在 方法和/或功能被實(shí)現(xiàn)為軟件的情況下，它們可以作為計(jì)算機(jī)可執(zhí)行指令被存儲(chǔ)在一個(gè)或 多個(gè)計(jì)算機(jī)可讀介質(zhì)上，例如存儲(chǔ)在系統(tǒng)存儲(chǔ)器130和/或移動(dòng)介質(zhì)152、 156中。
此外，此處可以采用除神經(jīng)網(wǎng)絡(luò)以外的其它類型的網(wǎng)絡(luò)，并按照關(guān)于神經(jīng)網(wǎng)絡(luò)所 描述的類似方式來(lái)進(jìn)行修正。例如，可重復(fù)使用貝葉斯網(wǎng)絡(luò)、隱馬爾可夫機(jī)(HMM)、支持矢量 機(jī)(SVM)、模板匹配器、和/或動(dòng)態(tài)時(shí)間扭曲(DTW)單元，并按照此處描述的方式進(jìn)行修正以 提供適當(dāng)?shù)妮敵龈北尽?br> 權(quán)利要求
一種提供手寫識(shí)別功能的方法，包括提供一具有多個(gè)初步輸出的神經(jīng)網(wǎng)絡(luò)，每一初步輸出對(duì)應(yīng)于第一語(yǔ)言的一不同字符；從所述多個(gè)初步輸出中選擇第一初步輸出；以及向所述神經(jīng)網(wǎng)絡(luò)添加所述第一初步輸出的副本。
2. 如權(quán)利要求1所述的方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)具有多個(gè)初步輸入，且其中所 述第一初步輸出的副本以與所述第一初步輸出相同的方式來(lái)響應(yīng)所述初步輸入。
3. 如權(quán)利要求1所述的方法，其特征在于，還包括在所述添加步驟之后，訓(xùn)練所述神經(jīng) 網(wǎng)絡(luò)，以使所述第一初步輸出的副本以不同于所述第一初步輸出的方式來(lái)響應(yīng)所述初步輸 入。
4. 如權(quán)利要求1所述的方法，其特征在于，還包括從多個(gè)神經(jīng)網(wǎng)絡(luò)中選擇所述神經(jīng)網(wǎng) 絡(luò)，所述多個(gè)神經(jīng)網(wǎng)絡(luò)中的每一個(gè)與一不同的語(yǔ)言相關(guān)聯(lián)。
5. 如權(quán)利要求l所述的方法，其特征在于，還包括 選擇所述第一語(yǔ)言；以及 選擇不同于所述第一語(yǔ)言的第二語(yǔ)言；其中，選擇所述第一初步輸出的步驟包括根據(jù)所述第二語(yǔ)言來(lái)選擇所述第一初步輸出。
6. 如權(quán)利要求5所述的方法，其特征在于，選擇所述第一初步輸出的步驟包括 將所述第一語(yǔ)言的字符與所述第二語(yǔ)言的字符進(jìn)行比較；以及如果所述第一語(yǔ)言的字符與所述第二語(yǔ)言的字符視覺上相似但不相同，則復(fù)制所述第 一初步輸出。
7. 如權(quán)利要求5所述的方法，其特征在于，還包括提供一包含所述神經(jīng)網(wǎng)絡(luò)和所述第 二語(yǔ)言的語(yǔ)言模型的手寫識(shí)別器，所述神經(jīng)網(wǎng)絡(luò)包括所述第一初步輸出的副本。
8. 如權(quán)利要求1所述的方法，其特征在于，還包括提供一利用包括所述第一初步輸出 的副本的所述神經(jīng)網(wǎng)絡(luò)的手寫識(shí)別器。
9. 至少一種存儲(chǔ)用于提供手寫識(shí)別功能的計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)，所述 計(jì)算機(jī)可執(zhí)行指令用于執(zhí)行以下步驟從多個(gè)網(wǎng)絡(luò)中選擇第一網(wǎng)絡(luò)，其中所述第一網(wǎng)絡(luò)與第一語(yǔ)言相關(guān)聯(lián)，并且其中所述第 一網(wǎng)絡(luò)具有多個(gè)初步輸出，每一初步輸出表示所述第一語(yǔ)言的一不同字符；以及從所述第一網(wǎng)絡(luò)的多個(gè)初步輸出中選擇第一初步輸出，所述第一初步輸出與所述第一 語(yǔ)言的字符之一相關(guān)聯(lián)。
10. 如權(quán)利要求9所述的至少一種計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述計(jì)算機(jī)可執(zhí)行指 令還用于執(zhí)行以下步驟接收指示第二語(yǔ)言的第一用戶輸入；以及 基于所述第二語(yǔ)言選擇所述第一語(yǔ)言。
11. 如權(quán)利要求IO所述的方法，其特征在于，所述選擇第一初步輸出的步驟包括 將所述第一語(yǔ)言的字符與所述第二語(yǔ)言的字符進(jìn)行比較；以及如果所述第一語(yǔ)言的字符與所述第二語(yǔ)言的字符視覺上相似但不相同，則復(fù)制所述第 一初步輸出。
12. 如權(quán)利要求9所述的至少一種計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述計(jì)算機(jī)可執(zhí)行指令還用于將所述第一初步輸出的副本添加到所述第一網(wǎng)絡(luò)中。
13. 如權(quán)利要求9所述的至少一種計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述第一網(wǎng)絡(luò)具有多 個(gè)初步輸入，并且其中所述第一初步輸出的副本以與所述第一初步輸出相同方式響應(yīng)所述 初步輸入。
14. 如權(quán)利要求9所述的至少一種計(jì)算機(jī)可讀介質(zhì)，其特征在于，在選擇所述第一初步 輸出后，所述第一網(wǎng)絡(luò)包括由所述第一初步輸出的副本構(gòu)成的初步輸出，其中所述第一網(wǎng) 絡(luò)是神經(jīng)網(wǎng)絡(luò)，并且所述計(jì)算機(jī)可執(zhí)行指令還用于執(zhí)行以下步驟接收包含手寫墨水的第二用戶輸入，所述手寫墨水包含并非是所述第一語(yǔ)言的一部分 的第二語(yǔ)言的字符的表示；響應(yīng)于所述第二用戶輸入，訓(xùn)練所述第一網(wǎng)絡(luò)，以使對(duì)所述初步輸出的副本的響應(yīng)被 修正。
15. 如權(quán)利要求9所述的至少一種計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述至少一種計(jì)算機(jī) 可讀介質(zhì)還存儲(chǔ)所述多個(gè)網(wǎng)絡(luò)。
16. 如權(quán)利要求9所述的至少一種計(jì)算機(jī)可讀介質(zhì)，其特征在于，所述第一網(wǎng)絡(luò)是神經(jīng) 網(wǎng)絡(luò)，并且所述多個(gè)網(wǎng)絡(luò)中的每一網(wǎng)絡(luò)都是神經(jīng)網(wǎng)絡(luò)。
17. —種手寫識(shí)別器，其特征在于，包括具有第一多個(gè)初步輸出和第二多個(gè)初步輸出的網(wǎng)絡(luò)，所述第一多個(gè)初步輸出中的每一 個(gè)表示第一語(yǔ)言的一不同字符，所述第二多個(gè)初步輸出中的每一個(gè)表示第二語(yǔ)言的一不同 字符；被配置成解釋所述初步輸出上的信號(hào)的后處理單元；以及被配置成選擇性地阻塞所述初步輸出的第一子集或第二子集中的一個(gè)以免其被所述 后處理單元解釋的屏蔽單元。
18. 如權(quán)利要求16所述的手寫識(shí)別器，其特征在于，所述網(wǎng)絡(luò)、所述后處理單元和所述 屏蔽單元包括軟件。
19. 如權(quán)利要求16所述的手寫識(shí)別器，其特征在于，所述第一子集包括所述初步輸出 中表示所述第一語(yǔ)言而非所述第二語(yǔ)言的字符的初步輸出，并且其中所述第二子集包括所 述初步輸出中表示所述第二語(yǔ)言而非所述第一語(yǔ)言的字符的初步輸出。
20. 如權(quán)利要求16所述的手寫識(shí)別器，其特征在于，所述網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)。
全文摘要
可從現(xiàn)有神經(jīng)網(wǎng)絡(luò)構(gòu)建用于手寫識(shí)別的新神經(jīng)網(wǎng)絡(luò)?；谒枘繕?biāo)語(yǔ)言選擇為起始語(yǔ)言預(yù)先訓(xùn)練的現(xiàn)有神經(jīng)網(wǎng)絡(luò)。修正該神經(jīng)網(wǎng)絡(luò)以使其可以用于識(shí)別目標(biāo)語(yǔ)言的字符，該經(jīng)修正的神經(jīng)網(wǎng)絡(luò)在用于該目標(biāo)語(yǔ)言的手寫識(shí)別器中使用。修正過程包括復(fù)制現(xiàn)有神經(jīng)網(wǎng)絡(luò)的一個(gè)或多個(gè)初步輸出。可基于所需的目標(biāo)語(yǔ)言選擇恰當(dāng)?shù)钠鹗颊Z(yǔ)言。此外，可提供一“超網(wǎng)絡(luò)”，它是被配置成識(shí)別多種不同語(yǔ)言中的字符的相對(duì)較大的神經(jīng)網(wǎng)絡(luò)?？赏ㄟ^用程序設(shè)計(jì)一屏蔽以阻塞對(duì)待識(shí)別的語(yǔ)言不必需的來(lái)自超網(wǎng)絡(luò)的輸出，使用這一超級(jí)網(wǎng)絡(luò)來(lái)定制手寫識(shí)別器。
文檔編號(hào)G06N5/00GK101730898SQ200680022167
公開日2010年6月9日 申請(qǐng)日期2006年6月22日 優(yōu)先權(quán)日2005年6月23日
發(fā)明者J·A·皮特曼, M·馬努 申請(qǐng)人:微軟公司