手寫(xiě)文字的識(shí)別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及手寫(xiě)文字的識(shí)別方法，特別適合但不僅限于對(duì)手寫(xiě)數(shù)字的識(shí)別方法。
【背景技術(shù)】
[0002] 隨著信息技術(shù)的快速發(fā)展，手寫(xiě)文字特別是手寫(xiě)數(shù)字識(shí)別技術(shù)廣泛應(yīng)用于電子商 務(wù)、機(jī)器自動(dòng)輸入和無(wú)線(xiàn)終端等領(lǐng)域，并且普及越來(lái)越廣闊。然而，由于數(shù)字的筆劃簡(jiǎn)單、差 別相對(duì)較小，導(dǎo)致諸如3和8、5和6等這些形狀類(lèi)似的數(shù)字難以識(shí)別，并且書(shū)寫(xiě)數(shù)字的不同 個(gè)體具有不同的書(shū)寫(xiě)習(xí)慣，即使同一人每次書(shū)寫(xiě)的結(jié)果也會(huì)有差異，這就造成了同一數(shù)字 形狀的千差萬(wàn)別，不但增加了識(shí)別難度，而且使得待識(shí)別的數(shù)字模式成倍增加，大大增加了 識(shí)別處理時(shí)間。因此，提高識(shí)別精度和識(shí)別速度是手寫(xiě)文字特別是手寫(xiě)數(shù)字識(shí)別技術(shù)能夠 廣泛應(yīng)用的關(guān)鍵。
[0003] 手寫(xiě)數(shù)字識(shí)別的精度和速度主要取決于識(shí)別特征的表征能力和識(shí)別算法的時(shí)間 復(fù)雜度。針對(duì)這些方面的研宄，國(guó)內(nèi)外學(xué)者提出了一系列識(shí)別方法。例如Holland、Zeng Xiangyan、ZhangGuisheng和LeeJongsoo等人分別提出基于手寫(xiě)數(shù)字結(jié)構(gòu)特征、支持向 量機(jī)和神經(jīng)網(wǎng)絡(luò)的手寫(xiě)數(shù)字識(shí)別方法。然而，這些方法均需要人工設(shè)計(jì)并提取手寫(xiě)數(shù)字特 征，并通過(guò)淺層的學(xué)習(xí)和分類(lèi)實(shí)現(xiàn)手寫(xiě)數(shù)字識(shí)別，其精度和速度均難以滿(mǎn)足實(shí)際應(yīng)用需求。 2004年CandSs等人提出的壓縮感知（CompressiveSensing)理論能夠在數(shù)據(jù)稀疏的前提 下，實(shí)現(xiàn)對(duì)數(shù)據(jù)在遠(yuǎn)低于奈奎斯特采樣頻率下的壓縮采樣，從而能夠有效地剔除數(shù)據(jù)中的 冗余信息，大大降低采樣數(shù)據(jù)的處理時(shí)間。于是，劉長(zhǎng)紅等人將壓縮感知思想應(yīng)用于手寫(xiě)數(shù) 字識(shí)別并在MNIST手寫(xiě)數(shù)字公共數(shù)據(jù)集上取得了較高的識(shí)別精度，但該方法實(shí)質(zhì)是基于稀 疏分解提取最佳分解系數(shù)作為特征進(jìn)行識(shí)別，這與壓縮感知理論存在明顯區(qū)別，并且對(duì)輸 入手寫(xiě)數(shù)字圖像進(jìn)行最佳稀疏分解將大大增加了識(shí)別算法的處理時(shí)間，限制了手寫(xiě)數(shù)字識(shí) 別方法的應(yīng)用。
[0004] 近年來(lái)，Bruno等人對(duì)人的視覺(jué)細(xì)胞進(jìn)行研宄，并發(fā)現(xiàn)人的視覺(jué)神經(jīng)細(xì)胞對(duì)物體有 選擇表達(dá)的能力，人的大腦對(duì)邊緣和輪廓敏感度最高?；谝陨纤枷?，Hinton等人在2006 年提出了深度學(xué)習(xí)的理論。深度學(xué)習(xí)的理論是模擬人腦進(jìn)行分析學(xué)習(xí)的一種多層無(wú)監(jiān)督神 經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，具有多非線(xiàn)性映射的深層結(jié)構(gòu)，可以完成復(fù)雜的函數(shù)逼近，并且它通過(guò)無(wú) 監(jiān)督訓(xùn)練逐層學(xué)習(xí)能夠獲得輸入數(shù)據(jù)的分布式特征，無(wú)需人為干預(yù)。于是，Vincent等人基 于深度學(xué)習(xí)思想提出了一種能夠自動(dòng)學(xué)習(xí)特征并在MNIST數(shù)據(jù)集上實(shí)現(xiàn)了手寫(xiě)數(shù)字識(shí)別 的方法。為了能夠減弱噪聲在識(shí)別過(guò)程中的影響，Vincent等人在特征學(xué)習(xí)過(guò)程中隨機(jī)將 一定比例的樣本置零并建立了一種新的深度網(wǎng)絡(luò)。但是，這一策略可能會(huì)使有利于識(shí)別手 寫(xiě)數(shù)字的信息因隨機(jī)置零而丟失，進(jìn)而降低手寫(xiě)數(shù)字的識(shí)別精度。
[0005] 通常情況下，待識(shí)別手寫(xiě)數(shù)字模式差異越小，筆畫(huà)越復(fù)雜，識(shí)別就變得越困難，由 于計(jì)算資源的局限和識(shí)別效率的要求，手寫(xiě)數(shù)字表征模型和識(shí)別模型不能過(guò)于復(fù)雜。由于 壓縮感知可對(duì)數(shù)據(jù)進(jìn)行壓縮采樣，可以獲取較少的用于表征手寫(xiě)數(shù)字的關(guān)鍵信息，從而大 大降低了后續(xù)處理的時(shí)間，而深度學(xué)習(xí)可通過(guò)深層網(wǎng)絡(luò)學(xué)習(xí)有效提取較少的用于表征關(guān)鍵 信息的特征，以提高識(shí)別精度和識(shí)別效率。因此，可以結(jié)合壓縮感知和深度學(xué)習(xí)，通過(guò)對(duì)手 寫(xiě)數(shù)字的壓縮采樣獲取表征數(shù)據(jù)的"粗"特征，并基于人腦神經(jīng)元感知事物的特性對(duì)其進(jìn)行 逐層特征學(xué)習(xí)，自動(dòng)挖掘表征手寫(xiě)數(shù)字的"精細(xì)"特征，以有效地提高手寫(xiě)數(shù)字的表征能力 和模型學(xué)習(xí)的效率，從而實(shí)現(xiàn)手寫(xiě)數(shù)字識(shí)別的高精度和高效率。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明提供了一種手寫(xiě)文字的識(shí)別方法，通過(guò)結(jié)合壓縮感知和深度學(xué)習(xí)，來(lái)有效 提高手寫(xiě)文字的表征能力和模型學(xué)習(xí)的效率，實(shí)現(xiàn)對(duì)手寫(xiě)文字特別是手寫(xiě)數(shù)字的高精度和 高效率識(shí)別。
[0007] 本發(fā)明手寫(xiě)文字的識(shí)別方法，包括：
[0008] a.歸一化手寫(xiě)輸入數(shù)據(jù)，定義m個(gè)神經(jīng)元數(shù)，其中m為自然數(shù)，建立自動(dòng)編碼器模 型，并初始化所述自動(dòng)編碼器模型的權(quán)重和偏置；
[0009] b.通過(guò)壓縮感知模型對(duì)步驟a得到的數(shù)據(jù)壓縮采樣；
[0010]c.將步驟b得到的數(shù)據(jù)進(jìn)行自動(dòng)編解碼后重建步驟a中自動(dòng)編碼器模型的手寫(xiě)輸 入數(shù)據(jù)，使重建的手寫(xiě)輸入數(shù)據(jù)相對(duì)原始手寫(xiě)輸入數(shù)據(jù)的誤差最小化；
[0011] d.將步驟a、b和C構(gòu)建的各模型逐層堆疊組成n層神經(jīng)元的特征深度學(xué)習(xí)模型， 并對(duì)所述的n層神經(jīng)元遍歷進(jìn)行深度特征學(xué)習(xí)，其中n為自然數(shù)；
[0012] e.輸出識(shí)別的手寫(xiě)文字。
[0013] 由Bengio等人提出的自動(dòng)編碼器模型是一種盡可能復(fù)現(xiàn)輸入信號(hào)的神經(jīng)網(wǎng)絡(luò)， 為了實(shí)現(xiàn)信號(hào)復(fù)現(xiàn)，自動(dòng)編碼器模型必須捕捉可以代表輸入數(shù)據(jù)的最重要的因素，也就是 提取能表征輸入數(shù)據(jù)的特征信息。為了提高自動(dòng)編碼器模型的抗噪性能，傳統(tǒng)的降噪自動(dòng) 編碼器模型被提出。而傳統(tǒng)的降噪自動(dòng)編碼器模型只是對(duì)經(jīng)典的自動(dòng)編碼器模型的簡(jiǎn)單改 進(jìn)，通過(guò)學(xué)習(xí)去除訓(xùn)練中被引入的噪聲并獲得沒(méi)有被噪聲污染過(guò)的輸入數(shù)據(jù)。以手寫(xiě)數(shù)字 1為例，其過(guò)程可描述為：對(duì)于每一個(gè)輸入，以10 %~30 %的比例隨機(jī)選擇0~1之間的元 素，并將被選元素初始化為"〇"，對(duì)其它元素不做處理；經(jīng)過(guò)以上處理過(guò)程，將被選元素的 全部信息移除，并通過(guò)編解碼訓(xùn)練最小化編碼輸入和解碼器輸出之間的互熵得到網(wǎng)絡(luò)的輸 出。因此可以看出，傳統(tǒng)的降噪自動(dòng)編碼器模型是通過(guò)輸入隨機(jī)映射，最終將得到的隨機(jī)置 零映射后的輸出，而不是輸出原始的輸入數(shù)據(jù)。
[0014] 本發(fā)明方法在重建的自動(dòng)編碼器模型時(shí)，盡管是力求使其和原始手寫(xiě)輸入數(shù)據(jù)之 間的誤差盡量小，但該自動(dòng)編碼器模型針對(duì)噪聲干擾時(shí)泛化能力依然較弱。雖然傳統(tǒng)的降 噪編碼器模型可以在一定程度上增強(qiáng)了泛化能力，但通過(guò)上述降噪編碼器模型的工作原理 可知，降噪編碼器模型針對(duì)輸入數(shù)據(jù)人為置零的處理有可能會(huì)導(dǎo)致關(guān)鍵信息丟失，并最終 影響識(shí)別精度。因此在本發(fā)明方法進(jìn)行壓縮感知處理時(shí)，將基于信號(hào)在預(yù)知的一組基上可 以稀疏表示的特性通過(guò)隨機(jī)投影，實(shí)現(xiàn)了在遠(yuǎn)低于奈奎斯特采樣頻率下對(duì)數(shù)據(jù)的直接壓縮 采樣。由于壓縮感知的壓縮采樣能力，原本在傳統(tǒng)降噪處理中因隨機(jī)置零而丟棄的用于識(shí) 別的關(guān)鍵信息，通過(guò)本發(fā)明的壓縮感知步驟能夠得以保留，這將提升后續(xù)特征對(duì)輸入數(shù)據(jù) 的表征能力。步驟d是特征深度學(xué)習(xí)的過(guò)程，深度學(xué)習(xí)網(wǎng)絡(luò)是多個(gè)神經(jīng)元層的堆疊，每一層 的輸出作為高一層的輸入，通過(guò)逐層特征變換，將每層的數(shù)據(jù)在原空間的特征表示變換到 一個(gè)新特征空間，來(lái)學(xué)習(xí)對(duì)原輸入具有更好表征的特征。包含多層的深度神經(jīng)網(wǎng)絡(luò)能夠模 擬人腦對(duì)信息的分層處理機(jī)制，并具有優(yōu)異的特征學(xué)習(xí)能力，其學(xué)習(xí)得到的特征對(duì)原始手 寫(xiě)數(shù)據(jù)有更本質(zhì)的刻畫(huà)，從而最終提升對(duì)數(shù)據(jù)的分類(lèi)或預(yù)測(cè)的準(zhǔn)確性，同時(shí)也能夠有效解 決由于噪聲等各種雜波干擾造成的手寫(xiě)文字識(shí)別精度下降的問(wèn)題。
[0015] 進(jìn)一步的，通過(guò)對(duì)步驟d獲得的數(shù)據(jù)進(jìn)行微調(diào)后，所得到的參數(shù)作為神經(jīng)網(wǎng)絡(luò)的 輸入進(jìn)行分類(lèi)，識(shí)別并輸出步驟e所述的手寫(xiě)文字。其中微調(diào)的方法可以采用現(xiàn)有的常規(guī) 神經(jīng)網(wǎng)絡(luò)。
[0016] 具體的，通過(guò)BP