本發(fā)明涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)的非標(biāo)準(zhǔn)字符識(shí)別方法。
背景技術(shù)：
非標(biāo)準(zhǔn)字符的識(shí)別作為圖像識(shí)別應(yīng)用中的重要分支，其在生產(chǎn)生活中的地位也越來越重要。目前，標(biāo)準(zhǔn)字符的識(shí)別技術(shù)理論已經(jīng)日趨成熟，但是大多數(shù)的數(shù)字或是英文字母的識(shí)別方法在實(shí)際應(yīng)用過程中或多或少都會(huì)出現(xiàn)一些問題，且不要說是更加復(fù)雜的中文字符以及其他字符的非標(biāo)準(zhǔn)表示了，且在復(fù)雜的應(yīng)用場景中或是移動(dòng)設(shè)備上，識(shí)別效率和識(shí)別準(zhǔn)確率都比較低。例如，逆?zhèn)鞑ド窠?jīng)網(wǎng)絡(luò)對(duì)于樣本數(shù)據(jù)集的要求很高，否則無法達(dá)到較高的識(shí)別準(zhǔn)確率。
技術(shù)實(shí)現(xiàn)要素：
針對(duì)上述問題，本發(fā)明提供一種基于卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)的非標(biāo)準(zhǔn)字符識(shí)別方法，大大提高了各類字符整體識(shí)別準(zhǔn)確率和效率，尤其適用于數(shù)字和英文字母的識(shí)別。
為實(shí)現(xiàn)上述技術(shù)目的，達(dá)到上述技術(shù)效果，本發(fā)明通過以下技術(shù)方案實(shí)現(xiàn)：
基于卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)的非標(biāo)準(zhǔn)字符識(shí)別方法，包括如下步驟：
步驟1、采集非標(biāo)準(zhǔn)字符的圖像信號(hào)作為樣本數(shù)據(jù)，生成訓(xùn)練樣本數(shù)據(jù)集和測試數(shù)據(jù)集；
步驟2、建立卷積神經(jīng)網(wǎng)絡(luò)并初始化；
步驟3、將訓(xùn)練樣本數(shù)據(jù)集通過卷積神經(jīng)網(wǎng)絡(luò)的多層感知器完成前向傳播；
步驟4、對(duì)步驟3中的多層感知器進(jìn)行誤差計(jì)算和梯度計(jì)算，并判斷誤差是否為收斂：若收斂，則提取出特征數(shù)據(jù)并進(jìn)入步驟6，否則，進(jìn)入步驟5；
步驟5、將步驟4中得到的誤差和梯度用反向傳播算法，經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)逐層傳播到網(wǎng)絡(luò)底層，并且逐層更新網(wǎng)絡(luò)的權(quán)重系數(shù)，并判斷該層是否為輸入層：若是，則進(jìn)入步驟3，否則，繼續(xù)判斷下一層是否為輸入層，直至確定輸入層并進(jìn)入步驟3；
步驟6、將通過卷積神經(jīng)網(wǎng)絡(luò)模型經(jīng)訓(xùn)練提取的特征數(shù)據(jù)傳輸?shù)街С窒蛄繖C(jī)中進(jìn)行訓(xùn)練，當(dāng)測試數(shù)據(jù)集的識(shí)別準(zhǔn)確率為100％時(shí)，則認(rèn)為成功建立了非標(biāo)準(zhǔn)字符識(shí)別訓(xùn)練模型；
步驟7、將待識(shí)別的非標(biāo)準(zhǔn)字符信號(hào)輸入到非標(biāo)準(zhǔn)字符識(shí)別訓(xùn)練模型進(jìn)行識(shí)別，獲得識(shí)別結(jié)論。
優(yōu)選，步驟2中初始化卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)，包括卷積核的數(shù)量、降采樣層的數(shù)量、卷積核的大小和降采樣層的降幅，并初始化卷積核的權(quán)重和偏置。
優(yōu)選，步驟1中生成訓(xùn)練樣本數(shù)據(jù)集包括如下步驟：
1)從樣本數(shù)據(jù)集中取出一批樣本(a，bc)，其中a是樣本字符的向量，b是a對(duì)應(yīng)的期望值，c是標(biāo)準(zhǔn)字符集，bc是樣本數(shù)據(jù)集中標(biāo)準(zhǔn)字符c對(duì)應(yīng)字符的期望值；
2)將a輸入卷積神經(jīng)網(wǎng)絡(luò)；
3)計(jì)算出相應(yīng)的實(shí)際輸出dc，其中，dc＝fn(…f2(f1(bc*w1)w2)…wn)，fn表示第n層的激活函數(shù)，wn表示第n層的權(quán)值，*是卷積運(yùn)算符號(hào)。
優(yōu)選，步驟3中，將訓(xùn)練樣本數(shù)據(jù)集通過并行fifo實(shí)現(xiàn)無特征化地、均勻地輸入卷積神經(jīng)網(wǎng)絡(luò)，訓(xùn)練樣本數(shù)據(jù)分別經(jīng)過卷積層1和降采樣層1、卷積層2和降采樣層2……卷積層n和降采樣層n，實(shí)現(xiàn)了前向傳播的過程，其中，n是卷積神經(jīng)網(wǎng)絡(luò)的第n層。
優(yōu)選，步驟5中，將步驟4中得到的誤差和梯度用反向傳播算法，反向經(jīng)過降采樣層n和卷積層n……降采樣層2和卷積層2、降采樣層1和卷積層1，逐層傳播到網(wǎng)絡(luò)底層，其中，反向傳播算法具體包括如下步驟：
1)對(duì)樣本數(shù)據(jù)集批量前向傳播，計(jì)算出卷積神經(jīng)網(wǎng)絡(luò)中所有的激活值；
2)針對(duì)每一層的節(jié)點(diǎn)，對(duì)該節(jié)點(diǎn)從后向前進(jìn)行求導(dǎo)，計(jì)算權(quán)值的偏導(dǎo)數(shù)，并更新權(quán)值的具體參數(shù)；
3)重復(fù)上述步驟1)和2)對(duì)神經(jīng)網(wǎng)絡(luò)各參數(shù)進(jìn)行迭代計(jì)算，使代價(jià)函數(shù)收斂并得到一個(gè)最小值，以此求解得到卷積神經(jīng)網(wǎng)絡(luò)的模型。
本發(fā)明的有益效果是：
本發(fā)明通過將卷積神經(jīng)網(wǎng)絡(luò)模型和支持向量機(jī)模型進(jìn)行一定的調(diào)整并通過適當(dāng)算法進(jìn)行有機(jī)結(jié)合，由于卷積神經(jīng)網(wǎng)絡(luò)模型和支持向量機(jī)模型的目標(biāo)是區(qū)分性的，這使得生成的非標(biāo)準(zhǔn)字符識(shí)別模型的輸出更優(yōu)化，規(guī)避了兩者的短處，同時(shí)發(fā)揚(yáng)了兩者的長處，使得本發(fā)明在用于實(shí)際應(yīng)用時(shí)的整體識(shí)別準(zhǔn)確率和效率都達(dá)到了一個(gè)很高的水平，特別是對(duì)數(shù)字和英文字母的識(shí)別能力很強(qiáng)。
附圖說明
圖1是本發(fā)明基于卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)的非標(biāo)準(zhǔn)字符識(shí)別方法的流程圖。
具體實(shí)施方式
下面結(jié)合附圖和具體的實(shí)施例對(duì)本發(fā)明技術(shù)方案作進(jìn)一步的詳細(xì)描述，以使本領(lǐng)域的技術(shù)人員可以更好的理解本發(fā)明并能予以實(shí)施，但所舉實(shí)施例不作為對(duì)本發(fā)明的限定。
基于卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)的非標(biāo)準(zhǔn)字符識(shí)別方法，如圖1所示，包括如下步驟：
步驟1、采集非標(biāo)準(zhǔn)字符的圖像信號(hào)作為樣本數(shù)據(jù)，生成訓(xùn)練樣本數(shù)據(jù)集和測試數(shù)據(jù)集。
步驟1中生成訓(xùn)練樣本數(shù)據(jù)集包括如下步驟：
1)從樣本數(shù)據(jù)集中取出一批樣本(a，bc)，其中a是樣本字符的向量，b是a對(duì)應(yīng)的期望值，c是標(biāo)準(zhǔn)字符集，bc是樣本數(shù)據(jù)集中標(biāo)準(zhǔn)字符c對(duì)應(yīng)字符的期望值；
2)將a輸入卷積神經(jīng)網(wǎng)絡(luò)；
3)計(jì)算出相應(yīng)的實(shí)際輸出dc，其中，dc＝fn(…f2(f1(bc*w1)w2)…wn)，fn表示第n層的激活函數(shù)，wn表示第n層的權(quán)值，*是卷積運(yùn)算符號(hào)。
其中卷積運(yùn)算是用卷積濾波器在上層網(wǎng)絡(luò)結(jié)構(gòu)中做卷積運(yùn)算，然后進(jìn)行非線性變換，相較而言，降采樣運(yùn)算只采用最大池化法進(jìn)行總結(jié)，即最大池采樣是通過一個(gè)濾波器提取上層網(wǎng)絡(luò)結(jié)構(gòu)的特征數(shù)據(jù)，并且不經(jīng)過線性運(yùn)算，每次濾波后的最大值是數(shù)據(jù)降采樣后的一個(gè)特征值。
卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)，人工神經(jīng)元可以響應(yīng)周圍單元，可以進(jìn)行大型圖像處理，它包括卷積層、降采樣層和全連接層，其中：
卷積層：樣本輸入的尺寸統(tǒng)一為(k,l)；卷積核的尺寸為(m,n)；卷積核的步長為(o,p)；經(jīng)過卷積層得到的輸出圖像尺寸為(q,r)。則輸出尺寸的公式可表示為
降采樣層：樣本輸入的尺寸統(tǒng)一為(s,t)；濾波器窗口的尺寸為(u,v)；降采樣步長要保證濾波器能夠覆蓋整個(gè)數(shù)據(jù)矩陣而每個(gè)濾波器的窗口矩陣的數(shù)據(jù)不重疊；經(jīng)過降采樣層得到的輸出圖像尺寸為(w,x)。則得到輸出尺寸的公式為
全連接層：輸入層神經(jīng)元的數(shù)量為后一個(gè)降采樣層長和寬的乘積，輸出層神經(jīng)元的數(shù)量為識(shí)別庫總的符號(hào)數(shù)量的個(gè)數(shù)。
步驟2、建立卷積神經(jīng)網(wǎng)絡(luò)并初始化。
步驟2中初始化卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)，包括卷積核的數(shù)量、降采樣層的數(shù)量、卷積核的大小和降采樣層的降幅，同時(shí)還需要初始化卷積核的權(quán)重和偏置。
步驟3、將訓(xùn)練樣本數(shù)據(jù)集通過卷積神經(jīng)網(wǎng)絡(luò)的多層感知器完成前向傳播。
步驟3中，將訓(xùn)練樣本數(shù)據(jù)集通過并行fifo(先入先出隊(duì)列)實(shí)現(xiàn)無特征化地、均勻地輸入卷積神經(jīng)網(wǎng)絡(luò)，訓(xùn)練樣本數(shù)據(jù)分別經(jīng)過卷積層1和降采樣層1、卷積層2和降采樣層2……卷積層n和降采樣層n，通過多層感知器最終實(shí)現(xiàn)了前向傳播的過程，其中，n是卷積神經(jīng)網(wǎng)絡(luò)的第n層。
步驟4、對(duì)步驟3中的多層感知器進(jìn)行誤差計(jì)算和梯度計(jì)算，并判斷誤差是否為收斂：若收斂，則提取出特征數(shù)據(jù)并進(jìn)入步驟6(進(jìn)入支持向量機(jī))，否則，進(jìn)入步驟5(進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí))。
完成前向傳播后，訓(xùn)練樣本數(shù)據(jù)集傳到多層感知器中并計(jì)算輸出值和期望值之間的差值，按照極小化誤差的方法使結(jié)果逐步收斂，同時(shí)將誤差向量和梯度向量保存到存儲(chǔ)器中。
步驟5、將步驟4中得到的誤差和梯度用反向傳播算法，經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)逐層傳播到網(wǎng)絡(luò)底層，并且逐層更新網(wǎng)絡(luò)的權(quán)重系數(shù)，并判斷該層是否為輸入層：若是，則進(jìn)入步驟3，否則，繼續(xù)判斷下一層是否為輸入層，直至確定輸入層并進(jìn)入步驟3。
步驟5中，將步驟4中得到的誤差和梯度用反向傳播算法，反向經(jīng)過降采樣層n和卷積層n……降采樣層2和卷積層2、降采樣層1和卷積層1，逐層傳播到網(wǎng)絡(luò)底層，，并且逐層更新網(wǎng)絡(luò)的權(quán)重系數(shù)。
其中，反向傳播算法具體包括如下步驟：
1)對(duì)樣本數(shù)據(jù)集批量前向傳播，計(jì)算出卷積神經(jīng)網(wǎng)絡(luò)中所有的激活值；
2)針對(duì)每一層的節(jié)點(diǎn)，對(duì)該節(jié)點(diǎn)從后向前進(jìn)行求導(dǎo)，計(jì)算權(quán)值的偏導(dǎo)數(shù)，并更新權(quán)值的具體參數(shù)；
3)重復(fù)上述步驟1)和2)對(duì)神經(jīng)網(wǎng)絡(luò)各參數(shù)進(jìn)行迭代計(jì)算，使代價(jià)函數(shù)收斂并得到一個(gè)最小值，以此求解得到卷積神經(jīng)網(wǎng)絡(luò)的模型。
如果本層是卷積層，他的誤差是從后一層的降采樣層傳播過來的，誤差傳播事實(shí)上是采用降采樣的反向過程，即降采樣層的誤差復(fù)制為降采樣濾波器窗口的長和寬的乘積的倍數(shù)。卷積層的輸入是首先經(jīng)過sigmoid函數(shù)預(yù)處理的，因此從降采樣層擴(kuò)充來的誤差要經(jīng)過sigmoid函數(shù)來求導(dǎo)處理。如果本層是降采樣層，其誤差是從后一層的卷積層傳播過來的，誤差傳播實(shí)際是卷積的反向過程，也就是如果已知上一層卷積誤差敏感值，通過離散卷積函數(shù)實(shí)現(xiàn)將卷積核旋轉(zhuǎn)180度后對(duì)卷積層的誤差進(jìn)行卷積。
步驟6、將通過卷積神經(jīng)網(wǎng)絡(luò)模型經(jīng)訓(xùn)練提取的特征數(shù)據(jù)傳輸?shù)街С窒蛄繖C(jī)中進(jìn)行訓(xùn)練，建立非標(biāo)準(zhǔn)字符識(shí)別訓(xùn)練模型。卷積神經(jīng)網(wǎng)絡(luò)的誤差收斂了即標(biāo)志著卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)束了，同時(shí)將提取的特征向量傳入到支持向量機(jī)中，得到訓(xùn)練模型。
將卷積神經(jīng)網(wǎng)絡(luò)模型經(jīng)訓(xùn)練提取的特征數(shù)據(jù)傳輸?shù)街С窒蛄繖C(jī)中在進(jìn)行訓(xùn)練，當(dāng)誤差反向傳播到輸入層時(shí)，若極小化誤差函數(shù)收斂，則反向傳播算法停止，然后把之前提取到的特征向量傳輸?shù)街С窒蛄繖C(jī)模型中。步驟6中，用網(wǎng)格搜索的優(yōu)化方案對(duì)支持向量機(jī)的參數(shù)進(jìn)行優(yōu)化，優(yōu)化支持向量機(jī)的懲罰參數(shù)和徑向基核函數(shù)的高斯核參數(shù)，并以此來得到對(duì)于非標(biāo)準(zhǔn)字符而言的最優(yōu)的支持向量機(jī)模型。
步驟7、將待識(shí)別的非標(biāo)準(zhǔn)字符信號(hào)輸入到非標(biāo)準(zhǔn)字符識(shí)別訓(xùn)練模型進(jìn)行識(shí)別，獲得識(shí)別結(jié)論。即將一組待識(shí)別的非標(biāo)準(zhǔn)字符信號(hào)輸入到卷積神經(jīng)網(wǎng)絡(luò)的輸入端，就可以得到待識(shí)別信號(hào)的特征數(shù)據(jù)，再將其輸入到訓(xùn)練好的支持向量機(jī)，就可以得到準(zhǔn)確的識(shí)別結(jié)果了。
支持向量機(jī)識(shí)別算法需要選擇不同的核函數(shù)，且識(shí)別模型庫較大實(shí)用性不廣，而卷積神經(jīng)網(wǎng)絡(luò)識(shí)別算法雖然不需要提取特征值，但是整體識(shí)別效率偏低。由于卷積神經(jīng)網(wǎng)絡(luò)能夠提取到表征能力較強(qiáng)的特征，同時(shí)支持向量機(jī)在輸入特征較強(qiáng)勢能夠形成比較好的決策結(jié)果，該方法通過將現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)模型和支持向量機(jī)模型進(jìn)行一定的調(diào)整并通過適當(dāng)算法進(jìn)行有機(jī)結(jié)合。這種通過將結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)的字符識(shí)別模型能夠較為真實(shí)地描述出樣本數(shù)據(jù)和期望數(shù)據(jù)的相關(guān)性，并能從原始的樣本數(shù)據(jù)中自動(dòng)地學(xué)習(xí)圖像特征，使得該方法具有很強(qiáng)的可視性，同時(shí)大大地提高了對(duì)于各類字符，特別是數(shù)字模式和英文字母模式分類的區(qū)別能力相較于一般識(shí)別方式有了很大的提高。
由于卷積神經(jīng)網(wǎng)絡(luò)采用的權(quán)重共享方案確保了非標(biāo)準(zhǔn)字符輸入數(shù)字圖像特征的高保真性，采用降采樣的方案又消除了圖像采集時(shí)的冗余特征，以此作為前端保證了訓(xùn)練樣本數(shù)據(jù)集傳到卷積神經(jīng)網(wǎng)絡(luò)連接層時(shí)的輸出不僅保留了圖像信號(hào)的拓?fù)浣Y(jié)構(gòu)，更提取到了擁有較強(qiáng)表征能力的特征。最后，將全連接層的輸出接口和支持向量機(jī)的輸入接口通過互聯(lián)耦合電路相連接，提高了識(shí)別精度和兼容性。
以上僅為本發(fā)明的優(yōu)選實(shí)施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或者等效流程變換，或者直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。