基于多線(xiàn)程互斥的神經(jīng)網(wǎng)絡(luò)模型的樣本訓(xùn)練方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)模型的樣本訓(xùn)練方法，特別涉及一種基于多線(xiàn)程互斥的神經(jīng)網(wǎng)絡(luò)模型的樣本訓(xùn)練方法。
【背景技術(shù)】
[0002]卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程異常的耗時(shí)，整個(gè)訓(xùn)練時(shí)段完全處于一種被動(dòng)的等待狀態(tài)，算法的改進(jìn)和實(shí)驗(yàn)結(jié)果的時(shí)間成本具有不可比擬性。訓(xùn)練結(jié)果的運(yùn)算周期往往在幾天到幾周甚至數(shù)月之久，而小樣本數(shù)量的訓(xùn)練測(cè)試結(jié)果又不具備泛化性和說(shuō)服力，即使使用小樣本數(shù)量的訓(xùn)練樣本投入訓(xùn)練過(guò)程，在花費(fèi)較短時(shí)間訓(xùn)練得到分類(lèi)器，可測(cè)試結(jié)果往往不盡人意。這時(shí)我們迫切的需要一種解決加快訓(xùn)練和減少計(jì)算時(shí)間問(wèn)題的方法。
[0003]卷積神經(jīng)網(wǎng)絡(luò)是最近廣泛應(yīng)用于模式識(shí)別和計(jì)算機(jī)視覺(jué)等領(lǐng)域的一種算法模型，其中分類(lèi)器的設(shè)計(jì)往往需要大量的樣本訓(xùn)練和高性能服務(wù)器的運(yùn)算環(huán)節(jié)上，對(duì)于一個(gè)可靠和穩(wěn)定的分類(lèi)器的訓(xùn)練來(lái)說(shuō):大量樣本數(shù)據(jù)，高性能計(jì)算體系和長(zhǎng)久的時(shí)間成本，這三者成為課題繼續(xù)推進(jìn)和發(fā)展的瓶頸，必須有針對(duì)性的改進(jìn)訓(xùn)練的計(jì)算過(guò)程用于減少時(shí)間運(yùn)行的損耗。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是為了解決目前的神經(jīng)網(wǎng)絡(luò)模型在樣本訓(xùn)練過(guò)程中訓(xùn)練耗時(shí)長(zhǎng)的問(wèn)題。
[0005]為達(dá)到上述目的，本發(fā)明提供一種基于多線(xiàn)程互斥的神經(jīng)網(wǎng)絡(luò)模型的樣本訓(xùn)練方法，包括:確定一定數(shù)量的樣本集合作為訓(xùn)練的基準(zhǔn)數(shù)據(jù)集合，對(duì)訓(xùn)練權(quán)值進(jìn)行適度的扭曲，設(shè)置訓(xùn)練的初始學(xué)習(xí)率和最終學(xué)習(xí)率；
[0006]以初始學(xué)習(xí)率為基礎(chǔ)，使用二階反向傳播學(xué)習(xí)算法對(duì)樣本集合進(jìn)行訓(xùn)練，當(dāng)學(xué)習(xí)率達(dá)到最終學(xué)習(xí)率時(shí)，結(jié)束訓(xùn)練；
[0007]其特征在于，訓(xùn)練時(shí)，同一進(jìn)程中運(yùn)行多個(gè)線(xiàn)程，多線(xiàn)程之間共享數(shù)據(jù)時(shí)，判斷共享數(shù)據(jù)是否為需要加鎖的數(shù)據(jù)，若是，則鎖定和釋放同步對(duì)象采用即用即釋放資源的共享權(quán)值訪(fǎng)問(wèn)方法。
[0008]具體地，判斷共享數(shù)據(jù)是否為需要加鎖的數(shù)據(jù)的方法如下:對(duì)于同一共享數(shù)據(jù)，若存在不同線(xiàn)程對(duì)其既需要讀取又需要寫(xiě)入的情況時(shí)，該共享數(shù)據(jù)位需要加鎖的數(shù)據(jù)。
[0009]具體地，當(dāng)某一線(xiàn)程試圖鎖定互斥體保護(hù)的神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)的共享權(quán)值時(shí)，將等待直到網(wǎng)絡(luò)可以獲取鎖，獲得鎖之后，線(xiàn)程向前傳播模式運(yùn)作并計(jì)算存儲(chǔ)網(wǎng)絡(luò)中的所有神經(jīng)元的輸出值，互斥體的鎖被釋放。
[0010]較佳地，在加鎖后多線(xiàn)程程序中產(chǎn)生鎖競(jìng)爭(zhēng)問(wèn)題，本發(fā)明采用如下方法解決加鎖后的鎖競(jìng)爭(zhēng)問(wèn)題:通過(guò)資源復(fù)制的方法讓每個(gè)線(xiàn)程都擁有一份該資源的副本從而避免資源共享或使用讀寫(xiě)鎖來(lái)減少鎖競(jìng)爭(zhēng)。
[0011 ] 具體地，所述初始學(xué)習(xí)率為0.001，最終學(xué)習(xí)率為0.00005。
[0012]具體地，對(duì)訓(xùn)練權(quán)值進(jìn)行扭曲的方法包括縮放因子，反轉(zhuǎn)和彈性形變。
[0013]本發(fā)明的有益效果是:本專(zhuān)利兼顧性能和總體訓(xùn)練耗時(shí)等方面原因，對(duì)算法的提升做實(shí)驗(yàn)數(shù)據(jù)的比對(duì)，證明多線(xiàn)程互斥原理在程序?qū)嵤┓矫婢哂袠O優(yōu)的性能體現(xiàn)。通過(guò)本發(fā)明的方法，神經(jīng)網(wǎng)絡(luò)模型的樣本訓(xùn)練時(shí)間大大縮短，提高了整個(gè)訓(xùn)練的效率。
【具體實(shí)施方式】
[0014]以下對(duì)本發(fā)明的基于多線(xiàn)程互斥的神經(jīng)網(wǎng)絡(luò)模型的樣本訓(xùn)練方法的流程及其原理進(jìn)行詳細(xì)說(shuō)明。
[0015]本發(fā)明為解決目前的神經(jīng)網(wǎng)絡(luò)模型在樣本訓(xùn)練過(guò)程中訓(xùn)練耗時(shí)長(zhǎng)的問(wèn)題，提供一種基于多線(xiàn)程互斥的神經(jīng)網(wǎng)絡(luò)模型的樣本訓(xùn)練方法，包括:確定一定數(shù)量的樣本集合作為訓(xùn)練的基準(zhǔn)數(shù)據(jù)集合，對(duì)訓(xùn)練權(quán)值進(jìn)行適度的扭曲，設(shè)置訓(xùn)練的初始學(xué)習(xí)率和最終學(xué)習(xí)率；
[0016]以初始學(xué)習(xí)率為基礎(chǔ)，使用二階反向傳播學(xué)習(xí)算法對(duì)樣本集合進(jìn)行訓(xùn)練，當(dāng)學(xué)習(xí)率達(dá)到最終學(xué)習(xí)率時(shí)，結(jié)束訓(xùn)練；
[0017]訓(xùn)練時(shí)，同一進(jìn)程中運(yùn)行多個(gè)線(xiàn)程，多線(xiàn)程之間共享數(shù)據(jù)時(shí)，判斷共享數(shù)據(jù)是否為需要加鎖的數(shù)據(jù)，若是，則鎖定和釋放同步對(duì)象采用即用即釋放資源的共享權(quán)值訪(fǎng)問(wèn)方法。
[0018]以下對(duì)本發(fā)明的方法的原理進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。
[0019]本發(fā)明涉及一種關(guān)于多線(xiàn)程互斥原理在卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)實(shí)現(xiàn)方面的優(yōu)化方法，其中主要包括如何設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練形式和實(shí)驗(yàn)過(guò)程等優(yōu)化運(yùn)行。最終通過(guò)軟件實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練模型，并使用訓(xùn)練分類(lèi)器的用時(shí)和實(shí)際測(cè)試數(shù)據(jù)等具體運(yùn)行參數(shù)上說(shuō)明本發(fā)明所闡述的方法取得優(yōu)良運(yùn)行結(jié)果，進(jìn)而表明算法對(duì)實(shí)驗(yàn)運(yùn)行時(shí)間方面很大程度上可以節(jié)約開(kāi)銷(xiāo)。
[0020]首先本發(fā)明提出如何在多線(xiàn)程操作方面使用多個(gè)線(xiàn)程對(duì)共享數(shù)據(jù)的訪(fǎng)問(wèn)，而神經(jīng)網(wǎng)絡(luò)層級(jí)和神經(jīng)元彼此間數(shù)據(jù)的傳遞往往存在很多對(duì)共享數(shù)據(jù)的訪(fǎng)問(wèn)和修改。假設(shè)有線(xiàn)程A和線(xiàn)程B，它們需要訪(fǎng)問(wèn)同一權(quán)值共享區(qū)域讀取某個(gè)權(quán)值，線(xiàn)程A寫(xiě)(或者是更新)線(xiàn)程B讀。一般情況下我們是希望線(xiàn)程A寫(xiě)操作完成后再進(jìn)行讀操作或者線(xiàn)程B讀操作完成后我們?cè)龠M(jìn)行寫(xiě)操作。但是在多線(xiàn)程中，可能由于線(xiàn)程A分配的時(shí)間片用完了或者其他原因?qū)е戮€(xiàn)程A的寫(xiě)操作還沒(méi)完成就調(diào)用線(xiàn)程B來(lái)對(duì)這塊共享權(quán)值進(jìn)行更新操作，也有可能在線(xiàn)程B的讀操作還沒(méi)完成就調(diào)用線(xiàn)程A來(lái)對(duì)這塊共享權(quán)值進(jìn)行更新操作，這些情況都有可能導(dǎo)致錯(cuò)誤而使整體收斂速度變緩。本發(fā)明在設(shè)計(jì)之初把線(xiàn)程需要訪(fǎng)問(wèn)的共享權(quán)值表示可以上鎖的對(duì)象，而同步對(duì)象當(dāng)成是鎖的唯一鑰匙，重點(diǎn)在于闡述一把鑰匙開(kāi)一把鎖既一次只允許一次線(xiàn)程訪(fǎng)問(wèn)。在并發(fā)的環(huán)境里，加鎖可以保護(hù)共享的數(shù)據(jù)，但是加鎖也會(huì)存在一些問(wèn)題:其中最主要的問(wèn)題是由于臨界區(qū)無(wú)法并發(fā)運(yùn)行，進(jìn)入臨界區(qū)就需要等待，加鎖帶來(lái)效率的降低，這就意味著時(shí)間成本的增加。
[0021]本發(fā)明提出并行計(jì)算中加鎖機(jī)制，由于大多數(shù)并發(fā)是不需要加鎖的，所以本專(zhuān)利這里重點(diǎn)講述在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程時(shí)如何在處于同一個(gè)進(jìn)程中運(yùn)行多個(gè)線(xiàn)程，而且各自處理相互獨(dú)立的事務(wù)過(guò)程對(duì)加鎖解鎖方面的介紹。在神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)間計(jì)算和傳播權(quán)重值的情況下，各個(gè)并發(fā)實(shí)體之間如果沒(méi)有共享數(shù)據(jù)，并發(fā)運(yùn)行也就不需