本發(fā)明屬于脈沖神經(jīng)網(wǎng)絡(luò)技術(shù)，具體涉及一種基于stdp非監(jiān)督學(xué)習(xí)算法的硬件友好型脈沖神經(jīng)網(wǎng)絡(luò)模型。

背景技術(shù)：

在生物大腦中，數(shù)以億計(jì)的神經(jīng)元通過(guò)突觸相互連接進(jìn)行信息傳遞，從而操控個(gè)體進(jìn)行各種復(fù)雜而又縝密的生物活動(dòng)，這種神經(jīng)系統(tǒng)一直被人們研究模仿，人工神經(jīng)網(wǎng)絡(luò)也一直在世界范圍內(nèi)被人關(guān)注。近些年來(lái)，脈沖神經(jīng)網(wǎng)絡(luò)作為第三代人工神經(jīng)網(wǎng)絡(luò)，由于其在模式識(shí)別、圖像處理、計(jì)算機(jī)視覺(jué)等方面展現(xiàn)出來(lái)的驚人的生物相似性和強(qiáng)大的計(jì)算能力，越來(lái)越被人們廣泛研究。目前為止，許多學(xué)者集中研究了各種各樣的脈沖神經(jīng)網(wǎng)絡(luò)模型以及學(xué)習(xí)機(jī)制，這些計(jì)算模型也在圖像分類、決策及預(yù)測(cè)方面取得不錯(cuò)的效果。但是，目前的工作大都集中在計(jì)算機(jī)軟件平臺(tái)，一方面由于前人的工作總結(jié)使得軟件平臺(tái)關(guān)于脈沖神經(jīng)網(wǎng)絡(luò)的計(jì)算模型比較成熟，另一方面軟件平臺(tái)從學(xué)習(xí)算法到整個(gè)神經(jīng)網(wǎng)絡(luò)系統(tǒng)的開(kāi)發(fā)難度與硬件平臺(tái)相比簡(jiǎn)單不少，但是軟件平臺(tái)串行執(zhí)行的特點(diǎn)從根本上不符合生物大腦神經(jīng)元并行處理的特點(diǎn)，而且模擬時(shí)間長(zhǎng)，拓展性差等問(wèn)題也比較突出。

人們普遍認(rèn)為神經(jīng)元以脈沖序列形式進(jìn)行信息傳播，stdp學(xué)習(xí)機(jī)制由hebbian規(guī)則的發(fā)展而來(lái)，被認(rèn)為是大腦學(xué)習(xí)與信息存儲(chǔ)的重要機(jī)制，屬于一種非監(jiān)督的學(xué)習(xí)機(jī)制。stdp通過(guò)調(diào)節(jié)前后突觸的脈沖時(shí)間差來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)平衡，這樣極大的保證了神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性；不依賴梯度下降算法，這樣在硬件平臺(tái)的實(shí)現(xiàn)操作上又降低了難度。

現(xiàn)場(chǎng)可編程門陣列(fpga)是在專用集成電路(asic)的基礎(chǔ)上發(fā)展出來(lái)的一種半定制邏輯器件，它具有集成度高，體積小，高速并行計(jì)算，可重復(fù)編程，低功耗等特點(diǎn)，因此被廣泛應(yīng)用于數(shù)字電路設(shè)計(jì)中。近年來(lái)，由于其并行處理的特點(diǎn)符合神經(jīng)系統(tǒng)的計(jì)算機(jī)制，加上脈沖序列和數(shù)字系統(tǒng)的契合，使得fpga也越來(lái)越受到脈沖神經(jīng)網(wǎng)絡(luò)領(lǐng)域的青睞。

技術(shù)實(shí)現(xiàn)要素：

為了解決現(xiàn)有技術(shù)的不足之處和局限性，本發(fā)明提供了一種基于stdp非監(jiān)督學(xué)習(xí)算法的硬件友好型脈沖神經(jīng)網(wǎng)絡(luò)模型。

本發(fā)明所采用的技術(shù)方案是：一種基于stdp非監(jiān)督學(xué)習(xí)算法的硬件友好型脈沖神經(jīng)網(wǎng)絡(luò)模型，其特征在于：所述脈沖神經(jīng)網(wǎng)絡(luò)模型是一種多突觸延時(shí)的前向反饋神經(jīng)網(wǎng)絡(luò)模型，每層神經(jīng)元分別通過(guò)若干條突觸與其它層神經(jīng)元互連，而每層內(nèi)部神經(jīng)元相互獨(dú)立。

本發(fā)明實(shí)現(xiàn)了硬件平臺(tái)關(guān)于脈沖神經(jīng)網(wǎng)絡(luò)模型的設(shè)計(jì)，采用了一種基于神經(jīng)元前后脈沖時(shí)間差的stdp非監(jiān)督學(xué)習(xí)算法對(duì)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，使網(wǎng)絡(luò)在精準(zhǔn)時(shí)間開(kāi)火。一方面，stdp非監(jiān)督學(xué)習(xí)算法使得網(wǎng)絡(luò)的簡(jiǎn)潔性和穩(wěn)定性有了極大提高，對(duì)于生物相似性的模仿有了進(jìn)一步的發(fā)展；另一方面，該算法十分適合于fpga平臺(tái)的開(kāi)發(fā)設(shè)計(jì)，對(duì)比軟件平臺(tái)的各種脈沖神經(jīng)網(wǎng)絡(luò)模型，其優(yōu)勢(shì)在于，由于fpga并行計(jì)算的特點(diǎn)十分契合脈沖神經(jīng)網(wǎng)絡(luò)并行聯(lián)接結(jié)構(gòu)，在保證高速計(jì)算的情況下具有很高的可復(fù)制性與拓展性，對(duì)于超大規(guī)模的脈沖神經(jīng)網(wǎng)絡(luò)的研究具有非凡意義。

附圖說(shuō)明

圖1本發(fā)明實(shí)施例的脈沖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖；

圖2發(fā)明實(shí)施例的脈沖編碼及stdp非監(jiān)督學(xué)習(xí)算法特性曲線示意圖；

圖3發(fā)明實(shí)施例的stdp非監(jiān)督學(xué)習(xí)算法訓(xùn)練流程圖；

圖4發(fā)明實(shí)施例的基于stdp非監(jiān)督學(xué)習(xí)算法的脈沖神經(jīng)網(wǎng)絡(luò)硬件電路圖。

具體實(shí)施方式

為了便于本領(lǐng)域普通技術(shù)人員理解和實(shí)施本發(fā)明，下面結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)描述，應(yīng)當(dāng)理解，此處所描述的實(shí)施示例僅用于說(shuō)明和解釋本發(fā)明，并不用于限定本發(fā)明。

參見(jiàn)圖1，本發(fā)明提供的一種基于stdp非監(jiān)督學(xué)習(xí)算法的硬件友好型脈沖神經(jīng)網(wǎng)絡(luò)模型，是一種多突觸延時(shí)的前向反饋神經(jīng)網(wǎng)絡(luò)，每層神經(jīng)元分別通過(guò)若干條突觸與其它層神經(jīng)元互連，而每層內(nèi)部神經(jīng)元相互獨(dú)立。神經(jīng)元采用的是脈沖響應(yīng)模型srm，外界輸入信號(hào)將引起細(xì)胞膜電位的變化，當(dāng)膜電勢(shì)超過(guò)閾值，神經(jīng)元將會(huì)發(fā)放脈沖，然后進(jìn)入耐火期，并且不對(duì)任何外界刺激做出反應(yīng)；相反則不會(huì)發(fā)放脈沖。

該脈沖神經(jīng)網(wǎng)絡(luò)模型是基于數(shù)字硬件電路平臺(tái)進(jìn)行設(shè)計(jì)，采用硬件描述語(yǔ)言進(jìn)行編寫的模型。

參見(jiàn)圖2，輸入到脈沖神經(jīng)網(wǎng)絡(luò)的圖像信息，每個(gè)像素點(diǎn)都按照規(guī)律的時(shí)鐘頻率進(jìn)行脈沖編碼，每個(gè)脈沖信號(hào)帶有時(shí)間信息編碼，每層神經(jīng)元都會(huì)分別接收和發(fā)放帶有精準(zhǔn)時(shí)間信息的脈沖信號(hào)，因此，前后脈沖時(shí)間差是該脈沖神經(jīng)網(wǎng)絡(luò)的主要特征，也是stdp非監(jiān)督學(xué)習(xí)算法的重要參數(shù)。

參見(jiàn)圖3，利用stdp非監(jiān)督學(xué)習(xí)算法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。stdp非監(jiān)督學(xué)習(xí)算法不依賴突觸連接的實(shí)時(shí)誤差數(shù)據(jù)和教師信號(hào)，僅僅根據(jù)前后脈沖發(fā)放時(shí)間差即可實(shí)現(xiàn)訓(xùn)練過(guò)程，避免了梯度下降算法的復(fù)雜性無(wú)疑為硬件設(shè)計(jì)降低了難度。所有輸出神經(jīng)元能夠在準(zhǔn)確的時(shí)間開(kāi)火，即完成整個(gè)脈沖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程，產(chǎn)生鎖定信號(hào)。整個(gè)網(wǎng)絡(luò)訓(xùn)練過(guò)程屬于無(wú)監(jiān)督的學(xué)習(xí)行為。

輸入層神經(jīng)元只參與圖像信息編碼，向下一層神經(jīng)元發(fā)放脈沖，并不參與計(jì)算；其它層神經(jīng)元在接收到輸入信號(hào)，細(xì)胞膜電位將會(huì)發(fā)生變化，其大小由后突觸興奮強(qiáng)度和權(quán)值大小共同決定，srm神經(jīng)元數(shù)學(xué)模型為：

其中，uj(t)表示后神經(jīng)元j的細(xì)胞膜電勢(shì)，n表示連接到后神經(jīng)元j的輸入脈沖數(shù)，wij是前神經(jīng)元i和后神經(jīng)元j的連接突觸，fpsp(t)是輸入脈沖所引起的后突觸電位興奮強(qiáng)度，和分別為前后神經(jīng)元發(fā)放的脈沖序列。當(dāng)后神經(jīng)元j發(fā)放脈沖之后將進(jìn)入耐火期，膜電勢(shì)由η(t)表示。

參見(jiàn)圖4，硬件平臺(tái)的神經(jīng)元結(jié)構(gòu)主要由加法器、乘法器、memory、fifo以及寄存器組等組成，數(shù)據(jù)格式為8位無(wú)符號(hào)整數(shù)；stdp非監(jiān)督學(xué)習(xí)算法，包括以下步驟：

步驟1：輸入圖像信息進(jìn)行脈沖編碼。對(duì)于二值圖像黑色像素點(diǎn)，輸入層神經(jīng)元根據(jù)時(shí)鐘頻率產(chǎn)生有規(guī)律的脈沖序列，二白色像素點(diǎn)則不會(huì)引起輸入層神經(jīng)元電位狀態(tài)變化。經(jīng)過(guò)編碼產(chǎn)生的脈沖信號(hào)都會(huì)帶有時(shí)間信息，通過(guò)突觸進(jìn)入到隱藏層。

步驟2：主要進(jìn)行突觸權(quán)值的讀取、更新及存儲(chǔ)，包括讀\寫使能信號(hào)端口、數(shù)據(jù)輸入\輸出端口、時(shí)鐘信號(hào)及復(fù)位信號(hào)，突觸權(quán)值存儲(chǔ)在fifo。當(dāng)神經(jīng)元沒(méi)有開(kāi)火，讀使能置位，突觸權(quán)值大小不斷被讀取出來(lái)，流向神經(jīng)元中；當(dāng)神經(jīng)元開(kāi)火，網(wǎng)絡(luò)進(jìn)入學(xué)習(xí)模式，寫使能置位，更新后的突觸權(quán)值被寫入fifo。突觸權(quán)值的更新是整個(gè)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的目的。

步驟3：神經(jīng)元模型采用了脈沖響應(yīng)模型srm，包括脈沖輸入\輸出端口、突觸權(quán)值輸入端口、配置信息輸入端口、乘法器、加法器、比較器、時(shí)鐘信號(hào)及復(fù)位信號(hào)。輸入脈沖引起的后突觸電位興奮強(qiáng)度存儲(chǔ)在一塊memory中，輸入脈沖所編碼的時(shí)間信息作為讀取地址。根據(jù)神經(jīng)元數(shù)學(xué)模型，突觸權(quán)值和后突觸電位興奮將會(huì)送入到乘法器，然后經(jīng)過(guò)加法器、移位寄存器計(jì)算出細(xì)胞膜電勢(shì)與閾值θ比較。一旦超過(guò)了閾值θ，神經(jīng)元會(huì)發(fā)放脈沖，進(jìn)入到耐火期。

步驟4：stdp非監(jiān)督學(xué)習(xí)算法對(duì)本脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練的主要作用即更新突觸權(quán)值；在神經(jīng)元耐火期，網(wǎng)絡(luò)將進(jìn)行基于stdp非監(jiān)督學(xué)習(xí)算法的學(xué)習(xí)以更新突觸權(quán)值，包括突觸權(quán)值輸入\輸出端口、使能信號(hào)、時(shí)間信息輸入端口、時(shí)鐘信號(hào)及復(fù)位信號(hào)。更新的突觸權(quán)值δw預(yù)先存儲(chǔ)在一塊memory中，前后脈沖時(shí)間δt差作為地址讀取數(shù)據(jù)，然后與原突觸權(quán)值相加即完成了一次網(wǎng)絡(luò)訓(xùn)練。根據(jù)前后脈沖時(shí)間差的特點(diǎn)對(duì)突觸權(quán)值訓(xùn)練，輸出數(shù)據(jù)流向突觸，是本發(fā)明的關(guān)鍵技術(shù)。

步驟5：輸出層神經(jīng)元的分類結(jié)果未達(dá)到預(yù)期，重復(fù)步驟1-步驟4，直至其能夠?qū)崿F(xiàn)精時(shí)間開(kāi)火，網(wǎng)絡(luò)訓(xùn)練結(jié)束。

本發(fā)明完全依賴數(shù)字硬件電路平臺(tái)進(jìn)行脈沖神經(jīng)網(wǎng)絡(luò)的模型設(shè)計(jì)，并且創(chuàng)新性的將stdp非監(jiān)督學(xué)習(xí)算法用于該脈沖神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)訓(xùn)練中，能夠?qū)崿F(xiàn)特定功能。該硬件平臺(tái)脈沖神經(jīng)網(wǎng)絡(luò)模型具有較高的穩(wěn)定性，能夠在占用較少硬件資源的條件下?lián)碛休^快的速度，加上網(wǎng)絡(luò)結(jié)構(gòu)并行連接的特點(diǎn)，其拓展性也大大提高，對(duì)于實(shí)現(xiàn)超大規(guī)模的脈沖神經(jīng)網(wǎng)絡(luò)也提供了新的思路。

本發(fā)明利用stdp非監(jiān)督學(xué)習(xí)算法很好地實(shí)現(xiàn)了脈沖神經(jīng)網(wǎng)絡(luò)在數(shù)字硬件電路平臺(tái)的設(shè)計(jì)，具有較高拓展性和較快的處理速度，同時(shí)也為脈沖神經(jīng)網(wǎng)絡(luò)與數(shù)字硬件電路平臺(tái)的結(jié)合提供了新的思路與嘗試。

應(yīng)當(dāng)理解的是，本說(shuō)明書未詳細(xì)闡述的部分均屬于現(xiàn)有技術(shù)。

應(yīng)當(dāng)理解的是，上述針對(duì)較佳實(shí)施例的描述較為詳細(xì)，并不能因此而認(rèn)為是對(duì)本發(fā)明專利保護(hù)范圍的限制，本領(lǐng)域的普通技術(shù)人員在本發(fā)明的啟示下，在不脫離本發(fā)明權(quán)利要求所保護(hù)的范圍情況下，還可以做出替換或變形，均落入本發(fā)明的保護(hù)范圍之內(nèi)，本發(fā)明的請(qǐng)求保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。