本發(fā)明屬于神經(jīng)網(wǎng)絡(luò)硬件架構(gòu)領(lǐng)域，特別涉及一種支持在線學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)的可重構(gòu)平臺。

背景技術(shù)：

卷積神經(jīng)網(wǎng)絡(luò)的硬件實現(xiàn)在人工智能領(lǐng)域中具有廣闊的發(fā)展前景。卷積神經(jīng)網(wǎng)絡(luò)作為人工神經(jīng)網(wǎng)絡(luò)的一種，采用權(quán)值共享的網(wǎng)絡(luò)結(jié)構(gòu)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量，避免了傳統(tǒng)識別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程。

卷積神經(jīng)網(wǎng)絡(luò)通常由三個部分組成，分別是卷積層、采樣層和全連接層，它們組成了一個完整的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。卷積層將計算輸入層與權(quán)重矩陣卷積，然后將該結(jié)果通過激活函數(shù)，采樣層用于對卷積后的矩陣進行抽樣降維，最后通過全連接層得到計算結(jié)果。

隨著卷積神經(jīng)網(wǎng)絡(luò)的規(guī)模越來越大，模型中的參數(shù)越來越多，數(shù)據(jù)也越來越多，這對系統(tǒng)的性能、功耗、并行度以及運算速度提出了非常高的要求。因此，高性能、低功耗、并行度高的硬件加速平臺的實現(xiàn)十分必要。目前大多數(shù)硬件加速芯片都為卷積、采樣或全連接的部分加速，且搭建起來的網(wǎng)絡(luò)只支持推理的正向計算，不能夠同時支持誤差學(xué)習(xí)的反向傳播。

本發(fā)明的目的在于一種支持在線學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)的可重構(gòu)平臺的硬件實現(xiàn)方法。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種支持在線學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)的可重構(gòu)平臺及其構(gòu)建方法，以充分利用算法的并行性和存儲的局域性，能夠?qū)崿F(xiàn)推理和誤差學(xué)習(xí)的雙向傳播，提升系統(tǒng)的整體性能。

為了實現(xiàn)上述的目的，本方案采用了如下的技術(shù)方案：

一種支持在線學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)的可重構(gòu)平臺，包括輸入卷積池化級和全連接級；輸入卷積池化級包括若干卷積環(huán)和若干采樣環(huán)；全連接級包括若干全連接環(huán)；卷積環(huán)由若干卷積神經(jīng)元連接成環(huán)；采樣環(huán)由若干采樣神經(jīng)元連接成環(huán)；全連接環(huán)由若干全連接神經(jīng)元連接成環(huán)；將每層神經(jīng)元的環(huán)狀結(jié)構(gòu)通過路由相連組成完整的網(wǎng)絡(luò)，構(gòu)成一種支持在線學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)的可重構(gòu)平臺。

進一步的，初始卷積層位于最上，最后一層全連接層位于最下。

進一步的，層內(nèi)和層間的數(shù)據(jù)傳輸采用路由器實現(xiàn)。

進一步的，正向計算需要的數(shù)據(jù)通過環(huán)狀路由順時針(或逆時針)傳遞到每一個神經(jīng)元，網(wǎng)絡(luò)反向計算需要的誤差數(shù)據(jù)通過環(huán)狀路由逆時針(或順時針)傳遞到每一個神經(jīng)元；層間的數(shù)據(jù)，從輸入到輸出方向傳遞網(wǎng)絡(luò)的推理計算結(jié)果，從輸出向輸入方向傳遞學(xué)習(xí)計算的誤差。

一種支持在線學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)的可重構(gòu)平臺的構(gòu)建方法，包括以下步驟：

步驟一、根據(jù)網(wǎng)絡(luò)卷積層特征圖的數(shù)量生成卷積神經(jīng)元，每層卷積神經(jīng)元連接成環(huán)；

步驟二、根據(jù)網(wǎng)絡(luò)采樣層特征圖數(shù)量生成采樣神經(jīng)元，每層采樣神經(jīng)元連接成環(huán)；

步驟三、根據(jù)網(wǎng)絡(luò)全連接神經(jīng)元的數(shù)量生成全連接神經(jīng)元，每層全連接神經(jīng)元連接成環(huán)；

步驟四、將每層神經(jīng)元的環(huán)狀結(jié)構(gòu)通過路由相連組成完整的網(wǎng)絡(luò)，構(gòu)成一種支持在線學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)的可重構(gòu)平臺。

進一步的，步驟一中，根據(jù)卷積層中的卷積窗的大小r*r，生成相對應(yīng)的卷積神經(jīng)元，卷積神經(jīng)元中的最小計算單元規(guī)模為r*n*c，r對應(yīng)于卷積窗的大小，n為卷積計算中的并行度，c為卷積層輸入通道數(shù)；根據(jù)卷積層輸出特征圖的數(shù)量，一個特征層對應(yīng)于一個卷積神經(jīng)元，再將多個卷積神經(jīng)元組成一個分組，一個卷積神經(jīng)元分組連接一個路由器；同一卷積層中卷積神經(jīng)元分組經(jīng)過路由器相連，形成卷積環(huán)。

進一步的，步驟二中，根據(jù)每一個采樣神經(jīng)元連接的卷積神經(jīng)元個數(shù)m，設(shè)計采樣神經(jīng)元的計算核大小i*m，即i*m個最小計算單元，i為采樣計算的并行度，最小計算單元執(zhí)行降采樣計算；一個采樣神經(jīng)元連接一個路由器，同一采樣層中的采樣神經(jīng)元經(jīng)過路由器相連，形成采樣環(huán)。

進一步的，步驟三中，根據(jù)全連接神經(jīng)元的輸出個數(shù)，設(shè)計全連接神經(jīng)元的計算核大小s*f，s為全連接層的計算并行度，f為全連接神經(jīng)元的輸出個數(shù)；一個全連接神經(jīng)元連接一個路由器，同一全連接層中的全連接神經(jīng)元經(jīng)過路由器相連，形成全連接環(huán)。

進一步的，步驟四中，按照卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)，第一層卷積層位于最上方，最后一層全連接層位于最下方，將生成的卷積環(huán)、采樣環(huán)、全連接環(huán)的路由器上下相連，形成適用于在線學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)的可重構(gòu)平臺；層內(nèi)的數(shù)據(jù)通過環(huán)狀路由傳遞；層間的數(shù)據(jù)，通過上下層相連的路由器傳遞。

相對于現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果：本發(fā)明公開一種支持在線學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)的可重構(gòu)平臺及其構(gòu)建方法，首先根據(jù)實際應(yīng)用的卷積層、采樣層、全連接層的規(guī)模生成卷積、采樣、全連接神經(jīng)元，同一層間的神經(jīng)元經(jīng)過路由器首尾相連，生成卷積環(huán)、采樣環(huán)、全連接環(huán)，環(huán)上順時針(或逆時針)鏈路傳遞特征值，逆時針(或順時針)鏈路傳遞反向計算誤差，環(huán)與環(huán)之間通過路由器節(jié)點相連接，從輸入到輸出方向傳遞網(wǎng)絡(luò)的推理計算結(jié)果，從輸出向輸入方向傳遞學(xué)習(xí)計算的誤差。本發(fā)明設(shè)計了一種實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的整體架構(gòu)，并且可支持網(wǎng)絡(luò)在線學(xué)習(xí)，本發(fā)明充分發(fā)掘卷積神經(jīng)網(wǎng)絡(luò)的算法并行度和存儲局域性，與可利用的硬件資源相互配合，提升計算系統(tǒng)的整體性能。

附圖說明

圖1為本發(fā)明整體流程框圖；

圖2為本發(fā)明整體結(jié)構(gòu)示意圖。

具體實施方式

下面結(jié)合附圖對本發(fā)明進行進一步的詳細說明，

請參閱圖1及圖2所示，本發(fā)明一種支持在線學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)的可重構(gòu)平臺，包括輸入卷積池化級和全連接級；輸入卷積池化級包括若干卷積環(huán)和若干采樣環(huán)；全連接級包括若干全連接環(huán)；卷積環(huán)由若干卷積神經(jīng)元連接成環(huán)；采樣環(huán)由若干采樣神經(jīng)元連接成環(huán)；全連接環(huán)由若干全連接神經(jīng)元連接成環(huán)；將每層神經(jīng)元的環(huán)狀結(jié)構(gòu)通過路由相連組成完整的網(wǎng)絡(luò)，構(gòu)成一種支持在線學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)的可重構(gòu)平臺。

請參閱圖1所示，本發(fā)明一種支持在線學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)的可重構(gòu)平臺的構(gòu)建方法，包括以下步驟：

步驟一、根據(jù)網(wǎng)絡(luò)卷積層特征圖的數(shù)量生成卷積神經(jīng)元，每層卷積神經(jīng)元連接成環(huán)；

步驟二、根據(jù)網(wǎng)絡(luò)采樣層特征圖數(shù)量生成采樣神經(jīng)元，每層采樣神經(jīng)元連接成環(huán)；

步驟三、根據(jù)網(wǎng)絡(luò)全連接神經(jīng)元的數(shù)量生成全連接神經(jīng)元，每層全連接神經(jīng)元連接成環(huán)；

步驟四、將每層神經(jīng)元的環(huán)狀結(jié)構(gòu)通過路由相連組成完整的網(wǎng)絡(luò)，構(gòu)成一種支持在線學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)的可重構(gòu)平臺。

步驟一、根據(jù)網(wǎng)絡(luò)卷積層特征圖的數(shù)量生成卷積神經(jīng)元，每層卷積神經(jīng)元連接成環(huán)，形成卷積環(huán)：

根據(jù)卷積層中卷積窗的大小r*r，生成相對應(yīng)的卷積神經(jīng)元，其對應(yīng)的硬件結(jié)構(gòu)規(guī)模為r*n*c，r對應(yīng)于卷積窗的大小，c為卷積層的通道數(shù)，n為所設(shè)計的卷積計算的并行度，即同時計算出的特征值的個數(shù)，r*n*c個mac對應(yīng)生成n個卷積窗得到的特征值；一個特征層對應(yīng)于一個卷積神經(jīng)元，若卷積層輸出k個特征層，則生成k個卷積神經(jīng)元。卷積元的分組考慮計算負載平衡，以2的整數(shù)次冪構(gòu)造分組，分組中神經(jīng)元的數(shù)目一般小于等于16。一個卷積神經(jīng)元分組連于一個路由器。同一卷積層中卷積神經(jīng)元分組經(jīng)過路由器相連，形成卷積環(huán)。

步驟二、根據(jù)網(wǎng)絡(luò)采樣層特征圖數(shù)量生成采樣神經(jīng)元，每層采樣神經(jīng)元連接成環(huán)，形成采樣環(huán)：

一個采樣神經(jīng)元的路由器連接一個卷積分組的路由器。根據(jù)卷積分組的卷積神經(jīng)元個數(shù)m，設(shè)計采樣神經(jīng)元的計算部分為i*m個最小計算單元，i為采樣神經(jīng)元計算并行度，最小計算單元則根據(jù)采樣方式，平均值或最大值進行選擇。一個采樣神經(jīng)元連接一個路由器，同一采樣層中的采樣神經(jīng)元經(jīng)過路由器相連，形成采樣環(huán)。

步驟三、根據(jù)網(wǎng)絡(luò)全連接神經(jīng)元數(shù)量生成全連接神經(jīng)元，每層全連接神經(jīng)元連接成環(huán)，形成全連接環(huán)：

根據(jù)全連接神經(jīng)元的輸出個數(shù)，根據(jù)考慮整體網(wǎng)絡(luò)設(shè)計的全連接層計算并行度，全連接神經(jīng)元的計算核大小s*f，s為所設(shè)計的全連接層的計算并行度，f為全連接神經(jīng)元的輸出個數(shù)。一個全連接神經(jīng)元連接一個路由器，同一全連接層中的全連接神經(jīng)元經(jīng)過路由器相連，形成全連接環(huán)。

步驟四、將每層神經(jīng)元的環(huán)狀結(jié)構(gòu)通過路由相連組成完整的網(wǎng)絡(luò)。

按照卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)，初始卷積層位于整體拓撲結(jié)構(gòu)最上，最后一層全連接層位于整體拓撲結(jié)構(gòu)最下，將生成的卷積環(huán)、采樣環(huán)、全連接環(huán)的路由器上下相連，形成一種支持在線學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)。網(wǎng)絡(luò)正向計算需要的數(shù)據(jù)通過環(huán)狀路由順時針(或逆時針)傳遞到每一個神經(jīng)元，網(wǎng)絡(luò)反向計算需要的誤差數(shù)據(jù)通過環(huán)狀路由逆時針(或順時針)傳遞到每一個神經(jīng)元。層間的數(shù)據(jù)，從上向下傳遞正向網(wǎng)絡(luò)的計算結(jié)果，從下向上傳遞反向計算的誤差。