一種用于實時圖像識別的神經(jīng)元網(wǎng)絡(luò)芯片實現(xiàn)方法
【專利摘要】本發(fā)明公開一種用于實時圖像識別的神經(jīng)元網(wǎng)絡(luò)芯片實現(xiàn)方法,屬于圖像識別芯片技術(shù)領(lǐng)域；根據(jù)實際需要方便快速完成神經(jīng)網(wǎng)絡(luò)模型選擇和配置；基于FPGA實現(xiàn)通用神經(jīng)網(wǎng)絡(luò)芯片，后期根據(jù)編譯平臺提供的FPGA重構(gòu)數(shù)據(jù)完成芯片中神經(jīng)網(wǎng)絡(luò)的生成，硬件平臺可以方便快速的完成多種神經(jīng)網(wǎng)絡(luò)的實現(xiàn)，該方法可以大幅度提高用于實時圖像識別的神經(jīng)網(wǎng)絡(luò)芯片的開發(fā)效率，使芯片設(shè)計具有可拓展性好、可靈活修改等特點，大幅降低芯片開發(fā)難度，提高項目推進速度。
【專利說明】
一種用于實時圖像識別的神經(jīng)元網(wǎng)絡(luò)芯片實現(xiàn)方法
技術(shù)領(lǐng)域
[0001]本發(fā)明公開一種神經(jīng)元網(wǎng)絡(luò)芯片實現(xiàn)方法，屬于圖像識別芯片技術(shù)領(lǐng)域，具體地說是一種用于實時圖像識別的神經(jīng)元網(wǎng)絡(luò)芯片實現(xiàn)方法。
【背景技術(shù)】
[0002]目前，由于現(xiàn)場圖像實時處理的需要，機器視覺技術(shù)越來越多地借助硬件來完成，如DSP芯片、專用圖像信號處理卡等。但是，DSP做圖像處理也面臨著由于數(shù)據(jù)存儲與處理量大，導(dǎo)致處理速度較慢，系統(tǒng)實時性較差的情況時有發(fā)生，而且原始圖像識別算法的模式不能識別圖片中有部分變化的識別目標(biāo)，通用性較差，識別成功度較低，使用范圍受限制，不能完成圖片翻譯、物體識別、人臉模糊識別等功能。
[0003]本發(fā)明提供一種用于實時圖像識別的神經(jīng)元網(wǎng)絡(luò)芯片實現(xiàn)方法，該方法設(shè)計實現(xiàn)的實時圖像識別芯片系統(tǒng)用于實時視頻圖像處理、人臉識別和圖像物體識別等領(lǐng)域?；贔PGA，根據(jù)編譯平臺提供的FPGA重構(gòu)數(shù)據(jù)完成芯片中神經(jīng)網(wǎng)絡(luò)的生成，硬件平臺可以方便快速的完成多種神經(jīng)網(wǎng)絡(luò)的實現(xiàn)，利用本發(fā)明方法可以大幅度提高實時圖像識別的神經(jīng)網(wǎng)絡(luò)芯片的開發(fā)效率。
[0004]其中卷積神經(jīng)網(wǎng)絡(luò)(Convolut1nal Neural Network,CNN)是一種前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元，對于大型圖像處理有出色表現(xiàn)。

【發(fā)明內(nèi)容】

[0005]本發(fā)明針對現(xiàn)有技術(shù)中實時圖像處理系統(tǒng)的資源需求大、實時性較差的問題，提供一種用于實時圖像識別的神經(jīng)元網(wǎng)絡(luò)芯片實現(xiàn)方法，可以大幅度提高實時圖像識別的神經(jīng)網(wǎng)絡(luò)芯片的開發(fā)效率。
[0006]本發(fā)明提出的具體方案是:
一種用于實時圖像識別的神經(jīng)元網(wǎng)絡(luò)芯片實現(xiàn)方法:
設(shè)置自動化編譯平臺，用于圖像識別的卷積神經(jīng)網(wǎng)絡(luò)形成神經(jīng)網(wǎng)絡(luò)模型庫，
根據(jù)應(yīng)用需求使用自動化編譯平臺完成神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，并提取神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和信息，利用信息形成重構(gòu)FPGA的控制數(shù)據(jù)，
構(gòu)建FPGA實現(xiàn):根據(jù)接收的編譯平臺的控制數(shù)據(jù)，完成FPGA內(nèi)部各運算單元的連接和快速配置，完成控制信號和數(shù)據(jù)信號通路的連通，使運算數(shù)據(jù)快速輸入各運算單元，
神經(jīng)元網(wǎng)絡(luò)芯片的生成:根據(jù)需要配置的神經(jīng)網(wǎng)絡(luò)，使用需要識別的圖像進行訓(xùn)練，訓(xùn)練完成后使用編譯平臺，得到FPGA重構(gòu)數(shù)據(jù)，將FPGA實現(xiàn)下載到芯片中，生成通用神經(jīng)網(wǎng)絡(luò)芯片，并將重構(gòu)數(shù)據(jù)輸入FPGA芯片。
[0007]所述構(gòu)建FPGA實現(xiàn)，其中FPGA包括控制模塊、數(shù)據(jù)傳輸模塊、運算模塊，
控制模塊用于根據(jù)接收的編譯平臺控制數(shù)據(jù)，完成FPGA內(nèi)部各運算單元的連接，
數(shù)據(jù)傳輸模塊用于FPGA內(nèi)部各運算單元的快速配置，完成控制信號和數(shù)據(jù)信號通路的連通，使運算數(shù)據(jù)快速輸入各運算單元， 運算模塊構(gòu)成神經(jīng)元節(jié)點，各個運算模塊連接形成神經(jīng)網(wǎng)絡(luò)。
[0008]所述控制模塊包括FPGA內(nèi)的軟核CPU，存儲模塊，F(xiàn)PGA內(nèi)部互聯(lián)總線控制單元。
[0009]所述數(shù)據(jù)傳輸模塊包括DMA模塊和多路選擇器網(wǎng)絡(luò)，DMA模塊完成芯片內(nèi)各運算單元的多路選擇器網(wǎng)絡(luò)的快速配置，完成控制信號和數(shù)據(jù)信號通路的連通，DMA模塊與多路選擇器網(wǎng)絡(luò)配合將運算數(shù)據(jù)輸入各運算單元。
[0010]所述運算模塊包括累加運算單元、乘運算單元、求余運算單元、歸一化運算單元，各運算單元通過可配置互聯(lián)線進行連接，不同的連接對應(yīng)輸入數(shù)據(jù)的不同處理流程。
[0011]所述神經(jīng)網(wǎng)絡(luò)信息主要包括:神經(jīng)網(wǎng)絡(luò)層數(shù)，每層神經(jīng)元節(jié)點數(shù)目，每個神經(jīng)元節(jié)點的運算類型和權(quán)重。
[0012]控制數(shù)據(jù)結(jié)構(gòu)主要包括:目的DMA PORT地址，連通運算單元對地址，運算單元運算類型，運算單元權(quán)重。
[0013]本發(fā)明的有益之處是:
本方法針對現(xiàn)有實時圖像處理系統(tǒng)的資源需求大、實時性較差的特點，提出了一種用于實時圖像識別的神經(jīng)元網(wǎng)絡(luò)芯片實現(xiàn)方法。該方法根據(jù)實際需要方便快速完成神經(jīng)網(wǎng)絡(luò)模型選擇和配置;基于FPGA實現(xiàn)通用神經(jīng)網(wǎng)絡(luò)芯片，后期根據(jù)編譯平臺提供的FPGA重構(gòu)數(shù)據(jù)完成芯片中神經(jīng)網(wǎng)絡(luò)的生成，硬件平臺可以方便快速的完成多種神經(jīng)網(wǎng)絡(luò)的實現(xiàn)，該方法可以大幅度提高用于實時圖像識別的神經(jīng)網(wǎng)絡(luò)芯片的開發(fā)效率，使芯片設(shè)計具有可拓展性好、可靈活修改等特點，大幅降低芯片開發(fā)難度，提高項目推進速度。
【附圖說明】
[0014]圖1本發(fā)明方法框架流程示意圖；
圖2本發(fā)明神經(jīng)元芯片的硬件實現(xiàn)示意圖。
【具體實施方式】
[0015]—種用于實時圖像識別的神經(jīng)元網(wǎng)絡(luò)芯片實現(xiàn)方法:
設(shè)置自動化編譯平臺，用于圖像識別的卷積神經(jīng)網(wǎng)絡(luò)形成神經(jīng)網(wǎng)絡(luò)模型庫，
根據(jù)應(yīng)用需求使用自動化編譯平臺完成神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，并提取神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和信息，利用信息形成重構(gòu)FPGA的控制數(shù)據(jù)，
構(gòu)建FPGA實現(xiàn):根據(jù)接收的編譯平臺的控制數(shù)據(jù)，完成FPGA內(nèi)部各運算單元的連接和快速配置，完成控制信號和數(shù)據(jù)信號通路的連通，使運算數(shù)據(jù)快速輸入各運算單元，
神經(jīng)元網(wǎng)絡(luò)芯片的生成:根據(jù)需要配置的神經(jīng)網(wǎng)絡(luò)，使用需要識別的圖像進行訓(xùn)練，訓(xùn)練完成后使用編譯平臺，得到FPGA重構(gòu)數(shù)據(jù)，將FPGA實現(xiàn)下載到芯片中，生成通用神經(jīng)網(wǎng)絡(luò)芯片，并將重構(gòu)數(shù)據(jù)輸入FPGA芯片。
[0016]根據(jù)上述方法，結(jié)合附圖對本發(fā)明做進一步說明。
[00?7]利用本發(fā)明方法，其中使用python腳本語言調(diào)用numpy，設(shè)置自動化編譯平臺，用于圖像識別的卷積神經(jīng)網(wǎng)絡(luò)形成可配置神經(jīng)網(wǎng)絡(luò)規(guī)模、輸入輸出節(jié)點數(shù)的神經(jīng)網(wǎng)絡(luò)模型庫，或者同時，也可以編寫多種深度學(xué)習(xí)算法的函數(shù)庫，使用戶可以根據(jù)實際需要自行完成特定的神經(jīng)網(wǎng)絡(luò)模型；
根據(jù)應(yīng)用需求使用自動化編譯平臺完成神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，并提取神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和信息，利用信息形成重構(gòu)FPGA的控制數(shù)據(jù)，其中信息主要包括:神經(jīng)網(wǎng)絡(luò)層數(shù)，每層神經(jīng)元節(jié)點數(shù)目，每個神經(jīng)元節(jié)點的運算類型和權(quán)重;控制數(shù)據(jù)結(jié)構(gòu)主要包括:目的DMA PORT地址，連通運算單元對地址，運算單元運算類型，運算單元權(quán)重；
構(gòu)建FPGA實現(xiàn)，其中FPGA包括控制模塊、數(shù)據(jù)傳輸模塊、運算模塊，
控制模塊包括FPGA內(nèi)的軟核CPU，存儲模塊，F(xiàn)PGA內(nèi)部互聯(lián)總線控制單元，用于根據(jù)接收的編譯平臺控制數(shù)據(jù)，完成FPGA內(nèi)部各運算單元的連接，
數(shù)據(jù)傳輸模塊包括DMA模塊和多路選擇器網(wǎng)絡(luò)，DMA模塊和多路選擇器網(wǎng)絡(luò)通過互聯(lián)線連接，DMA模塊完成芯片內(nèi)各運算單元的多路選擇器網(wǎng)絡(luò)的快速配置，完成控制信號和數(shù)據(jù)信號通路的連通，DMA模塊與多路選擇器網(wǎng)絡(luò)配合將運算數(shù)據(jù)輸入各運算單元；
運算模塊構(gòu)成神經(jīng)元節(jié)點，各個運算模塊連接形成神經(jīng)網(wǎng)絡(luò)，運算模塊包括累加運算單元、乘運算單元、求余運算單元、歸一化運算單元，各運算單元通過可配置互聯(lián)線進行連接，不同的連接對應(yīng)輸入數(shù)據(jù)的不同處理流程；
神經(jīng)元網(wǎng)絡(luò)芯片的生成:根據(jù)需要配置的神經(jīng)網(wǎng)絡(luò)，使用需要識別的圖像進行訓(xùn)練，訓(xùn)練完成后使用編譯平臺，得到FPGA重構(gòu)數(shù)據(jù)，將FPGA實現(xiàn)下載到芯片中，生成通用神經(jīng)網(wǎng)絡(luò)芯片，并可使用網(wǎng)口等通訊接口將重構(gòu)數(shù)據(jù)輸入FPGA芯片，在硬件中實現(xiàn)訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)，神經(jīng)元網(wǎng)絡(luò)芯片得以硬件實現(xiàn)。
【主權(quán)項】
1.一種用于實時圖像識別的神經(jīng)元網(wǎng)絡(luò)芯片實現(xiàn)方法，其特征是 設(shè)置自動化編譯平臺，用于圖像識別的卷積神經(jīng)網(wǎng)絡(luò)形成神經(jīng)網(wǎng)絡(luò)模型庫， 根據(jù)應(yīng)用需求使用自動化編譯平臺完成神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，并提取神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和信息，利用信息形成重構(gòu)FPGA的控制數(shù)據(jù)， 構(gòu)建FPGA實現(xiàn):根據(jù)接收的編譯平臺的控制數(shù)據(jù)，完成FPGA內(nèi)部各運算單元的連接和快速配置，完成控制信號和數(shù)據(jù)信號通路的連通，使運算數(shù)據(jù)快速輸入各運算單元， 神經(jīng)元網(wǎng)絡(luò)芯片的生成:根據(jù)需要配置的神經(jīng)網(wǎng)絡(luò)，使用需要識別的圖像進行訓(xùn)練，訓(xùn)練完成后使用編譯平臺，得到FPGA重構(gòu)數(shù)據(jù)，將FPGA實現(xiàn)下載到芯片中，生成通用神經(jīng)網(wǎng)絡(luò)芯片，并將重構(gòu)數(shù)據(jù)輸入FPGA芯片。2.根據(jù)權(quán)利要求1所述的方法，其特征是所述構(gòu)建FPGA實現(xiàn)，其中FPGA包括控制模塊、數(shù)據(jù)傳輸模塊、運算模塊， 控制模塊用于根據(jù)接收的編譯平臺控制數(shù)據(jù)，完成FPGA內(nèi)部各運算單元的連接， 數(shù)據(jù)傳輸模塊用于FPGA內(nèi)部各運算單元的快速配置，完成控制信號和數(shù)據(jù)信號通路的連通，使運算數(shù)據(jù)快速輸入各運算單元， 運算模塊構(gòu)成神經(jīng)元節(jié)點，各個運算模塊連接形成神經(jīng)網(wǎng)絡(luò)。3.根據(jù)權(quán)利要求2所述的方法，其特征是所述控制模塊包括FPGA內(nèi)的軟核CPU，存儲模塊，F(xiàn)PGA內(nèi)部互聯(lián)總線控制單元。4.根據(jù)權(quán)利要求2或3所述的方法，其特征是所述數(shù)據(jù)傳輸模塊包括DMA模塊和多路選擇器網(wǎng)絡(luò)，DMA模塊完成芯片內(nèi)各運算單元的多路選擇器網(wǎng)絡(luò)的快速配置，完成控制信號和數(shù)據(jù)信號通路的連通，DMA模塊與多路選擇器網(wǎng)絡(luò)配合將運算數(shù)據(jù)輸入各運算單元。5.根據(jù)權(quán)利要求4所述的方法，其特征是所述運算模塊包括累加運算單元、乘運算單元、求余運算單元、歸一化運算單元，各運算單元通過可配置互聯(lián)線進行連接，不同的連接對應(yīng)輸入數(shù)據(jù)的不同處理流程。6.根據(jù)權(quán)利要求1-3或5任一項所述的方法，其特征是所述神經(jīng)網(wǎng)絡(luò)信息主要包括:神經(jīng)網(wǎng)絡(luò)層數(shù)，每層神經(jīng)元節(jié)點數(shù)目，每個神經(jīng)元節(jié)點的運算類型和權(quán)重。7.根據(jù)權(quán)利要求1-3或5任一項所述的方法，其特征是控制數(shù)據(jù)結(jié)構(gòu)主要包括:目的DMAPORT地址，連通運算單元對地址，運算單元運算類型，運算單元權(quán)重。
【文檔編號】G06N3/06GK105956660SQ201610320676
【公開日】2016年9月21日
【申請日】2016年5月16日
【發(fā)明人】趙鑫鑫, 姜凱, 李朋
【申請人】浪潮集團有限公司