本發(fā)明涉及憶阻器存內(nèi)計(jì)算和卷積神經(jīng)網(wǎng)絡(luò)硬件仿真領(lǐng)域，具體涉及一種基于憶阻器存內(nèi)計(jì)算架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)權(quán)重映射及像素級推理仿真的方法。

背景技術(shù)：

1、如今正處于集成電路發(fā)展的后摩爾時代，而大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等算法領(lǐng)域正飛速發(fā)展，逐漸呈現(xiàn)出硬件被軟件甩開差距的態(tài)勢。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)加速芯片在馮諾依曼架構(gòu)下會存在嚴(yán)重的存儲墻的問題，且隨著網(wǎng)絡(luò)規(guī)模的日益增大而越來越嚴(yán)重?；趹涀杵麝嚵械拇嫠阋惑w框架成為了突破存儲墻問題的有效手段，這種新型計(jì)算架構(gòu)可以極大地減少神經(jīng)網(wǎng)絡(luò)參數(shù)量的搬運(yùn)，從而提高芯片的推理速度。

2、目前常見的存算一體計(jì)算芯片大多只是在憶阻器陣列上部署乘加運(yùn)算，完整網(wǎng)絡(luò)推理的硬件實(shí)現(xiàn)將會存在大量的片外通信情況，嚴(yán)重的影響計(jì)算速度和效率。即便在片內(nèi)完成整個網(wǎng)絡(luò)的數(shù)據(jù)流水，大多也是服務(wù)于定制化的特定網(wǎng)絡(luò)，面臨著通用性較差的問題。如何將任意的卷積神經(jīng)網(wǎng)絡(luò)映射到一塊通用的憶阻器陣列芯片上仍然沒有一個很好的解決方式。因此，研究一種新的基于憶阻器存內(nèi)計(jì)算架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)權(quán)重映射及像素級推理仿真的方法，具有十分顯著的意義。

技術(shù)實(shí)現(xiàn)思路

1、為了解決以上現(xiàn)有技術(shù)中存在的問題，本發(fā)明首次提出了一種基于憶阻器存內(nèi)計(jì)算架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)權(quán)重映射及像素級推理仿真的方法，對于任意卷積神經(jīng)網(wǎng)絡(luò)輸入，可映射到一塊通用的憶阻器陣列芯片上，并實(shí)現(xiàn)像素級推理的網(wǎng)絡(luò)全流水仿真，為片上緩存容量設(shè)計(jì)、憶阻器陣列間特征圖流水設(shè)計(jì)等硬件實(shí)現(xiàn)提供重要依據(jù)。

2、本發(fā)明的技術(shù)方案如下：

3、一種基于憶阻器存內(nèi)計(jì)算架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)權(quán)重映射方法，其特征在于，將輸入的卷積神經(jīng)網(wǎng)絡(luò)所有權(quán)重映射為若干大小的矩形模型，并將其合理分割后存入憶阻器陣列群中，具體步驟包括：

4、1)首先讀入神經(jīng)網(wǎng)絡(luò)模型，設(shè)共有l(wèi)t層，其中，卷積層的個數(shù)為l層，全連接層等價為卷積層算入其中，有0<l≤lt；

5、2)將每個卷積層的權(quán)重參數(shù)分別抽象成一個矩形模型，單個矩形模型以矩陣mi表示，其中i為卷積層的層號，0≤i＜l，單個卷積層矩形模型的長寬，也即矩陣mi的行數(shù)hi和列數(shù)wi，表達(dá)式分別為：

6、hi＝ki2×cii

7、wi＝coi

8、其中，ki為第i個卷積層卷積核的邊長，卷積核默認(rèn)為正方形，cii為第i個卷積層輸入圖像的通道數(shù)，coi為第i個卷積層輸出圖像的通道數(shù)；單卷積層的矩形模型集合記為si＝{(hi,wi)}，si元素個數(shù)記為ni；

9、3)確定用于部署本次網(wǎng)絡(luò)的硬件構(gòu)成，包括憶阻器陣列數(shù)n，單個憶阻器陣列的行數(shù)rj和列數(shù)cj，其中j為憶阻器陣列的序號，0≤j＜n，要求憶阻器陣列的存儲容量大于等于網(wǎng)絡(luò)權(quán)重總參數(shù)量，單個憶阻器陣列的存儲容量表示為其面積為rj×cj；

10、4)將l層的卷積層權(quán)重映射到n個憶阻器陣列上；對第i層卷積層，矩形模型集合記為si＝{(hi,wi)}，si元素個數(shù)記為ni，初始化時，ni均為1，0≤i＜l；第j個憶阻器陣列，憶阻器陣列j的剩余面積初始化為rj×cj；從層號i＝0的卷積層、序號j＝0的憶阻器陣列開始卷積層權(quán)重映射操作，直到完成所有l(wèi)層的卷積層權(quán)重映射，步驟包括：

11、4-1)當(dāng)前即將放置的卷積層層號i，判斷i的大小，當(dāng)i小于l時，進(jìn)入步驟4-2)，否則，映射操作結(jié)束；

12、4-2)從當(dāng)前第i個卷積層的矩形模型集合si中取出一個矩形元素s，若當(dāng)前即將被放置的憶阻器陣列j的剩余面積能容納下s，進(jìn)入步驟4-3)，否則進(jìn)入步驟4-4)；

13、4-3)將步驟4-2)的矩形元素s緊密填入憶阻器陣列j的剩余面積中，j＝(j+1)modn；判斷si，若si為空集，即當(dāng)前第i層卷積層的矩形模型集合si已全部完成映射，則i＝i+1，若si不是空集，則i不變；重新回到步驟4-1)；

14、4-4)對半分割矩形元素s，記為s1i和s2i，并將兩者均存入集合si中，重新回到步驟4-2)；

15、5)映射操作流程結(jié)束時，記錄各層的矩形模型集合內(nèi)各元素放置的憶阻器陣列序號集合oi，0≤i＜l，各層的矩形模型集合si和各層放置的憶阻器陣列序號集合oi元素?cái)?shù)是一致的；集合oi即是得到的全卷積層的映射結(jié)果。

16、本發(fā)明還提出了一種針對所述基于憶阻器存內(nèi)計(jì)算架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)權(quán)重映射方法得到的結(jié)果，進(jìn)行像素級推理仿真的方法，其特征在于，基于全卷積層的映射結(jié)果oi，0≤i＜l，進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)像素級推理仿真，將神經(jīng)網(wǎng)絡(luò)推理劃分為若干周期，仿真出每個周期工作的憶阻器陣列序號及行列數(shù)、網(wǎng)絡(luò)層的輸出像素值、需要緩存及能釋放的像素規(guī)模，具體步驟包括：

17、s1)初始化當(dāng)前周期號k為0；

18、s2)判斷所有卷積層輸入圖像的累計(jì)像素是否已經(jīng)達(dá)到或超過當(dāng)前卷積核覆蓋的區(qū)域，若是，且卷積層并未計(jì)算完所有像素，則該卷積層在周期k滿足工作條件，若否，則該卷積層在周期k不滿足工作條件；據(jù)此統(tǒng)計(jì)出周期k滿足工作條件的所有卷積層的層號，用集合pk表示；若滿足工作條件的卷積層數(shù)為0，即則仿真流程結(jié)束，若滿足工作條件的卷積層數(shù)則進(jìn)入步驟3)；

19、s3)設(shè)周期k滿足工作條件、能夠不沖突工作的所有卷積層的層號組成的集合為qk，初始化時為空集。根據(jù)低層號優(yōu)先的原則，按照層號從小到大的順序依次從pk中取出一個元素p，判斷該層放置的陣列序號集合op與qk中所有元素放置的陣列序號集合oq的并集是否有相同元素，q∈qk，若有，則說明該層號p與保留下來的低層號至少占據(jù)了一塊相同陣列，改該層為當(dāng)前周期k不具備工作條件；若無，則將p加入集合qk中；直至pk中所有元素均已取出和判斷，最終得到周期k剩余滿足工作條件、能夠不沖突工作的所有卷積層的層號qk。

20、s4)計(jì)算出qk中所有卷積層在周期k工作的輸出的新像素值，并存入緩存，然后將卷積核窗口劃動到下一個位置；

21、s5)統(tǒng)計(jì)出qk中所有卷積層依賴的所有層號，并計(jì)算出這些依賴層允許從緩存中釋放的像素?cái)?shù)，將這些像素從緩存空間中釋放，更新周期k的緩存參數(shù)量；

22、s6)k＝k+1；進(jìn)入步驟2)。

23、本發(fā)明提出了一種基于憶阻器存內(nèi)計(jì)算架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)權(quán)重映射及像素級推理仿真的方法，對于任意卷積神經(jīng)網(wǎng)絡(luò)輸入，使用映射方法將輸入的卷積神經(jīng)網(wǎng)絡(luò)所有權(quán)重參數(shù)抽象成若干大小的矩形模型，并將其合理分割后，存入憶阻器陣列群中；使用仿真方法將神經(jīng)網(wǎng)絡(luò)推理流程劃分為若干周期，并仿真出每個周期工作的憶阻器陣列序號及行列數(shù)、網(wǎng)絡(luò)層的輸出像素值、需要緩存及允許釋放的像素規(guī)模，實(shí)現(xiàn)了像素級的網(wǎng)絡(luò)全流水仿真。本發(fā)明適用于任意卷積神經(jīng)網(wǎng)絡(luò)，為片上緩存容量設(shè)計(jì)、憶阻器陣列間特征圖流水設(shè)計(jì)等硬件實(shí)現(xiàn)提供重要依據(jù)。

技術(shù)特征：

1.一種基于憶阻器存內(nèi)計(jì)算架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)權(quán)重映射方法，其特征在于，將輸入的卷積神經(jīng)網(wǎng)絡(luò)所有權(quán)重映射為若干大小的矩形模型，并將其合理分割后存入憶阻器陣列群中，具體步驟包括：

2.一種對權(quán)利要求1所述的方法得到的結(jié)果進(jìn)行像素級推理仿真的方法，其特征在于，基于全卷積層的映射結(jié)果oi，0≤i＜l，進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)像素級推理仿真，將神經(jīng)網(wǎng)絡(luò)推理劃分為若干周期，仿真出每個周期工作的憶阻器陣列序號及行列數(shù)、網(wǎng)絡(luò)層的輸出像素值、需要緩存及能釋放的像素規(guī)模，具體步驟包括：

3.如權(quán)利要求2所述的方法，其特征在于，所述步驟5)計(jì)算每個周期各依賴層允許從緩存中釋放的像素?cái)?shù)的方法，具體步驟如下：

技術(shù)總結(jié)
本發(fā)明提供了一種基于憶阻器存內(nèi)計(jì)算架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)權(quán)重映射及像素級推理仿真的方法，對于任意卷積神經(jīng)網(wǎng)絡(luò)輸入，使用映射方法將輸入的卷積神經(jīng)網(wǎng)絡(luò)所有權(quán)重參數(shù)抽象成若干大小的矩形模型，并將其合理分割后，存入憶阻器陣列群中；使用仿真方法將神經(jīng)網(wǎng)絡(luò)推理流程劃分為若干周期，并仿真出每個周期工作的憶阻器陣列序號及行列數(shù)、網(wǎng)絡(luò)層的輸出像素值、需要緩存及允許釋放的像素規(guī)模，實(shí)現(xiàn)了像素級的網(wǎng)絡(luò)全流水仿真。本發(fā)明適用于任意卷積神經(jīng)網(wǎng)絡(luò)，為片上緩存容量設(shè)計(jì)、憶阻器陣列間特征圖流水設(shè)計(jì)等硬件實(shí)現(xiàn)提供重要依據(jù)，具有廣闊的應(yīng)用前景。

技術(shù)研發(fā)人員：楊玉超,李志遠(yuǎn),陶耀宇,朱奕航,蔡磊
受保護(hù)的技術(shù)使用者：北京大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6