基于憶阻器件的深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)。
【背景技術(shù)】 W02] 2006年，加拿大多倫多大學(xué)教授GeofTrey化nton在《科學(xué)》上發(fā)表論文 "ReducingtheDimensionalityofDatawith化ural化tworks"，從此掀起了W深度神 經(jīng)網(wǎng)絡(luò)為主的人工神經(jīng)網(wǎng)絡(luò)研究新浪潮。深度神經(jīng)網(wǎng)絡(luò)值eep化ural化tworks，DNN)有 別于傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，主要借鑒生物神經(jīng)網(wǎng)絡(luò)具有多層拓?fù)浣Y(jié)構(gòu)的特征，人為構(gòu)建具 有多個(gè)隱含層的人工神經(jīng)網(wǎng)絡(luò)。由于結(jié)合了 "逐層預(yù)訓(xùn)練"運(yùn)種貪婪無監(jiān)督算法和全局調(diào) 整算法，運(yùn)種多層神經(jīng)網(wǎng)絡(luò)相對(duì)容易收斂。與淺層神經(jīng)網(wǎng)絡(luò)模型相比，深度神經(jīng)網(wǎng)絡(luò)具有突 出的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征能夠?qū)?shù)據(jù)進(jìn)行更本質(zhì)的表達(dá)，從而更有利于后端分 類和識(shí)別處理。因此，深度神經(jīng)網(wǎng)絡(luò)使得計(jì)算機(jī)在圖像、視頻、語音等信息處理應(yīng)用方面的 性能得到了極大地提高。雖然深度神經(jīng)網(wǎng)絡(luò)在性能上具有明顯的優(yōu)勢(shì)，但在實(shí)際應(yīng)中依然 較難推廣。主要原因在于現(xiàn)有的人工神經(jīng)網(wǎng)絡(luò)研究基本是在計(jì)算機(jī)軟件中仿真實(shí)現(xiàn)的，其 軟件模型雖然是分布式和并行的，但其硬件執(zhí)行依然束縛于馮?諾依曼計(jì)算范式，最終實(shí)現(xiàn) 的硬件開銷、能耗和信息處理速度不容樂觀。即便是利用最先進(jìn)的大體積超級(jí)計(jì)算機(jī)，也不 能實(shí)現(xiàn)人腦規(guī)模的實(shí)時(shí)模擬與大腦計(jì)算的超低能耗。
[0003] 圖1為傳統(tǒng)基于計(jì)算機(jī)軟件的人工神經(jīng)網(wǎng)絡(luò)計(jì)算原理示意圖。前端突觸輸入信號(hào) \經(jīng)過對(duì)應(yīng)的突觸連接權(quán)重WW，完成相應(yīng)的權(quán)重乘法操作并進(jìn)入神經(jīng)元節(jié)點(diǎn)，該神經(jīng)元節(jié) 點(diǎn)完成對(duì)前端突觸輸入信號(hào)\的累加，并經(jīng)過非線性變換f(?)產(chǎn)生輸出信號(hào)Y1并發(fā)送至 后端突觸網(wǎng)絡(luò)，整個(gè)計(jì)算過程等效于Yi=f(EkXiWki+bi)。上述計(jì)算過程在傳統(tǒng)人工神經(jīng) 網(wǎng)絡(luò)中基于馮?諾依曼計(jì)算機(jī)串行范式，導(dǎo)致各種尺寸、能耗、時(shí)間等開銷巨大，很難在嵌入 式領(lǐng)域應(yīng)用。

【發(fā)明內(nèi)容】

[0004] 有鑒于此，確有必要提供一種運(yùn)算速度更快且能耗更低的深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)。 陽〇化]一種基于憶阻器件的深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)，包括：輸入層、輸出層W及多個(gè)隱含層； 所述輸入層接收外部信息輸入模式，并將該輸入模式送入所述多個(gè)隱含層，所述多個(gè)隱含 層對(duì)來自輸入層的輸入模式進(jìn)行逐層計(jì)算轉(zhuǎn)換，并將計(jì)算結(jié)果發(fā)送至所述輸出層，所述輸 出層接收所述隱含層的計(jì)算結(jié)果，并將其作為輸出結(jié)果對(duì)外輸出，相鄰兩層的神經(jīng)元節(jié)點(diǎn) 通過突觸權(quán)重網(wǎng)絡(luò)連接；所述深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)的突觸權(quán)重采用憶阻器件模擬，所述憶阻 器件的電阻隨著施加電信號(hào)進(jìn)行改變。
[0006] 一種信息處理系統(tǒng)，包括：基于憶阻器件的深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)、計(jì)算模塊、驅(qū)動(dòng)電 路、輸出結(jié)果比對(duì)模塊、輸入信息接口W及輸出信息接口；所述輸入信息接口用于將外界信 息輸入模式轉(zhuǎn)換為所述深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)所需的信號(hào)；所述深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)的輸入端連 接所述輸入信息接口，輸出端連接所述輸出信息接口，所述深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)用于進(jìn)行深 度神經(jīng)網(wǎng)絡(luò)運(yùn)算，并將運(yùn)算結(jié)果作為輸出結(jié)果發(fā)送至所述輸入信息接口；所述輸出信息接 口分別連接所述深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)與所述輸出結(jié)果比對(duì)模塊，用于將所述深度神經(jīng)網(wǎng)絡(luò)系 統(tǒng)產(chǎn)生的輸出信號(hào)轉(zhuǎn)換并發(fā)送給所述輸出結(jié)果比對(duì)模塊；所述輸出結(jié)果比對(duì)模塊分別連接 所述輸出信息接口與所述計(jì)算模塊，所述輸出結(jié)果比對(duì)模塊將當(dāng)前深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)的輸 出結(jié)果與理想結(jié)果進(jìn)行比對(duì)，并將比對(duì)結(jié)果發(fā)送之所述計(jì)算模塊；所述計(jì)算模塊分別連接 所述輸出結(jié)果比對(duì)模塊與所述驅(qū)動(dòng)電路，所述計(jì)算模塊接受所述輸出結(jié)果比對(duì)模塊發(fā)送的 誤差信號(hào)，根據(jù)設(shè)定的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法計(jì)算網(wǎng)絡(luò)連接權(quán)重調(diào)整量并發(fā)送至驅(qū)動(dòng)電路；所 述驅(qū)動(dòng)電路接收所述計(jì)算模塊發(fā)送的網(wǎng)絡(luò)連接權(quán)重調(diào)整量，并根據(jù)該網(wǎng)絡(luò)連接權(quán)重調(diào)整量 控制所述憶阻器件的電阻值。
[0007] 與現(xiàn)有技術(shù)相比，本發(fā)明提供的基于憶阻器件的深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)采用憶阻器件 實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)運(yùn)算，整個(gè)系統(tǒng)的運(yùn)算速度與密度均有很大提高，運(yùn)行能耗則大幅降低， 有望實(shí)現(xiàn)對(duì)大腦規(guī)模神經(jīng)網(wǎng)絡(luò)的實(shí)時(shí)與低能耗模擬。
【附圖說明】
[0008] 圖1為現(xiàn)有基于計(jì)算機(jī)軟件的人工神經(jīng)網(wǎng)絡(luò)計(jì)算原理示意圖。
[0009] 圖2為本發(fā)明實(shí)施例提供的基于憶阻器件的深度神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖。
[0010] 圖3為基于憶阻器件的深度神經(jīng)網(wǎng)絡(luò)計(jì)算原理示意圖。 W11] 圖4為本發(fā)明實(shí)施例中憶阻器件調(diào)制示意圖。
[0012] 圖5為本發(fā)明實(shí)施例基于憶阻器件的深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)。
[0013] 主要元件符號(hào)說明
[0014]

[0015] 如下【具體實(shí)施方式】將結(jié)合上述附圖進(jìn)一步說明本發(fā)明。
【具體實(shí)施方式】
[0016] 下面將結(jié)合附圖及具體實(shí)施例對(duì)本發(fā)明提供的基于憶阻器件的深度神經(jīng)網(wǎng)絡(luò)系 統(tǒng)作進(jìn)一步的詳細(xì)說明。
[0017] 請(qǐng)參見圖2,本發(fā)明實(shí)施例提供一種基于憶阻器件的深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)10,包括： 輸入層11、多個(gè)隱含層12W及輸出層13。所述輸入層11與所述多個(gè)隱含層12連接，所述 輸入層11接收外部信息輸入模式14,并將該輸入模式14送入所述多個(gè)隱含層12。所述多 個(gè)隱含層12分別與所述輸入層11、輸出層13連接，所述多個(gè)隱含層12對(duì)來自輸入層11的 輸入模式14進(jìn)行逐層計(jì)算轉(zhuǎn)換，并將計(jì)算結(jié)果發(fā)送至所述輸出層13。所述輸出層13接收 所述隱含層12的計(jì)算結(jié)果，并將其作為輸出結(jié)果15對(duì)外輸出。
[0018] 所述輸入層11、多個(gè)隱含層12W及輸出層13均包括多個(gè)神經(jīng)元節(jié)點(diǎn)16,各層的 神經(jīng)元節(jié)點(diǎn)個(gè)數(shù)可W根據(jù)不同的應(yīng)用情況設(shè)定。所述深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)10信息流的邏輯 層數(shù)通常大于3層，相鄰兩層神經(jīng)元節(jié)點(diǎn)之間通過突觸權(quán)重網(wǎng)絡(luò)17連接。
[0019] 所述深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)10的突觸權(quán)重由憶阻器件18實(shí)現(xiàn)。所述憶阻器件18是 一種電阻值可W隨著所施加的電信號(hào)進(jìn)行改變的可塑物理器件，憶阻器件18的運(yùn)種特性 可W模擬神經(jīng)網(wǎng)絡(luò)間連接突觸連接強(qiáng)弱的行為，即模擬神經(jīng)網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)的功能。所述 憶阻器件18的類型可W為兩端憶阻器件、=端憶阻器件或其他常見的類型。所述憶阻器件 18依靠不同的電阻值來區(qū)分不同的存儲(chǔ)狀態(tài)，其讀寫速度、器件密度、編程電壓等各項(xiàng)指標(biāo) 都可W與當(dāng)今領(lǐng)先的存儲(chǔ)技術(shù)媳美，且其掉電不丟失，屬于非易失性器件，能耗相當(dāng)?shù)汀?br>[0020] 請(qǐng)參見圖3,該圖為基于憶阻器件的神經(jīng)網(wǎng)絡(luò)系統(tǒng)計(jì)算原理示意圖。本實(shí)施例中所 述憶阻器件18的一端連接前端突觸輸入信號(hào)，另一端連接運(yùn)算放大器的反向輸入端。所述 神經(jīng)網(wǎng)絡(luò)系統(tǒng)的計(jì)算過程可描述為Yi=f(Ek-XiRfGki+bi)，其中，Xi為第i個(gè)神經(jīng)元節(jié)點(diǎn) 的前端突觸輸入信號(hào)，Gki為第i個(gè)神經(jīng)元節(jié)點(diǎn)的第k個(gè)輸入突觸權(quán)重，Rf為第i個(gè)神經(jīng)元 節(jié)點(diǎn)上的運(yùn)放反饋電阻，可W電導(dǎo)權(quán)重?zé)o量綱化，實(shí)現(xiàn)與人工神經(jīng)網(wǎng)絡(luò)無量綱權(quán)重的匹配 (運(yùn)種無量綱化的方式不僅限于本實(shí)施例提供的采用運(yùn)算放大器實(shí)現(xiàn)運(yùn)一種方法）。-RfGki 等效于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的突觸權(quán)重Wki。輸入信息乘W權(quán)重累加的過程，在憶阻器網(wǎng)絡(luò)中直接 映射實(shí)現(xiàn)，并且憶阻器具有低能耗、小尺寸和高速度的優(yōu)點(diǎn)，提供了一種異于傳統(tǒng)計(jì)算機(jī)神 經(jīng)網(wǎng)絡(luò)的新型計(jì)算范式。
[0021] 請(qǐng)參見圖4,該圖為所述深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)10中憶阻器件的調(diào)制示意圖。神經(jīng) 網(wǎng)絡(luò)計(jì)算需要根據(jù)信息輸入模式、當(dāng)前輸出結(jié)果和理想輸出結(jié)果不斷調(diào)整突觸權(quán)重進(jìn)行學(xué) 習(xí)。基于憶阻器件的神經(jīng)網(wǎng)絡(luò)系統(tǒng)采用憶阻器件18模擬突觸權(quán)重，利用所述憶阻器件18 的電阻可