W隨著施加電信號進行改變的特性，可W根據(jù)不同的憶阻器件不同種類，設計特 定的脈沖調制電路180進行調制。本實施例中所述憶阻器件18的電阻狀態(tài)通過脈沖進行 調制，脈沖調制方法包括：脈沖幅度調制、脈沖寬度調制、脈沖數(shù)量調制等。需要指出的是， 所述憶阻器件18的調制方式并不僅限于本實施例提供的脈沖調制方式。
[0022] 請參見圖5,本發(fā)明進一步提供一種包含所述基于憶阻器件的深度神經網(wǎng)絡系統(tǒng) 10的信息處理系統(tǒng)100,該信息處理系統(tǒng)100包括：所述深度神經網(wǎng)絡系統(tǒng)10、一輸入信息 接口 20、一輸出信息接口 30、一輸出結果比對模塊40、一計算模塊50W及一驅動電路60。
[0023] 所述深度神經網(wǎng)絡系統(tǒng)10的輸入端連接所述輸入信息接口 20,輸出端連接所述 輸出信息接口 30。所述深度神經網(wǎng)絡系統(tǒng)10進行深度神經網(wǎng)絡運算，并將運算結果作為輸 出結果發(fā)送至所述輸入信息接口 20。
[0024] 所述輸入信息接口 20與所述深度神經網(wǎng)絡系統(tǒng)10相連，用于將外界信息輸入模 式轉換為所述深度神經網(wǎng)絡系統(tǒng)10所需的信號。
[00巧]所述輸出信息接口 30分別連接所述深度神經網(wǎng)絡系統(tǒng)10與輸出結果比對模塊 40,用于將所述深度神經網(wǎng)絡系統(tǒng)10產生的輸出信號轉換并發(fā)送給所述輸出結果比對模 塊40。
[0026] 所述輸出結果比對模塊40分別連接所述輸出信息接口30與所述計算模塊50,所 述輸出結果比對模塊40將當前深度神經網(wǎng)絡系統(tǒng)10的輸出結果與理想結果進行比對，并 將比對結果發(fā)送之所述計算模塊50。
[0027] 所述計算模塊50分別連接所述輸出結果比對模塊40與所述驅動電路60,所述計 算模塊50接受所述輸出結果比對模塊40發(fā)送的誤差信號，根據(jù)設定的神經網(wǎng)絡訓練算法 計算網(wǎng)絡連接權重調整量，并將該網(wǎng)絡連接權重調整量發(fā)送至驅動電路60。
[0028] 所述驅動電路60接收所述計算模塊50發(fā)送的網(wǎng)絡連接權重調整量，并根據(jù)該網(wǎng) 絡連接權重調整量控制所述憶阻器件的電阻值。所述驅動電路60進一步包括脈沖發(fā)生器 61與讀寫電路62。所述脈沖發(fā)生器61產生用于調制所述憶阻器件的突觸調制電信號，所 述讀寫電路62完成對基于憶阻器件的神經網(wǎng)絡連接權重的讀寫操作。
[0029] 所述信息處理系統(tǒng)100的處理流程為：外界信息輸入模式經由所述輸入信息接口 20轉換為基于憶阻器件的深度神經網(wǎng)絡10所需信號輸入到所述信息處理系統(tǒng)100。經過 所述深度神經網(wǎng)絡系統(tǒng)10處理后，產生的輸出信號經由所述輸出信息接口 30轉換后發(fā)送 至所述輸出結果比對模塊40。所述輸出結果比對模塊40將當前深度神經網(wǎng)絡系統(tǒng)10的 輸出結果與理想結果進行比較后，產生誤差信號發(fā)送至所述計算模塊50。所述計算模塊50 根據(jù)設定的神經網(wǎng)絡訓練算法計算網(wǎng)絡連接權重調整量并將該網(wǎng)絡連接權重調整量發(fā)送 至驅動電路60。所述驅動電路60接收所述網(wǎng)絡連接權重調整量，根據(jù)該網(wǎng)絡連接權重調整 量對憶阻器件進行調制。經過將設定的訓練算法在信息樣本庫中反復訓練，基于憶阻器件 的突觸權重最終收斂于理想的狀態(tài)。當新樣本輸入時，按照上述流程進行信息處理，便可輸 出理想的結果。
[0030] 與現(xiàn)有技術相比，本發(fā)明提供的基于憶阻器件的深度神經網(wǎng)絡系統(tǒng)首次將憶阻器 件用于深度神經網(wǎng)絡，通過采用新型的憶阻器件，使得整個系統(tǒng)的速度、密度和能耗都將比 如今的計算機深度學習系統(tǒng)有很大提高，有望實現(xiàn)對大腦規(guī)模神經網(wǎng)絡的實時與低能耗模 擬。
[0031] 另外，本領域技術人員還可在本發(fā)明精神內做其他變化，當然，運些依據(jù)本發(fā)明精 神所做的變化，都應包含在本發(fā)明所要求保護的范圍之內。
【主權項】
1. 一種基于憶阻器件的深度神經網(wǎng)絡系統(tǒng)，包括：輸入層、輸出層以及多個隱含層；所 述輸入層接收外部信息輸入模式，并將該輸入模式送入所述多個隱含層，所述多個隱含層 對來自輸入層的輸入模式進行逐層計算轉換，并將計算結果發(fā)送至所述輸出層，所述輸出 層接收所述隱含層的計算結果，并將其作為輸出結果對外輸出，相鄰兩層的神經元節(jié)點通 過突觸權重網(wǎng)絡連接；其特征在于，所述深度神經網(wǎng)絡系統(tǒng)的突觸權重采用憶阻器件模擬， 所述憶阻器件的電阻隨著施加電信號進行改變。2. 如權利要求1所述的基于憶阻器件的深度神經網(wǎng)絡系統(tǒng)，其特征在于，所述深度神 經網(wǎng)絡為信息流的邏輯層數(shù)大于3層的神經網(wǎng)絡。3. 如權利要求1所述的基于憶阻器件的深度神經網(wǎng)絡系統(tǒng)，其特征在于，所述憶阻器 件為兩端憶阻器件、三端憶阻器。4. 如權利要求1所述的基于憶阻器件的深度神經網(wǎng)絡系統(tǒng)，其特征在于，所述憶阻器 件一端連接前端突觸輸入信號，另一端連接運算放大器的反向輸入端，所述神經網(wǎng)絡系統(tǒng) 的計算過程為Yi=f(E!^XiRfGkJbi)，其中，Xi為第i個神經元節(jié)點的前端突觸輸入信號， Gkl為第i個神經元節(jié)點的第k個輸入突觸權重，Rf為第i個神經元節(jié)點上的運放反饋電阻。5. 如權利要求1所述的基于憶阻器件的深度神經網(wǎng)絡系統(tǒng)，其特征在于，所述憶阻器 件模擬的突觸權重通過電壓或電流脈沖進行調制。6. 如權利要求5所述的基于憶阻器件的深度神經網(wǎng)絡系統(tǒng)，其特征在于，所述憶阻器 件模擬的突觸權重通過脈沖幅度調制、脈沖寬度調制或脈沖數(shù)量調制。7. -種信息處理系統(tǒng)，其特征在于，包括：如權利要求1至5所述的基于憶阻器件的深 度神經網(wǎng)絡系統(tǒng)、計算模塊、驅動電路、輸出結果比對模塊、輸入信息接口以及輸出信息接 P; 所述輸入信息接口用于將外界信息輸入模式轉換為所述深度神經網(wǎng)絡系統(tǒng)所需的信 號； 所述深度神經網(wǎng)絡系統(tǒng)的輸入端連接所述輸入信息接口，輸出端連接所述輸出信息接 口，所述深度神經網(wǎng)絡系統(tǒng)用于進行深度神經網(wǎng)絡運算，并將運算結果作為輸出結果發(fā)送 至所述輸入信息接口； 所述輸出信息接口分別連接所述深度神經網(wǎng)絡系統(tǒng)與所述輸出結果比對模塊，用于將 所述深度神經網(wǎng)絡系統(tǒng)產生的輸出信號轉換并發(fā)送給所述輸出結果比對模塊； 所述輸出結果比對模塊分別連接所述輸出信息接口與所述計算模塊，所述輸出結果比 對模塊將當前深度神經網(wǎng)絡系統(tǒng)的輸出結果與理想結果進行比對，并將比對結果發(fā)送之所 述計算模塊； 所述計算模塊分別連接所述輸出結果比對模塊與所述驅動電路，所述計算模塊接受所 述輸出結果比對模塊發(fā)送的誤差信號，根據(jù)設定的神經網(wǎng)絡訓練算法計算網(wǎng)絡連接權重調 整量并發(fā)送至驅動電路； 所述驅動電路接收所述計算模塊發(fā)送的網(wǎng)絡連接權重調整量，并根據(jù)該網(wǎng)絡連接權重 調整量控制所述憶阻器件的電阻值。8. 如權利要求7所述的信息處理系統(tǒng)，其特征在于，所述驅動電路進一步包括脈沖發(fā) 生器與讀寫電路，所述脈沖發(fā)生器產生用于調制所述憶阻器件的突觸調制電信號，所述讀 寫電路完成對基于憶阻器件的神經網(wǎng)絡連接權重的讀寫操作。
【專利摘要】本發(fā)明提供一種基于憶阻器件的深度神經網(wǎng)絡系統(tǒng)，包括輸入層、輸出層以及多個隱含層。所述輸入層接收外部信息輸入模式，該外部信息輸入模式經過逐層計算轉換，最終由輸出層產生外部輸出結果。所述深度神經網(wǎng)絡的突觸權重采用憶阻器件模擬，利用憶阻器件的電阻隨著施加電信號進行改變的特性模擬神經網(wǎng)絡間連接突觸連接強弱的行為。本發(fā)明進一步提供一種包含基于憶阻器件的深度神經網(wǎng)絡系統(tǒng)的信息處理系統(tǒng)。
【IPC分類】G06N3/04
【公開號】CN105224986
【申請?zhí)枴緾N201510634702
【發(fā)明人】李國齊, 鄧磊, 施路平, 裴京
【申請人】清華大學
【公開日】2016年1月6日
【申請日】2015年9月29日