用于人工神經(jīng)網(wǎng)絡(luò)的突觸器件和人工神經(jīng)網(wǎng)絡(luò)的制作方法
【專利摘要】本發(fā)明提供了一種用于人工神經(jīng)網(wǎng)絡(luò)的突觸器件，所述人工神經(jīng)網(wǎng)絡(luò)包括多個神經(jīng)元，所述多個神經(jīng)元之間通過突觸器件陣列相互連接，所述突觸器件陣列包括多個突觸器件，所述突觸器件包括：兩個、三個或更多個并聯(lián)連接的突觸單元。本發(fā)明還提供了一種包括這種突觸器件的人工神經(jīng)網(wǎng)絡(luò)。
【專利說明】用于人工神經(jīng)網(wǎng)絡(luò)的突觸器件和人工神經(jīng)網(wǎng)絡(luò)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及用于人工神經(jīng)網(wǎng)絡(luò)的突觸器件和人工神經(jīng)網(wǎng)絡(luò)。

【背景技術(shù)】
[0002] 人工神經(jīng)網(wǎng)絡(luò)是一種模仿生物神經(jīng)網(wǎng)絡(luò)的裝置，其應(yīng)用機(jī)器學(xué)習(xí)算法，可以用于 完成對各類信息如圖像、聲音的識別、分類等任務(wù)。一般而言，一個人工神經(jīng)網(wǎng)絡(luò)可以包括 多個神經(jīng)元和用于將神經(jīng)元彼此互連的突觸器件的陣列。作為示例，圖1示意性示出了神 經(jīng)元1和與之相連的兩個突觸（synapse)器件Wl和W2。分別經(jīng)由突觸器件W 1和W2與神 經(jīng)元1相連的另外兩個神經(jīng)元（未示出）對神經(jīng)元1的激勵信號用X1和X 2表示。神經(jīng)元 1例如可以用傳統(tǒng)的CMOS電路實現(xiàn)。突觸器件W1和W2例如可以由阻變器件（RRAM)實現(xiàn)。 更具體地，突觸器件W 1和W2例如可以由基于金屬氧化物的阻變器件（TMO-RRAM)實現(xiàn)。
[0003] 在人工神經(jīng)網(wǎng)絡(luò)完成某個特定任務(wù)之前，需要進(jìn)行訓(xùn)練，即通過重置（RESET)操 作改變與一個神經(jīng)元相連的突觸器件的RRAM的電阻值，使得它對某個特定類型的輸入敏 感。圖2示意性示出了對與神經(jīng)元1相連的一個突觸器件1進(jìn)行訓(xùn)練的電路示意圖。如圖 所示，重置電壓V被施加到突觸器件W i,以改變突觸器件Wi的電阻值。然而，在低功 耗工作區(qū)中，RRAM的電參數(shù)（例如電阻值）具有相當(dāng)大的漲落。即使對于處于同一狀態(tài)的 RRAM，在施加相同的重置電壓后，它們的電參數(shù)的變化也可能具有很大差異。這會影響人工 神經(jīng)網(wǎng)絡(luò)訓(xùn)練的可靠性，從而降低人工神經(jīng)網(wǎng)絡(luò)在工作時的正確率。


【發(fā)明內(nèi)容】

[0004] 為解決現(xiàn)有技術(shù)中的至少一個問題而提出本發(fā)明。
[0005] 本發(fā)明的一個方面提供了一種用于人工神經(jīng)網(wǎng)絡(luò)的突觸器件，所述人工神經(jīng)網(wǎng)絡(luò) 包括多個神經(jīng)元，所述多個神經(jīng)元之間通過突觸器件陣列相互連接，所述突觸器件陣列包 括多個突觸器件，所述突觸器件包括：兩個、三個或更多個并聯(lián)連接的突觸單元。
[0006] 可選地，每個突觸單元由阻變器件構(gòu)成。
[0007] 可選地，每個突觸單元包括串聯(lián)連接的阻變器件和整流器件。
[0008] 可選地，所述整流器件是二極管；并且/或者所述阻變器件是基于金屬氧化物的 阻變器件TMO-RRAM。
[0009] 可選地，當(dāng)整流器件是二極管時：所述二極管的參數(shù)是基于所述突觸器件的重置 電壓V確定的；或者所述突觸器件的重置電壓V是根據(jù)所述二極管的參數(shù)確定的，其中：所 述二極管的參數(shù)包括二極管的反向飽和電流I s、閾值電壓Vt和理想因子n ;并且在人工神 經(jīng)網(wǎng)絡(luò)的訓(xùn)練期間，通過在所述突觸器件上施加所述重置電壓來使得所述突觸器件對特定 類型的輸入敏感。
[0010] 可選地，所述突觸器件的重置電壓是根據(jù)該突觸器件中的二極管的平均參數(shù)值確 定的。
[0011] 可選地，該突觸器件滿足以下關(guān)系式： TlVt /1sR V + Ic^R、 _2]
[0013] 其中，y = ff(x)是乘積對數(shù)函數(shù)，即方程X = yey的解，I是流過所述二極管和與 所述二極管串聯(lián)的阻變器件的電流，R是與所述二極管串聯(lián)的阻變器件的電阻值。
[0014] 可選地，所述突觸器件的重置電壓V、所述二極管的反向飽和電流Is、閾值電壓V t 和理想因子n被確定為使得電流I與電阻值R的對數(shù)IogR成近似線性關(guān)系。
[0015] 可選地，當(dāng)電流I與電阻值R的對數(shù)IogR成近似線性關(guān)系時，電流I與電阻值R 的對數(shù)IogR的線性擬合的相關(guān)系數(shù)盡可能接近1。
[0016] 本發(fā)明的另一方面提供了一種人工神經(jīng)網(wǎng)絡(luò)，包括多個神經(jīng)元，所述多個神經(jīng)元 之間通過突觸器件陣列相互連接，所述突觸器件陣列包括多個如上所述的突觸器件。

【專利附圖】

【附圖說明】
[0017] 參考附圖并結(jié)合以下詳細(xì)說明，可以更加清楚本發(fā)明的上述和其他優(yōu)點。附圖意 在說明而非限制本發(fā)明。在附圖中，相同或相似的部件由相同或相似的附圖標(biāo)記表示。
[0018] 圖1示意性示出了人工神經(jīng)網(wǎng)絡(luò)中的一個神經(jīng)元和與之相連的兩個突觸器件；
[0019] 圖2示意性示出了對與神經(jīng)元相連的一個突觸器件進(jìn)行訓(xùn)練的電路示意圖；
[0020] 圖3示意性示出了根據(jù)本發(fā)明實施例的突觸器件及對其進(jìn)行訓(xùn)練時的電路連接 示意圖；
[0021] 圖4示意性示出了通過選擇二極管參數(shù)和重置電壓，來實現(xiàn)流過二極管的電流和 與其串聯(lián)的RRAM器件的電阻對數(shù)值之間的近似線性關(guān)系；
[0022] 圖5示意性示出了根據(jù)本發(fā)明另一實施例的突觸器件及對其進(jìn)行訓(xùn)練時的電路 連接示意圖；以及
[0023] 圖6示意性示出了包括根據(jù)本發(fā)明實施例的突觸器件的人工神經(jīng)網(wǎng)絡(luò)的系統(tǒng)仿 真結(jié)果。

【具體實施方式】
[0024] 以下參考附圖描述本發(fā)明的優(yōu)選實施方式。應(yīng)當(dāng)理解，以下實施方式是示例性而 非窮舉性的，其僅用于說明本發(fā)明的原理，而并非意在限制本發(fā)明的范圍。
[0025] 圖3示意性示出了根據(jù)本發(fā)明實施例的突觸器件W/及對其進(jìn)行訓(xùn)練時的電路連 接示意圖。該突觸器件W/的一端連接到重置電壓V，另一端連接到神經(jīng)元1。如圖3所示， 該突觸器件W/包括并聯(lián)連接的兩個突觸單元U 1和U2。突觸單元U1包括串聯(lián)連接的第一 RRAM阻變器件R 1和第一整流器件D1，突觸單元U2包括串聯(lián)連接的第二RRAM阻變器件R 2和 第二整流器件D2。該RRAM阻變器件例如可以利用基于金屬氧化物的阻變器件TMO-RRAM來 實現(xiàn)。電路中的整流器件可以由二極管實現(xiàn)。
[0026] 在該實施例中，為了抑制RRAM器件的電參數(shù)（例如電阻值）漲落對突觸器件的不 利影響，利用兩個RRAM器件共同實現(xiàn)一個突觸器件，以起到取平均的效果。
[0027] 作為圖3所示實施例的替代實施方式，可以將單個RRAM器件改成并聯(lián)的兩個RRAM 器件，而省略圖中所示的整流器件，則該并聯(lián)的兩個RRAM器件的電導(dǎo)值是這兩個RRAM器件 電導(dǎo)值的算術(shù)平均值。
[0028] 但是，由于RRAM器件阻值的變化幅度呈指數(shù)依賴關(guān)系，通過將二極管與RRAM器件 串聯(lián)來對RRAM器件的電導(dǎo)值進(jìn)行幾何平均，則可以更有效抑制單個RRAM器件的電參數(shù)漲 落的影響，極大地提高人工神經(jīng)網(wǎng)絡(luò)工作的正確率。
[0029] 通過適當(dāng)?shù)剡x擇二極管參數(shù)或重置電壓V可以實現(xiàn)良好的幾何平均效果。以突觸 單元U1為例,記二極管D 1的反向飽和電流為Is,閾值電壓為Vt,理想因子為n。當(dāng)RRAM器 件R 1的阻值為R時，如果在突觸器件Wi'的兩端加上一個固定的重置電壓V，則流過RRAM器 件R 1和二極管D1的電流I滿足方程：
[0030]

【權(quán)利要求】
1. 一種用于人工神經(jīng)網(wǎng)絡(luò)的突觸器件，所述人工神經(jīng)網(wǎng)絡(luò)包括多個神經(jīng)元，所述多個 神經(jīng)元之間通過突觸器件陣列相互連接，所述突觸器件陣列包括多個突觸器件，所述突觸 器件包括： 兩個、三個或更多個并聯(lián)連接的突觸單元。
2. 根據(jù)權(quán)利要求1所述的突觸器件，其中每個突觸單元由阻變器件構(gòu)成。
3. 根據(jù)權(quán)利要求1所述的突觸器件，其中每個突觸單元包括串聯(lián)連接的阻變器件和整 流器件。
4. 根據(jù)權(quán)利要求3所述的突觸器件，其中： 所述整流器件是二極管；并且/或者 所述阻變器件是基于金屬氧化物的阻變器件TMO-RRAM。
5. 根據(jù)權(quán)利要求4所述的突觸器件，其中，當(dāng)整流器件是二極管時： 所述二極管的參數(shù)是基于所述突觸器件的重置電壓V確定的；或者 所述突觸器件的重置電壓V是根據(jù)所述二極管的參數(shù)確定的， 其中： 所述二極管的參數(shù)包括二極管的反向飽和電流Is、閾值電壓Vt和理想因子η ;并且 在人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練期間，通過在所述突觸器件上施加所述重置電壓來使得所述突 觸器件對特定類型的輸入敏感。
6. 根據(jù)權(quán)利要求5所述的突觸器件，其中所述突觸器件的重置電壓是根據(jù)該突觸器件 中的二極管的平均參數(shù)值確定的。
7. 根據(jù)權(quán)利要求5或6所述的突觸器件，其中滿足以下關(guān)系式：
其中，y = W(X)是乘積對數(shù)函數(shù)，即方程X = yey的解，I是流過所述二極管和與所述 二極管串聯(lián)的阻變器件的電流，R是與所述二極管串聯(lián)的阻變器件的電阻值。
8. 根據(jù)權(quán)利要求7所述的突觸器件，其中所述突觸器件的重置電壓V、所述二極管的反 向飽和電流Is、閾值電壓V t和理想因子η被確定為使得電流I與電阻值R的對數(shù)IogR成 近似線性關(guān)系。
9. 根據(jù)權(quán)利要求8所述的突觸器件，其中當(dāng)電流I與電阻值R的對數(shù)IogR成近似線性 關(guān)系時，電流I與電阻值R的對數(shù)IogR的線性擬合的相關(guān)系數(shù)盡可能接近1。
10. -種人工神經(jīng)網(wǎng)絡(luò)，包括多個神經(jīng)元，所述多個神經(jīng)元之間通過突觸器件陣列相互 連接，所述突觸器件陣列包括多個根據(jù)權(quán)利要求1-6中任一項所述的突觸器件。
【文檔編號】G06N3/06GK104376362SQ201410673774
【公開日】2015年2月25日 申請日期:2014年11月21日 優(yōu)先權(quán)日:2014年11月21日
【發(fā)明者】康晉鋒, 畢穎杰, 龍云, 高濱, 陳冰, 劉曉彥 申請人:北京大學(xué)