本發(fā)明涉及人工神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域,特別是涉及自適應(yīng)泄漏值神經(jīng)元信息處理方法和系統(tǒng)。
背景技術(shù):
如今的人工神經(jīng)網(wǎng)絡(luò)研究絕大多數(shù)仍是在馮·諾依曼計(jì)算機(jī)軟件并搭配高性能GPGPU(General Purpose Graphic Processing Units通用圖形處理單元)中實(shí)現(xiàn)的,整個(gè)過程的硬件開銷、能耗和信息處理速度都不容樂觀。為此,近幾年神經(jīng)形態(tài)計(jì)算領(lǐng)域迅猛發(fā)展,即采用硬件電路直接構(gòu)建神經(jīng)網(wǎng)絡(luò)從而模擬大腦的功能,試圖實(shí)現(xiàn)大規(guī)模并行、低能耗、可支撐復(fù)雜模式學(xué)習(xí)的計(jì)算平臺(tái)。
然而,傳統(tǒng)的脈沖神經(jīng)元信息處理方法,利用歷史膜電位作為泄漏值,用于計(jì)算當(dāng)前脈沖神經(jīng)元輸出信息,導(dǎo)致神經(jīng)網(wǎng)絡(luò)在對(duì)于輸入響應(yīng)的靈敏度和穩(wěn)定性方面無法做到很好的平衡。
技術(shù)實(shí)現(xiàn)要素:
基于此,有必要針對(duì)神經(jīng)網(wǎng)絡(luò)如何解決靈敏度和穩(wěn)定性之間的平衡的問題,提供一種自適應(yīng)泄漏值神經(jīng)元信息處理方法和系統(tǒng),其中,所述方法包括:
接收前端脈沖神經(jīng)元輸出信息;
讀取當(dāng)前脈沖神經(jīng)元信息,所述當(dāng)前脈沖神經(jīng)元信息包括自適應(yīng)膜電位泄漏信息;
根據(jù)所述前端脈沖神經(jīng)元輸出信息和所述當(dāng)前脈沖神經(jīng)元信息,計(jì)算當(dāng)前脈沖神經(jīng)元輸出信息;
根據(jù)所述當(dāng)前脈沖神經(jīng)元輸出信息,更新所述自適應(yīng)膜電位泄漏信息;
輸出所述當(dāng)前脈沖神經(jīng)元輸出信息。
在其中一個(gè)實(shí)施例中,所述前端脈沖神經(jīng)元輸出信息,包括:前端脈沖神經(jīng)元輸出的脈沖尖端信息、前端神經(jīng)元與當(dāng)前神經(jīng)元的連接權(quán)重索引;
所述當(dāng)前脈沖神經(jīng)元信息,還包括:當(dāng)前時(shí)間窗寬度、當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列、歷史膜電位信息;
則根據(jù)所述前端脈沖神經(jīng)元輸出信息和所述當(dāng)前脈沖神經(jīng)元信息,計(jì)算當(dāng)前脈沖神經(jīng)元輸出信息,包括:
根據(jù)所述前端神經(jīng)元與當(dāng)前神經(jīng)元的連接權(quán)重索引,讀取前端神經(jīng)元與當(dāng)前神經(jīng)元的連接權(quán)重;
根據(jù)所述前端脈沖神經(jīng)元輸出的脈沖尖端信息,和所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列,更新所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列,獲取當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息更新序列;
根據(jù)所述當(dāng)前時(shí)間窗寬度、所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息更新序列,通過衰減函數(shù)計(jì)算前端脈沖神經(jīng)元輸入信息;
根據(jù)所述前端脈沖神經(jīng)元輸入信息、所述前端脈沖神經(jīng)元與當(dāng)前脈沖神經(jīng)元的連接權(quán)重、所述歷史膜電位信息、所述自適應(yīng)膜電位泄漏信息,通過脈沖神經(jīng)元計(jì)算模型,計(jì)算當(dāng)前脈沖神經(jīng)元輸出信息。
在其中一個(gè)實(shí)施例中,在所述根據(jù)所述前端脈沖神經(jīng)元輸出信息和所述當(dāng)前脈沖神經(jīng)元信息,計(jì)算當(dāng)前脈沖神經(jīng)元輸出信息的步驟之后在,在所述輸出所述當(dāng)前脈沖神經(jīng)元輸出信息的步驟之前,所述方法還包括:
獲取閾值電位;
將所述當(dāng)前脈沖神經(jīng)元輸出信息和所述閾值電位進(jìn)行比較,根據(jù)比較結(jié)果確定發(fā)放觸發(fā)標(biāo)志信息,所述發(fā)放觸發(fā)標(biāo)志信息包括:發(fā)放觸發(fā)或發(fā)放不觸發(fā);當(dāng)所述發(fā)放觸發(fā)標(biāo)志信息為發(fā)放觸發(fā)時(shí),
復(fù)位不應(yīng)期計(jì)時(shí)器,并更新所述歷史膜電位信息為預(yù)設(shè)的復(fù)位膜電位信息。
在其中一個(gè)實(shí)施例中,還包括:
當(dāng)所述發(fā)放觸發(fā)標(biāo)志信息為發(fā)放不觸發(fā)時(shí),讀取不應(yīng)期寬度和不應(yīng)期計(jì)時(shí)器的當(dāng)前時(shí)間步;
根據(jù)所述不應(yīng)期寬度和所述不應(yīng)期計(jì)時(shí)器的當(dāng)前時(shí)間步,判斷當(dāng)前時(shí)間是否在不應(yīng)期內(nèi),若當(dāng)前時(shí)間在所述不應(yīng)期內(nèi),將所述不應(yīng)期計(jì)時(shí)器累加計(jì)時(shí)一個(gè)時(shí)間步,不更新所述歷史膜電位信息;
若當(dāng)前時(shí)間不在應(yīng)期內(nèi),將所述不應(yīng)期計(jì)時(shí)器累加計(jì)時(shí)一個(gè)時(shí)間步,并更新所述歷史膜電位信息為所述當(dāng)前脈沖神經(jīng)元輸出信息。
在其中一個(gè)實(shí)施例中,所述獲取閾值電位,包括:
讀取隨機(jī)閾值掩模電位、閾值偏置和隨機(jī)閾值;
將所述隨機(jī)閾值和所述隨機(jī)閾值掩模電位進(jìn)行按位與操作,獲取閾值隨機(jī)疊加量;
根據(jù)所述閾值隨機(jī)疊加量和所述閾值偏置,確定所述閾值電位。
在其中一個(gè)實(shí)施例中,根據(jù)所述當(dāng)前脈沖神經(jīng)元輸出信息,更新所述自適應(yīng)膜電位泄漏信息,包括:
讀取靜息膜電位信息和泄漏值縮放因子;
根據(jù)所述靜息膜電位信息、所述泄漏值縮放因子和所述當(dāng)前脈沖神經(jīng)元輸出信息,更新所述自適應(yīng)膜電位泄漏信息。
在其中一個(gè)實(shí)施例中,所述輸出所述當(dāng)前脈沖神經(jīng)元輸出信息,包括:
讀取發(fā)放使能標(biāo)識(shí),所述發(fā)放使能標(biāo)識(shí)包括允許發(fā)放數(shù)據(jù)或不允許發(fā)放數(shù)據(jù);當(dāng)所述發(fā)放使能標(biāo)識(shí)為允許發(fā)放數(shù)據(jù)時(shí),
讀取所述發(fā)放觸發(fā)標(biāo)志信息,當(dāng)所述發(fā)放觸發(fā)標(biāo)志信息為發(fā)放觸發(fā)時(shí);
輸出所述當(dāng)前脈沖神經(jīng)元輸出信息。
本發(fā)明所提供的自適應(yīng)泄漏值神經(jīng)元信息處理方法,利用自適應(yīng)的膜電位泄漏信息參與當(dāng)前脈沖神經(jīng)元輸出信息的計(jì)算,并利用計(jì)算出的當(dāng)前脈沖神經(jīng)元輸出信息更新所述自適應(yīng)膜電位信息參與下一個(gè)時(shí)間步的計(jì)算。與傳統(tǒng)的固定泄漏值不同,自適應(yīng)泄漏值的設(shè)定方式,每個(gè)時(shí)間步的泄漏值與上一個(gè)時(shí)間步的膜電位相關(guān),使得神經(jīng)網(wǎng)絡(luò)均有一定的柔性,若當(dāng)前時(shí)間步的膜電位大,則下個(gè)時(shí)間步的泄漏值衰減的多,若當(dāng)前時(shí)間步的膜電位小,則下個(gè)時(shí)間步的泄漏值衰減的少,不會(huì)出現(xiàn)泄漏值衰減到底導(dǎo)致的脈沖神經(jīng)元喪失響應(yīng)能力,也不會(huì)出現(xiàn)泄漏值衰減過慢導(dǎo)致的對(duì)于輸入的響應(yīng)過于靈敏,在神經(jīng)網(wǎng)絡(luò)的靈敏度和穩(wěn)定性之間達(dá)到很好的平衡作用。
在其中一個(gè)實(shí)施例中,根據(jù)所述前端脈沖神經(jīng)元輸出的脈沖尖端信息,和所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列,更新所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列,獲取當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息更新序列,根據(jù)所述當(dāng)前時(shí)間窗寬度、所述前端脈沖神經(jīng)元與當(dāng)前脈沖神經(jīng)元的連接權(quán)重,通過衰減函數(shù)計(jì)算前端脈沖神經(jīng)元輸入信息,可以支持具有時(shí)間深度的時(shí)空脈沖神經(jīng)網(wǎng)絡(luò)模型,相比于時(shí)間深度僅僅為一的神經(jīng)網(wǎng)絡(luò)技術(shù)方案,可以大大提高脈沖神經(jīng)網(wǎng)絡(luò)的時(shí)空信息編碼能力,豐富脈沖神經(jīng)網(wǎng)絡(luò)的應(yīng)用空間。
在其中一個(gè)實(shí)施例中,通過設(shè)置發(fā)放使能標(biāo)識(shí)和發(fā)放觸發(fā)標(biāo)志,確定當(dāng)前脈沖神經(jīng)元輸出信息,使得脈沖神經(jīng)元的輸出的可控性更高,發(fā)放使能標(biāo)志可以配置有的神經(jīng)元不允許發(fā)放數(shù)據(jù),而只用作中間輔助計(jì)算神經(jīng)元,這對(duì)于一些需要多神經(jīng)元協(xié)作完成的功能是非常必要的。
在其中一個(gè)實(shí)施例中,通過讀取隨機(jī)閾值掩模電位和閾值偏置,并接收配置寄存器給出的配置值,確定所述閾值電位,使得神經(jīng)元發(fā)放脈沖尖端信息具有一定概率的隨機(jī)性。
在其中一個(gè)實(shí)施例中,通過設(shè)置泄漏值縮放因子,使得神經(jīng)元自適應(yīng)泄漏值更加可控,也進(jìn)一步提高了神經(jīng)網(wǎng)絡(luò)靈敏度和穩(wěn)定性之間的平衡。
本發(fā)明還提供一種自適應(yīng)泄漏值神經(jīng)元信息處理系統(tǒng),包括:
前端脈沖神經(jīng)元輸出信息接收模塊,用于接收前端脈沖神經(jīng)元輸出信息;
當(dāng)前脈沖神經(jīng)元信息讀取模塊,用于讀取當(dāng)前脈沖神經(jīng)元信息,所述當(dāng)前脈沖神經(jīng)元信息包括自適應(yīng)膜電位泄漏信息;
當(dāng)前脈沖神經(jīng)元輸出信息計(jì)算模塊,用于根據(jù)所述前端脈沖神經(jīng)元輸出信息和所述當(dāng)前脈沖神經(jīng)元信息,計(jì)算當(dāng)前脈沖神經(jīng)元輸出信息;
自適應(yīng)膜電位泄漏信息更新模塊,用于根據(jù)所述當(dāng)前脈沖神經(jīng)元輸出信息,更新所述自適應(yīng)膜電位泄漏信息;
當(dāng)前脈沖神經(jīng)元信息輸出模塊,用于輸出所述當(dāng)前脈沖神經(jīng)元輸出信息。
在其中一個(gè)實(shí)施例中,所述前端脈沖神經(jīng)元輸出信息,包括:前端脈沖神經(jīng)元輸出的脈沖尖端信息、前端神經(jīng)元與當(dāng)前神經(jīng)元的連接權(quán)重索引;
所述當(dāng)前脈沖神經(jīng)元信息,還包括:當(dāng)前時(shí)間窗寬度、當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列、歷史膜電位信息;
所述當(dāng)前脈沖神經(jīng)元輸出信息計(jì)算模塊,包括:
脈沖神經(jīng)元連接權(quán)重讀取單元,用于根據(jù)所述前端神經(jīng)元與當(dāng)前神經(jīng)元的連接權(quán)重索引,讀取前端神經(jīng)元與當(dāng)前神經(jīng)元的連接權(quán)重;
時(shí)間窗內(nèi)脈沖尖端信息序列更新單元,用于根據(jù)所述前端脈沖神經(jīng)元輸出的脈沖尖端信息,和所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列,更新所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列,獲取當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息更新序列;
前端脈沖神經(jīng)元輸入信息計(jì)算單元,用于根據(jù)所述當(dāng)前時(shí)間窗寬度、所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息更新序列,通過衰減函數(shù)計(jì)算前端脈沖神經(jīng)元輸入信息;
脈沖神經(jīng)元輸出信息計(jì)算單元,用于根據(jù)所述前端脈沖神經(jīng)元輸入信息、所述前端脈沖神經(jīng)元與當(dāng)前脈沖神經(jīng)元的連接權(quán)重、所述歷史膜電位信息、所述自適應(yīng)膜電位泄漏信息,通過脈沖神經(jīng)元計(jì)算模型,計(jì)算當(dāng)前脈沖神經(jīng)元輸出信息。
在其中一個(gè)實(shí)施例中,還包括:
閾值電位獲取模塊,用于獲取閾值電位;
發(fā)放觸發(fā)標(biāo)志信息確定模塊,用于將所述當(dāng)前脈沖神經(jīng)元輸出信息和所述閾值電位進(jìn)行比較,根據(jù)比較結(jié)果確定發(fā)放觸發(fā)標(biāo)志信息,所述發(fā)放觸發(fā)標(biāo)志信息包括:發(fā)放觸發(fā)或發(fā)放不觸發(fā);當(dāng)所述發(fā)放觸發(fā)標(biāo)志信息為發(fā)放觸發(fā)時(shí),
不應(yīng)期計(jì)時(shí)器復(fù)位模塊,用于復(fù)位不應(yīng)期計(jì)時(shí)器,并更新所述歷史膜電位信息為預(yù)設(shè)的復(fù)位膜電位信息。
在其中一個(gè)實(shí)施例中,還包括:
當(dāng)所述發(fā)放觸發(fā)標(biāo)志信息為發(fā)放不觸發(fā)時(shí),
不應(yīng)期計(jì)時(shí)器讀取模塊,用于讀取不應(yīng)期寬度和不應(yīng)期計(jì)時(shí)器的當(dāng)前時(shí)間步;
不應(yīng)期判斷模塊,用于根據(jù)所述不應(yīng)期寬度和所述不應(yīng)期計(jì)時(shí)器的當(dāng)前時(shí)間步,判斷當(dāng)前時(shí)間是否在不應(yīng)期內(nèi),若當(dāng)前時(shí)間在所述不應(yīng)期內(nèi),將所述不應(yīng)期計(jì)時(shí)器累加計(jì)時(shí)一個(gè)時(shí)間步,不更新所述歷史膜電位信息;若當(dāng)前時(shí)間不在應(yīng)期內(nèi),將所述不應(yīng)期計(jì)時(shí)器累加計(jì)時(shí)一個(gè)時(shí)間步,并更新所述歷史膜電位信息為所述當(dāng)前脈沖神經(jīng)元輸出信息。
在其中一個(gè)實(shí)施例中,所述閾值電位獲取模塊,包括:
閾值信息讀取單元,用于讀取隨機(jī)閾值掩模電位、閾值偏置和隨機(jī)閾值;
隨機(jī)疊加量獲取單元,用于將所述隨機(jī)閾值和所述隨機(jī)閾值掩模電位進(jìn)行按位與操作,獲取閾值隨機(jī)疊加量;
閾值電位確定單元,用于根據(jù)所述閾值隨機(jī)疊加量和所述閾值偏置,確定所述閾值電位。
在其中一個(gè)實(shí)施例中,所述自適應(yīng)膜電位泄漏信息更新模塊,包括:
泄漏信息讀取單元,用于讀取靜息膜電位信息和泄漏值縮放因子;
泄漏信息更新單元,用于根據(jù)所述靜息膜電位信息、所述泄漏值縮放因子和所述當(dāng)前脈沖神經(jīng)元輸出信息,更新所述自適應(yīng)膜電位泄漏信息。
在其中一個(gè)實(shí)施例中,所述當(dāng)前脈沖神經(jīng)元信息輸出模塊,包括:
使能標(biāo)識(shí)讀取單元,用于讀取發(fā)放使能標(biāo)識(shí),所述發(fā)放使能標(biāo)識(shí)包括允許發(fā)放數(shù)據(jù)或不允許發(fā)放數(shù)據(jù);當(dāng)所述發(fā)放使能標(biāo)識(shí)為允許發(fā)放數(shù)據(jù)時(shí),
發(fā)放觸發(fā)標(biāo)志信息讀取單元,用于讀取所述發(fā)放觸發(fā)標(biāo)志信息,當(dāng)所述發(fā)放觸發(fā)標(biāo)志信息為發(fā)放觸發(fā)時(shí);
當(dāng)前脈沖神經(jīng)元信息輸出單元,用于輸出所述當(dāng)前脈沖神經(jīng)元輸出信息。
本發(fā)明所提供的自適應(yīng)泄漏值神經(jīng)元信息處理系統(tǒng),利用自適應(yīng)的膜電位泄漏信息參與當(dāng)前脈沖神經(jīng)元輸出信息的計(jì)算,并利用計(jì)算出的當(dāng)前脈沖神經(jīng)元輸出信息更新所述自適應(yīng)膜電位信息參與下一個(gè)時(shí)間步的計(jì)算。與傳統(tǒng)的固定泄漏值不同,自適應(yīng)泄漏值的設(shè)定方式,每個(gè)時(shí)間步的泄漏值與上一個(gè)時(shí)間步的膜電位相關(guān),使得神經(jīng)網(wǎng)絡(luò)均有一定的柔性,若當(dāng)前時(shí)間步的膜電位大,則下個(gè)時(shí)間步的泄漏值衰減的多,若當(dāng)前時(shí)間步的膜電位小,則下個(gè)時(shí)間步的泄漏值衰減的少,不會(huì)出現(xiàn)泄漏值衰減到底導(dǎo)致的脈沖神經(jīng)元喪失響應(yīng)能力,也不會(huì)出現(xiàn)泄漏值衰減過慢導(dǎo)致的對(duì)于輸入的響應(yīng)過于靈敏,在神經(jīng)網(wǎng)絡(luò)的靈敏度和穩(wěn)定性之間達(dá)到很好的平衡作用。
在其中一個(gè)實(shí)施例中,根據(jù)所述前端脈沖神經(jīng)元輸出的脈沖尖端信息,和所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列,更新所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列,獲取當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息更新序列,根據(jù)所述當(dāng)前時(shí)間窗寬度、所述前端脈沖神經(jīng)元與當(dāng)前脈沖神經(jīng)元的連接權(quán)重,通過衰減函數(shù)計(jì)算前端脈沖神經(jīng)元輸入信息,可以支持具有時(shí)間深度的時(shí)空脈沖神經(jīng)網(wǎng)絡(luò)模型,相比于時(shí)間深度僅僅為一的神經(jīng)網(wǎng)絡(luò)技術(shù)方案,可以大大提高脈沖神經(jīng)網(wǎng)絡(luò)的時(shí)空信息編碼能力,豐富脈沖神經(jīng)網(wǎng)絡(luò)的應(yīng)用空間。
在其中一個(gè)實(shí)施例中,通過設(shè)置發(fā)放使能標(biāo)識(shí)和發(fā)放觸發(fā)標(biāo)志,確定當(dāng)前脈沖神經(jīng)元輸出信息,使得脈沖神經(jīng)元的輸出的可控性更高,發(fā)放使能標(biāo)志可以配置有的神經(jīng)元不允許發(fā)放數(shù)據(jù),而只用作中間輔助計(jì)算神經(jīng)元,這對(duì)于一些需要多神經(jīng)元協(xié)作完成的功能是非常必要的。
在其中一個(gè)實(shí)施例中,通過讀取隨機(jī)閾值掩模電位和閾值偏置,并接收配置寄存器給出的配置值,確定所述閾值電位,使得神經(jīng)元發(fā)放脈沖尖端信息具有一定概率的隨機(jī)性。
在其中一個(gè)實(shí)施例中,通過設(shè)置泄漏值縮放因子,使得神經(jīng)元自適應(yīng)泄漏值更加可控,也進(jìn)一步提高了神經(jīng)網(wǎng)絡(luò)靈敏度和穩(wěn)定性之間的平衡。
附圖說明
圖1為一個(gè)實(shí)施例的自適應(yīng)泄漏值神經(jīng)網(wǎng)絡(luò)信息處理方法的流程示意圖;
圖2為另一個(gè)實(shí)施例的自適應(yīng)泄漏值神經(jīng)網(wǎng)絡(luò)信息處理方法的流程示意圖;
圖3為又一個(gè)實(shí)施例的自適應(yīng)泄漏值神經(jīng)網(wǎng)絡(luò)信息處理方法的流程示意圖;
圖4為再一個(gè)實(shí)施例的自適應(yīng)泄漏值神經(jīng)網(wǎng)絡(luò)信息處理方法的流程示意圖;
圖5為一個(gè)實(shí)施例的自適應(yīng)泄漏值神經(jīng)網(wǎng)絡(luò)信息處理系統(tǒng)的結(jié)構(gòu)示意圖;
圖6為另一個(gè)實(shí)施例的自適應(yīng)泄漏值神經(jīng)網(wǎng)絡(luò)信息處理系統(tǒng)的結(jié)構(gòu)示意圖;
圖7為又一個(gè)實(shí)施例的自適應(yīng)泄漏值神經(jīng)網(wǎng)絡(luò)信息處理系統(tǒng)的結(jié)構(gòu)示意圖。
具體實(shí)施方式
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白,以下結(jié)合附圖及實(shí)施例對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解,此處所描述的具體實(shí)施例僅用以解釋本發(fā)明,并不用于限定本發(fā)明。
圖1為一個(gè)實(shí)施例的自適應(yīng)泄漏值神經(jīng)網(wǎng)絡(luò)信息處理方法的流程示意圖,如圖1所示的自適應(yīng)泄漏值神經(jīng)網(wǎng)絡(luò)信息處理方法,包括:
步驟S100,接收前端脈沖神經(jīng)元輸出信息。
具體的,所述前端脈沖神經(jīng)元輸出信息,是與當(dāng)前脈沖神經(jīng)元的連接的前端的脈沖神經(jīng)元輸出的脈沖信息。
步驟S200,讀取當(dāng)前脈沖神經(jīng)元信息,所述當(dāng)前脈沖神經(jīng)元信息包括自適應(yīng)膜電位泄漏信息。
具體的,所述當(dāng)前脈沖神經(jīng)元信息,包括當(dāng)前神經(jīng)元存儲(chǔ)的前端脈沖神經(jīng)元發(fā)送的歷史脈沖信息序列,以及自適應(yīng)膜電位泄漏信息。
步驟S300,根據(jù)所述前端脈沖神經(jīng)元輸出信息和所述當(dāng)前脈沖神經(jīng)元信息,計(jì)算當(dāng)前脈沖神經(jīng)元輸出信息。
具體的,當(dāng)前脈沖神經(jīng)元根據(jù)接收到的前端脈沖神經(jīng)元輸出的脈沖信息,和讀取到的當(dāng)前脈沖神經(jīng)元信息,計(jì)算出當(dāng)前脈沖神經(jīng)元輸出信息。
步驟S400,根據(jù)所述當(dāng)前脈沖神經(jīng)元輸出信息,更新所述自適應(yīng)膜電位泄漏信息。
具體的,根據(jù)所述當(dāng)前脈沖神經(jīng)元輸出信息,更新所述自適應(yīng)膜電位泄漏信息,用于下一個(gè)時(shí)間步的當(dāng)前脈沖神經(jīng)元輸出信息的計(jì)算。
步驟S500,輸出所述當(dāng)前脈沖神經(jīng)元輸出信息。
本發(fā)明所提供的自適應(yīng)泄漏值神經(jīng)元信息處理方法,利用自適應(yīng)的膜電位泄漏信息參與當(dāng)前脈沖神經(jīng)元輸出信息的計(jì)算,并利用計(jì)算出的當(dāng)前脈沖神經(jīng)元輸出信息更新所述自適應(yīng)膜電位信息參與下一個(gè)時(shí)間步的計(jì)算。與傳統(tǒng)的固定泄漏值不同,在神經(jīng)網(wǎng)絡(luò)的靈敏度和穩(wěn)定性之間達(dá)到很好的平衡作用。
圖2為另一個(gè)實(shí)施例的自適應(yīng)泄漏值神經(jīng)網(wǎng)絡(luò)信息處理方法的流程示意圖,如圖2所示的自適應(yīng)泄漏值神經(jīng)網(wǎng)絡(luò)信息處理方法,包括:
步驟S100b,接收前端脈沖神經(jīng)元輸出信息,包括:前端脈沖神經(jīng)元輸出的脈沖尖端信息、前端神經(jīng)元與當(dāng)前神經(jīng)元的連接權(quán)重索引。
具體的,所述前端脈沖神經(jīng)元與當(dāng)前脈沖神經(jīng)元的連接權(quán)重索引,是前端神經(jīng)元與所述前端脈沖神經(jīng)元輸出信息一同發(fā)送的權(quán)重索引,用于指示當(dāng)前神經(jīng)元權(quán)重的提取。所述前端脈沖神經(jīng)元輸出的脈沖尖端信息,為前端脈沖神經(jīng)元發(fā)送的脈沖尖端信號(hào)(spike)。
步驟S200b,讀取當(dāng)前脈沖神經(jīng)元信息,還包括:當(dāng)前時(shí)間窗寬度、當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列、歷史膜電位信息和自適應(yīng)膜電位泄漏信息。
具體的,所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列,是指在所述當(dāng)前時(shí)間窗寬度內(nèi),將過去一定范圍內(nèi)的時(shí)間步接收到的脈沖尖端信息,按時(shí)間順序依次緩存的一個(gè)信息序列。
步驟S300b,根據(jù)所述前端神經(jīng)元與當(dāng)前神經(jīng)元的連接權(quán)重索引,讀取前端神經(jīng)元與當(dāng)前神經(jīng)元的連接權(quán)重。
具體的,所述前端脈沖神經(jīng)元與當(dāng)前脈沖神經(jīng)元的連接權(quán)重索引,是一個(gè)地址信息,當(dāng)前神經(jīng)元根據(jù)接收到的所述前端脈沖神經(jīng)元與當(dāng)前脈沖神經(jīng)元的連接權(quán)重索引,在當(dāng)前神經(jīng)元內(nèi)的存儲(chǔ)器中,讀取到前端脈沖神經(jīng)元與當(dāng)前脈沖神經(jīng)元的連接權(quán)重,根據(jù)所述的連接權(quán)重信息,可以將前端神經(jīng)元的輸出信息,在參與當(dāng)前神經(jīng)元輸出信息的計(jì)算過程中,更準(zhǔn)確的反應(yīng)出前端神經(jīng)元的輸出信息的權(quán)重,攜帶更豐富的信息。
步驟S400b,根據(jù)所述前端脈沖神經(jīng)元輸出的脈沖尖端信息,和所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列,更新所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列,獲取當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息更新序列。
具體的,所述脈沖尖端信息序列,在每個(gè)脈沖神經(jīng)元的操作步,在序列頭存儲(chǔ)一個(gè)新的脈沖尖端信息后,刪除一個(gè)序列尾位置上的脈沖尖端信息,更新一次所述脈沖尖端序列。
步驟S500b,根據(jù)所述當(dāng)前時(shí)間窗寬度、所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息更新序列,通過衰減函數(shù)計(jì)算前端脈沖神經(jīng)元輸入信息。
具體的,利用計(jì)算所述前端脈沖神經(jīng)元輸入信息,其中,Tw為所述時(shí)間窗寬度,δj為前端神經(jīng)元j在當(dāng)前時(shí)間窗內(nèi)發(fā)放spike后,在所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息更新序列內(nèi)的時(shí)間步。K(Δt)為一個(gè)衰減函數(shù),隨著Δt增大而迅速減小,t為當(dāng)前時(shí)刻,所述Δt為時(shí)間變化值。
步驟S600b,根據(jù)所述前端脈沖神經(jīng)元輸入信息、所述前端脈沖神經(jīng)元與當(dāng)前脈沖神經(jīng)元的連接權(quán)重、所述歷史膜電位信息、所述自適應(yīng)膜電位泄漏信息,通過脈沖神經(jīng)元計(jì)算模型,計(jì)算當(dāng)前脈沖神經(jīng)元輸出信息。
具體的,利用如下公式表示前端脈沖神經(jīng)元輸入信息的計(jì)算:
其中Wij為所述前端脈沖神經(jīng)元j和當(dāng)前脈沖神經(jīng)元i的連接權(quán)重,Tw為所述時(shí)間窗寬度,δj為前端神經(jīng)元j在當(dāng)前時(shí)間窗內(nèi)發(fā)放spike后,在所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息更新序列內(nèi)的時(shí)間步。K(Δt)為一個(gè)衰減函數(shù),隨著Δt增大而迅速減小。在胞體處的基本模型可以簡化為:
VSNN=f(V+Vinput+Vleak)
發(fā)放模型和復(fù)位模型不變,其中V是存儲(chǔ)器保存的歷史膜電位信息,Vinput是當(dāng)前拍累加的輸入,等效于上述的Vleak為自適應(yīng)泄漏值信息。所述Vleak根據(jù)當(dāng)前膜電位、靜息膜電位信息和泄漏值放縮因子計(jì)算得出。
在本實(shí)施例中,根據(jù)所述前端脈沖神經(jīng)元輸出的脈沖尖端信息,和所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列,更新所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列,獲取當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息更新序列,根據(jù)所述當(dāng)前時(shí)間窗寬度、所述前端脈沖神經(jīng)元與當(dāng)前脈沖神經(jīng)元的連接權(quán)重,通過衰減函數(shù)計(jì)算前端脈沖神經(jīng)元輸入信息,可以支持具有時(shí)間深度的時(shí)空脈沖神經(jīng)網(wǎng)絡(luò)模型,相比于時(shí)間深度僅僅為一的神經(jīng)網(wǎng)絡(luò)技術(shù)方案,可以大大提高脈沖神經(jīng)網(wǎng)絡(luò)的時(shí)空信息編碼能力,豐富脈沖神經(jīng)網(wǎng)絡(luò)的應(yīng)用空間。
圖3為又一個(gè)實(shí)施例的自適應(yīng)泄漏值神經(jīng)網(wǎng)絡(luò)信息處理方法的流程示意圖,如圖3所示的自適應(yīng)泄漏值神經(jīng)網(wǎng)絡(luò)信息處理方法,包括:
步驟S100c,計(jì)算出當(dāng)前脈沖神經(jīng)元輸出信息和閾值電位。
步驟S200c,判斷所述當(dāng)前脈沖神經(jīng)元輸出信息是否大于等于所述閾值電位,根據(jù)所述比較結(jié)果確定發(fā)放觸發(fā)標(biāo)志信息,所述發(fā)放觸發(fā)標(biāo)志信息包括發(fā)放觸發(fā)或發(fā)放不觸發(fā),當(dāng)確定發(fā)放觸發(fā)標(biāo)志信息為發(fā)放觸發(fā)時(shí),接步驟S300c,當(dāng)確定發(fā)放觸發(fā)標(biāo)志信息為發(fā)放不觸發(fā)時(shí),跳至步驟S400c。
具體的,根據(jù)所述閾值電位,與所述當(dāng)前脈沖神經(jīng)元輸出信息進(jìn)行比較,并根據(jù)比較結(jié)果確定發(fā)放觸發(fā)標(biāo)志信息。只有所述當(dāng)前脈沖神經(jīng)元輸出信息大于所述閾值電位時(shí),所述當(dāng)前脈沖神經(jīng)元輸出信息才會(huì)被發(fā)送。
步驟S300c,復(fù)位不應(yīng)期計(jì)時(shí)器,并更新所述歷史膜電位信息為預(yù)設(shè)的復(fù)位膜電位信息。
具體的,當(dāng)所述發(fā)放觸發(fā)標(biāo)志信息為發(fā)放觸發(fā)時(shí),所述當(dāng)前脈沖神經(jīng)元輸出信息被發(fā)送,不應(yīng)期計(jì)時(shí)器被復(fù)位后,重新計(jì)算不應(yīng)期,并更新所述歷史膜電位信息為預(yù)設(shè)的膜電位信息,且所述的歷史膜電位信息更新,根據(jù)配置的復(fù)位類型,選擇性將膜電位復(fù)位為當(dāng)前膜電位、當(dāng)前膜電位和閾值電位差值,或固定復(fù)位電壓。
步驟S400c,讀取不應(yīng)期寬度和不應(yīng)期計(jì)時(shí)器的當(dāng)前時(shí)間步。
具體的,當(dāng)所述發(fā)放觸發(fā)標(biāo)志信息為發(fā)放不觸發(fā)時(shí),所述當(dāng)前脈沖神經(jīng)元輸出信息不被發(fā)送,進(jìn)一步判斷當(dāng)前是否在不應(yīng)期內(nèi)。所述不應(yīng)期寬度為不應(yīng)期的時(shí)長范圍,所述不應(yīng)期計(jì)時(shí)器利用時(shí)間步的方式計(jì)時(shí)。
步驟S500c,根據(jù)所述不應(yīng)期寬度和所述不應(yīng)期計(jì)時(shí)器的當(dāng)前時(shí)間步,判斷當(dāng)前時(shí)間是否在不應(yīng)期內(nèi),若當(dāng)前時(shí)間在所述不應(yīng)期內(nèi),接步驟S600c,否則跳至步驟S700c。
具體的,根據(jù)所述不應(yīng)期計(jì)時(shí)器的當(dāng)前時(shí)間步的累計(jì)計(jì)算,可以判斷出當(dāng)前時(shí)間步是否還在不應(yīng)期內(nèi)。
步驟S600c,將所述不應(yīng)期計(jì)時(shí)器累加計(jì)時(shí)一個(gè)時(shí)間步,不更新所述歷史膜電位信息。
具體的,若當(dāng)前時(shí)間在所述不應(yīng)期內(nèi),根據(jù)脈沖神經(jīng)網(wǎng)絡(luò)的仿生特點(diǎn),不對(duì)所述脈沖神經(jīng)輸出信息進(jìn)行任何回應(yīng),不更新歷史膜電位信息,所述歷史膜電位信息,是下一個(gè)時(shí)間步的脈沖神經(jīng)元需要讀取的信息,即在不應(yīng)期內(nèi),本次計(jì)算出的脈沖神經(jīng)元輸出信息不參與下一個(gè)時(shí)間步的計(jì)算。
步驟S700c,將所述不應(yīng)期計(jì)時(shí)器累加計(jì)時(shí)一個(gè)時(shí)間步,并更新所述歷史膜電位信息為所述當(dāng)前脈沖神經(jīng)元輸出信息。
具體的,如在不應(yīng)期外,則將所述歷史膜電位信息為所述當(dāng)前脈沖神經(jīng)元輸出信息,參與下一個(gè)時(shí)間步的計(jì)算。
在本實(shí)施例中,根據(jù)所述前端脈沖神經(jīng)元輸出的脈沖尖端信息,和所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列,更新所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列,獲取當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息更新序列,根據(jù)所述當(dāng)前時(shí)間窗寬度、所述前端脈沖神經(jīng)元與當(dāng)前脈沖神經(jīng)元的連接權(quán)重,通過衰減函數(shù)計(jì)算前端脈沖神經(jīng)元輸入信息,可以支持具有時(shí)間深度的時(shí)空脈沖神經(jīng)網(wǎng)絡(luò)模型,相比于時(shí)間深度僅僅為一的神經(jīng)網(wǎng)絡(luò)技術(shù)方案,可以大大提高脈沖神經(jīng)網(wǎng)絡(luò)的時(shí)空信息編碼能力,豐富脈沖神經(jīng)網(wǎng)絡(luò)的應(yīng)用空間。
在其中一個(gè)實(shí)施例中,所述獲取閾值電位,包括:讀取隨機(jī)閾值掩模電位、閾值偏置和隨機(jī)閾值;將所述隨機(jī)閾值和所述隨機(jī)閾值掩模電位進(jìn)行按位與操作,獲取閾值隨機(jī)疊加量;根據(jù)所述閾值隨機(jī)疊加量和所述閾值偏置,確定所述閾值電位。
具體的,偽隨機(jī)數(shù)發(fā)生器產(chǎn)生一個(gè)隨機(jī)閾值Vrand,利用所述隨機(jī)閾值與預(yù)設(shè)的隨機(jī)閾值掩模電位Vmask按位取與操作,產(chǎn)生閾值隨機(jī)疊加量,再將所述閾值隨機(jī)疊加量與預(yù)設(shè)的閾值偏置Vth0相加,產(chǎn)生真正的閾值電位Vth。其中,偽隨機(jī)數(shù)發(fā)生器的初始種子由配置寄存器Vseed給出。掩模電位Vmask用于限制閾值增量的范圍:若Vmask=0,則閾值隨機(jī)疊加量也為0,發(fā)放模式退化為固定閾值發(fā)放,固定閾值為Vth0;若Vmask≠0,則發(fā)放模式為部分概率閾值發(fā)放。當(dāng)極端情況Vth0=0,則發(fā)放模式為完全概率閾值發(fā)放。
在本實(shí)施例中,通過讀取隨機(jī)閾值掩模電位和閾值偏置,并接收配置寄存器給出的配置值,確定所述閾值電位,使得神經(jīng)元發(fā)放脈沖尖端信息具有一定概率的隨機(jī)性。
在其中一個(gè)實(shí)施例中,所述輸出所述當(dāng)前脈沖神經(jīng)元輸出信息,包括:讀取發(fā)放使能標(biāo)識(shí),所述發(fā)放使能標(biāo)識(shí)包括允許發(fā)放數(shù)據(jù)或不允許發(fā)放數(shù)據(jù);當(dāng)所述發(fā)放使能標(biāo)識(shí)為允許發(fā)放數(shù)據(jù)時(shí),讀取所述發(fā)放觸發(fā)標(biāo)志信息,當(dāng)所述發(fā)放觸發(fā)標(biāo)志信息為發(fā)放觸發(fā)時(shí);輸出所述當(dāng)前脈沖神經(jīng)元輸出信息。
在本實(shí)施例中,通過設(shè)置發(fā)放使能標(biāo)識(shí)和發(fā)放觸發(fā)標(biāo)志,確定當(dāng)前脈沖神經(jīng)元輸出信息,使得脈沖神經(jīng)元的輸出的可控性更高,發(fā)放使能標(biāo)志可以配置有的神經(jīng)元不允許發(fā)放數(shù)據(jù),而只用作中間輔助計(jì)算神經(jīng)元,這對(duì)于一些需要多神經(jīng)元協(xié)作完成的功能是非常必要的。
圖4為再一個(gè)實(shí)施例的自適應(yīng)泄漏值神經(jīng)網(wǎng)絡(luò)信息處理方法的流程示意圖,如圖4所示的自適應(yīng)泄漏值神經(jīng)網(wǎng)絡(luò)信息處理方法,包括:
步驟S410,讀取靜息膜電位信息和泄漏值縮放因子。
具體的,所述靜息膜電位信息和所述泄漏值縮放因子,是一個(gè)任務(wù)開始時(shí),根據(jù)需求設(shè)定的值。
步驟S420,根據(jù)所述靜息膜電位信息、所述泄漏值縮放因子和所述當(dāng)前脈沖神經(jīng)元輸出信息,更新所述自適應(yīng)膜電位泄漏信息。
具體的,所述自適應(yīng)膜電位泄漏信息Vleak跟當(dāng)前脈沖神經(jīng)元的當(dāng)前脈沖神經(jīng)元輸出信息有關(guān),具有自適應(yīng)能力。每個(gè)時(shí)間步會(huì)進(jìn)行自適應(yīng)泄漏信息的更新:Vleak=Cleak·(Vrest-VSNN),其中Cleak為泄漏值縮放因子、Vrest為靜息膜電位信息,VSNN為當(dāng)前脈沖神經(jīng)元輸出信息。簡單來說,(Vrest-VSNN)不再是固定常數(shù)泄漏值Vleak,意味著VSNN越小(越靠近靜息電位Vrest)則泄漏值越小,而VSNN越大(越遠(yuǎn)離靜息電位Vrest)則泄漏值越大。這種柔性泄漏值的方式,可以有效地維持胞體膜電位的平衡,使得膜電位不會(huì)因?yàn)樾孤┻^大而對(duì)外界刺激失去響應(yīng),也不會(huì)因?yàn)樾孤┻^小而對(duì)外界刺激過于靈敏,對(duì)于神經(jīng)元膜電位的靈敏度和穩(wěn)定性十分關(guān)鍵,對(duì)于復(fù)雜模式的學(xué)習(xí)同樣至關(guān)重要。
在本實(shí)施例中,通過設(shè)置泄漏值縮放因子,使得神經(jīng)元自適應(yīng)泄漏值更加靈活可控。
圖5為一個(gè)實(shí)施例的自適應(yīng)泄漏值神經(jīng)網(wǎng)絡(luò)信息處理系統(tǒng)的結(jié)構(gòu)示意圖,如圖5所示的自適應(yīng)泄漏值神經(jīng)網(wǎng)絡(luò)信息處理系統(tǒng)包括:
前端脈沖神經(jīng)元輸出信息接收模塊100,用于接收前端脈沖神經(jīng)元輸出信息。所述前端脈沖神經(jīng)元輸出信息,包括:前端脈沖神經(jīng)元輸出的脈沖尖端信息、前端神經(jīng)元與當(dāng)前神經(jīng)元的連接權(quán)重索引。
當(dāng)前脈沖神經(jīng)元信息讀取模塊200,用于讀取當(dāng)前脈沖神經(jīng)元信息,所述當(dāng)前脈沖神經(jīng)元信息包括自適應(yīng)膜電位泄漏信息。所述當(dāng)前脈沖神經(jīng)元信息,還包括:當(dāng)前時(shí)間窗寬度、當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列、歷史膜電位信息。
當(dāng)前脈沖神經(jīng)元輸出信息計(jì)算模塊300,用于根據(jù)所述前端脈沖神經(jīng)元輸出信息和所述當(dāng)前脈沖神經(jīng)元信息,計(jì)算當(dāng)前脈沖神經(jīng)元輸出信息。
自適應(yīng)膜電位泄漏信息更新模塊400,用于根據(jù)所述當(dāng)前脈沖神經(jīng)元輸出信息,更新所述自適應(yīng)膜電位泄漏信息,包括:泄漏信息讀取單元,用于讀取靜息膜電位信息和泄漏值縮放因子;泄漏信息更新單元,用于根據(jù)所述靜息膜電位信息、所述泄漏值縮放因子和所述當(dāng)前脈沖神經(jīng)元輸出信息,更新所述自適應(yīng)膜電位泄漏信息。
當(dāng)前脈沖神經(jīng)元信息輸出模塊500,用于輸出所述當(dāng)前脈沖神經(jīng)元輸出信息。包括:使能標(biāo)識(shí)讀取單元,用于讀取發(fā)放使能標(biāo)識(shí),所述發(fā)放使能標(biāo)識(shí)包括允許發(fā)放數(shù)據(jù)或不允許發(fā)放數(shù)據(jù);當(dāng)所述發(fā)放使能標(biāo)識(shí)為允許發(fā)放數(shù)據(jù)時(shí),發(fā)放觸發(fā)標(biāo)志信息讀取單元,用于讀取所述發(fā)放觸發(fā)標(biāo)志信息,當(dāng)所述發(fā)放觸發(fā)標(biāo)志信息為發(fā)放觸發(fā)時(shí);當(dāng)前脈沖神經(jīng)元信息輸出單元,用于輸出所述當(dāng)前脈沖神經(jīng)元輸出信息。
本發(fā)明所提供的自適應(yīng)泄漏值神經(jīng)元信息處理系統(tǒng),利用自適應(yīng)的膜電位泄漏信息參與當(dāng)前脈沖神經(jīng)元輸出信息的計(jì)算,并利用計(jì)算出的當(dāng)前脈沖神經(jīng)元輸出信息更新所述自適應(yīng)膜電位信息參與下一個(gè)時(shí)間步的計(jì)算。與傳統(tǒng)的固定泄漏值不同,在神經(jīng)網(wǎng)絡(luò)的靈敏度和穩(wěn)定性之間達(dá)到很好的平衡作用。在本實(shí)施例中,通過設(shè)置泄漏值縮放因子,使得神經(jīng)元自適應(yīng)泄漏值更加可控,也進(jìn)一步提高了神經(jīng)網(wǎng)絡(luò)靈敏度和穩(wěn)定性之間的平衡。
圖6為另一個(gè)實(shí)施例的自適應(yīng)泄漏值神經(jīng)網(wǎng)絡(luò)信息處理系統(tǒng)的結(jié)構(gòu)示意圖,如圖6所示的自適應(yīng)泄漏值神經(jīng)網(wǎng)絡(luò)信息處理系統(tǒng),所述當(dāng)前脈沖神經(jīng)元輸出信息計(jì)算模塊300,包括:
脈沖神經(jīng)元連接權(quán)重讀取單元100b,用于根據(jù)所述前端神經(jīng)元與當(dāng)前神經(jīng)元的連接權(quán)重索引,讀取前端神經(jīng)元與當(dāng)前神經(jīng)元的連接權(quán)重。
時(shí)間窗內(nèi)脈沖尖端信息序列更新單元200b,用于根據(jù)所述前端脈沖神經(jīng)元輸出的脈沖尖端信息,和所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列,更新所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列,獲取當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息更新序列。
前端脈沖神經(jīng)元輸入信息計(jì)算單元300b,用于根據(jù)所述當(dāng)前時(shí)間窗寬度、所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息更新序列,通過衰減函數(shù)計(jì)算前端脈沖神經(jīng)元輸入信息。
脈沖神經(jīng)元輸出信息計(jì)算單元400b,用于根據(jù)所述前端脈沖神經(jīng)元輸入信息、所述前端脈沖神經(jīng)元與當(dāng)前脈沖神經(jīng)元的連接權(quán)重、所述歷史膜電位信息、所述自適應(yīng)膜電位泄漏信息,通過脈沖神經(jīng)元計(jì)算模型,計(jì)算當(dāng)前脈沖神經(jīng)元輸出信息。
在本實(shí)施例中,根據(jù)所述前端脈沖神經(jīng)元輸出的脈沖尖端信息,和所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列,更新所述當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息序列,獲取當(dāng)前時(shí)間窗內(nèi)脈沖尖端信息更新序列,根據(jù)所述當(dāng)前時(shí)間窗寬度、所述前端脈沖神經(jīng)元與當(dāng)前脈沖神經(jīng)元的連接權(quán)重,通過衰減函數(shù)計(jì)算前端脈沖神經(jīng)元輸入信息,可以支持具有時(shí)間深度的時(shí)空脈沖神經(jīng)網(wǎng)絡(luò)模型,相比于時(shí)間深度僅僅為一的神經(jīng)網(wǎng)絡(luò)技術(shù)方案,可以大大提高脈沖神經(jīng)網(wǎng)絡(luò)的時(shí)空信息編碼能力,豐富脈沖神經(jīng)網(wǎng)絡(luò)的應(yīng)用空間
圖7為又一個(gè)實(shí)施例的自適應(yīng)泄漏值神經(jīng)網(wǎng)絡(luò)信息處理系統(tǒng)的結(jié)構(gòu)示意圖,如圖7所示的自適應(yīng)泄漏值神經(jīng)網(wǎng)絡(luò)信息處理系統(tǒng),還包括:
閾值電位獲取模塊600,用于獲取閾值電位,包括閾值信息讀取單元,用于讀取隨機(jī)閾值掩模電位、閾值偏置和隨機(jī)閾值;隨機(jī)疊加量獲取單元,用于將所述隨機(jī)閾值和所述隨機(jī)閾值掩模電位進(jìn)行按位與操作,獲取閾值隨機(jī)疊加量;閾值電位確定單元,用于根據(jù)所述閾值隨機(jī)疊加量和所述閾值偏置,確定所述閾值電位。
發(fā)放觸發(fā)標(biāo)志信息確定模塊700,用于將所述當(dāng)前脈沖神經(jīng)元輸出信息和所述閾值電位進(jìn)行比較,根據(jù)比較結(jié)果確定發(fā)放觸發(fā)標(biāo)志信息,所述發(fā)放觸發(fā)標(biāo)志信息包括:發(fā)放觸發(fā)或發(fā)放不觸發(fā);當(dāng)所述發(fā)放觸發(fā)標(biāo)志信息為發(fā)放觸發(fā)時(shí)。
不應(yīng)期計(jì)時(shí)器復(fù)位模塊800,用于復(fù)位不應(yīng)期計(jì)時(shí)器,并更新所述歷史膜電位信息為預(yù)設(shè)的復(fù)位膜電位信息。
當(dāng)所述發(fā)放觸發(fā)標(biāo)志信息為發(fā)放不觸發(fā)時(shí),
不應(yīng)期計(jì)時(shí)器讀取模塊900,用于讀取不應(yīng)期寬度和不應(yīng)期計(jì)時(shí)器的當(dāng)前時(shí)間步;
不應(yīng)期判斷模塊1000,用于根據(jù)所述不應(yīng)期寬度和所述不應(yīng)期計(jì)時(shí)器的當(dāng)前時(shí)間步,判斷當(dāng)前時(shí)間是否在不應(yīng)期內(nèi),若當(dāng)前時(shí)間在所述不應(yīng)期內(nèi),將所述不應(yīng)期計(jì)時(shí)器累加計(jì)時(shí)一個(gè)時(shí)間步,不更新所述歷史膜電位信息;若當(dāng)前時(shí)間不在應(yīng)期內(nèi),將所述不應(yīng)期計(jì)時(shí)器累加計(jì)時(shí)一個(gè)時(shí)間步,并更新所述歷史膜電位信息為所述當(dāng)前脈沖神經(jīng)元輸出信息。
在本實(shí)施例中,通過自適應(yīng)閾值電位,使得神經(jīng)元發(fā)放脈沖尖端信息與上一個(gè)時(shí)間步是否發(fā)放了所述當(dāng)前脈沖神經(jīng)元輸出信息相關(guān),可以有效均衡整個(gè)網(wǎng)絡(luò)中每個(gè)神經(jīng)元的發(fā)放頻率,使得每個(gè)神經(jīng)元都可以在處理信息時(shí)發(fā)揮作用,大大提高脈沖神經(jīng)網(wǎng)絡(luò)的信息處理能力。
以上所述實(shí)施例的各技術(shù)特征可以進(jìn)行任意的組合,為使描述簡潔,未對(duì)上述實(shí)施例中的各個(gè)技術(shù)特征所有可能的組合都進(jìn)行描述,然而,只要這些技術(shù)特征的組合不存在矛盾,都應(yīng)當(dāng)認(rèn)為是本說明書記載的范圍。
以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式,其描述較為具體和詳細(xì),但并不能因此而理解為對(duì)發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是,對(duì)于本領(lǐng)域的普通技術(shù)人員來說,在不脫離本發(fā)明構(gòu)思的前提下,還可以做出若干變形和改進(jìn),這些都屬于本發(fā)明的保護(hù)范圍。因此,本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。