本發(fā)明涉及光子信息處理領(lǐng)域，具體是一種基于突觸延時可塑性的模擬域時間信號光子尖峰處理方法和架構(gòu)。

背景技術(shù)：

1、模擬域時間信號處理在未來無人駕駛、虛擬現(xiàn)實等場景都對低延時、低功耗提出了很高的需求。目前傳統(tǒng)處理時間信號如飛行時間(time-of-flight,tof)信號需要使用時間-數(shù)字轉(zhuǎn)換器(time-to-digital?conversion,tdc)將其轉(zhuǎn)化到數(shù)字域進(jìn)行精確時刻計算，然后在數(shù)字域進(jìn)行神經(jīng)網(wǎng)絡(luò)計算或其他復(fù)雜算法操作。其中僅tdc轉(zhuǎn)化至數(shù)字域便需要較大的延時與功耗，神經(jīng)網(wǎng)絡(luò)等算法基于馮諾依曼架構(gòu)在電域處理，也面臨中央處理器(central?processing?unit,cpu)與存儲器數(shù)據(jù)傳輸導(dǎo)致的毫秒級延時瓶頸，整體處理效率較低，無法滿足電子信息系統(tǒng)對信號處理日益增長的實時性要求。

2、生物大腦能夠以超低功耗和超強(qiáng)容錯能力進(jìn)行高速并行信息處理，光子技術(shù)相較于電學(xué)處理具有高速、大帶寬等優(yōu)勢，將生物神經(jīng)元與突觸特性與光子技術(shù)有機(jī)融合的光子神經(jīng)擬態(tài)，能夠為未來實時處理時間信號提供顛覆性的解決途徑。因此，開展光子神經(jīng)擬態(tài)處理時間信號的原理研究與架構(gòu)設(shè)計對于提高信息處理系統(tǒng)性能具有重大意義。

3、目前，模擬人腦的尖峰處理機(jī)制提高信號處理效率已成為新一代信息技術(shù)的研究熱點。歐盟于2013年提出“人腦計劃(hbp)”，旨在未來神經(jīng)科學(xué)、未來計算等領(lǐng)域開發(fā)出前沿信息技術(shù)。歐洲科學(xué)家嘗試?yán)没诩夥鍟r序編碼的方法來處理觸覺信息，利用尖峰信號稀疏編碼的特征，將電子皮膚的幀編碼延時從100毫秒以上降低到幾毫秒，與生物神經(jīng)系統(tǒng)相當(dāng)(chen?l,et?al.spike?timing-based?coding?in?neuromimetic?tactile?systemenables?dynamic?object?classification.science,2024,384(6696):660-665.)。此外在硬件方面，德國明斯特大學(xué)等研制出了集成全光突觸與全光神經(jīng)元的光子尖峰處理芯片，受益于光固有的高帶寬和快速數(shù)據(jù)傳輸速率，將數(shù)字信號的模式分類等任務(wù)的處理延時降低到微秒量級(feldmann?j,et?al.all-optical?spiking?neurosynaptic?networks?withself-learning?capabilities.nature,2019,569(7755):208-214.)。國內(nèi)西安電子科技大學(xué)深入研究脈沖神經(jīng)網(wǎng)絡(luò)的算法優(yōu)化，配合光子神經(jīng)擬態(tài)單元器件實現(xiàn)軟硬協(xié)同的高效靜態(tài)圖像處理。(han?y,et?al.yexperimental?demonstration?of?delay-weight?learningand?pattern?classification?with?a?fp-sa-based?photonic?spiking?neuron?chip[j].journal?of?lightwave?technology,2023.)

4、因此，開展光子神經(jīng)擬態(tài)處理時間信號的原理研究與架構(gòu)設(shè)計，對于突破當(dāng)前信息處理系統(tǒng)的性能瓶頸，滿足未來電子信息系統(tǒng)對實時性與低功耗的嚴(yán)苛要求，具有重大的科學(xué)意義與應(yīng)用價值。

技術(shù)實現(xiàn)思路

1、本發(fā)明啟發(fā)于生物的延時可塑性機(jī)制，大腦中的刺激信號傳輸過突觸結(jié)構(gòu)后會有延時效果，具體的延時量可以通過髓鞘、軸突厚度等調(diào)節(jié)。在丘腦系統(tǒng)、聽覺腦干系統(tǒng)等神經(jīng)系統(tǒng)中，可以通過突觸延時可塑性調(diào)節(jié)尖峰的時刻完成信號處理，實現(xiàn)聲音定位、方向選擇、視覺感知等功能。該技術(shù)利用突觸延時可塑性調(diào)節(jié)模擬域時間信號編碼得到的光子尖峰時刻，提取時序特征完成距離感知、三維物體分類等任務(wù)，是基于光子技術(shù)、生物學(xué)和類腦智能等形成的一種全新技術(shù)。該技術(shù)利用光的高速傳輸優(yōu)勢與生物突觸的參數(shù)多樣性，結(jié)合脈沖神經(jīng)網(wǎng)絡(luò)算法等，形成實時模擬域時間信號尖峰處理系統(tǒng)，有效緩解了智能駕駛、虛擬現(xiàn)實等場景中的高速信號處理壓力。

2、本發(fā)明的目的在于提出一種基于突觸延時可塑性的模擬域時間信號光子尖峰處理方法和系統(tǒng)架構(gòu)。該方法結(jié)合生物神經(jīng)擬態(tài)突觸參數(shù)多樣性和全光高速處理的優(yōu)勢，利用光子神經(jīng)元閾值判決、時域積分的特性，以及脈沖神經(jīng)網(wǎng)絡(luò)算法，實現(xiàn)了模擬域時間信號的實時無權(quán)重光子尖峰處理。

3、本發(fā)明的技術(shù)方案如下：

4、基于突觸延時可塑性的模擬域時間信號光子尖峰處理方法和系統(tǒng)架構(gòu)，其特點在于在純模擬域完成時間信號的實時編碼學(xué)習(xí)和判決，無需權(quán)值調(diào)控和數(shù)字域轉(zhuǎn)化，包括模擬域時間信號輸入、探測器陣列、全光尖峰處理模塊、光學(xué)決策模塊和多功能輸出模塊。其中全光尖峰處理模塊包括光子神經(jīng)元尖峰編碼層、突觸延時調(diào)節(jié)模塊和光子神經(jīng)元尖峰輸出層。

5、模擬域時間信號輸入模塊用于接收多場景下的時間信號，輸入信號為n路時間信號，探測器陣列用于光學(xué)模擬信號到電模擬信號的轉(zhuǎn)化，由n個探測器單元組成，可以分別探測n路模擬域時間信號。轉(zhuǎn)化后的電模擬信號加載到光子神經(jīng)元尖峰編碼層，光子神經(jīng)元尖峰編碼層包括n個光子神經(jīng)元單元，與探測器一一對應(yīng)，每一個光子神經(jīng)元單元都利用時域積分特性將探測得到的時間信號編碼為不同時刻的光子尖峰。光子神經(jīng)元尖峰輸出層包括m個光子神經(jīng)元單元，與光子神經(jīng)元尖峰編碼層的n個光子神經(jīng)元全連接，具有n*m個支路，每一個支路上都設(shè)置一個突觸單元調(diào)節(jié)尖峰傳輸?shù)难訒r，全部n*m個突觸延時調(diào)節(jié)單元組成突觸延時調(diào)節(jié)模塊。光學(xué)決策模塊由p個光子神經(jīng)元組成，以全連接的方式與光子神經(jīng)元尖峰輸出層的m個光子神經(jīng)元單元連接，將光子神經(jīng)元尖峰輸出層的m個光子神經(jīng)元的輸出合路后分別輸入到光學(xué)決策模塊的各個光子神經(jīng)元中，光子神經(jīng)元通過時域積分和閾值判決操作在不同時刻產(chǎn)生尖峰響應(yīng)，在不同類型的時間信號輸入下，多功能輸出模塊根據(jù)尖峰響應(yīng)時刻完成目標(biāo)識別、物體分類、重合檢測等多功能輸出。

6、實現(xiàn)平臺可以是分立器件組成的系統(tǒng)，也可以是集成芯片平臺，也可以是分立器件與集成芯片混合使用的系統(tǒng)。當(dāng)使用分立器件實現(xiàn)時，各模塊、組件之間的連接方式可采用光纖等限制光束傳播路徑的方式；當(dāng)使用集成芯片實現(xiàn)時，部件之間的連接方式可采用集成波導(dǎo)等方式。

7、所述的模擬域時間信號輸入采用但不限于飛行時間信號(tof)。

8、所述的探測器陣列可采用但不限于單光子雪崩二極管(spad)、雪崩光電二極管(apd)等方法實現(xiàn)。

9、所述的探測器陣列得到的多路模擬信號加載到光子神經(jīng)元尖峰編碼層，可采用直接調(diào)制，也可以采用外部調(diào)制。直接調(diào)制可采用電流源或電壓源等改變激光器的偏置電流大小。外部調(diào)制可采用包括但不限于幅度調(diào)制(am)、相位調(diào)制(pm)等方式，可使用硅基馬赫-曾德爾強(qiáng)度調(diào)制器、鈮酸鋰馬赫-曾德爾強(qiáng)度調(diào)制器等器件。

10、所述的光子神經(jīng)元尖峰編碼層、光子神經(jīng)元尖峰輸出層和光學(xué)決策模塊中的光子神經(jīng)元可以采用但不限于基于注入鎖定架構(gòu)的光子神經(jīng)元。具體地，注入鎖定架構(gòu)將一個激光器(主激光器)的輸出經(jīng)過光隔離器或環(huán)形器注入到另一個孤立的激光器(從激光器)中，使用可調(diào)光衰減器或光放大器調(diào)節(jié)注入光的強(qiáng)度，偏振控制器調(diào)節(jié)注入光的偏振，其中激光器可采用但不限于布拉格半導(dǎo)體激光器(dfb-ld)、垂直腔面發(fā)射激光器(vcsel)。此外，還可以采用基于微環(huán)自脈動狀態(tài)的光子神經(jīng)元、含飽和吸收體的兩段式激光器、基于垂直腔面發(fā)射激光器偏振競爭的光子神經(jīng)元，基于相變材料(pcm)嵌入微環(huán)諧振器的光子神經(jīng)元等。

11、所述的突觸延時調(diào)節(jié)模塊可采用但不限于光纖延時線、光波導(dǎo)延時線、慢光延時線或空間自由傳播延時等通過光的傳播時間實現(xiàn)延時效果的部件。

12、全光尖峰處理模塊的編碼和特征提取原理如下。

13、光子神經(jīng)元具有時域積分特性，設(shè)光子神經(jīng)元對輸入信號進(jìn)行積分操作的時間區(qū)間為ti，閾值為t，響應(yīng)時刻為tj。將探測器接收到時間信號的初始時刻記為t0，在t0-t0+ti區(qū)間內(nèi)，時間信號對光子神經(jīng)元中光生載流子濃度、光場強(qiáng)度等具有積分效應(yīng)，即后一時刻的影響會疊加在前一時刻的基礎(chǔ)上。當(dāng)光生載流子或光場強(qiáng)度的變化超出閾值t時，會在輸出端激發(fā)一個光子尖峰。光子尖峰的時刻tj與超出閾值的時刻有關(guān)，更底層地與輸入時間信號幅度、持續(xù)時間、時間間隔等因素有關(guān)。光子神經(jīng)元尖峰編碼層的光子神經(jīng)元能夠?qū)⒉煌掷m(xù)時長、不同幅度、不同時間間隔的信號編碼為不同時刻的尖峰序列。

14、突觸延時調(diào)節(jié)模塊中延時參數(shù)的學(xué)習(xí)依據(jù)赫布規(guī)則：若一個神經(jīng)元a重復(fù)地、持續(xù)地使神經(jīng)元b興奮，則a和b之間的突觸連接將得到加強(qiáng)(feldman?d?e.the?spike-timingdependence?ofplasticity[j].neuron,2012,75(4):556-571.)，根據(jù)上述文獻(xiàn)的分析，使用目標(biāo)與實際輸出峰值之間的時間差按照負(fù)指數(shù)函數(shù)更新突觸參數(shù)。本專利采用的突觸延時參數(shù)更新的具體規(guī)則如下：

15、

16、其中δd是每輸入一次樣本延時參數(shù)的變化量，δt是指尖峰理想輸出時刻與實際輸出時刻之間的差值，δt＝to-td，to指輸入信號經(jīng)過突觸后的實際輸出時刻，td是根據(jù)監(jiān)督信號設(shè)置的理想輸出時刻，m指延時參數(shù)單次更新的最大值。當(dāng)實際的尖峰輸出晚于理想輸出時刻時，δt＞0，需要減少傳輸過程中的延時，將突觸的延時參數(shù)調(diào)小。反之當(dāng)實際的尖峰輸出早于理想輸出時刻時，δt＜0，需要增加傳輸過程中的延時，將突觸的延時參數(shù)調(diào)大。

17、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點：

18、1、實時性：本發(fā)明基于光子技術(shù)和類腦智能實現(xiàn)模擬域時間信號的光子尖峰處理，充分發(fā)揮模擬信號處理高效實時的優(yōu)勢，有效提高時間信號處理效率，提高信息處理系統(tǒng)性能。

19、2、智能性：本發(fā)明基于脈沖神經(jīng)網(wǎng)絡(luò)算法構(gòu)建智能延時學(xué)習(xí)網(wǎng)絡(luò)，實現(xiàn)信號的特征提取、延時參數(shù)的學(xué)習(xí)訓(xùn)練，從而能夠有效應(yīng)對多種場景下信息的識別和分析。

20、3、節(jié)能性：本發(fā)明基于延時可塑性原理構(gòu)造突觸延時調(diào)節(jié)模塊，避免了額外的權(quán)重調(diào)節(jié)器件導(dǎo)致的功耗，從而能夠降低光子尖峰處理的能耗。

21、4、利用光子神經(jīng)擬態(tài)能夠直接處理模擬信號的優(yōu)勢，利用光子神經(jīng)元的時域積分特性將原始的時間信號編碼編碼為不同時刻的尖峰信號，無需利用時間數(shù)字轉(zhuǎn)換器轉(zhuǎn)換到數(shù)字域進(jìn)行處理。然后使用突觸延時可塑性啟發(fā)的脈沖神經(jīng)網(wǎng)絡(luò)純延時參數(shù)學(xué)習(xí)算法進(jìn)行基于尖峰時刻特征的訓(xùn)練和學(xué)習(xí)，按照訓(xùn)練完畢的延時參數(shù)調(diào)節(jié)光子突觸的延時量，超低延時地完成三維物體分類中飛行時間信號處理。