本申請要求于2014年9月4日提交且題為“EVENT-DRIVEN SPATIO-TEMPORAL SHORT-TIME FOURIER TRANSFORM PROCESSING FOR ASYNCHRONOUS PULSE-MODULATED SAMPLED SIGNALS(用于異步脈沖調(diào)制采樣信號的事件驅(qū)動的空間-時間短時傅立葉變換處理)”的美國臨時專利申請No.62/045,775的權(quán)益，其公開內(nèi)容通過援引全部明確納入于此。

背景

領(lǐng)域

本公開的某些方面一般涉及機器學(xué)習(xí)，尤其涉及改進(jìn)在神經(jīng)網(wǎng)絡(luò)中用于異步脈沖調(diào)制采樣信號的事件驅(qū)動的空間-時間短時傅立葉變換處理的系統(tǒng)和方法。

背景

可包括一群互連的人工神經(jīng)元(例如，神經(jīng)元模型)的人工神經(jīng)網(wǎng)絡(luò)是一種計算設(shè)備或者表示將由計算設(shè)備執(zhí)行的方法。

卷積神經(jīng)網(wǎng)絡(luò)是一種前饋人工神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)可包括神經(jīng)元集合，其中每個神經(jīng)元具有感受野并且共同地拼出一輸入空間。卷積神經(jīng)網(wǎng)絡(luò)(CNN)具有眾多應(yīng)用。具體地，CNN已被廣泛使用于模式識別和分類領(lǐng)域。

深度學(xué)習(xí)架構(gòu)(諸如，深度置信網(wǎng)絡(luò)和深度卷積網(wǎng)絡(luò))是分層神經(jīng)網(wǎng)絡(luò)架構(gòu)，其中神經(jīng)元的第一層的輸出變成神經(jīng)元的第二層的輸入，神經(jīng)元的第二層的輸出變成神經(jīng)元的第三層的輸入，以此類推。深度神經(jīng)網(wǎng)絡(luò)可被訓(xùn)練以識別特征階層并因此它們被越來越多地用于對象識別應(yīng)用。類似于卷積神經(jīng)網(wǎng)絡(luò)，這些深度學(xué)習(xí)架構(gòu)中的計算可在處理節(jié)點群體上分發(fā)，其可被配置在一個或多個計算鏈中。這些多層架構(gòu)可每次訓(xùn)練一層并可使用反向傳播微調(diào)。

其他模型也可用于對象識別。例如，支持向量機(SVM)是可被應(yīng)用于分類的學(xué)習(xí)工具。支持向量機包括對數(shù)據(jù)進(jìn)行分類的分開的超平面(例如，決策邊界)。該超平面由監(jiān)督式學(xué)習(xí)定義。期望的超平面增加訓(xùn)練數(shù)據(jù)的余裕。換言之，超平面應(yīng)該具有到訓(xùn)練示例的最大的最小距離。

盡管這些解決方案在數(shù)個分類基準(zhǔn)上取得了優(yōu)異的結(jié)果，但它們的計算復(fù)雜度可能極其高。另外，模型的訓(xùn)練是有挑戰(zhàn)性的。

概述

在本公開的一方面，給出了一種用于處理連續(xù)時間信號的異步事件驅(qū)動型輸入采樣的方法。該方法包括基于該事件驅(qū)動的輸入采樣來計算短時傅立葉變換(STFT)輸出?？赏ㄟ^將編碼脈沖和STFT窗口函數(shù)表達(dá)為復(fù)加權(quán)因果復(fù)指數(shù)之和來計算STFT輸出。該方法可進(jìn)一步包括在事件之間內(nèi)插輸出。

在本公開的另一方面，給出了一種用于處理連續(xù)時間信號的異步事件驅(qū)動型輸入采樣的裝備。該裝備包括用于基于該事件驅(qū)動的輸入采樣來計算短時傅立葉變換(STFT)輸出的裝置?？赏ㄟ^將編碼脈沖和STFT窗口函數(shù)表達(dá)為復(fù)加權(quán)因果復(fù)指數(shù)之和來計算STFT輸出。該裝備進(jìn)一步包括用于在事件之間內(nèi)插輸出的裝置。

在本公開的又一方面，給出了圖像捕捉設(shè)備。該圖像捕捉設(shè)備包括存儲器單元以及耦合至該存儲器單元的至少一個處理器。該一個或多個處理器被配置成基于事件驅(qū)動的樣本來計算短時傅立葉變換(STFT)輸出。

根據(jù)本公開的又一方面，公開了一種非瞬態(tài)計算機可讀介質(zhì)。該非瞬態(tài)計算機可讀介質(zhì)上有程序代碼，該程序代碼在由處理器執(zhí)行時使得該處理器處理連續(xù)時間信號的異步事件驅(qū)動型輸入采樣。該程序代碼包括用于基于事件驅(qū)動的樣本來計算短時傅立葉變換(STFT)輸出的程序代碼。

本公開的附加特征和優(yōu)點將在下文描述。本領(lǐng)域技術(shù)人員應(yīng)該領(lǐng)會，本公開可容易地被用作修改或設(shè)計用于實施與本公開相同的目的的其他結(jié)構(gòu)的基礎(chǔ)。本領(lǐng)域技術(shù)人員還應(yīng)認(rèn)識到，這樣的等效構(gòu)造并不脫離所附權(quán)利要求中所闡述的本公開的教導(dǎo)。被認(rèn)為是本公開的特性的新穎特征在其組織和操作方法兩方面連同進(jìn)一步的目的和優(yōu)點在結(jié)合附圖來考慮以下描述時將被更好地理解。然而，要清楚理解的是，提供每一幅附圖均僅用于解說和描述目的，且無意作為對本公開的限定的定義。

附圖簡要說明

在結(jié)合附圖理解下面闡述的詳細(xì)描述時，本公開的特征、本質(zhì)和優(yōu)點將變得更加明顯，在附圖中，相同附圖標(biāo)記始終作相應(yīng)標(biāo)識。

圖1解說了根據(jù)本公開的一些方面的使用片上系統(tǒng)(包括通用處理器)來設(shè)計神經(jīng)網(wǎng)絡(luò)的示例實現(xiàn)。

圖2解說根據(jù)本公開的各方面的系統(tǒng)的示例實現(xiàn)。

圖3A是解說根據(jù)本公開的各方面的神經(jīng)網(wǎng)絡(luò)的示圖。

圖3B是解說根據(jù)本公開的各方面的示例性深度卷積網(wǎng)絡(luò)(DCN)的框圖。

圖4是解說根據(jù)本公開的各方面的可將人工智能(AI)功能模塊化的示例性軟件架構(gòu)的框圖。

圖5是解說根據(jù)本公開的各方面的智能手機上AI應(yīng)用的運行時操作的框圖。

圖6解說根據(jù)本公開的諸方面的用于處理連續(xù)時間信號的異步事件驅(qū)動樣本的方法。

圖7是解說根據(jù)本公開的諸方面的用于事件驅(qū)動的短時傅立葉變換處理的方法的框圖。

詳細(xì)描述

以下結(jié)合附圖闡述的詳細(xì)描述旨在作為各種配置的描述，而無意表示可實踐本文中所描述的概念的僅有的配置。本詳細(xì)描述包括具體細(xì)節(jié)以便提供對各種概念的透徹理解。然而，對于本領(lǐng)域技術(shù)人員將顯而易見的是，沒有這些具體細(xì)節(jié)也可實踐這些概念。在一些實例中，以框圖形式示出眾所周知的結(jié)構(gòu)和組件以避免湮沒此類概念。

基于本教導(dǎo)，本領(lǐng)域技術(shù)人員應(yīng)領(lǐng)會，本公開的范圍旨在覆蓋本公開的任何方面，不論其是與本公開的任何其他方面相獨立地還是組合地實現(xiàn)的。例如，可以使用所闡述的任何數(shù)目的方面來實現(xiàn)裝置或?qū)嵺`方法。另外，本公開的范圍旨在覆蓋使用作為所闡述的本公開的各個方面的補充或者與之不同的其他結(jié)構(gòu)、功能性、或者結(jié)構(gòu)及功能性來實踐的此類裝置或方法。應(yīng)當(dāng)理解，所披露的本公開的任何方面可由權(quán)利要求的一個或多個元素來實施。

措辭“示例性”在本文中用于表示“用作示例、實例或解說”。本文中描述為“示例性”的任何方面不必被解釋為優(yōu)于或勝過其他方面。

盡管本文描述了特定方面，但這些方面的眾多變體和置換落在本公開的范圍之內(nèi)。雖然提到了優(yōu)選方面的一些益處和優(yōu)點，但本公開的范圍并非旨在被限定于特定益處、用途或目標(biāo)。相反，本公開的各方面旨在能寬泛地應(yīng)用于不同的技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)和協(xié)議，其中一些作為示例在附圖以及以下對優(yōu)選方面的描述中解說。詳細(xì)描述和附圖僅僅解說本公開而非限定本公開，本公開的范圍由所附權(quán)利要求及其等效技術(shù)方案來定義。

事件驅(qū)動的空間-時間短時傅立葉變換處理

均勻采樣被用于卷積數(shù)據(jù)獲取和信號處理技術(shù)。采樣頻率可根據(jù)最大預(yù)期頻譜頻率確定。然而，該最大頻率采樣可能隨著松弛的性能(例如，減少的頻率內(nèi)容、增加的靜默時段)浪費用于輸入信號的功率。然而，最大頻率采樣的使用對于依賴稀缺能量資源的新興應(yīng)用是有問題的。

基于事件的采樣是均勻采樣的有前景的替代。在基于事件的采樣中，樣本僅在一些重要的事情(例如，一個事件)在信號中發(fā)生時輸出。本公開的一個方面涉及用于給依賴稀缺能量資源的高能效的未來神經(jīng)形態(tài)系統(tǒng)提供動力的異步事件驅(qū)動的信號處理技術(shù)。例如，所述技術(shù)可以在基于事件的傳感器(諸如動態(tài)視覺傳感器(DVS))中是有用的。

本公開的一方面涉及用于在連續(xù)時間和離散空間中計算采樣信號(例如，勒貝格和/或異步脈沖調(diào)制(APM)采樣信號)的空間-時間短時傅立葉變換(STFT)的事件驅(qū)動的處理。具體地，一方面涉及用于采樣信號的短時傅立葉變換的異步事件驅(qū)動的處理，其中短時傅立葉變換中的編碼(APM)脈沖和窗口函數(shù)被表達(dá)和/或近似為復(fù)加權(quán)因果復(fù)指數(shù)之和。相應(yīng)地，在神經(jīng)網(wǎng)絡(luò)中用于異步脈沖調(diào)制采樣信號的事件驅(qū)動的空間-時間短時傅立葉變換處理可以對高能效的未來神經(jīng)形態(tài)系統(tǒng)提供動力。

根據(jù)本公開的諸方面，連續(xù)的模擬信號可被接收以作為輸入?；谑录牟蓸舆^程可被應(yīng)用于生成一序列脈沖。在一些方面，所述采樣過程可包括APM采樣過程等。所述一序列脈沖可以是正脈沖、負(fù)脈沖或兩者(雙極)。由于所述輸入在事件發(fā)生時采樣，采樣率相較于可觀察到的例如均勻時間采樣低得多。如此，本系統(tǒng)和方法滿足奈奎斯特采樣率以重建更容易實現(xiàn)的輸入信號。

該一序列脈沖可進(jìn)而通過直接應(yīng)用短時傅立葉變換來處理以近似時域輸出。即，所述一序列脈沖可在不將脈沖逆轉(zhuǎn)換成模擬的來處理和創(chuàng)建輸出信號的情況下被用于生成所述輸出信號。

異步基于事件的采樣

考慮可積分的連續(xù)時間實信號從時間t₀，其中X是包含所有此類信號x(t)的集合。

極化事件序列是極化事件的經(jīng)排序集合的響應(yīng)函數(shù){(t_k,p_k)|t_k∈t0,∞),pk∈-1,1k＝1,…,K，以使得：

t_k＜t′_k if k＜k′,以及 (1)

其中δ是狄拉克增量函數(shù)。通過≡來表示包含所有此類事件序列的集合ξ(t)。在內(nèi)核函數(shù)h(t)之下的極化事件序列的直接重構(gòu)可以通過其與h(t)的卷積來給出，

在一些方面，內(nèi)核函數(shù)可以是因果的，(例如，h(t)＝0,)。進(jìn)一步通過來表示直接重構(gòu)器(例如，)。

異步脈沖調(diào)制(APM)采樣器可以在內(nèi)核函數(shù)(例如，脈沖)h(t)之下將x(t)變換為極化事件序列以使得

sign(x(t_k-0)-y(t_k-0)-x(t_o))＝p_k以及 (7)

其中0是無限小的正整數(shù)，而y(t)＝[x*h](t)是在h(t)之下對ξ(t)的直接重構(gòu)。

等級跨越采樣器(例如，勒貝格采樣器)是具有heavy-side(赫維賽德)階躍函數(shù)Θ(t)作為其內(nèi)核函數(shù)的APM采樣器。heavy-side階躍函數(shù)可以被定義為：

事件驅(qū)動的信號處理

給定連續(xù)信號x(t)，處理的目標(biāo)可以是一般地被定義為對連續(xù)事件信號x(t)的變換的計算。例如，在一些方面，該變換可以通過以下給出：

其中s表示可任選的額外獨立變量。

實際上，x(t)可以首先通過采樣器被采樣：

該采樣可得到時間值對的經(jīng)時間排序的集合{(t_k,q_k)}。在一些方面，t_ks可以被選擇成使得它們具有常規(guī)、相等的間隔，以便將采樣器配置為黎曼(Riemann)采樣器。在另一配置中，q_ks可以是二進(jìn)制的，以便將采樣器配置為APM采樣器。此外，采樣器可以被配置為等級跨越采樣器(例如，勒貝格采樣器)。

接著，技術(shù)被應(yīng)用于經(jīng)采樣信號ξ(t):

以計算在時間{t_k}處定義的近似目標(biāo)變換因而，一般地，信號處理范例可以完全由目標(biāo)變換、采樣器、以及對經(jīng)采樣信號進(jìn)行操作的技術(shù)來確定。

作為一種特殊情形，如果是恒等變換(例如，)，其中I是恒等函數(shù)，則信號處理范例縮減為通信范例：

y(t,s)＝I[x](t)＝x(t), (13)

其目標(biāo)為從經(jīng)采樣的版本ξ(t)中重構(gòu)信號x(t)。

在一些方面，事件驅(qū)動技術(shù)可以被用于將ξ(t；{(t_k,q_k)})變換成如果可以用以下遞歸關(guān)系來表達(dá)：

其中n是有限非負(fù)整數(shù)，則該技術(shù)可以被認(rèn)為是事件驅(qū)動的。即，在抵達(dá)樣本或同義地事件(t_k,q_k)之際的輸出值可以根據(jù)當(dāng)前樣本加上有限歷史來計算。

例如，如果可以被進(jìn)一步表達(dá)為樣本時間間隔而非絕對時間，

則事件驅(qū)動的技術(shù)也可被稱為時不變的。

此外，在一些方面，可以用以下廣義線性形式來表達(dá)：

其中是采樣值q的向量函數(shù)，而A和B分別是前饋和反饋內(nèi)核函數(shù)。該事件驅(qū)動的技術(shù)可以被表征為廣義線性。此外，在一些方面，時變事件驅(qū)動的信號處理技術(shù)可以用以下廣義線性形式來表達(dá)：

由此，事件驅(qū)動的信號處理技術(shù)可以被認(rèn)為是線性時不變(LTI)的。

在一個示例中，其中對單個信號(例如，t_ks)的黎曼采樣根據(jù)常規(guī)間隔q_k＝[x(t_k)]被隔開，而作為q_k的恒等函數(shù)，時不變廣義線性事件驅(qū)動的信號處理技術(shù)可包括無限脈沖響應(yīng)(IIR)濾波器。

事件驅(qū)動的短時傅立葉變換

短時傅立葉變換(STFT)被用于在信號隨著時間改變時確定信號的局部區(qū)段的頻率和相位內(nèi)容。信號x(t)在窗口函數(shù)w(t)下的STFT可以被定義為：

APM采樣信號的直接重構(gòu)的STFT

當(dāng)x(t)首先通過例如,被APM采樣并且接著通過(例如,)被直接重構(gòu)時，y(t)的STFT可以提供對的近似：

使用{(t_k,p_k)}來表示事件序列并且應(yīng)用等式5，

其中：

是事件t_k對的基本貢獻(xiàn)。

因果指數(shù)編碼脈沖和STFT窗口

在一些方面，對APM的編碼脈沖以及STFT的窗口函數(shù)兩者可包括因果指數(shù)函數(shù)。例如，

以及 (25)

其中ω_h≥0和ω_w≥0是指數(shù)函數(shù)的逆寬度。

將這些函數(shù)插入等式24中產(chǎn)生：

此處：

將分解成兩個分量，

其中：

以及 (36)

和兩者的幅值從τ＝t_k以指數(shù)級衰減，

的瞬時相位僅取決于絕對時間τ，并且獨立于事件時間t_k，

而的相位是由事件時間t_k確定的常數(shù)，與絕對時間τ無關(guān)，

相應(yīng)地，將狀態(tài)變量和定義為如下：

以及 (42)

可以被表達(dá)為：

具有指數(shù)窗口函數(shù)和指數(shù)APM編碼脈沖的事件驅(qū)動的STFT技術(shù)

計算的基于事件的技術(shù)可以通過分析地追蹤在τ∈(t_k-1,t_k]期間(例如，自從事件τ＝t_k-1以來直到抵達(dá)事件τ＝t_k)的演進(jìn)來導(dǎo)出。

在τ＝t_k-1+0(此處0可以表示無限小正值)，

在τ＝t_k.-0，和兩者的幅值可以按照常數(shù)和指數(shù)衰減，而前者的相位可繼續(xù)其改變過程，后者的相位保持常數(shù)。這可以從以下觀察到

以及從以下觀察到

最終，在τ＝t_k+0,和兩者經(jīng)歷事件t_k觸發(fā)的增量：

因而，從事件t_k-1到事件t_k的和兩者的改變?yōu)?/p>

概括來說，給定極化事件序列作為在指數(shù)內(nèi)核函數(shù)之下的APM采樣信號x(t)，其中表1中的偽代碼描述了單純的事件驅(qū)動的技術(shù)，該單純的事件驅(qū)動的技術(shù)在指數(shù)窗口函數(shù)之下計算直接重構(gòu)的STFT。

將等式67和68相加，產(chǎn)生

與等式67和68相組合，這一特定技術(shù)得到廣義LTI IIR濾波器(等式18)，例如，

其中

以及 73

表1-6包括根據(jù)本公開的各方面的用于處理連續(xù)時間信號的異步事件驅(qū)動樣本的示例性偽代碼。如表1中所指示的，對于事件時間向量t的每一事件以及時間窗口中的每一頻率，狀態(tài)變量向量u和v可以被更新并且被用于計算輸出信號y。

表1

匹配指數(shù)編碼脈沖和STFT窗口

在一些方面，APM的指數(shù)編碼脈沖和STFT的指數(shù)窗口函數(shù)可以是對稱的(例如，ω_h＝ω_ω＝ω₀)。由此，APM內(nèi)核函數(shù)h(t)可以被表達(dá)為：

在此情形中，

狀態(tài)變量(等式67)和(等式68)的事件驅(qū)動更新可因而被表達(dá)為：

表2包括根據(jù)本公開的各方面的用于處理連續(xù)時間信號的異步事件驅(qū)動樣本的示例性偽代碼。由于APM的指數(shù)編碼脈沖以及STFT的指數(shù)窗口函數(shù)是對稱的(例如，ω_h＝ω_ω＝ω₀)，因此表2的示例性偽代碼提供了對表1的偽代碼的簡化。這例如在處理具有非因果脈沖形狀的輸入時可以是有用的，這些輸入原本可能由于潛在的較大延遲而被截斷或取窗口。

表2

等級跨越采樣以及指數(shù)STFT窗口

在一些方面，輸入信號可以經(jīng)受等級跨越采樣(例如，在heavy-side階躍函數(shù)下的APM采樣作為編碼脈沖)。在此情形中，ω_h可以被設(shè)置為：

ω_h＝0, (79)

并且ω_w＝ω₀。此外，相位偏移γ可以通過以下給出：

相應(yīng)地，(等式67)和(等式68)的事件驅(qū)動的更新可以被表達(dá)為：

表3包括根據(jù)本公開的各方面的用于處理連續(xù)時間信號的異步事件驅(qū)動樣本的示例性偽代碼。在表3的示例性偽代碼中，表1的偽代碼可以被簡化，其中輸入信號使用等級跨越采樣方法(例如，勒貝格采樣)來采樣。例如，在一方面，輸入可以是在heavy-side階躍函數(shù)下經(jīng)過APM采樣作為編碼脈沖。通過應(yīng)用heavy-side函數(shù)，脈沖變?yōu)橐蚬缘摹Ｓ纱?，輸入可以以少得多的延遲來處理(例如，實時處理)。

表3

廣義化：復(fù)指數(shù)之和APM編碼內(nèi)核以及STFT窗口函數(shù)

在一些方面，該過程可以被廣義化，以使得APM內(nèi)核h(t)以及STFT窗口w(t)可以是任意的因果函數(shù)。

復(fù)ω_h和ω_ω

在一個示例中，表1中描述的事件驅(qū)動的技術(shù)可以被廣義化為其中ω_h和ω_ω為復(fù)數(shù)的情形，例如，

ω_h＝α_h+iβ_h以及 （83）

ω_ω＝α_ω+iβ_ω, （84）

但具有非負(fù)實部，例如，

因而，事件t_k(等式24)對的貢獻(xiàn)變?yōu)?/p>

其中

的分解因而產(chǎn)生狀態(tài)變量：

同樣地，從事件t_k-1到事件t_k的狀態(tài)和的線性遞歸關(guān)系如下：

復(fù)指數(shù)之和

考慮任意的因果函數(shù)，f(t)＝Θ(t)g(t),如果g(t)可以被表達(dá)為復(fù)指數(shù)之和，例如：

其中則f(t)可以被表達(dá)為因果復(fù)指數(shù)的復(fù)加權(quán)之和，例如：

這一形式就近似任意函數(shù)(例如，使用Prony方法)來說是具有表現(xiàn)力的。

在一些方面，被表達(dá)為因果、阻尼振蕩的加權(quán)和的實函數(shù)可以被轉(zhuǎn)換成因果復(fù)指數(shù)的復(fù)加權(quán)和的形式。首先，作為N因果、阻尼振蕩的加權(quán)和的實函數(shù)可以被表達(dá)為：

其中ρ_n’s,σ_n’s,ω_n’s和φ_n’s是分量的幅值、阻尼常數(shù)、角頻率和相位。

通過復(fù)指數(shù)的共軛對來構(gòu)建(a_j,b_j)(j＝1,....,2N)

以及 (104)

產(chǎn)生

由此，等式103形式的實因果函數(shù)可以被表達(dá)為因果復(fù)指數(shù)的復(fù)加權(quán)和。

APM內(nèi)核和STFT窗口作為因果復(fù)指數(shù)的復(fù)加權(quán)之和

在一些方面，h(t)和w(t)可以一般地用其中兩者都是因果復(fù)指數(shù)的復(fù)加權(quán)之和的形式來表達(dá)，例如，

接著，事件t_k對的貢獻(xiàn)(等式24)變?yōu)?/p>

其中

寫為

(118)

可以被進(jìn)一步分解并且被表達(dá)為：

其中

以及 (120)

以及 (121)

其中

定義狀態(tài)

以及 (123)

產(chǎn)生

因為和的形式與等式42和43中的和實質(zhì)上相同，所以狀態(tài)和從事件t_k-1到事件t_k的線性遞歸關(guān)系如下：

因此，表1中描述的事件驅(qū)動的STFT技術(shù)可以被廣義化為表4中匯總的內(nèi)容。

表4包括類似于表1的示例性偽代碼，但被進(jìn)一步廣義化以允許APM內(nèi)核函數(shù)h(t)和STFT窗口函數(shù)w(t)作為任意因果函數(shù)。即，表4匯總了廣義化設(shè)計以容適普通脈沖形狀(例如，除了指數(shù)之外)。

表格4

離散空間傅立葉變換

考慮連續(xù)空間-時間信號：

X(t)＝[x_r](t)＝[x_μυ](t) (129)

通過M x N維矩形傳感器陣列來采樣，該傳感器的每一元素(例如，像素)r＝[μ,υ]^T(μ＝1,…,M；υ＝1,…,N)可以是上文定義的任一類型的基于事件的采樣器。用x_μ,υ(t)表示單像素信號。

瞬時空間DFT

L階離散傅立葉變換(DFT)矩陣可以是如下的復(fù)矩陣：

其中

是單元的L根，而

是S_L的(k+1)列。

在時間t，在空間頻率向量ω_r＝[ω_μ,ω_v]^T(ω_μ＝0,…,M-1；ω_v＝0,…,N-1)處的x(r,t)的瞬時2維空間DFT可以被定義為：

短時空間DFT

空間-時間信號X(t)＝[x_μ,v](t)的短時空間DFT，通過來表示，可以被定義為：

其中w(t)是窗口函數(shù)。

相應(yīng)地，瞬時空間DFT僅僅是其中窗口函數(shù)為的短時空間DFT。

極化事件序列的短時空間DFT

令信號X(t)＝[x_μ,υ](t)為極化事件序列{(t_μ,v,k′,p_μ,v,k′)}：

通過實質(zhì)上使用事件地址表示(AER)方案來將重寫并且組合為{(t_k,p_k,μ_k,ν_k)}，其中M x N信號中的所有事件由單個下標(biāo)k來索引，而每一事件的身份(μ_k,v_k)附連到其時間戳和極性。因而，等式138可以被重寫為

因而，

其中

是離散M x N矩陣，其中在第μ_k行和第v_k列為1，其他地方為0。

插入等式137，產(chǎn)生

其中矩陣是S_M的第μ_k列與S_N的列之間的外積。

定義

可以被表達(dá)為：

極化事件序列的事件驅(qū)動的指數(shù)窗口短時空間DFT

給定因果指數(shù)窗口函數(shù)可以被表達(dá)為：

并且因而，

計算的基于事件的技術(shù)可以通過分析地追蹤τ∈(t_k-1,t_k]期間(例如，自從事件τ＝t_k-1以來直到抵達(dá)事件τ＝t_k)的演進(jìn)來導(dǎo)出。

緊接著事件τ＝t_k-1之后，

在緊挨抵達(dá)事件τ＝t_k之前，

在抵達(dá)事件τ＝t_k-1之際，

組合等式154和157，從事件t_k-1到事件t_k的改變可以通過以下給出：

因此，表5中描述的單純的事件驅(qū)動的技術(shù)執(zhí)行在因果指數(shù)窗口函數(shù)之下對極化事件序列的短時空間DFT的計算。

表5包括用于事件驅(qū)動的技術(shù)的示例性偽代碼，其執(zhí)行在因果指數(shù)窗口函數(shù)之下對極化事件序列的短時空間離散FT的計算。表5廣義化了針對空間短時傅立葉變換(STFT)的單時間函數(shù)到多時間函數(shù)的STFT(例如，以處理跨320x480像素的信號)。

表5

離散空間連續(xù)時間短時傅立葉變換

可以采用進(jìn)一步的廣義化來產(chǎn)生用于在離散空間和連續(xù)時間中對完整、空間-時間STFT進(jìn)行計算的單純的事件驅(qū)動的技術(shù)。

空間-時間STFT

給定信號X(t)＝[x_μ,v](t)(μ＝1,…,M；ν＝1,…,N)，空間-時間實質(zhì)上是X(t)的分量(例如，x_μ,v(t))的STFT的瞬時空間DFT。也就是說，

以及 (159)

因此，

APM采樣信號的事件驅(qū)動的空間-時間STFT

如果在內(nèi)核函數(shù)h(t)之下對信號進(jìn)行APM采樣，并且生成極化事件序列Ξ(t；{(t_k,p_k,μ_k,ν_k)})＝[ξμ,ν](t)，原始信號X(t)可以通過直接重構(gòu)來近似

用等式162中的其近似Y(t)來替換X(t)，得到對的近似，

定義

產(chǎn)生

因果指數(shù)編碼脈沖和STFT窗口

在APM編碼內(nèi)核和STFT窗口兩者對于等式25和26是因果指數(shù)函數(shù)的情況下，等式168變?yōu)?/p>

用于具有因果指數(shù)APM編碼脈沖和STFT窗口的完整空間-時間STFT的事件驅(qū)動的技術(shù)

類似于上文提出的推導(dǎo)，對于在指數(shù)STFT窗口之下的指數(shù)APM采樣信號，得到在離散空間和連續(xù)時間中用于完整空間-時間STFT的單純的事件驅(qū)動的技術(shù)。該技術(shù)在表6中被匯總。

表6包括對于在指數(shù)STFT窗口之下的指數(shù)APM采樣信號，用于離散空間和連續(xù)時間中的完整空間-時間STFT的事件驅(qū)動的技術(shù)的示例性偽代碼。

表6

圖1解說根據(jù)本公開的某些方面使用片上系統(tǒng)(SOC)100對連續(xù)時間信號的異步事件驅(qū)動型采樣進(jìn)行前述處理的示例實現(xiàn)，SOC 100可包括通用處理器(CPU)或多核通用處理器(CPU)102。變量(例如，神經(jīng)信號和突觸權(quán)重)、與計算設(shè)備相關(guān)聯(lián)的系統(tǒng)參數(shù)(例如，帶有權(quán)重的神經(jīng)網(wǎng)絡(luò))、延遲、頻率槽信息、以及任務(wù)信息可被存儲在與神經(jīng)處理單元(NPU)108相關(guān)聯(lián)的存儲器塊、與CPU 102相關(guān)聯(lián)的存儲器塊、與圖形處理單元(GPU)104相關(guān)聯(lián)的存儲器塊、與數(shù)字信號處理器(DSP)106相關(guān)聯(lián)的存儲器塊、專用存儲器塊118中，或可跨多個塊分布。在通用處理器102處執(zhí)行的指令可從與CPU 102相關(guān)聯(lián)的程序存儲器加載或可從專用存儲器塊118加載。

SOC 100還可包括為具體功能定制的附加處理塊(諸如GPU 104、DSP 106、連通性塊110(其可包括第四代長期演進(jìn)(4G LTE)連通性、無執(zhí)照Wi-Fi連通性、USB連通性、藍(lán)牙連通性等))以及例如可檢測和識別姿勢的多媒體處理器112(諸如圖像捕捉設(shè)備)。在一種實現(xiàn)中，NPU實現(xiàn)在CPU、DSP、和/或GPU中。SOC 100還可包括傳感器處理器114、圖像信號處理器(ISP)、和/或?qū)Ш?20(其可包括全球定位系統(tǒng))。SOC可基于ARM指令集。在本公開的一方面，加載到通用處理器102中的指令可包括用于基于事件驅(qū)動的樣本來計算短時傅立葉變換輸出的代碼。

圖2解說了根據(jù)本公開的某些方面的系統(tǒng)200的示例實現(xiàn)。如圖2中所解說的，系統(tǒng)200可具有可執(zhí)行本文所描述的方法的各種操作的多個局部處理單元202。每個局部處理單元202可包括局部狀態(tài)存儲器204和可存儲神經(jīng)網(wǎng)絡(luò)的參數(shù)的局部參數(shù)存儲器206。另外，局部處理單元202可具有用于存儲局部模型程序的局部(神經(jīng)元)模型程序(LMP)存儲器208、用于存儲局部學(xué)習(xí)程序的局部學(xué)習(xí)程序(LLP)存儲器210、以及局部連接存儲器212。此外，如圖2中所解說的，每個局部處理單元202可與用于為該局部處理單元的各局部存儲器提供配置的配置處理器單元214對接，并且與提供各局部處理單元202之間的路由的路由連接處理單元216對接。

深度學(xué)習(xí)架構(gòu)可通過學(xué)習(xí)在每一層中以逐次更高的抽象程度來表示輸入、藉此構(gòu)建輸入數(shù)據(jù)的有用特征表示來執(zhí)行對象識別任務(wù)。以此方式，深度學(xué)習(xí)解決了傳統(tǒng)機器學(xué)習(xí)的主要瓶頸。在深度學(xué)習(xí)出現(xiàn)之前，用于對象識別問題的機器學(xué)習(xí)辦法可能嚴(yán)重依賴人類工程設(shè)計的特征，或許與淺分類器相結(jié)合。淺分類器可以是兩類線性分類器，例如，其中可將特征向量分量的加權(quán)和與閾值作比較以預(yù)測輸入屬于哪一類。人類工程設(shè)計的特征可以是由擁有領(lǐng)域?qū)I(yè)知識的工程師針對具體問題領(lǐng)域定制的模版或內(nèi)核。相反，深度學(xué)習(xí)架構(gòu)可學(xué)習(xí)以表示與人類工程師可能會設(shè)計的相似的特征，但它是通過訓(xùn)練來學(xué)習(xí)的。另外，深度網(wǎng)絡(luò)可以學(xué)習(xí)以表示和識別人類可能還沒有考慮過的新類型的特征。

深度學(xué)習(xí)架構(gòu)可以學(xué)習(xí)特征階層。例如，如果向第一層呈遞視覺數(shù)據(jù)，則第一層可學(xué)習(xí)去識別輸入流中的簡單特征(諸如邊)。如果向第一層呈遞聽覺數(shù)據(jù)，則第一層可學(xué)習(xí)去識別特定頻率中的頻譜功率。取第一層的輸出作為輸入的第二層可以學(xué)習(xí)以識別特征組合，諸如對于視覺數(shù)據(jù)識別簡單形狀或?qū)τ诼犛X數(shù)據(jù)識別聲音組合。更高層可學(xué)習(xí)去表示視覺數(shù)據(jù)中的復(fù)雜形狀或聽覺數(shù)據(jù)中的詞語。再高層可學(xué)習(xí)以識別常見視覺對象或口語短語。

深度學(xué)習(xí)架構(gòu)在被應(yīng)用于具有自然階層結(jié)構(gòu)的問題時可能表現(xiàn)特別好。例如，機動交通工具的分類可受益于首先學(xué)習(xí)以識別輪子、擋風(fēng)玻璃、以及其他特征。這些特征可在更高層以不同方式被組合以識別轎車、卡車和飛機。

神經(jīng)網(wǎng)絡(luò)可被設(shè)計成具有各種連通性模式。在前饋網(wǎng)絡(luò)中，信息從較低層被傳遞到較高層，其中給定層中的每個神經(jīng)元向更高層中的神經(jīng)元進(jìn)行傳達(dá)。如上所述，可在前饋網(wǎng)絡(luò)的相繼層中構(gòu)建階層式表示。神經(jīng)網(wǎng)絡(luò)還可具有回流或反饋(也被稱為自頂向下(top-down))連接。在回流連接中，來自給定層中的神經(jīng)元的輸出被傳達(dá)給相同層中的另一神經(jīng)元。遞歸架構(gòu)可有助于識別在時間上展開的模式。從給定層中的神經(jīng)元到較低層中的神經(jīng)元的連接被稱為反饋(或自頂向下)連接。當(dāng)高層級概念的識別可輔助辨別輸入的特定低層級特征時，具有許多反饋連接的網(wǎng)絡(luò)可能是有助益的。

參照圖3A，神經(jīng)網(wǎng)絡(luò)的各層之間的連接可以是全連接的(302)或局部連接的(304)。在全連通網(wǎng)絡(luò)302中，給定層中的神經(jīng)元可以將其輸出傳達(dá)給下一層中的每一神經(jīng)元。替換地，在局部連接網(wǎng)絡(luò)304中，給定層中的神經(jīng)元可連接至下一層中有限數(shù)目的神經(jīng)元。卷積網(wǎng)絡(luò)306可以是局部連接的，并且進(jìn)一步是其中與給定層中的每個神經(jīng)元相關(guān)聯(lián)的連接強度被共享的特殊情形(例如，308)。更一般化地，網(wǎng)絡(luò)的局部連接層可被配置成使得一層中的每個神經(jīng)元將具有相同或相似的連通性模式，但其連接強度可具有不同的值(例如，310、312、314和316)。局部連接的連通性模式可能在更高層中產(chǎn)生空間上相異的感受野，這是由于給定區(qū)域中的更高層神經(jīng)元可接收到通過訓(xùn)練被調(diào)諧為到網(wǎng)絡(luò)的總輸入的受限部分的性質(zhì)的輸入。

局部連接的神經(jīng)網(wǎng)絡(luò)可能非常適合于其中輸入的空間位置有意義的問題。例如，被設(shè)計成識別來自車載相機的視覺特征的網(wǎng)絡(luò)300可發(fā)展具有不同性質(zhì)的高層神經(jīng)元，這取決于它們與圖像下部關(guān)聯(lián)還是與圖像上部關(guān)聯(lián)。例如，與圖像下部相關(guān)聯(lián)的神經(jīng)元可學(xué)習(xí)以識別車道標(biāo)記，而與圖像上部相關(guān)聯(lián)的神經(jīng)元可學(xué)習(xí)以識別交通信號燈、交通標(biāo)志等。

DCN可以用受監(jiān)督式學(xué)習(xí)來訓(xùn)練。在訓(xùn)練期間，DCN可被呈遞圖像326(諸如如所示出的限速標(biāo)志的經(jīng)裁剪圖像)，并且可隨后計算“前向傳遞(forward pass)”以產(chǎn)生輸出328。輸出328可以是對應(yīng)于特征(諸如“標(biāo)志”、“60”、和“100”)的值向量。網(wǎng)絡(luò)設(shè)計者可能希望DCN在輸出特征向量中針對其中一些神經(jīng)元輸出高得分，例如與經(jīng)訓(xùn)練的網(wǎng)絡(luò)300的輸出328中所示的“標(biāo)志”和“60”對應(yīng)的那些神經(jīng)元。在訓(xùn)練之前，DCN產(chǎn)生的輸出很可能是不正確的，并且由此可計算實際輸出與目標(biāo)輸出之間的誤差。DCN的權(quán)重可隨后被調(diào)整以使得DCN的輸出得分與目標(biāo)更緊密地對準(zhǔn)。

為了正確地調(diào)整權(quán)重，學(xué)習(xí)過程可為權(quán)重計算梯度向量。該梯度可指示在權(quán)重被略微調(diào)整情況下誤差將增加或減少的量。在頂層，該梯度可直接對應(yīng)于連接倒數(shù)第二層中的活化神經(jīng)元與輸出層中的神經(jīng)元的權(quán)重的值。在較低層中，該梯度可取決于權(quán)重的值以及所計算出的較高層的誤差梯度。權(quán)重可隨后被調(diào)整以減小誤差。這種調(diào)整權(quán)重的方式可被稱為“反向傳播”，因為其涉及在神經(jīng)網(wǎng)絡(luò)中的反向傳遞(“backward pass”)。

在實踐中，權(quán)重的誤差梯度可能是在少量示例上計算的，從而計算出的梯度近似于真實誤差梯度。這種近似方法可被稱為隨機梯度下降法。隨機梯度下降法可被重復(fù)，直到整個系統(tǒng)可達(dá)成的誤差率已停止下降或直到誤差率已達(dá)到目標(biāo)水平。

在學(xué)習(xí)之后，DCN可被呈遞新圖像326并且在網(wǎng)絡(luò)中的前向傳遞可產(chǎn)生輸出328，其可被認(rèn)為是該DCN的推斷或預(yù)測。

深度置信網(wǎng)絡(luò)(DBN)是包括多層隱藏節(jié)點的概率性模型。DBN可被用于提取訓(xùn)練數(shù)據(jù)集的階層式表示。DBN可通過堆疊多層受限波爾茲曼機(RBM)來獲得。RBM是一類可在輸入集上學(xué)習(xí)概率分布的人工神經(jīng)網(wǎng)絡(luò)。由于RBM可在沒有關(guān)于每個輸入應(yīng)該被分類到哪個類的信息的情況下學(xué)習(xí)概率分布，因此RBM經(jīng)常被用于無監(jiān)督式學(xué)習(xí)。使用混合無監(jiān)督式和受監(jiān)督式范式，DBN的底部RBM可按無監(jiān)督方式被訓(xùn)練并且可以用作特征提取器，而頂部RBM可按受監(jiān)督方式(在來自先前層的輸入和目標(biāo)類的聯(lián)合分布上)被訓(xùn)練并且可用作分類器。

深度卷積網(wǎng)絡(luò)(DCN)是卷積網(wǎng)絡(luò)的網(wǎng)絡(luò)，其配置有附加的池化和歸一化層。DCN已在許多任務(wù)上達(dá)成現(xiàn)有最先進(jìn)的性能。DCN可使用受監(jiān)督式學(xué)習(xí)來訓(xùn)練，其中輸入和輸出目標(biāo)兩者對于許多典范是已知的并被用于通過使用梯度下降法來修改網(wǎng)絡(luò)的權(quán)重。

DCN可以是前饋網(wǎng)絡(luò)。另外，如上所述，從DCN的第一層中的神經(jīng)元到下一更高層中的神經(jīng)元群的連接跨第一層中的神經(jīng)元被共享。DCN的前饋和共享連接可被利用于進(jìn)行快速處理。DCN的計算負(fù)擔(dān)可比例如類似大小的包括回流或反饋連接的神經(jīng)網(wǎng)絡(luò)小得多。

卷積網(wǎng)絡(luò)的每一層的處理可被認(rèn)為是空間不變模版或基礎(chǔ)投影。如果輸入首先被分解成多個通道，諸如彩色圖像的紅色、綠色和藍(lán)色通道，那么在該輸入上訓(xùn)練的卷積網(wǎng)絡(luò)可被認(rèn)為是三維的，其具有沿著該圖像的軸的兩個空間維度以及捕捉顏色信息的第三維度。卷積連接的輸出可被認(rèn)為在后續(xù)層318、320以及322中形成特征圖，該特征圖(例如，320)中的每個元素從先前層(例如，318)中一定范圍的神經(jīng)元以及從該多個通道中的每一個通道接收輸入。特征圖中的值可以用非線性(諸如矯正)max(0,x)進(jìn)一步處理。來自毗鄰神經(jīng)元的值可被進(jìn)一步池化324(這對應(yīng)于降采樣)并可提供附加的局部不變性以及維度縮減。還可通過特征圖中神經(jīng)元之間的側(cè)向抑制來應(yīng)用歸一化，其對應(yīng)于白化。

深度學(xué)習(xí)架構(gòu)的性能可隨著有更多被標(biāo)記的數(shù)據(jù)點變?yōu)榭捎没螂S著計算能力提高而提高。現(xiàn)代深度神經(jīng)網(wǎng)絡(luò)用比僅僅十五年前可供典型研究者使用的計算資源多數(shù)千倍的計算資源來例行地訓(xùn)練。新的架構(gòu)和訓(xùn)練范式可進(jìn)一步推升深度學(xué)習(xí)的性能。經(jīng)矯正的線性單元可減少被稱為梯度消失的訓(xùn)練問題。新的訓(xùn)練技術(shù)可減少過度擬合(over-fitting)并因此使更大的模型能夠達(dá)成更好的普遍化。封裝技術(shù)可抽象出給定的感受野中的數(shù)據(jù)并進(jìn)一步提升總體性能。

圖3B是解說示例性深度卷積網(wǎng)絡(luò)350的框圖。深度卷積網(wǎng)絡(luò)350可包括多個基于連通性和權(quán)重共享的不同類型的層。如圖3B所示，該示例性深度卷積網(wǎng)絡(luò)350包括多個卷積塊(例如，C1和C2)。每個卷積塊可配置有卷積層、歸一化層(LNorm)、和池化層。卷積層可包括一個或多個卷積濾波器，其可被應(yīng)用于輸入數(shù)據(jù)以生成特征圖。盡管僅示出了兩個卷積塊，但本公開不限于此，而是，根據(jù)設(shè)計偏好，任何數(shù)目的卷積塊可被包括在深度卷積網(wǎng)絡(luò)350中。歸一化層可被用于對卷積濾波器的輸出進(jìn)行歸一化。例如，歸一化層可提供白化或側(cè)向抑制。池化層可提供在空間上的降采樣聚集以實現(xiàn)局部不變性和維度縮減。

例如，深度卷積網(wǎng)絡(luò)的平行濾波器組可任選地基于ARM指令集被加載到SOC 100的CPU 102或GPU 104上以達(dá)成高性能和低功耗。在替換實施例中，平行濾波器組可被加載到SOC 100的DSP 106或ISP 116上。另外，DCN可訪問其他可存在于SOC上的處理塊，諸如專用于傳感器114和導(dǎo)航120的處理塊。

深度卷積網(wǎng)絡(luò)350還可包括一個或多個全連接層(例如，F(xiàn)C1和FC2)。深度卷積網(wǎng)絡(luò)350可進(jìn)一步包括邏輯回歸(LR)層。深度卷積網(wǎng)絡(luò)350的每一層之間是要被更新的權(quán)重(未示出)。每一層的輸出可以用作深度卷積網(wǎng)絡(luò)350中后續(xù)層的輸入以從第一卷積塊C1處提供的輸入數(shù)據(jù)(例如，圖像、音頻、視頻、傳感器數(shù)據(jù)和/或其他輸入數(shù)據(jù))學(xué)習(xí)階層式特征表示。

圖4是解說可使人工智能(AI)功能模塊化的示例性軟件架構(gòu)400的框圖。使用該架構(gòu)，應(yīng)用402可被設(shè)計成可使得SOC 420的各種處理塊(例如CPU 422、DSP 424、GPU 426和/或NPU 428)在該應(yīng)用402的運行時操作期間執(zhí)行支持計算。

AI應(yīng)用402可配置成調(diào)用在用戶空間404中定義的功能，例如，這些功能可提供對指示該設(shè)備當(dāng)前操作位置的場景的檢測和識別。例如，AI應(yīng)用402可取決于識別出的場景是辦公室、報告廳、餐館、還是室外環(huán)境(諸如湖泊)而以不同方式配置話筒和相機。AI應(yīng)用402可向與在場景檢測應(yīng)用編程接口(API)406中定義的庫相關(guān)聯(lián)的經(jīng)編譯程序代碼作出請求以提供對當(dāng)前場景的估計。該請求可最終依賴于配置成基于例如視頻和定位數(shù)據(jù)來提供場景估計的深度神經(jīng)網(wǎng)絡(luò)的輸出。

運行時引擎408(其可以是運行時框架的經(jīng)編譯代碼)可進(jìn)一步可由AI應(yīng)用402訪問。例如，AI應(yīng)用402可使得運行時引擎請求特定時間間隔的場景估計或由應(yīng)用的用戶接口檢測到的事件觸發(fā)的場景估計。在使得運行時引擎估計場景時，運行時引擎可進(jìn)而發(fā)送信號給在SOC 420上運行的操作系統(tǒng)410(諸如Linux內(nèi)核412)。操作系統(tǒng)410進(jìn)而可使得在CPU 422、DSP 424、GPU 426、NPU 428、或其某種組合上執(zhí)行計算。CPU 422可被操作系統(tǒng)直接訪問，而其他處理塊可通過驅(qū)動器(諸如用于DSP 424、GPU 426、或NPU 428的驅(qū)動器414-418)被訪問。在示例性示例中，深度神經(jīng)網(wǎng)絡(luò)可被配置成在處理塊的組合(諸如CPU 422和GPU 426)上運行，或可在NPU 428(如果存在的話)上運行。

圖5是解說智能手機502上的AI應(yīng)用的運行時操作500的框圖。AI應(yīng)用可包括預(yù)處理模塊504，該預(yù)處理模塊504可被配置(例如，使用JAVA編程語言被配置)成轉(zhuǎn)換圖像506的格式并隨后對該圖像進(jìn)行剪裁和/或調(diào)整大小(508)。經(jīng)預(yù)處理的圖像可接著被傳達(dá)給分類應(yīng)用510，該分類應(yīng)用510包含場景檢測后端引擎512，該場景檢測后端引擎512可被配置(例如，使用C編程語言被配置)成基于視覺輸入來檢測和分類場景。場景檢測后端引擎512可被配置成進(jìn)一步通過縮放(516)和剪裁(518)來預(yù)處理(514)該圖像。例如，該圖像可被縮放和剪裁以使所得到的圖像是224像素×224像素。這些維度可映射到神經(jīng)網(wǎng)絡(luò)的輸入維度。神經(jīng)網(wǎng)絡(luò)可由深度神經(jīng)網(wǎng)絡(luò)塊520配置以使得SOC 100的各種處理塊進(jìn)一步借助深度神經(jīng)網(wǎng)絡(luò)來處理圖像像素。深度神經(jīng)網(wǎng)絡(luò)的結(jié)果可隨后被取閾(522)并被傳遞通過分類應(yīng)用510中的指數(shù)平滑塊524。經(jīng)平滑的結(jié)果可接著使得智能手機502的設(shè)置和/或顯示改變。

在一種配置中，神經(jīng)元模型被配置成用于基于事件驅(qū)動的樣本來計算短時傅立葉變換輸出和/或在事件之間內(nèi)插輸出。神經(jīng)元模型包括計算裝置和/或內(nèi)插裝置。在一個方面，計算裝置和/或內(nèi)插裝置可以是配置成執(zhí)行所敘述功能的通用處理器102、與通用處理器102相關(guān)聯(lián)的程序存儲器、存儲器塊118、局部處理單元202、和/或路由連接處理單元216。在另一配置中，前述裝置可以是被配置成執(zhí)行由前述裝置所敘述的功能的任何模塊或任何裝置。

根據(jù)本公開的某些方面，每個局部處理單元202可被配置成基于神經(jīng)網(wǎng)絡(luò)的一個或多個期望功能性特征來確定神經(jīng)網(wǎng)絡(luò)的參數(shù)，以及隨著所確定的參數(shù)被進(jìn)一步適配、調(diào)諧和更新來使這一個或多個功能性特征朝著期望的功能性特征發(fā)展。

圖6解說用于處理連續(xù)時間信號的異步事件驅(qū)動樣本的方法600。在框602，該過程基于事件驅(qū)動的樣本來計算短時傅立葉變換(STFT)輸出。在一些方面，該過程通過將編碼脈沖和STFT窗口函數(shù)表達(dá)為復(fù)加權(quán)因果復(fù)指數(shù)之和來計算STFT輸出。

在其他方面，可通過將STFT窗口函數(shù)中的編碼脈沖近似為復(fù)加權(quán)因果復(fù)指數(shù)之和來計算STFT輸出。編碼脈沖可包括異步脈沖調(diào)制(APM)編碼脈沖。在框604，進(jìn)一步，該過程在事件之間內(nèi)插輸出。

在一些方面，該過程可進(jìn)一步包括計算空間-時間STFT輸出?？臻g-時間STFT輸出可以使用連續(xù)時間事件驅(qū)動的STFT輸出基于事件驅(qū)動的空間離散傅立葉變換(DFT)輸出來計算。

圖7是解說根據(jù)本公開的諸方面的用于事件驅(qū)動的短時傅立葉變換處理的方法的框圖。在框702，該過程初始化狀態(tài)變量(例如，u,v)。在框704，該過程將連續(xù)時間輸入信號表示為事件序列。例如，基于事件的采樣過程(例如，APM采樣)可被應(yīng)用以生成一序列脈沖。在一些方面，所述一序列脈沖可以是正脈沖、負(fù)脈沖或兩者(雙極)。

在框706，該過程確定事件是否發(fā)生。如果事件已經(jīng)發(fā)生，則在框708對于時間窗口中的每一頻率該過程更新狀態(tài)變量(例如，u,v)。在框710，該過程使用經(jīng)更新的狀態(tài)變量來計算時間t_k處的輸出信號(例如，STFT輸出、空間-時間STFT或DFT輸出)。輸出信號可包括對連續(xù)時間輸出信號y(t)的近似。另一方面，如果事件尚未發(fā)生，則該過程可以返回至框706以等待事件的發(fā)生(例如，保持在空閑模式中)。

以上所描述的方法的各種操作可由能夠執(zhí)行相應(yīng)功能的任何合適的裝置來執(zhí)行。這些裝置可包括各種硬件和/或(諸)軟件組件和/或(諸)模塊，包括但不限于電路、專用集成電路(ASIC)、或處理器。一般而言，在附圖中有解說的操作的場合，那些操作可具有帶相似編號的相應(yīng)配對裝置加功能組件。

如本文所使用的，術(shù)語“確定”涵蓋各種各樣的動作。例如，“確定”可包括演算、計算、處理、推導(dǎo)、研究、查找(例如，在表、數(shù)據(jù)庫或其他數(shù)據(jù)結(jié)構(gòu)中查找)、探知及諸如此類。另外，“確定”可包括接收(例如接收信息)、訪問(例如訪問存儲器中的數(shù)據(jù))、及類似動作。而且，“確定”可包括解析、選擇、選取、確立及類似動作。

如本文中所使用的，引述一列項目中的“至少一個”的短語是指這些項目的任何組合，包括單個成員。作為示例，“a、b或c中的至少一個”旨在涵蓋：a、b、c、a-b、a-c、b-c、以及a-b-c。

結(jié)合本公開所描述的各種解說性邏輯框、模塊、以及電路可用設(shè)計成執(zhí)行本文所描述功能的通用處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列信號(FPGA)或其他可編程邏輯器件(PLD)、分立的門或晶體管邏輯、分立的硬件組件或其任何組合來實現(xiàn)或執(zhí)行。通用處理器可以是微處理器，但在替換方案中，處理器可以是任何市售的處理器、控制器、微控制器、或狀態(tài)機。處理器還可被實現(xiàn)為計算設(shè)備的組合，例如DSP與微處理器的組合、多個微處理器、與DSP核心協(xié)同的一個或多個微處理器、或任何其它此類配置。

結(jié)合本公開描述的方法或算法的步驟可直接在硬件中、在由處理器執(zhí)行的軟件模塊中、或在這兩者的組合中實施。軟件模塊可駐留在本領(lǐng)域所知的任何形式的存儲介質(zhì)中。可使用的存儲介質(zhì)的一些示例包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、閃存、可擦除可編程只讀存儲器(EPROM)、電可擦除可編程只讀存儲器(EEPROM)、寄存器、硬盤、可移動盤、CD-ROM等。軟件模塊可包括單條指令、或許多條指令，且可分布在若干不同的代碼段上，分布在不同的程序間以及跨多個存儲介質(zhì)分布。存儲介質(zhì)可被耦合到處理器以使得該處理器能從/向該存儲介質(zhì)讀寫信息。在替換方案中，存儲介質(zhì)可以被整合到處理器。

本文所公開的方法包括用于達(dá)成所描述的方法的一個或多個步驟或動作。這些方法步驟和/或動作可以彼此互換而不會脫離權(quán)利要求的范圍。換言之，除非指定了步驟或動作的特定次序，否則具體步驟和/或動作的次序和/或使用可以改動而不會脫離權(quán)利要求的范圍。

所描述的功能可在硬件、軟件、固件或其任何組合中實現(xiàn)。如果以硬件實現(xiàn)，則示例硬件配置可包括設(shè)備中的處理系統(tǒng)。處理系統(tǒng)可以用總線架構(gòu)來實現(xiàn)。取決于處理系統(tǒng)的具體應(yīng)用和整體設(shè)計約束，總線可包括任何數(shù)目的互連總線和橋接器。總線可將包括處理器、機器可讀介質(zhì)、以及總線接口的各種電路鏈接在一起?？偩€接口可用于尤其將網(wǎng)絡(luò)適配器等經(jīng)由總線連接至處理系統(tǒng)。網(wǎng)絡(luò)適配器可用于實現(xiàn)信號處理功能。對于某些方面，用戶接口(例如，按鍵板、顯示器、鼠標(biāo)、操縱桿等)也可被連接至總線?？偩€還可鏈接各種其他電路(諸如定時源、外圍設(shè)備、穩(wěn)壓器、電源管理電路等)，這些電路在本領(lǐng)域中是眾所周知的，因此將不再贅述。

處理器可負(fù)責(zé)管理總線和一般處理，包括執(zhí)行存儲在機器可讀介質(zhì)上的軟件。處理器可用一個或多個通用和/或?qū)Ｓ锰幚砥鱽韺崿F(xiàn)。示例包括微處理器、微控制器、DSP處理器、以及其他能執(zhí)行軟件的電路系統(tǒng)。軟件應(yīng)當(dāng)被寬泛地解釋成意指指令、數(shù)據(jù)、或其任何組合，無論是被稱作軟件、固件、中間件、微代碼、硬件描述語言、或其他。作為示例，機器可讀介質(zhì)可包括隨機存取存儲器(RAM)、閃存、只讀存儲器(ROM)、可編程只讀存儲器(PROM)、可擦式可編程只讀存儲器(EPROM)、電可擦式可編程只讀存儲器(EEPROM)、寄存器、磁盤、光盤、硬驅(qū)動器、或者任何其他合適的存儲介質(zhì)、或其任何組合。機器可讀介質(zhì)可被實施在計算機程序產(chǎn)品中。該計算機程序產(chǎn)品可以包括包裝材料。

在硬件實現(xiàn)中，機器可讀介質(zhì)可以是處理系統(tǒng)中與處理器分開的一部分。然而，如本領(lǐng)域技術(shù)人員將容易領(lǐng)會的，機器可讀介質(zhì)或其任何部分可在處理系統(tǒng)外部。作為示例，機器可讀介質(zhì)可包括傳輸線、由數(shù)據(jù)調(diào)制的載波、和/或與設(shè)備分開的計算機產(chǎn)品，所有這些都可由處理器通過總線接口來訪問。替換地或補充地，機器可讀介質(zhì)或其任何部分可被集成到處理器中，諸如高速緩存和/或通用寄存器文件可能就是這種情形。雖然所討論的各種組件可被描述為具有特定位置，諸如局部組件，但它們也可按各種方式來配置，諸如某些組件被配置成分布式計算系統(tǒng)的一部分。

處理系統(tǒng)可以被配置為通用處理系統(tǒng)，該通用處理系統(tǒng)具有一個或多個提供處理器功能性的微處理器、以及提供機器可讀介質(zhì)中的至少一部分的外部存儲器，它們都通過外部總線架構(gòu)與其他支持電路系統(tǒng)鏈接在一起。替換地，該處理系統(tǒng)可以包括一個或多個神經(jīng)元形態(tài)處理器以用于實現(xiàn)本文所述的神經(jīng)元模型和神經(jīng)系統(tǒng)模型。作為另一替換方案，處理系統(tǒng)可以用帶有集成在單塊芯片中的處理器、總線接口、用戶接口、支持電路系統(tǒng)、和至少一部分機器可讀介質(zhì)的專用集成電路(ASIC)來實現(xiàn)，或者用一個或多個現(xiàn)場可編程門陣列(FPGA)、可編程邏輯器件(PLD)、控制器、狀態(tài)機、門控邏輯、分立硬件組件、或者任何其他合適的電路系統(tǒng)、或者能執(zhí)行本公開通篇所描述的各種功能性的電路的任何組合來實現(xiàn)。取決于具體應(yīng)用和加諸于整體系統(tǒng)上的總設(shè)計約束，本領(lǐng)域技術(shù)人員將認(rèn)識到如何最佳地實現(xiàn)關(guān)于處理系統(tǒng)所描述的功能性。

機器可讀介質(zhì)可包括數(shù)個軟件模塊。這些軟件模塊包括當(dāng)由處理器執(zhí)行時使處理系統(tǒng)執(zhí)行各種功能的指令。這些軟件模塊可包括傳送模塊和接收模塊。每個軟件模塊可以駐留在單個存儲設(shè)備中或者跨多個存儲設(shè)備分布。作為示例，當(dāng)觸發(fā)事件發(fā)生時，可以從硬驅(qū)動器中將軟件模塊加載到RAM中。在軟件模塊執(zhí)行期間，處理器可以將一些指令加載到高速緩存中以提高訪問速度。隨后可將一個或多個高速緩存行加載到通用寄存器文件中以供處理器執(zhí)行。在以下述及軟件模塊的功能性時，將理解此類功能性是在處理器執(zhí)行來自該軟件模塊的指令時由該處理器來實現(xiàn)的。此外，應(yīng)領(lǐng)會，本公開的各方面產(chǎn)生對處理器、計算機、機器或?qū)崿F(xiàn)此類方面的其它系統(tǒng)的機能的改進(jìn)。

如果以軟件實現(xiàn)，則各功能可作為一條或多條指令或代碼存儲在計算機可讀介質(zhì)上或藉其進(jìn)行傳送。計算機可讀介質(zhì)包括計算機存儲介質(zhì)和通信介質(zhì)兩者，這些介質(zhì)包括促成計算機程序從一地向另一地轉(zhuǎn)移的任何介質(zhì)。存儲介質(zhì)可以是能被計算機訪問的任何可用介質(zhì)。作為示例而非限定，此類計算機可讀介質(zhì)可包括RAM、ROM、EEPROM、CD-ROM或其他光盤存儲、磁盤存儲或其他磁存儲設(shè)備、或能用于攜帶或存儲指令或數(shù)據(jù)結(jié)構(gòu)形式的期望程序代碼且能被計算機訪問的任何其他介質(zhì)。另外，任何連接也被正當(dāng)?shù)胤Q為計算機可讀介質(zhì)。例如，如果軟件是使用同軸電纜、光纖電纜、雙絞線、數(shù)字訂戶線(DSL)、或無線技術(shù)(諸如紅外(IR)、無線電、以及微波)從web網(wǎng)站、服務(wù)器、或其他遠(yuǎn)程源傳送而來，則該同軸電纜、光纖電纜、雙絞線、DSL或無線技術(shù)(諸如紅外、無線電、以及微波)就被包括在介質(zhì)的定義之中。如本文中所使用的盤(disk)和碟(disc)包括壓縮碟(CD)、激光碟、光碟、數(shù)字多用碟(DVD)、軟盤、和藍(lán)光碟，其中盤(disk)常常磁性地再現(xiàn)數(shù)據(jù)，而碟(disc)用激光來光學(xué)地再現(xiàn)數(shù)據(jù)。因此，在一些方面，計算機可讀介質(zhì)可包括非瞬態(tài)計算機可讀介質(zhì)(例如，有形介質(zhì))。另外，對于其他方面，計算機可讀介質(zhì)可包括瞬態(tài)計算機可讀介質(zhì)(例如，信號)。上述的組合應(yīng)當(dāng)也被包括在計算機可讀介質(zhì)的范圍內(nèi)。

因此，某些方面可包括用于執(zhí)行本文中給出的操作的計算機程序產(chǎn)品。例如，此類計算機程序產(chǎn)品可包括其上存儲(和/或編碼)有指令的計算機可讀介質(zhì)，這些指令能由一個或多個處理器執(zhí)行以執(zhí)行本文中所描述的操作。對于某些方面，計算機程序產(chǎn)品可包括包裝材料。

此外，應(yīng)當(dāng)領(lǐng)會，用于執(zhí)行本文中所描述的方法和技術(shù)的模塊和/或其它恰適裝置能由用戶終端和/或基站在適用的場合下載和/或以其他方式獲得。例如，此類設(shè)備能被耦合至服務(wù)器以促成用于執(zhí)行本文中所描述的方法的裝置的轉(zhuǎn)移。替換地，本文所述的各種方法能經(jīng)由存儲裝置(例如，RAM、ROM、諸如壓縮碟(CD)或軟盤等物理存儲介質(zhì)等)來提供，以使得一旦將該存儲裝置耦合至或提供給用戶終端和/或基站，該設(shè)備就能獲得各種方法。此外，可利用適于向設(shè)備提供本文所描述的方法和技術(shù)的任何其他合適的技術(shù)。

將理解，權(quán)利要求并不被限定于以上所解說的精確配置和組件。可在以上所描述的方法和裝置的布局、操作和細(xì)節(jié)上作出各種改動、更換和變形而不會脫離權(quán)利要求的范圍。