在多維范圍上對包括可分離子系統(tǒng)的系統(tǒng)的評估的制作方法
【專利說明】在多維范圍上對包括可分離子系統(tǒng)的系統(tǒng)的評估
[0001 ] 背景 [0002] 領(lǐng)域
[0003] 本公開的某些方面一般涉及神經(jīng)系統(tǒng)工程，且更具體地涉及通過改進(jìn)參數(shù)搜索的 執(zhí)行時間來進(jìn)行神經(jīng)網(wǎng)絡(luò)的發(fā)展和測試。
[0004] 背景
[0005] 人工神經(jīng)網(wǎng)絡(luò)可為其中傳統(tǒng)計算技術(shù)是麻煩的、不切實際的、或不勝任的某些應(yīng) 用提供創(chuàng)新且有用的計算技術(shù)。人工神經(jīng)網(wǎng)絡(luò)可具有生物學(xué)神經(jīng)網(wǎng)絡(luò)中的對應(yīng)的結(jié)構(gòu)和/ 或功能?？梢允且蝗夯ミB的人工神經(jīng)元（即神經(jīng)元模型）的人工神經(jīng)網(wǎng)絡(luò)是一種計算設(shè)備或 者表示將由計算設(shè)備執(zhí)行的方法。由于人工神經(jīng)網(wǎng)絡(luò)能從觀察中推斷出功能，因此這樣的 網(wǎng)絡(luò)在因任務(wù)或數(shù)據(jù)的復(fù)雜度使得通過常規(guī)技術(shù)來設(shè)計該功能較為麻煩的應(yīng)用中是特別 有用的。
[0006] 概述
[0007] 在一個方面，公開了一種無線通信方法。該方法包括通過確定該系統(tǒng)的子系統(tǒng)之 間的單向依賴性來將這些子系統(tǒng)串行化和/或通過確定每個子系統(tǒng)內(nèi)的獨立性來將這些子 系統(tǒng)并行化。該方法進(jìn)一步包括基于每個輸入?yún)?shù)是否影響每個子系統(tǒng)來修剪每個子系統(tǒng) 的輸入?yún)?shù)。
[0008] 另一方面公開了一種設(shè)備，包括用于通過確定系統(tǒng)的子系統(tǒng)之間的單向依賴性來 將這些子系統(tǒng)串行化的裝置和/或用于通過確定每個子系統(tǒng)內(nèi)的獨立性來將這些子系統(tǒng)并 行化的裝置。該設(shè)備進(jìn)一步包括用于基于每個輸入?yún)?shù)是否影響每個子系統(tǒng)來修剪每個子 系統(tǒng)的輸入?yún)?shù)的裝置。
[0009] 在另一方面，公開了一種具有非瞬態(tài)計算機可讀介質(zhì)的用于無線網(wǎng)絡(luò)中的無線通 信的計算機程序產(chǎn)品。該計算機可讀介質(zhì)具有記錄于其上的非瞬態(tài)程序代碼，該程序代碼 在由（諸)處理器執(zhí)行時使(諸)處理器執(zhí)行以下操作:通過確定系統(tǒng)的子系統(tǒng)之間的單向依 賴性來將這些子系統(tǒng)串行化和/或通過確定每個子系統(tǒng)內(nèi)的獨立性來將這些子系統(tǒng)并行 化。該程序代碼還使該處理器基于每個輸入?yún)?shù)是否影響每個子系統(tǒng)來修剪每個子系統(tǒng)的 輸入?yún)?shù)。
[0010] 另一方面公開了具有存儲器以及耦合至該存儲器的至少一個處理器的無線通信。 該處理器被配置成通過確定系統(tǒng)的子系統(tǒng)之間的單向依賴性來將這些子系統(tǒng)串行化和/或 通過確定每個子系統(tǒng)內(nèi)的獨立性來將這些子系統(tǒng)并行化。該處理器還被配置成基于每個輸 入?yún)?shù)是否影響每個子系統(tǒng)來修剪每個子系統(tǒng)的輸入?yún)?shù)。
[0011] 本發(fā)明的其他特征和優(yōu)點將在下文描述。本領(lǐng)域技術(shù)人員應(yīng)該領(lǐng)會，本發(fā)明可容 易地被用作改動或設(shè)計用于實施與本發(fā)明相同的目的的其他結(jié)構(gòu)的基礎(chǔ)。本領(lǐng)域技術(shù)人員 還應(yīng)認(rèn)識到，這樣的等效構(gòu)造并不脫離所附權(quán)利要求中所闡述的本發(fā)明的教導(dǎo)。被認(rèn)為是 本發(fā)明的特性的新穎特征在其組織和操作方法兩方面連同進(jìn)一步的目的和優(yōu)點在結(jié)合附 圖來考慮以下描述時將被更好地理解。然而要清楚理解的是，提供每一幅附圖均僅用于解 說和描述目的，且無意作為對本發(fā)明的限定的定義。
[0012] 附圖簡述
[0013] 在結(jié)合附圖理解下面闡述的詳細(xì)描述時，本發(fā)明的特征、本質(zhì)和優(yōu)點將變得更加 明顯，在附圖中，相同附圖標(biāo)記始終作相應(yīng)標(biāo)識。
[0014] 圖1解說根據(jù)本公開的某些方面的示例神經(jīng)元網(wǎng)絡(luò)。
[0015]圖2解說根據(jù)本公開的某些方面的計算網(wǎng)絡(luò)（神經(jīng)系統(tǒng)或神經(jīng)網(wǎng)絡(luò)）的處理單元 (神經(jīng)元)的示例。
[0016] 圖3解說根據(jù)本公開的某些方面的尖峰定時依賴可塑性(STDP)曲線的示例。
[0017] 圖4解說根據(jù)本公開的某些方面的用于定義神經(jīng)元模型的行為的正態(tài)相和負(fù)態(tài)相 的示例。
[0018] 圖5A-5B解說根據(jù)本公開各方面的神經(jīng)網(wǎng)絡(luò)的示例。
[0019] 圖6A-6D解說根據(jù)本公開各方面的神經(jīng)網(wǎng)絡(luò)的示例。
[0020] 圖7是解說根據(jù)本公開的一方面的用于改進(jìn)神經(jīng)網(wǎng)絡(luò)的參數(shù)評估的方法的框圖。
[0021] 圖8是解說根據(jù)本公開的一方面的用于改進(jìn)神經(jīng)網(wǎng)絡(luò)的參數(shù)評估的函數(shù)的框圖。 [0022]圖9解說根據(jù)本公開的某些方面的使用通用處理器來設(shè)計神經(jīng)網(wǎng)絡(luò)的示例實現(xiàn)。 [0023]圖10解說根據(jù)本公開的某些方面的設(shè)計其中存儲器可以與各個分布式處理單元 對接的神經(jīng)網(wǎng)絡(luò)的示例實現(xiàn)。
[0024]圖11解說根據(jù)本公開的某些方面的基于分布式存儲器和分布式處理單元來設(shè)計 神經(jīng)網(wǎng)絡(luò)的示例實現(xiàn)。
[0025] 圖12解說根據(jù)本公開的某些方面的神經(jīng)網(wǎng)絡(luò)的示例實現(xiàn)。
[0026] 圖13是解說用于在具有帶有單向依賴性的子系統(tǒng)的系統(tǒng)上執(zhí)行參數(shù)掃掠的方法 的框圖。
【具體實施方式】
[0027] 以下結(jié)合附圖闡述的詳細(xì)描述旨在作為各種配置的描述，而無意表示可實踐本文 中所描述的概念的僅有的配置。本詳細(xì)描述包括具體細(xì)節(jié)以便提供對各種概念的透徹理 解。然而，對于本領(lǐng)域技術(shù)人員將顯而易見的是，沒有這些具體細(xì)節(jié)也可實踐這些概念。在 一些實例中，以框圖形式示出眾所周知的結(jié)構(gòu)和組件以避免湮沒此類概念。
[0028] 基于教導(dǎo)，本領(lǐng)域技術(shù)人員應(yīng)領(lǐng)會，本公開的范圍旨在覆蓋本公開的任何方面，不 論其是與本公開的任何其他方面相獨立地還是組合地實現(xiàn)的。例如，可以使用所闡述的任 何數(shù)目的方面來實現(xiàn)裝置或?qū)嵺`方法。另外，本公開的范圍旨在覆蓋使用作為所闡述的本 公開的各個方面的補充或者與之不同的其他結(jié)構(gòu)、功能性、或者結(jié)構(gòu)及功能性來實踐的此 類裝置或方法。應(yīng)當(dāng)理解，所披露的本公開的任何方面可由權(quán)利要求的一個或多個元素來 實施。
[0029]措辭"示例性"在本文中用于表示"用作示例、實例或解說"。本文中描述為"示例 性"的任何方面不必被解釋為優(yōu)于或勝過其他方面。
[0030]盡管本文描述了特定方面，但這些方面的眾多變體和置換落在本公開的范圍之 內(nèi)。雖然提到了優(yōu)選方面的一些益處和優(yōu)點，但本公開的范圍并非旨在被限定于特定益處、 用途或目標(biāo)。相反，本公開的各方面旨在能寬泛地應(yīng)用于不同的技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)和協(xié) 議，其中一些作為示例在附圖以及以下對優(yōu)選方面的描述中解說。該詳細(xì)描述和附圖僅僅 解說本公開而非限定本公開，本公開的范圍由所附權(quán)利要求及其等效技術(shù)方案來定義。
[0031] 示例神經(jīng)系統(tǒng)、訓(xùn)練及操作
[0032] 圖1解說根據(jù)本公開的某些方面的具有多級神經(jīng)元的示例人工神經(jīng)系統(tǒng)100。神經(jīng) 系統(tǒng)100可具有一級神經(jīng)元102,該級神經(jīng)元102通過突觸連接網(wǎng)絡(luò)104(即，前饋連接)來連 接到另一級神經(jīng)元106。為簡單起見，圖1中僅解說了兩級神經(jīng)元，盡管神經(jīng)系統(tǒng)中可存在更 少或更多級神經(jīng)元。應(yīng)注意，一些神經(jīng)元可通過側(cè)向連接來連接至同層中的其他神經(jīng)元。此 外，一些神經(jīng)元可通過反饋連接來后向連接至先前層中的神經(jīng)元。
[0033] 如圖1所解說的，級102中的每一個神經(jīng)元可以接收可由前一級的神經(jīng)元(未在圖1 中示出）生成的輸入信號108。信號108可表示級102的神經(jīng)元的輸入電流。該電流可在神經(jīng) 元膜上累積以對膜電位進(jìn)行充電。當(dāng)膜電位達(dá)到其閾值時，該神經(jīng)元可激發(fā)并生成輸出脈 沖，該輸出脈沖將被傳遞到下一級神經(jīng)元(例如，級106)。在某些情況下，神經(jīng)元可以連續(xù)地 向下一級神經(jīng)元傳送信號。所傳送的信號可以是膜電位的函數(shù)。此類行為可在硬件和/或軟 件(包括模擬和數(shù)字實現(xiàn)，諸如以下所述那些實現(xiàn)）中進(jìn)行仿真或模擬。
[0034] 在生物學(xué)神經(jīng)元中，在神經(jīng)元激發(fā)時生成的輸出尖峰被稱為動作電位。該電信號 是相對迅速、瞬態(tài)的神經(jīng)脈沖，其具有約為100mV的振幅和約為lms的歷時。在具有一系列連 通的神經(jīng)元(例如，尖峰從圖1中的一級神經(jīng)元傳遞至另一級神經(jīng)元）的神經(jīng)系統(tǒng)的特定實 施例中，每個動作電位都具有基本上相同的振幅和歷時，因此該信號中的信息可僅由尖峰 的頻率和數(shù)目、或尖峰的時間來表示，而不由振幅來表示。動作電位所攜帶的信息可由尖 峰、發(fā)放尖峰的神經(jīng)元、以及該尖峰相對于一個或多個其他尖峰的時間來決定。尖峰的重要 性可由向各神經(jīng)元之間的連接應(yīng)用的權(quán)重來確定，如以下所解釋的。
[0035] 尖峰從一級神經(jīng)元向另一級神經(jīng)元的傳遞可通過突觸連接(或簡稱"突觸"）網(wǎng)絡(luò) 104來達(dá)成，如圖1所解說的。關(guān)于突觸104,級102的神經(jīng)元可被視為突觸前神經(jīng)元，而級106 的神經(jīng)元可被視為突觸后神經(jīng)元。突觸104可接收來自級102的神經(jīng)元的輸出信號（即，尖 峰），并根據(jù)可調(diào)節(jié)突觸權(quán)重
來按比例縮放那些信號，其中P是級102 的神經(jīng)元與級106的神經(jīng)元之間的突觸連接的總數(shù)，并且i是神經(jīng)元級的指示符。例如，在圖 1的示例中，i表示神經(jīng)元級102并且i+Ι表示神經(jīng)元級106。此外，經(jīng)按比例縮放的信號可被 組合以作為級106中每個神經(jīng)元的輸入信號。級106中的每個神經(jīng)元可基于對應(yīng)的組合輸入 信號來生成輸出尖峰110?？墒褂昧硪煌挥|連接網(wǎng)絡(luò)（圖1中未示出）將這些輸出尖峰110傳 遞到另一級神經(jīng)元。
[0036] 生物學(xué)突觸可以仲裁突觸后神經(jīng)元中的興奮性或抑制性(超級化)動作，并且還可 用于放大神經(jīng)元信號。興奮性信號使膜電位去極化(即，相對于靜息電位增大膜電位）。如果 在某個時間段內(nèi)接收到足夠的興奮性信號以使膜電位去極化到高于閾值，則在突觸后神經(jīng) 元中發(fā)生動作電位。相反，抑制性信號一般使膜電位超極化（即，降低膜電位）。抑制性信號 如果足夠強則可抵消掉興奮性信號之和并阻止膜電位到達(dá)閾值。除了抵消掉突觸興奮以 外，突觸抑制還可對自發(fā)活動神經(jīng)元施加強力的控制。自發(fā)活動神經(jīng)元是指在沒有進(jìn)一步 輸入的情況下（例如，由于其動態(tài)或反饋而)發(fā)放尖峰的神經(jīng)元。通過壓制這些神經(jīng)元中的 動作電位的自發(fā)生成，突觸抑制可對神經(jīng)元中的激發(fā)模式進(jìn)行定形，這一般被稱為雕刻。取 決于期望的行為，各種突觸104可充當(dāng)興奮性或抑制性突觸的任何組合。
[0037] 神經(jīng)系統(tǒng)100可通過通用處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn) 場可編程門陣列(FPGA)或其他可編程邏輯器件(PLD)、分立的門或晶體管邏輯、分立的硬件 組件、由處理器執(zhí)行的軟件模塊、或其任何組合來仿真。神經(jīng)系統(tǒng)100可用在大范圍的應(yīng)用 中，諸如圖像和模式識別、機器學(xué)習(xí)、電機控制、及類似應(yīng)用等。神經(jīng)系統(tǒng)100中的每一神經(jīng) 元可被實現(xiàn)為神經(jīng)元電路。被充電至發(fā)起輸出尖峰的閾值的神經(jīng)元膜可被實現(xiàn)為例如對流 經(jīng)其的電流進(jìn)行積分的電容器。
[0038] 在一方面，電容器作為神經(jīng)元電路的電流積分器件可被除去，并且可使用較小的 憶阻器元件來替代它。這種辦法可應(yīng)用于神經(jīng)元電路中，以及其中大容量電容器被用作電 流積分器的各種其他應(yīng)用中。另外，每個突觸104可基于憶阻器元件來實現(xiàn)，其中突觸權(quán)重 改變可與憶阻器電阻的變化有關(guān)。使用納米特征尺寸的憶阻器，可顯著地減小神經(jīng)元電路 和突觸的面積，這可使得實現(xiàn)大規(guī)模神經(jīng)系統(tǒng)硬件實現(xiàn)更為切實可行。
[0039]對神經(jīng)系統(tǒng)100進(jìn)行仿真的神經(jīng)處理器的功能性可取決于突觸連接的權(quán)重，這些 權(quán)重可控制神經(jīng)元之間的連接的強度。突觸權(quán)重可存儲在非易失性存儲器中以在掉電之后 保留該處理器的功能性。在一方面，突觸權(quán)重存儲器可實現(xiàn)在與主神經(jīng)處理器芯片分開的 外部芯片上。突觸權(quán)重存儲器可與神經(jīng)處理器芯片分開地封裝成可更換的存儲卡。這可向 神經(jīng)處理器提供多種多樣的功能性，其中特定功能性可基于當(dāng)前附連至神經(jīng)處理器的存儲 卡中所存儲的突觸權(quán)重。
[0040] 圖2解說根據(jù)本公開的某些方面的計算網(wǎng)絡(luò)（例如，神經(jīng)系統(tǒng)或神經(jīng)網(wǎng)絡(luò)）的處理 單元(例如，神經(jīng)元或神經(jīng)元電路)202的示例性示圖200。例如，神經(jīng)元202可對應(yīng)于來自圖1 的級102和106的任一個神經(jīng)元。神經(jīng)元202可接收多個輸入信號這些輸入 信號可以是該神經(jīng)系統(tǒng)外部的信號、或是由同一神經(jīng)系統(tǒng)的其他神經(jīng)元所生成的信號、或 這兩者。輸入信號可以是實數(shù)值和/或復(fù)數(shù)值的電流、電導(dǎo)、電壓。輸入信號可包