基于重要性采樣的推理算法及神經(jīng)電路的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及人腦科學(xué)技術(shù)領(lǐng)域，特別涉及一種基于重要性采樣的推理算法及神經(jīng) 電路。
【背景技術(shù)】
[0002] 諸多心理、生理實(shí)驗(yàn)表明人腦的認(rèn)知過(guò)程是一個(gè)概率推理過(guò)程，人腦可以接受表 示不確定性信息并處理它們。從宏觀上來(lái)說(shuō)，貝葉斯大腦模型可以解釋人腦如何認(rèn)知世界， 同時(shí)已經(jīng)被成功應(yīng)用于認(rèn)知科學(xué)與人腦科學(xué)的很多方面，如感知、認(rèn)知、傳感控制和決策。 但是從微觀角度上來(lái)說(shuō)，目前尚不清楚人腦中的神經(jīng)元如何進(jìn)行貝葉斯推理。
[0003] 目前已經(jīng)有一些相關(guān)的研究工作，根據(jù)表示概率的不同方法可以分為概率編碼、 對(duì)數(shù)概率編碼、群編碼以及采樣編碼。但是目前的研究存在兩方面問(wèn)題：一是規(guī)模小，主要 研究簡(jiǎn)單問(wèn)題的神經(jīng)電路實(shí)現(xiàn)，事實(shí)上日常生活中遇到的問(wèn)題是極其復(fù)雜的；二是基于任 務(wù)的，目前的研究是針對(duì)不同的推理設(shè)計(jì)不同的神經(jīng)電路，電路沒(méi)有普適性，不符合人腦高 效的工作原理。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明旨在至少在一定程度上解決上述相關(guān)技術(shù)中的技術(shù)問(wèn)題之一。
[0005] 為此，本發(fā)明的一個(gè)目的在于提出一種基于重要性采樣的推理算法，該算法能夠 對(duì)任意的貝葉斯大腦模型進(jìn)行推理，具有很好的普適性。
[0006] 本發(fā)明的另一個(gè)目的在于提供一種基于重要性采樣的推理神經(jīng)電路。
[0007] 為了實(shí)現(xiàn)上述目的，本發(fā)明第一方面的實(shí)施例提出了一種基于重要性采樣的推理 算法，包括以下步驟：將待推理的貝葉斯大腦模型對(duì)應(yīng)的貝葉斯網(wǎng)絡(luò)分解為樹(shù)狀貝葉斯網(wǎng) 絡(luò)，其中，所述樹(shù)狀貝葉斯網(wǎng)絡(luò)包括一個(gè)最高層父親節(jié)點(diǎn)和多個(gè)子節(jié)點(diǎn)；按照從下到上的順 序依次對(duì)所述樹(shù)狀貝葉斯網(wǎng)絡(luò)的多個(gè)子節(jié)點(diǎn)進(jìn)行概率推理，并逐層上傳得到的多個(gè)推理結(jié) 果；根據(jù)所述多個(gè)推理結(jié)果得到所述最高層父親節(jié)點(diǎn)的后驗(yàn)概率，根據(jù)所述最高層父親節(jié) 點(diǎn)的后驗(yàn)概率得到所述待推理的貝葉斯大腦模型的推理結(jié)果。
[0008] 另外，根據(jù)本發(fā)明上述實(shí)施例的基于重要性采樣的推理算法還可以具有如下附加 的技術(shù)特征：
[0009] 在一些示例中，通過(guò)如下公式對(duì)所述樹(shù)狀貝葉斯網(wǎng)絡(luò)多個(gè)子節(jié)點(diǎn)進(jìn)行推理：
[0010]
[0011]其中一^'…丄分別為子節(jié)點(diǎn)^^…義的子節(jié)點(diǎn)，^；;,..』:~，^# 示從分布P(BdB2,. . .，Bn)中抽取的樣本。
[0012] 根據(jù)本發(fā)明實(shí)施例的基于重要性采樣的推理算法，能夠?qū)θ我獾呢惾~斯大腦模型 進(jìn)行推理，具有很好的普適性。
[0013] 本發(fā)明第二方面的實(shí)施例還提供了一種基于重要性采樣的推理神經(jīng)電路，包括： 輸入層，所述輸入層用于對(duì)接收到的外部刺激信息進(jìn)行概率編碼，以得到所述外部刺激信 息的概率；中間層，所述中間層用于對(duì)所述外部刺激信息的概率進(jìn)行線性計(jì)算；決策層，用 于根據(jù)所述線性計(jì)算的結(jié)果對(duì)所述外部刺激信息進(jìn)行推理，以得到推理結(jié)果。
[0014]另外，根據(jù)本發(fā)明上述實(shí)施例的基于重要性采樣的推理神經(jīng)電路還可以具有如下 附加的技術(shù)特征：
[0015] 在一些示例中，所述輸入層包括至少一個(gè)泊松神經(jīng)元，每個(gè)所述泊松神經(jīng)元用于 對(duì)所述外部刺激信息進(jìn)行概率編碼，以得到所述外部刺激信息的概率，其中，所述每個(gè)泊松 神經(jīng)元的響應(yīng)為：
[0016] r= {r1;r2,. . . ,rN},
[0017] 所述每個(gè)泊松神經(jīng)元的響應(yīng)r的概率分布為：
[0018]
[0019] 其中，fA)表示泊松神經(jīng)元i的調(diào)諧曲線，
[0020] 通過(guò)抑制所述泊松神經(jīng)元以對(duì)所述泊松神經(jīng)元輸出的響應(yīng)r進(jìn)行歸一化，其中， 所述A(s)正比于所述響應(yīng)r歸一化的條件概率。
[0021] 在一些示例中，所述中間層包括中間層神經(jīng)元，所述至少一個(gè)泊松神經(jīng)元與所述 中間層神經(jīng)元相連，且連接的突觸權(quán)重等于所述響應(yīng)r歸一化的條件概率。
[0022] 在一些示例中，所述中間層的層數(shù)根據(jù)待推理問(wèn)題的層數(shù)決定。
[0023] 在一些示例中，所述中間層神經(jīng)元的輸出為前一層神經(jīng)元輸出的線性組合。
[0024] 在一些示例中，所述決策層為WTA(Winner-take_all，贏者通吃）電路，用于發(fā)放 概率值最大的神經(jīng)元，以作為推理結(jié)果。
[0025] 根據(jù)本發(fā)明實(shí)施例的基于重要性采樣的推理神經(jīng)電路，能夠?qū)θ我獾呢惾~斯大腦 模型進(jìn)行推理，具有很好的普適性。
[0026] 本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。
【附圖說(shuō)明】
[0027] 本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對(duì)實(shí)施例的描述中將變 得明顯和容易理解，其中：
[0028] 圖1是本發(fā)明一個(gè)實(shí)施例的基于重要性采樣的推理算法的流程圖；
[0029] 圖2是本發(fā)明一個(gè)實(shí)施例的樹(shù)狀貝葉斯網(wǎng)絡(luò)的示意圖；
[0030] 圖3是本發(fā)明一個(gè)具體實(shí)施例的貝葉斯網(wǎng)絡(luò)的示意圖；
[0031] 圖4是圖3所示的貝葉斯網(wǎng)絡(luò)分解后得到的樹(shù)狀貝葉斯網(wǎng)絡(luò)的示意圖；
[0032] 圖5是本發(fā)明一個(gè)實(shí)施例的基于重要性采樣的推理神經(jīng)電路的結(jié)構(gòu)示意圖；
[0033]圖6是本發(fā)明一個(gè)具體實(shí)施例的基于重要性采樣的推理神經(jīng)電路的推理流程示 意圖；
[0034] 圖7是本發(fā)明一個(gè)具體實(shí)施例的以馬為視覺(jué)組成模型對(duì)應(yīng)的貝葉斯網(wǎng)絡(luò)示意圖； 以及
[0035] 圖8是圖7所示的貝葉斯網(wǎng)絡(luò)對(duì)應(yīng)的推理結(jié)果示意圖。
【具體實(shí)施方式】
[0036] 下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終 相同或類(lèi)似的標(biāo)號(hào)表示相同或類(lèi)似的元件或具有相同或類(lèi)似功能的元件。下面通過(guò)參考附 圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。
[0037] 以下結(jié)合附圖描述根據(jù)本發(fā)明實(shí)施例的基于重要性采樣的推理算法及神經(jīng)電路。
[0038]圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于重要性采樣的推理算法的流程圖。如圖1所 示，該方法包括以下步驟：
[0039] 步驟S1:將待推理的貝葉斯大腦模型對(duì)應(yīng)的貝葉斯網(wǎng)絡(luò)分解為樹(shù)狀貝葉斯網(wǎng)絡(luò)， 其中，樹(shù)狀貝葉斯網(wǎng)絡(luò)包括一個(gè)最高層父親節(jié)點(diǎn)和多個(gè)子節(jié)點(diǎn)，例如圖2所示，樹(shù)狀貝葉斯 網(wǎng)絡(luò)例如包括一個(gè)最高層父親節(jié)點(diǎn)A和多個(gè)子節(jié)點(diǎn)隊(duì)，B2，…，Bn。需要說(shuō)明的是，此處的待 推理的貝葉斯大腦模型可以為任意的貝葉斯大腦模型，因此，普適性較高。
[0040] 步驟S2 :按照從下到上的順序依次對(duì)樹(shù)狀貝葉斯網(wǎng)絡(luò)的多個(gè)子節(jié)點(diǎn)進(jìn)行概率推 理，并逐層上傳得到的多個(gè)推理結(jié)果。
[0041] 在本發(fā)明的一個(gè)實(shí)施例中，結(jié)合圖2所示，例如通過(guò)如下公式對(duì)樹(shù)狀貝葉斯網(wǎng)絡(luò) 多個(gè)子節(jié)點(diǎn)進(jìn)行推理：
[0042]
[0043] 其中，11; 12，…，In分別為子節(jié)點(diǎn)BdB2，…，Bn的子節(jié)點(diǎn)，' 門(mén):盡名…B、} 表不從分布P沉，B2, ? ? ? ,Bn)中抽取的樣本。
[0044] 步驟S3:根據(jù)多個(gè)推理結(jié)果得到最高層父親節(jié)點(diǎn)的后驗(yàn)概率，根據(jù)最高層父親節(jié) 點(diǎn)的后驗(yàn)概率得到待推理的貝葉斯大腦模型的推理結(jié)果。具體地說(shuō)，將每個(gè)子節(jié)點(diǎn)的推理 結(jié)果逐層上傳，直至得到最高點(diǎn)（最高層父親節(jié)點(diǎn)）的后驗(yàn)概率，然后根據(jù)最高點(diǎn)的后驗(yàn)概 率即可得到待推理的貝葉斯大腦模型的推理結(jié)果。
[0045] 為了便于理解，以下結(jié)合具體的實(shí)施例對(duì)本發(fā)明上述實(shí)施例的基于重要性采樣的 推理算法進(jìn)行詳細(xì)描述。
[0046] 實(shí)施例1
[0047] 如圖3所示的貝葉斯網(wǎng)絡(luò)，首先將該貝葉斯網(wǎng)絡(luò)分解為基本的樹(shù)狀的貝葉斯網(wǎng) 絡(luò)，這種基本的網(wǎng)絡(luò)由一個(gè)最高層父親節(jié)點(diǎn)和若干子節(jié)點(diǎn)構(gòu)成，分解后的結(jié)果如圖4所示。
[0048] 進(jìn)一步地，對(duì)最下層結(jié)構(gòu)進(jìn)行概率推理，推理結(jié)果為：
[0049]
[0050] 將上述推理結(jié)果逐層上傳，并重復(fù)利用子節(jié)點(diǎn)的推理算法對(duì)每個(gè)剩余子節(jié)點(diǎn)進(jìn)行 推理，直至得到最高點(diǎn)A(最高層父親節(jié)點(diǎn)）的后驗(yàn)概率，具體計(jì)算公式例如為：
[0051]
y
[0052]其中，C:;,C卜劣，巧~尸(5丨，。也即，乂，是 從中抽取的樣本，C|是從P(C3)中抽取的樣本，貧，:蹲是從P(Bi，B2)中抽取的樣 本，A1是從P(A)中抽取的樣本。
[0053] 綜上，根據(jù)本發(fā)明實(shí)施例的基于重要性采樣的推理算法，能夠?qū)θ我獾呢惾~斯大 腦模型進(jìn)行推理，具有很好的普適性。
[0054] 本發(fā)明的進(jìn)一步實(shí)施例還提供了一種基于重要性采樣的推理神經(jīng)電路。
[0055]圖5是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于重要性采樣的推理神經(jīng)電路的結(jié)構(gòu)示意圖。 如圖5所示，該神經(jīng)電路100包括：輸入層110、中間層120和策略層130。
[0056] 其中，輸入層110用于對(duì)接收到的外部刺激信息進(jìn)行概率編碼，以得到外部刺激 信息的概率。
[0057] 在本發(fā)明的一個(gè)實(shí)施例中，輸入層110例如包括至少一個(gè)泊松神經(jīng)元，每個(gè)泊松 神經(jīng)元對(duì)外部刺激信息（例如觀測(cè)得到的信息）進(jìn)行概率編碼，以得到外部刺激信息的概 率。
[0058]其中，泊松神經(jīng)元輸出的響應(yīng)為r={rur2,. . .，rN}，其中，N為泊松神經(jīng)元的個(gè) 數(shù)。
[0059] 泊松神經(jīng)元的輸出的響應(yīng)r的概率分布為：
[0060]
[0061]其中，fi(s)表示泊松神經(jīng)元i的調(diào)諧曲線。
[0062] 進(jìn)一步地，通過(guò)抑制泊松神經(jīng)元以對(duì)泊松神經(jīng)元輸出的響應(yīng)r進(jìn)行歸一化，其中， fjs)正比于響應(yīng)r歸一化的條件概率。