專利名稱：一種主方向神經(jīng)網(wǎng)絡(luò)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種主方向神經(jīng)網(wǎng)絡(luò)系
背景技術(shù)：
機(jī)器學(xué)習(xí)研究的問(wèn)題是怎樣讓機(jī)器進(jìn)行學(xué)習(xí)，從而具備智能。人 工神經(jīng)網(wǎng)絡(luò)是實(shí)現(xiàn)機(jī)器學(xué)習(xí)的強(qiáng)有力的手段，原因在于人工神經(jīng)網(wǎng)絡(luò) 研究的基本出發(fā)點(diǎn)是模仿生物神經(jīng)網(wǎng)絡(luò)。
人工神經(jīng)網(wǎng)絡(luò)由大量神經(jīng)元互連而成，單個(gè)神經(jīng)元的功能可以非 常簡(jiǎn)單，但是它們之間復(fù)雜連接而成的網(wǎng)絡(luò)卻具有極強(qiáng)的非線性映射， 分布式存儲(chǔ)，并行處理和容錯(cuò)能力，這些是實(shí)現(xiàn)智能的基礎(chǔ)。
人工神經(jīng)網(wǎng)絡(luò)的非常重要的優(yōu)勢(shì)在于實(shí)現(xiàn)非線性映射逼近， 而這無(wú)論是在模式識(shí)別領(lǐng)域還是在機(jī)器學(xué)習(xí)領(lǐng)域都是十分關(guān)鍵的 性質(zhì)，正是由于這個(gè)特點(diǎn)，我們?cè)谌斯ぶ悄艿暮芏喾矫娑伎梢钥?到神經(jīng)網(wǎng)絡(luò)的存在，神經(jīng)網(wǎng)絡(luò)已經(jīng)成為一種重要的工具得到了廣 泛的應(yīng)用。
當(dāng)前得到廣泛應(yīng)用的網(wǎng)絡(luò)有BP網(wǎng)絡(luò)、RBF網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)、 SOM網(wǎng)絡(luò)、LVQ網(wǎng)絡(luò)、ART系列的網(wǎng)絡(luò)等。國(guó)內(nèi)也有一批學(xué)者在 神經(jīng)網(wǎng)絡(luò)模型方面做出了貢獻(xiàn)，比如王守覺(jué)院士提出的基于高維 空間幾何分析理論的神經(jīng)網(wǎng)絡(luò)模型。
王守覺(jué)院士提出的思想富有啟發(fā)性，其思想的出發(fā)點(diǎn)是要從 形象思維的角度考察人工智能問(wèn)題，特別的，他對(duì)于傳統(tǒng)模式識(shí) 別提出質(zhì)疑，認(rèn)為應(yīng)該從認(rèn)識(shí)而不是劃分的角度來(lái)思考模式識(shí)別 問(wèn)題。基于這一思想，王院士提出了仿生模式識(shí)別和高維空間信 息學(xué)，特別是構(gòu)建了超香腸模型并在實(shí)踐中取得了優(yōu)異的效果。
神經(jīng)網(wǎng)絡(luò)由于其非線性映射能力，既可以用來(lái)做函數(shù)回歸，也可以用于模式識(shí)別領(lǐng)域。例如BP網(wǎng)絡(luò)在模式識(shí)別方面有廣泛應(yīng)
用，RBF網(wǎng)絡(luò)由于其結(jié)構(gòu)簡(jiǎn)單，算法收斂快等優(yōu)點(diǎn)廣泛的應(yīng)用于 函數(shù)回歸方面。但它們都有缺點(diǎn)，例如BP網(wǎng)絡(luò)收斂慢而且容易陷 入性能函數(shù)的局部極小；RBF網(wǎng)絡(luò)對(duì)噪聲比較敏感。
我們一方面為克服陷入局部極小的困難，借鑒RBF網(wǎng)絡(luò)主體 結(jié)構(gòu)，另一方面要克服其對(duì)噪聲的敏感性，因而考慮對(duì)每個(gè)自然 聚類采用多個(gè)代表點(diǎn)。

發(fā)明內(nèi)容
(一) 要解決的技術(shù)問(wèn)題
有鑒于此，本發(fā)明的主要目的在于提供一種主方向神經(jīng)網(wǎng)絡(luò)系統(tǒng)， 以克服陷入局部極小的困難，并克服對(duì)噪聲的敏感性。
(二) 技術(shù)方案
為達(dá)到上述目的，本發(fā)明提供了一種主方向神經(jīng)網(wǎng)絡(luò)系統(tǒng)，該神 經(jīng)網(wǎng)絡(luò)系統(tǒng)采用4層前饋式結(jié)構(gòu)，包括輸入層、第一隱層、第二隱層 和輸出層，輸入層包含D個(gè)神經(jīng)元，第一隱層包含K組神經(jīng)元，每組 神經(jīng)元進(jìn)一步包含3個(gè)神經(jīng)元，第二隱層包含K個(gè)神經(jīng)元，輸出層為 一個(gè)神經(jīng)元，其中D和K均為自然數(shù)；
所述輸入層用于接收D維向量;c-(x, x,…x。)，每個(gè)神經(jīng)元對(duì)應(yīng)接收 D維向量中的一個(gè)分量，并將該D維向量x-(x, x,…;^)映射至第一隱層 中的各神經(jīng)元；
所述第一隱層將接收自輸入層的D維向量;c-0c,A…x。)映射至第 二隱層中的神經(jīng)元，第一隱層中每組神經(jīng)元對(duì)應(yīng)第二隱層中的一個(gè)祌 經(jīng)元；
所述第二隱層將接收自第一隱層的3K維向量映射至輸出層中的 神經(jīng)元；
所述輸出層將第二隱層的結(jié)果進(jìn)行有偏置^。的線性加權(quán)，然后輸出。
優(yōu)選地，所述輸入層將該D維向量;c = (x, &…;c。)映射至第一隱層中的各神經(jīng)元通過(guò)以下運(yùn)算實(shí)現(xiàn)輸入向量與第j聚類的3個(gè)代表點(diǎn) c;,《^的距離的r(。l)次方。
優(yōu)選地，所述第一隱層將接收自輸入層的D維向量x = (x， x2…x。)映 射至第二隱層中的神經(jīng)元通過(guò)以下運(yùn)算實(shí)現(xiàn)將第一隱層得到的結(jié)果 求和后作相應(yīng)的非線性映射&(M) = exp(-A,:u 20 。
優(yōu)選地，所述基函數(shù)寬度可調(diào)參數(shù)^/.,/' = 1，2,...,《是隨聚類的特性而 變的，能夠反映輸入空間的數(shù)據(jù)的近似分布。
優(yōu)選地，該神經(jīng)網(wǎng)絡(luò)系統(tǒng)采用各聚類第一主方向上的3個(gè)代表點(diǎn) 《，并且由這3個(gè)代表點(diǎn)構(gòu)成一個(gè)幾何形體來(lái)覆蓋樣本數(shù)據(jù)點(diǎn)。
優(yōu)選地，該神經(jīng)網(wǎng)絡(luò)系統(tǒng)采用神經(jīng)網(wǎng)絡(luò)的映射逼近，具體過(guò)程分 為以下兩個(gè)階段第一階段是實(shí)現(xiàn)輸入空間樣本的自然聚類，第二階 段是基于覆蓋模型的映射求解。
優(yōu)選地，所述第一階段通過(guò)非監(jiān)督方法得到，所述第二階段通過(guò) 監(jiān)督學(xué)習(xí)得到。
優(yōu)選地，所述第一階段的自然聚類采用的是基于馬氏距離的K均 值聚類，以更好的發(fā)掘出樣本數(shù)據(jù)的方向性分布結(jié)構(gòu)，為基于主方向 的幾何形體覆蓋做好鋪墊。
(三)有益效果 從上述技術(shù)方案可以看出，本發(fā)明具有以下效果
1、 本發(fā)明提供的這種主方向神經(jīng)網(wǎng)絡(luò)系統(tǒng)，借鑒了 RBF網(wǎng)絡(luò)的 思想，局部響應(yīng)，整體平滑，同時(shí)借鑒了王守覺(jué)院士的高維幾何形體 覆蓋的思想，通過(guò)對(duì)輸入空間樣本的覆蓋來(lái)實(shí)現(xiàn)映射，RBF網(wǎng)絡(luò)對(duì)每 一聚類使用一個(gè)代表中心，而主方向神經(jīng)網(wǎng)絡(luò)則采用各聚類第一主方 向上的3個(gè)代表點(diǎn)c;^，c;，并且由這3個(gè)代表點(diǎn)構(gòu)成一個(gè)幾何形體來(lái) 覆蓋樣本數(shù)據(jù)點(diǎn)。
2、 本發(fā)明提供的這種主方向神經(jīng)網(wǎng)絡(luò)系統(tǒng)，具有更好的逼近性能 和更優(yōu)的抗噪聲性能，克服了陷入局部極小的困難，并克服了對(duì)噪 聲的敏感性。


圖1是本發(fā)明提供的主方向神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖； 圖2是覆蓋框架的示意圖。
具體實(shí)施例方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具 體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。
本發(fā)明提供的這種主方向神經(jīng)網(wǎng)絡(luò)系統(tǒng)，構(gòu)建在某個(gè)函數(shù)集在連 續(xù)函數(shù)空間中的稠密性的基礎(chǔ)上的，這為網(wǎng)絡(luò)的逼近性能提供了理論 保障。將神經(jīng)網(wǎng)絡(luò)的映射逼近問(wèn)題分為兩個(gè)階段，第一階段是實(shí)現(xiàn)輸 入空間樣本的自然聚類，第二階段是基于覆蓋模型的映射求解。第一 階段通過(guò)非監(jiān)督方法得到，第二階段通過(guò)監(jiān)督學(xué)習(xí)得到。該神經(jīng)網(wǎng)絡(luò) 系統(tǒng)不僅結(jié)構(gòu)清晰，而且算法易于理解并具有很好的可操作性。 我們用實(shí)例驗(yàn)證過(guò)該網(wǎng)絡(luò)，發(fā)現(xiàn)它不僅具有很好的非線性逼近能 力，而且具有好的抗噪聲干擾能力。
如圖1所示，圖1是本發(fā)明提供的主方向神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖， 該神經(jīng)網(wǎng)絡(luò)系統(tǒng)采用4層前饋式結(jié)構(gòu)，包括輸入層、第一隱層、第二 隱層和輸出層，輸入層包含D個(gè)神經(jīng)元，第一隱層包含K組神經(jīng)元， 每組神經(jīng)元進(jìn)一步包含3個(gè)神經(jīng)元，第二隱層包含K個(gè)神經(jīng)元，輸出 層為一個(gè)神經(jīng)元，其中D和K均為自然數(shù)。
所述輸入層用于接收D維向量;c-(x,vxJ，每個(gè)神經(jīng)元對(duì)應(yīng)接收 D維向量中的一個(gè)分量，并將該D維向量x-(x， ;v，.^)映射至第一隱層 中的各神經(jīng)元。所述第一隱層將接收自輸入層的D維向量POc,X2…;^) 映射至第二隱層中的神經(jīng)元，第一隱層中每組神經(jīng)元對(duì)應(yīng)第二隱層中 的一個(gè)神經(jīng)元。所述第二隱層將接收自第一隱層的3K維向量映射至輸 出層中的神經(jīng)元。所述輸出層將第二隱層的結(jié)果進(jìn)行有偏置w。的線性 加權(quán)，然后輸出。
所述輸入層將該D維向量x-"vx。)映射至第一隱層中的各神 經(jīng)元通過(guò)以下運(yùn)算實(shí)現(xiàn)輸入向量與第j聚類的3個(gè)代表點(diǎn)c;,^的距 離的K^1)次方。所述第一隱層將接收自輸入層的D維向量x-(x,A…;^)映射至第 二隱層中的神經(jīng)元通過(guò)以下運(yùn)算實(shí)現(xiàn)將第一隱層得到的結(jié)果求和后 作相應(yīng)的非線性映射&(W) = exp(-A,"),x》0 。
所述基函數(shù)寬度可調(diào)參數(shù)^,/",2,...,《是隨聚類的特性而變的，能 夠反映輸入空間的數(shù)據(jù)的近似分布。
該神經(jīng)網(wǎng)絡(luò)系統(tǒng)采用各聚類第一主方向上的3個(gè)代表點(diǎn)c;,c;,c;， 并且由這3個(gè)代表點(diǎn)構(gòu)成一個(gè)幾何形體來(lái)覆蓋樣本數(shù)據(jù)點(diǎn)。
該神經(jīng)網(wǎng)絡(luò)系統(tǒng)采用神經(jīng)網(wǎng)絡(luò)的映射逼近，具體過(guò)程分為以下兩 個(gè)階段第一階段是實(shí)現(xiàn)輸入空間樣本的自然聚類，第二階段是基于 覆蓋模型的映射求解。所述第一階段通過(guò)非監(jiān)督方法得到，所述第二 階段通過(guò)監(jiān)督學(xué)習(xí)得到。所述第一階段的自然聚類采用的是基于馬氏 距離的K均值聚類，以更好的發(fā)掘出樣本數(shù)據(jù)的方向性分布結(jié)構(gòu)，為 基于主方向的幾何形體覆蓋做好鋪墊。
通過(guò)分析RBF等網(wǎng)絡(luò)和借鑒仿生模式識(shí)別和高維空間復(fù)雜形體覆 蓋的思想，我們認(rèn)為，用神經(jīng)網(wǎng)絡(luò)作非線性映射可以分兩個(gè)階段考慮 第一，是樣本所在的區(qū)域的覆蓋表示，第二是基于這一表示的映射建 模。這里我們分別予以說(shuō)明。
第一個(gè)階段依賴于樣本點(diǎn)在高維空間中的幾何分布， 一些常用的 網(wǎng)絡(luò)，如BP網(wǎng)絡(luò)以超平面劃分的形式表示樣本所在的區(qū)域，RBF網(wǎng) 絡(luò)以超球面表示，F(xiàn)AM則是采用一些矩形來(lái)表示，仿生模式識(shí)別是 以超香腸表示。
第二階段是映射建模，不同的神經(jīng)網(wǎng)絡(luò)具有不同的建模方法，例 如BP網(wǎng)絡(luò)采用基于Sigmoid基函數(shù)的線性組合來(lái)構(gòu)建映射模型，而 RBF網(wǎng)絡(luò)則是基于徑向基函數(shù)的線性組合來(lái)構(gòu)建模型，
基于上面的分析，我們總結(jié)得到處理這類問(wèn)題的統(tǒng)一框架，稱之 為覆蓋框架，如附圖2所示。
這里作一些必要的說(shuō)明映射^由樣本數(shù)據(jù)的幾何分布決定，得到 該映射的過(guò)程是無(wú)監(jiān)督的，稱映射伊為樣本的自然聚類。映射-是建立 在自然聚類基礎(chǔ)上的覆蓋映射，實(shí)現(xiàn)映射^的實(shí)質(zhì)就是對(duì)樣本數(shù)據(jù)集所在的幾何區(qū)域進(jìn)行表示，我們稱映射^為表示映射。接下來(lái)需要確立輸
入空間到輸出空間的映射關(guān)系。映射《:i' — r'是神經(jīng)網(wǎng)絡(luò)的映射模型，
不同神經(jīng)網(wǎng)絡(luò)的這個(gè)模型假定是不同的。^r —r應(yīng)該在;r的子集義， 即樣本集上滿足映射要求，我們依據(jù)《在數(shù)據(jù)集上的限制r確 定模型參數(shù)，從而確定了映射《。神經(jīng)網(wǎng)絡(luò)的泛化能力體現(xiàn)在l' 3 x
上，纟能夠?qū)τ?xùn)練樣本外的數(shù)據(jù)實(shí)現(xiàn)映射。
設(shè)c(ir)是iT上的連續(xù)函數(shù)全體構(gòu)成集合，它關(guān)于數(shù)乘和加法運(yùn)算
構(gòu)成一個(gè)線性空間，定義連續(xù)函數(shù)間的乘法運(yùn)算后構(gòu)成一個(gè)代數(shù)。為
簡(jiǎn)化符號(hào)起見(jiàn)，該代數(shù)依然記為C(iT)。
我們考慮C(r)的一個(gè)子集G = {x b ||x -c『c e化'}，這里"1是一個(gè)常數(shù)。
定義 G 的非負(fù)張成集合如下
設(shè)函數(shù)^(x) = exp(-;c),x 2 0 ，考慮下列函數(shù)集 F = (x — 。 AO): " //}
我們希望尸成為c(;r)中的基本集，事實(shí)上確實(shí)如此。
定理1: F^xB一/70):/^/^是C(7O中的基本集。 有了這些準(zhǔn)備工作后，我們提出一種基于覆蓋框架的神經(jīng)網(wǎng)絡(luò)模 型，基本思想是利用各自然聚類第一主方向(最大方差方向)上的幾個(gè)特 殊點(diǎn)作為該聚類的代表，以這些代表點(diǎn)構(gòu)建的某種幾何形體實(shí)現(xiàn)對(duì)該
類樣本點(diǎn)的覆蓋。
仿照函數(shù)集的形式，為構(gòu)建一個(gè)可用的網(wǎng)絡(luò)，我們要求神經(jīng)網(wǎng)絡(luò) 實(shí)現(xiàn)如下的映射/=1
可以看到，這種神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與經(jīng)典的徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)是 有共同之處的，而不同之處在于，徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)應(yīng)用一個(gè)代表 點(diǎn)表示一個(gè)聚類，用其超球鄰域覆蓋樣本，而主方向神經(jīng)網(wǎng)絡(luò)利用第
一主方向上3個(gè)點(diǎn)表示一個(gè)聚類，用形體tl卜-c;l、c。"w來(lái)覆蓋第乂聚
/-1
類的樣本點(diǎn)。有趣的是，當(dāng)^2時(shí)，容易證明這是一個(gè)超球，同于徑 向基函數(shù)神經(jīng)網(wǎng)絡(luò)的覆蓋形體。
依據(jù)覆蓋框架，主方向神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法分為兩個(gè)關(guān)鍵階段 第一階段是實(shí)現(xiàn)自然聚類。第二階段是監(jiān)督學(xué)習(xí)，獲得網(wǎng)絡(luò)需要存儲(chǔ) 的各連接權(quán)值和輸出偏置。
為了更精細(xì)的刻畫樣本數(shù)據(jù)的分布特征，我們采用基于馬氏距離 的K均值聚類。設(shè)有尺類，類j來(lái)自總體A， D維隨機(jī)向量A均值向 量為/V協(xié)方差矩陣為S,，根據(jù)最大后驗(yàn)準(zhǔn)則，判決函數(shù)為
《(z) = * (x - & )7 S;'" — &) + ! ln(det(i:,) — In尸(％) + ! ￡> 1n(2;r), / = 1， 2,...,
判決方法為zew,。 0《(Z)<《(z), y/7/。,ye{l，2，.,.,"
根據(jù)映射模型甲(x) = $ w, exp(-義,土 ||x - < |f) + w。，需要確定的量有
《,；,，。。各聚類的3個(gè)代表點(diǎn)《由無(wú)監(jiān)督學(xué)習(xí)來(lái)確定，選取第一主 方向&上與中心&成對(duì)稱分布的兩個(gè)點(diǎn)，連同A —起作為第j聚類的3
個(gè)代表點(diǎn)，用方程描述為c卜A+2(Z-2)CTA,/ = 1，2,3;7' = 1,2,...,《，這里 >(^ = 1,2,...,^為各類樣本第一主方向上的標(biāo)準(zhǔn)差， 一是、的最大特 征值，^為相應(yīng)的特征向量，我們只對(duì)其方向感興趣，故將其長(zhǎng)度定
10為1。 (一,^)可以用乘冪法確定，也可以用S,的奇異值分解(SVD)來(lái)確定。
參數(shù)&可以和W/. —起由 一個(gè)最優(yōu)化問(wèn)題確定，但該問(wèn)題不是凸優(yōu) 化問(wèn)題，求解比較困難，而且存在陷入局部極小的困難。為簡(jiǎn)化求解， 我們給出確定^的經(jīng)驗(yàn)方法義,(丄yj-l,2,...,，這里/^0為可調(diào)參
數(shù)，這樣就只需要調(diào)整好參數(shù)/oo，就可以確定;i,。
k越大，基函數(shù)
越尖銳；^越小，基函數(shù)越平坦。
連接權(quán)值w,和輸出偏置w。由監(jiān)督學(xué)習(xí)來(lái)確定。設(shè)有M個(gè)訓(xùn)練樣本
0c,,c/,)"、xi ，/ = l,2,...,M，那么導(dǎo)出如下的含有K+1個(gè)未知數(shù)的線性方 程組
尺' 3 ,
Z \v7 exp(—義,S x, — c; ) + w0 = (i,.， / = 1,2,...,M
當(dāng)M〉/C + 1時(shí)，這是一個(gè)超定的線性方程組，通過(guò)偽逆法可以求其 最小二乘意義下的解。
綜上所述，我們有如下的學(xué)習(xí)算法l: 算法l
Stepl:輸入數(shù)據(jù)集Z,，輸入預(yù)聚類數(shù)K，容許誤差界"
Step2:采用一定的算法，選取初始中心/v并設(shè)定初始協(xié)方差矩
陣和初始分布S, = /,尸(w,) = 1//:,) = 1,2,...,尺。
Step3:對(duì)每一個(gè)觀測(cè)I,，計(jì)算《(1,)， /mfec(/) = argmin《(Z,)。
Step4:判斷是否有空的聚類，若存在空聚類，則剔除該聚類，重 新設(shè)置初始分布，轉(zhuǎn)向Step3。
Step5:按index重新計(jì)算各聚類中心向量和協(xié)方差矩陣以及分布。 Step6:判別新的中心向量與原來(lái)中心向量的距離是否都小于容許誤差界"若是，則輸出聚類的相關(guān)信息，算法結(jié)束；否則，更新各聚
類中心向量和協(xié)方差矩陣以及分布，然后轉(zhuǎn)向Step3。
Step7:依據(jù)乘冪法或奇異值分解計(jì)算(^,p,),7、1，2，...,《
Step8: 計(jì)算c; ",+2(/-S^^'/^l^y-U,.."/^ ，
義,=(丄)、)=1,2,.,"〖；
Step9:采用偽逆法求解下面的超定線性方程組，得到最小二乘意 義下的解，得到連接權(quán)值和偏置
入' 3I r
2 w7 exp(-人Z |卜,-c; ) + w。=《，z. = 1，2，，.., A/ ;
至此，完成網(wǎng)絡(luò)的全部訓(xùn)練過(guò)程，使用網(wǎng)絡(luò)時(shí)只需要將測(cè)試向量 代入映射表達(dá)式中求取映射函數(shù)值即可。
以上所述的具體實(shí)施例，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果 進(jìn)行了進(jìn)一步詳細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體 實(shí)施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)， 所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍 之內(nèi)。
權(quán)利要求
1、一種主方向神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其特征在于，該神經(jīng)網(wǎng)絡(luò)系統(tǒng)采用4層前饋式結(jié)構(gòu)，包括輸入層、第一隱層、第二隱層和輸出層，輸入層包含D個(gè)神經(jīng)元，第一隱層包含K組神經(jīng)元，每組神經(jīng)元進(jìn)一步包含3個(gè)神經(jīng)元，第二隱層包含K個(gè)神經(jīng)元，輸出層為一個(gè)神經(jīng)元，其中D和K均為自然數(shù)；所述輸入層用于接收D維向量x＝(x1x2…xD)，每個(gè)神經(jīng)元對(duì)應(yīng)接收D維向量中的一個(gè)分量，并將該D維向量x＝(x1x2…xD)映射至第一隱層中的各神經(jīng)元；所述第一隱層將接收自輸入層的D維向量x＝(x1x2…xD)映射至第二隱層中的神經(jīng)元，第一隱層中每組神經(jīng)元對(duì)應(yīng)第二隱層中的一個(gè)神經(jīng)元；所述第二隱層將接收自第一隱層的3K維向量映射至輸出層中的神經(jīng)元；所述輸出層將第二隱層的結(jié)果進(jìn)行有偏置w0的線性加權(quán)，然后輸出。
2、 根據(jù)權(quán)利要求l所述的主方向神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其特征在于，所 述輸入層將該D維向量1 = (^..&)映射至第一隱層中的各神經(jīng)元通 過(guò)以下運(yùn)算實(shí)現(xiàn)輸入向量與第j聚類的3個(gè)代表點(diǎn)c;,^,c;的距離的 K,々l)次方。
3、 根據(jù)權(quán)利要求l所述的主方向神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其特征在于，所述第一隱層將接收自輸入層的D維向量x-(x,;c,…XD)映射至第二隱層 中的神經(jīng)元通過(guò)以下運(yùn)算實(shí)現(xiàn)將第一隱層得到的結(jié)果求和后作相應(yīng) 的非線性映射= exp(-A,),O 0 。
4、 根據(jù)權(quán)利要求3所述的主方向神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其特征在于，所 述基函數(shù)寬度可調(diào)參數(shù)^,/ = 1,2，...,是隨聚類的特性而變的，能夠反映 輸入空間的數(shù)據(jù)的近似分布D
5、 根據(jù)權(quán)利要求l所述的主方向神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其特征在于，該 神經(jīng)網(wǎng)絡(luò)系統(tǒng)采用各聚類第一主方向上的3個(gè)代表點(diǎn)c:,《,《，并且由這3個(gè)代表點(diǎn)構(gòu)成一個(gè)幾何形體來(lái)覆蓋樣本數(shù)據(jù)點(diǎn)。
6、 根據(jù)權(quán)利要求l所述的主方向神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其特征在于，該 神經(jīng)網(wǎng)絡(luò)系統(tǒng)采用神經(jīng)網(wǎng)絡(luò)的映射逼近，具體過(guò)程分為以下兩個(gè)階段 第一階段是實(shí)現(xiàn)輸入空間樣本的自然聚類，第二階段是基于覆蓋模型 的映射求解。
7、 根據(jù)權(quán)利要求6所述的主方向神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其特征在于，所 述第一階段通過(guò)非監(jiān)督方法得到，所述第二階段通過(guò)監(jiān)督學(xué)習(xí)得到。
8、 根據(jù)權(quán)利要求6所述的主方向神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其特征在于，所 述第一階段的自然聚類采用的是基于馬氏距離的K均值聚類，以更好 的發(fā)掘出樣本數(shù)據(jù)的方向性分布結(jié)構(gòu)，為基于主方向的幾何形體覆蓋 做好鋪墊。
全文摘要
本發(fā)明公開(kāi)了一種主方向神經(jīng)網(wǎng)絡(luò)系統(tǒng)，采用4層前饋式結(jié)構(gòu)，包括輸入層、第一隱層、第二隱層和輸出層，輸入層包含D個(gè)神經(jīng)元，第一隱層包含K組神經(jīng)元，每組神經(jīng)元包含3個(gè)神經(jīng)元，第二隱層包含K個(gè)神經(jīng)元，輸出層為一個(gè)神經(jīng)元，D和K均為自然數(shù)；輸入層用于接收D維向量，每個(gè)神經(jīng)元對(duì)應(yīng)接收D維向量中的一個(gè)分量；第一隱層將接收自輸入層的D維向量映射至第二隱層中的神經(jīng)元，第一隱層中每組神經(jīng)元對(duì)應(yīng)第二隱層中的一個(gè)神經(jīng)元；第二隱層將接收自第一隱層的3K維向量映射至輸出層中的神經(jīng)元；輸出層將第二隱層的結(jié)果進(jìn)行有偏置w₀的線性加權(quán)，然后輸出。本發(fā)明克服了陷入局部極小的困難和對(duì)噪聲的敏感性。
文檔編號(hào)G06N3/04GK101546389SQ20081010280
公開(kāi)日2009年9月30日 申請(qǐng)日期2008年3月26日 優(yōu)先權(quán)日2008年3月26日
發(fā)明者殷維棟, 王守覺(jué) 申請(qǐng)人:中國(guó)科學(xué)院半導(dǎo)體研究所