本發(fā)明公開(kāi)了一種基于誤差反傳梯度下降的粒子群優(yōu)化方法，屬于算法優(yōu)化領(lǐng)域。

背景技術(shù)：

粒子群優(yōu)化算法是一種基于群體的自適應(yīng)隨機(jī)優(yōu)化算法，源于Kennedy和Eberbar對(duì)于鳥(niǎo)類(lèi)群體覓食行為的研究。而今粒子群算法廣泛應(yīng)用在模式識(shí)別、數(shù)據(jù)挖掘和智能控制等領(lǐng)域。隨著智能群體和仿生算法的快速發(fā)展，基于粒子群算法的數(shù)據(jù)聚類(lèi)分析和智能處理算法已經(jīng)應(yīng)用到數(shù)據(jù)分析、人工智能、系統(tǒng)控制等各個(gè)領(lǐng)域。通過(guò)基于粒子群算法的粒子濾波和模糊聚類(lèi)搜索控制等算法在圖像處理、數(shù)據(jù)挖掘、模式識(shí)別、數(shù)據(jù)模糊建模等領(lǐng)域廣泛應(yīng)用。因此，研究粒子群優(yōu)化算法在工程實(shí)踐中具有重要意義。

傳統(tǒng)的粒子群算法采用前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練，搜索效率較低，且容易陷入局部收斂。本發(fā)明專(zhuān)利采用一種基于最優(yōu)移動(dòng)概率誤差反傳梯度下降的粒子群優(yōu)化方法。該方法比原方法在相同的運(yùn)行時(shí)間下具有更快的收斂速度和搜索性能，提高收斂速度，尤其是后期的搜索效率。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種基于誤差反傳梯度下降的粒子群優(yōu)化方法。

本發(fā)明在傳統(tǒng)粒子群算法設(shè)計(jì)的基礎(chǔ)上，提出了一種ICMIC混沌粒子群(ICMICPSO)方法，將ICMICPSO與梯度下降法相結(jié)合，形成混合ICMICPSO-BP算法訓(xùn)練FNNs，假設(shè)最優(yōu)移動(dòng)概率為 ，移動(dòng)步長(zhǎng)為S，計(jì)算得到改進(jìn)的粒子群優(yōu)化算法第i粒子在時(shí)刻的位置為：

(1)

基于誤差反傳的梯度下降(BP)方法訓(xùn)練，得到粒子的均方誤差函數(shù)計(jì)算為：

（2）

式中，q是輸入樣本數(shù)，是輸出層初始權(quán)值敏感系數(shù)，是輸出層第k個(gè)節(jié)點(diǎn)的全局極值。PSO算法在Ｄ維空間中進(jìn)行搜索，由m個(gè)粒子構(gòu)成一個(gè)種群，則第i個(gè)粒子的當(dāng)前位置可以表示為向量，其速度可以記為向量，考慮全局優(yōu)化問(wèn)題，通過(guò)誤差反傳梯度下降進(jìn)行BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練，得到粒子更新公式如下：

(3)

在迭代搜索過(guò)程中，粒子根據(jù)個(gè)體最優(yōu)和全局最優(yōu)來(lái)更新自己的速度和位置，并計(jì)算各粒子權(quán)值：

(4)

由上可見(jiàn)，采用誤差反傳梯度下降，進(jìn)行粒子群控制系統(tǒng)設(shè)計(jì)，在搜索的后期階段c₁取值較小而c₂取值較大，使粒子更多地向社會(huì)最優(yōu)學(xué)習(xí)和較少地向自身最優(yōu)學(xué)習(xí)，可以避免粒子陷入局部最優(yōu)。由此得到改進(jìn)的誤差反傳梯度下降粒子群控制系統(tǒng)PSO算法更新公式為：

(5)

其中，p_ad為所有的個(gè)體最優(yōu)位置的平均值，得到趨于穩(wěn)態(tài)的最優(yōu)聚類(lèi)解的概率密度函數(shù)采樣新粒子集。以此為輸入權(quán)值，采用動(dòng)態(tài)慣性權(quán)重的粒子群優(yōu)化算法，實(shí)現(xiàn)了基于誤差反傳的神經(jīng)網(wǎng)絡(luò)粒子群控制系統(tǒng)設(shè)計(jì)。

具體實(shí)施方式

設(shè)置粒子種群規(guī)模M，算法總迭代次數(shù)T，算法當(dāng)前迭代次數(shù)TN，得到多波束粒子的零點(diǎn)軌跡的相移速度和位置，粒子交叉系數(shù)控制下的新個(gè)體搜索步長(zhǎng)為：

（6）

為了使算法的全局搜索能力與局部搜索能力達(dá)到平衡，可以通過(guò)調(diào)整慣性權(quán)重達(dá)到目的，在此設(shè)置門(mén)限值，當(dāng)時(shí)，采用ICMIC映射來(lái)產(chǎn)生誤差反正梯度下降變量，獲取穩(wěn)定階段前的全局最優(yōu)點(diǎn)，將位置的第i維進(jìn)行標(biāo)準(zhǔn)粒子群優(yōu)化設(shè)計(jì)，其中，得到零點(diǎn)軌跡的聚斂中心矩陣為：

（7）

進(jìn)一步利用梯度下降信息可以加速PSO局部搜索能力，提高多波束粒子群深度零點(diǎn)少軌跡信息搜索效率，優(yōu)化后的粒子群優(yōu)化信息搜索目標(biāo)函數(shù)為（定義分集聚斂目標(biāo)函數(shù)）：

（8）

根據(jù)上述粒子群優(yōu)化目標(biāo)函數(shù)，其中第i個(gè)粒子表示為，它經(jīng)歷過(guò)的最好位置為，也稱(chēng)為。群體所有粒子經(jīng)歷過(guò)的最好位置為。粒子i的速度為。對(duì)每一代粒子群，設(shè)定閾值，計(jì)算多樣性因子mf，并與閾值進(jìn)行比較，若,，變更U，采用新的U，更新種群體，其中適應(yīng)度最小的個(gè)體為本代的最優(yōu)的個(gè)體，得到第d維粒子群的初始隸屬度矩陣，將位置的第i維值替換為的第i維值，替換后調(diào)用函數(shù)評(píng)價(jià)，根據(jù)如下方程變化：

（9）

（10）

其中w為慣性權(quán)重，c₁和c₂為加速常數(shù)得到粒子群優(yōu)化的速度矢量和個(gè)體最優(yōu)位置矢量構(gòu)成結(jié)構(gòu)：

位置矢量：

速度矢量：

個(gè)體最優(yōu)位置矢量：

獲取穩(wěn)定階段前的全局最優(yōu)點(diǎn)_，粒子根據(jù)個(gè)體最優(yōu)和全局最優(yōu)來(lái)更新自己的速度和位置，C1, C2為學(xué)習(xí)因子，為基于[0,1]均勻分布的隨機(jī)函數(shù)，得到優(yōu)化后的粒子算法更新公式如下：

(11)

(12)

其中，代表慣性權(quán)重上下限。

本發(fā)明改進(jìn)算法設(shè)計(jì)，在粒子群搜索控制過(guò)程中，有效避免了對(duì)噪聲數(shù)據(jù)和初始值數(shù)據(jù)非常敏感，極易陷入局部收斂的缺陷，提高算法的控制性能，該方法比原方法在相同的運(yùn)行時(shí)間下具有更快的收斂速度和搜索性能，提高收斂速度，尤其是后期的搜索效率。