基于變長(zhǎng)度粒子群優(yōu)化算法的極限學(xué)習(xí)的制造方法【專利摘要】一種基于變長(zhǎng)度粒子群優(yōu)化算法的極限學(xué)習(xí)機(jī)，包括步驟：(1)隨機(jī)初始化粒子群位置和速度，粒子群中的每一個(gè)粒子表示一個(gè)ELM分類器；(2)計(jì)算每個(gè)粒子對(duì)于評(píng)價(jià)函數(shù)的適應(yīng)值f(pi)；(3)比較各個(gè)粒子的行數(shù)與全局最優(yōu)解的行數(shù)的大小關(guān)系，選擇不同的更新公式對(duì)各個(gè)粒子的速度和位置進(jìn)行更新，生成下一代粒子群；(4)最優(yōu)隱元個(gè)數(shù)及相應(yīng)的輸入權(quán)重和隱元偏置；(5)計(jì)算輸出權(quán)重，得到使得交叉驗(yàn)證精度最高的ELM分類器。利用變長(zhǎng)度粒子群優(yōu)化算法自動(dòng)地選擇隱元個(gè)數(shù)，同時(shí)選擇相應(yīng)的輸入權(quán)重和隱元偏置，使ELM分類器的泛化性能最大化，能夠以較少隱元個(gè)數(shù)的ELM分類器獲得最大的泛化性能，測(cè)試所需時(shí)間短，效率高?！緦＠f明】基于變長(zhǎng)度粒子群優(yōu)化算法的極限學(xué)習(xí)機(jī)【
技術(shù)領(lǐng)域：
】[0001]本發(fā)明涉及一種利用變長(zhǎng)度粒子群的優(yōu)化算法進(jìn)行優(yōu)化改進(jìn)的極限學(xué)習(xí)機(jī)，屬于極限學(xué)習(xí)機(jī)【
技術(shù)領(lǐng)域：
】?！?br>背景技術(shù)：
】[0002]單隱層前饋神經(jīng)網(wǎng)絡(luò)(SLFN:Single_hiddenLayerFeedforwardNeuralNetwork)可以任意精度逼近任意復(fù)雜的函數(shù)，1998年在《IEEETransactionsonNeuralNetworks》(IEEE神經(jīng)網(wǎng)絡(luò)學(xué)報(bào))第9卷224-229頁發(fā)表的《具有任意有界非線性激活函數(shù)的前饋神經(jīng)網(wǎng)絡(luò)的隱層神經(jīng)元個(gè)數(shù)的上界》的研究表明，具有任意非線性激活函數(shù)的單隱層前饋神經(jīng)網(wǎng)絡(luò)至多需要N個(gè)隱層神經(jīng)元就可以以零誤差學(xué)習(xí)N個(gè)不同的樣本，具有強(qiáng)大的非線性辨識(shí)能力，SLFNs己被廣泛應(yīng)用于模式識(shí)別、函數(shù)逼近、系統(tǒng)建模和控制等領(lǐng)域。[0003]SLFNs大多采用梯度下降法進(jìn)行參數(shù)學(xué)習(xí)，收斂速度慢，且容易陷入局部極小值。針對(duì)這一問題，2004年南洋理工大學(xué)HuangGuangbin等在《ProceedingsofIEEEInternationalJointConferenceonNeuralNetworks》(IEEE神經(jīng)網(wǎng)絡(luò)國(guó)際會(huì)議論文集)第2卷985—990頁發(fā)表的《Extremelearningmachine:anewlearningschemeoffeedforwardneuralnetworks》(極限學(xué)習(xí)機(jī):一種新的前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法)提出了一種簡(jiǎn)單易用、有效的單隱層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法一極限學(xué)習(xí)機(jī)(ELM=ExtremeLearningMachine)，只需要設(shè)置隱層節(jié)點(diǎn)個(gè)數(shù)，輸入權(quán)值和隱元偏置隨機(jī)初始化給定，輸出權(quán)值利用廣義逆解析計(jì)算得到，與傳統(tǒng)的BP算法相比，ELM算法不需迭代、學(xué)習(xí)效率高、精度高、參數(shù)調(diào)整簡(jiǎn)單，受到了廣泛關(guān)注。[0004]傳統(tǒng)的ELM基于訓(xùn)練誤差最小化原理，輸出權(quán)重直接由最小二乘估計(jì)方法得出，在訓(xùn)練樣本少或者訓(xùn)練樣本不均衡的情況下，會(huì)出現(xiàn)過擬合問題，導(dǎo)致泛化性能降低；初始定義的參數(shù)(隱層神經(jīng)元個(gè)數(shù)、隨機(jī)生成的輸入權(quán)值和隱元偏置)對(duì)神經(jīng)網(wǎng)絡(luò)的泛化性能影響很大，特別是在訓(xùn)練樣本不均衡或者訓(xùn)練樣本少的情況；在實(shí)際應(yīng)用過程中，為了達(dá)到理想精度，需要設(shè)置大量的隱層神經(jīng)元個(gè)數(shù)，也會(huì)導(dǎo)致泛化性能的降低。所以，近年來研究者們提出了許多改進(jìn)的ELM方法以提高ELM分類器的泛化性能。[0005]2013年《Neurocomputing》(神經(jīng)計(jì)算)在101卷229_242頁發(fā)表的《Weightedextremelearningmachineforimbalancelearning》(解決不平衡學(xué)習(xí)的加權(quán)極限學(xué)習(xí)機(jī))針對(duì)不均衡樣本問題，通過為每一樣本分配權(quán)重，強(qiáng)化樣本少的類別對(duì)分類器的影響，同時(shí)弱化樣本多的類別對(duì)分類器的影響。2012年《SoftComputing》(軟計(jì)算)在16卷1493—1502頁發(fā)表的〈〈Dynamicensembleextremelearningmachinebasedonsampleentropy》(基于樣本熵的動(dòng)態(tài)合成極限學(xué)習(xí)機(jī))應(yīng)用AdaBoost將訓(xùn)練集分類，為每一訓(xùn)練子集訓(xùn)練一個(gè)ELM分類器，然后，基于樣本熵動(dòng)態(tài)合成策略將測(cè)試樣本進(jìn)行分類，會(huì)減輕過度學(xué)習(xí)訓(xùn)練樣本帶來的過擬合問題。2012年《InformationSciences》(信息科學(xué))在185卷66-77頁發(fā)表的《Votingbasedextremelearningmachine))(基于投票機(jī)制的極限學(xué)習(xí)機(jī))提出單獨(dú)訓(xùn)練多個(gè)具有相同網(wǎng)絡(luò)結(jié)構(gòu)的ELM分類器，再基于多數(shù)投票方式確定最終的分類結(jié)果，提高分類精度。上述改進(jìn)算法通過對(duì)訓(xùn)練樣本加權(quán)、或者應(yīng)用多分類器提高分類精度，而沒有涉及ELM的輸入權(quán)重、隱元偏置和隱元個(gè)數(shù)的最優(yōu)選擇問題。[0006]CN103065191A公開的《一種快速的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法》和CN102708381A公開的《融合最小二乘向量機(jī)回歸學(xué)習(xí)思想的改進(jìn)極限學(xué)習(xí)機(jī)》通過在代價(jià)函數(shù)中綜合考慮訓(xùn)練誤差所代表的經(jīng)驗(yàn)風(fēng)險(xiǎn)和輸出權(quán)重范數(shù)所代表的結(jié)構(gòu)風(fēng)險(xiǎn)，修正計(jì)算輸出權(quán)重，優(yōu)化泛化性能，也沒有涉及ELM的輸入權(quán)重、隱元偏置和隱元個(gè)數(shù)的最優(yōu)選擇問題。[0007]2OO6年《IEEETransactionsonNeuralNetworks》(IEEE神經(jīng)網(wǎng)絡(luò)學(xué)報(bào))在17卷1411-1423頁發(fā)表的〈〈Afastandaccurateonlinesequentiallearningalgorithmforfeedforwardnetworks》(一種快速精確的前饋網(wǎng)絡(luò)在線序列學(xué)習(xí)算法)提出了在線序列極限學(xué)習(xí)機(jī)(0S-ELM:0nlineSequentialExtremeLearningMachine)，根據(jù)新得到的訓(xùn)練樣本不斷修正輸出權(quán)重。2010年《Computers&MathematicswithApplications》(計(jì)算機(jī)、數(shù)學(xué)及其應(yīng)用)在60卷377-389頁發(fā)表的《Anewonlinelearningalgorithmforstructure-adiustableextremelearningmachine》(一種新型的結(jié)構(gòu)可調(diào)在線極限學(xué)習(xí)機(jī))提出了一種結(jié)構(gòu)可調(diào)的在線極限學(xué)習(xí)機(jī)(SAO-ELM)，在線學(xué)習(xí)過程中，可以添加隱層神經(jīng)元個(gè)數(shù)，再根據(jù)迭代公式計(jì)算修正輸出權(quán)重。這些在線ELM分類器也沒有涉及ELM的輸入權(quán)重、隱元偏置和隱元個(gè)數(shù)的最優(yōu)選擇問題。[0008]由于ELM算法隨機(jī)選擇輸入權(quán)重和隱元偏置，利用隨機(jī)選擇的輸入權(quán)重和隱元偏置計(jì)算使得訓(xùn)練誤差最小的輸出權(quán)重，而輸入權(quán)重和隱元偏置的選擇很有可能并不是最優(yōu)的，研究者們已經(jīng)開展了優(yōu)化ELM輸入權(quán)重和隱元偏置選擇這方面的工作。2005年《Patternrecognition》(模式識(shí)別)在38卷1759—1763頁發(fā)表的《Evolutionaryextremelearningmachine》(進(jìn)化極限學(xué)習(xí)機(jī))，在給定隱層神經(jīng)元個(gè)數(shù)前提下，應(yīng)用差分進(jìn)化算法選擇能夠使得性能指標(biāo)(綜合考慮誤差和輸出權(quán)重的范數(shù))最優(yōu)的輸入權(quán)重和隱元偏置。2006年《AdvancesinNeuralNetworks-1SNN2006,LectureNotesinComputerScience》(先進(jìn)神經(jīng)網(wǎng)絡(luò)，計(jì)算機(jī)科學(xué)講義)3971卷644-652頁發(fā)表的《Evolutionaryextremelearningmachine—basedonparticleswarmoptimization》(基于粒子群優(yōu)化算法的進(jìn)化極限學(xué)習(xí)機(jī))應(yīng)用粒子群優(yōu)化算法在給定隱元個(gè)數(shù)的基礎(chǔ)上迭代優(yōu)化輸入權(quán)重和隱元偏置。2011年《Neurocomputing》(神經(jīng)計(jì)算)在74卷2483-2490頁發(fā)表的《Astudyoneffectivenessofextremelearningmachine))(對(duì)極限學(xué)習(xí)機(jī)有效性的研究)提出選擇使得輸出矩陣列滿秩的輸入權(quán)重和隱元偏置，提高ELM分類器的測(cè)試精度。2012年((Neurocomputing))(神經(jīng)計(jì)算)發(fā)表的((Animprovedevolutionaryextremelearningmachinebasedonparticleswarmoptimization》(基于粒子群優(yōu)化算法的進(jìn)化極限學(xué)習(xí)機(jī))在綜合考慮驗(yàn)證集的誤差和輸出權(quán)重范數(shù)的性能指標(biāo)前提下，利用粒子群優(yōu)化算法優(yōu)化輸入權(quán)重和隱元偏置。上述研究在對(duì)輸入權(quán)重和隱元偏置的優(yōu)化過程中需要提前設(shè)定隱元個(gè)數(shù)，并沒有考慮隱元個(gè)數(shù)的優(yōu)化。[0009]針對(duì)ELM模型中隱元個(gè)數(shù)的優(yōu)化選取問題，近年研究者們也提出了優(yōu)化策略。2009年《IEEETransactionsonNeuralNetworks》(IEEE神經(jīng)網(wǎng)絡(luò)學(xué)報(bào))在20卷1352-1357頁發(fā)表的《ErrorMinimizedExtremeLearningMachineWithGrowthofHiddenNodesandIncrementalLearning》(最小誤差遞增隱元個(gè)數(shù)的漸進(jìn)式極限學(xué)習(xí)機(jī))提出在學(xué)習(xí)過程中，通過隨機(jī)地在網(wǎng)絡(luò)中增加隱元個(gè)數(shù)，并更新輸出權(quán)重，達(dá)到自動(dòng)獲取能夠使得誤差最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)的目的。2010年《IEEETransactionsonNeuralNetworks))(IEEE神經(jīng)網(wǎng)絡(luò)期刊)在21卷158—162頁發(fā)表的《0P-ELM:OptimallyPrunedExtremeLearningMachine))(最佳精簡(jiǎn)極限學(xué)習(xí)機(jī))利用多響應(yīng)稀疏回歸方法剔除掉不重要的隱元，獲得較緊湊的網(wǎng)絡(luò)結(jié)構(gòu)。以上策略對(duì)ELM隱元個(gè)數(shù)進(jìn)行優(yōu)化，但是對(duì)輸入權(quán)重和隱元偏置并沒有同時(shí)進(jìn)行優(yōu)化。[0010]2009年《AppliedSoftComputing》(應(yīng)用軟計(jì)算)在9卷541—552頁發(fā)表的《No-referenceimagequalityassessmentusingmodifiedextremelearningmachineclassifier》提出應(yīng)用實(shí)數(shù)編碼的遺傳算法同時(shí)優(yōu)化隱元個(gè)數(shù)及相應(yīng)輸入權(quán)重和隱元偏置，但需要人工調(diào)節(jié)算法中定義的新的遺傳算子的多個(gè)參數(shù)。[0011]本發(fā)明所提出的基于變長(zhǎng)度粒子群優(yōu)化算法的極限學(xué)習(xí)機(jī)，利用簡(jiǎn)單的變長(zhǎng)度粒子群優(yōu)化算法，同時(shí)優(yōu)化ELM的隱元個(gè)數(shù)及相應(yīng)輸入權(quán)重和隱元偏置，不僅大大提高了ELM分類器的泛化性能，而且能夠以較少隱元個(gè)數(shù)的ELM分類器獲得最大的泛化性能，測(cè)試所需時(shí)間短，效率高?！?br/>發(fā)明內(nèi)容】[0012]本發(fā)明針對(duì)現(xiàn)有極限學(xué)習(xí)機(jī)及其各優(yōu)化算法存在的不足，特別是，如何優(yōu)化ELM網(wǎng)絡(luò)結(jié)構(gòu)提高ELM分類器的泛化性能，提出一種基于變長(zhǎng)度粒子群優(yōu)化算法的極限學(xué)習(xí)機(jī)。該極限學(xué)習(xí)機(jī)利用變長(zhǎng)度粒子群優(yōu)化算法(VPS0:Variable-lengthParticleSwarmOptimization)自動(dòng)地選擇隱元個(gè)數(shù)，同時(shí)選擇相應(yīng)的輸入權(quán)重和隱元偏置，使ELM分類器的泛化性能最大化，能夠以較少隱元個(gè)數(shù)的ELM分類器獲得最大的泛化性能，測(cè)試所需時(shí)間短，效率高。[0013]本發(fā)明提出的基于變長(zhǎng)度粒子群優(yōu)化算法的極限學(xué)習(xí)機(jī)，具體包括以下步驟:[0014](I)粒子群中的每一個(gè)粒子表示一個(gè)ELM分類器，粒子群中的第i個(gè)粒子表示為L(zhǎng)X(n+1)的二維實(shí)數(shù)矩陣:'wIiwn,,,wmrmwlη-Wziw'12...b2L0015」P1-;:...::,WtlWL2…wLnbL_[0016]其中，Pi的行數(shù)L表示為該ELM分類器的隱元個(gè)數(shù)，(WjlwJ2…wJnb」)表示第j個(gè)隱元的輸入權(quán)重和偏置，j=l，…L，η為輸入層神經(jīng)元個(gè)數(shù)，即數(shù)據(jù)集特征維數(shù)；[0017](2)計(jì)算每個(gè)粒子對(duì)于評(píng)價(jià)函數(shù)的適應(yīng)值f(Pi)，評(píng)價(jià)函數(shù)f(x)定義為分類器的交叉驗(yàn)證精度；[0018](3)對(duì)各個(gè)粒子的速度和位置進(jìn)行更新，生成下一代粒子群；[0019]Vi(t)，Pi(t)分別表示第t代粒子群中第i個(gè)粒子的速度和位置，p『(t)表示第i個(gè)粒子在t代進(jìn)化中產(chǎn)生的局部最優(yōu)解，ρ》ω表示在t代進(jìn)化中產(chǎn)生的全局最優(yōu)解，按照Piω的行數(shù)與PjW的行數(shù)是否相等，采用不同的更新公式；[0020]①如果Pi⑴的行數(shù)與的行數(shù)相同，即第i個(gè)粒子Pi(t)所代表的ELM分類器與全局最優(yōu)解6(0所代表的ELM分類器具有同樣的隱元個(gè)數(shù)，那么，[0021]Vi(t+I)=WV1(f)+—pi(t))+c2r2—Pi(t))?[0022]Pi(t+1)=Pi(t)+Vi(t+1)o[0023]其中ω為慣性因子，r1；r2是[0，I]均勻取值的隨機(jī)數(shù)，用來保持粒子的多樣性，C1,C2是學(xué)習(xí)因子，為正常數(shù)，Cl，C2=L5，慣性因子ω的計(jì)算如下:[0024]【權(quán)利要求】1.一種基于變長(zhǎng)度粒子群優(yōu)化算法的極限學(xué)習(xí)機(jī)，其特征是，包括以下步驟:(1)粒子群中的每一個(gè)粒子表示一個(gè)ELM分類器，粒子群中的第i個(gè)粒子表示為L(zhǎng)X(n+1)的二維實(shí)數(shù)矩陣:【文檔編號(hào)】G06N3/12GK103473598SQ201310425815【公開日】2013年12月25日申請(qǐng)日期:2013年9月17日優(yōu)先權(quán)日:2013年9月17日【發(fā)明者】馬昕,薛冰霞,李貽斌申請(qǐng)人:山東大學(xué)