1.一種基于粒子群優(yōu)化的多分辨率小波神經(jīng)網(wǎng)絡(luò)用電量預(yù)測方法,其特征在于包括以下內(nèi)容:
1)小波神經(jīng)網(wǎng)絡(luò):
小波神經(jīng)網(wǎng)絡(luò)既有小波變換的時頻域特性與變焦特性,又有神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)、自適應(yīng)、容錯性與魯棒性,小波神經(jīng)網(wǎng)絡(luò)的框架是基于BP神經(jīng)網(wǎng)絡(luò)構(gòu)建的,用小波激勵函數(shù)替換sigmoid函數(shù),并通過平移因子和伸縮因子構(gòu)造小波基,其中平移因子所實現(xiàn)的功能相當(dāng)于BP神經(jīng)網(wǎng)絡(luò)里的閾值,即對加權(quán)后的輸入數(shù)值進(jìn)行橫向微調(diào);伸縮因子的作用是在不同尺度下對其進(jìn)行調(diào)整,也正是由于這兩項調(diào)整因子的結(jié)合,才使得小波神經(jīng)網(wǎng)絡(luò)能夠更加精準(zhǔn)地向目標(biāo)函數(shù)進(jìn)行逼近,采用緊密型結(jié)構(gòu)對小波神經(jīng)網(wǎng)絡(luò)進(jìn)行構(gòu)建,構(gòu)造出來的3層小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu);
設(shè)輸入層為I個單元,輸入向量: X=[x1,x2,……,xI],隱含層為J個單元,激勵函數(shù)為小波函數(shù) ,伸縮因子向量:A=[a1,a2,……,aJ],平移因子向量為B=[b1,b2,……,bJ];
輸出向量:Y=[y1,y2,……,yk],預(yù)期輸出向量:O=[o1,o2,……,ok],輸入層與隱含層權(quán)值、隱含層與輸出層權(quán)值為w,輸入層第i個節(jié)點和隱含層第j個節(jié)點間權(quán)值為wi,j,隱含層第j個節(jié)點和輸出層第k個節(jié)點間權(quán)值為wj,k;
u表示每一層神經(jīng)元的輸入,v來表示經(jīng)激勵函數(shù)處理后的輸出,在迭代訓(xùn)練過程中,輸入為X,yk為輸出層第k個神經(jīng)元的總輸出,隱層第j個神經(jīng)元及輸出層第k個神經(jīng)元的輸入輸出表達(dá)式為:
網(wǎng)絡(luò)的前向傳遞函數(shù)為:
預(yù)期的輸出向量與經(jīng)訓(xùn)練后的實際輸出向量之差為誤差向量:ER=[er1,er2,……,erk],第k個神經(jīng)元輸出誤差為:
輸出層所有神經(jīng)元輸出誤差能量總和即全局誤差能量E為:
將得到的誤差反向傳播修正權(quán)值,依據(jù)權(quán)值的修正量與誤差能量對權(quán)值的偏微分成正比來計算各權(quán)值與平移伸縮因子的修正值,再根據(jù)Delta學(xué)習(xí)規(guī)則,設(shè)定學(xué)習(xí)步長,將修正后的各權(quán)值和因子保留進(jìn)行下一次迭代,網(wǎng)絡(luò)中隱含層個數(shù)可依據(jù)經(jīng)驗值選??;學(xué)習(xí)步長選取過大可導(dǎo)致收斂過程震蕩,過小則會減慢收斂速度,可通過多次嘗試進(jìn)行選??;
2)粒子群優(yōu)化的小波神經(jīng)網(wǎng)絡(luò):
粒子群優(yōu)化算法是一種通過模擬鳥群覓食行為來進(jìn)行協(xié)同搜索,從而在解空間中找到最優(yōu)解的算法,算法過程是在狀態(tài)空間中對每一個尋優(yōu)位置進(jìn)行評估,最終得到最佳位置,再從最佳位置出發(fā)進(jìn)行搜索,直到獲得最優(yōu)目標(biāo)值,將該算法用于優(yōu)化小波神經(jīng)網(wǎng)絡(luò),可加快神經(jīng)網(wǎng)絡(luò)訓(xùn)練的收斂速度,以全局優(yōu)化的方式避免小波神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中陷入局部極小值,提高預(yù)測精度;
假設(shè)目標(biāo)搜索空間為D維空間,粒子數(shù)為S個,于是第i個粒子在D維空間中的位置表示為:Xi=[xi1,xi2,……,xiD];第i個粒子的當(dāng)前速度為:Vi=[vi1,vi2,......,viD];第i個粒子自身歷史最優(yōu)位置為:Pi=[pi1,pi2,......,piD];粒子群整體的最優(yōu)位置為:Pg=[pg1,pg2,......pgD],其在第k次迭代中第i個粒子第d維的速度更新公式為:
其中,i=1,2,...S,d=1,2,...D,c1、c2為正常數(shù)的加速因子,r1、r2服從[0,1]上均勻分布的隨機(jī)數(shù),w為慣性權(quán)重,wmax和wmin分別為慣性權(quán)重的最大值和慣性權(quán)重的最小值,其計算公式為:
其位置更新公式為:
用粒子群算法優(yōu)化小波神經(jīng)網(wǎng)絡(luò),其中,令粒子個數(shù)D=60,加速因子c1=c2=2,wmax=0.9,wmin=0.4,以平均絕對百分誤差值作為目標(biāo)函數(shù)適應(yīng)度值;
3)粒子群優(yōu)化的多分辨率小波神經(jīng)網(wǎng)絡(luò):
基于小波多分辨率分析和多尺度正交空間思想,以神經(jīng)網(wǎng)絡(luò)為框架,再利用粒子群算法對其全局優(yōu)化,構(gòu)建基于粒子群優(yōu)化的多分辨率分析小波神經(jīng)網(wǎng)絡(luò);
設(shè)J為尺度參數(shù),其在初始狀態(tài)下值為0;輸入層有I個神經(jīng)元;隱含層有n個神經(jīng)元,并將Meyer尺度函數(shù)作為其激勵函數(shù),尺度函數(shù)為,并以此構(gòu)建多尺度正交空間,逼近目標(biāo)函數(shù);輸出層神經(jīng)元為G個,由此可以得到當(dāng)尺度參數(shù)為0時的輸出表達(dá)式為:
其中,x為輸入向量;wi,j為輸入層第i個神經(jīng)元與隱含層第j個神經(jīng)元之間的連接權(quán)值;aj為第j個隱含層神經(jīng)元閾值;cj,g為隱含層第j個神經(jīng)元與輸出層第g個神經(jīng)元的連接權(quán)值;
接著提升分辨率,令尺度參數(shù)J為1,增加n個隱含層神經(jīng)元,輸入層有m個神經(jīng)元,其激勵函數(shù)為Meyer小波函數(shù),用來逼近目標(biāo)函數(shù)中更加細(xì)微的部分,可以得到當(dāng)尺度參數(shù)為1時的輸出表達(dá)式為:
其中,vi,k為輸入層第i個神經(jīng)元和隱含層第k個神經(jīng)元的連接權(quán)值;bk為隱含層神經(jīng)元閾值;dk,g為隱含層第k個神經(jīng)元和輸出層第g個神經(jīng)元得到連接權(quán)值;
然后進(jìn)一步提升分辨率,令尺度參數(shù)J為2,加入2n個隱含層神經(jīng)元,激勵函數(shù)為Meyer小波函數(shù),輸出表達(dá)式為:
以此遞推下去,便能夠從不同分辨率逼近目標(biāo)函數(shù),并且每提高一次尺度,隱含層便會增加2J-1n個神經(jīng)元,e表示從1到J的每一個尺度參數(shù)值,直到達(dá)到最理想的逼近效果,尺度參數(shù)為J時,其對應(yīng)的傳遞函數(shù)通式為:
得到多分辨率小波神經(jīng)網(wǎng)絡(luò)的基本框架,再用粒子群算法對其權(quán)值進(jìn)行優(yōu)化,便得到基于粒子群優(yōu)化的多分辨率分析的小波神經(jīng)網(wǎng)絡(luò),在多分辨率分析過程中,J的值并不是越大越好,其需要不斷進(jìn)行實驗取值,從而得到一個尺度參數(shù)使訓(xùn)練誤差和預(yù)測誤差皆為最小。