1.一種基于梯度下降法與廣義逆的復值神經(jīng)網(wǎng)絡訓練方法,其特征是:所述方法步驟包括:
(1)選擇單隱層復值神經(jīng)網(wǎng)絡模型對樣本數(shù)據(jù)集進行建模;
(2)根據(jù)步驟(1)中選擇的單隱層復值神經(jīng)網(wǎng)絡模型,利用廣義逆計算所述單隱層復值神經(jīng)網(wǎng)絡中的權值矩陣,將迭代次數(shù)初始值設置為1,利用梯度下降法計算所述單隱層復值神經(jīng)網(wǎng)絡中的權值向量;
(3)根據(jù)步驟(2)中計算出的所述權值矩陣和所述權值向量,獲取復值神經(jīng)網(wǎng)絡網(wǎng)絡參數(shù),計算當前樣本數(shù)據(jù)的均方誤差;判斷當前迭代次數(shù)是否等于最大迭代次數(shù),若是,結束訓練;若否,將當前迭代次數(shù)加1,返回步驟(2)。
2.如權利要求1所述的一種基于梯度下降法與廣義逆的復值神經(jīng)網(wǎng)絡訓練方法,其特征是:所述步驟(1)中的所述單隱層復值神經(jīng)網(wǎng)絡模型為:
所述單隱層復值神經(jīng)網(wǎng)絡模型中的輸入層、隱層和輸出層神經(jīng)元個數(shù)分別為L、M和1;給定Q個輸入樣本;其樣本矩陣為Z=(zij)L×Q、輸入樣本相應的理想輸出矩陣為D=(d1,d2…dQ)T均為復數(shù);第q個樣本的輸入為 其中,i=1,2…L;第q個樣本的理想輸出為dq∈C。
3.如權利要求2所述的一種基于梯度下降法與廣義逆的復值神經(jīng)網(wǎng)絡訓練方法,其特征是:所述步驟(1)中的所述單隱層復值神經(jīng)網(wǎng)絡模型中的所述隱層的激活函數(shù)為gc:C→C;連接輸入層和隱層的權值矩陣為W=(wij)M×L=WR+iWI,其中,WR為W的實部,WI為W的虛部;輸入層與第i個隱節(jié)點的連接權值記為wi=(wi1,wi2…wiL)∈CL,其中,i=1,2…M;連接隱層和輸出層的權值向量為V=(v1,v2…vM)T=VR+iVI,其中,VR為V的實部,VI為V的虛部;第k個隱節(jié)點與輸出層的連接權值記為vk∈C,其中,k=1,2…M。
4.如權利要求3所述的一種基于梯度下降法與廣義逆的復值神經(jīng)網(wǎng)絡訓練方法,其特征是:所述步驟(2)中的具體步驟為:
(2-1)初始化輸入層到隱層的權值矩陣,獲取初始權值矩陣W0,W0在給定區(qū)間內(nèi)隨機賦值;
(2-2)利用梯度下降法和廣義逆計算單隱層復值神經(jīng)網(wǎng)絡中的權值矩陣和權值向量。
5.如權利要求4所述的一種基于梯度下降法與廣義逆的復值神經(jīng)網(wǎng)絡訓練方法,其特征是:所述步驟(2-2)中的所述通過廣義逆計算隱層到輸出層的權值矩陣V的具體步驟為:
(2-2a-1)根據(jù)步驟(2-1)中的所述初始權值矩陣W0與步驟(1)中的樣本矩陣Z計算隱層的輸入矩陣U=(uij)M×Q,
(2-2a-2)對矩陣步驟(2-2a-1)中的所述輸入矩陣U的實部和虛部分別激活,得到隱層的輸出矩陣H=(hij)M×Q,H=gc(UR)+igc(UI)=HR+iHI,其中,HR為H的實部,HI為H的虛部;
(2-2a-3):通過廣義逆計算隱層到輸出層的權值矩陣V,
其中,H為步驟(2-2a-2)中隱層的輸出矩陣,D為步驟(1)中的所述理想輸出矩陣。
6.如權利要求4所述的一種基于梯度下降法與廣義逆的復值神經(jīng)網(wǎng)絡訓練方法,其特征是:所述步驟(2-2)中的對初始權值矩陣W0進行優(yōu)化具體步驟為:
(2-2b-1):設置初始迭代次數(shù)k=1,最大迭代次數(shù)為K;
(2-2b-2):計算均方誤差E關于隱層權值W的梯度;
(2-2b-3):權值更新公式為其中,n=1,2,…,η為學習率。
7.如權利要求6所述的一種基于梯度下降法與廣義逆的復值神經(jīng)網(wǎng)絡訓練方法,其特征是:所述步驟(2-2b-2)中均方誤差E關于隱層權值W的梯度分成 兩部分計算,先求E對WR的梯度,再求E對WI的梯度,其中,WR為W實部,WI為W的虛部;
8.如權利要求7所述的一種基于梯度下降法與廣義逆的復值神經(jīng)網(wǎng)絡訓練方法,其特征是:
式中,zq為第q個樣本的輸入向量,zq,R為第q個樣本的輸入向量的實部,zq,I為第q個樣本的輸入向量的虛部,gc為隱層的激活函數(shù),為第q個樣本在第m個隱節(jié)點處的輸入,為第q個樣本在第m個隱節(jié)點的輸入的實部,為第q個樣本在第m個隱節(jié)點的輸入的虛部。
9.如權利要求1所述的一種基于梯度下降法與廣義逆的復值神經(jīng)網(wǎng)絡訓練方法,其特征是:所述步驟(3)中的具體步驟為:
(3-1)輸出層的激活函數(shù)選擇線性函數(shù),則輸出層的輸入等于輸出層的輸出,網(wǎng)絡的實際輸出為O=(o1,o2…oQ)T,第q個樣本的實際輸出為oq∈C,q=1,2…Q,將矩陣O分為OR(實部)和OI(虛部)兩部分,O=HTV=OR+iOI第q個樣本的實際輸出:
其中,vR為隱層到輸出層權值向量的實部,vI為隱層到輸出層權值向量的虛部,hq,R為第q個樣本隱層輸出向量的實部,hq,I為第q個樣本隱層輸出向量的虛部;
(3-2)計算當前樣本數(shù)據(jù)的均方誤差,判斷當前迭代次數(shù)k是否等于最大迭代次數(shù)K,若是,結束訓練;若否,將當前迭代次數(shù)加1,返回步驟(2-2b-2)。
10.如權利要求9所述的一種基于梯度下降法與廣義逆的復值神經(jīng)網(wǎng)絡訓練方法,其特征是:所述步驟(3)中的計算當前樣本數(shù)據(jù)的均方誤差采用:
其中,oq為第q個樣本的實際輸出,dq為第q個樣本的理想輸出。