一種支持向量回歸機(jī)模型選擇方法
【專利摘要】本發(fā)明公開了一種支持向量回歸機(jī)模型選擇方法，針對支持向量回歸機(jī)的模型選擇問題提出了一種新的基于混合核函數(shù)和容積卡爾曼濾波的支持向量回歸機(jī)模型選擇方法。選擇混合核函數(shù)作為支持向量機(jī)的核函數(shù)，把混合核函數(shù)的組合系數(shù)嵌入到核函數(shù)參數(shù)與回歸參數(shù)組成的超參數(shù)狀態(tài)向量當(dāng)中，從而將模型選擇問題轉(zhuǎn)換成一個(gè)非線性系統(tǒng)的狀態(tài)估計(jì)問題，然后基于高性能的容積卡爾曼濾波進(jìn)行超參數(shù)估計(jì)。仿真實(shí)驗(yàn)表明，本文所提方法與單個(gè)核函數(shù)的容積卡爾曼濾波支持向量回歸機(jī)模型選擇方法、遺傳算法相比，該方法得到的決策回歸函數(shù)具有更大的泛化能力，預(yù)測精度更高。
【專利說明】
一種支持向量回歸機(jī)模型選擇方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及一種支持向量機(jī)相關(guān)技術(shù)，尤其涉及一種支持向量回歸機(jī)模型選擇方法。
【背景技術(shù)】
[0002] 1995年Corinna Cortes和Vapnik等首先提出 了支持向量機(jī)（Support Vector Machine，SVM)，它是建立在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)之上的通用學(xué)習(xí)方法。SVM由于其強(qiáng)大的非線 性處理能力和泛化能力等特點(diǎn)，它在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特 有的優(yōu)勢，已經(jīng)成功的解決了各種非線性和非可分機(jī)器學(xué)習(xí)問題，因此被廣泛的應(yīng)用在分 類和回歸問題中。但是，支持向量機(jī)方法也存在一些亟待解決和完善的問題，主要有:支持 向量機(jī)分類理論是針對兩類分類問題提出的，然而，現(xiàn)實(shí)世界的分類問題，如艦船識別、字 體識別、人臉識別等都屬于多分類的范疇，因此，如何用支持向量機(jī)更有效的解決多分類問 題;支持向量機(jī)在二次尋優(yōu)過程中要進(jìn)行大量的矩陣運(yùn)算，多數(shù)情況下，尋優(yōu)算法占用了大 部分的算法時(shí)間，這就使得存儲空間和和計(jì)算時(shí)間成了求解二次規(guī)劃問題的瓶頸，如何解 決這一瓶頸問題;核函數(shù)以及核參數(shù)對支持向量機(jī)的分類擬合能力起著關(guān)鍵性作用，如何 確定核函數(shù)以及最優(yōu)的核參數(shù)以保證算法的有效性。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的就在于為了解決上述問題而提供一種支持向量回歸機(jī)模型選擇方 法。
[0004] 本發(fā)明通過以下技術(shù)方案來實(shí)現(xiàn)上述目的：
[0005] 本發(fā)明包括參數(shù)濾波估計(jì)模型的建立、系統(tǒng)設(shè)計(jì)、預(yù)測輸出函數(shù)、容積卡爾曼濾 波、MKF-CKF-SVR模型參數(shù)選擇；
[0006] 參數(shù)濾波估計(jì)模型的建立:建立如下超參數(shù)非線性系統(tǒng)
[0007] γ (k)= γ (k-l)+w(k) (1)
[0008] y(k)=h( γ (k))+v(k) (2)
[0009] 其中，y(k)是超參數(shù)狀態(tài)向量，y(k)是觀測輸出，過程噪聲w(k)和觀測噪聲v(k) 均是均值為零的高斯白噪聲，且方差分別為Q和R;
[0010] 由于待求的最優(yōu)超參數(shù)可以看做是固定不變的，所以可以建立式（1)所示的關(guān)于 超參數(shù)的線性狀態(tài)方程，其次對于任何一個(gè)狀態(tài)向量y(k)，經(jīng)過LIBSVM訓(xùn)練預(yù)測之后每一 個(gè)原始數(shù)據(jù)都有一個(gè)預(yù)測輸出，故可建立式(2)所示的非線性觀測方程;為了CKF算法的運(yùn) 行，需要對系統(tǒng)模型加入人工過程白噪聲和觀測白噪聲；
[0011]系統(tǒng)設(shè)計(jì):支持向量回歸機(jī)：
[0012 ]支持向量回歸機(jī)的最終目的是找到一個(gè)回歸函數(shù)f: RD-R，使得
[0013] y = f(x) =wT<}) (x)+b (3)
[0014] 其中，Φ (x)是一個(gè)將數(shù)據(jù)x從低維映射到高維特征空間的函數(shù);w是一個(gè)權(quán)重向 量，并且b是一個(gè)上下平移的數(shù)值;標(biāo)準(zhǔn)支持向量回歸機(jī)采用ε_不靈敏函數(shù)，假設(shè)所有訓(xùn)練 數(shù)據(jù)在精度ε下用線性函數(shù)擬合;這時(shí)，把問題轉(zhuǎn)化為求優(yōu)化目標(biāo)函數(shù)最小化問題：
[0016] 式中，f是松弛因子，當(dāng)擬合有誤差時(shí)，，€都大于0，誤差不存在時(shí)為0，優(yōu)化 函數(shù)第一項(xiàng)使擬合函數(shù)更為平坦，從而提高泛化能力;第二項(xiàng)為減小誤差;常數(shù)c>0表示對 超出誤差ε的樣本的懲罰程度；
[0017] 將核函數(shù)組合系數(shù)pi，ρ2、局部核函數(shù)的參數(shù)、全局核函數(shù)的參數(shù)以及懲罰參數(shù)C 作為支持向量回歸機(jī)的超參數(shù)γ，令ki為局部核函數(shù)的核參數(shù)向量，k2為全局核函數(shù)的核參 數(shù)向量，則模型（1)中的超參數(shù)狀態(tài)向量γ =[pl，p2，kl，k2，C]T;
[0018] 求解(4)式的凸二次優(yōu)化問題，引入Lagrange乘子ai，<.，.支持向量回歸機(jī)的原始 問題(4)轉(zhuǎn)換成如下對偶形式：
[0020] 通過求解該對偶問題得到原始問題的解? = (g,瓦，<，</，從而構(gòu)造 決策函數(shù);將核函數(shù)KU，，）代替目標(biāo)函數(shù)(1)中的內(nèi)積(Xl · ^)，則得到?jīng)Q策函數(shù)為：
[0026] 預(yù)測輸出函數(shù):假設(shè)支持向量回歸機(jī)的原始樣本數(shù)據(jù)集合為D={(Xl，yi)|iei}，
[0027] 其中指標(biāo)集合I = {1，2，...，N}，yi為數(shù)據(jù)的目標(biāo)向量，運(yùn)用k-折交叉驗(yàn)證方法將 樣本數(shù)據(jù)分成k組，即
[0028] Dj={(xi，yi)|ielj} (9)
[0029] 其中je {1，2, . . .，k}，并且所有組的指標(biāo)集Ij滿足hU IjU…U Ik=I，所有組的 數(shù)據(jù)集Dj滿足Di U D2 U…U Dk = D;在每一次支持向量回歸的迭代運(yùn)算中，使用其中任意一 組數(shù)據(jù)叫用作預(yù)測，剩下的k-Ι組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)庫，給定初始的超參數(shù)γ 〇利用LIBSVM [25]訓(xùn)練支持向量回歸機(jī);設(shè)此時(shí)訓(xùn)練結(jié)果為δ和|，則此時(shí)的決策函數(shù)為：
[0032]將數(shù)據(jù)組叫代入式(11)，即可得到叫的預(yù)測輸出值
[0034] 分別將數(shù)據(jù)組Duie U，2, . . .，k}作為預(yù)測數(shù)據(jù)組，其余的數(shù)據(jù)組Di，. . . D1+1，. . .，Dk作為支持向量回歸機(jī)訓(xùn)練數(shù)據(jù)組，經(jīng)過k-折交叉驗(yàn)證回歸預(yù)測之后，樣本數(shù)據(jù) 集D中的每一個(gè)數(shù)據(jù)有且僅有一個(gè)預(yù)測輸出值;故對于超參數(shù)向量γ，可定義如下預(yù)測輸出 函數(shù)：
[0035] y = h( γ ) (12)
[0036] 其中，y = (y(l)，y(2)，· · ·，y(N))T;
[0037] 容積卡爾曼濾波:基于公式（1)、（2)所建立的超參數(shù)模型以及預(yù)測輸出函數(shù)(12)， 下面給出容積卡爾曼濾波算法部分的主要步驟，包括2個(gè)過程，即時(shí)間更新過程和測量更新 過程：
[0038] 時(shí)間更新：
[0039] 1)假設(shè)在k時(shí)刻狀態(tài)誤差協(xié)方差矩陣已知，按下式分解
[0040] P(k-l|k-l)=S(k-l|k-l)ST(k-l|k-l) (13)
[0041 ] 2)按下式計(jì)算容積點(diǎn)（i = 1，2，…，m)
[0042] Λ； (/f - 11 /f -1) = S(k -1! !< - \)?(?) + y(k -11 !< -1) (料.）
[0044] 3)計(jì)算傳播容積點(diǎn)（i = l，2,…，m)
[0045] X；(k\k-\) = f(Xi(k\k-\)) ( 1、）
[0046] 4)計(jì)算一步狀態(tài)預(yù)測
[0048] 5)-步預(yù)測誤差協(xié)方差陣為
[0050] 測量更新
[0051 ] 1)按下式分解一步預(yù)測誤差協(xié)方差陣
[0052] P(k|k-l)=S(k|k-l)ST(k|k-l) (18)
[0053] 2)計(jì)算容積點(diǎn)（i = l，2,…，m)
[0054] Xt.(k I1) = S(k I k - l)c(/) + y{k \ k --1) (19)
[0055] 3)基于預(yù)測輸出函數(shù)(14)-(17)計(jì)算傳播容積點(diǎn)
[0056] Yi(k|k-l)=h(Xi(k|k-l)) (20)
[0067] 9)狀態(tài)誤差協(xié)方差矩陣為
[0068] P(k|k)=P(k|k-l)-K(k)Pyy(k|k-l)KT(k) (31)
[0069] Remark 2:由于CKF算法運(yùn)用了徑向積分和球形積分方法，該算法本身比UKF算法 具有更高的估計(jì)精度;從容積卡爾曼濾波算法對超參數(shù)的估計(jì)過程來看，主要是在測量更 新步驟(20)式中，需要將LIBSVM訓(xùn)練得到的預(yù)測輸出函數(shù)嵌入到傳播容積點(diǎn)的計(jì)算當(dāng)中；
[0070] MKF-CKF-SVR模型參數(shù)選擇
[0071] 在超參數(shù)系統(tǒng)（1)-(2)中，觀測向量y(k)的真實(shí)值在每一次迭代中都是不變的，且 就是原始樣本數(shù)據(jù)的目標(biāo)值向量y(k) = (yi，y2，. . .，yN)T，故可根據(jù)觀測向量的真實(shí)值y(k) 及預(yù)測輸出值夕對超參數(shù)狀態(tài)向量γ做最優(yōu)狀態(tài)估計(jì)，使得真實(shí)值與預(yù)測輸出值的方差達(dá) 到最小;MKF-CKF-SVR算法同樣是包括兩個(gè)過程，即時(shí)間更新過程和測量更新過程：
[0072] 時(shí)間更新：
[0073]由于該更新過程是對狀態(tài)的預(yù)測更新，且狀態(tài)方程是線性已知的，故可根據(jù)容積 卡爾曼濾波算法的時(shí)間跟新過程進(jìn)行MKF-CKF-SVR算法的時(shí)間更新；
[0074] 測量更新：
[0075] 在測量更新的過程中需要用到預(yù)測輸出函數(shù)，故不能直接利用CKF算法的公式 (17)進(jìn)行傳播容積點(diǎn)的計(jì)算；需要由超參數(shù)狀態(tài)向量y(k)，利用LIBSVM訓(xùn)練數(shù)據(jù)集，再預(yù) 測輸出f ;具體的MKF-CKF-SVR算法步驟：
[0076] 初始化：
[0077] 1.1獲得原始數(shù)據(jù)集D，選擇混合核函數(shù)模型，將組合系數(shù)嵌入到超參數(shù)狀態(tài)向量 γ當(dāng)中，設(shè)置初始超參數(shù)狀態(tài)值γ 〇;
[0078] 1.2運(yùn)用k折交叉驗(yàn)證法首先將原始數(shù)據(jù)集分成沾且以，D2，…，Dk [0079] While(超參數(shù)狀態(tài)值不滿足設(shè)定條件)do;
[0080] 時(shí)間更新：
[0081] 1.3利用公式(12)-(17)對超參數(shù)狀態(tài)進(jìn)行時(shí)間更新
[0082] 測量更新：
[0083] 1.4根據(jù)公式（17)分解一步預(yù)測誤差協(xié)方差陣
[0084] 1.5由用公式（18)計(jì)算容積點(diǎn)
[0085] 1.6輪流將k組數(shù)據(jù)中的一組作為測試集，其它k-Ι組作為訓(xùn)練集，基于LIBSVM算法 對數(shù)據(jù)集進(jìn)行訓(xùn)練，最后預(yù)測輸出，
[0086] 1.7基于預(yù)測f，利用公式(21)計(jì)算一步測量預(yù)測
[0087] 1.8運(yùn)用公式(21)-(25)繼續(xù)進(jìn)行測量更新
[0088] End while
[0089] End
[0090] Remark 3:基于混合核函數(shù)和容積卡爾曼濾波算法的SVR算法將混合核函數(shù)的組 合系數(shù)與核參數(shù)及懲罰參數(shù)C作為超參數(shù)狀態(tài)向量，然后利用k-折交叉驗(yàn)證法基于LIBSVM 對數(shù)據(jù)集進(jìn)行預(yù)測輸出，最終用CKF算法迭代計(jì)算最優(yōu)的的超參數(shù)狀態(tài)向量;實(shí)際上，整個(gè) MKF-CKF-SVR算法的過程就是在迭代尋找最優(yōu)的狀態(tài)向量γ，使得樣本真實(shí)目標(biāo)值y(k)與 支持向量回歸機(jī)的預(yù)測輸出I之間的誤差方差最小。
[0091] 本發(fā)明的有益效果在于：
[0092] 本發(fā)明是一種支持向量回歸機(jī)模型選擇方法，與現(xiàn)有技術(shù)相比，本發(fā)明將混合核 函數(shù)的組合系數(shù)嵌入到核函數(shù)參數(shù)與回歸參數(shù)組成的超參數(shù)狀態(tài)向量當(dāng)中，基于LIBSVM對 原始數(shù)據(jù)集做預(yù)測輸出，然后用容積卡爾曼濾波對超參數(shù)進(jìn)行自動調(diào)整估計(jì)。最后以預(yù)測 太陽黑子數(shù)平滑月均值為實(shí)驗(yàn)證明了基于本文所提方法得到的超參數(shù)能夠使得支持向量 回歸機(jī)的泛化能力更強(qiáng)，預(yù)測精度更高。
【附圖說明】
[0093] 圖1是本發(fā)明的MKF-CKF-SVR超參數(shù)調(diào)整結(jié)構(gòu)圖；
[0094]圖2是本發(fā)明的MKF-CKF-SVR算法的回歸預(yù)測圖；
[0095] 圖3是本發(fā)明的RBF-GA-SVR算法的回歸預(yù)測圖。
【具體實(shí)施方式】
[0096] 下面結(jié)合附圖對本發(fā)明作進(jìn)一步說明：
[0097] 如圖1所示:MKF-CKF-SVR模型參數(shù)選擇
[0098] 下面推導(dǎo)支持向量回歸機(jī)模型超參數(shù)的選擇方法，并給出所提算法的具體步驟。 設(shè)計(jì)如圖1所示的超參數(shù)調(diào)整系統(tǒng)，首先利用k_折交叉驗(yàn)證法將原始數(shù)據(jù)集分成k組，選擇 局部核函數(shù)和全局核函數(shù)確定混合核函數(shù)，基于該混合核函數(shù)用k個(gè)子LIBSVM訓(xùn)練此數(shù)據(jù) 集，并將它的預(yù)測輸出嵌入到容積卡爾曼濾波器當(dāng)中，將模型的超參數(shù)作為系統(tǒng)的狀態(tài)向 量，則整個(gè)超參數(shù)的調(diào)整問題就可作為一個(gè)非線性動態(tài)系統(tǒng)的濾波估計(jì)問題。
[0099] 本發(fā)明包括參數(shù)濾波估計(jì)模型的建立、系統(tǒng)設(shè)計(jì)、預(yù)測輸出函數(shù)、容積卡爾曼濾 波、MKF-CKF-SVR模型參數(shù)選擇；
[0100] 參數(shù)濾波估計(jì)模型的建立:建立如下超參數(shù)非線性系統(tǒng)
[0101] γ (k)= γ (k-l)+w(k) (1)
[0102] y(k)=h( γ (k))+v(k) (2)
[0103] 其中，y(k)是超參數(shù)狀態(tài)向量，y(k)是觀測輸出，過程噪聲w(k)和觀測噪聲v(k) 均是均值為零的高斯白噪聲，且方差分別為Q和R;
[0104] 由于待求的最優(yōu)超參數(shù)可以看做是固定不變的，所以可以建立式（1)所示的關(guān)于 超參數(shù)的線性狀態(tài)方程，其次對于任何一個(gè)狀態(tài)向量y(k)，經(jīng)過LIBSVM訓(xùn)練預(yù)測之后每一 個(gè)原始數(shù)據(jù)都有一個(gè)預(yù)測輸出，故可建立式(2)所示的非線性觀測方程;為了CKF算法的運(yùn) 行，需要對系統(tǒng)模型加入人工過程白噪聲和觀測白噪聲；
[0105] 系統(tǒng)設(shè)計(jì):支持向量回歸機(jī)：
[0106] 支持向量回歸機(jī)的最終目的是找到一個(gè)回歸函數(shù)f:RD-R，使得
[0107] y = f(x) =￥τφ (x)+b (3)
[0108] 其中，Φ (x)是一個(gè)將數(shù)據(jù)x從低維映射到高維特征空間的函數(shù);w是一個(gè)權(quán)重向 量，并且b是一個(gè)上下平移的數(shù)值;標(biāo)準(zhǔn)支持向量回歸機(jī)采用ε_不靈敏函數(shù)，假設(shè)所有訓(xùn)練 數(shù)據(jù)在精度ε下用線性函數(shù)擬合;這時(shí)，把問題轉(zhuǎn)化為求優(yōu)化目標(biāo)函數(shù)最小化問題：
[0110] 式中，是松弛因子，當(dāng)擬合有誤差時(shí)，都大于0,誤差不存在時(shí)為0,優(yōu)化 函數(shù)第一項(xiàng)使擬合函數(shù)更為平坦，從而提高泛化能力;第二項(xiàng)為減小誤差;常數(shù)c>0表示對 超出誤差ε的樣本的懲罰程度；
[0111] 將核函數(shù)組合系數(shù)pi，ρ2、局部核函數(shù)的參數(shù)、全局核函數(shù)的參數(shù)以及懲罰參數(shù)C 作為支持向量回歸機(jī)的超參數(shù)γ，令ki為局部核函數(shù)的核參數(shù)向量，k2為全局核函數(shù)的核參 數(shù)向量，則模型（1)中的超參數(shù)狀態(tài)向量γ =[pl，p2，kl，k2，C]T;
[0112] 求解(4)式的凸二次優(yōu)化問題，引入Lagrange乘子ai，:，支持向量回歸機(jī)的原始 問題(4)轉(zhuǎn)換成如下對偶形式：
[0114] 通過求解該對偶問題得到原始問題的解，…，?Κ)'·，從而構(gòu)造 決策函數(shù);將核函數(shù)KU，，）代替目標(biāo)函數(shù)(1)中的內(nèi)積( Xl · ^)，則得到?jīng)Q策函數(shù)為：
[0116]其中，F(xiàn)按如下方式計(jì)算:選擇開區(qū)間中的％或％ ;若選到的是孓，則
[0118] 若選到的是客，:則
[0120] 預(yù)測輸出函數(shù):假設(shè)支持向量回歸機(jī)的原始樣本數(shù)據(jù)集合為D={(Xl，yi)|iei}，
[0121] 其中指標(biāo)集合I = {1，2，...，N}，yi為數(shù)據(jù)的目標(biāo)向量，運(yùn)用k-折交叉驗(yàn)證方法將 樣本數(shù)據(jù)分成k組，即
[0122] Dj={(xi，yi)|ielj} (9)
[0123] 其中je{l，2，. . .，k}，并且所有組的指標(biāo)集Ij滿足hUIjU…UIk=I，所有組的 數(shù)據(jù)集Dj滿足Di U D2 U…U Dk = D;在每一次支持向量回歸的迭代運(yùn)算中，使用其中任意一 組數(shù)據(jù)叫用作預(yù)測，剩下的k-Ι組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)庫，給定初始的超參數(shù)γ 〇利用LIBSVM [25]訓(xùn)練支持向量回歸機(jī);設(shè)此時(shí)訓(xùn)練結(jié)果為泛和I，則此時(shí)的決策函數(shù)為：
[0128] 分別將數(shù)據(jù)組D^ie {1，2, . . .，k}作為預(yù)測數(shù)據(jù)組，其余的數(shù)據(jù)組D1; . . . D1+1，. . .，Dk作為支持向量回歸機(jī)訓(xùn)練數(shù)據(jù)組，經(jīng)過k-折交叉驗(yàn)證回歸預(yù)測之后，樣本數(shù)據(jù) 集D中的每一個(gè)數(shù)據(jù)有且僅有一個(gè)預(yù)測輸出值;故對于超參數(shù)向量γ，可定義如下預(yù)測輸出 函數(shù)：
[0129] y=h( γ) (12)
[0130] 其中，y = (y(l)，y(2)，· · ·，y(N))T;
[0131] 容積卡爾曼濾波:基于公式（1)、（2)所建立的超參數(shù)模型以及預(yù)測輸出函數(shù)(12)， 下面給出容積卡爾曼濾波算法部分的主要步驟，包括2個(gè)過程，即時(shí)間更新過程和測量更新 過程：
[0132] 時(shí)間更新：
[0133] 6)假設(shè)在k時(shí)刻狀態(tài)誤差協(xié)方差矩陣已知，按下式分解
[0134] P(k-l|k-l)=S(k-l|k-l)ST(k-l|k-l) (13)
[0135] 7)按下式計(jì)算容積點(diǎn)（i = l，2,…，m)
[0136] A~(/? - i | A· -1) = 5?:/γ - 11 /(- ;'(/r -11 /(- 1) .( 14)
[0138] 8)計(jì)算傳播容積點(diǎn)（i = l，2,…，m)
[0139] {k\k-\) = j\XXk\k-\)) (15)
[0140] 9)計(jì)算一步狀態(tài)預(yù)測
[0144] 測量更新
[0145] 10)按下式分解一步預(yù)測誤差協(xié)方差陣
[0146] P(k|k-l)=S(k|k-l)ST(k|k-l) (18)
[0147] 11)計(jì)算容積點(diǎn)（i = l，2,…，m)
[0148] X^k \k-\) = S{k \ k -1)^(/) + f{k j ^ -1) ( 19 )
[0149] 12)基于預(yù)測輸出函數(shù)(14)-(17)計(jì)算傳播容積點(diǎn)
[0150] Yi(k|k-l)=h(Xi(k|k-l)) (20)
[0151] 13) -步測量預(yù)測為
[0159] 17)更新估計(jì)狀態(tài)
[0160] f(k\k)-f{k\k-\)JrK(k )(y{k) - y(k | A- -1)) (25 )
[0161] 18)狀態(tài)誤差協(xié)方差矩陣為
[0162] P(k|k)=P(k|k-l)-K(k)Pyy(k|k-l)KT(k) (31)
[0163] Remark 2:由于CKF算法運(yùn)用了徑向積分和球形積分方法，該算法本身比UKF算法 具有更高的估計(jì)精度;從容積卡爾曼濾波算法對超參數(shù)的估計(jì)過程來看，主要是在測量更 新步驟(20)式中，需要將LIBSVM訓(xùn)練得到的預(yù)測輸出函數(shù)嵌入到傳播容積點(diǎn)的計(jì)算當(dāng)中；
[0164] MKF-CKF-SVR模型參數(shù)選擇
[0165] 在超參數(shù)系統(tǒng)（1)-(2)中，觀測向量y(k)的真實(shí)值在每一次迭代中都是不變的，且 就是原始樣本數(shù)據(jù)的目標(biāo)值向量y(k) = (yi，y2，. . .，yN)T，故可根據(jù)觀測向量的真實(shí)值y(k) 及預(yù)測輸出值戈對超參數(shù)狀態(tài)向量γ做最優(yōu)狀態(tài)估計(jì)，使得真實(shí)值與預(yù)測輸出值的方差達(dá) 到最小;MKF-CKF-SVR算法同樣是包括兩個(gè)過程，即時(shí)間更新過程和測量更新過程：
[0166] 時(shí)間更新：
[0167] 由于該更新過程是對狀態(tài)的預(yù)測更新，且狀態(tài)方程是線性已知的，故可根據(jù)容積 卡爾曼濾波算法的時(shí)間跟新過程進(jìn)行MKF-CKF-SVR算法的時(shí)間更新；
[0168] 測量更新：
[0169] 在測量更新的過程中需要用到預(yù)測輸出函數(shù)，故不能直接利用CKF算法的公式 (17)進(jìn)行傳播容積點(diǎn)的計(jì)算；需要由超參數(shù)狀態(tài)向量y(k)，利用LIBSVM訓(xùn)練數(shù)據(jù)集，再預(yù) 測輸出，;具體的MKF-CKF-SVR算法步驟：
[0170] 初始化：
[0171] 1.1獲得原始數(shù)據(jù)集D，選擇混合核函數(shù)模型，將組合系數(shù)嵌入到超參數(shù)狀態(tài)向量 γ當(dāng)中，設(shè)置初始超參數(shù)狀態(tài)值γ 〇;
[0172] 1.2運(yùn)用k折交叉驗(yàn)證法首先將原始數(shù)據(jù)集分成沾且以，D2，…，Dk
[0173] While (超參數(shù)狀態(tài)值不滿足設(shè)定條件)do;
[0174] 時(shí)間更新：
[0175] 1.3利用公式(12)-(17)對超參數(shù)狀態(tài)進(jìn)行時(shí)間更新
[0176] 測量更新：
[0177] 1.4根據(jù)公式(17)分解一步預(yù)測誤差協(xié)方差陣
[0178] 1.5由用公式（18)計(jì)算容積點(diǎn)
[0179] 1.6輪流將k組數(shù)據(jù)中的一組作為測試集，其它k-Ι組作為訓(xùn)練集，基于LIBSVM算法 對數(shù)據(jù)集進(jìn)行訓(xùn)練，最后預(yù)測輸出/
[0180] 1.7基于預(yù)測$，利用公式(21)計(jì)算一步測量預(yù)測
[0181] 1.8運(yùn)用公式(21)-(25)繼續(xù)進(jìn)行測量更新
[0182] End while
[0183] End
[0184] Remark 3:基于混合核函數(shù)和容積卡爾曼濾波算法的SVR算法將混合核函數(shù)的組 合系數(shù)與核參數(shù)及懲罰參數(shù)C作為超參數(shù)狀態(tài)向量，然后利用k-折交叉驗(yàn)證法基于LIBSVM 對數(shù)據(jù)集進(jìn)行預(yù)測輸出，最終用CKF算法迭代計(jì)算最優(yōu)的的超參數(shù)狀態(tài)向量;實(shí)際上，整個(gè) MKF-CKF-SVR算法的過程就是在迭代尋找最優(yōu)的狀態(tài)向量γ，使得樣本真實(shí)目標(biāo)值y(k)與 支持向量回歸機(jī)的預(yù)測輸出，之間的誤差方差最小。
[0185] 算法分析
[0186] 在基于局部核函數(shù)的的支持向量機(jī)的算法中，主要是相互之間距離較近的數(shù)據(jù)點(diǎn) 對核函數(shù)的值產(chǎn)生影響，而在基于全局核函數(shù)的支持向量機(jī)算法中，主要是數(shù)據(jù)集中相互 之間的距離較遠(yuǎn)的點(diǎn)對核函數(shù)的值產(chǎn)生影響。在求解實(shí)際問題時(shí)僅僅采用單一的核函數(shù)具 有一定的局限性，往往不能使得得到的支持向量回歸機(jī)性能最優(yōu)。而混合核函數(shù)將兩種不 同類型的核函數(shù)組合之后使得新核函數(shù)既具有良好的學(xué)習(xí)能力又具有較好的推廣能力。這 就恰好體現(xiàn)了支持向量機(jī)在學(xué)習(xí)能力和推廣能力之間兩者兼顧的思想。但對于如何選擇混 合核函數(shù)的組合系數(shù)仍是個(gè)難題，通常采用的方法是專家的先驗(yàn)知識核基于交叉驗(yàn)證的方 法，但這些方法都不一定能給出最優(yōu)的選擇參數(shù)。本文將構(gòu)造核函數(shù)的組合參數(shù)P1，p2與局 部核函數(shù)的參數(shù)、全局核函數(shù)的參數(shù)以及懲罰參數(shù)C放在一起作為支持向量回歸機(jī)的超參 數(shù)，事實(shí)上，我們可以完全將此時(shí)的超參數(shù)向量看作是混合核函數(shù)的核參數(shù)，然后基于高精 度的容積卡爾曼濾波算法對超參數(shù)向量整體進(jìn)行狀態(tài)估計(jì)得到支持向量回歸機(jī)最優(yōu)的超 參數(shù)值。
[0187] 仿真例子
[0188] 預(yù)測太陽黑子數(shù)平滑月均值的實(shí)驗(yàn):將利用太陽活動1974年1月至2004年12月的 太陽黑子數(shù)平滑月均值來預(yù)測太陽活動2005年1月至2014年11月的太陽黑子數(shù)平滑月均 值。試驗(yàn)中的數(shù)據(jù)來自太陽影響數(shù)據(jù)分析中心。所有仿真均采用5-折交叉驗(yàn)證。本仿真混合 核函數(shù)的局部核函數(shù)選擇RBF核函數(shù)，全局核函數(shù)選擇S i gmo i d核函數(shù)。則MKF-CKF-SVR算法 的超參數(shù)向量/-[/兒/)2,0,人^，(；]/，基于1^ 7核函數(shù)的遺傳支持向量回歸機(jī)算法(1^7-6八-SVR)的超參數(shù)向量y=[0，C] T?；貧w預(yù)測結(jié)果對比如圖2和表2所示。
[0189] 表2超參數(shù)估計(jì)結(jié)果表
[0191] 從圖2、圖3可以看出，MKF-CKF-SVR算法與RBF-GA-SVR算法相比，能更好的對原始 數(shù)據(jù)集進(jìn)行擬合，預(yù)測精度更高。從表2的預(yù)測樣本誤差均方誤差來看，MKF-CKF-SVR算法的 預(yù)測樣本誤差均方誤差大大小于RBF-GA-SVR算法，且基于MKF-CKF-SVR算法給出的局部核 參數(shù)值σ遠(yuǎn)小于基于RBF-GA-SVR算法，因此，MKF-CKF-SVR算法泛化能力更強(qiáng)。
[0192] 結(jié)論
[0193] 本發(fā)明將混合核函數(shù)的組合系數(shù)嵌入到核函數(shù)參數(shù)與回歸參數(shù)組成的超參數(shù)狀 態(tài)向量當(dāng)中，基于LIBSVM對原始數(shù)據(jù)集做預(yù)測輸出，然后用容積卡爾曼濾波對超參數(shù)進(jìn)行 自動調(diào)整估計(jì)。最后以預(yù)測太陽黑子數(shù)平滑月均值為實(shí)驗(yàn)證明了基于本文所提方法得到的 超參數(shù)能夠使得支持向量回歸機(jī)的泛化能力更強(qiáng)，預(yù)測精度更高。
[0194] 以上顯示和描述了本發(fā)明的基本原理和主要特征及本發(fā)明的優(yōu)點(diǎn)。本行業(yè)的技術(shù) 人員應(yīng)該了解，本發(fā)明不受上述實(shí)施例的限制，上述實(shí)施例和說明書中描述的只是說明本 發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會有各種變化和改進(jìn)，這些變 化和改進(jìn)都落入要求保護(hù)的本發(fā)明范圍內(nèi)。本發(fā)明要求保護(hù)范圍由所附的權(quán)利要求書及其 等效物界定。
【主權(quán)項(xiàng)】
1. 一種支持向量回歸機(jī)模型選擇方法，其特征在于:包括參數(shù)濾波估計(jì)模型的建立、系 統(tǒng)設(shè)計(jì)、預(yù)測輸出函數(shù)、容積卡爾曼濾波、MF-CKF-SVR模型參數(shù)選擇； 參數(shù)濾波估計(jì)模型的建立:建立如下超參數(shù)非線性系統(tǒng) 丫化）=丫化-l)+w 化） （1) y(k)=h( γ (；k))+v(；k) (2) 其中，T(k)是超參數(shù)狀態(tài)向量，y化)是觀測輸出，過程噪聲w化)和觀測噪聲V化)均是 均值為零的高斯白噪聲，且方差分別為Q和R; 由于待求的最優(yōu)超參數(shù)可W看做是固定不變的，所W可W建立式（1)所示的關(guān)于超參 數(shù)的線性狀態(tài)方程，其次對于任何一個(gè)狀態(tài)向量丫化），經(jīng)過LIBSVM訓(xùn)練預(yù)測之后每一個(gè)原 始數(shù)據(jù)都有一個(gè)預(yù)測輸出，故可建立式(2)所示的非線性觀測方程;為了CKF算法的運(yùn)行，需 要對系統(tǒng)模型加入人工過程白噪聲和觀測白噪聲； 系統(tǒng)設(shè)計(jì):支持向量回歸機(jī)： 支持向量回歸機(jī)的最終目的是找到一個(gè)回歸函數(shù)f:RD^R，使得 y = f(χ)=￥^Φ (x)+b (3) 其中，Φ (X)是一個(gè)將數(shù)據(jù)X從低維映射到高維特征空間的函數(shù);w是一個(gè)權(quán)重向量，并 且b是一個(gè)上下平移的數(shù)值;標(biāo)準(zhǔn)支持向量回歸機(jī)采用ε-不靈敏函數(shù)，假設(shè)所有訓(xùn)練數(shù)據(jù)在 精度ε下用線性函數(shù)擬合;運(yùn)時(shí)，把問題轉(zhuǎn)化為求優(yōu)化目標(biāo)函數(shù)最小化問題：式中，ξι,努是松弛因子，當(dāng)擬合有誤差時(shí)，ξι,貧都大于0,誤差不存在時(shí)為0,優(yōu)化函數(shù) 第一項(xiàng)使擬合函數(shù)更為平坦，從而提高泛化能力;第二項(xiàng)為減小誤差;常數(shù)C>0表示對超出 誤差ε的樣本的懲罰程度； 將核函數(shù)組合系數(shù)pi，ρ2、局部核函數(shù)的參數(shù)、全局核函數(shù)的參數(shù)W及懲罰參數(shù)C作為 支持向量回歸機(jī)的超參數(shù)丫，令ki為局部核函數(shù)的核參數(shù)向量，k2為全局核函數(shù)的核參數(shù)向 量，則模型（1)中的超參數(shù)狀態(tài)向量丫 =[pl，p2，kl，k2，C]T; 求解(4)式的凸二次優(yōu)化問題，引入Lagrange乘子αι，<.，支持向量回歸機(jī)的原始問題 (4)轉(zhuǎn)換成如下對偶形式：通過求解該對偶問題得到原始問題的解尿=訴1，卻，&，馬，…而，兩y'，從而構(gòu)造決策函 數(shù);將核函數(shù)Κ(Χ，Χ'）代替目標(biāo)函數(shù)(1)中的內(nèi)積(XI · Xj)，則得到?jīng)Q策函數(shù)為：預(yù)測輸出函數(shù):假設(shè)支持向量回歸機(jī)的原始樣本數(shù)據(jù)集合為D={(xi，yi) lie I}，其中 指標(biāo)集合1 = {1，2,...，N}，yi為數(shù)據(jù)的目標(biāo)向量，運(yùn)用k-折交叉驗(yàn)證方法將樣本數(shù)據(jù)分成k 組，即 Dj = {(xi，yi) I iElj} (9) 其中j e {1，2, . . .，k}，并且所有組的指標(biāo)集Ij滿足Ii U Ij U…U Ik=I，所有組的數(shù)據(jù)集 Dj滿足化U化U…UDk=D;在每一次支持向量回歸的迭代運(yùn)算中，使用其中任意一組數(shù)據(jù)Dp 用作預(yù)測，剩下的k-1組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)庫，給定初始的超參數(shù)丫 0利用υΒ5νΜ[254]Ι|練支 持向量回歸機(jī);設(shè)此時(shí)訓(xùn)練結(jié)果為巧和易，則此時(shí)的決策函數(shù)為：(10) 其中，? = (αι·?|%α]·?.;·...，α,々Γ)'; 將數(shù)據(jù)組Dp代入式（11)，即可得到Dp的預(yù)測輸出值(11) 分別將數(shù)據(jù)組Di，ie {1，2, . . .，k}作為預(yù)測數(shù)據(jù)組，其余的數(shù)據(jù)組Di，. . .，Di-i， Di+i，. . .，Dk作為支持向量回歸機(jī)訓(xùn)練數(shù)據(jù)組，經(jīng)過k-折交叉驗(yàn)證回歸預(yù)測之后，樣本數(shù)據(jù) 集D中的每一個(gè)數(shù)據(jù)有且僅有一個(gè)預(yù)測輸出值;故對于超參數(shù)向量γ，可定義如下預(yù)測輸出 函數(shù)： y=h(丫） (12) 其中，y=(y(l)，y(2)，...，y(N))T; 容積卡爾曼濾波:基于公式（1)、（2)所建立的超參數(shù)模型W及預(yù)測輸出函數(shù)（12)，下面 給出容積卡爾曼濾波算法部分的主要步驟，包括2個(gè)過程，即時(shí)間更新過程和測量更新過 程： 時(shí)間更新： 1) 假設(shè)在k時(shí)刻狀態(tài)誤差協(xié)方差矩陣已知，按下式分解 P(k-l|k-l) = S(k-l|k-l)sT 化-l|k-l) (13) 2) 按下式計(jì)算容積點(diǎn)（i = l，2,…，m) 《雌-II點(diǎn)-1) = ^巧-1|&-：1儀貸+列點(diǎn)-1|&-1) (1斗） 其中，m=化X，拿.=S叫,:，如若狀態(tài)維數(shù)為2，貝1J [ 1 ] e R2，表示集合P且[1]1表示該集合中的第i個(gè)向量點(diǎn)； 3)計(jì)算傳播容積點(diǎn)（i = l，2，…，m)測量更新 1) 按下式分解一步預(yù)測誤差協(xié)方差陣 P(k|k-l) = S(k|k-l)sT 化 |k-l) (18) 2) 計(jì)算容積點(diǎn)（i = l，2，…，m) 乂心' μ - 1)=巧皮 μ -1)《(/) + .戶(足 I /r_ 9 (19) 3) 基于預(yù)測輸出函數(shù)(14)-(17)計(jì)算傳播容積點(diǎn) Yi(k|k-l)=h(Xi 化 |k-l)) (20) 4) 一步測量預(yù)測為Remark 2:由于CKF算法運(yùn)用了徑向積分和球形積分方法，該算法本身比UKF算法具有 更高的估計(jì)精度;從容積卡爾曼濾波算法對超參數(shù)的估計(jì)過程來看，主要是在測量更新步 驟(20)式中，需要將LIBSVM訓(xùn)練得到的預(yù)測輸出函數(shù)嵌入到傳播容積點(diǎn)的計(jì)算當(dāng)中； MKF-CKF-SVR模型參數(shù)選擇 在超參數(shù)系統(tǒng)（1)-(2)中，觀測向量y化)的真實(shí)值在每一次迭代中都是不變的，且就是 原始樣本數(shù)據(jù)的目標(biāo)值向量y化）= (yi，y2,. . .，yN)T，故可根據(jù)觀測向量的真實(shí)值7化)及預(yù) 測輸出值炎對超參數(shù)狀態(tài)向量γ做最優(yōu)狀態(tài)估計(jì)，使得真實(shí)值與預(yù)測輸出值的方差達(dá)到最 小;MF-CKF-SVR算法同樣是包括兩個(gè)過程，即時(shí)間更新過程和測量更新過程： 時(shí)間更新： 由于該更新過程是對狀態(tài)的預(yù)測更新，且狀態(tài)方程是線性已知的，故可根據(jù)容積卡爾 曼濾波算法的時(shí)間跟新過程進(jìn)行MF-CKF-SVR算法的時(shí)間更新； 測量更新： 在測量更新的過程中需要用到預(yù)測輸出函數(shù)，故不能直接利用CKF算法的公式（17)進(jìn) 行傳播容積點(diǎn)的計(jì)算；需要由超參數(shù)狀態(tài)向量丫化），利用LIBSVM訓(xùn)練數(shù)據(jù)集，再預(yù)測輸出 J ;具體的MF-CKF-SVR算法步驟： 初始化： 1.1獲得原始數(shù)據(jù)集D，選擇混合核函數(shù)模型，將組合系數(shù)嵌入到超參數(shù)狀態(tài)向量丫當(dāng) 中，設(shè)置初始超參數(shù)狀態(tài)值丫 0; 1.2運(yùn)用k折交叉驗(yàn)證法首先將原始數(shù)據(jù)集分成k組化，，…，化 Whi le (超參數(shù)狀態(tài)值不滿足設(shè)定條件)do; 時(shí)間更新： 1.3利用公式(12)-(17)對超參數(shù)狀態(tài)進(jìn)行時(shí)間更新 測量更新： 1.4根據(jù)公式(17)分解一步預(yù)測誤差協(xié)方差陣 1.5由用公式(18)計(jì)算容積點(diǎn) 1.6輪流將k組數(shù)據(jù)中的一組作為測試集，其它k-1組作為訓(xùn)練集，基于LIBSVM算法對數(shù) 據(jù)集進(jìn)行訓(xùn)練，最后預(yù)測輸出I 1.7基于預(yù)測旁，利用公式(21)計(jì)算一步測量預(yù)測 1.8運(yùn)用公式(21)-(25)繼續(xù)進(jìn)行測量更新 End while End Remarks:基于混合核函數(shù)和容積卡爾曼濾波算法的SVR算法將混合核函數(shù)的組合系數(shù) 與核參數(shù)及懲罰參數(shù)C作為超參數(shù)狀態(tài)向量，然后利用k-折交叉驗(yàn)證法基于LIBSVM對數(shù)據(jù) 集進(jìn)行預(yù)測輸出，最終用CKF算法迭代計(jì)算最優(yōu)的的超參數(shù)狀態(tài)向量；實(shí)際上，整個(gè)MKF- CKF-SVR算法的過程就是在迭代尋找最優(yōu)的狀態(tài)向量丫，使得樣本真實(shí)目標(biāo)值y化)與支持 向量回歸機(jī)的預(yù)測輸出I之間的誤差方差最小。
【文檔編號】G06K9/62GK106096646SQ201610403137
【公開日】2016年11月9日
【申請日】2016年6月7日
【發(fā)明人】王海倫, 許大星, 柴國飛, 黃鋼
【申請人】衢州學(xué)院