本發(fā)明涉及機(jī)器學(xué)習(xí)領(lǐng)域，尤其涉及一種基于樣本特性的相關(guān)向量回歸增量學(xué)習(xí)算法及系統(tǒng)。

背景技術(shù)：

2001年，Tipping首次提出了相關(guān)向量機(jī)這一新的機(jī)器學(xué)習(xí)算法。很快，Tipping又提出了快速序列稀疏貝葉斯學(xué)習(xí)算法，訓(xùn)練速度得到了加快；然后對相關(guān)向量機(jī)基本理論和應(yīng)用前景進(jìn)行總結(jié)，并發(fā)表了相應(yīng)的文章，從而標(biāo)志著相關(guān)向量機(jī)理論體系的初步完成。與此同時，增量學(xué)習(xí)方法在國內(nèi)外也取得了很多研究成果，應(yīng)用也越來越廣泛。Nikolay等人于2005年首次在相關(guān)向量機(jī)算法中應(yīng)用增量學(xué)習(xí)的思想。在相關(guān)向量回歸增量算法的研究上，Nikolay提出了一種RVM在線學(xué)習(xí)算法，算法思想為每增加一次樣本數(shù)據(jù)，就對RVM中的權(quán)值參數(shù)和超參數(shù)進(jìn)行同步優(yōu)化，并且通過實驗驗證了該方法的泛化能力；Jaco提出了一種增量RVR學(xué)習(xí)算法。

經(jīng)典的批處理相關(guān)向量回歸增量學(xué)習(xí)算法(IRVR)在增量學(xué)習(xí)過程中，每次加入新樣本，都對歷史樣本集進(jìn)行重新訓(xùn)練，沒有淘汰策略，這樣隨著樣本數(shù)量的增大，訓(xùn)練的時間以及復(fù)雜度也會不斷增加；傳統(tǒng)相關(guān)向量回歸增量學(xué)習(xí)算法(KIRVR)，即基于固定寬度滑動窗口的相關(guān)向量回歸增量學(xué)習(xí)算法，在增量學(xué)習(xí)過程中，每加入一次新樣本，都會刪除首樣本，然后對樣本集重新進(jìn)行訓(xùn)練，雖然這樣能減少訓(xùn)練時間以及復(fù)雜度，但是無選擇性地刪除首樣本會導(dǎo)致樣本有效信息的丟失。

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題在于針對現(xiàn)有技術(shù)中樣本數(shù)量不斷擴(kuò)大導(dǎo)致訓(xùn)練時間長，且無選擇地刪除樣本導(dǎo)致樣本有效信息丟失以及未充分利用樣本自身特性的缺陷，提供一種預(yù)測精度更高，且時間復(fù)雜度更低的基于樣本特性的相關(guān)向量回歸增量學(xué)習(xí)算法及系統(tǒng)。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：

本發(fā)明提供一種基于樣本特性的相關(guān)向量回歸增量學(xué)習(xí)算法，包括以下步驟：

S1、獲取初始樣本集，初始化參數(shù)；

S2、通過對樣本集進(jìn)行訓(xùn)練得到RVM預(yù)測模型；

S3、計算每個樣本的樣本標(biāo)簽、局部密度因子和誤差因子；

S4、根據(jù)RVM預(yù)測模型對即將輸入的未來樣本進(jìn)行預(yù)測；

S5、統(tǒng)計樣本的非相關(guān)向量次數(shù)，對局部密度因子和誤差因子進(jìn)行加權(quán)，得到樣本特性向量；對樣本特性向量降序排列，并對排序后的序列進(jìn)行循環(huán)，若非相關(guān)向量次數(shù)超過設(shè)定的閾值，則從樣本集中刪除該樣本，跳出循環(huán)；

S6、判斷是否還有輸入的新樣本，若有新樣本，則加入新樣本，形成新的樣本集，轉(zhuǎn)到步驟S2；若沒有新樣本，則輸出預(yù)測的未來樣本。

進(jìn)一步地，本發(fā)明的算法執(zhí)行完步驟S3后，還包括：根據(jù)RVM預(yù)測模型對未來樣本進(jìn)行預(yù)測，得到預(yù)測結(jié)果。

進(jìn)一步地，本發(fā)明的步驟S1的具體方法為：

首先初始化閾值l，用于作后面樣本非相關(guān)向量次數(shù)是否超過閾值的比較；初始化局部密因子權(quán)重和誤差因子權(quán)重，用于后面對密度因子和誤差因子進(jìn)行加權(quán)計算樣本特性向量。

進(jìn)一步地，本發(fā)明的步驟S2的方法具體為：

S21、根據(jù)相關(guān)向量回歸理論，令樣本訓(xùn)練集目標(biāo)值t_n相互獨立分布，輸入值x_n是獨立分布樣本，則有：

t_n＝y(tǒng)(x_n；w)+ξ_n

其中，ξ_n為附加噪聲，且滿足如下高斯分布：ξ_n～N(0,σ²)；w是由w_i組成的權(quán)重向量，即w＝[w₁,w₂,...w_N]^T；初始樣本集為T，樣本(x_i,y_i)的樣本標(biāo)簽為l(x_i)、局部密度因子為p_i，誤差因子為q_i；

RVM為每一個模型權(quán)重w_i定義自動相關(guān)測定先驗概率以控制模型復(fù)雜度，w_i先驗概率分布如下：p(w_i|α_i)＝N(0,α_i^-1)，則其中α＝(α₀,α₁,...α_N)是超參數(shù)所組成的向量；

假定超參α和噪聲參數(shù)σ²服從Gamma先驗分布：

p(α_i)＝Gamma(a,b)

p(σ²)＝Gamma(c,d)

首先初始化超參數(shù)α_i和σ²；

S22、分別計算Σ和μ：

Σ＝(σ^-2Φ^TΦ+A)^-1

μ＝σ^-2ΣΦ^Tt

其中A＝diag(α)，Φ是由核函數(shù)組成的N×(N+1)的結(jié)構(gòu)矩陣，具體如下：

S23、利用得到的μ和∑，重新計算和(σ²)^new：

${\mathrm{\α}}_i^{new}=\frac{1+2a}{u_i^2+{\Σ}_{ii}+2b}$

${\left({\mathrm{\σ}}^2\right)}^{new}=\frac{\left|\right|t-\mathrm{\φ}\mathrm{\μ}|{|}^2}{N-\underset{i=0}{\overset{N}{\Σ}}{\mathrm{\γ}}_i+2c}$

其中γ_i＝1-α_iΣ_ii；

S24、如果滿足算法終止條件則算法停止，否則轉(zhuǎn)到S22繼續(xù)迭代訓(xùn)練；

S25、刪除模型權(quán)重w_i趨向于零的樣本，同時對RVM模型超參數(shù)進(jìn)行更新；

S26、得到RVM預(yù)測模型：

設(shè)需要預(yù)測數(shù)據(jù)為X_*，對應(yīng)輸出為t_*，模型的預(yù)測輸出為y_*，對應(yīng)的預(yù)測方差為σ²_*，則有：

$p\left(t_{*}\right|t,{\mathrm{\α}}_{MP},{\mathrm{\σ}}_{MP}^2)=\∫p\left(t_{*}\right|w,{\mathrm{\σ}}_{MP}^2)p\left(w\right|t,{\mathrm{\α}}_{MP},{\mathrm{\σ}}_{MP}^2)dw$

$p\left(t_{*}\right|t,{\mathrm{\α}}_{MP},{\mathrm{\σ}}_{MP}^2)=N\left(t_{*}\right|y_{*},{\mathrm{\σ}}_{*}^2)$

其中：

y_*＝μ^Tφ(x_*)

${\mathrm{\σ}}_{*}^2={\mathrm{\σ}}_{MP}^2+\mathrm{\φ}{\left(x_{*}\right)}^T\Σ\mathrm{\φ}\left(x_{*}\right)$

S27、利用RVM預(yù)測模型對現(xiàn)有樣本進(jìn)行預(yù)測，得到預(yù)測值

進(jìn)一步地，本發(fā)明的步驟S3中計算樣本標(biāo)簽、局部密度因子和誤差因子的方法為：

計算樣本標(biāo)簽：對于每一個訓(xùn)練后的樣本(x_i,y_i)，引入樣本(x_i,y_i)的樣本標(biāo)簽l(x_i)，則有：

計算并更新每個樣本的樣本標(biāo)簽l(x_i)；

計算局部密度因子：將k近鄰算法應(yīng)用于相關(guān)向量回歸算法中，通過KNN算法來選擇樣本的k鄰近點，表示樣本的局部密度信息；計算密度因子p_i：

$p_i=\frac{{\mathrm{Mean}}^k}{d(x_i,x_i^k)}$

其中，代表樣本空間中任意一點x_i通過KNN算法到其k近鄰點的距離，Mean^k為所有的均值，即：

${\mathrm{Mean}}^k=\frac{1}{l}\underset{i=1}{\overset{l}{\Σ}}d(x_i,x_i^k)$

通過計算每個樣本點的局部密度因子來反應(yīng)該樣本點的分布信息，其中處于稠密區(qū)域的樣本有著較大的局部密度因子，處于稀疏區(qū)域的樣本的局部密度因子較?。?/p>

計算誤差因子：

$q_i=\frac{r_i^2}{Mean}$

$r_i^2={(y_i-{\hat{y}}_i)}^2$

$Mean=\frac{1}{l}\underset{i=1}{\overset{l}{\Σ}}{r}_i^2$

其中，表示樣本點x_i的真實值y_i和回歸模型預(yù)測值之間的平方殘差，Mean表示所有樣本平方殘差的均值。

進(jìn)一步地，本發(fā)明的步驟S4中得到樣本特性向量的方法具體為：

步驟1、在增量過程中，用r(x_i)來統(tǒng)計樣本(x_i,y_i)的樣本標(biāo)簽l(x_i)＝1的次數(shù)，當(dāng)l(x_i)＝1時，r(x_i)在原有的基礎(chǔ)上加1，當(dāng)l(x_i)＝0時，r(x_i)保持不變；

步驟2、對局部密度因子p_i和誤差因子q_i進(jìn)行加權(quán)，得到具有樣本信息的樣本特性k_i：

k_i＝ηp_i+λq_i

其中，η和λ分別代表初始化的局部密度因子p_i和誤差因子q_i的權(quán)值。

進(jìn)一步地，本發(fā)明的步驟S4中對樣本特性向量進(jìn)行排序，并刪除樣本的方法具體為：

步驟1、對樣本特性向量k＝{k₁,k₂,…,k_|T|}進(jìn)行降序排列，即k_[1]≥k_[2]≥…≥k_[|T|]；

步驟2、對降序排序后的k進(jìn)行循環(huán)，判斷r(x_i)是否超過閾值l，若r(x_i)≥l，則從訓(xùn)練樣本集中刪除樣本(x_i,y_i)，跳出循環(huán)。

進(jìn)一步地，本發(fā)明的步驟S5中加入新樣本的方法具體為：加入新樣本(x_m+1,y_m+1)，令r(x_m+1)＝0，此時樣本集T＝T∪{(x_m+1,y_m+1)}。

本發(fā)明提供一種基于樣本特性的相關(guān)向量回歸增量學(xué)習(xí)系統(tǒng)，包括：

樣本集初始化單元，用于獲取初始樣本集，初始化參數(shù)；

預(yù)測模型訓(xùn)練單元，用于通過對樣本集進(jìn)行訓(xùn)練得到RVM預(yù)測模型，并對現(xiàn)有樣本進(jìn)行預(yù)測；

參數(shù)計算單元，用于計算每個樣本的樣本標(biāo)簽、局部密度因子和誤差因子；

未來樣本預(yù)測單元，用于根據(jù)RVM預(yù)測模型對即將輸入的未來樣本進(jìn)行預(yù)測；

樣本刪除單元，用于統(tǒng)計樣本的非相關(guān)向量次數(shù)，對局部密度因子和誤差因子進(jìn)行加權(quán)，得到樣本特性向量；對樣本特性向量降序排列，并對排序后的序列進(jìn)行循環(huán)，若非相關(guān)向量次數(shù)超過設(shè)定的閾值，則從樣本集中刪除該樣本，跳出循環(huán)；

樣本更新單元，用于判斷是否還有輸入的新樣本，若有新樣本，則加入新樣本，形成新的樣本集，轉(zhuǎn)到預(yù)測模型訓(xùn)練單元；若沒有新樣本，則輸出預(yù)測的未來樣本。

本發(fā)明產(chǎn)生的有益效果是：本發(fā)明的基于樣本特性的相關(guān)向量回歸增量學(xué)習(xí)算法，通過引入樣本標(biāo)簽的概念，分析樣本的相關(guān)向量特性，提出樣本淘汰策略，統(tǒng)計樣本的非相關(guān)向量次數(shù)并設(shè)定閾值，不斷增強(qiáng)相關(guān)向量的作用；充分挖掘樣本集中樣本的分布信息和誤差信息，分別提出了局部密度因子和誤差因子并對其進(jìn)行加權(quán)，得到樣本特性向量，需要刪除樣本時，刪除樣本特性值最大的樣本，從而保留含有有效信息的樣本刪除無效樣本，使得算法具有更高的預(yù)測精度和更低的時間復(fù)雜度，該算法可廣泛應(yīng)用于實時數(shù)據(jù)的處理和預(yù)測當(dāng)中。

附圖說明

下面將結(jié)合附圖及實施例對本發(fā)明作進(jìn)一步說明，附圖中：

圖1是本發(fā)明實施例的基于樣本特性的相關(guān)向量回歸增量學(xué)習(xí)算法的流程圖；

圖2是本發(fā)明實施例的基于樣本特性的相關(guān)向量回歸增量學(xué)習(xí)算法的詳細(xì)流程框圖；

圖3是本發(fā)明實施例的基于樣本特性的相關(guān)向量回歸增量學(xué)習(xí)算法的光纖光柵溫度傳感器對鋼軌溫度和大氣溫度的監(jiān)測結(jié)果；

圖4是本發(fā)明實施例的基于樣本特性的相關(guān)向量回歸增量學(xué)習(xí)算法的基于光纖光柵溫度數(shù)據(jù)的SCBIRVR算法預(yù)測模型；

圖5是本發(fā)明實施例的基于樣本特性的相關(guān)向量回歸增量學(xué)習(xí)算法的基于光纖光柵溫度傳感數(shù)據(jù)各算法的真實值與預(yù)測值絕對誤差。

具體實施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

如圖1和圖2所示，本發(fā)明實施例的基于樣本特性的相關(guān)向量回歸增量學(xué)習(xí)算法，包括以下步驟：

S1、獲取初始樣本集，初始化參數(shù)；

S2、通過對樣本集進(jìn)行訓(xùn)練得到RVM預(yù)測模型；

S21、根據(jù)相關(guān)向量回歸理論，令樣本訓(xùn)練集目標(biāo)值t_n相互獨立分布，輸入值x_n是獨立分布樣本，則有：

t_n＝y(tǒng)(x_n；w)+ξ_n

其中，ξ_n為附加噪聲，且滿足如下高斯分布：ξ_n～N(0,σ²)；w是由w_i組成的權(quán)重向量，即w＝[w₁,w₂,...w_N]^T；初始樣本集為T，樣本(x_i,y_i)的樣本標(biāo)簽為l(x_i)、局部密度因子為p_i，誤差因子為q_i；

RVM為每一個模型權(quán)重w_i定義自動相關(guān)測定先驗概率以控制模型復(fù)雜度，w_i先驗概率分布如下：p(w_i|α_i)＝N(0,α_i^-1)，則其中α＝(α₀,α₁,...α_N)是超參數(shù)所組成的向量；

假定超參α和噪聲參數(shù)σ²服從Gamma先驗分布：

p(α_i)＝Gamma(a,b)

p(σ²)＝Gamma(c,d)

首先初始化超參數(shù)α_i和σ²；

S22、分別計算Σ和μ：

Σ＝(σ^-2Φ^TΦ+A)^-1

μ＝σ^-2ΣΦ^Tt

其中A＝diag(α)，Φ是由核函數(shù)組成的N×(N+1)的結(jié)構(gòu)矩陣，具體如下：

S23、利用得到的μ和∑，重新計算和

${\mathrm{\α}}_i^{new}=\frac{1+2a}{u_i^2+{\Σ}_{ii}+2b}$

${\left({\mathrm{\σ}}^2\right)}^{new}=\frac{\left|\right|t-\mathrm{\φ}\mathrm{\μ}|{|}^2}{N-\underset{i=0}{\overset{N}{\Σ}}{\mathrm{\γ}}_i+2c}$

其中γ_i＝1-α_iΣ_ii；

S24、如果滿足算法終止條件則算法停止，否則轉(zhuǎn)到S22繼續(xù)迭代訓(xùn)練；

S25、刪除模型權(quán)重w_i趨向于零的樣本，同時對RVM模型超參數(shù)進(jìn)行更新；

S26、得到RVM預(yù)測模型：

設(shè)需要預(yù)測數(shù)據(jù)為X_*，對應(yīng)輸出為t_*，模型的預(yù)測輸出為y_*，對應(yīng)的預(yù)測方差為σ²_*，則有：

$p\left(t_{*}\right|t,{\mathrm{\α}}_{MP},{\mathrm{\σ}}_{MP}^2)=\∫p\left(t_{*}\right|w,{\mathrm{\σ}}_{MP}^2)p\left(w\right|t,{\mathrm{\α}}_{MP},{\mathrm{\σ}}_{MP}^2)dw$

$p\left(t_{*}\right|t,{\mathrm{\α}}_{MP},{\mathrm{\σ}}_{MP}^2)=N\left(t_{*}\right|y_{*},{\mathrm{\σ}}_{*}^2)$

其中：

y_*＝μ^Tφ(x_*)

${\mathrm{\σ}}_{*}^2={\mathrm{\σ}}_{MP}^2+\mathrm{\φ}{\left(x_{*}\right)}^T\Σ\mathrm{\φ}\left(x_{*}\right)$

S27、利用RVM預(yù)測模型對現(xiàn)有樣本進(jìn)行預(yù)測，得到預(yù)測值

S3、計算每個樣本的樣本標(biāo)簽、局部密度因子和誤差因子；

S4、根據(jù)RVM預(yù)測模型對即將輸入的未來樣本進(jìn)行預(yù)測。

計算樣本標(biāo)簽：對于每一個訓(xùn)練后的樣本(x_i,y_i)，引入樣本(x_i,y_i)的樣本標(biāo)簽l(x_i)，則有：

計算并更新每個樣本的樣本標(biāo)簽l(x_i)；

計算局部密度因子：將k近鄰算法(K-Nearest Neighbor，KNN)應(yīng)用于相關(guān)向量回歸算法中，通過KNN算法來選擇樣本的k鄰近點，表示樣本的局部密度信息；計算密度因子p_i：

$p_i=\frac{{\mathrm{Mean}}^k}{d(x_i,x_i^k)}$

其中，代表樣本空間中任意一點x_i通過KNN算法到其k近鄰點的距離，Mean^k為所有的均值，即：

${\mathrm{Mean}}^k=\frac{1}{l}\underset{i=1}{\overset{l}{\Σ}}d(x_i,x_i^k)$

通過計算每個樣本點的局部密度因子來反應(yīng)該樣本點的分布信息，其中處于稠密區(qū)域的樣本有著較大的局部密度因子，處于稀疏區(qū)域的樣本的局部密度因子較小；

計算誤差因子：

$q_i=\frac{r_i^2}{Mean}$

$r_i^2={(y_i-{\hat{y}}_i)}^2$

$Mean=\frac{1}{l}\underset{i=1}{\overset{l}{\Σ}}{r}_i^2$

其中，表示樣本點x_i的真實值y_i和回歸模型預(yù)測值之間的平方殘差，Mean表示所有樣本平方殘差的均值。

S5、統(tǒng)計樣本的非相關(guān)向量次數(shù)，對局部密度因子和誤差因子進(jìn)行加權(quán)，得到樣本特性向量；對樣本特性向量降序排列，并對排序后的序列進(jìn)行循環(huán)，若非相關(guān)向量次數(shù)超過設(shè)定的閾值，則從樣本集中刪除該樣本，跳出循環(huán)；

S6、判斷是否還有輸入的新樣本，若有新樣本，則加入新樣本，形成新的樣本集，轉(zhuǎn)到步驟S2；若沒有新樣本，則輸出預(yù)測的未來樣本。

得到樣本特性向量的方法具體為：

步驟1、在增量過程中，用r(x_i)來統(tǒng)計樣本(x_i,y_i)的樣本標(biāo)簽l(x_i)＝1的次數(shù)，當(dāng)l(x_i)＝1時，r(x_i)在原有的基礎(chǔ)上加1，當(dāng)l(x_i)＝0時，r(x_i)保持不變；

步驟2、對局部密度因子p_i和誤差因子q_i進(jìn)行加權(quán)，得到具有樣本信息的樣本特性k_i：

k_i＝ηp_i+λq_i

其中，η和λ分別代表初始化的局部密度因子p_i和誤差因子q_i的權(quán)值。

對樣本特性向量進(jìn)行排序，并刪除樣本的方法具體為：

步驟1、對樣本特性向量k＝{k₁,k₂,…,k_|T|}進(jìn)行降序排列，即k_[1]≥k_[2]≥…≥k_[|T|]；

步驟2、對降序排序后的k進(jìn)行循環(huán)，判斷r(x_i)是否超過閾值l，若r(x_i)≥l，則從訓(xùn)練樣本集中刪除樣本(x_i,y_i)，跳出循環(huán)。

加入新樣本的方法具體為：加入新樣本(x_m+1,y_m+1)，令r(x_m+1)＝0，此時樣本集T＝T∪{(x_m+1,y_m+1)}。

在本發(fā)明的另一個具體實施例中，將基于樣本特性的相關(guān)向量回歸增量學(xué)習(xí)算法(SCBIRVR算法)應(yīng)用到基于光纖光柵的高鐵安全監(jiān)測中，對高鐵安全監(jiān)測系統(tǒng)得到的數(shù)據(jù)進(jìn)行處理分析，能夠較好地起到溫度預(yù)測和安全預(yù)警的作用。

本高鐵安全監(jiān)測系統(tǒng)所用設(shè)備包括：光纖光柵傳感器、光纖光柵解調(diào)儀、采集工控機(jī)、本地服務(wù)器、本地客戶端、交換機(jī)、工業(yè)路由器、遠(yuǎn)程服務(wù)器和遠(yuǎn)程客戶端等。

光纖光柵傳感器利用光纖光柵對外界因素的敏感程度，當(dāng)外界因素變化時，光纖光柵傳感器的波長會出現(xiàn)變化，通過對波長進(jìn)行解調(diào)，可以得到光纖光柵測點對應(yīng)的物理量，比如溫度、位移、應(yīng)力應(yīng)變等。將光纖光柵傳感器鋪設(shè)在高鐵鐵軌上，利用光纜將傳感器進(jìn)行連接，所有傳感器組建成傳感網(wǎng)絡(luò)，然后通過解調(diào)儀對光纖光柵傳感器采集的數(shù)據(jù)進(jìn)行處理，對解調(diào)儀上傳的數(shù)據(jù)進(jìn)行分析，得到鐵路軌道的多參量狀態(tài)的在線監(jiān)測。

根據(jù)光纖光柵的高鐵安全監(jiān)測系統(tǒng)，獲取2016年2月在鋼軌溫度和大氣溫度的光纖光柵溫度傳感器采集的監(jiān)測數(shù)據(jù)，如圖3所示，圖中的兩條曲線分別表示一段上行鋼軌溫度T16和一段上行大氣溫度DQWD17在這一個月內(nèi)溫度變化的監(jiān)測結(jié)果，其中變化明顯的曲線代表一段上行鋼軌溫度T16溫度監(jiān)測點，變化不明顯的曲線代表一段上行大氣溫度DQWD17溫度監(jiān)測點，通過這兩條曲線的對比，可以看出鋼軌溫度和大氣溫度的監(jiān)測是非常準(zhǔn)確的，而且變化趨勢是一樣的，出現(xiàn)變化程度不同的原因是光纖光柵溫度傳感器的測點不同，鋼軌溫度測點在太陽照射或列車通過是會出現(xiàn)較大的溫度變化，而大氣溫度測點是室外正常情況下溫度的變化，溫度變化一般不會很大。

使用在線監(jiān)測系統(tǒng)中光纖光柵溫度傳感器所采集到的溫度傳感數(shù)據(jù)，截取2016年1月1日零點到10日零點光纖光柵溫度傳感器一段上行鋼軌溫度GGWD16采集的數(shù)據(jù)，采用基于樣本特性的相關(guān)向量回歸增量學(xué)習(xí)(SCBIRVR)算法進(jìn)行溫度傳感數(shù)據(jù)建模。

其中樣本集大小為480，訓(xùn)練集為400，增量集為80，輸入x_i∈[1,480]，輸出y_i為光纖光柵溫度傳感器采集的溫度值。初始化參數(shù)α_i為(N為現(xiàn)有樣本數(shù)量)，初始化σ為std(t)*10/100(std(t)為樣本真實值的標(biāo)準(zhǔn)差)，初始化局部密度因子權(quán)重η為0.8，初始化誤差因子權(quán)重λ為0.2，初始化閾值l為10，初始化相關(guān)向量回歸中核函數(shù)使用RBF高斯核函數(shù)仿真硬件環(huán)境為Intel(R)Core(TM)i3-2120 3.30GHz，2G內(nèi)存，軟件環(huán)境為Matlab R2009b。初始化樣本集為訓(xùn)練集，先根據(jù)相關(guān)向量回歸理論，對樣本集進(jìn)行迭代訓(xùn)練得到RVM預(yù)測模型，統(tǒng)計現(xiàn)有樣本的非相關(guān)向量次數(shù)，計算樣本特性向量，對樣本特性向量進(jìn)行降序排列并循環(huán)，如果對應(yīng)樣本的非相關(guān)向量次數(shù)超過設(shè)定的閾值則對該樣本進(jìn)行刪除并跳出循環(huán)。依次加入增量集樣本完成增量學(xué)習(xí)過程后，可以得到最終的溫度傳感數(shù)據(jù)RVM預(yù)測模型。

如圖4所示，圖中曲線為基于光纖光柵溫度傳感數(shù)據(jù)的SCBIRVR算法預(yù)測模型，即所有增量樣本通過SCBIRVR算法完成增量學(xué)習(xí)之后得到的回歸模型。由圖可知，SCBIRVR算法能夠很好地對光纖光柵溫度傳感樣本集進(jìn)行RVM回歸建模，數(shù)據(jù)的擬合效果較好。

為了顯示SCBIRVR良好的預(yù)測效果，分別使用批處理相關(guān)向量回歸增量學(xué)習(xí)(IRVR)算法和基于固定寬度滑動窗口的相關(guān)向量回歸增量學(xué)習(xí)(KIRVR)算法對數(shù)據(jù)處理后進(jìn)行對比。

如圖5所示，三條曲線分別代表IRVR、KIRVR和SCBIRVR算法中新增樣本的預(yù)測值與真實值間的絕對誤差。由于是從樣本點401開始預(yù)測，所以X軸代表的是預(yù)測樣本，樣本包括樣本點401-480；Y軸代表的是預(yù)測樣本的真實溫度和預(yù)測模型的預(yù)測溫度之間的絕對誤差。從圖中可以看出，SCBIRVR算法對未來數(shù)據(jù)的預(yù)測值較IRVR和KIRVR算法對未來數(shù)據(jù)的預(yù)測值要好，這是因為SCBIRVR算法充分考慮了樣本的相關(guān)向量特性、分布特性和異常特性，在刪除樣本時通過有效地淘汰策略刪除偏差樣本，使得回歸預(yù)測模型更加趨向于正確的曲線。

綜上所述，將基于樣本特性的相關(guān)向量回歸算法應(yīng)用到高鐵安全監(jiān)測的數(shù)據(jù)處理過程中，通過增量學(xué)習(xí)能實現(xiàn)對溫度傳感數(shù)據(jù)良好的擬合和預(yù)測，能夠?qū)Ω咚勹F路安全起到良好的安全預(yù)警作用。

本發(fā)明的算法針對經(jīng)典算法中存在的問題，提出了基于樣本特性的相關(guān)向量回歸增量學(xué)習(xí)算法，為了解決增量學(xué)習(xí)過程中相關(guān)向量丟失造成預(yù)測精度下降的問題，引入樣本標(biāo)簽的概念，分析樣本的相關(guān)向量特性，提出樣本淘汰策略，統(tǒng)計樣本的相關(guān)向量次數(shù)并設(shè)定閾值，不斷增強(qiáng)相關(guān)向量的作用，降低算法時間復(fù)雜度的同時保證算法的預(yù)測精度；為了所保留的樣本中含有更有效的信息，充分挖掘樣本集中樣本的分布信息和誤差信息，分別提出了局部密度因子和誤差因子并對其進(jìn)行加權(quán)，得到樣本特性向量，需要刪除樣本時，刪除樣本特性值最大的樣本，從而保留含有有效信息的樣本刪除無效樣本，使得算法具有更高的預(yù)測精度和更低的時間復(fù)雜度。綜上所述，基于樣本特性的相關(guān)向量回歸增量學(xué)習(xí)算法，在增量學(xué)習(xí)過程中，對樣本進(jìn)行有選擇地刪除，并充分挖掘樣本的分布信息和誤差信息，能有效提高相關(guān)向量機(jī)建模精度和在線學(xué)習(xí)預(yù)測實時性與可靠性，可廣泛應(yīng)用于實時數(shù)據(jù)的處理和預(yù)測當(dāng)中。

本發(fā)明實施例的基于樣本特性的相關(guān)向量回歸增量學(xué)習(xí)系統(tǒng)，用于實現(xiàn)本發(fā)明實施例的基于樣本特性的相關(guān)向量回歸增量學(xué)習(xí)算法，包括：

樣本集初始化單元，用于獲取初始樣本集，初始化參數(shù)；

預(yù)測模型訓(xùn)練單元，用于通過對樣本集進(jìn)行訓(xùn)練得到RVM預(yù)測模型，并對現(xiàn)有樣本進(jìn)行預(yù)測；

參數(shù)計算單元，用于計算每個樣本的樣本標(biāo)簽、局部密度因子和誤差因子；

未來樣本預(yù)測單元，用于根據(jù)RVM預(yù)測模型對即將輸入的未來樣本進(jìn)行預(yù)測；

樣本刪除單元，用于統(tǒng)計樣本的非相關(guān)向量次數(shù)，對局部密度因子和誤差因子進(jìn)行加權(quán)，得到樣本特性向量；對樣本特性向量降序排列，并對排序后的序列進(jìn)行循環(huán)，若非相關(guān)向量次數(shù)超過設(shè)定的閾值，則從樣本集中刪除該樣本，跳出循環(huán)；

樣本更新單元，用于判斷是否還有輸入的新樣本，若有新樣本，則加入新樣本，形成新的樣本集，轉(zhuǎn)到預(yù)測模型訓(xùn)練單元；若沒有新樣本，則輸出預(yù)測的未來樣本。

應(yīng)當(dāng)理解的是，對本領(lǐng)域普通技術(shù)人員來說，可以根據(jù)上述說明加以改進(jìn)或變換，而所有這些改進(jìn)和變換都應(yīng)屬于本發(fā)明所附權(quán)利要求的保護(hù)范圍。