專利名稱：一種非參數(shù)回歸方法
專利說明本發(fā)明涉及預(yù)測方法的領(lǐng)域，特別涉及一種非參數(shù)回歸方法。
背景技術(shù)：
非參數(shù)回歸(NPR)是一種數(shù)據(jù)驅(qū)動的預(yù)測技術(shù)，是近些年來興起的一種適合不確 定性的、非線性的動態(tài)系統(tǒng)的非參數(shù)估計方法。非參數(shù)回歸預(yù)測的原理如下假設(shè)預(yù)測對象 的狀態(tài)X與關(guān)心的某個變量y之間存在某種關(guān)系y = m(x)，如果預(yù)測對象當前的狀態(tài)是J， 如果使用非參數(shù)回歸的方法，則可以運用如下的過程來預(yù)測當預(yù)測對象的狀態(tài)為J時歹的 值1、收集足夠多的已知數(shù)據(jù)(Xl，yi) (xn，yn)，并存儲成數(shù)據(jù)集。2、找出數(shù)據(jù)集的一個子集合乂11，滿足對于"1^夂,〈1”^尺，其中R是由方法使用 者定義的“相似”關(guān)系，即滿足這種關(guān)系的X和f被認為是類似的。3、y = F(義)，F(xiàn)為JJ和Xn之間的映射關(guān)系。從上面的過程中可以發(fā)現(xiàn)，非參數(shù)回歸的實質(zhì)是在模式庫中尋找與當前狀態(tài)相 似的歷史狀態(tài)，并把與當前狀態(tài)相似的歷史狀態(tài)應(yīng)用于狀態(tài)預(yù)測。將已知數(shù)據(jù)(Xl，Y1)稱 作一個模式。模式(X，y)中的X稱作狀態(tài)，或者自變量，它是與預(yù)測結(jié)果有直接影響的量。 y稱作狀態(tài)χ對應(yīng)的結(jié)果，或者因變量，是系統(tǒng)的管理者或使用者所關(guān)心的量。從模式庫中 找出與當前狀態(tài)相似的歷史狀態(tài)過程被稱作相似模式搜索，它是非參數(shù)回歸預(yù)測方法的核 心，決定了非參數(shù)回歸預(yù)測的計算速度和預(yù)測精度。在計算速度方面，現(xiàn)有的方法大多是使用線性結(jié)構(gòu)來建立模式庫，雖然簡單，易于 搜索算法的實現(xiàn)，但是由于其結(jié)構(gòu)決定了搜索算法的實現(xiàn)只能按照一維順序執(zhí)行，所以其 搜索操作所需時間耗費太長，尤其是樣本數(shù)據(jù)庫的規(guī)模比較大時，更是無法滿足實時性要 求。在預(yù)測精度方面，現(xiàn)有的方法大多是開環(huán)系統(tǒng)，模式庫和系統(tǒng)參數(shù)一旦設(shè)定就不再改 變，不能再運行過程中進行調(diào)節(jié)，因而影響了實際的預(yù)測效果。

發(fā)明內(nèi)容
為了解決上述問題，本發(fā)明提供了一種非參數(shù)回歸方法，該方法提高了非參數(shù)回 歸預(yù)測的計算速度和預(yù)測精度，所述方法包括以下步驟(1)根據(jù)預(yù)測對象確定預(yù)測量；(2)從所述預(yù)測對象中獲取預(yù)測量的屬性P1 Pn，將所述屬性P1 Pn作為所述預(yù) 測對象狀態(tài)的各個分量，η為屬性的個數(shù)；(3)收集模式；(4)根據(jù)收集到的所述模式，利用KD樹數(shù)據(jù)結(jié)構(gòu)構(gòu)建模式庫；(5)采集所述預(yù)測對象狀態(tài)的參數(shù)，由所述參數(shù)構(gòu)成所述預(yù)測對象當前狀態(tài)向量， 按照預(yù)設(shè)準則在所述模式庫中搜索與當前狀態(tài)向量相似的k個模式，并獲取所述k個模式 對應(yīng)的待預(yù)測量的值yi yn;
(6)將獲取到的所述待預(yù)測量的值yi yn代入預(yù)測函數(shù)中，得到預(yù)測值yf。rcast ；(7)經(jīng)過時間T，采集待預(yù)測量的真實值yMal，根據(jù)所述預(yù)測值yto。ast和所述真實 值yMal計算預(yù)測誤差e，根據(jù)所述預(yù)測誤差e對所述預(yù)設(shè)準則中的權(quán)值、所述模式庫的結(jié)構(gòu) 進行調(diào)整。步驟(4)中的所述根據(jù)收集到的所述模式，利用KD樹數(shù)據(jù)結(jié)構(gòu)構(gòu)建模式庫具體 為構(gòu)建第一參數(shù)P、第二參數(shù)cbpth和第三參數(shù)ds，第一參數(shù)P用于構(gòu)造KD樹的點 集、第二參數(shù)depth用于表示遞歸深度，第三參數(shù)ds用于表示點集中每個點的維數(shù)d ；
判斷第一參數(shù)P是否只有一個節(jié)點，如果是，建立并儲存節(jié)點的葉子并返回；如果 否，令維數(shù)d = depth% ds,找出第一參數(shù)P內(nèi)各點第d維中值，以中值為分割線將第一參 數(shù)P劃分成兩部分，分別記為第一部分Pl，第二部分P2，同時生成一個節(jié)點V用來存儲分割 第一參數(shù)P的中值；將第一部分PI、cbpth+Ι和第三參數(shù)ds作為參數(shù)，遞歸執(zhí)行，直到返回，并將返回 的節(jié)點存儲為VL ；將第二部分P2、depth+Ι和第三參數(shù)ds作為參數(shù)，遞歸執(zhí)行，直到返回，并將返回 的節(jié)點存儲為VR ；分別將VL和VR置為節(jié)點V的左右孩子。步驟(5)中的所述預(yù)設(shè)準則具體為在所述模式庫中獲取k個與所述當前狀態(tài)向量距離最近的模式，所述距離為 d(H1,H2) = Max(a1\hl-hl2\,a2\^-h22\,L αη\^"-Η"2\)，其中，H1 為當前狀態(tài)向量，H2 為模式， Ii1為當前狀態(tài)向量的分量，h2為模式的分量，ai; a2,... an為屬性P1 Pn的權(quán)值，其中滿足所述k的取值具體為設(shè)定一個區(qū)域半徑R，在以所述當前狀態(tài)向量為圓心，R為 半徑的區(qū)域內(nèi)搜索k個最接近的模式，如果區(qū)域內(nèi)的歷史模式小于等于k個，就以所有歷史 模式作為相似模式；當區(qū)域內(nèi)的歷史模式大于k個，根據(jù)距離找最近的k個模式作為相似模式。步驟(5)中所述按照預(yù)設(shè)準則在模式庫中搜索與當前狀態(tài)向量相似的k個模式， 具體為在搜索區(qū)域內(nèi)搜索到的模式個數(shù)為N，當N大于K時，對于這N個模式中的每一個 模式，構(gòu)造一個數(shù)據(jù)對<b，V〉，其中V是模式本身，b表示模式到當前狀態(tài)向量的距離，以N 個數(shù)據(jù)對為元素，b為關(guān)鍵字構(gòu)造一個大頂堆，輸出并刪除堆頂元素，將剩余部分重新調(diào)整 為大頂堆，重復(fù)以上步驟N-K次，則堆內(nèi)剩余的K個元素就是與所述當前狀態(tài)向量距離最近 的K個模式；當N小于等于K時，則，以這N個模式作為與所述當前狀態(tài)向量距離最近的模 式。步驟(7)中所述根據(jù)預(yù)測誤差e對預(yù)設(shè)準則中的權(quán)值進行調(diào)整具體為定義能量誤差函數(shù)五= ^e2,distance, e為預(yù)測誤差，a2，. . . an為屬性P1
Pn的權(quán)值，distance為當前狀態(tài)向量X與已有模式之間的距離，為調(diào)整后的權(quán)值，為 調(diào)整前的權(quán)值，
權(quán)利要求
一種非參數(shù)回歸方法，其特征在于，所述方法包括以下步驟(1)根據(jù)預(yù)測對象確定預(yù)測量；(2)從所述預(yù)測對象中獲取預(yù)測量的屬性P1～Pn，將所述屬性P1～Pn作為所述預(yù)測對象狀態(tài)的各個分量，n為屬性的個數(shù)；(3)收集模式；(4)根據(jù)收集到的所述模式，利用KD樹數(shù)據(jù)結(jié)構(gòu)構(gòu)建模式庫；(5)采集所述預(yù)測對象狀態(tài)的參數(shù)，由所述參數(shù)構(gòu)成所述預(yù)測對象當前狀態(tài)向量，按照預(yù)設(shè)準則在所述模式庫中搜索與當前狀態(tài)向量相似的k個模式，并獲取所述k個模式對應(yīng)的待預(yù)測量的值y1～yn；(6)將獲取到的所述待預(yù)測量的值y1～yn代入預(yù)測函數(shù)中，得到預(yù)測值yforcast；(7)經(jīng)過時間T，采集待預(yù)測量的真實值yreal，根據(jù)所述預(yù)測值yforcast和所述真實值yreal計算預(yù)測誤差e，根據(jù)所述預(yù)測誤差e對所述預(yù)設(shè)準則中的權(quán)值、所述模式庫的結(jié)構(gòu)進行調(diào)整。
2.根據(jù)權(quán)利要求1所述的非參數(shù)回歸方法，其特征在于，步驟(4)中的所述根據(jù)收集到 的所述模式，利用KD樹數(shù)據(jù)結(jié)構(gòu)構(gòu)建模式庫具體為構(gòu)建第一參數(shù)P、第二參數(shù)cbpth和第三參數(shù)ds，第一參數(shù)P用于構(gòu)造KD樹的點集、第 二參數(shù)depth用于表示遞歸深度，第三參數(shù)ds用于表示點集中每個點的維數(shù)d ；判斷第一參數(shù)P是否只有一個節(jié)點，如果是，建立并儲存節(jié)點的葉子并返回；如果否， 令維數(shù)d = depth% ds,找出第一參數(shù)P內(nèi)各點第d維中值，以中值為分割線將第一參數(shù)P 劃分成兩部分，分別記為第一部分Pl，第二部分P2，同時生成一個節(jié)點V用來存儲分割第一 參數(shù)P的中值；將第一部分Pl、depth+1和第三參數(shù)ds作為參數(shù)，遞歸執(zhí)行，直到返回，并將返回的節(jié) 點存儲為VL ；將第二部分P2、depth+Ι和第三參數(shù)ds作為參數(shù)，遞歸執(zhí)行，直到返回，并將返回的節(jié) 點存儲為VR ；分別將VL和VR置為節(jié)點V的左右孩子。
3.根據(jù)權(quán)利要求1所述的非參數(shù)回歸方法，其特征在于，步驟(5)中的所述預(yù)設(shè)準則具 體為在所述模式庫中獲取k個與所述當前狀態(tài)向量距離最近的模式，所述距離為 d(H1,H2) = Max(a1\hl-hl2\,a2\^-h22\,L αη\^"-Η"2\)，其中，H1 為當前狀態(tài)向量，H2 為模式， Ii1為當前狀態(tài)向量的分量，h2為模式的分量，ai; a2,... an為屬性P1 Pn的權(quán)值，其中滿足a^as+L+an = 1，0<&±<1，1<: <πο
4.根據(jù)權(quán)利要求3所述的非參數(shù)回歸方法，其特征在于，所述k的取值具體為設(shè)定一 個區(qū)域半徑R，在以所述當前狀態(tài)向量為圓心，R為半徑的區(qū)域內(nèi)搜索k個最接近的模式，如 果區(qū)域內(nèi)的歷史模式小于等于k個，就以所有歷史模式作為相似模式；當區(qū)域內(nèi)的歷史模 式大于k個，根據(jù)距離找最近的k個模式作為相似模式。
5.根據(jù)權(quán)利要求1所述的非參數(shù)回歸方法，其特征在于，步驟(5)中所述按照預(yù)設(shè)準則 在模式庫中搜索與當前狀態(tài)向量相似的k個模式，具體為在搜索區(qū)域內(nèi)搜索到的模式個數(shù)為N，當N大于K時，對于這N個模式中的每一個模式， 構(gòu)造一個數(shù)據(jù)對<b，V>，其中V是模式本身，b表示模式到當前狀態(tài)向量的距離，以N個數(shù)據(jù) 對為元素，b為關(guān)鍵字構(gòu)造一個大頂堆，輸出并刪除堆頂元素，將剩余部分重新調(diào)整為大頂 堆，重復(fù)以上步驟N-K次，則堆內(nèi)剩余的K個元素就是與所述當前狀態(tài)向量距離最近的K個 模式；當N小于等于K時，則，以這N個模式作為與所述當前狀態(tài)向量距離最近的模式。
6.根據(jù)權(quán)利要求1所述的非參數(shù)回歸方法，其特征在于，步驟(7)中所述根據(jù)預(yù)測誤差 e對預(yù)設(shè)準則中的權(quán)值進行調(diào)整具體為定義能量誤差函數(shù)五=distance, e為預(yù)測誤差，BijB2,... an為屬性P1 Pn的權(quán)值，distance為當前狀態(tài)向量X與已有模式之間的距離，為調(diào)整后的權(quán)值，為調(diào) 整前的權(quán)值，distance =全[( !O1 _ &)f + ( 2O2 _ xi2)f +L + {am(xm ~x-)f .. dE de / 、Aat = ----= Cai(Xi-Xii)de Cii
7.根據(jù)權(quán)利要求1所述的非參數(shù)回歸方法，其特征在于，步驟(7)中所述根據(jù)預(yù)測誤差 e對模式庫的結(jié)構(gòu)進行調(diào)整具體為對模式庫進行增加模式的操作、對模式庫進行刪除模式的操作和對模式庫進行平衡的 操作。
8.根據(jù)權(quán)利要求7所述的非參數(shù)回歸方法，其特征在于，所述對模式庫進行增加模式 的操作具體為設(shè)定第一閾值和第二閾值，測得預(yù)測對象當前的狀態(tài)，在模式庫中搜尋以當前的狀態(tài) 為中心，第一閾值為半徑的區(qū)域，如果區(qū)域內(nèi)存在的已有模式數(shù)小于第二閾值，則將當前的 狀態(tài)加入模式庫中，否則不做處理。
9.根據(jù)權(quán)利要求7所述的非參數(shù)回歸方法，其特征在于，所述對模式庫進行刪除模式 的操作具體為；為模式庫中的每個模式增加一個標識和一個計數(shù)器，標識等于1表示為正常模式，標 識等于O表示為不良模式，設(shè)置誤差閾值et和第三閾值，在t時刻，如果I Hyi I /Vi > et, 則計數(shù)器加1，當計數(shù)器的值大于第三閾值，則將標識置為0，并在模式庫中刪除不良模式， 其中，Yi為與當前狀態(tài)向量相似的模式對應(yīng)的待預(yù)測量Ptl的值，1 < i ^n0
10.根據(jù)權(quán)利要求7所述的非參數(shù)回歸方法，其特征在于，所述對模式庫進行平衡的操 作具體為設(shè)定一個不平衡閾值，當子樹的左右子樹深度之差大于不平衡閾值時，對模式庫進行 平衡的操作，否則，不對模式庫進行平衡的操作，平衡的操作具體為設(shè)置一個列表的最大長 度，當葉子節(jié)點的列表長度大于最大長度時，則將列表分裂成一個根節(jié)點和兩個葉子節(jié)點。
全文摘要
本發(fā)明公開了一種非參數(shù)回歸方法，涉及預(yù)測方法領(lǐng)域，根據(jù)預(yù)測對象確定預(yù)測量；從預(yù)測對象中獲取預(yù)測量的屬性P1～Pn，將屬性P1～Pn作為預(yù)測對象狀態(tài)的各個分量，n為屬性的個數(shù)；收集模式；根據(jù)收集到的模式，利用KD樹數(shù)據(jù)結(jié)構(gòu)構(gòu)建模式庫；采集預(yù)測對象狀態(tài)的參數(shù)，由參數(shù)構(gòu)成預(yù)測對象當前狀態(tài)向量，按照預(yù)設(shè)準則在模式庫中搜索與當前狀態(tài)向量相似的k個模式，并獲取k個模式對應(yīng)的待預(yù)測量的值y1～yn；將獲取到的待預(yù)測量的值y1～yn代入預(yù)測函數(shù)中，得到預(yù)測值yforcast；經(jīng)過時間T，采集待預(yù)測量的真實值yreal，根據(jù)預(yù)測值yforcast和真實值yreal計算預(yù)測誤差e，根據(jù)預(yù)測誤差e對預(yù)設(shè)準則中的權(quán)值、模式庫的結(jié)構(gòu)進行調(diào)整。通過該方法提高了非參數(shù)回歸預(yù)測的計算速度和預(yù)測精度，滿足實際應(yīng)用中的需要。
文檔編號G06F17/00GK101968780SQ20101029532
公開日2011年2月9日 申請日期2010年9月28日 優(yōu)先權(quán)日2010年9月28日
發(fā)明者朱寧, 王鵬飛, 賈寧, 鄭亮, 馬壽峰 申請人:天津大學(xué)