專利名稱：時序預(yù)測神經(jīng)網(wǎng)絡(luò)裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及例如進行根據(jù)輸入的數(shù)值(數(shù)據(jù))預(yù)測將來發(fā)生的數(shù)值的預(yù)測處理的 時序數(shù)據(jù)預(yù)測神經(jīng)網(wǎng)絡(luò)裝置。特別是涉及用于實現(xiàn)預(yù)測精度進一步提高的裝置。
背景技術(shù)：
為了對近來要發(fā)生的事情有所準備，或檢測出異于正常的事件的發(fā)生，需要將 隨著時間流逝而持續(xù)地發(fā)生變化的股價、交通量、通信流量等表示為數(shù)值，并對按時序 表示該數(shù)值的數(shù)據(jù)、即時序數(shù)據(jù)進行處理，對將來要發(fā)生的數(shù)值進行精確地預(yù)測。為了 基于這樣的時序數(shù)據(jù)預(yù)測將來的值(預(yù)測值)，而存在有制作ARMA模型這樣的數(shù)學(xué)模 型、神經(jīng)網(wǎng)絡(luò)這樣的模型，并使用所制作的模型進行學(xué)習(xí)(模型校正)的模型學(xué)習(xí)器等。
眾所周知通過使用這樣的神經(jīng)網(wǎng)絡(luò)，能夠進行難以在現(xiàn)有的諾依曼型計算機中 進行的靈活的信息處理，目前為止提出有各種形式的使用了神經(jīng)網(wǎng)絡(luò)的裝置。
例如提出有以下方法向由輸入層、中間層、輸出層和承接層構(gòu)成的神經(jīng)網(wǎng)絡(luò) 輸入過去及現(xiàn)在的時序圖案，通過反向傳播法進行學(xué)習(xí)，使用學(xué)習(xí)完畢的神經(jīng)網(wǎng)絡(luò)進行 時序預(yù)測的方法(例如，參照專利文獻1)。
而且，還存在以下裝置，通過使用神經(jīng)網(wǎng)絡(luò)這樣的模型學(xué)習(xí)器，還將時序數(shù)據(jù) 作為學(xué)習(xí)數(shù)據(jù)分成多個解析級別(頻率成分)，并基于各解析級別進行預(yù)測、合計這樣的 方法，預(yù)測將來值的裝置(例如，參照專利文獻2)。
專利文獻1 日本特開平06-175998號公報(圖1)
專利文獻2 日本特開平11-21四47號公報(圖1)
上述專利文獻1所記載的方法是僅使用時序數(shù)據(jù)進行學(xué)習(xí)來預(yù)測將來值的方 法。因此，在針對具有時刻都在復(fù)雜變化的特性的時序數(shù)據(jù)的預(yù)測模型中，由于用于學(xué) 習(xí)的特征量較少因此無法形成高精度的學(xué)習(xí)模型。其結(jié)果，降低了對伴隨復(fù)雜變化的時 序數(shù)據(jù)的預(yù)測精度。
另一方面，在專利文獻2中，將時序數(shù)據(jù)分成幾個頻率成分，按各頻率成分學(xué) 習(xí)預(yù)測模型。因此，能夠比專利文獻1那樣的僅單純地使用時序數(shù)據(jù)進行學(xué)習(xí)時實現(xiàn)預(yù) 測精度的提高。
但是，由于針對在時序數(shù)據(jù)中進行的所有的解析級別設(shè)置的各學(xué)習(xí)器，分別獨 立地進行預(yù)測因此無法在解析級別之間進行預(yù)測的學(xué)習(xí)。發(fā)明內(nèi)容
因此，希望實現(xiàn)能夠使解析級別間的運算處理結(jié)果協(xié)作來進行高精度的預(yù)測值 的計算的時序數(shù)據(jù)預(yù)測神經(jīng)網(wǎng)絡(luò)裝置。
本發(fā)明涉及的時序數(shù)據(jù)預(yù)測神經(jīng)網(wǎng)絡(luò)裝置，其處理按時序表示了預(yù)測對象的數(shù) 值的時序數(shù)據(jù)，計算出數(shù)值的預(yù)測值，該時序數(shù)據(jù)預(yù)測神經(jīng)網(wǎng)絡(luò)裝置具備輸入單元， 其被輸入對時序數(shù)據(jù)進行多重分辨率解析所得到的、表示多個解析級別的特征的值，作為解析數(shù)據(jù)；以及運算處理單元，其具有輸入層處理部，該輸入層處理部在計算預(yù)測值 時，基于多個解析級別中最高解析級別的解析數(shù)據(jù)進行運算處理，將處理后的結(jié)果的數(shù) 據(jù)與次高解析級別的解析數(shù)據(jù)一起進行運算處理，并從最高解析級別到最低解析級別， 對基于上位解析級別中運算處理的結(jié)果的數(shù)據(jù)和下位解析級別中的解析數(shù)據(jù)進行運算處理。
根據(jù)本發(fā)明，針對多重分辨率解析預(yù)測對象的時序數(shù)據(jù)而得到的多個解析級別 的解析數(shù)據(jù)，運算處理單元對上位的解析級別的運算結(jié)果和一個下位的解析級別的解析 數(shù)據(jù)進行運算處理，由于按照從最高的解析級別到最低的解析級別的順序進行處理，因 此基于用于恢復(fù)時序數(shù)據(jù)涉及的原信號的數(shù)學(xué)式將上位解析級別的處理結(jié)果應(yīng)用于下面 的解析級別的運算處理來進行預(yù)測所涉及的處理，從而能夠提高預(yù)測值的精度。


圖1是時序數(shù)據(jù)預(yù)測神經(jīng)網(wǎng)絡(luò)裝置的構(gòu)成圖。
圖2是用于表示延遲處理部126的處理的圖。
圖3是表示Haar函數(shù)涉及的縮放函數(shù)的圖。
圖4是表示用于分解處理的母小波的圖。
圖5是用于說明小波系數(shù)的計算順序的圖。
圖6是表示神經(jīng)元的示意圖。
圖7是表示預(yù)測值的比較結(jié)果的圖。
圖8是計算與實際觀測值之間的均方誤差的圖。
附圖符號說明
100時序數(shù)據(jù)預(yù)測神經(jīng)網(wǎng)絡(luò)裝置；110:輸入單元；120:運算處理單元； 121 輸入層處理部；122:頻率解析輸入層處理部；123:相關(guān)數(shù)據(jù)輸入層處理部； 124 中間層處理部；125:輸出層處理部；1 :延遲處理部；130:輸出單元具體實施方式
實施方式1
圖1是表示本發(fā)明的實施方式1涉及的時序數(shù)據(jù)預(yù)測神經(jīng)網(wǎng)絡(luò)裝置的構(gòu)成的圖。 本實施方式的時序數(shù)據(jù)預(yù)測神經(jīng)網(wǎng)絡(luò)裝置(以下簡單地稱為裝置)100由輸入單元110、運 算處理單元120和輸出單元130構(gòu)成。
輸入單元110配置為能夠由運算處理單元120對從例如外部裝置(未圖示)發(fā)送 來的信號中包含的數(shù)據(jù)進行處理。在此，在本實施方式中，基于多重分辨率解析(MRA) 對預(yù)測對象的時序數(shù)據(jù)進行頻率解析處理(分解處理)，并將生成的一個或多個解析級別 中的解析數(shù)據(jù)等輸入到輸入單元110。多重分辨率解析是用于，例如用函數(shù)表示數(shù)值在時 間上的變化，基于多個尺度階段性地分解該函數(shù)(解析級別)，來抽出具有怎樣的特征的 解析。在本實施方式中，是輸入使用了小波的頻率解析結(jié)果、即小波系數(shù)的數(shù)據(jù)(以下 稱為小波系數(shù))wa)i wa)i作為解析數(shù)據(jù)。而且，輸入與進行多重分辨率解析時使用的 最高的解析級別涉及的縮放系數(shù)的數(shù)據(jù)(以下稱為最高縮放系數(shù))sa)i以及時序數(shù)據(jù)具有 相關(guān)關(guān)系的相關(guān)數(shù)據(jù)nt。4
運算處理單元120基于輸入單元110的處理的數(shù)據(jù)計算出預(yù)測值。本實施方式的 運算處理單元120為基于神經(jīng)網(wǎng)絡(luò)的模型進行預(yù)測值計算的處理的模型學(xué)習(xí)器，該神經(jīng) 網(wǎng)絡(luò)的模型是基于過去的時序數(shù)據(jù)通過學(xué)習(xí)處理等進行了校正的神經(jīng)網(wǎng)絡(luò)的模型。神經(jīng) 網(wǎng)絡(luò)例如是將構(gòu)成腦的神經(jīng)細胞(神經(jīng)元)模型化、網(wǎng)絡(luò)化而構(gòu)成的處理機構(gòu)。因此， 在本實施方式的運算處理單元120中，概念上是將多個神經(jīng)元進行網(wǎng)絡(luò)連接，基于從輸 入單元110輸入的數(shù)據(jù)，在神經(jīng)元間發(fā)送/接收運算結(jié)果，并且在輸出單元130輸出最終 的運算結(jié)果。
另外，在本實施方式中，裝置通過反向傳播進行學(xué)習(xí)。在該學(xué)習(xí)時，計算運算 處理單元120計算出的預(yù)測值和正確應(yīng)答數(shù)據(jù)y表示的值的誤差。然后，針對模型中表 示的各個神經(jīng)元計算所期待的神經(jīng)元的輸出值與實際輸出值的差等，求得局部誤差。進 行調(diào)整在計算預(yù)測值的過程中神經(jīng)元按照與經(jīng)過的順序相反的順序進行運算處理時的輸 入量的處理，以使該局部誤差變小。
為了實現(xiàn)以上那樣的模型形成，本實施方式的運算處理單元120具有輸入層處 理部121、中間層處理部124、輸出層處理部125以及多個延遲處理部126。
輸入層處理部121還具有頻率解析輸入層處理部122和相關(guān)數(shù)據(jù)輸入層處理部 123。頻率解析輸入層處理部122基于各解析級別的小波系數(shù)和最高縮放系數(shù)進行運算處 理。此時，將對解析級別高(頻率低)的小波系數(shù)等進行運算處理的結(jié)果與位于一個下 位的解析級別的較低(頻率高)的小波系數(shù)一起進行運算處理。因此，如圖1所示，在 與解析級別相同數(shù)量的神經(jīng)元中進行運算。而且，相關(guān)數(shù)據(jù)輸入層處理部123基于頻率 解析輸入層處理部122的運算處理的數(shù)據(jù)和來自輸入單元110的相關(guān)數(shù)據(jù)nt進行運算處 理。關(guān)于輸入層處理部121的運算處理的內(nèi)容詳見后述。
[20在]本實施方式中，中間層處理部IM基于延遲處理部1 存儲保持的、輸 入層處理部121的運算處理涉及的規(guī)定數(shù)量的數(shù)據(jù)進行運算處理。而且，輸出層處理部 125基于中間層處理部124的運算處理涉及的數(shù)據(jù)進行運算，并進行向輸出單元130輸出 的處理。
[21]圖2是用于表示延遲處理部126的處理的圖。延遲處理部126進行臨時存 儲保持所輸入的數(shù)據(jù)的處理。在此，延遲處理部126具有若輸入新的數(shù)據(jù)時則溢出最舊 的數(shù)據(jù)(從存儲保持對象溢出)的先入先出(FIFO FirstInFirstOut)的構(gòu)造。因此，能 夠存儲保持規(guī)定數(shù)量(過去的規(guī)定時間量)的數(shù)據(jù)。在本實施方式中，例如各延遲處理 部1 能夠存儲保持用于運算處理單元120計算時刻t+Ι的預(yù)測值而進行的各神經(jīng)元的運 算處理所必須的量的數(shù)據(jù)。
[22]關(guān)于上述那樣的運算處理單元120的各處理部，能夠由各自不同的專業(yè)設(shè)備 (硬件)構(gòu)成，但也可以由以CPU(Central Processing Unit)為中心的運算控制單元(計算機)構(gòu)成硬件，將各部進行處理的處理順序預(yù)先程序化，從而由軟件、固件等構(gòu)成。并 且，也可通過執(zhí)行程序進行的處理來實現(xiàn)上述各部進行的處理。這些程序涉及的數(shù)據(jù)例 如預(yù)先存儲于存儲單元(未圖示)。而且，雖未特別限定，但例如也可由一個運算處理 裝置(元件)構(gòu)成神經(jīng)元，通過通信線路等連接多個運算處理裝置來構(gòu)成運算處理單元 120。在此在本實施方式中，以下對將各神經(jīng)元作為進行運算處理的一個單位的裝置(元 件)的情況進行說明。
[23]而且，輸出單元130在預(yù)測處理時，運算處理單元120將作為運算結(jié)果計算 出的預(yù)測值作為信號向例如外部裝置(未圖示)輸出。
[24]接下來，說明本實施方式的裝置100的動作。首先，在裝置100的前段中， 基于進行了采樣、量化等的時序數(shù)據(jù)，在多重分辨率解析中進行小波變換，計算出每個 解析級別的小波系數(shù)、縮放系數(shù)。關(guān)于解析結(jié)果和源信號(函數(shù))之間的關(guān)系，若將計 算出的最高的解析級別設(shè)為L、將源信號設(shè)為f(t)，則可以用下式(1)來表示。
[25](數(shù)學(xué)式 1)L
f ( t)=2 g ·( t)+ f , ( t)…(1)j = l
在此，&如下式(2)所示，是小波系數(shù)Wp和母小波A、k的合成函數(shù)。而且， ⑶式的fUt)是解析級別L的縮放系數(shù)和解析級別L的母小波U^k的合成函數(shù)。
(數(shù)學(xué)式2)
S j( t) =Σ Wjk · Φ j>k(t)(2)
f ! =^l,k(t)…(3)k
圖3是表示Haar函數(shù)涉及的縮放函數(shù)的圖。在本實施方式中在小波中使用Haar 函數(shù)進行說明。關(guān)于縮放函數(shù)，0<U<1時將u設(shè)為1，其他情況設(shè)為u = 0。
圖4是表示用于分解處理的母小波的圖。圖4示意地表示了 Haar函數(shù)的母小 波。小波系數(shù)是基于母小波和時序數(shù)據(jù)計算出內(nèi)積，并用縮放系數(shù)除所計算出的。如圖 4所示，通過改變母小波的周期寬度生成不同的解析級別的母小波，并針對各解析級別計 算出小波系數(shù)。
圖5是用于說明小波系數(shù)的計算順序的圖。在圖5中對解析級別1的小波系數(shù) 的計算進行說明。例如將時刻t-7 t中的丨1，3，5，11，12，13，0，1丨這樣8個值的 數(shù)據(jù)作為時序數(shù)據(jù)。解析級別1的小波系數(shù)是計算出母小波(-1，1)的內(nèi)積后用縮放系 數(shù)除所計算出的。而且，沿時間方向滑動計算小波系數(shù)。例如時序數(shù)據(jù)(1，3)和母小 波(1，-1)的內(nèi)積是IX (-D+3X1 = 2。由于縮放系數(shù)是2"2，所以小波系數(shù)為2"2 = 1.4142(圖5中的W(1Y3)。以下，對于(5，11)、(12，13)、(0，1)同樣分別計算出小 波系數(shù)。如上所述，在解析級別1中，計算出{w(1\_3 = 1.4142，Wai1^2 = 4.2426, w(1)M =0.7071，Wa), = 0.7071}四個小波系數(shù)。在此，在本實施方式中，Wa),表示基于時刻t 的小波系數(shù)。
而且，解析級別2的小波系數(shù)通過計算出2倍周期的母小波(-1，-1，1，1)與 時序數(shù)據(jù)的4個數(shù)據(jù)的內(nèi)積，用該解析級別的縮放系數(shù)2除所計算出的。
如上所述，包含前段裝置計算出的各解析級別的小波系數(shù)和最高縮放系數(shù)的信 號被輸入到輸入單元110。輸入單元110處理信號后將數(shù)據(jù)發(fā)送到運算處理單元120。對 相關(guān)數(shù)據(jù)nt也進行同樣的信號處理并發(fā)送。各延遲處理部1 存儲保持上述那樣發(fā)送來 的數(shù)據(jù)。在此，例如存儲保持從時刻t開始基于過去的規(guī)定時間量的時序數(shù)據(jù)計算出的規(guī) 定數(shù)量的小波系數(shù)或最高縮放系數(shù)。而且，也存儲保持規(guī)定數(shù)量的相關(guān)數(shù)據(jù)。
輸入層處理部121的頻率解析輸入層處理部122基于各延遲處理部1 存儲保持 的規(guī)定數(shù)量的小波系數(shù)或最高縮放系數(shù)進行運算處理。此時，頻率解析輸入層處理部122 如上所述進行基于解析級別和相同數(shù)量的神經(jīng)元的運算處理。
圖6是表示神經(jīng)元的示意圖。在此，對神經(jīng)元中的運算處理進行說明。如圖6 所示，各神經(jīng)元具有數(shù)據(jù)輸入部、運算部、輸出部。在圖6的神經(jīng)元中，例如計算對解 析級別L的從時刻t開始經(jīng)過規(guī)定時間量的小波系數(shù)WaV W(L)m, Wwi^2, W(L)i_3> Wwm 分別乘以權(quán)重系數(shù)11(、、h(L)M, 11(、_2、11(、_3、IiaY4的總和4。然后，將總和4代入例 如預(yù)先設(shè)定的S形函數(shù)那樣的傳遞函數(shù)f中進行閾值的處理，從而計算出輸出值0l。若用 數(shù)學(xué)式表示以上內(nèi)容則由下式(4)來表示。在本實施方式中，輸出值O1為基于時刻t的 神經(jīng)元的輸出值，由各神經(jīng)元進行這樣的運算處理。
(數(shù)學(xué)式3)
權(quán)利要求
1.一種時序數(shù)據(jù)預(yù)測神經(jīng)網(wǎng)絡(luò)裝置，其處理按時序表示了預(yù)測對象的數(shù)值的時序數(shù) 據(jù)，計算出所述數(shù)值的預(yù)測值，所述時序數(shù)據(jù)預(yù)測神經(jīng)網(wǎng)絡(luò)裝置的特征在于，具備輸入單元，其被輸入對所述時序數(shù)據(jù)進行多重分辨率解析所得到的、表示多個解析 級別的特征的值，作為解析數(shù)據(jù)；以及運算處理單元，其具有輸入層處理部，該輸入層處理部在計算所述預(yù)測值時，基于 所述多個解析級別中最高解析級別的解析數(shù)據(jù)進行運算處理，將處理后的結(jié)果的數(shù)據(jù)與 次高解析級別的解析數(shù)據(jù)一起進行運算處理，并從最高解析級別到最低解析級別，對基 于上位解析級別中運算處理的結(jié)果的數(shù)據(jù)和所述下位解析級別中的解析數(shù)據(jù)進行運算處 理。
2.根據(jù)權(quán)利要求1所述的時序數(shù)據(jù)預(yù)測神經(jīng)網(wǎng)絡(luò)裝置，其特征在于，所述運算處理單元還具有一個或多個延遲處理部，用于存儲保持過去的規(guī)定數(shù)量 的、輸入到所述輸入單元的數(shù)據(jù)。
3.根據(jù)權(quán)利要求1或2所述的時序數(shù)據(jù)預(yù)測神經(jīng)網(wǎng)絡(luò)裝置，其特征在于，所述運算處 理單元還具有中間層處理部，其基于所述輸入層處理部處理的結(jié)果的數(shù)據(jù)進行運算處理；以及輸出層處理部，其基于該中間層處理部處理的結(jié)果的數(shù)據(jù)進行運算處理，并輸出所 述預(yù)測值。
4.根據(jù)權(quán)利要求1至3中任一項所述的時序數(shù)據(jù)預(yù)測神經(jīng)網(wǎng)絡(luò)裝置，其特征在于，所述多重分辨率解析是使用了小波的頻率解析，基于頻率越低的小波的信號得到的所述解析數(shù)據(jù)，其解析級別越高。
5.根據(jù)權(quán)利要求4所述的時序數(shù)據(jù)預(yù)測神經(jīng)網(wǎng)絡(luò)裝置，其特征在于，作為所述解析數(shù)據(jù)具有小波系數(shù)。
6.根據(jù)權(quán)利要求5所述的時序數(shù)據(jù)預(yù)測神經(jīng)網(wǎng)絡(luò)裝置，其特征在于，在所述輸入單元，還被輸入有所述最高解析級別中縮放系數(shù)的數(shù)據(jù)，作為所述解析 數(shù)據(jù)，所述運算處理單元，基于所述最高解析級別的小波系數(shù)的數(shù)據(jù)和所述縮放系數(shù)的數(shù) 據(jù)進行所述運算處理。
7.根據(jù)權(quán)利要求1至6中任一項所述的時序數(shù)據(jù)預(yù)測神經(jīng)網(wǎng)絡(luò)裝置，其特征在于，在所述輸入單元，還被輸入有與所述解析數(shù)據(jù)相關(guān)的相關(guān)數(shù)據(jù)，所述輸入層處理部還基于到所述最低解析級別所處理的結(jié)果的數(shù)據(jù)和所述相關(guān)數(shù) 據(jù)，進行運算處理。
全文摘要
本發(fā)明提供一種時序數(shù)據(jù)預(yù)測神經(jīng)網(wǎng)絡(luò)裝置，能夠在解析級別間進行協(xié)作并能夠進行高精度的預(yù)測值計算。在處理按時序表示預(yù)測對象的數(shù)值的時序數(shù)據(jù)，并計算出數(shù)值的預(yù)測值的時序數(shù)據(jù)預(yù)測神經(jīng)網(wǎng)絡(luò)裝置中具備輸入單元，將對時序數(shù)據(jù)進行多重分辨率解析所得到的、表示多個解析級別的特征的值作為解析數(shù)據(jù)輸入；運算處理單元，具有輸入層處理部，該輸入層處理部在計算預(yù)測值時，基于多個解析級別中最高解析級別的解析數(shù)據(jù)進行運算處理，將處理結(jié)果的數(shù)據(jù)與次高解析級別的解析數(shù)據(jù)一起進行運算處理，并從最高解析級別到最低解析級別對基于某解析級別的解析數(shù)據(jù)進行運算處理的結(jié)果的數(shù)據(jù)和位于某解析級別下位的解析級別的解析數(shù)據(jù)進行運算處理。
文檔編號G06N3/02GK102024178SQ20101028068
公開日2011年4月20日 申請日期2010年9月10日 優(yōu)先權(quán)日2009年9月16日
發(fā)明者伊加田惠志 申請人:沖電氣工業(yè)株式會社