本發(fā)明涉及電力負(fù)荷預(yù)測技術(shù)領(lǐng)域，尤其涉及一種基于長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測系統(tǒng)。

背景技術(shù)：

電力負(fù)荷預(yù)測問題旨在預(yù)測出電網(wǎng)中單條或者多條輸電線的用電需求，根據(jù)預(yù)測的時(shí)間跨度可分為：短期預(yù)測(幾分鐘到一周)、中期預(yù)測(一個(gè)月到一個(gè)季度)和長期預(yù)測(一年以上)。由于現(xiàn)有技術(shù)條件下，電能很難有效地存儲在大型儲電裝置中，因此，在滿足供電需求的條件下，盡可能地降低剩余發(fā)電量，是減少成本，提高電能使用效率的有效途徑。因此，采用各種預(yù)測方法準(zhǔn)確地預(yù)測出區(qū)域內(nèi)中短期供電負(fù)荷，對規(guī)劃和指導(dǎo)發(fā)電企業(yè)有效生產(chǎn)電能是十分必要的。目前，有很多主流的方法應(yīng)用于電力負(fù)荷預(yù)測，像人工神經(jīng)網(wǎng)絡(luò)(artificialneuralnetwork，ann)、支持向量機(jī)(supportvectormachine，svm)、高斯過程回歸(gaussionprocessregression，gpr)、自回歸移動平均模型(autoregressiveintegratedmovingaveragemodel，arima)等。電力負(fù)荷與很多隱變量相關(guān)，如光照、風(fēng)力、節(jié)假日等等，這些變量一般難以獲取或者量化，但是可以合理地認(rèn)為位于同一區(qū)域的城市擁有相似的隱變量。所以這些相鄰城市的電力負(fù)荷數(shù)據(jù)是高度相關(guān)的，運(yùn)用多任務(wù)學(xué)習(xí)技術(shù)將會提高這些相似區(qū)域的負(fù)荷預(yù)測精度。

多任務(wù)學(xué)習(xí)是一種通過同時(shí)聯(lián)合學(xué)習(xí)多個(gè)相關(guān)任務(wù)來提高泛化能力的技術(shù)，當(dāng)模型中的部分參數(shù)在任務(wù)之間被合理共享時(shí)，就能同時(shí)提高這些相關(guān)任務(wù)的負(fù)荷預(yù)測效果。近年來，隨著深度學(xué)習(xí)理論研究的深入發(fā)展，將深度學(xué)習(xí)理論應(yīng)用于電力系統(tǒng)的用電需求預(yù)測是一項(xiàng)很有意義的工作。現(xiàn)有的各種基于神經(jīng)網(wǎng)絡(luò)的預(yù)測方法很少能同時(shí)預(yù)測出跨區(qū)域的用電負(fù)荷，且提出的供電負(fù)荷預(yù)測模型并不精確。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的主要目的在于提供一種基于長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測系統(tǒng)，基于深度學(xué)習(xí)領(lǐng)域中的長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(lstm)來構(gòu)建多任務(wù)學(xué)習(xí)的負(fù)荷預(yù)測模型，能夠精確地同時(shí)預(yù)測出多個(gè)相鄰區(qū)域的電力負(fù)荷。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測系統(tǒng)，運(yùn)行于計(jì)算機(jī)中，該計(jì)算機(jī)包括輸入單元以及輸出單元，所述長短時(shí)記憶神經(jīng)(lstm)網(wǎng)絡(luò)包括輸入層、lstm網(wǎng)絡(luò)層和輸出層，所述電力負(fù)荷預(yù)測系統(tǒng)包括：

信息接收模塊，用于通過輸入單元接收輸入的歷史時(shí)刻的電力負(fù)荷數(shù)據(jù)和區(qū)域特征因素，并將所述歷史時(shí)刻的電力負(fù)荷數(shù)據(jù)和區(qū)域特征因素傳遞至所述lstm網(wǎng)絡(luò)的輸入層；

模型建立模塊，用于將所述lstm網(wǎng)絡(luò)的輸入層接收的歷史時(shí)刻的電力負(fù)荷數(shù)據(jù)和區(qū)域特征因素導(dǎo)入所述lstm網(wǎng)絡(luò)層，并通過所述lstm網(wǎng)絡(luò)層對所述歷史時(shí)刻的電力負(fù)荷數(shù)據(jù)和區(qū)域特征因素進(jìn)行訓(xùn)練建模，以訓(xùn)練生成深度神經(jīng)網(wǎng)絡(luò)負(fù)荷預(yù)測模型，所述深度神經(jīng)網(wǎng)絡(luò)負(fù)荷預(yù)測模型為用于供電負(fù)荷預(yù)測的單層多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型或雙層多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型；

電力預(yù)測模塊，用于利用所述深度神經(jīng)網(wǎng)絡(luò)負(fù)荷預(yù)測模型對所需預(yù)測區(qū)域內(nèi)的電力負(fù)荷進(jìn)行預(yù)測，并通過連接至所述lstm網(wǎng)絡(luò)層的回歸器產(chǎn)生該區(qū)域內(nèi)的電力負(fù)荷預(yù)測結(jié)果；

結(jié)果輸出模塊，用于通過所述輸出層輸出所需預(yù)測區(qū)域內(nèi)的電力負(fù)荷預(yù)測結(jié)果至所述輸出單元。

優(yōu)選的，所述深度神經(jīng)網(wǎng)絡(luò)負(fù)荷預(yù)測模型表示為如下公式：

forecast＝f(t,d,c,y1,u1,id)

其中，t∈[0,24]，是一天當(dāng)中的時(shí)間，以小時(shí)為單位；d∈{1,2,...,365,366}是一年當(dāng)中的天數(shù)，以天為單位；c是一天的類型；yl是包含一段歷史用電需求的歷史電力負(fù)荷數(shù)據(jù)；ul是一個(gè)包含區(qū)域特征因素的實(shí)值向量；id代表用電需求的區(qū)域標(biāo)識。

優(yōu)選的，所述lstm網(wǎng)絡(luò)是一種改進(jìn)型的迭代神經(jīng)網(wǎng)絡(luò)，該迭代神經(jīng)網(wǎng)絡(luò)通過對隱層狀態(tài)向量ht遞歸應(yīng)用狀態(tài)轉(zhuǎn)移函數(shù)f來處理輸入序列的網(wǎng)絡(luò)，處于時(shí)間步長t的隱層狀態(tài)向量ht由當(dāng)前輸入序列xt和上一時(shí)刻的隱層狀態(tài)向量ht-1決定，所述隱層狀態(tài)向量ht采用如下公式表示：

優(yōu)選的，所述lstm網(wǎng)絡(luò)層包括輸入門it、輸出門ot和遺忘門ft以及記憶單元ct，在時(shí)刻t，記憶單元ct記錄到當(dāng)前時(shí)刻t為止的所有歷史信息并受到輸入門it、輸出門ot和遺忘門ft這三個(gè)邏輯門控制，該三個(gè)邏輯門的輸出值均在0和1之間。

優(yōu)選的，所述遺忘門ft控制lstm網(wǎng)絡(luò)層的信息檫除，所述輸入門it控制lstm網(wǎng)絡(luò)層的信息更新，所述輸出門ot控制內(nèi)部狀態(tài)的信息輸出。

優(yōu)選的，所述lstm網(wǎng)絡(luò)的輸入序列為x＝(x1,x2,...,xt)，由輸入層輸入至lstm網(wǎng)絡(luò)層，輸出序列為y＝(y1,y2,...yt)，由輸出層從lstm網(wǎng)絡(luò)層輸出，其中，t是預(yù)測期，x是歷史輸入數(shù)據(jù)，y是預(yù)測電力負(fù)荷，所述lstm網(wǎng)絡(luò)層的參數(shù)迭代更新方式如下公式(1)-(6)所示：

it＝σ(wixt+uiht-1+vict-1)(1)

ft＝σ(wfxt+ufht-1+vfct-1)(2)

ot＝σ(woxt+uoht-1+voct)(3)

ht＝ot⊙tanh(ct)(6)

其中，xt是t時(shí)刻的輸入序列，σ表示為sigmoid函數(shù)，⊙表示為元素間的相乘，w是輸入權(quán)重，u是隱層狀態(tài)h的循環(huán)權(quán)重，v是歷史信息的影響權(quán)重，tanh為隱層狀態(tài)h的雙曲正切函數(shù)。

優(yōu)選的，所述單層多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型的多個(gè)相關(guān)任務(wù)共享一個(gè)相同的lstm網(wǎng)絡(luò)層，該相同的lstm網(wǎng)絡(luò)層在時(shí)刻t的輸出表示為其中初始化參數(shù)是均勻分布在[-0.1，0.1]之間的隨機(jī)采樣值。

優(yōu)選的，所述雙層多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型的兩個(gè)相關(guān)任務(wù)各自賦予一個(gè)lstm網(wǎng)絡(luò)層，每個(gè)任務(wù)分別使用另一個(gè)任務(wù)的lstm網(wǎng)絡(luò)層的相關(guān)信息，并通過一個(gè)全局門控單元來控制雙層多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型的信息接收。

優(yōu)選的，所述雙層多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型的lstm網(wǎng)絡(luò)層在時(shí)刻t的輸出表示為和其中，和的初始化參數(shù)是均勻分布在[-0.1，0.1]之間的隨機(jī)采樣值，(m,n)為給定一組相關(guān)任務(wù)，第m個(gè)任務(wù)的lstm網(wǎng)絡(luò)層的記憶信息如公式所示：

其中，xt是t時(shí)刻的輸入序列，σ表示為sigmoid函數(shù)，w是輸入權(quán)重，u是隱層狀態(tài)h的循環(huán)權(quán)重，v是歷史信息的影響權(quán)重，tanh為隱層狀態(tài)h的雙曲正切函數(shù)。

相較于現(xiàn)有技術(shù)，本發(fā)明所述基于長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測系統(tǒng)，基于深度學(xué)習(xí)領(lǐng)域中的長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(longshort-termmemoryneuralnetwork，lstm)來構(gòu)建多任務(wù)學(xué)習(xí)的負(fù)荷預(yù)測模型，以進(jìn)一步提升預(yù)測效果。本發(fā)明提出了跨區(qū)域的供電負(fù)荷預(yù)測模型，能夠同時(shí)預(yù)測出多區(qū)域的用電負(fù)荷，而且預(yù)測效果較現(xiàn)有用電負(fù)荷預(yù)測模型更精確。

附圖說明

圖1是本發(fā)明基于長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測系統(tǒng)優(yōu)選實(shí)施例的方框圖；

圖2是lstm網(wǎng)絡(luò)的模型結(jié)構(gòu)示意圖；

圖3是用于供電負(fù)荷預(yù)測的單層多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型的示意圖；

圖4是用于供電負(fù)荷預(yù)測的雙層多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型的示意圖。

本發(fā)明目的實(shí)現(xiàn)、功能特點(diǎn)及優(yōu)點(diǎn)將結(jié)合實(shí)施例，將在具體實(shí)施方式部分一并參照附圖做進(jìn)一步說明。

具體實(shí)施方式

為更進(jìn)一步闡述本發(fā)明為達(dá)成上述目的所采取的技術(shù)手段及功效，以下結(jié)合附圖及較佳實(shí)施例，對本發(fā)明的具體實(shí)施方式、結(jié)構(gòu)、特征及其功效進(jìn)行詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

參照圖1所示，圖1是本發(fā)明基于長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測系統(tǒng)優(yōu)選實(shí)施例的方框圖。在本實(shí)施例中，所述基于長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測系統(tǒng)10安裝并運(yùn)行于計(jì)算機(jī)1中，該計(jì)算機(jī)1還包括，但不僅限于，輸入單元11、存儲單元12、處理單元13以及輸出單元14。所述輸入單元11為計(jì)算機(jī)的輸入設(shè)備，例如輸入鍵盤或鼠標(biāo)等。所述存儲單元12可以為一種只讀存儲單元rom，電可擦寫存儲單元eeprom、快閃存儲單元flash或固體硬盤等。所述的處理單元13可以為一種中央處理器(centralprocessingunit，cpu)、微控制器(mcu)、數(shù)據(jù)處理芯片、或者具有數(shù)據(jù)處理功能的信息處理單元。所述輸出單元14為計(jì)算機(jī)1的輸出設(shè)備，例如顯示器或者打印機(jī)等設(shè)備。

所述基于長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測系統(tǒng)10能夠基于深度學(xué)習(xí)領(lǐng)域中的長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(longshort-termmemoryneuralnetwork，以下簡稱為lstm網(wǎng)絡(luò)2)來構(gòu)建多任務(wù)學(xué)習(xí)的負(fù)荷預(yù)測模型，以進(jìn)一步提升區(qū)域電力負(fù)荷預(yù)測的效果。參考圖2所示，所述lstm網(wǎng)絡(luò)2包括輸入層21、lstm網(wǎng)絡(luò)層22以及輸出層23。

在本實(shí)施例中，所述基于長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測系統(tǒng)10，包括但不僅限于，信息接收模塊101、模型建立模塊102、電力預(yù)測模塊103以及結(jié)果輸出模塊104。本發(fā)明所稱的模塊是指一種能夠被計(jì)算機(jī)1的處理單元13執(zhí)行并且能夠完成固定功能的一系列計(jì)算機(jī)程序指令段，其存儲在計(jì)算機(jī)1的存儲單元12中。

所述信息接收模塊101用于通過輸入單元11接收輸入的歷史時(shí)刻的電力負(fù)荷數(shù)據(jù)和區(qū)域特征因素，并將所述歷史時(shí)刻的電力負(fù)荷數(shù)據(jù)和區(qū)域特征因素傳遞至所述lstm網(wǎng)絡(luò)2的輸入層21；具體的，典型的電力負(fù)荷需求預(yù)測問題受到各種區(qū)域特征因素影響，所述區(qū)域特征因素包括區(qū)域內(nèi)的時(shí)間、節(jié)假日、天氣以及經(jīng)濟(jì)指標(biāo)等信息，所述歷史電力負(fù)荷數(shù)據(jù)是指所需預(yù)測區(qū)域內(nèi)的歷史時(shí)刻的電力負(fù)荷數(shù)據(jù)信息。在本實(shí)施例中，所述歷史電力負(fù)荷數(shù)據(jù)和區(qū)域特征因素由用戶從所需預(yù)測區(qū)域收集，信息接收模塊101從輸入單元11接收歷史電力負(fù)荷數(shù)據(jù)和區(qū)域特征因素并傳遞至所述lstm網(wǎng)絡(luò)2的輸入層21。

所述模型建立模塊102用于將所述lstm網(wǎng)絡(luò)2的輸入層21接收歷史時(shí)刻的電力負(fù)荷數(shù)據(jù)和區(qū)域特征因素導(dǎo)入所述lstm網(wǎng)絡(luò)層2，并通過所述lstm網(wǎng)絡(luò)層2對所述歷史時(shí)刻的電力負(fù)荷數(shù)據(jù)和區(qū)域特征因素進(jìn)行訓(xùn)練建模，以訓(xùn)練生成深度神經(jīng)網(wǎng)絡(luò)負(fù)荷預(yù)測模型。在本實(shí)施例中，所述深度神經(jīng)網(wǎng)絡(luò)負(fù)荷預(yù)測模型為用于供電負(fù)荷預(yù)測的單層多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型或雙層多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型。所述模型建立模塊102利用歷史電力負(fù)荷數(shù)據(jù)和區(qū)域特征因素進(jìn)行負(fù)荷預(yù)測建模生成深度神經(jīng)網(wǎng)絡(luò)負(fù)荷預(yù)測模型，該深度神經(jīng)網(wǎng)絡(luò)負(fù)荷預(yù)測模型可表示為如下公式：

上式中各個(gè)變量說明如下：t∈[0,24]，是一天當(dāng)中的時(shí)間，以小時(shí)為單位；d∈{1,2,...,365,366}是一年當(dāng)中的天數(shù)，以天為單位；c是一天的類型，如星期一到星期日、節(jié)假日等；yl是包含一段歷史用電需求內(nèi)的歷史電力負(fù)荷數(shù)據(jù)的實(shí)值向量；ul是一個(gè)包含區(qū)域特征因素的實(shí)值向量，如溫度、經(jīng)濟(jì)指標(biāo)等數(shù)據(jù)；id代表用電需求的區(qū)域標(biāo)識。

采樣收集到上述特征向量后，就可以構(gòu)建模型，即確定上式中的狀態(tài)轉(zhuǎn)移函數(shù)f，然后對一個(gè)區(qū)域內(nèi)的用電負(fù)荷進(jìn)行預(yù)測。本發(fā)明采用迭代神經(jīng)網(wǎng)絡(luò)(recurrentneuralnetwork，rnn)的改進(jìn)型網(wǎng)絡(luò)長短時(shí)記憶神經(jīng)(lstm)網(wǎng)絡(luò)來進(jìn)行建模，下面將詳細(xì)說明該網(wǎng)絡(luò)模型結(jié)構(gòu)和原理。

迭代神經(jīng)網(wǎng)絡(luò)(rnn)是一種通過對隱層狀態(tài)向量ht遞歸應(yīng)用狀態(tài)轉(zhuǎn)移函數(shù)f來處理任意長輸入序列的網(wǎng)絡(luò)。處于時(shí)間步長t的隱層狀態(tài)向量ht由當(dāng)前輸入xt和上一時(shí)刻的隱層狀態(tài)向量ht-1決定，如下式所示：

上式可以看成一個(gè)動態(tài)系統(tǒng)，系統(tǒng)的狀態(tài)按照一定的規(guī)律隨時(shí)間變化。ht就是系統(tǒng)的狀態(tài)，理論上，迭代神經(jīng)網(wǎng)絡(luò)(rnn)可以近似任意的動態(tài)系統(tǒng)。傳統(tǒng)上，對時(shí)間序列進(jìn)行建模的策略是用迭代神經(jīng)網(wǎng)絡(luò)(rnn)將輸入序列映射為固定長度的向量，然后再輸入到回歸器中，回歸器給出預(yù)測結(jié)果。但是，基于狀態(tài)轉(zhuǎn)移函數(shù)的多個(gè)rnns在訓(xùn)練的過程中，在輸入長序列后，其梯度向量會出現(xiàn)指數(shù)級的增長或衰減，這就是rnns面臨的梯度消失或者梯度爆炸的問題。在這種情況下，多個(gè)rnns很難學(xué)習(xí)序列的長時(shí)相關(guān)性問題。

在本實(shí)施例中，長短時(shí)記憶神經(jīng)(lstm)網(wǎng)絡(luò)是一種改進(jìn)型的迭代神經(jīng)網(wǎng)絡(luò)(rnn)模型，它通過引入邏輯門機(jī)制，有效地解決了簡單的迭代神經(jīng)網(wǎng)絡(luò)面臨的梯度消失或者爆炸問題，使深層網(wǎng)絡(luò)模型能夠?qū)W習(xí)時(shí)間序列的長期依賴。該lstm網(wǎng)絡(luò)的關(guān)鍵在于引入了一組記憶單元(memoryunits)，允許網(wǎng)絡(luò)學(xué)習(xí)何時(shí)遺忘歷史信息，何時(shí)用新信息更新記憶單元。

如圖2所示，圖2是lstm網(wǎng)絡(luò)的模型結(jié)構(gòu)圖。在本實(shí)施例中，所述lstm網(wǎng)絡(luò)2由輸入層21、lstm網(wǎng)絡(luò)層22和輸出層23構(gòu)成，結(jié)構(gòu)如圖2所示。所述lstm網(wǎng)絡(luò)層22包括輸入門it(inputgate)、輸出門ot(outputgate)和遺忘門ft(forgetgate)以及記憶單元ct。在時(shí)刻t，記憶單元ct記錄了到當(dāng)前時(shí)刻為止的所有歷史信息，并受三個(gè)邏輯門控制，該三個(gè)邏輯門分別是：輸入門it(inputgate)、輸出門ot(outputgate)和遺忘門ft(forgetgate)。它們能夠模擬神經(jīng)細(xì)胞間的輸入、讀取和復(fù)位操作，這三個(gè)邏輯門的輸出值均在0和1之間。

假設(shè)lstm網(wǎng)絡(luò)2的輸入序列為x＝(x1,x2,...,xt)，由輸入層21輸入至lstm網(wǎng)絡(luò)層22，輸出序列為y＝(y1,y2,...yt)，由輸出層23從lstm網(wǎng)絡(luò)層22輸出。其中，t是預(yù)測期，x是歷史輸入數(shù)據(jù)(例如歷史負(fù)荷、天氣狀況，經(jīng)濟(jì)指標(biāo)等)，y是預(yù)測負(fù)荷。為實(shí)現(xiàn)這個(gè)目標(biāo)，lstm網(wǎng)絡(luò)層22的參數(shù)迭代更新方式如下公式(1)-(6)所示：

it＝σ(wixt+uiht-1+vict-1)(1)

ft＝σ(wfxt+ufht-1+vfct-1)(2)

ot＝σ(woxt+uoht-1+voct)(3)

ht＝ot⊙tanh(ct)(6)

其中，xt是t時(shí)刻的輸入序列，σ表示為sigmoid函數(shù)，tanh為隱層狀態(tài)h的雙曲正切函數(shù)，⊙表示為元素間的相乘，w是輸入權(quán)重，u是隱層狀態(tài)h的循環(huán)權(quán)重，v是歷史信息的影響權(quán)重，這些權(quán)重參數(shù)通過模型訓(xùn)練獲得。可以看出，遺忘門ft控制lstm網(wǎng)絡(luò)層22中的信息檫除；輸入門it控制lstm網(wǎng)絡(luò)層22中的信息更新；輸出門ot控制lstm網(wǎng)絡(luò)層22內(nèi)部狀態(tài)的信息輸出。

在本實(shí)施例中，輸入門it、輸出門ot、遺忘門ft和記憶單元ct能夠使lstm網(wǎng)絡(luò)層22自適應(yīng)選擇遺忘、記憶和輸出記憶信息，如果檢測到重要的信息內(nèi)容，遺忘門ft將會關(guān)閉，這樣將會在多個(gè)時(shí)間步長內(nèi)利用該信息，這就等價(jià)于捕捉到了一個(gè)長期依賴信息；另一方面，當(dāng)遺忘門ft打開時(shí)，lstm網(wǎng)絡(luò)層22將會選擇復(fù)位記憶狀態(tài)。

現(xiàn)有的基于神經(jīng)網(wǎng)絡(luò)的負(fù)荷預(yù)測方法大多都是單任務(wù)學(xué)習(xí)模式，這些方法受到訓(xùn)練樣本數(shù)目較少的限制，而無法充分學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)。為了解決這個(gè)問題，這些模型加入了無監(jiān)督的預(yù)訓(xùn)練階段。這個(gè)無監(jiān)督的預(yù)訓(xùn)練方法對于提升最終的性能是有效的，但這并不是直接優(yōu)化系統(tǒng)的期望任務(wù)。由于深度神經(jīng)網(wǎng)絡(luò)模型從一個(gè)任務(wù)中學(xué)習(xí)到的特征可以應(yīng)用于改進(jìn)其余相關(guān)任務(wù)的學(xué)習(xí)中，所以深度神經(jīng)網(wǎng)絡(luò)模型很適合于多任務(wù)學(xué)習(xí)。本發(fā)明提出兩個(gè)基于多任務(wù)學(xué)習(xí)架構(gòu)的深度神經(jīng)網(wǎng)絡(luò)負(fù)荷預(yù)測模型，分別為用于供電負(fù)荷預(yù)測的單層多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型和用于供電負(fù)荷預(yù)測的雙層多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型，具體模型結(jié)構(gòu)如圖3和圖4所示。

參考圖3和圖4所示，圖3為用于供電負(fù)荷預(yù)測的單層多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型的示意圖；圖4為用于供電負(fù)荷預(yù)測的雙層多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型的示意圖。在圖3中，多個(gè)相關(guān)任務(wù)共享一個(gè)相同的lstm網(wǎng)絡(luò)層22，該相同的lstm網(wǎng)絡(luò)層22在時(shí)刻t的輸出表示為在圖4中，將兩個(gè)相關(guān)任務(wù)各自賦予一個(gè)lstm網(wǎng)絡(luò)層22，這樣，每一個(gè)任務(wù)就可以使用另一個(gè)任務(wù)的lstm網(wǎng)絡(luò)層22的相關(guān)信息。值得說明的是，在圖4中，給定一組相關(guān)任務(wù)(m,n)，每個(gè)任務(wù)有自己的lstm網(wǎng)絡(luò)層22，將這對lstm網(wǎng)絡(luò)層22在時(shí)刻t的輸出表示為和為了更好地控制共享信息從一個(gè)任務(wù)流入到另一個(gè)任務(wù)中，本發(fā)明使用了一個(gè)全局門控單元31來賦予模型決定應(yīng)該接收多少信息的能力?；谏鲜龉?4)，重新定義第m個(gè)任務(wù)的lstm網(wǎng)絡(luò)層22的記憶內(nèi)容如公式(7)所示：

其中，其余的參數(shù)設(shè)置和標(biāo)準(zhǔn)的lstm網(wǎng)絡(luò)層22一致，即：xt是t時(shí)刻的輸入序列，σ表示為sigmoid函數(shù)，w是輸入權(quán)重，u是隱層狀態(tài)h的循環(huán)權(quán)重，v是歷史信息的影響權(quán)重，tanh為隱層狀態(tài)h的雙曲正切函數(shù)。

所述電力預(yù)測模塊103用于利用所述深度神經(jīng)網(wǎng)絡(luò)負(fù)荷預(yù)測模型對所需預(yù)測區(qū)域內(nèi)的電力負(fù)荷進(jìn)行預(yù)測，并通過回歸器30產(chǎn)生該區(qū)域內(nèi)的電力負(fù)荷預(yù)測結(jié)果。本發(fā)明通過單層多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型或者雙層多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型均可對所需預(yù)測區(qū)域內(nèi)的電力負(fù)荷進(jìn)行預(yù)測并產(chǎn)生該區(qū)域內(nèi)的電力負(fù)荷預(yù)測結(jié)果。本發(fā)明提出的兩個(gè)模型可以同時(shí)聯(lián)合學(xué)習(xí)兩個(gè)相關(guān)任務(wù)，模型的最后一層的lstm網(wǎng)絡(luò)層22連接回歸器30，例如一種支持向量回歸機(jī)(supportvectorregressor)等，通過回歸器30可輸出預(yù)測的電力負(fù)荷值。

在本實(shí)施例中，所述單層多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型中的lstm網(wǎng)絡(luò)層在時(shí)刻t的輸出表示為其中初始化參數(shù)是均勻分布在[-0.1，0.1]之間的隨機(jī)采樣值。所述雙層多任務(wù)深度神經(jīng)網(wǎng)絡(luò)模型的lstm網(wǎng)絡(luò)層22的中和初始化參數(shù)是均勻分布在[-0.1，0.1]之間的隨機(jī)采樣值。采用最小誤差平方和作為損失函數(shù)，用誤差反向傳播算法進(jìn)行訓(xùn)練，并采用交叉驗(yàn)證方法實(shí)驗(yàn)尋找模型的超參數(shù)。所述誤差反向傳播算法和交叉驗(yàn)證方法均為所屬技術(shù)領(lǐng)域的現(xiàn)有技術(shù)，本發(fā)明不作具體贅述。

所述結(jié)果輸出模塊104于通過所述輸出層23輸出所需預(yù)測區(qū)域內(nèi)的電力負(fù)荷預(yù)測結(jié)果至輸出單元14；具體地，所述輸出單元14通過所述輸出層23輸出回歸器30產(chǎn)生的區(qū)域內(nèi)的電力負(fù)荷預(yù)測結(jié)果，即一組相關(guān)任務(wù)(m,n)的電力負(fù)荷值為y^(m)和y⁽ⁿ⁾。

與現(xiàn)有的技術(shù)相比，本發(fā)明有以下技術(shù)優(yōu)點(diǎn)：能夠同時(shí)聯(lián)合學(xué)習(xí)和保存較長時(shí)間負(fù)荷序列所包含的短期波動信息、季節(jié)性和趨勢性信息，適用于多任務(wù)高維時(shí)間序列預(yù)測問題。本發(fā)明所述基于長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測系統(tǒng)基于深度學(xué)習(xí)領(lǐng)域中的長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(lstm)來構(gòu)建多任務(wù)學(xué)習(xí)的負(fù)荷預(yù)測模型，以進(jìn)一步提升預(yù)測效果。本發(fā)明提出了跨區(qū)域的供電負(fù)荷預(yù)測模型，能夠同時(shí)預(yù)測出多區(qū)域的用電負(fù)荷，而且預(yù)測效果較現(xiàn)有用電負(fù)荷預(yù)測模型更精確。

以上僅為本發(fā)明的優(yōu)選實(shí)施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效功能變換，或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。