本發(fā)明屬于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)領(lǐng)域，尤其涉及一種基于混合神經(jīng)網(wǎng)絡(luò)和集成學(xué)習(xí)的非侵入式負(fù)荷識(shí)別算法。

背景技術(shù)：

電器負(fù)荷監(jiān)測(cè)有兩種方法：一種是侵入式負(fù)荷監(jiān)測(cè)(ilm)，另一種是非侵入式負(fù)荷監(jiān)測(cè)(nilm)。傳統(tǒng)的侵入式負(fù)荷監(jiān)測(cè)需要為家庭內(nèi)部每個(gè)用電器安裝一個(gè)監(jiān)測(cè)裝置以獲取用電器的數(shù)據(jù)，然后將獲取到的數(shù)據(jù)通過網(wǎng)絡(luò)傳送到終端，由終端進(jìn)行統(tǒng)一的處理。這種方法的劣勢(shì)為監(jiān)測(cè)設(shè)備本身就有一定的造價(jià)，而在使用過程中還要進(jìn)行維護(hù)，這樣使得其安裝和維護(hù)的成本過高。與侵入式負(fù)荷監(jiān)測(cè)相對(duì)應(yīng)的就是非侵入式負(fù)荷監(jiān)測(cè)，非侵入式負(fù)荷監(jiān)測(cè)最大的優(yōu)點(diǎn)就是只需要監(jiān)測(cè)家庭總線數(shù)據(jù)，通過分析家庭總線的數(shù)據(jù)就可以知道家庭內(nèi)部用電器的狀態(tài)，以達(dá)到監(jiān)測(cè)的目的。非侵入負(fù)荷識(shí)別算法主要分為兩大類：一類是基于事件檢測(cè)的負(fù)荷識(shí)別算法，另一類是非事件檢測(cè)類識(shí)別負(fù)荷算法，這兩類算法中非事件檢測(cè)類算法的整體識(shí)別效果更好。傳統(tǒng)的基于神經(jīng)網(wǎng)絡(luò)的負(fù)荷識(shí)別方法往往使用單一網(wǎng)絡(luò)，對(duì)樣本的特征提取效果不好，網(wǎng)絡(luò)訓(xùn)練時(shí)間較長(zhǎng)。其主要原因是負(fù)荷的使用是有時(shí)序特征的，負(fù)荷之間是有聯(lián)系的，產(chǎn)生了因引入諧波這種維度高信息含量不均衡的特征而導(dǎo)致識(shí)別效果下降的問題。

技術(shù)實(shí)現(xiàn)要素：

為了解決上述問題，本發(fā)明提出了一種基于混合神經(jīng)網(wǎng)絡(luò)和集成學(xué)習(xí)的非侵入式負(fù)荷識(shí)別算法，包括

步驟1、數(shù)據(jù)處理：將公開數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行處理，得到模型的輸入數(shù)據(jù)；時(shí)域數(shù)據(jù)直接獲得，頻域數(shù)據(jù)需要經(jīng)過傅里葉變換獲得；

步驟2、建立混合神經(jīng)網(wǎng)絡(luò)模型：由循環(huán)神經(jīng)網(wǎng)絡(luò)rnn和人工神經(jīng)網(wǎng)絡(luò)ann混合的混合神經(jīng)網(wǎng)絡(luò)hnn；混合神經(jīng)網(wǎng)絡(luò)的模型為輸入層、一層循環(huán)神經(jīng)網(wǎng)絡(luò)、多層人工神經(jīng)網(wǎng)絡(luò)以及輸出層；經(jīng)過訓(xùn)練后，此模型對(duì)輸入的負(fù)荷信息進(jìn)行識(shí)別；

步驟3、訓(xùn)練及測(cè)試混合神經(jīng)網(wǎng)絡(luò)模型：用公開數(shù)據(jù)集中的數(shù)據(jù)對(duì)步驟2中建立好的模型進(jìn)行訓(xùn)練及測(cè)試，獲得初步的識(shí)別結(jié)果，輸出各負(fù)荷識(shí)別結(jié)果；

步驟4、集成學(xué)習(xí)：從總特征集中選擇多個(gè)特征子集訓(xùn)練多個(gè)基分類器，再將多個(gè)基分類器進(jìn)行結(jié)合，以降低方差，提升最終識(shí)別的效果；用投票的方式確定最終負(fù)荷識(shí)別結(jié)果。

所述步驟1中數(shù)據(jù)處理包括

步驟101、采用網(wǎng)上公開的redd數(shù)據(jù)集，redd數(shù)據(jù)集包括6個(gè)家庭的用電數(shù)據(jù)，其中用電數(shù)據(jù)又分為三類：低頻數(shù)據(jù)，高頻數(shù)據(jù)和高頻原始數(shù)據(jù)；對(duì)于低頻數(shù)據(jù)和高頻數(shù)據(jù)并非完全符合期望目標(biāo)，數(shù)據(jù)中存在缺測(cè)、亂序、不合理的情況；對(duì)于亂序數(shù)據(jù)，先對(duì)原始數(shù)據(jù)按時(shí)間戳進(jìn)行排序；排序完成后，剔除數(shù)據(jù)中的異常點(diǎn)，由于低頻數(shù)據(jù)只有兩項(xiàng)即總線視在功率和各用電器視在功率，無法檢測(cè)是否含有異常點(diǎn)，所以僅剔除高頻數(shù)據(jù)中的異常點(diǎn)；所述剔除高頻數(shù)據(jù)異常點(diǎn)的方法為：根據(jù)高頻數(shù)據(jù)的記錄規(guī)則，兩個(gè)時(shí)間戳之差應(yīng)近似等于周期數(shù)乘以1/60，如果兩者值相差較多則認(rèn)為該條數(shù)據(jù)為不合理數(shù)據(jù)，將其舍去；

步驟102、所述算法采用的數(shù)據(jù)主要有兩種類型，分別為時(shí)域數(shù)據(jù)和頻域數(shù)據(jù)，后續(xù)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程也是在數(shù)據(jù)中提取這兩部分的特征；從原始數(shù)據(jù)中就能直接獲得時(shí)域特征，而頻域數(shù)據(jù)需要通過傅里葉變換獲得；對(duì)于負(fù)荷識(shí)別來說，電壓、電流的諧波特征較功率諧波特征對(duì)實(shí)驗(yàn)結(jié)果的提高更為明顯，采用電壓、電流的諧波特征作為頻域特征；為了提取用電器的這種諧波特征，采用非周期性離散信號(hào)離散時(shí)域傅里葉變換進(jìn)行處理；

步驟103、對(duì)經(jīng)步驟2處理后的數(shù)據(jù)進(jìn)行歸一化處理，采取的歸一化方法為線性函數(shù)歸一化，當(dāng)數(shù)據(jù)中某個(gè)值因異常而過大時(shí)會(huì)壓低歸一化后數(shù)據(jù)的整體均值，通過對(duì)各個(gè)維度的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)及畫圖觀察發(fā)現(xiàn)，各個(gè)維度99％的值均小于最大值的80％，在進(jìn)行線性歸一化時(shí)，以最大值的80％替換原最大值。

所述步驟2中建立混合神經(jīng)網(wǎng)絡(luò)模型包括

通過rnn和ann相結(jié)合構(gòu)建混合神經(jīng)網(wǎng)絡(luò)，選取的rnn網(wǎng)絡(luò)為長(zhǎng)短期記憶網(wǎng)絡(luò)lstm；lstm的工作流程為：在t時(shí)刻將外界輸入xt和上一時(shí)刻的輸出yt-1作為新的輸入，輸入到lstm中；lstm先計(jì)算遺忘門forgetgate的值ft，以確定上一時(shí)刻的細(xì)胞狀態(tài)的值ct-1有多少保留到下一時(shí)刻；接下來計(jì)算本次輸入帶來多少新信息再計(jì)算輸入門inputgate的值it，以確定該時(shí)刻有多少新信息被存放在細(xì)胞狀態(tài)中；最后通過計(jì)算輸出門outputgate的值ot，及對(duì)細(xì)胞狀態(tài)進(jìn)行處理，確定最終的輸出結(jié)果yt；具體為：

ft＝σ(wf[yt-1,xt]+bf)

it＝σ(wi[yt-1,xt]+bi)

ot＝σ(wo[yt-1,xt]+bo)

yt＝ot*tanh(ct)

其中，σ為sigmoid激活函數(shù)，tanh為tanh激活函數(shù)；權(quán)重矩陣wf,wi,wo,wc和偏置bf,bi,bo,bc為學(xué)習(xí)參數(shù)；

通過lstm與ann相結(jié)合構(gòu)建混合神經(jīng)網(wǎng)絡(luò)hnn，其中l(wèi)stm層用來負(fù)責(zé)從原始數(shù)據(jù)中提取時(shí)序特征，ann層根據(jù)lstm層傳遞過來的時(shí)序特征進(jìn)行訓(xùn)練，起到分類器的作用；混合網(wǎng)絡(luò)構(gòu)建的方式為：最開始為輸入層，用來接受某一時(shí)間點(diǎn)的輸入特征；輸入層后面接一層lstm層，目的是在輸入特征的基礎(chǔ)上提取時(shí)序特征；在lstm層后接多層傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，起到分類器的作用；最后為輸出層，輸出每個(gè)用電器在該時(shí)間點(diǎn)處于開啟狀態(tài)的概率值，得到輸出后，再對(duì)每個(gè)用電器給予合理的閾值，將輸出概率值離散化為0，1值，得到最終的用電器開關(guān)預(yù)測(cè)結(jié)果；對(duì)于每層網(wǎng)絡(luò)來說，層節(jié)點(diǎn)個(gè)數(shù)不超30，由于lstm比ann的結(jié)構(gòu)復(fù)雜，具有更多的參數(shù)值，同時(shí)訓(xùn)練集的樣本數(shù)有限，為避免過擬合，只用單層lstm。

所述步驟3中訓(xùn)練及測(cè)試混合神經(jīng)網(wǎng)絡(luò)模型包括

將步驟1中處理好的數(shù)據(jù)輸入混合神經(jīng)網(wǎng)絡(luò)模型，在輸入諧波特征數(shù)據(jù)過程中，每一個(gè)模型只輸入一類諧波數(shù)據(jù)，分別為3次、5次、7次諧波，建立三種帶有不同諧波特征輸入的模型，三個(gè)模型分別進(jìn)行訓(xùn)練、測(cè)試，測(cè)試得出的結(jié)果需要在下一步驟中進(jìn)行投票得出最終識(shí)別結(jié)果。

所述步驟4中集成學(xué)習(xí)包括

通過從總特征集中選擇多個(gè)特征子集訓(xùn)練多個(gè)基分類器，再將多個(gè)基分類器進(jìn)行結(jié)合，以降低方差提升最終結(jié)果的效果；初期試驗(yàn)直接將頻域特征引入算法，實(shí)驗(yàn)結(jié)果并沒有得到明顯改善，反而有所下降。進(jìn)一步分析得到，實(shí)驗(yàn)結(jié)果下降是由于得到的頻域特征很多，不當(dāng)?shù)脑肼曁卣鬏斎雽?dǎo)致模型預(yù)測(cè)準(zhǔn)確率的下降。為解決這一問題，本發(fā)明擬借鑒集成學(xué)習(xí)中隨機(jī)森林的思想，通過集成學(xué)習(xí)的方式提高實(shí)驗(yàn)效果。

集成學(xué)習(xí)即通過構(gòu)建并結(jié)合多個(gè)學(xué)習(xí)模型來完成目標(biāo)學(xué)習(xí)任務(wù)；考慮一個(gè)二分類問題y∈{0,1}其真實(shí)目標(biāo)函數(shù)為f，假設(shè)基分類器的錯(cuò)誤率為ε，即對(duì)每個(gè)基分類器hi有p(hi(x)≠f(x))＝ε；

假設(shè)集成通過最常用的投票法將n個(gè)基分類器結(jié)合在一起，且當(dāng)有半數(shù)以上的基分類器正確，則集成分類結(jié)果就正確；隨著集成中個(gè)體分類器數(shù)目n的增大，集成的錯(cuò)誤率將呈指數(shù)級(jí)下降，最終趨近于0；

假設(shè)基分類器的錯(cuò)誤率相互獨(dú)立，則集成的錯(cuò)誤率為

在得到訓(xùn)練數(shù)據(jù)后，由原特征集隨機(jī)生成多個(gè)特征子集，用每個(gè)子特征集單獨(dú)訓(xùn)練一個(gè)混合神經(jīng)網(wǎng)絡(luò)模型，對(duì)于一個(gè)新的樣本點(diǎn)，每個(gè)混合神經(jīng)網(wǎng)絡(luò)模型都有一個(gè)輸出與之對(duì)應(yīng)，由所有輸出采用投票的方式得到最終的結(jié)果。

由原特征集產(chǎn)生多個(gè)特征子集的過程中，每個(gè)特征子集均與原特征集共有相同的時(shí)域特征，僅在頻域特征上進(jìn)行特征的隨機(jī)選擇，同時(shí)特征子集需滿足以下條件：(1)特征子集的并集為總特征集；(2)特征子集包含的頻域特征應(yīng)均勻，不應(yīng)該出現(xiàn)某一頻域特征在大多數(shù)特征子集中均出現(xiàn)，而某些頻域特征從未在任何特征子集中出現(xiàn)的情況，如不滿足上述條件則重新?lián)Q分特征子集。

有益效果

與傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)(ann)的識(shí)別結(jié)果、主要的算法性能評(píng)價(jià)指標(biāo)準(zhǔn)確率、精度、召回率等以及訓(xùn)練測(cè)試時(shí)間對(duì)比，結(jié)果顯示在各類評(píng)價(jià)指標(biāo)上本發(fā)明的混合神經(jīng)網(wǎng)絡(luò)加集成學(xué)習(xí)的方法均高于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，在訓(xùn)練以及測(cè)試時(shí)間上高于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)。本發(fā)明還提出了一種基于集成學(xué)習(xí)思想的方法，通過從總特征集中選擇多個(gè)特征子集訓(xùn)練多個(gè)基分類器，再將多個(gè)基分類器進(jìn)行結(jié)合，以降低方差并提升最終結(jié)果的識(shí)別效果，成功解決了引入諧波特征對(duì)識(shí)別效果產(chǎn)生不良影響的問題。

附圖說明

圖1為本發(fā)明示意圖。

圖2為本發(fā)明lstm網(wǎng)絡(luò)示意圖。

圖3為本發(fā)明混合網(wǎng)絡(luò)示意圖。

圖4為本發(fā)明集成學(xué)習(xí)思想示意圖。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步的說明。

圖1為本發(fā)明示意圖。參照?qǐng)D1所示，首先對(duì)需要進(jìn)行識(shí)別的用戶數(shù)據(jù)進(jìn)行處理，數(shù)據(jù)來源為redd數(shù)據(jù)集中house_3的數(shù)據(jù)。處理完成后獲得電壓、電流、功率等時(shí)域數(shù)據(jù)。然后通過非周期性離散信號(hào)離散時(shí)域傅里葉變換對(duì)數(shù)據(jù)進(jìn)行處理，得到電壓、電流的3、5、7次諧波特征，此為頻域數(shù)據(jù)。接下來對(duì)數(shù)據(jù)進(jìn)行歸一化處理，歸一化方法為線性函數(shù)歸一化。將處理好的數(shù)據(jù)輸入到由循環(huán)神經(jīng)網(wǎng)絡(luò)(rnn)以及人工神經(jīng)網(wǎng)絡(luò)(ann)混合而成的混合神經(jīng)網(wǎng)絡(luò)中，訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)會(huì)輸出各用電器的開關(guān)狀態(tài)。在建立混合神經(jīng)網(wǎng)絡(luò)模型的時(shí)候，輸入的時(shí)域數(shù)據(jù)相同，但頻域數(shù)據(jù)分別為3、5、7次諧波，因此就建立了3個(gè)不同的混合網(wǎng)絡(luò)模型。在最終進(jìn)行負(fù)荷預(yù)測(cè)時(shí)，將數(shù)據(jù)分別輸入三個(gè)不同的模型，將得到三種不同的結(jié)果。然后借助隨機(jī)森林思想，從總特征集中選擇多個(gè)特征子集訓(xùn)練多個(gè)基分類器，再將多個(gè)基分類器進(jìn)行結(jié)合，以降低方差提升最終結(jié)果的效果。對(duì)三個(gè)模型的輸出結(jié)果進(jìn)行投票，最后得出識(shí)別結(jié)果。具體實(shí)現(xiàn)步驟如下：

步驟一：數(shù)據(jù)處理

本發(fā)明采用的數(shù)據(jù)集為網(wǎng)上公開redd數(shù)據(jù)集，redd數(shù)據(jù)集包括6個(gè)家庭的用電數(shù)據(jù)，其中用電數(shù)據(jù)又分為三類：低頻數(shù)據(jù)，高頻數(shù)據(jù)和高頻原始數(shù)據(jù)。對(duì)于低頻數(shù)據(jù)和高頻數(shù)據(jù)，由于監(jiān)測(cè)儀器的故障等原因，使得所得到的數(shù)據(jù)并非完全符合期望目標(biāo)，數(shù)據(jù)中存在缺測(cè)、亂序、不合理的情況。對(duì)于亂序數(shù)據(jù)，先對(duì)原始數(shù)據(jù)按時(shí)間戳進(jìn)行排序。排序完成后，剔除數(shù)據(jù)中的異常點(diǎn)，由于低頻數(shù)據(jù)只有兩項(xiàng)(總線視在功率、各用電器視在功率)，無法檢測(cè)是否含有異常點(diǎn)，所以僅剔除高頻數(shù)據(jù)中的異常點(diǎn)。剔除高頻數(shù)據(jù)異常點(diǎn)的方法如下：根據(jù)高頻數(shù)據(jù)的記錄規(guī)則，兩個(gè)時(shí)間戳之差應(yīng)近似等于周期數(shù)乘以1/60，如果兩者值相差較多則認(rèn)為該條數(shù)據(jù)為不合理數(shù)據(jù)，將其舍去。本發(fā)明中所采用的數(shù)據(jù)主要有兩種類型，分別為時(shí)域數(shù)據(jù)和頻域數(shù)據(jù)，后續(xù)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程也是在數(shù)據(jù)中提取這兩部分的特征。從原始數(shù)據(jù)中就能直接獲得時(shí)域特征，如電壓、電流、功率。而頻域數(shù)據(jù)需要通過傅里葉變換獲得。

對(duì)于負(fù)荷識(shí)別來說，電壓、電流的諧波特征較功率諧波特征對(duì)實(shí)驗(yàn)結(jié)果的提高更為明顯，所以本實(shí)驗(yàn)中采用電壓、電流的諧波特征作為頻域特征。為了提取用電器的這種諧波特征，本發(fā)明采用非周期性離散信號(hào)離散時(shí)域傅里葉變換進(jìn)行處理，快速傅里葉變換(fft)是其中效率較高的一種算法。快速傅里葉變換的公式為

其中x(n)為有限長(zhǎng)離散信號(hào)，x(k)為變換到頻域的結(jié)果。

經(jīng)過以上處理后，還需對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行歸一化處理，本發(fā)明實(shí)驗(yàn)中采取的歸一化方法為線性函數(shù)歸一化，該歸一化方法的結(jié)果會(huì)受最大、最小值的影響。當(dāng)數(shù)據(jù)中某個(gè)值因異常而過大時(shí)會(huì)壓低歸一化后數(shù)據(jù)的整體均值。通過對(duì)各個(gè)維度的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)及畫圖觀察可以發(fā)現(xiàn)，各個(gè)維度99％的值均小于最大值的80％，所以這里在進(jìn)行線性歸一化時(shí)，以最大值的80％替換原公式中的最大值。

步驟二：建立混合神經(jīng)網(wǎng)絡(luò)模型

本發(fā)明通過rnn和ann相結(jié)合構(gòu)建混合神經(jīng)網(wǎng)絡(luò)，選取的rnn網(wǎng)絡(luò)為長(zhǎng)短期記憶網(wǎng)絡(luò)(lstm)。lstm是rnn諸多形式中的一種，也是rnn中效果最好的一種。而與大多數(shù)rnn不同的是，lstm的記憶性非常強(qiáng)，記憶能力遠(yuǎn)高于其它rnn結(jié)構(gòu)。lstm結(jié)構(gòu)如圖2所示，最上層為lstm的核心，是lstm記憶性的體現(xiàn)，用來記錄過去的信息，為細(xì)胞狀態(tài)值c。lstm的工作流程如下：在t時(shí)刻將本時(shí)刻的外界輸入xt和上一時(shí)刻的輸出yt-1作為新的輸入，輸入到lstm中。lstm先計(jì)算forgetgate的值ft，以確定上一時(shí)刻的細(xì)胞狀態(tài)的值ct-1有多少保留到下一時(shí)刻。接下來計(jì)算本次輸入帶來多少新信息再計(jì)算inputgate的值it，以確定該時(shí)刻有多少新信息被存放在細(xì)胞狀態(tài)中。最后通過計(jì)算outputgate的值ot，及對(duì)細(xì)胞狀態(tài)進(jìn)行處理，確定最終的輸出結(jié)果yt。具體計(jì)算方法如下：

ft＝σ(wf[yt-1,xt]+bf)

it＝σ(wi[yt-1,xt]+bi)

ot＝σ(wo[yt-1,xt]+bo)

yt＝ot*tanh(ct)

其中σ為sigmoid激活函數(shù)，tanh為tanh激活函數(shù)。權(quán)重矩陣wf,wi,wo,wc和偏置bf,bi,bo,bc為學(xué)習(xí)參數(shù)。

人工神經(jīng)網(wǎng)絡(luò)(ann)是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行信息處理的數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)方面的研究很早以前就已經(jīng)出現(xiàn)了，經(jīng)過長(zhǎng)時(shí)間的發(fā)展與完善，到今天為止廣泛應(yīng)用于各個(gè)領(lǐng)域解決各種各樣的實(shí)際問題。神經(jīng)網(wǎng)絡(luò)模型是參照人體大腦中神經(jīng)細(xì)胞的工作機(jī)制而建立的。神經(jīng)網(wǎng)絡(luò)模型就是將許多個(gè)單一神經(jīng)元聯(lián)結(jié)在一起，這樣一個(gè)神經(jīng)元的輸出就可以是另一個(gè)神經(jīng)元的輸入。神經(jīng)網(wǎng)絡(luò)最左邊的一層叫做輸入層，最右的一層叫做輸出層。中間所有節(jié)點(diǎn)組成的一層叫做隱藏層，將中間節(jié)點(diǎn)稱為隱藏層的原因是觀察者不能在訓(xùn)練樣本集中觀測(cè)到它們的值。用n來表示網(wǎng)絡(luò)的導(dǎo)數(shù)，假設(shè)n＝3，將第l層記為ll，于是l1就為輸入層，輸出層是l3。本發(fā)明的神經(jīng)網(wǎng)絡(luò)有參數(shù)(w,b)＝(w⁽¹⁾,b⁽¹⁾,w⁽²⁾,b⁽²⁾)，其中是第l層第j單元與第l+1層第i單元之間的聯(lián)接參數(shù)(也就是連接線上的權(quán)重)，是第l+1層第i單元的偏軒項(xiàng)。因此在本例中w⁽¹⁾∈r^3*3，w⁽²⁾∈r^3*3。這里需要注意的是，沒有其他單元作為偏置單元的輸入，偏置單元的值恒為+1，計(jì)算某一層節(jié)點(diǎn)數(shù)是不將偏置單元考慮在內(nèi)。

用表示第l層第i單元的輸出值。當(dāng)l＝1時(shí)，也就是第i個(gè)輸入值。對(duì)于給定參數(shù)集合w和b，神經(jīng)網(wǎng)絡(luò)就可以按照函數(shù)hw,b(x)來計(jì)算輸出結(jié)果。以有三個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)為例，神經(jīng)網(wǎng)絡(luò)的計(jì)算步驟如下：

用表示第l層第i單元輸入加權(quán)和(包括偏置單元)：

則

這樣就可以得到一種更簡(jiǎn)潔的表示法。這里將激活函數(shù)f(i)擴(kuò)展為用向量來表示，即f([z1,z2,z3])＝[f(z1),f(z2),f(z3)]，那么，上面的等式可以更簡(jiǎn)潔地表示為：

z⁽²⁾＝w⁽¹⁾x+b⁽¹⁾

a⁽²⁾＝f(z⁽²⁾)

z⁽³⁾＝w⁽²⁾a⁽²⁾+b⁽²⁾

hw,b(x)＝a⁽³⁾＝f(z⁽³⁾)

通過lstm與ann相結(jié)合構(gòu)建混合神經(jīng)網(wǎng)絡(luò)(hnn)，其中l(wèi)stm層用來負(fù)責(zé)從原始數(shù)據(jù)中提取時(shí)序特征，ann層根據(jù)lstm層傳遞過來的時(shí)序特征進(jìn)行訓(xùn)練，起到分類器的作用。應(yīng)用lstm進(jìn)行特征提取的優(yōu)點(diǎn)在于，lstm的記憶長(zhǎng)度會(huì)根據(jù)實(shí)際情況不斷調(diào)整，使得特征識(shí)別的范圍越來越精確，獲得更為有效的特征?；旌暇W(wǎng)絡(luò)構(gòu)建的方式如下：最開始為輸入層，用來接受某一時(shí)間點(diǎn)的輸入特征；輸入層后面接一層lstm層，目的是在輸入特征的基礎(chǔ)上提取時(shí)序特征；在lstm層后接多層傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，起到分類器的作用；最后為輸出層，輸出每個(gè)用電器在該時(shí)間點(diǎn)處于開啟狀態(tài)的概率值，示意圖如圖3。得到輸出后，再對(duì)每個(gè)用電器給予合理的閾值，將輸出概率值離散化為0，1值，得到最終的用電器開關(guān)預(yù)測(cè)結(jié)果。在本文的實(shí)驗(yàn)中，對(duì)于每層網(wǎng)絡(luò)來說，層節(jié)點(diǎn)個(gè)數(shù)不超30即可取得較好的結(jié)果，由于lstm比ann的結(jié)構(gòu)復(fù)雜，具有更多的參數(shù)值，同時(shí)訓(xùn)練集的樣本數(shù)有限，為避免過擬合，實(shí)驗(yàn)中只用單層lstm。

步驟三：混合神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練及測(cè)試

本發(fā)明的實(shí)驗(yàn)環(huán)境為linux環(huán)境，cpu為i7-930，主頻2.8ghz，顯卡為gtxtitanx，內(nèi)存16g，混合網(wǎng)絡(luò)的實(shí)現(xiàn)應(yīng)用keras深度學(xué)習(xí)框架，keras的backend為theano。將處理好的數(shù)據(jù)輸入混合神經(jīng)網(wǎng)絡(luò)模型。在輸入諧波特征數(shù)據(jù)過程中，每一個(gè)模型只輸入一類諧波數(shù)據(jù)，分別為3次、5次、7次諧波，這樣就建立了三種帶有不同諧波特征輸入的模型，三個(gè)模型分別進(jìn)行訓(xùn)練、測(cè)試，測(cè)試得出的結(jié)果需要在下一步驟中進(jìn)行投票得出最終識(shí)別結(jié)果。

步驟四：集成學(xué)習(xí)

在前期實(shí)驗(yàn)中得知，當(dāng)把諧波數(shù)據(jù)直接作為輸入引入到混合神經(jīng)網(wǎng)絡(luò)中的識(shí)別結(jié)果并不好，由于得到的頻域特征很多，不當(dāng)?shù)脑肼曁卣鬏斎雽?dǎo)致模型預(yù)測(cè)準(zhǔn)確率的下降，為解決這一問題，本發(fā)明擬借鑒集成學(xué)習(xí)中隨機(jī)森林的思想，通過集成學(xué)習(xí)的方式提高實(shí)驗(yàn)效果。

對(duì)于集成學(xué)習(xí)來說，分為bagging和boosting兩大類。這兩類的重點(diǎn)又在于降低偏差與方差。所以在選擇集成學(xué)習(xí)方法之前，應(yīng)先弄清楚較差實(shí)驗(yàn)效果的由偏差過高還是由方差過高引起的。通過分析訓(xùn)練集準(zhǔn)確率隨時(shí)間的變化可知，訓(xùn)練集準(zhǔn)確率隨著時(shí)間增長(zhǎng)而收斂，說明對(duì)于訓(xùn)練集來說模型已經(jīng)充分訓(xùn)練并收斂。當(dāng)模型已經(jīng)充分訓(xùn)練時(shí)，對(duì)模型泛化誤差的影響主要來源于方差，所以為了降低方差，集成學(xué)習(xí)算法應(yīng)采用bagging或隨機(jī)森林。由于本實(shí)驗(yàn)要從連續(xù)的時(shí)間區(qū)段中提取時(shí)域特征，所以不能應(yīng)用自助采樣法，也就不能使用bagging。從其它相關(guān)文獻(xiàn)中了解到，頻域特征在負(fù)荷識(shí)別算法中是一類很重要的特征，但直接將所有波段的頻域特征全都輸入模型中的實(shí)驗(yàn)結(jié)果反而較差。本文借鑒了隨機(jī)森林算法，通過從總特征集中選擇多個(gè)特征子集訓(xùn)練多個(gè)基分類器，再將多個(gè)基分類器進(jìn)行結(jié)合，以降低方差提升最終結(jié)果的效果。

基于混合神經(jīng)網(wǎng)絡(luò)模型的集成學(xué)習(xí)方法總體結(jié)構(gòu)和流程如圖4所示，在得到訓(xùn)練數(shù)據(jù)后，由原特征集隨機(jī)生成多個(gè)特征子集，用每個(gè)子特征集單獨(dú)訓(xùn)練一個(gè)混合神經(jīng)網(wǎng)絡(luò)模型。對(duì)于一個(gè)新的樣本點(diǎn)，每個(gè)混合神經(jīng)網(wǎng)絡(luò)模型都有一個(gè)輸出與之對(duì)應(yīng)，由所有輸出采用投票的方式得到最終的結(jié)果。

實(shí)驗(yàn)中構(gòu)建8個(gè)分類器，每個(gè)分類器除包含時(shí)域特征：電壓、電流、功率外，另隨機(jī)從頻域特征中選取3個(gè)諧波幅值作為輸入，訓(xùn)練基分類器。實(shí)驗(yàn)結(jié)果如下：

表1集成分類器和時(shí)頻特征的結(jié)果

表2訓(xùn)練測(cè)試時(shí)間表

表3評(píng)價(jià)指標(biāo)符號(hào)參考表

查準(zhǔn)率p、查全率r與f1值分別定義為：

由于查準(zhǔn)率和查全率會(huì)出現(xiàn)矛盾的情況，這時(shí)就需要綜合考慮它們，最常見的方法就是f-measure，當(dāng)時(shí)就是最常見的f1值。f1值是查準(zhǔn)率與查全率的調(diào)和平均，調(diào)和平均更重視較小值。

由結(jié)果可知本發(fā)明所提出的基于混合神經(jīng)網(wǎng)絡(luò)和集成學(xué)習(xí)的非侵入式負(fù)荷識(shí)別算法對(duì)非侵入式負(fù)荷識(shí)別有較好的結(jié)果。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比，雖然算法的執(zhí)行時(shí)間稍長(zhǎng)，但各類評(píng)價(jià)指標(biāo)都高于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)。此算法在現(xiàn)實(shí)生產(chǎn)生活中有很高的價(jià)值。