基于MapReduce的電力數(shù)據(jù)并行化異常檢測方法
【專利摘要】本發(fā)明涉及一種基于MapReduce的電力數(shù)據(jù)并行化異常檢測方法，包括如下步驟：1、電網(wǎng)公司根據(jù)采集系統(tǒng)運行特點及以往專家歷史經(jīng)驗，定義電力數(shù)據(jù)異常特征，并以此建立異常檢測算法；2、建立集群計算模型；3、待處理數(shù)據(jù)到來時，該集群計算模型的Master節(jié)點啟動數(shù)據(jù)異常檢測任務,并把計算任務相對均勻的分發(fā)到各Slave節(jié)點；4、各個Slave節(jié)點根據(jù)Master節(jié)點分配的任務并依據(jù)步驟S01中建立的異常檢測算法進行異常檢測計算；5、Master節(jié)點根據(jù)各Slave節(jié)點的計算輸出異常數(shù)據(jù)。本發(fā)明可解決在海量電力數(shù)據(jù)背景下現(xiàn)有技術(shù)計算分析效率低的問題，為提高電網(wǎng)的效率和減少損失提供有力的保障。
【專利說明】基于MapReduce的電力數(shù)據(jù)并行化異常檢測方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及海量數(shù)據(jù)處理技術(shù)，特別是涉及了基于MapReduce計算模型的電力數(shù)據(jù)并行化的異常檢測方法。
【背景技術(shù)】
[0002]電網(wǎng)公司需要對計量裝置運行狀態(tài)和用戶用電負荷、電量、電壓等信息進行實時采集，由于電能計量裝置運行過程中，不可避免受到各種因素的影響，電網(wǎng)系統(tǒng)及其采集系統(tǒng)中會出現(xiàn)電能計量裝置故障、配電網(wǎng)異常、計量裝置接線錯誤以及采集系統(tǒng)檔案數(shù)據(jù)錯誤等問題，這些問題將影響電網(wǎng)的安全穩(wěn)定運行和用電數(shù)據(jù)的準確采集。針對于電網(wǎng)系統(tǒng)中出現(xiàn)的計量異常情況，如果電力數(shù)據(jù)中心能夠及時的分析海量的采集數(shù)據(jù)，發(fā)現(xiàn)異常的數(shù)據(jù)，并實時的把診斷出的相關(guān)異常數(shù)據(jù)特征反饋到相應的診斷異常原因分析模塊中分析異常原因，這樣可以提高采集系統(tǒng)的應用效果。給出維護建議，能大幅度提高工作效率，減少人工工作量，降低管理成本，產(chǎn)生顯著的經(jīng)濟和社會效益。
[0003]目前，基于海量電力數(shù)據(jù)的異常檢測分析方法主要依靠傳統(tǒng)的數(shù)據(jù)量較小的串行異常檢測算法，不能夠?qū)崟r的檢測到現(xiàn)階段海量電力數(shù)據(jù)出現(xiàn)的異常情況。開發(fā)海量電力數(shù)據(jù)背景下的異常數(shù)據(jù)分析系統(tǒng)迫在眉睫。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種基于MapReduce計算模型的電力數(shù)據(jù)并行化的異常檢測方法，能解決在海量電力數(shù)據(jù)背景下現(xiàn)有技術(shù)計算分析效率低的問題，為提高電網(wǎng)的效率和減少損失提供有力的保障。
[0005]本發(fā)明采用以下方案實現(xiàn):一種基于MapReduce的電力數(shù)據(jù)并行化異常檢測方法，其特征在于包括如下步驟:
步驟SOl:電網(wǎng)公司根據(jù)采集系統(tǒng)運行特點及以往專家歷史經(jīng)驗，定義電力數(shù)據(jù)異常特征，并以此建立異常檢測算法；
步驟S02:建立集群計算模型；
步驟S03:待處理數(shù)據(jù)到來時，該集群計算模型的Master節(jié)點啟動數(shù)據(jù)異常檢測任務，并把計算任務相對均勻的分發(fā)到各Slave節(jié)點；
步驟S04:各個Slave節(jié)點根據(jù)Master節(jié)點分配的任務并依據(jù)步驟SOl中建立的異常檢測算法進行異常檢測計算；
步驟S05:Master節(jié)點根據(jù)各Slave節(jié)點的計算輸出異常數(shù)據(jù)。
[0006]在本發(fā)明一實施例中,所述集群計算模型擁有一個Master節(jié)點和若干個Slave工作節(jié)點，其中Slave節(jié)點個數(shù)能根據(jù)處理問題的規(guī)模進行動態(tài)擴展。
[0007]在本發(fā)明一實施例中，所述Master管理節(jié)點，用于調(diào)度和管理其他的Slave節(jié)點，Master管理節(jié)點負責把任務分發(fā)給各個空閑的Slave節(jié)點，讓這些任務并行的運行，并負責監(jiān)控任務的執(zhí)行情況；所述Slave工作節(jié)點，用于負責具體的任務計算工作，根據(jù)接收的Master分發(fā)的數(shù)據(jù)進行異常數(shù)據(jù)監(jiān)測計算，并接受Master節(jié)點的管理和調(diào)度。
[0008]本發(fā)明實現(xiàn)的基于MapReduce計算模型的電力數(shù)據(jù)并行化的異常檢測方法，通過采用MapReduce計算模型的開源實現(xiàn)Hadoop平臺構(gòu)建電網(wǎng)數(shù)據(jù)中心,采用MapReduce并行計算模型對電力海量數(shù)據(jù)進行實時的異常分析，為電網(wǎng)整個系統(tǒng)健康穩(wěn)定的運營提供有力保障。例如，電網(wǎng)公司全省擁有800萬個電力數(shù)據(jù)采集點，每15分鐘就需要對整個采集點的數(shù)據(jù)進行匯總和數(shù)據(jù)分析，如果采用傳統(tǒng)的串行計算方法需要幾個小時的計算時間，現(xiàn)在我們采用基于MapReduce并行計算模式可以把數(shù)據(jù)分析的時間縮短為幾分鐘之內(nèi)。速度提高了百倍以上，可解決在海量電力數(shù)據(jù)背景下現(xiàn)有技術(shù)計算分析效率低的問題，為提高電網(wǎng)的效率和減少損失提供有力的保障。
【專利附圖】

【附圖說明】
[0009]圖1是本發(fā)明方法流程不意圖。
[0010]圖2是本發(fā)明實施例的方法的執(zhí)行流程圖；
圖3示出了基于MapReduce計算模型的電力數(shù)據(jù)并行化的異常檢測系統(tǒng)總體架構(gòu)。
【具體實施方式】
[0011]以下結(jié)合【專利附圖】

【附圖說明】對本發(fā)明的實施例作進一步詳細描述，但本實施例并不用于限制本發(fā)明，凡是采用本發(fā)明的相似結(jié)構(gòu)及其相似變化，均應列入本發(fā)明的保護范圍。
[0012]如圖1所示，本實施例提供一種基于MapReduce的電力數(shù)據(jù)并行化異常檢測方法，其特征在于包括如下步驟:
步驟SOl:電網(wǎng)公司根據(jù)采集系統(tǒng)運行特點及以往專家歷史經(jīng)驗，定義電力數(shù)據(jù)異常特征，并以此建立異常檢測算法；
步驟S02:建立集群計算模型；
步驟S03:待處理數(shù)據(jù)到來時，該集群計算模型的Master節(jié)點啟動數(shù)據(jù)異常檢測任務，并把計算任務相對均勻的分發(fā)到各Slave節(jié)點；
步驟S04:各個Slave節(jié)點根據(jù)Master節(jié)點分配的任務并依據(jù)步驟SOl中建立的異常檢測算法進行異常檢測計算；
步驟S05:Master節(jié)點根據(jù)各Slave節(jié)點的計算輸出異常數(shù)據(jù)。
[0013]具體的，請參見圖2，圖2是本發(fā)明實施例的方法的執(zhí)行流程圖；本實例提供了一種用于海量電力數(shù)據(jù)并行化的異常檢測方法的流程圖，包括如下步驟:
電網(wǎng)公司根據(jù)采集系統(tǒng)運行特點及以往專家歷史經(jīng)驗，定義電力數(shù)據(jù)異常特征，并以此建立異常檢測算法；
電力異常數(shù)據(jù)，是指在電力用戶用電信息采集系統(tǒng)中，由于電網(wǎng)系統(tǒng)及其采集系統(tǒng)中會出現(xiàn)電能計量裝置故障、配電網(wǎng)異常、計量裝置接線錯誤以及采集系統(tǒng)檔案數(shù)據(jù)錯誤等問題，電網(wǎng)公司可以根據(jù)采集系統(tǒng)特點以及以往專家歷史經(jīng)驗建立異常分析算法，異常算法檢測到的數(shù)據(jù)確定為異常的數(shù)據(jù)。
[0014]建立集群計算模型，它擁有一個Master管理節(jié)點和若干個Slave工作節(jié)點，其中Slave節(jié)點個數(shù)可以根據(jù)處理問題的規(guī)模進行動態(tài)擴展；
根據(jù)我們的模型我們可以構(gòu)建一個分布式系統(tǒng)架構(gòu)的集群系統(tǒng)，關(guān)于這方面的集群構(gòu)建我們可以參照Apache基金會的開源項目Hadoop,以此搭建自己的電力數(shù)據(jù)中心。我們采用分布式存儲技術(shù)(HDFS)，集群中的節(jié)點有一個Master節(jié)點和多個Slave節(jié)點組成，如圖3所示。其中Master節(jié)點是中心服務器，負責管理和任務調(diào)度工作，集群中的Slave節(jié)點有多個，它們負責實際的數(shù)據(jù)存儲以及任務計算工作。
[0015]待處理數(shù)據(jù)到來時，Master節(jié)點啟動異常檢測任務，并把計算任務相對均勻的分發(fā)到各Slave節(jié)點；
待處理的數(shù)據(jù)到達時，Master節(jié)點根據(jù)MapReduce計算模型對整個任務負責控制和調(diào)度，Master節(jié)點根據(jù)任務大小相對均勻的把計算任務分配給Slave工作節(jié)點(如圖2所示Splits過程)，Slave工作節(jié)點負責并行執(zhí)行任務,并把返回進度報告給Master節(jié)點。Master節(jié)點會記錄進度的進行狀況,如果某個Slave節(jié)點上的任務執(zhí)行失敗,那么Master節(jié)點會把這個任務分配給另一個Slave節(jié)點,直到任務完成。
[0016]各個Slave節(jié)點根據(jù)Master節(jié)點分配的任務并依據(jù)(I)中建立的異常檢測算法進行異常檢測計算；
根據(jù)MapReduce計算模型,MapReduce在執(zhí)行任務時分成Map Task和Reduce Task來處理的，在Map階段Map Task首先會從我們之前構(gòu)建的分布式存儲系統(tǒng)中根據(jù)Master分配的任務指定的位置讀取數(shù)據(jù)(可以是HBase)，然后按照我們在(I)中設定的異常數(shù)據(jù)監(jiān)測算法處理數(shù)據(jù)，最后把處理后得到的異常數(shù)據(jù)寫入本地磁盤。
[0017]Master節(jié)點根據(jù)各Slave節(jié)點的計算輸出異常數(shù)據(jù)；
當各個Slave計算節(jié)點完成了各自的任務后，我們需要根據(jù)Slave完成的Map Task的輸出結(jié)果進行Reduce Task, Reduce階段我們只是簡單的對Map檢測到的異常數(shù)據(jù)進行匯總，如圖2 Reduce合并階段。最后Master節(jié)點根據(jù)匯總的異常數(shù)據(jù)進行異常原因分析等工作并把相應的結(jié)果展示給電網(wǎng)管理員，以便電網(wǎng)工作人員及時的了解電網(wǎng)中的異常點并及時的進行修復減少電網(wǎng)損失。
[0018]以上所述僅為本發(fā)明的較佳實施例，凡依本發(fā)明申請專利范圍所做的均等變化與修飾，皆應屬本發(fā)明的涵蓋范圍。
【權(quán)利要求】
1.一種基于MapReduce的電力數(shù)據(jù)并行化異常檢測方法，其特征在于包括如下步驟: 步驟SOl:電網(wǎng)公司根據(jù)采集系統(tǒng)運行特點及以往專家歷史經(jīng)驗，定義電力數(shù)據(jù)異常特征，并以此建立異常檢測算法； 步驟S02:建立集群計算模型； 步驟S03:待處理數(shù)據(jù)到來時，該集群計算模型的Master節(jié)點啟動數(shù)據(jù)異常檢測任務，并把計算任務相對均勻的分發(fā)到各Slave節(jié)點； 步驟S04:各個Slave節(jié)點根據(jù)Master節(jié)點分配的任務并依據(jù)步驟SOl中建立的異常檢測算法進行異常檢測計算； 步驟S05:Master節(jié)點根據(jù)各Slave節(jié)點的計算輸出異常數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的基于MapReduce的電力數(shù)據(jù)并行化異常檢測方法，其特征在于:所述集群計算模型擁有一個Master節(jié)點和若干個Slave工作節(jié)點,其中Slave節(jié)點個數(shù)能根據(jù)處理問題的規(guī)模進行動態(tài)擴展。
3.根據(jù)權(quán)利要求2所述的基于MapReduce的電力數(shù)據(jù)并行化異常檢測方法，其特征在于:所述Master管理節(jié)點，用于調(diào)度和管理其他的Slave節(jié)點，Master管理節(jié)點負責把任務分發(fā)給各個空閑的Slave節(jié)點，讓這些任務并行的運行，并負責監(jiān)控任務的執(zhí)行情況；所述Slave工作節(jié)點，用于負責具體的任務計算工作，根據(jù)接收的Master分發(fā)的數(shù)據(jù)進行異常數(shù)據(jù)監(jiān)測計算，并接受Master節(jié)點的管理和調(diào)度。
【文檔編號】G06Q50/06GK103761685SQ201410031547
【公開日】2014年4月30日 申請日期:2014年1月23日 優(yōu)先權(quán)日:2014年1月23日
【發(fā)明者】許元斌, 鄒保平, 鐘小強, 黃婷, 上官霞, 高琛, 董雨, 李春生, 陳益信 申請人:國家電網(wǎng)公司, 國網(wǎng)福建省電力有限公司, 國網(wǎng)福建省電力有限公司電力科學研究院, 國網(wǎng)信通億力科技有限責任公司, 中國科學技術(shù)大學