本發(fā)明涉及大數(shù)據(jù)協(xié)同治理，尤其涉及一種面向應(yīng)用的電網(wǎng)電力數(shù)據(jù)匯集方法及系統(tǒng)。

背景技術(shù)：

1、近年來，電力領(lǐng)域信息化、智能化水平發(fā)展迅速，各類信息系統(tǒng)產(chǎn)生了海量的多源異構(gòu)數(shù)據(jù)，這些數(shù)據(jù)對電網(wǎng)安全狀態(tài)感知、設(shè)備故障診斷、電力生產(chǎn)與負荷預(yù)測、電網(wǎng)智能化調(diào)度等方面提供了強有力的數(shù)據(jù)支撐。但是，如何打通各類信息系統(tǒng)的信息壁壘，有效地對上述海量數(shù)據(jù)進行治理，最大化利用數(shù)據(jù)自身的價值，是電力領(lǐng)域需要持續(xù)研究的課題。

2、在電力系統(tǒng)中，通常分為國調(diào)、網(wǎng)調(diào)、省調(diào)（省電網(wǎng)）、地調(diào)（地市電網(wǎng)）、縣調(diào)（縣級電網(wǎng)）多個層級，其中，地縣兩級電網(wǎng)通常與變電站自動化系統(tǒng)數(shù)據(jù)連通，省級電網(wǎng)是數(shù)據(jù)分析與應(yīng)用的前沿陣地，同時為了便于描述和理解，本發(fā)明在省地縣三級實現(xiàn)電網(wǎng)大數(shù)據(jù)的協(xié)同治理。

技術(shù)實現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)的缺點，本發(fā)明提供了一種面向應(yīng)用的電網(wǎng)電力數(shù)據(jù)匯集方法及系統(tǒng)，在縣調(diào)中心通過統(tǒng)一數(shù)據(jù)邏輯模型對采集的數(shù)據(jù)進行規(guī)范，在地調(diào)中心使用數(shù)據(jù)匯集模型對各類信息數(shù)據(jù)進行關(guān)聯(lián)和維度擴充，在省調(diào)中心根據(jù)數(shù)據(jù)特點和業(yè)務(wù)需求適配數(shù)據(jù)存儲系統(tǒng)和業(yè)務(wù)應(yīng)用開發(fā)，實現(xiàn)電網(wǎng)大數(shù)據(jù)的省地縣三級協(xié)同治理，保障了數(shù)據(jù)完整性和準確性，提升了數(shù)據(jù)質(zhì)量，數(shù)據(jù)匯集模型具備擴展性和面向業(yè)務(wù)的優(yōu)點，并根據(jù)數(shù)據(jù)特點和應(yīng)用需求提供高效存儲，為實現(xiàn)電網(wǎng)智能化管理提供了數(shù)據(jù)支撐。

2、第一個方面，本發(fā)明公開了一種面向應(yīng)用的電網(wǎng)電力數(shù)據(jù)匯集方法，包括以下步驟：

3、步驟s101：縣級電網(wǎng)調(diào)度控制中心依據(jù)統(tǒng)一數(shù)據(jù)邏輯模型對多個數(shù)據(jù)源進行數(shù)據(jù)采集；所述統(tǒng)一數(shù)據(jù)邏輯模型包括位置信息維度、設(shè)備信息維度、數(shù)據(jù)描述維度和量測信息維度；其中，所述數(shù)據(jù)描述維度包括，數(shù)據(jù)采集時間戳和數(shù)據(jù)采集頻率；

4、步驟s102：地市電網(wǎng)調(diào)度控制中心對縣級電網(wǎng)調(diào)度控制中心上傳的數(shù)據(jù)先進行數(shù)據(jù)預(yù)處理，然后依據(jù)數(shù)據(jù)匯集模型對預(yù)處理后的數(shù)據(jù)進行匯集，形成匯集文件；所述數(shù)據(jù)預(yù)處理包括數(shù)據(jù)完整性校驗、缺失數(shù)據(jù)處理、噪聲數(shù)據(jù)處理；所述數(shù)據(jù)匯集模型包括故障診斷數(shù)據(jù)匯集模型、電力負荷預(yù)測數(shù)據(jù)匯集模型、電網(wǎng)安全狀態(tài)數(shù)據(jù)匯集模型；

5、步驟s103：省電網(wǎng)調(diào)度控制中心獲取地市電網(wǎng)調(diào)度控制中心上傳的匯集文件，根據(jù)數(shù)據(jù)中的匯集文件信息，查詢映射配置文件獲得存儲系統(tǒng)信息，將上傳的數(shù)據(jù)存儲到相應(yīng)存儲系統(tǒng)；所述映射配置文件包含匯集文件信息與存儲系統(tǒng)的對應(yīng)關(guān)系。

6、優(yōu)選地，所述統(tǒng)一數(shù)據(jù)邏輯模型的位置信息維度用于描述數(shù)據(jù)來源的地理位置信息，所述位置信息維度進一步包括區(qū)域信息和廠站信息；所述區(qū)域信息包括省、市、縣對應(yīng)的區(qū)域編碼；所述廠站信息進一步包括發(fā)電廠編碼、變電站編碼和傳輸線路編碼。所述統(tǒng)一數(shù)據(jù)邏輯模型的設(shè)備信息維度用于描述數(shù)據(jù)來源的主體信息，所述設(shè)備信息維度進一步包括設(shè)備id，設(shè)備類型，設(shè)備型號；所述統(tǒng)一數(shù)據(jù)邏輯模型的數(shù)據(jù)描述維度用于對量測信息維度進行定義和解釋，所述數(shù)據(jù)描述維度進一步包括量測字段名稱，量測字段計量單位；所述采集時間戳以標準時間格式定義，精確到毫秒；所述統(tǒng)一數(shù)據(jù)邏輯模型的量測信息維度用于記錄數(shù)據(jù)描述維度每個量測字段名稱對應(yīng)的量測值；其中，量測值為數(shù)值或狀態(tài)編碼。

7、優(yōu)選地，所述數(shù)據(jù)預(yù)處理包括數(shù)據(jù)完整性校驗、缺失數(shù)據(jù)處理、噪聲數(shù)據(jù)處理，具體如下：數(shù)據(jù)完整性校驗包括信息維度完整性校驗步驟和數(shù)據(jù)量完整性校驗步驟；所述信息維度完整性校驗步驟，用于檢驗位置信息維度、設(shè)備信息維度、數(shù)據(jù)描述維度和量測信息維度是否完整，數(shù)據(jù)描述維度和量測信息維度中量測字段名稱和量測值是否對應(yīng)；所述數(shù)據(jù)量完整性校驗步驟，根據(jù)數(shù)據(jù)采集頻率校驗單位時間內(nèi)采集的數(shù)據(jù)條數(shù)是否完整；如果信息維度完整性校驗結(jié)果和數(shù)據(jù)量完整性校驗結(jié)果均滿足預(yù)設(shè)條件，使用相應(yīng)的均值或眾數(shù)對缺失的量測值進行插補；獲取一定時間范圍內(nèi)的多個量測值，對所述多個量測值使用k均值聚類算法進行聚類處理，獲得若干數(shù)據(jù)簇，根據(jù)設(shè)定距離獲得每個數(shù)據(jù)簇的離群點，使用離群點所屬的數(shù)據(jù)簇的簇心值代替離群點。

8、優(yōu)選地，所述故障診斷數(shù)據(jù)匯集模型用于匯集針對診斷對象所需的電氣信號，診斷對象包括設(shè)備、線路；電氣信號包括電壓相量、電流相量、線路功率、向角突變、開關(guān)遙信變位、保護動作信號，故障錄波信號、行波信號；所述電力負荷預(yù)測數(shù)據(jù)匯集模型用于匯集針對預(yù)測對象所需的氣象數(shù)據(jù)和電力市場數(shù)據(jù)，預(yù)測對象包括地理區(qū)域和區(qū)間范圍兩個維度，區(qū)間范圍包括小時級、日級、月級；氣象數(shù)據(jù)包括溫度、濕度、風(fēng)速、降雨量；電力市場數(shù)據(jù)包括電價、交易電量信息；所述電網(wǎng)安全狀態(tài)數(shù)據(jù)匯集模型用于匯集電網(wǎng)靜態(tài)安全性、動態(tài)安全性、設(shè)備安全性的參數(shù)信息；所述靜態(tài)安全性參數(shù)信息包括母線電壓、電壓裕度、有功裕度；態(tài)安全性參數(shù)信息包括電網(wǎng)負載率、電網(wǎng)過載率、節(jié)點電壓變化率、變壓器負載率；設(shè)備安全性參數(shù)信息包括發(fā)電機組、變壓器、斷路器、輸電線路的運行參數(shù)信息；匯集文件包括數(shù)據(jù)匯集模型的名稱、匯集時間信息、匯集區(qū)域信息。

9、優(yōu)選地，對匯集文件信息進行解析，獲得匯集文件名稱，根據(jù)匯集文件名稱查詢映射配置文件獲得存儲系統(tǒng)信息；如果匯集文件名稱為故障診斷數(shù)據(jù)匯集模型，查詢映射配置文件獲得存儲系統(tǒng)信息為故障診斷主題數(shù)據(jù)庫信息，根據(jù)故障診斷主題數(shù)據(jù)庫信息將匯集文件保存到故障診斷主題數(shù)據(jù)庫，以匯集區(qū)域信息作為分區(qū)鍵對數(shù)據(jù)進行分區(qū)，并將匯集時間信息作為分區(qū)內(nèi)的數(shù)據(jù)排序鍵；所述故障診斷主題數(shù)據(jù)庫為非關(guān)系型數(shù)據(jù)庫；如果匯集文件名稱為電力負荷預(yù)測數(shù)據(jù)匯集模型，查詢映射配置文件獲得存儲系統(tǒng)信息為負荷預(yù)測主題數(shù)據(jù)庫信息，根據(jù)主題數(shù)據(jù)庫信息將匯集文件保存到主題數(shù)據(jù)庫，使用匯集文件中每條記錄中的置信息維度、設(shè)備信息維度、數(shù)據(jù)描述維度和量測信息維度中的每個屬性均作為一列獨立存儲；所述主題數(shù)據(jù)庫為時序數(shù)據(jù)庫；如果匯集文件名稱為電網(wǎng)安全狀態(tài)數(shù)據(jù)匯集模型，查詢映射配置文件獲得存儲系統(tǒng)信息為電網(wǎng)安全狀態(tài)主題數(shù)據(jù)庫信息，根據(jù)電網(wǎng)安全狀態(tài)主題數(shù)據(jù)庫信息將匯集文件保存到電網(wǎng)安全狀態(tài)主題數(shù)據(jù)庫，并根據(jù)匯集時間信息設(shè)置數(shù)據(jù)存活時間，由電網(wǎng)安全狀態(tài)主題數(shù)據(jù)庫根據(jù)數(shù)據(jù)存活時間自動清除過期數(shù)據(jù)；所述電網(wǎng)安全狀態(tài)主題數(shù)據(jù)庫為內(nèi)存數(shù)據(jù)庫。

10、優(yōu)選地，基于故障診斷主題數(shù)據(jù)庫信息開發(fā)電網(wǎng)設(shè)備故障診斷類應(yīng)用、電網(wǎng)設(shè)備可靠性分析類應(yīng)用；基于負荷預(yù)測主題數(shù)據(jù)庫信息開發(fā)用電高峰預(yù)警類應(yīng)用、用電負荷異常挖掘類應(yīng)用；基于電網(wǎng)安全狀態(tài)主題數(shù)據(jù)庫開發(fā)電網(wǎng)運行安全狀態(tài)智能感知與預(yù)警類應(yīng)用。

11、第二個方面，本發(fā)明公開了一種面向應(yīng)用的電網(wǎng)電力數(shù)據(jù)匯集系統(tǒng)，包括數(shù)據(jù)采集模塊，數(shù)據(jù)預(yù)處理模塊，數(shù)據(jù)匯集模塊，數(shù)據(jù)存儲模塊，應(yīng)用開發(fā)模塊：數(shù)據(jù)采集模塊：縣級電網(wǎng)調(diào)度控制中心依據(jù)統(tǒng)一數(shù)據(jù)邏輯模型對多個數(shù)據(jù)源進行數(shù)據(jù)采集；所述統(tǒng)一數(shù)據(jù)邏輯模型包括位置信息維度、設(shè)備信息維度、數(shù)據(jù)描述維度和量測信息維度；其中，所述數(shù)據(jù)描述維度包括，數(shù)據(jù)采集時間戳和數(shù)據(jù)采集頻率；數(shù)據(jù)預(yù)處理模塊：地市電網(wǎng)調(diào)度控制中心對縣級電網(wǎng)調(diào)度控制中心上傳的數(shù)據(jù)先進行數(shù)據(jù)預(yù)處理，所述數(shù)據(jù)預(yù)處理包括數(shù)據(jù)完整性校驗、缺失數(shù)據(jù)處理、噪聲數(shù)據(jù)處理；數(shù)據(jù)匯集模塊：地市電網(wǎng)調(diào)度控制中心依據(jù)數(shù)據(jù)匯集模型對預(yù)處理后的數(shù)據(jù)進行匯集，形成匯集文件；所述數(shù)據(jù)匯集模型包括故障診斷數(shù)據(jù)匯集模型、電力負荷預(yù)測數(shù)據(jù)匯集模型、電網(wǎng)安全狀態(tài)數(shù)據(jù)匯集模型；數(shù)據(jù)存儲模塊：省電網(wǎng)調(diào)度控制中心獲取地市電網(wǎng)調(diào)度控制中心上傳的匯集文件，根據(jù)數(shù)據(jù)中的匯集文件信息，查詢映射配置文件獲得存儲系統(tǒng)信息，將上傳的數(shù)據(jù)存儲到相應(yīng)存儲系統(tǒng)；所述映射配置文件包含匯集文件信息與存儲系統(tǒng)的對應(yīng)關(guān)系；應(yīng)用開發(fā)模塊：省電網(wǎng)調(diào)度控制中心基于存儲系統(tǒng)開發(fā)電網(wǎng)設(shè)備故障診斷類應(yīng)用、電網(wǎng)設(shè)備可靠性分析類應(yīng)用、用電高峰預(yù)警類應(yīng)用、用電負荷異常挖掘類應(yīng)用、電網(wǎng)運行安全狀態(tài)智能感知與預(yù)警類應(yīng)用。

12、優(yōu)選地，所述統(tǒng)一數(shù)據(jù)邏輯模型的位置信息維度用于描述數(shù)據(jù)來源的地理位置信息，所述位置信息維度進一步包括區(qū)域信息和廠站信息；所述區(qū)域信息包括省、市、縣對應(yīng)的區(qū)域編碼；所述廠站信息進一步包括發(fā)電廠編碼、變電站編碼和傳輸線路編碼；所述統(tǒng)一數(shù)據(jù)邏輯模型的設(shè)備信息維度用于描述數(shù)據(jù)來源的主體信息，所述設(shè)備信息維度進一步包括設(shè)備id，設(shè)備類型，設(shè)備型號；所述統(tǒng)一數(shù)據(jù)邏輯模型的數(shù)據(jù)描述維度用于對量測信息維度進行定義和解釋，所述數(shù)據(jù)描述維度進一步包括量測字段名稱，量測字段計量單位；所述采集時間戳以標準時間格式定義，精確到毫秒；所述統(tǒng)一數(shù)據(jù)邏輯模型的量測信息維度用于記錄數(shù)據(jù)描述維度每個量測字段名稱對應(yīng)的量測值；其中，量測值為數(shù)值或狀態(tài)編碼；

13、所述故障診斷數(shù)據(jù)匯集模型用于匯集針對診斷對象所需的電氣信號，診斷對象包括設(shè)備、線路；電氣信號包括電壓相量、電流相量、線路功率、向角突變、開關(guān)遙信變位、保護動作信號，故障錄波信號、行波信號；所述電力負荷預(yù)測數(shù)據(jù)匯集模型用于匯集針對預(yù)測對象所需的氣象數(shù)據(jù)和電力市場數(shù)據(jù)，預(yù)測對象包括地理區(qū)域和區(qū)間范圍兩個維度，區(qū)間范圍包括小時級、日級、月級；氣象數(shù)據(jù)包括溫度、濕度、風(fēng)速、降雨量；電力市場數(shù)據(jù)包括電價、交易電量信息；所述電網(wǎng)安全狀態(tài)數(shù)據(jù)匯集模型用于匯集電網(wǎng)靜態(tài)安全性、動態(tài)安全性、設(shè)備安全性的參數(shù)信息；所述靜態(tài)安全性參數(shù)信息包括母線電壓、電壓裕度、有功裕度；態(tài)安全性參數(shù)信息包括電網(wǎng)負載率、電網(wǎng)過載率、節(jié)點電壓變化率、變壓器負載率；設(shè)備安全性參數(shù)信息包括發(fā)電機組、變壓器、斷路器、輸電線路的運行參數(shù)信息；匯集文件包括數(shù)據(jù)匯集模型的名稱、匯集時間信息、匯集區(qū)域信息。

14、優(yōu)選地，所述數(shù)據(jù)預(yù)處理模塊包括數(shù)據(jù)完整性校驗單元、缺失數(shù)據(jù)處理單元、噪聲數(shù)據(jù)處理單元；數(shù)據(jù)完整性校驗單元：數(shù)據(jù)完整性校驗單元進一步包括信息維度完整性校驗子單元和數(shù)據(jù)量完整性校驗子單元；所述信息維度完整性校驗子單元，用于檢驗位置信息維度、設(shè)備信息維度、數(shù)據(jù)描述維度和量測信息維度是否完整，以及，數(shù)據(jù)描述維度和量測信息維度中量測字段名稱和量測值是否對應(yīng)；所述數(shù)據(jù)量完整性校驗子單元，根據(jù)數(shù)據(jù)采集頻率校驗單位時間內(nèi)采集的數(shù)據(jù)條數(shù)是否完整；缺失數(shù)據(jù)處理單元：缺失數(shù)據(jù)處理單元進一步包括判斷子單元和缺失數(shù)據(jù)插補子單元；判斷子單元用于判斷信息維度完整性校驗結(jié)果和數(shù)據(jù)量完整性校驗結(jié)果是否均滿足預(yù)設(shè)條件；缺失數(shù)據(jù)插補子單元使用相應(yīng)的均值或眾數(shù)對缺失的量測值進行插補；噪聲數(shù)據(jù)處理單元：用于數(shù)據(jù)去噪；獲取一定時間范圍內(nèi)的多個量測值，對所述多個量測值使用k均值聚類算法進行聚類處理，獲得若干數(shù)據(jù)簇，根據(jù)設(shè)定距離獲得每個數(shù)據(jù)簇的離群點，使用離群點所屬的數(shù)據(jù)簇的簇心值代替離群點。

15、優(yōu)選地，數(shù)據(jù)存儲模塊包括查詢系統(tǒng)映射單元，數(shù)據(jù)分類存儲單元；查詢系統(tǒng)映射單元：對匯集文件信息進行解析，獲得匯集文件名稱，根據(jù)匯集文件名稱查詢映射配置文件獲得存儲系統(tǒng)信息；數(shù)據(jù)分類存儲單元：如果匯集文件名稱為故障診斷數(shù)據(jù)匯集模型，查詢映射配置文件獲得存儲系統(tǒng)信息為故障診斷主題數(shù)據(jù)庫信息，根據(jù)故障診斷主題數(shù)據(jù)庫信息將匯集文件保存到故障診斷主題數(shù)據(jù)庫，以匯集區(qū)域信息作為分區(qū)鍵對數(shù)據(jù)進行分區(qū)，并將匯集時間信息作為分區(qū)內(nèi)的數(shù)據(jù)排序鍵；所述故障診斷主題數(shù)據(jù)庫為非關(guān)系型數(shù)據(jù)庫；

16、如果匯集文件名稱為電力負荷預(yù)測數(shù)據(jù)匯集模型，查詢映射配置文件獲得存儲系統(tǒng)信息為負荷預(yù)測主題數(shù)據(jù)庫信息，根據(jù)主題數(shù)據(jù)庫信息將匯集文件保存到主題數(shù)據(jù)庫，使用匯集文件中每條記錄中的置信息維度、設(shè)備信息維度、數(shù)據(jù)描述維度和量測信息維度中的每個屬性均作為一列獨立存儲；所述主題數(shù)據(jù)庫為時序數(shù)據(jù)庫；

17、如果匯集文件名稱為電網(wǎng)安全狀態(tài)數(shù)據(jù)匯集模型，查詢映射配置文件獲得存儲系統(tǒng)信息為電網(wǎng)安全狀態(tài)主題數(shù)據(jù)庫信息，根據(jù)電網(wǎng)安全狀態(tài)主題數(shù)據(jù)庫信息將匯集文件保存到電網(wǎng)安全狀態(tài)主題數(shù)據(jù)庫，并根據(jù)匯集時間信息設(shè)置數(shù)據(jù)存活時間，由電網(wǎng)安全狀態(tài)主題數(shù)據(jù)庫根據(jù)數(shù)據(jù)存活時間自動清除過期數(shù)據(jù)；所述電網(wǎng)安全狀態(tài)主題數(shù)據(jù)庫為內(nèi)存數(shù)據(jù)庫。

18、本發(fā)明實現(xiàn)了電網(wǎng)大數(shù)據(jù)分級協(xié)同治理，在縣調(diào)中心通過統(tǒng)一數(shù)據(jù)邏輯模型對采集的數(shù)據(jù)進行規(guī)范，在地調(diào)中心使用數(shù)據(jù)匯集模型對各類信息數(shù)據(jù)進行關(guān)聯(lián)和維度擴充，在省調(diào)中心根據(jù)數(shù)據(jù)特點和業(yè)務(wù)需求適配數(shù)據(jù)存儲系統(tǒng)并開發(fā)相關(guān)應(yīng)用系統(tǒng)，保障了數(shù)據(jù)完整性和準確性，提升了數(shù)據(jù)質(zhì)量，并根據(jù)數(shù)據(jù)特點和應(yīng)用需求提供分類、高效存儲，便于電力大數(shù)據(jù)挖掘、故障診斷、電網(wǎng)安全狀態(tài)分析，為實現(xiàn)電網(wǎng)智能化管理提供了數(shù)據(jù)支撐。