一種測點數(shù)據(jù)的補缺系統(tǒng)及補缺方法
【專利摘要】本發(fā)明公開了一種測點數(shù)據(jù)的補缺系統(tǒng)及補缺方法，包括業(yè)務(wù)指標(biāo)數(shù)據(jù)探測系統(tǒng)以及與業(yè)務(wù)指標(biāo)數(shù)據(jù)探測模塊相連接的數(shù)據(jù)填充系統(tǒng)，所述業(yè)務(wù)指標(biāo)數(shù)據(jù)探測系統(tǒng)包括源業(yè)務(wù)指標(biāo)數(shù)據(jù)庫模塊、與源業(yè)務(wù)指標(biāo)數(shù)據(jù)庫模塊相連的數(shù)據(jù)訪問模塊、連接于數(shù)據(jù)訪問模塊的業(yè)務(wù)邏輯模塊、連接于業(yè)務(wù)邏輯模塊的數(shù)據(jù)顯示模塊；所述數(shù)據(jù)填充系統(tǒng)中設(shè)有線性回歸填充系統(tǒng)、均值填充系統(tǒng)和人工填充系統(tǒng)。本發(fā)明大大提高業(yè)務(wù)數(shù)據(jù)的正確性，提高計算統(tǒng)計數(shù)據(jù)群的精度，使統(tǒng)計分析結(jié)果更為可靠，為企業(yè)投資評價、效益分析等工作提供更為有利的數(shù)據(jù)支持。
【專利說明】一種測點數(shù)據(jù)的補缺系統(tǒng)及補缺方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種電網(wǎng)企業(yè)數(shù)據(jù)完整性的維護方法，具體涉及一種對缺失的測點數(shù) 據(jù)的補缺系統(tǒng)及補缺方法。
【背景技術(shù)】
[0002]在現(xiàn)代化企業(yè)發(fā)展和宏觀經(jīng)濟的影響下，電網(wǎng)企業(yè)作為主營電網(wǎng)業(yè)務(wù)的運營商 和區(qū)域電力市場交易的主體，對企業(yè)管理和經(jīng)營數(shù)據(jù)及時有效統(tǒng)計的需求越來越高。我國 電網(wǎng)企業(yè)的業(yè)務(wù)數(shù)據(jù)報送手段多數(shù)還采用人工方式，這種方式很容易受到人員素質(zhì)和部門 管理方式的影響，使得數(shù)據(jù)在創(chuàng)建過程中就可能出現(xiàn)不完整的質(zhì)量問題，給后期的數(shù)據(jù)使 用、數(shù)據(jù)傳輸和數(shù)據(jù)維護等階段帶來巨大的質(zhì)量隱患。有的電網(wǎng)公司引入了專業(yè)的采集軟 件系統(tǒng)進行數(shù)據(jù)采集，但這些系統(tǒng)只松散地完成某些采集功能，人工作業(yè)還是占了相當(dāng)一 部分比例。隨著電力企業(yè)的不斷發(fā)展，資產(chǎn)積累、部門增加以及專業(yè)分工細(xì)化等因素，企業(yè) 內(nèi)部的業(yè)務(wù)數(shù)據(jù)分類越來越多，導(dǎo)致數(shù)據(jù)缺失情況嚴(yán)重，進而導(dǎo)致計算統(tǒng)計量的精度降低， 計算結(jié)果不準(zhǔn)確，甚至導(dǎo)致某些后續(xù)計算過程不能完成，影響企業(yè)的統(tǒng)計分析工作。
[0003]目前，國內(nèi)的電網(wǎng)企業(yè)業(yè)務(wù)數(shù)據(jù)收集普遍采用相關(guān)的數(shù)據(jù)采集平臺與人工報送相 結(jié)合的方式進行，在采集過程中，由于人工操作失誤、部門未及時上報相關(guān)業(yè)務(wù)數(shù)據(jù)等因 素，常常會導(dǎo)致指標(biāo)數(shù)據(jù)出現(xiàn)缺失。由于電網(wǎng)企業(yè)的大部分業(yè)務(wù)數(shù)據(jù)之間具有很強的依賴 關(guān)系，歷史數(shù)據(jù)和某些平行業(yè)務(wù)數(shù)據(jù)之間的可追溯性也比較強，且呈正態(tài)分布的樣本數(shù)據(jù) 比例比較高，同時，電網(wǎng)行業(yè)對數(shù)據(jù)的精度要求較高，在缺失度比較大的情況下，統(tǒng)計數(shù)據(jù) 群的精度會嚴(yán)重受損。此時可采用刪除元組的方式對缺失數(shù)據(jù)進行處理，然后重新通過平 臺采集或要求相關(guān)人員重新報送，然而在缺失度不高的情況下，如果直接刪除，將對數(shù)據(jù)造 成極大的浪費，同時也會增加工作復(fù)雜度。因此，在這種情況下應(yīng)采用填充的方法來提高統(tǒng) 計數(shù)據(jù)群的精度，但是某些關(guān)鍵數(shù)據(jù)卻非常孤立，用一般的計算方法很難給出有價值的填 充值。

【發(fā)明內(nèi)容】

[0004]發(fā)明目的:為了克服現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種測點數(shù)據(jù)的補缺系 統(tǒng)及補缺方法。
[0005]技術(shù)方案:為解決上述技術(shù)問題，本發(fā)明的一種測點數(shù)據(jù)的補缺系統(tǒng)，包括業(yè)務(wù)指 標(biāo)數(shù)據(jù)探測系統(tǒng)以及與業(yè)務(wù)指標(biāo)數(shù)據(jù)探測模塊相連接的數(shù)據(jù)填充系統(tǒng)，所述業(yè)務(wù)指標(biāo)數(shù)據(jù) 探測系統(tǒng)包括源業(yè)務(wù)指標(biāo)數(shù)據(jù)庫模塊、與源業(yè)務(wù)指標(biāo)數(shù)據(jù)庫模塊相連的數(shù)據(jù)訪問模塊、連 接于數(shù)據(jù)訪問模塊的業(yè)務(wù)邏輯模塊、連接于業(yè)務(wù)邏輯模塊的數(shù)據(jù)顯示模塊；所述數(shù)據(jù)填充 系統(tǒng)中設(shè)有線性回歸填充系統(tǒng)、均值填充系統(tǒng)和人工填充系統(tǒng)。
[0006]優(yōu)選的，所述源業(yè)務(wù)指標(biāo)數(shù)據(jù)庫模塊為設(shè)于綜合數(shù)據(jù)系統(tǒng)中的負(fù)責(zé)存儲業(yè)務(wù)指標(biāo) 定義表和通過實時數(shù)據(jù)采集平臺收集以及人工報送的周期性的源業(yè)務(wù)指標(biāo)數(shù)據(jù)模塊；所述 數(shù)據(jù)訪問模塊為用于查找和記錄缺失數(shù)據(jù)的模塊。[0007]作為優(yōu)選，所述均值填充系統(tǒng)包括橫向均值填充系統(tǒng)和縱向均值填充系統(tǒng)。
[0008]本發(fā)明還公開了一種測點數(shù)據(jù)的補缺系統(tǒng)的補缺方法，包括以下步驟:
[0009](I)使用數(shù)據(jù)訪問模塊遍歷綜合數(shù)據(jù)系統(tǒng)，查找并記錄存在的業(yè)務(wù)指標(biāo)數(shù)據(jù)的缺失項，根據(jù)缺失項查找業(yè)務(wù)指標(biāo)定義表，確定各指標(biāo)間的橫向關(guān)聯(lián)范圍；
[0010](2)在數(shù)據(jù)顯示模塊中顯示數(shù)據(jù)訪問模塊所記錄的缺失項，并提供針對缺失項的三種數(shù)據(jù)填充系統(tǒng)的接口；
[0011](3)用戶根據(jù)需求，從線性回歸填充系統(tǒng)、均值填充系統(tǒng)和人工填充系統(tǒng)中選擇一種系統(tǒng)對業(yè)務(wù)指標(biāo)數(shù)據(jù)的缺失項進行填充處理，業(yè)務(wù)邏輯模塊接收到用戶的指令，開始執(zhí)行相對應(yīng)的填充算法，并將計算出的缺失項填充值返回給數(shù)據(jù)顯示模塊；其中，所述業(yè)務(wù)邏輯模塊執(zhí)行包括以下四種的填充算法:
[0012]a)線性回歸填充算法:該算法通過歷史數(shù)據(jù)或橫向指標(biāo)數(shù)據(jù)對指標(biāo)數(shù)據(jù)缺失值進行預(yù)測，需通過最小二乘法建立以下線性回歸模型來計算填充值:
【權(quán)利要求】
1.一種測點數(shù)據(jù)的補缺系統(tǒng)，其特征在于:包括業(yè)務(wù)指標(biāo)數(shù)據(jù)探測系統(tǒng)以及與業(yè)務(wù)指標(biāo)數(shù)據(jù)探測模塊相連接的數(shù)據(jù)填充系統(tǒng)，所述業(yè)務(wù)指標(biāo)數(shù)據(jù)探測系統(tǒng)包括源業(yè)務(wù)指標(biāo)數(shù)據(jù)庫模塊、與源業(yè)務(wù)指標(biāo)數(shù)據(jù)庫模塊相連的數(shù)據(jù)訪問模塊、連接于數(shù)據(jù)訪問模塊的業(yè)務(wù)邏輯模塊、連接于業(yè)務(wù)邏輯模塊的數(shù)據(jù)顯示模塊；所述數(shù)據(jù)填充系統(tǒng)中設(shè)有線性回歸填充系統(tǒng)、 均值填充系統(tǒng)和人工填充系統(tǒng)。
2.根據(jù)權(quán)利要求1所述的測點數(shù)據(jù)的補缺系統(tǒng)，其特征在于:所述源業(yè)務(wù)指標(biāo)數(shù)據(jù)庫模塊為設(shè)于綜合數(shù)據(jù)系統(tǒng)中的負(fù)責(zé)存儲業(yè)務(wù)指標(biāo)定義表和通過實時數(shù)據(jù)采集平臺收集以及人工報送的周期性的源業(yè)務(wù)指標(biāo)數(shù)據(jù)模塊；所述數(shù)據(jù)訪問模塊為用于查找和記錄缺失數(shù)據(jù)的模塊。
3.根據(jù)權(quán)利要求1所述的測點數(shù)據(jù)的補缺系統(tǒng)，其特征在于:所述均值填充系統(tǒng)包括橫向均值填充系統(tǒng)和縱向均值填充系統(tǒng)。
4.基于權(quán)利要求1至3任一項所述的測點數(shù)據(jù)的補缺系統(tǒng)的補缺方法，其特征在于包括以下步驟:(1)使用數(shù)據(jù)訪問模塊遍歷綜合數(shù)據(jù)系統(tǒng)，查找并記錄存在的業(yè)務(wù)指標(biāo)數(shù)據(jù)的缺失項， 根據(jù)缺失項查找業(yè)務(wù)指標(biāo)定義表，確定各指標(biāo)間的橫向關(guān)聯(lián)范圍；(2)在數(shù)據(jù)顯示模塊中顯示數(shù)據(jù)訪問模塊所記錄的缺失項，并提供針對缺失項的三種數(shù)據(jù)填充系統(tǒng)的接口；(3)用戶根據(jù)需求，從線性回歸填充系統(tǒng)、均值填充系統(tǒng)和人工填充系統(tǒng)中選擇一種系統(tǒng)對業(yè)務(wù)指標(biāo)數(shù)據(jù)的缺失項進行填充處理，業(yè)務(wù)邏輯模塊接收到用戶的指令，開始執(zhí)行相對應(yīng)的填充算法，并將計算出的缺失項填充值返回給數(shù)據(jù)顯示模塊；其中，所述業(yè)務(wù)邏輯模塊執(zhí)行包括以下四種的填充算法:a)線性回歸填充算法:該算法通過歷史數(shù)據(jù)或橫向指標(biāo)數(shù)據(jù)對指標(biāo)數(shù)據(jù)缺失值進行預(yù)測，需通過最小二乘法建立以下線性回歸模型來計算填充值:
【文檔編號】G06F17/30GK103440283SQ201310351761
【公開日】2013年12月11日 申請日期:2013年8月13日 優(yōu)先權(quán)日:2013年8月13日
【發(fā)明者】吳克河, 朱亞運, 黨芳芳 申請人:江蘇華大天益電力科技有限公司