一種電力營(yíng)銷(xiāo)缺失數(shù)據(jù)補(bǔ)全方法
【專利摘要】本發(fā)明公開(kāi)一種電力營(yíng)銷(xiāo)缺失數(shù)據(jù)補(bǔ)全方法。基于電力數(shù)據(jù)在采集過(guò)程中的大量缺失問(wèn)題進(jìn)行分析，在對(duì)比一般貝葉斯方法和雙尺度貝葉斯方法后，對(duì)方法進(jìn)行了綜合改進(jìn)，使其適應(yīng)于關(guān)聯(lián)關(guān)系較弱、而獨(dú)立性較強(qiáng)的電力營(yíng)銷(xiāo)數(shù)據(jù)中。同時(shí)將該算法用于數(shù)據(jù)集中進(jìn)行測(cè)試，效果具有一定的提高。后續(xù)需要在營(yíng)銷(xiāo)系統(tǒng)中進(jìn)行海量數(shù)據(jù)應(yīng)用，使補(bǔ)全的數(shù)據(jù)能滿足進(jìn)一步營(yíng)銷(xiāo)數(shù)據(jù)挖掘。
【專利說(shuō)明】一種電力營(yíng)銷(xiāo)缺失數(shù)據(jù)補(bǔ)全方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及電力系統(tǒng)數(shù)據(jù)處理領(lǐng)域。

【背景技術(shù)】
[0002] 數(shù)據(jù)缺失即數(shù)據(jù)不完整，表現(xiàn)在數(shù)據(jù)庫(kù)中，即為該記錄屬性為空，通常數(shù)據(jù)缺失從 缺失機(jī)制上可以分為完全性隨機(jī)缺失、隨機(jī)性缺失以及非完全性隨機(jī)缺失。
[0003] 從對(duì)象是否存在屬性缺失，可以把變量分為不完全變量，即指存在數(shù)據(jù)缺失的變 量或者屬性；完全變量，即數(shù)據(jù)集數(shù)據(jù)完整，不含缺失屬性。
[0004] 現(xiàn)實(shí)條件下，數(shù)據(jù)缺失的主要原因可以歸為以下幾類(lèi)：
[0005] (1)無(wú)法有效使用的數(shù)據(jù)
[0006] 這類(lèi)數(shù)據(jù)，主要是指統(tǒng)計(jì)屬性對(duì)于對(duì)象主體不具有實(shí)際意義，例如：該用戶用電量 為0,但其用電時(shí)間統(tǒng)計(jì)非0,則該數(shù)據(jù)是無(wú)效數(shù)據(jù)。
[0007] (2)遺漏數(shù)據(jù)
[0008] 比如，由于采集設(shè)備問(wèn)題，數(shù)據(jù)采集過(guò)程中造成的數(shù)據(jù)缺失，同時(shí)由于采集過(guò)程不 可逆，采集實(shí)時(shí)性要求很高，則不能通過(guò)其他方法獲取數(shù)據(jù)?；蛘撸捎谙到y(tǒng)設(shè)計(jì)有問(wèn)題，用 戶在數(shù)據(jù)填寫(xiě)過(guò)程中，某一數(shù)據(jù)的漏填或者采集不全。
[0009] (3)無(wú)法獲取的數(shù)據(jù)
[0010] 由于人為或者系統(tǒng)問(wèn)題，在短期內(nèi)無(wú)法實(shí)現(xiàn)采集的數(shù)據(jù)。比如說(shuō)，醫(yī)院臨床檢驗(yàn)的 時(shí)候，在一段時(shí)間內(nèi)，有些數(shù)據(jù)無(wú)法得到。
[0011] (4)獲取代價(jià)很大的數(shù)據(jù)
[0012] 采集需要耗費(fèi)大量的人力和物力導(dǎo)致采集方無(wú)法進(jìn)行全面的數(shù)據(jù)采集而造成的 缺失。
[0013] 現(xiàn)有的缺失數(shù)據(jù)補(bǔ)全方法包括以下幾種：
[0014] (1)刪除法
[0015] 將含有缺失數(shù)據(jù)的對(duì)象全部屬性刪除，剩余數(shù)據(jù)集作為整體進(jìn)行數(shù)據(jù)處理。根據(jù) 研究對(duì)象的特征，刪除法又包括：配對(duì)刪除、列表刪除、個(gè)案刪除三種。
[0016] (2)常量補(bǔ)全
[0017] 常量補(bǔ)全基于對(duì)數(shù)據(jù)集的研究上，對(duì)于不同的數(shù)據(jù)集，根據(jù)該對(duì)象屬性的數(shù)據(jù)特 性，采用一個(gè)固定的常量值進(jìn)行補(bǔ)全，也可以針對(duì)數(shù)據(jù)全集進(jìn)行全局?jǐn)?shù)據(jù)補(bǔ)全。例如，常用 Null代替關(guān)系型數(shù)據(jù)庫(kù)中的缺失數(shù)據(jù)。
[0018] (3)簡(jiǎn)單補(bǔ)全
[0019] 指利用簡(jiǎn)單易懂的公式進(jìn)行數(shù)據(jù)的補(bǔ)全。例如，在缺失數(shù)據(jù)附近進(jìn)行歐式距離計(jì) 算，確定K個(gè)相鄰數(shù)據(jù)，將這幾個(gè)數(shù)據(jù)進(jìn)行加權(quán)均值計(jì)算，作為補(bǔ)全數(shù)據(jù)。該方法的缺點(diǎn)是， 進(jìn)行歐式距離計(jì)算時(shí)，需要進(jìn)行數(shù)據(jù)遍歷，真對(duì)大量數(shù)據(jù)計(jì)算效率較低。
[0020] (4)統(tǒng)計(jì)補(bǔ)全
[0021] 通過(guò)對(duì)已知的數(shù)據(jù)集進(jìn)行統(tǒng)計(jì)方法計(jì)算，對(duì)缺失數(shù)據(jù)進(jìn)行補(bǔ)全。根據(jù)數(shù)據(jù)特點(diǎn)，可 以對(duì)數(shù)據(jù)集進(jìn)行總體統(tǒng)計(jì)補(bǔ)全，也可以將數(shù)據(jù)集分組，進(jìn)行組內(nèi)統(tǒng)計(jì)補(bǔ)全。
[0022] (5)復(fù)雜估算方法補(bǔ)全
[0023] 該方法是目前較為有效的缺失數(shù)據(jù)補(bǔ)全方法?；谌?jǐn)?shù)據(jù)，進(jìn)行模型建立，預(yù)測(cè) 每一個(gè)缺失的數(shù)據(jù)進(jìn)行補(bǔ)全。主要方法有：回歸模型補(bǔ)全方法、貝葉斯補(bǔ)全方法、決策樹(shù)補(bǔ) 全方法、期望值最大化補(bǔ)全方法等。
[0024] 由于電力營(yíng)銷(xiāo)數(shù)據(jù)來(lái)源廣泛、類(lèi)型復(fù)雜，在數(shù)據(jù)倉(cāng)庫(kù)建立過(guò)程中，數(shù)據(jù)冗余和不一 致、噪音數(shù)據(jù)、表示方法錯(cuò)誤、數(shù)據(jù)缺失等問(wèn)題嚴(yán)重干擾了數(shù)據(jù)挖掘的結(jié)果，上述補(bǔ)全方法 仍然不能夠完全解決這些問(wèn)題。


【發(fā)明內(nèi)容】

[0025] 本發(fā)明基于對(duì)數(shù)據(jù)缺失現(xiàn)象的原因分析，提出雙尺度貝葉斯數(shù)據(jù)補(bǔ)全方法，以解 決數(shù)據(jù)挖掘前期數(shù)據(jù)缺失問(wèn)題。
[0026] 為實(shí)現(xiàn)本發(fā)明目的而采用的技術(shù)方案是這樣的，一種電力營(yíng)銷(xiāo)缺失數(shù)據(jù)補(bǔ)全方 法，其特征在于：
[0027] 1)采集電力營(yíng)銷(xiāo)數(shù)據(jù)，并將這些數(shù)據(jù)保存在數(shù)據(jù)集中，所述數(shù)據(jù)集中有N個(gè)記錄， 每個(gè)記錄有M個(gè)屬性；數(shù)據(jù)集中任意一個(gè)紀(jì)錄記為記錄x，x為紀(jì)錄的序列號(hào)，取值為自然 數(shù)；記錄x的屬性分別為Xp......，XM ;令Cp. . .，q是Xi樣本空間的劃分，i= 1、2......m; 屬性\的分類(lèi)個(gè)數(shù)為Q 代表了包含已知\屬性的記錄個(gè)數(shù)；當(dāng)\等于它的第K個(gè)分類(lèi) 時(shí)，cik的記錄的個(gè)數(shù)設(shè)為Nik ;N#|ik是當(dāng)Xj等于它的第r個(gè)分類(lèi)的記錄的個(gè)數(shù)；
[0028] 2)計(jì)算紀(jì)錄x的屬性Xi缺失概率：P(ck/X) '：
[0029] 計(jì)算每一個(gè)屬性的先驗(yàn)概率：
[0030] P(Xj=cik) =Nik/Nj
[0031] i= 1, . . . ,M；k= 1, . . . ,Lj
[0032] 計(jì)算當(dāng)\ =cik時(shí)，屬性Xj的后驗(yàn)概率：
[0033] P(Xj=cJr|Xi=cik) =NJr|ik/Nik
[0034] j = 1，? ? ?，M ; j 尹 i ;r = 1，? ? ?，Lj
[0035] 當(dāng)記錄x的屬性Xi存在一個(gè)缺失時(shí)，令J為x的非缺失數(shù)據(jù)索引；
[0036] 當(dāng)\ =cik:時(shí)，計(jì)算條件概率，在此表示為修正因子：
[0037] 0 =P(Xj|Xj=cik)
[0038] =Nj|ik/Nik,
[0039]Xj=x:nx2n......Xjn......nxM ；j^i
[0040] 后驗(yàn)概率Pi的計(jì)算公式如下：

【權(quán)利要求】
1. 一種電力營(yíng)銷(xiāo)缺失數(shù)據(jù)補(bǔ)全方法，其特征在于： 1) 采集電力營(yíng)銷(xiāo)數(shù)據(jù)，并將這些數(shù)據(jù)保存在數(shù)據(jù)集中，所述數(shù)據(jù)集中有N個(gè)記錄，每個(gè) 記錄有M個(gè)屬性；數(shù)據(jù)集中任意一個(gè)紀(jì)錄記為記錄X，X為紀(jì)錄的序列號(hào)，取值為自然數(shù)；記 錄X的屬性分別為X1,......，Xm ;令C1,. . .，Clj是Xi樣本空間的劃分，i = 1、2......m ;屬性Xi 的分類(lèi)個(gè)數(shù)為L(zhǎng)i 代表了包含已知Xi屬性的記錄個(gè)數(shù)；當(dāng)Xi等于它的第K個(gè)分類(lèi)時(shí)，C ik 的記錄的個(gè)數(shù)設(shè)為Nik ;N#|ik是當(dāng)&等于它的第r個(gè)分類(lèi)的記錄的個(gè)數(shù)； 2) 計(jì)算紀(jì)錄X的屬性Xi缺失概率：P (ck/X) ' ： 計(jì)算每一個(gè)屬性的先驗(yàn)概率： P (Xi = Cik) = Nik/Ni i = 1，· · ·，M ;k = 1，· · ·，Li 計(jì)算當(dāng)Xi = Cik時(shí)，屬性Xj的后驗(yàn)概率： P (Xj = CjJxi = cik) = NJr|ik/Nik j = I,. . . , M ；j ^ i ；r = I,. . . , Lj 當(dāng)記錄x的屬性Xi存在一個(gè)缺失時(shí)，令J為x的非缺失數(shù)據(jù)索引； 當(dāng)Xi = cik:時(shí)，計(jì)算\條件概率，在此表示為修正因子： Θ = P (Xj I Xi = cik) =Nj|ik/Nik, Xj = X1 n X2 η......Xj η......η χΜ ；j ^ ? 后驗(yàn)概率P1的計(jì)算公式如下：
后驗(yàn)概率P2的計(jì)算公式如下：
最終計(jì)算公式為： P(ck/X)，=Ρ1+(Ρ2-Ρ1)*Θ 3) 當(dāng)計(jì)算出缺失概率后，采用最大概率填充法、概率分布填充法或權(quán)值填充法，進(jìn)行缺 失數(shù)據(jù)填充。
【文檔編號(hào)】G06Q50/06GK104392400SQ201410758328
【公開(kāi)日】2015年3月4日 申請(qǐng)日期:2014年12月10日 優(yōu)先權(quán)日:2014年12月10日
【發(fā)明者】吉濤, 慕福林, 翁亞利, 譚元?jiǎng)? 王剛, 趙莉, 傅宏, 張向東, 鄭迎春, 邱小平, 孔維禪, 孫淵, 劉虓豪 申請(qǐng)人:國(guó)家電網(wǎng)公司, 國(guó)網(wǎng)重慶市電力公司客戶服務(wù)中心, 重慶小目科技有限責(zé)任公司