一種面向電網(wǎng)調(diào)控運(yùn)行的數(shù)據(jù)血統(tǒng)分析方法【
技術(shù)領(lǐng)域：
】[0001]本發(fā)明設(shè)及一種電網(wǎng)調(diào)控運(yùn)行數(shù)據(jù)分析方法，尤其設(shè)及一種面向電網(wǎng)調(diào)控運(yùn)行的數(shù)據(jù)血統(tǒng)分析方法，屬于電力系統(tǒng)調(diào)度自動化
技術(shù)領(lǐng)域：
?！?br>背景技術(shù)：
】[0002]隨著智能電網(wǎng)調(diào)度技術(shù)支持系統(tǒng)（SG-OS巧的持續(xù)建設(shè)，電力調(diào)度數(shù)據(jù)中屯、所存儲的數(shù)據(jù)越來越多。該些數(shù)據(jù)主要包含電網(wǎng)運(yùn)行類、生產(chǎn)管理類和市場運(yùn)營類等方面的數(shù)據(jù)。智能電網(wǎng)在運(yùn)行過程中，數(shù)據(jù)不可避免地會發(fā)生跳變、不刷新等異常錯(cuò)誤，由于數(shù)據(jù)的存儲方式和數(shù)據(jù)的分散性，讓用戶很難直接找到異常錯(cuò)誤的相關(guān)數(shù)據(jù)并進(jìn)行分析，進(jìn)而找到異常發(fā)生的原因。隨著智能電網(wǎng)的發(fā)展，電網(wǎng)生產(chǎn)運(yùn)行和管理對數(shù)據(jù)準(zhǔn)確性提出更高要求，調(diào)度數(shù)據(jù)必須具有可靠性和完整性，才能準(zhǔn)確反映電網(wǎng)運(yùn)行情況。[0003]在信息化時(shí)代，對于調(diào)度所有辦公自動化業(yè)務(wù)，應(yīng)用與數(shù)據(jù)是密不可分的。目前，數(shù)據(jù)使用者對電力數(shù)據(jù)有異常疑問時(shí)無法智能追蹤數(shù)據(jù)來源，更多是通過咨詢廠家或者根據(jù)自己的工作經(jīng)驗(yàn)來分析數(shù)據(jù)來源，在工作中大大降低了工作效率和數(shù)據(jù)處理的準(zhǔn)確度。隨著電網(wǎng)業(yè)務(wù)需求逐步增多，電網(wǎng)數(shù)據(jù)質(zhì)量要求越來越高，在電網(wǎng)實(shí)際應(yīng)用業(yè)務(wù)中難免存在異常數(shù)據(jù)，僅僅通過智能電網(wǎng)調(diào)度數(shù)據(jù)模型，對于異常數(shù)據(jù)透明化查找的支持非常欠缺，不能很快的找到異常數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)，進(jìn)而對異常進(jìn)行分析、處理。例如調(diào)度上報(bào)業(yè)務(wù)，需要統(tǒng)計(jì)全網(wǎng)日電量，各個(gè)地區(qū)上報(bào)給省調(diào)，省調(diào)匯總再上報(bào)國調(diào)，當(dāng)省調(diào)對各個(gè)地方的日電量進(jìn)行匯總發(fā)現(xiàn)數(shù)據(jù)異常時(shí)，通常需要人工判斷查找各地區(qū)上報(bào)分量，不能很快的找到異常數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)，大大浪費(fèi)調(diào)度員的上報(bào)時(shí)間，而且，在異常數(shù)據(jù)處理上人工干預(yù)太多，主觀性過強(qiáng)，準(zhǔn)確度不高，缺少對數(shù)據(jù)透明化的追蹤查找，不能滿足智能電網(wǎng)調(diào)度管理的實(shí)際應(yīng)用要求。[0004]在公開號為CN104424269A的中國專利申請中，公開了一種數(shù)據(jù)血統(tǒng)分析方法與裝置，包括基于模式配置對查詢語句進(jìn)行分析，W識別其中的目標(biāo)表、目標(biāo)字段、源表與源字段；獲取各類數(shù)據(jù)庫系統(tǒng)定義的或用戶自定義的元數(shù)據(jù)并利用元數(shù)據(jù)對查詢語句的模糊字段進(jìn)行精確匹配；根據(jù)識別出的目標(biāo)字段與源字段的字段追溯順序生成查詢語句的數(shù)據(jù)血統(tǒng)關(guān)系；通過多層語句解析分析出多條查詢語句之間的數(shù)據(jù)血統(tǒng)關(guān)系。該方案能夠?qū)崿F(xiàn)對查詢語句中腳本數(shù)據(jù)的追蹤。但是，現(xiàn)有技術(shù)并沒有將其應(yīng)用在智能電網(wǎng)調(diào)度技術(shù)支持系統(tǒng)中，用W分析整合電網(wǎng)調(diào)控運(yùn)行數(shù)據(jù)?！?br/>發(fā)明內(nèi)容】[0005]針對現(xiàn)有技術(shù)的不足，本發(fā)明所要解決的技術(shù)問題在于提供一種面向電網(wǎng)調(diào)控運(yùn)行的數(shù)據(jù)血統(tǒng)分析方法。[0006]為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明采用下述的技術(shù)方案：[0007]一種面向電網(wǎng)調(diào)控運(yùn)行的數(shù)據(jù)血統(tǒng)分析方法，包括如下步驟：[000引S1，為電網(wǎng)調(diào)控運(yùn)行數(shù)據(jù)建立數(shù)據(jù)血統(tǒng)結(jié)構(gòu)，組成哈希表；[0009]S2,發(fā)現(xiàn)數(shù)據(jù)異常時(shí)，在數(shù)據(jù)血統(tǒng)結(jié)構(gòu)中定位目標(biāo)數(shù)據(jù)的節(jié)點(diǎn)；[0010]S3,基于數(shù)據(jù)血統(tǒng)結(jié)構(gòu)和目標(biāo)數(shù)據(jù)的節(jié)點(diǎn)，遍歷捜索數(shù)據(jù)隊(duì)列，查詢所述捜索數(shù)據(jù)隊(duì)列的隊(duì)頭元素的數(shù)據(jù)血統(tǒng)信息，將數(shù)據(jù)血統(tǒng)信息中的基因信息W及遺傳運(yùn)算符加入源數(shù)據(jù)隊(duì)列末尾，將最終的源數(shù)據(jù)隊(duì)列作為所述目標(biāo)數(shù)據(jù)的來源的追蹤結(jié)果；[0011]S4,將追蹤結(jié)果進(jìn)行可視化呈現(xiàn)，供調(diào)度員分析、決策。[0012]其中較優(yōu)地，在步驟S1中，對電網(wǎng)調(diào)控運(yùn)行數(shù)據(jù)進(jìn)行分析，W生成識別源數(shù)據(jù)、中間數(shù)據(jù)和目標(biāo)數(shù)據(jù)的業(yè)務(wù)數(shù)據(jù)。[0013]其中較優(yōu)地，所述哈希表包含業(yè)務(wù)數(shù)據(jù)和數(shù)據(jù)血統(tǒng)信息；[0014]所述數(shù)據(jù)血統(tǒng)信息包含數(shù)據(jù)基因標(biāo)識和遺傳因子兩部分。[0015]其中較優(yōu)地，所述數(shù)據(jù)基因標(biāo)識包括數(shù)據(jù)所在數(shù)據(jù)庫表、字段W及行鍵值；[0016]所述行鍵值為任意值或空值。[0017]其中較優(yōu)地，根據(jù)基因標(biāo)識的所述數(shù)據(jù)庫表、所述字段W及所述行鍵值，通過哈希函數(shù)為所述基因標(biāo)識生成一個(gè)唯一標(biāo)識。[0018]其中較優(yōu)地，所述中間數(shù)據(jù)不在所述追蹤結(jié)果中進(jìn)行存儲。[0019]其中較優(yōu)地，在步驟S3中，對目標(biāo)數(shù)據(jù)的來源進(jìn)行追蹤具體包括如下步驟：[0020]S31，獲取目標(biāo)數(shù)據(jù)的基因標(biāo)識的唯一標(biāo)識，并將所述唯一標(biāo)識放入捜索數(shù)據(jù)隊(duì)列；[002US32,遍歷捜索數(shù)據(jù)隊(duì)列，若捜索數(shù)據(jù)隊(duì)列為空，則跳轉(zhuǎn)到步驟S34;否則，取出隊(duì)頭元素，W所述隊(duì)頭元素為鍵在所述哈希表中查詢所述隊(duì)頭元素的數(shù)據(jù)血統(tǒng)信息；[0022]S33,若數(shù)據(jù)血統(tǒng)信息中的遺傳因子項(xiàng)為空，將數(shù)據(jù)血統(tǒng)信息中的基因信息放入源數(shù)據(jù)隊(duì)列末尾，轉(zhuǎn)向步驟S32;否則取出遺傳因子中遺傳運(yùn)算符，加入源數(shù)據(jù)隊(duì)列末尾，同時(shí)取出遺傳因子中雙親的唯一標(biāo)識，并加入捜索數(shù)據(jù)隊(duì)列末尾，轉(zhuǎn)向步驟S32;[0023]S34,將源數(shù)據(jù)隊(duì)列作為追蹤結(jié)果提取出來。[0024]其中較優(yōu)地，在步驟S31中，所述獲取目標(biāo)數(shù)據(jù)的基因標(biāo)識的唯一標(biāo)識，并將所述唯一標(biāo)識放入捜索數(shù)據(jù)隊(duì)列具體包括如下步驟：[0025]首先，取出目標(biāo)數(shù)據(jù)的基因標(biāo)識，包括；數(shù)據(jù)庫表名、字段名W及數(shù)據(jù)行鍵值；[0026]然后，初始化捜索數(shù)據(jù)隊(duì)列；[0027]最后，使用哈希函數(shù)算出目標(biāo)數(shù)據(jù)的唯一標(biāo)識，將所述唯一標(biāo)識放入所述捜索數(shù)據(jù)隊(duì)列中。[002引本發(fā)明所提供的面向電網(wǎng)調(diào)控運(yùn)行的數(shù)據(jù)血統(tǒng)分析方法，為電網(wǎng)調(diào)控運(yùn)行數(shù)據(jù)建立數(shù)據(jù)血統(tǒng)結(jié)構(gòu)，當(dāng)發(fā)生數(shù)據(jù)異常時(shí)，通過采用基于寬度優(yōu)先遍歷的數(shù)據(jù)血統(tǒng)追蹤算法對目標(biāo)數(shù)據(jù)的來源進(jìn)行追蹤，將追蹤結(jié)果可視化呈現(xiàn)給調(diào)度員，供調(diào)度員分析、決策。該方法可W快速地找到數(shù)據(jù)異常的相關(guān)數(shù)據(jù)W及數(shù)據(jù)之間的相互關(guān)系，在電網(wǎng)調(diào)度應(yīng)用中便于業(yè)務(wù)數(shù)據(jù)來源的追蹤，更好的滿足調(diào)度數(shù)據(jù)業(yè)務(wù)的需求，為調(diào)度業(yè)務(wù)數(shù)據(jù)提供滿足安全性、可靠性、一致性要求的有效數(shù)據(jù)，有效地提高了調(diào)度生產(chǎn)輔助決策能力?！靖綀D說明】[0029]圖1為本發(fā)明所提供的面向電網(wǎng)調(diào)控運(yùn)行的數(shù)據(jù)血統(tǒng)分析方法的流程圖；[0030]圖2為本發(fā)明所提供的數(shù)據(jù)血統(tǒng)分析方法中，單一電網(wǎng)調(diào)控運(yùn)行數(shù)據(jù)的數(shù)據(jù)血統(tǒng)結(jié)構(gòu)示意圖；[0031]圖3為本發(fā)明所提供的數(shù)據(jù)血統(tǒng)分析方法中，電網(wǎng)調(diào)控運(yùn)行數(shù)據(jù)建立的數(shù)據(jù)血統(tǒng)結(jié)構(gòu)的整體結(jié)構(gòu)示意圖；[0032]圖4為本發(fā)明所提供的數(shù)據(jù)血統(tǒng)分析方法中，采用數(shù)據(jù)血統(tǒng)追蹤算法對目標(biāo)數(shù)據(jù)的來源進(jìn)行追蹤的流程圖?！揪唧w實(shí)施方式】[0033]下面結(jié)合附圖和具體實(shí)施例對本發(fā)明的技術(shù)內(nèi)容進(jìn)行進(jìn)一步的詳細(xì)說明。[0034]本發(fā)明針對數(shù)據(jù)異常難W追蹤分析該一問題，提供一種面向電網(wǎng)調(diào)控運(yùn)行的數(shù)據(jù)血統(tǒng)分析方法。該方法將采集的電網(wǎng)調(diào)控運(yùn)行數(shù)據(jù)進(jìn)行分析，W識別源數(shù)據(jù)、中間數(shù)據(jù)和目標(biāo)數(shù)據(jù)。其中，源數(shù)據(jù)是電力調(diào)度系統(tǒng)直接采集來的原始數(shù)據(jù)；中間數(shù)據(jù)和目標(biāo)數(shù)據(jù)是在其他數(shù)據(jù)（源數(shù)據(jù)或中間數(shù)據(jù)）的基礎(chǔ)上通過計(jì)算得到的數(shù)據(jù)，且中間數(shù)據(jù)只是在計(jì)算的過程中出現(xiàn)，并沒有保存在數(shù)據(jù)庫（追蹤結(jié)果）中，能最大限度地簡化追蹤結(jié)果，使追蹤結(jié)果中只顯示與異常數(shù)據(jù)相關(guān)聯(lián)的數(shù)據(jù)W及運(yùn)算關(guān)系，使追蹤結(jié)果一目了然，提高了異常數(shù)據(jù)的處理效率。為上述=類數(shù)據(jù)添加數(shù)據(jù)血統(tǒng)信息，包含數(shù)據(jù)基因標(biāo)識和遺傳因子兩部分，最終生成哈希表HTLine。基因標(biāo)識由數(shù)據(jù)所在數(shù)據(jù)庫表、字段、行鍵值（可W為空）W及數(shù)據(jù)唯一標(biāo)識組成。而遺傳因子由雙親數(shù)據(jù)標(biāo)識W及遺傳運(yùn)算符號組成，用W描述數(shù)據(jù)的轉(zhuǎn)換過程。建立數(shù)據(jù)血統(tǒng)結(jié)構(gòu)的電網(wǎng)調(diào)控運(yùn)行數(shù)據(jù)被持久化在數(shù)據(jù)庫血統(tǒng)信息表中，并在系統(tǒng)運(yùn)行過程中被加載入內(nèi)存W加快查找。當(dāng)調(diào)度員發(fā)現(xiàn)數(shù)據(jù)異常時(shí)，啟動對應(yīng)數(shù)據(jù)的血統(tǒng)追蹤分析過程，逐層查找數(shù)據(jù)的祖先，并將與該數(shù)據(jù)有血緣關(guān)系的所有祖先返回，供調(diào)度員分析、決策。[0035]其中，數(shù)據(jù)血統(tǒng)是近幾年隨著數(shù)據(jù)庫和網(wǎng)絡(luò)的發(fā)展而發(fā)展起來的一個(gè)研究領(lǐng)域，其內(nèi)容主要包括數(shù)據(jù)血統(tǒng)的計(jì)算、存儲、傳播和查詢等。數(shù)據(jù)血統(tǒng)記載了對數(shù)據(jù)處理的整個(gè)歷史，包括數(shù)據(jù)的起源和處理該些數(shù)據(jù)的所有后繼過程（數(shù)據(jù)產(chǎn)生、并隨著時(shí)間推移而演變的整個(gè)過程）。數(shù)據(jù)血統(tǒng)的相關(guān)研究近幾年吸引了數(shù)據(jù)集成、Web捜索、語義標(biāo)注、海量存儲等領(lǐng)域?qū)W者的廣泛關(guān)注。[0036]數(shù)據(jù)血統(tǒng)關(guān)系是指數(shù)據(jù)之間的上下文關(guān)系，數(shù)據(jù)的血統(tǒng)分析是對數(shù)據(jù)庫系統(tǒng)追溯查詢結(jié)果的來源，W衡量數(shù)據(jù)的可信度、數(shù)據(jù)的質(zhì)量。通過數(shù)據(jù)血統(tǒng)追蹤，在分布數(shù)據(jù)共享時(shí)可W解決數(shù)據(jù)的可信度、質(zhì)量、版本信息等，對于各種導(dǎo)出數(shù)據(jù)集也能解決該些問題。通過數(shù)據(jù)血統(tǒng)追蹤，可W獲得數(shù)據(jù)在數(shù)據(jù)流的演化過程。[0037]如圖1所示，在本發(fā)明所提供的面向電網(wǎng)調(diào)控運(yùn)行的數(shù)據(jù)血統(tǒng)分析方法中，首先，為電網(wǎng)調(diào)控運(yùn)行數(shù)據(jù)建立數(shù)據(jù)血統(tǒng)結(jié)構(gòu)。然后，基于數(shù)據(jù)血統(tǒng)結(jié)構(gòu)和目標(biāo)數(shù)據(jù)的節(jié)點(diǎn)，設(shè)計(jì)基于寬度優(yōu)先遍歷的數(shù)據(jù)血統(tǒng)追蹤算法對目標(biāo)數(shù)據(jù)的來源進(jìn)行追蹤，找到與異常數(shù)據(jù)相關(guān)聯(lián)的數(shù)據(jù)W及運(yùn)算關(guān)系，組成追蹤結(jié)果。最后，將追蹤結(jié)果可視化呈現(xiàn)，供調(diào)度員分析、決策。下面對該一過程做詳細(xì)具體的說明。[003引S1，為電網(wǎng)調(diào)控運(yùn)行數(shù)據(jù)建立數(shù)據(jù)血統(tǒng)結(jié)構(gòu)，組成哈希表。[0039]數(shù)據(jù)血統(tǒng)分析包括對數(shù)據(jù)的血統(tǒng)結(jié)構(gòu)定義，血統(tǒng)追蹤算法W及追蹤結(jié)果可視化呈現(xiàn)=部分。在本發(fā)明所提供的實(shí)施例中，數(shù)據(jù)血統(tǒng)結(jié)構(gòu)設(shè)計(jì)主要包含兩方面；業(yè)務(wù)數(shù)據(jù)和數(shù)據(jù)血統(tǒng)信息。業(yè)務(wù)數(shù)據(jù)是對前文中定義的源數(shù)據(jù)、中間數(shù)據(jù)及目標(biāo)數(shù)據(jù)的統(tǒng)稱。在對電網(wǎng)調(diào)控運(yùn)行數(shù)據(jù)進(jìn)行抽取時(shí)，將其轉(zhuǎn)化為業(yè)務(wù)數(shù)據(jù)，然后分別為源數(shù)據(jù)、中間數(shù)據(jù)和目標(biāo)數(shù)據(jù)定義數(shù)據(jù)血統(tǒng)信息，包括數(shù)據(jù)基因標(biāo)識和遺傳因子兩部分。數(shù)據(jù)基因標(biāo)識由數(shù)據(jù)所在數(shù)據(jù)庫表、字段W及可W為空的行鍵值組成，并通過哈希函數(shù)，根據(jù)基因標(biāo)識為數(shù)據(jù)生成一個(gè)唯一標(biāo)識，即；[0040]gene=(table，column，rowkey，id)[004U其中，Id=hash(t油le，column,rowk巧）。對于中間數(shù)據(jù)，由于其沒有基因標(biāo)識數(shù)據(jù)，則為其隨機(jī)生成一個(gè)與上述哈希函數(shù)生成結(jié)果不同的唯一標(biāo)識。而遺傳因子由雙親數(shù)據(jù)標(biāo)識W及遺傳運(yùn)算符號組成，用W描述數(shù)據(jù)的轉(zhuǎn)換過程，即；[0042]inherit=(idi，id],op)[0043]其中，嘩SA/當(dāng)前第1頁1 2