一種用于電力交易數(shù)據(jù)倉庫的質(zhì)量管控方法及其管控系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種電力自動化領(lǐng)域的數(shù)據(jù)質(zhì)量管控方法及其系統(tǒng)，具體講涉及一種 用于電力交易數(shù)據(jù)倉庫的質(zhì)量管控方法及其管控系統(tǒng)。
【背景技術(shù)】
[0002] 隨著智能電網(wǎng)的建設(shè)和電力市場的發(fā)展，交易運營系統(tǒng)的定位由原來的信息管理 發(fā)展為交易管控和經(jīng)營決策。系統(tǒng)運行多年，積累的海量數(shù)據(jù)成為公司進(jìn)行市場策略分析 的重要資源?；跀?shù)據(jù)倉庫技術(shù)，構(gòu)建電力市場分析系統(tǒng)，用于支撐交易管控、市場輔助決 策和市場態(tài)勢分析等高級運用。其中，高質(zhì)量的數(shù)據(jù)是支撐強大的決策優(yōu)化等應(yīng)用的前提 條件。因此在數(shù)據(jù)倉庫框架中，應(yīng)獨立于實際分析應(yīng)用，通過平臺工具，對數(shù)據(jù)質(zhì)量進(jìn)行統(tǒng) 一管控。
[0003] 數(shù)據(jù)質(zhì)量管理（Data Quality Management)，是指對數(shù)據(jù)從計劃、獲取、存儲、共 享、維護(hù)、應(yīng)用、消亡生命周期的每個階段里可能引發(fā)的各類數(shù)據(jù)質(zhì)量問題，進(jìn)行識別、度 量、監(jiān)控、預(yù)警等一系列管理活動，并通過改善和提高組織的管理水平使得數(shù)據(jù)質(zhì)量獲得進(jìn) 一步提尚。
[0004] 現(xiàn)有信息系統(tǒng)的質(zhì)量管控工具，一般都是為某個應(yīng)用量身定制，很難脫離業(yè)務(wù)數(shù) 據(jù)而獨立存在。其校驗規(guī)則和校驗邏輯也相對固化，不能滿足由業(yè)務(wù)人員自由定制的需求。 另外，數(shù)據(jù)校驗結(jié)果，缺乏主動發(fā)布和通知的功能，也沒有問題解決環(huán)節(jié)的反饋和跟蹤，部 分實現(xiàn)了數(shù)據(jù)的質(zhì)量監(jiān)示，幾乎沒有考慮質(zhì)量問題的控制。

【發(fā)明內(nèi)容】

[0005] 為解決上述現(xiàn)有技術(shù)中的不足，本發(fā)明的目的是提供一種用于電力交易數(shù)據(jù)倉庫 的質(zhì)量管控方法及其管控系統(tǒng)，針對數(shù)據(jù)集，通過校驗規(guī)則靈活定義，進(jìn)行數(shù)據(jù)合理性、一 致性和完整性和及時性的判定，并對四個管控指標(biāo)進(jìn)行統(tǒng)計和歷史趨勢分析，設(shè)計問題處 理跟蹤反饋機制，便于管理人員制定質(zhì)量控制措施。系統(tǒng)實現(xiàn)后，作為電力市場數(shù)據(jù)倉庫的 重要組成部分，為市場的高級分析和挖掘應(yīng)用提供了數(shù)據(jù)質(zhì)量的保障。
[0006] 本發(fā)明的目的是采用下述技術(shù)方案實現(xiàn)的：
[0007] 本發(fā)明提供一種用于電力交易數(shù)據(jù)倉庫的質(zhì)量管控方法，其改進(jìn)之處在于，所述 方法包括下述步驟
[0008] (1)定義校驗元數(shù)據(jù)和校驗規(guī)則；
[0009] (2)設(shè)置校驗任務(wù)；
[0010] (3)執(zhí)行校驗服務(wù)；
[0011] (4)發(fā)布數(shù)據(jù)校驗結(jié)果；
[0012] (5)處理跟蹤質(zhì)量問題。
[0013] 進(jìn)一步地，所述步驟（1)中，包括元數(shù)據(jù)信息設(shè)置；數(shù)據(jù)項是指數(shù)據(jù)倉庫中數(shù)據(jù)表 的值域，其元數(shù)據(jù)包括非空校驗、零校驗、是否進(jìn)行范圍校驗、最大值、最小值和引用范圍校 驗；數(shù)據(jù)集是指數(shù)據(jù)倉庫中的一個表，其元數(shù)據(jù)包括數(shù)據(jù)頻率、時間格式以及數(shù)據(jù)集維護(hù)人 信息；通過元數(shù)據(jù)信息，實現(xiàn)數(shù)據(jù)本身的合理性校驗。
[0014] 進(jìn)一步地，所述步驟（1)中，包括設(shè)置校驗規(guī)則；基于數(shù)據(jù)庫表域名技術(shù)，實現(xiàn)數(shù) 據(jù)倉庫模型選擇器，支持對數(shù)據(jù)集中數(shù)據(jù)的選擇和過濾條件的設(shè)置，形成動態(tài)查詢語句；通 過運算符連接動態(tài)查詢語句，實現(xiàn)數(shù)據(jù)校驗規(guī)則定義；元數(shù)據(jù)校驗通過校驗規(guī)則設(shè)定，不需 要設(shè)置規(guī)則表達(dá)式，系統(tǒng)直接調(diào)用元數(shù)據(jù)信息。
[0015] 進(jìn)一步地，所述步驟（1)中，校驗規(guī)則定義包括及時性校驗的時間定義；時間表達(dá) 式包括時間類型和時間值；時間類型包括絕對時間和相對時間，絕對時間的格式為年/月/ 日/時/分；相對時間以小時為單位；時間表達(dá)式運用于校驗規(guī)則中。
[0016] 進(jìn)一步地，所述步驟（2)中，校驗任務(wù)與一個或多個校驗規(guī)則關(guān)聯(lián)，共享任務(wù)執(zhí)行 時間和執(zhí)行頻率。
[0017] 進(jìn)一步地，所述步驟（3)中，校驗任務(wù)由后臺進(jìn)程周期掃描，如果滿足執(zhí)行時間要 求，則觸發(fā)任務(wù)，解析關(guān)聯(lián)的校驗規(guī)則并執(zhí)行邏輯判斷，并記錄校驗結(jié)果。
[0018] 進(jìn)一步地，所述步驟（4)中，校驗結(jié)果結(jié)合消息機制，通過郵件或者短信接口，自 動發(fā)送至數(shù)據(jù)集的維護(hù)人，提醒維護(hù)人員盡快處理。
[0019] 進(jìn)一步地，所述步驟（5)中，為數(shù)據(jù)質(zhì)量的解決過程設(shè)計了反饋和跟蹤機制，加強 了對質(zhì)量問題的管控智能。
[0020] 本發(fā)明還提供一種用于電力交易數(shù)據(jù)倉庫的質(zhì)量管控方法的管控系統(tǒng)，其改進(jìn)之 處在于，所述系統(tǒng)包括：
[0021] 〈1>校驗規(guī)則設(shè)置模塊：包括元數(shù)據(jù)信息設(shè)置模塊、校驗規(guī)則配置模塊和及時性 時間定義模塊，用于設(shè)置數(shù)據(jù)集的數(shù)據(jù)項本身、同一個數(shù)據(jù)集的數(shù)據(jù)項之間以及不同數(shù)據(jù) 集的數(shù)據(jù)項之間的數(shù)據(jù)校驗規(guī)則；
[0022] 〈2>校驗任務(wù)管理模塊：用于設(shè)置校驗任務(wù)參數(shù)，所述校驗任務(wù)參數(shù)包括關(guān)聯(lián)的 校驗規(guī)則、校驗類型、告警級別、任務(wù)執(zhí)行時間、告警通知方式和通知時間；一個任務(wù)關(guān)聯(lián) 一個或多個校驗規(guī)則，校驗規(guī)則共用一套校驗任務(wù)參數(shù)；
[0023] 〈3>校驗服務(wù)執(zhí)行模塊：通過后臺的校驗服務(wù)引擎，周期掃描校驗任務(wù)，對符合時 間要求的任務(wù)，讀取其關(guān)聯(lián)的校驗規(guī)則，解析并執(zhí)行數(shù)據(jù)查詢腳本和邏輯運算，保存校驗結(jié) 果；同時通過消息機制，將校驗結(jié)果發(fā)布至數(shù)據(jù)管理人員；
[0024] 〈4>校驗結(jié)果統(tǒng)計模塊：查詢數(shù)據(jù)集的校驗結(jié)果，統(tǒng)計數(shù)據(jù)集的合理性、一致性、 完整性和及時性指標(biāo)，對其進(jìn)行排序分析和歷史趨勢分析，發(fā)現(xiàn)重點關(guān)注的數(shù)據(jù)；
[0025] 〈5>問題處理跟蹤模塊：對于沒有通過校驗的規(guī)則，管控系統(tǒng)自動生成問題處理 事件，要求維護(hù)人員在解決問題后，錄入事件的解決措施和解決時間，并申請再次進(jìn)行數(shù)據(jù) 校驗；重新校驗由質(zhì)量管控專責(zé)通過人工觸發(fā)完成；如果通過，則記錄事件確認(rèn)標(biāo)記，通過 跟蹤環(huán)節(jié)，監(jiān)控異常數(shù)據(jù)處理情況。
[0026] 與最接近的現(xiàn)有技術(shù)相比，本發(fā)明提供的技術(shù)方案具有的優(yōu)異效果是：
[0027] 本發(fā)明解決的技術(shù)問題是基于數(shù)據(jù)集的元數(shù)據(jù)定義，結(jié)合數(shù)據(jù)模型選擇器、公式 運算和及時性時間定義，實現(xiàn)了數(shù)據(jù)校驗規(guī)則的靈活定義?；诤投绦牌脚_、郵件系統(tǒng)的接 口，實現(xiàn)了校驗結(jié)果的及時發(fā)布，縮短了質(zhì)量問題的處理時間?；趩栴}跟蹤反饋機制，實 現(xiàn)了對數(shù)據(jù)質(zhì)量問題的跟蹤和考核，進(jìn)一步促進(jìn)問題解決的主觀能動性。
[0028] 本發(fā)明提供的數(shù)據(jù)倉庫質(zhì)量管控方法及系統(tǒng)，主要解決如下問題：
[0029] (1)通過元數(shù)據(jù)定義，結(jié)合數(shù)據(jù)模型選擇器和公式編輯器，實現(xiàn)數(shù)據(jù)校驗規(guī)則的靈 活定義。通過校驗規(guī)則，設(shè)置數(shù)據(jù)項之間、數(shù)據(jù)集之間、數(shù)據(jù)集和原始業(yè)務(wù)數(shù)據(jù)之間的校驗 邏輯，實現(xiàn)數(shù)據(jù)合理性、一致性和及時性校核。采用此方法定義的校驗規(guī)則，經(jīng)由任務(wù)調(diào)度 和定時服務(wù)，在后臺實現(xiàn)數(shù)據(jù)質(zhì)量的定時掃描。
[0030] (2)通過消息機制，結(jié)合短信平臺和郵件系統(tǒng)，實現(xiàn)系統(tǒng)自動推送校驗異常信息。 對異常信息的響應(yīng)時間和完成時間進(jìn)行監(jiān)控，促使異常數(shù)據(jù)能夠得到及時處理，促使問題 數(shù)據(jù)得到及時有效地處理，保障電力市場數(shù)據(jù)倉庫應(yīng)用的可靠性。
【附圖說明】
[0031] 圖1是本發(fā)明提供的本發(fā)明的功能流程示意圖；
[0032] 圖2是本發(fā)明提供的數(shù)據(jù)質(zhì)量校驗引擎的流程圖；
[0033] 圖3是本發(fā)明提供的具體實施例的及時性校驗結(jié)果界面圖；
[0034] 圖4是本發(fā)明提供的問題處理跟蹤模塊的處理流程圖。
【具體實施方式】
[0035] 下面結(jié)合附圖對本發(fā)明的【具體實施方式】作進(jìn)一步的詳細(xì)說明。
[0036] 本發(fā)明所要解決的技術(shù)問題是基于數(shù)據(jù)集的元數(shù)據(jù)定義，結(jié)合靈活規(guī)則表達(dá)式， 提出了數(shù)據(jù)校驗規(guī)則的靈活定義方法。采用此方法定義的校驗規(guī)則，經(jīng)由任務(wù)調(diào)度，在后臺 實現(xiàn)數(shù)據(jù)質(zhì)量的周期掃描。掃描結(jié)果經(jīng)短信接口或郵件接口，及時發(fā)送至相應(yīng)的數(shù)據(jù)維護(hù) 人員，促使問題數(shù)據(jù)得到及時有效地處理，保障電力市場數(shù)據(jù)倉庫應(yīng)用的可靠性。
[0037] 本發(fā)明的功能流程圖如圖1所示，包括如下步驟：
[0038] (1)設(shè)置校驗規(guī)則。設(shè)置數(shù)據(jù)集和數(shù)據(jù)項的元數(shù)據(jù)信息，基于動態(tài)數(shù)據(jù)查詢語句和 運算符定義校驗規(guī)則，實現(xiàn)