數(shù)據(jù)集成處理系統(tǒng)和集成處理方法
【技術(shù)領域】
[0001] 本發(fā)明涉及一種應用于電力系統(tǒng)的數(shù)據(jù)集成處理系統(tǒng)和集成處理方法。
【背景技術(shù)】
[0002] 電能質(zhì)量在線監(jiān)測系統(tǒng)的應用建設是提升公司電網(wǎng)安全運行水平和優(yōu)質(zhì)服務水 平，實現(xiàn)安全風險超前防范，進一步提高公司核心競爭力和可持續(xù)發(fā)展能力的重要手段，并 為深化"兩個轉(zhuǎn)變"，建設"一強三優(yōu)"現(xiàn)代公司，創(chuàng)建"兩個一流"奠定堅實的基礎。
[0003]電能質(zhì)量在線監(jiān)測系統(tǒng)基礎數(shù)據(jù)依賴于GPMS生產(chǎn)系統(tǒng)、調(diào)度OMS系統(tǒng)和用電信息 采集系統(tǒng)所提供的基礎設備臺賬數(shù)據(jù)和運行數(shù)據(jù)。數(shù)據(jù)集成方式包含SG-CM(企業(yè)公共信 息模型）、ESB (企業(yè)服務總線）、E-FILE(采用電力系統(tǒng)數(shù)據(jù)標記語言的文件）共享文件服 務器和ODS(數(shù)據(jù)中心）共享中間庫方式。整體集成的系統(tǒng)多、集成通道復雜，數(shù)據(jù)集成的 準確性、及時性和可靠性決定整個系統(tǒng)應用建設的質(zhì)量。
[0004] 傳統(tǒng)的數(shù)據(jù)集成系統(tǒng)和方法主要采用一種集成方式設計一套技術(shù)，一類數(shù)據(jù)設計 一種處理方法的方式進行集成，集成過程中只是將數(shù)據(jù)做存儲操作，沒有對數(shù)據(jù)進行加工 處理，且系統(tǒng)不易于維護，可擴展性差。
[0005] 申請?zhí)枮?01210525979. 5的專利文件公開了一種多數(shù)據(jù)源的數(shù)據(jù)集成處理方法 和裝置，該數(shù)據(jù)集成處理方法包括：獲取當前數(shù)據(jù)集成處理所需的目標數(shù)據(jù)項的信息；依 據(jù)預置的數(shù)據(jù)項與數(shù)據(jù)源的映射關系，按照所述目標數(shù)據(jù)項的信息從對應的多個數(shù)據(jù)源中 分別提取相應的數(shù)據(jù)項；將所述目標數(shù)據(jù)項按照預置的目標數(shù)據(jù)項集成計算規(guī)則進行相應 的集成計算。然而，上述方案僅僅對數(shù)據(jù)進行集成，而未對集成后的數(shù)據(jù)檢測加工，可靠性 差。
[0006] 基于此，需要研宄一種兼?zhèn)鋵崟r性、并發(fā)性、穩(wěn)定性、可控制性、可擴展性的多通道 數(shù)據(jù)集成處理系統(tǒng)和集成處理方法，以保障電能質(zhì)量在線監(jiān)測系統(tǒng)所需要數(shù)據(jù)的整體質(zhì) 量，從而提高電能質(zhì)量在線監(jiān)測系統(tǒng)應用的深度和廣度，實現(xiàn)公司電網(wǎng)最終目標。

【發(fā)明內(nèi)容】

[0007]本發(fā)明所要解決的技術(shù)問題是：提供一種能夠及時、準確、穩(wěn)定地集成處理各類數(shù) 據(jù)的數(shù)據(jù)集成處理系統(tǒng)和集成處理方法。
[0008] 為了解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：
[0009]-種數(shù)據(jù)集成處理系統(tǒng)，包括：
[0010] 服務接口模塊，用于傳輸數(shù)據(jù)報文，所述數(shù)據(jù)報文包括XML數(shù)據(jù)和自定義的文本 數(shù)據(jù)；
[0011] 數(shù)據(jù)模型模塊，用于根據(jù)不同的集成方式，將接收的數(shù)據(jù)報文的數(shù)據(jù)屬性與數(shù)據(jù) 庫數(shù)據(jù)模型的映射關系組成數(shù)據(jù)配置模型，所述集成方式包括WebService、中間庫抽取和 FTP文件共享中的一種或多種；
[0012] 數(shù)據(jù)解析模塊，用于接收服務接口模塊傳輸?shù)臄?shù)據(jù)報文，并根據(jù)數(shù)據(jù)配置模型將 數(shù)據(jù)報文解析成數(shù)據(jù)JAVA對象；
[0013] 數(shù)據(jù)預警模塊，用于根據(jù)預警配置，檢索數(shù)據(jù)JAVA對象，對異常數(shù)據(jù)JAVA對象生 成預警提醒；
[0014] 數(shù)據(jù)加工模塊，用于垃圾數(shù)據(jù)JAVA對象剔除和遺漏數(shù)據(jù)JAVA對象補錄；
[0015] 存儲模塊，用于建立數(shù)據(jù)庫以存儲集成處理后的數(shù)據(jù)JAVA對象。
[0016] -種數(shù)據(jù)集成處理方法，其步驟包括：
[0017] 服務接口模塊將數(shù)據(jù)報文傳輸給數(shù)據(jù)解析模塊，所述數(shù)據(jù)報文包括XML數(shù)據(jù)和自 定義的文本數(shù)據(jù)；
[0018] 數(shù)據(jù)模型模塊根據(jù)WebService、中間庫抽取、FTP文件共享中的一種或多種集成 方式，將接收的數(shù)據(jù)報文的數(shù)據(jù)屬性與數(shù)據(jù)庫數(shù)據(jù)模型的映射關系組成數(shù)據(jù)配置模型；
[0019] 數(shù)據(jù)解析模塊接收服務接口模塊傳輸?shù)臄?shù)據(jù)報文，并根據(jù)數(shù)據(jù)配置模型將接收到 的數(shù)據(jù)報文解析成數(shù)據(jù)JAVA對象；
[0020] 數(shù)據(jù)預警模塊根據(jù)預警配置對數(shù)據(jù)JAVA對象進行匹配檢索，對異常數(shù)據(jù)JAVA對 象生成預警提醒；
[0021] 數(shù)據(jù)加工模塊對數(shù)據(jù)JAVA對象進行多層加工，無效的數(shù)據(jù)JAVA對象進行篩選剔 除，遺漏的數(shù)據(jù)JAVA對象進行補錄；
[0022] 存儲模塊存儲集成處理后的數(shù)據(jù)JAVA對象。
[0023] 本發(fā)明的有益效果在于：數(shù)據(jù)報文通過服務接口模塊傳輸?shù)綌?shù)據(jù)解析模塊，經(jīng)數(shù) 據(jù)解析模塊解析成數(shù)據(jù)JAVA對象，并通過數(shù)據(jù)預警模塊對異常的數(shù)據(jù)JAVA對象預警提醒， 數(shù)據(jù)加工模塊對垃圾數(shù)據(jù)JAVA對象進行處理及對遺漏數(shù)據(jù)JAVA對象進行補錄，實現(xiàn)對數(shù) 據(jù)及時、準確、穩(wěn)定地集成處理。
【附圖說明】
[0024] 圖1為本發(fā)明實施例的數(shù)據(jù)集成處理系統(tǒng)的結(jié)構(gòu)框圖；
[0025] 圖2為本發(fā)明實施例的數(shù)據(jù)集成處理方法的流程圖；
[0026] 圖3為本發(fā)明實施例的數(shù)據(jù)集成處理方法的數(shù)據(jù)加工方法的流程圖；
[0027] 圖4為本發(fā)明實施例的福建電網(wǎng)運行在線監(jiān)測與輔助決策應用研宄系統(tǒng)。
[0028] 標號說明：
[0029] 1、服務接口模塊；2、數(shù)據(jù)解析模塊；3、數(shù)據(jù)預警模塊；4、數(shù)據(jù)加工模塊；5、數(shù)據(jù)模 型模塊；6、驅(qū)動模塊。
【具體實施方式】
[0030] 為詳細說明本發(fā)明的技術(shù)內(nèi)容、所實現(xiàn)目的及效果，以下結(jié)合實施方式并配合附 圖予以說明。
[0031] 本發(fā)明最關鍵的構(gòu)思在于：不同類型的數(shù)據(jù)報文通過不同的接口傳輸?shù)綌?shù)據(jù)解 析模塊，數(shù)據(jù)解析模塊根據(jù)數(shù)據(jù)配置模型將各類數(shù)據(jù)解析成數(shù)據(jù)對象，數(shù)據(jù)預警模塊對異 常的數(shù)據(jù)對象預警提醒，數(shù)據(jù)加工模塊對垃圾數(shù)據(jù)進行處理及對遺漏數(shù)據(jù)進行補錄，實現(xiàn) 對各類數(shù)據(jù)及時、準確、穩(wěn)定地集成處理。
[0032] 本發(fā)明涉及的技術(shù)術(shù)語解釋：
[0033]
【主權(quán)項】
1. 一種數(shù)據(jù)集成處理系統(tǒng)，其特征在于，包括： 服務接口模塊，用于傳輸數(shù)據(jù)報文，所述數(shù)據(jù)報文包括XML數(shù)據(jù)和自定義的文本數(shù)據(jù)； 數(shù)據(jù)模型模塊，用于根據(jù)不同的集成方式，將接收的數(shù)據(jù)報文的數(shù)據(jù)屬性與數(shù)據(jù)庫數(shù) 據(jù)模型的映射關系組成數(shù)據(jù)配置模型，所述集成方式包括WebService、中間庫抽取和FTP 文件共享中的一種或多種； 數(shù)據(jù)解析模塊，用于接收服務接口模塊傳輸?shù)臄?shù)據(jù)報文，并根據(jù)數(shù)據(jù)配置模型將數(shù)據(jù) 報文解析成數(shù)據(jù)JAVA對象； 數(shù)據(jù)預警模塊，用于根據(jù)預警配置，檢索數(shù)據(jù)JAVA對象，對異常數(shù)據(jù)JAVA對象生成預 警提醒； 數(shù)據(jù)加工模塊，用于垃圾數(shù)據(jù)JAVA對象剔除和遺漏數(shù)據(jù)JAVA對象補錄； 存儲模塊，用于建立數(shù)據(jù)庫以存儲集成處理后的數(shù)據(jù)JAVA對象。
2. 根據(jù)權(quán)利要求1所述的數(shù)據(jù)集成處理系統(tǒng)，其特征在于，所述服務接口模塊包括ESB 接口、SG-CIM接口、FTP文件服務器接口、ODS中間庫接口，且接口可擴展。
3. 根據(jù)權(quán)利要求1所述的數(shù)據(jù)集成處理系統(tǒng)，其特征在于，所述數(shù)據(jù)預警模塊包括顯 示器，用于顯示預警提醒。
4. 根據(jù)權(quán)利要求1所述的數(shù)據(jù)集成處理系統(tǒng)，其特征在于，所述數(shù)據(jù)解析模塊、數(shù)據(jù)預 警模塊及數(shù)據(jù)加工模塊通過驅(qū)動模塊驅(qū)動。
5. -種數(shù)據(jù)集成處理方法，其特征在于，包括步驟： 服務接口模塊將數(shù)據(jù)報文傳輸給數(shù)據(jù)解析模塊，所述數(shù)據(jù)報文包括XML數(shù)據(jù)和自定義 的文本數(shù)據(jù)； 數(shù)據(jù)模型模塊根據(jù)WebService、中間庫抽取和FTP文件共享中的一種或多種集成方 式，將接收的數(shù)據(jù)報文的數(shù)據(jù)屬性與數(shù)據(jù)庫數(shù)據(jù)模型的映射關系組成數(shù)據(jù)配置模型； 數(shù)據(jù)解析模塊接收服務接口模塊傳輸?shù)臄?shù)據(jù)報文，并根據(jù)數(shù)據(jù)配置模型將接收到的數(shù) 據(jù)報文解析成數(shù)據(jù)JAVA對象； 數(shù)據(jù)預警模塊根據(jù)預警配置對數(shù)據(jù)JAVA對象進行匹配檢索，對異常數(shù)據(jù)JAVA對象生 成預警提醒； 數(shù)據(jù)加工模塊對數(shù)據(jù)JAVA對象進行多層加工，無效的數(shù)據(jù)JAVA對象進行篩選剔除，遺 漏的數(shù)據(jù)JAVA對象進行補錄； 存儲模塊存儲集成處理后的數(shù)據(jù)JAVA對象。
6. 根據(jù)權(quán)利要求5所述的數(shù)據(jù)集成處理方法，其特征在于，所述數(shù)據(jù)解析模塊解析數(shù) 據(jù)同時生成集成處理日志，記錄數(shù)據(jù)集成的基本信息和處理結(jié)果信息。
7. 根據(jù)權(quán)利要求5所述的數(shù)據(jù)集成處理方法，其特征在于，所述預警配置包括預警器， 所述預警器包括非空、是否為數(shù)字類型、數(shù)值范圍，預警器可設置多個，并按先后順序進行 預警檢索。
8. 根據(jù)權(quán)利要求5所述的數(shù)據(jù)集成處理方法，其特征在于，所述數(shù)據(jù)預警步驟，預警生 成后，預警信息添加到個人待辦過程中，并生成待辦工作預警提醒。
9. 根據(jù)權(quán)利要求5所述的數(shù)據(jù)集成處理方法，其特征在于，所述數(shù)據(jù)加工步驟包括： 讀取參考標準業(yè)務數(shù)據(jù)； 判斷參考標準業(yè)務是否存在數(shù)據(jù)，如果參考標準業(yè)務存在數(shù)據(jù)則根據(jù)業(yè)務規(guī)則與集成 數(shù)據(jù)進行匹配，如果參考標準業(yè)務不存在數(shù)據(jù)則結(jié)束流程； 判斷是否存在匹配數(shù)據(jù)，如果存在匹配數(shù)據(jù)則更改匹配的集成數(shù)據(jù)狀態(tài)為有效狀態(tài)， 并進入讀取參考標準業(yè)務數(shù)據(jù)步驟，如果不存在匹配數(shù)據(jù)則判斷是否需要補錄； 如果需要補錄則補錄業(yè)務數(shù)據(jù)，并進入讀取參考標準業(yè)務數(shù)據(jù)步驟，如果不需要補錄 則進入讀取參考標準業(yè)務數(shù)據(jù)步驟。
【專利摘要】本發(fā)明提供一種數(shù)據(jù)集成處理系統(tǒng)和數(shù)據(jù)集成處理方法，服務接口模塊將數(shù)據(jù)報文傳輸給數(shù)據(jù)解析模塊；數(shù)據(jù)模型模塊根據(jù)不同的集成方式將接收的數(shù)據(jù)報文的數(shù)據(jù)屬性與數(shù)據(jù)庫數(shù)據(jù)模型的映射關系組成數(shù)據(jù)配置模型；數(shù)據(jù)解析模塊接收服務接口模塊傳輸?shù)臄?shù)據(jù)報文，并根據(jù)數(shù)據(jù)配置模型將接收到的數(shù)據(jù)報文解析成數(shù)據(jù)JAVA對象；數(shù)據(jù)預警模塊根據(jù)預警配置對數(shù)據(jù)JAVA對象進行匹配檢索，對異常的數(shù)據(jù)JAVA對象生成預警提醒；數(shù)據(jù)加工模塊對數(shù)據(jù)JAVA對象進行多層加工，對無效的數(shù)據(jù)JAVA對象進行篩選剔除，對遺漏的數(shù)據(jù)JAVA對象進行補錄，能夠及時、準確、穩(wěn)定地集成處理各類數(shù)據(jù)。
【IPC分類】G06F17-30
【公開號】CN104750787
【申請?zhí)枴緾N201510107116
【發(fā)明人】沈桂城, 張喜清, 翁蔚, 許懿洋, 郭清滔, 施明泰, 楊成月, 樊永濤, 劉偉民, 張德仲, 吳容新
【申請人】國家電網(wǎng)公司, 國網(wǎng)福建省電力有限公司, 廈門億力吉奧信息科技有限公司
【公開日】2015年7月1日
【申請日】2015年3月12日