本發(fā)明專利涉及電力設(shè)備監(jiān)測(cè)數(shù)據(jù)領(lǐng)域，尤其涉及一種海量實(shí)時(shí)數(shù)據(jù)的統(tǒng)一建模、流式處理技術(shù)、海量分布式存儲(chǔ)技術(shù)，保證海量實(shí)時(shí)類數(shù)據(jù)的及時(shí)采集、傳輸、處理、存儲(chǔ)。

背景技術(shù)：

隨著全球信息量的爆炸式增長(zhǎng)，大數(shù)據(jù)時(shí)代也悄然來臨，其中，海量流數(shù)據(jù)占據(jù)的比重越來越高。流數(shù)據(jù)的實(shí)時(shí)處理有著極為廣闊的需求及應(yīng)用前景。據(jù)統(tǒng)計(jì)，截止2014年初，全球數(shù)據(jù)流量達(dá)到人均數(shù)據(jù)流量接近，并正在以50％以上的年增長(zhǎng)率迅速擴(kuò)充目前，海量數(shù)據(jù)流分析與處理己經(jīng)得到了廣泛的研究。然而，不斷增長(zhǎng)的數(shù)據(jù)流量與流處理業(yè)務(wù)的多樣化趨勢(shì)給實(shí)時(shí)流數(shù)據(jù)處理帶來了新的挑戰(zhàn)。而現(xiàn)有的技術(shù)不能很好地滿足對(duì)海量高速數(shù)據(jù)進(jìn)行實(shí)時(shí)處理和分析的需求，實(shí)時(shí)流數(shù)據(jù)處理過程往往會(huì)涉及到復(fù)雜的數(shù)學(xué)模型，需要提供強(qiáng)力的底層支持，以保證這些模型在海量、高速數(shù)據(jù)環(huán)境中可以高效工作；數(shù)據(jù)的時(shí)效性很強(qiáng)，導(dǎo)致對(duì)數(shù)據(jù)處理過程的整體延遲要求非常苛刻，必須在秒級(jí)或更短的時(shí)間內(nèi)得到結(jié)果，從而進(jìn)一步作出反應(yīng)。

本發(fā)明的優(yōu)勢(shì)在于，該方法基于電網(wǎng)cim模型建立電網(wǎng)實(shí)時(shí)類監(jiān)測(cè)數(shù)據(jù)的主題實(shí)例模型，實(shí)現(xiàn)監(jiān)測(cè)數(shù)據(jù)的統(tǒng)一接入、統(tǒng)一處理、統(tǒng)一存儲(chǔ)、統(tǒng)一服務(wù)，并實(shí)現(xiàn)電網(wǎng)調(diào)度域、計(jì)量自動(dòng)化域、變電監(jiān)測(cè)域、氣象域、電壓監(jiān)測(cè)、電能質(zhì)量等專業(yè)域的跨越數(shù)據(jù)融合。同時(shí)保證海量實(shí)時(shí)類數(shù)據(jù)的采集、傳輸、處理、存儲(chǔ)的高效性、完整性、實(shí)時(shí)性。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的正是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于海量電力監(jiān)測(cè)數(shù)據(jù)的統(tǒng)一模型化存儲(chǔ)接入方法。

本發(fā)明是通過如下技術(shù)方案來實(shí)現(xiàn)的：

一種基于海量電力監(jiān)測(cè)數(shù)據(jù)的統(tǒng)一模型化存儲(chǔ)接入方法，(實(shí)時(shí)數(shù)據(jù)的統(tǒng)一建模、流式處理技術(shù)、海量分布式存儲(chǔ)技術(shù)，保證海量實(shí)時(shí)類數(shù)據(jù)的及時(shí)采集、傳輸、處理、存儲(chǔ)的方法，)包括下列步驟：

a.基于電網(wǎng)的cim模型中的量測(cè)模型，建立涵蓋監(jiān)測(cè)終端、傳感器、監(jiān)測(cè)屬性、電網(wǎng)設(shè)備與監(jiān)測(cè)終端綁定的主題實(shí)例模型；

b.基于ftp建立監(jiān)測(cè)數(shù)據(jù)文件的傳輸總線通道，實(shí)現(xiàn)監(jiān)測(cè)數(shù)據(jù)的實(shí)時(shí)傳輸；

c、構(gòu)建監(jiān)測(cè)數(shù)據(jù)文件的解析引擎，實(shí)現(xiàn)調(diào)度域、計(jì)量自動(dòng)化域、變電監(jiān)測(cè)域、氣象域、電壓監(jiān)測(cè)、電能質(zhì)量不同的數(shù)據(jù)文件格式的歸一化處理；并將歸一化處理后的數(shù)據(jù)推送到分布式的mq集群；

d.基于mq消息服務(wù)實(shí)現(xiàn)原生監(jiān)測(cè)數(shù)據(jù)接入、處理消費(fèi)的確認(rèn)機(jī)制，保證監(jiān)測(cè)數(shù)據(jù)處理的完整性；

e.基于jstorm流式處理引擎，實(shí)現(xiàn)mq消息服務(wù)中的監(jiān)測(cè)數(shù)據(jù)的流程化處理，實(shí)現(xiàn)監(jiān)測(cè)數(shù)據(jù)的終端-實(shí)例的關(guān)聯(lián)轉(zhuǎn)換，監(jiān)測(cè)項(xiàng)到主題屬性的映射，將監(jiān)測(cè)數(shù)據(jù)源源不斷寫入hbase數(shù)據(jù)庫；

f.基于hbase分布式海量存儲(chǔ)技術(shù)，實(shí)現(xiàn)電網(wǎng)調(diào)度域、計(jì)量自動(dòng)化域、變電監(jiān)測(cè)域、氣象域、電壓監(jiān)測(cè)、電能質(zhì)量等實(shí)時(shí)海量數(shù)據(jù)的可靠存儲(chǔ)，同時(shí)支撐高效的數(shù)據(jù)查詢；

其中：

步驟a所述建立跨電網(wǎng)調(diào)度域、計(jì)量自動(dòng)化域、變電監(jiān)測(cè)域、氣象域、電壓監(jiān)測(cè)、電能質(zhì)量等專業(yè)域的海量實(shí)時(shí)類數(shù)據(jù)的統(tǒng)一存儲(chǔ)模型，從而實(shí)現(xiàn)實(shí)時(shí)類數(shù)據(jù)的統(tǒng)一接入、統(tǒng)一處理、統(tǒng)一存儲(chǔ)、統(tǒng)一服務(wù)；

步驟b所述采用linux的shell腳本定時(shí)執(zhí)行，從數(shù)據(jù)總線傳輸通道實(shí)時(shí)獲取監(jiān)測(cè)數(shù)據(jù)源文件(包括調(diào)度、配網(wǎng)、計(jì)量、氣象)；

步驟c所述構(gòu)建數(shù)據(jù)文件的解析引擎，實(shí)現(xiàn)不同規(guī)范、不同格式的數(shù)據(jù)文件，到屬性-值的初步映射轉(zhuǎn)換，對(duì)上層的數(shù)據(jù)處理框架，提供統(tǒng)一的處理接口。

步驟d所述基于mq消息服務(wù)的分布式優(yōu)勢(shì)、消息持久化、消息的生產(chǎn)消費(fèi)確認(rèn)機(jī)制，保證海量的監(jiān)測(cè)數(shù)據(jù)的完成不丟失；

步驟e所述基于jstorm的流式處理框架，實(shí)現(xiàn)海量監(jiān)測(cè)數(shù)據(jù)的流水線式處理，實(shí)現(xiàn)監(jiān)測(cè)終端-電網(wǎng)設(shè)備的映射轉(zhuǎn)換，監(jiān)測(cè)項(xiàng)-屬性的轉(zhuǎn)換，最終將數(shù)據(jù)源源不斷的寫入hbase；

步驟f所述基于hbase分布式海量存儲(chǔ)技術(shù)，借助于底層的hadoophdfs分布式技術(shù)、心跳監(jiān)測(cè)機(jī)制、zookeeper協(xié)調(diào)技術(shù)，實(shí)現(xiàn)實(shí)時(shí)海量數(shù)據(jù)的可靠存儲(chǔ)，同時(shí)支撐高效的數(shù)據(jù)查詢。

本發(fā)明的有益效果是，針數(shù)據(jù)源文件進(jìn)行操作，對(duì)今后數(shù)據(jù)問題有據(jù)可查，對(duì)數(shù)據(jù)糾錯(cuò)有根本依據(jù)，當(dāng)數(shù)據(jù)質(zhì)量發(fā)生問題可以重新對(duì)文件進(jìn)行解析操作，同時(shí)能校對(duì)入庫數(shù)據(jù)的準(zhǔn)確性，并且還可以保證數(shù)據(jù)的實(shí)時(shí)性，文件從ftp下載保存在本地硬盤中還可方便未來業(yè)務(wù)擴(kuò)展涉及到相關(guān)方便的重新使用，由源文件數(shù)據(jù)根據(jù)oracle中數(shù)據(jù)模型解析后發(fā)送rabbitmq可將存儲(chǔ)hbase之前的數(shù)據(jù)結(jié)構(gòu)和狀態(tài)展現(xiàn)出來讓數(shù)據(jù)存儲(chǔ)過程透明化,此外監(jiān)測(cè)數(shù)據(jù)更新頻率高，云南全省數(shù)據(jù)量多的特點(diǎn)，結(jié)合大數(shù)據(jù)平臺(tái)hbase分布式、批量存儲(chǔ)，讀寫快而性能消耗小的特點(diǎn)，應(yīng)當(dāng)說兩者相輔相成，能融洽的結(jié)合。相對(duì)于oracle的關(guān)系型數(shù)據(jù)庫存儲(chǔ)監(jiān)測(cè)數(shù)據(jù)，hbase不論從成本和資源消耗上都相對(duì)優(yōu)越。

附圖說明

圖1為本發(fā)明方法的流程圖。

具體實(shí)施方式

見圖1，一種基于海量電力監(jiān)測(cè)數(shù)據(jù)的統(tǒng)一模型化存儲(chǔ)接入方法，(實(shí)時(shí)數(shù)據(jù)的統(tǒng)一建模、流式處理技術(shù)、海量分布式存儲(chǔ)技術(shù)，保證海量實(shí)時(shí)類數(shù)據(jù)的及時(shí)采集、傳輸、處理、存儲(chǔ)的方法，)包括下列步驟：

a.基于電網(wǎng)的cim模型中的量測(cè)模型，建立涵蓋監(jiān)測(cè)終端、傳感器、監(jiān)測(cè)屬性、電網(wǎng)設(shè)備與監(jiān)測(cè)終端綁定的主題實(shí)例模型；

b.基于ftp建立監(jiān)測(cè)數(shù)據(jù)文件的傳輸總線通道，實(shí)現(xiàn)監(jiān)測(cè)數(shù)據(jù)的實(shí)時(shí)傳輸；

c、構(gòu)建監(jiān)測(cè)數(shù)據(jù)文件的解析引擎，實(shí)現(xiàn)調(diào)度域、計(jì)量自動(dòng)化域、變電監(jiān)測(cè)域、氣象域、電壓監(jiān)測(cè)、電能質(zhì)量不同的數(shù)據(jù)文件格式的歸一化處理；并將歸一化處理后的數(shù)據(jù)推送到分布式的mq集群；

d.基于mq消息服務(wù)實(shí)現(xiàn)原生監(jiān)測(cè)數(shù)據(jù)接入、處理消費(fèi)的確認(rèn)機(jī)制，保證監(jiān)測(cè)數(shù)據(jù)處理的完整性；

e.基于jstorm流式處理引擎，實(shí)現(xiàn)mq消息服務(wù)中的監(jiān)測(cè)數(shù)據(jù)的流程化處理，實(shí)現(xiàn)監(jiān)測(cè)數(shù)據(jù)的終端-實(shí)例的關(guān)聯(lián)轉(zhuǎn)換，監(jiān)測(cè)項(xiàng)到主題屬性的映射，將監(jiān)測(cè)數(shù)據(jù)源源不斷寫入hbase數(shù)據(jù)庫；

f.基于hbase分布式海量存儲(chǔ)技術(shù)，實(shí)現(xiàn)電網(wǎng)調(diào)度域、計(jì)量自動(dòng)化域、變電監(jiān)測(cè)域、氣象域、電壓監(jiān)測(cè)、電能質(zhì)量等實(shí)時(shí)海量數(shù)據(jù)的可靠存儲(chǔ)，同時(shí)支撐高效的數(shù)據(jù)查詢；

其中：

步驟a所述建立跨電網(wǎng)調(diào)度域、計(jì)量自動(dòng)化域、變電監(jiān)測(cè)域、氣象域、電壓監(jiān)測(cè)、電能質(zhì)量等專業(yè)域的海量實(shí)時(shí)類數(shù)據(jù)的統(tǒng)一存儲(chǔ)模型，從而實(shí)現(xiàn)實(shí)時(shí)類數(shù)據(jù)的統(tǒng)一接入、統(tǒng)一處理、統(tǒng)一存儲(chǔ)、統(tǒng)一服務(wù)；

步驟b所述采用linux的shell腳本定時(shí)執(zhí)行，從數(shù)據(jù)總線傳輸通道實(shí)時(shí)獲取監(jiān)測(cè)數(shù)據(jù)源文件(包括調(diào)度、配網(wǎng)、計(jì)量、氣象)；

步驟c所述構(gòu)建數(shù)據(jù)文件的解析引擎，實(shí)現(xiàn)不同規(guī)范、不同格式的數(shù)據(jù)文件，到屬性-值的初步映射轉(zhuǎn)換，對(duì)上層的數(shù)據(jù)處理框架，提供統(tǒng)一的處理接口。

步驟d所述基于mq消息服務(wù)的分布式優(yōu)勢(shì)、消息持久化、消息的生產(chǎn)消費(fèi)確認(rèn)機(jī)制，保證海量的監(jiān)測(cè)數(shù)據(jù)的完成不丟失；

步驟e所述基于jstorm的流式處理框架，實(shí)現(xiàn)海量監(jiān)測(cè)數(shù)據(jù)的流水線式處理，實(shí)現(xiàn)監(jiān)測(cè)終端-電網(wǎng)設(shè)備的映射轉(zhuǎn)換，監(jiān)測(cè)項(xiàng)-屬性的轉(zhuǎn)換，最終將數(shù)據(jù)源源不斷的寫入hbase；

步驟f所述基于hbase分布式海量存儲(chǔ)技術(shù)，借助于底層的hadoophdfs分布式技術(shù)、心跳監(jiān)測(cè)機(jī)制、zookeeper協(xié)調(diào)技術(shù)，實(shí)現(xiàn)實(shí)時(shí)海量數(shù)據(jù)的可靠存儲(chǔ)，同時(shí)支撐高效的數(shù)據(jù)查詢。