基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)體系及處理方法
【專利摘要】本發(fā)明公開了一種基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)體系及處理方法，涉及智慧城市、大數(shù)據(jù)領(lǐng)域。該大數(shù)據(jù)體系包括大數(shù)據(jù)采集層、大數(shù)據(jù)傳輸層、大數(shù)據(jù)存儲(chǔ)管理層、大數(shù)據(jù)計(jì)算分析層和大數(shù)據(jù)應(yīng)用服務(wù)層，大數(shù)據(jù)采集層使用物聯(lián)網(wǎng)技術(shù)進(jìn)行數(shù)據(jù)的采集；大數(shù)據(jù)傳輸層將數(shù)據(jù)傳輸?shù)酱髷?shù)據(jù)存儲(chǔ)管理層；大數(shù)據(jù)存儲(chǔ)管理層實(shí)現(xiàn)智慧城市中大數(shù)據(jù)的存儲(chǔ)；大數(shù)據(jù)計(jì)算分析層實(shí)現(xiàn)智慧城市中大數(shù)據(jù)的處理和分析；大數(shù)據(jù)應(yīng)用服務(wù)層為用戶和城市管理者提供大數(shù)據(jù)的服務(wù)，將大數(shù)據(jù)處理層處理和分析的結(jié)果以服務(wù)的方式實(shí)時(shí)提供給用戶。本發(fā)明能有效提高大數(shù)據(jù)的管理和使用方式，通過大數(shù)據(jù)提高智慧城市的服務(wù)和決策能力，實(shí)現(xiàn)城市的智慧化的管理和服務(wù)。
【專利說明】
基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)體系及處理方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及智慧城市、大數(shù)據(jù)領(lǐng)域，具體是涉及一種基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)體系及處理方法。
【背景技術(shù)】
[0002]當(dāng)前，城市發(fā)展面臨諸如人口膨脹、環(huán)境惡化、公共衛(wèi)生事件頻發(fā)、交通擁堵、資源浪費(fèi)等的挑戰(zhàn)，人們的生活也因此受到不利的影響。而且，隨著城市化文明進(jìn)程的推進(jìn)，人們?nèi)找媾蛎浀男枨笈c城市日益有限的供給之間的矛盾會(huì)繼續(xù)增大，未來人們的生活質(zhì)量和城市的發(fā)展不容樂觀?；诤椭C發(fā)展的智慧地球、智慧城市是未來的發(fā)展趨勢(shì)。
[0003]智慧城市是指在信息技術(shù)和互聯(lián)網(wǎng)相結(jié)合的基礎(chǔ)上，通過各種智能化的應(yīng)用，提升城市基礎(chǔ)設(shè)施的運(yùn)作效率，提升城市運(yùn)行管理和公共服務(wù)水平，讓人們的生活更美好。在智慧城市的建設(shè)和管理中，物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)等技術(shù)發(fā)揮著越來越重要的作用。
[0004]在智慧城市中，由于物聯(lián)網(wǎng)技術(shù)的采用很多的基礎(chǔ)設(shè)施與設(shè)備都具備了被感知、被監(jiān)控的功能，同時(shí)這也導(dǎo)致了這些基礎(chǔ)設(shè)施和設(shè)備產(chǎn)生了大量的數(shù)據(jù)。這些數(shù)據(jù)的來源廣泛、結(jié)構(gòu)多樣，涵蓋智能交通、智能醫(yī)療、智能樓宇、智能電網(wǎng)、智能農(nóng)業(yè)、智能安防、智能環(huán)保、智慧旅游、智慧教育、智能水務(wù)等大數(shù)據(jù)資源，涉及方方面面智慧城市應(yīng)用范疇。其多是互聯(lián)網(wǎng)、傳感設(shè)備、視頻監(jiān)控、移動(dòng)設(shè)備、智能設(shè)備、非傳統(tǒng)信息化設(shè)備等渠道產(chǎn)生的海量結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，并且時(shí)時(shí)刻刻都在源源不斷地滲入城市日常管理和運(yùn)作的方方面面。這些數(shù)據(jù)構(gòu)成了智慧城市中的大數(shù)據(jù)，而這些大數(shù)據(jù)是支撐智慧城市發(fā)展的重要信息資源，城市運(yùn)行體征是通過數(shù)據(jù)進(jìn)行量化表現(xiàn)出來的，通過大數(shù)據(jù)技術(shù)收集各部門有關(guān)城市運(yùn)行體征的數(shù)據(jù)，可幫助城市管理者進(jìn)行數(shù)據(jù)匯總、分析，最終對(duì)城市體征的量化形態(tài)即各類數(shù)據(jù)進(jìn)行管理。
[0005]由于這些數(shù)據(jù)量極其龐大而且種類繁多，在城市管理者和城市應(yīng)用中無法直接針對(duì)這些數(shù)據(jù)提取價(jià)值，獲得信息。對(duì)于管理者和應(yīng)用者來說更多的是關(guān)心城市發(fā)生了什么事件，面對(duì)這些事件如何高效快速、準(zhǔn)確的處理和應(yīng)對(duì)。這些事件包括了城市中發(fā)生的各種大大小小的事情，大的事件比如:災(zāi)難、集會(huì)、慶祝活動(dòng)等;小的事件比如交通擁堵，天氣變化，網(wǎng)上新聞等等。管理者處理這些事件時(shí)，需要相關(guān)的、大量的數(shù)據(jù)分析。
[0006]例如:發(fā)生火災(zāi)時(shí)，需要盡快的計(jì)算出火災(zāi)的情況的實(shí)時(shí)數(shù)據(jù)，找出火災(zāi)發(fā)生的原因，應(yīng)該采取何種滅火手段，最近的消防隊(duì)伍在哪里，如何最快的到達(dá)該地點(diǎn)等等，這都需要大量的事件發(fā)生時(shí)的上下文的相關(guān)數(shù)據(jù)的計(jì)算和分析。
[0007]但是，如何將這些數(shù)據(jù)準(zhǔn)確、及時(shí)的計(jì)算出來發(fā)送給管理者或者應(yīng)用人員，目前在智慧城市建設(shè)中并沒有很好的方法。智慧城市中蘊(yùn)含著大量的數(shù)據(jù)，在智慧城市的建設(shè)和管理中，如何有效的構(gòu)建智慧城市的大數(shù)據(jù)體系、如何使用這些數(shù)據(jù)、如何發(fā)揮這些數(shù)據(jù)的功能等一直沒有得到很好的解決。

【發(fā)明內(nèi)容】

[0008]本發(fā)明的目的是為了克服上述【背景技術(shù)】的不足，提供一種基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)體系及處理方法，能夠有效提高大數(shù)據(jù)的管理和使用方式，通過大數(shù)據(jù)提高智慧城市的服務(wù)和決策能力，實(shí)現(xiàn)城市的智慧化的管理和服務(wù)。
[0009]本發(fā)明提供一種基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)體系，該大數(shù)據(jù)體系包括大數(shù)據(jù)采集層、大數(shù)據(jù)傳輸層、大數(shù)據(jù)存儲(chǔ)管理層、大數(shù)據(jù)計(jì)算分析層和大數(shù)據(jù)應(yīng)用服務(wù)層，其中:
[0010]大數(shù)據(jù)采集層用于:在智慧城市的城市環(huán)境、基礎(chǔ)設(shè)施以及各種設(shè)備上，使用物聯(lián)網(wǎng)技術(shù)進(jìn)行數(shù)據(jù)的采集，對(duì)城市的要素進(jìn)行智能感知，實(shí)現(xiàn)自動(dòng)數(shù)據(jù)采集；
[0011 ]大數(shù)據(jù)傳輸層用于:將大數(shù)據(jù)采集層采集的數(shù)據(jù)傳輸?shù)酱髷?shù)據(jù)存儲(chǔ)管理層；
[0012]大數(shù)據(jù)存儲(chǔ)管理層用于:實(shí)現(xiàn)智慧城市中大數(shù)據(jù)的存儲(chǔ)，分為結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、時(shí)空數(shù)據(jù)存儲(chǔ)以及事件數(shù)據(jù)的存儲(chǔ)，存儲(chǔ)的數(shù)據(jù)是智慧城市中實(shí)時(shí)采集而來的數(shù)據(jù)，結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)或者并行處理架構(gòu)的資源池中，非結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)在分布式的文件系統(tǒng)中，時(shí)空數(shù)據(jù)存儲(chǔ)在時(shí)空數(shù)據(jù)庫(kù)中，事件數(shù)據(jù)主要是記錄事件產(chǎn)生的時(shí)間、地點(diǎn)、以及事件本身的數(shù)據(jù)；
[0013]大數(shù)據(jù)計(jì)算分析層用于:實(shí)現(xiàn)智慧城市中大數(shù)據(jù)的處理和分析，在事件發(fā)生時(shí)，以事件為驅(qū)動(dòng)進(jìn)行與事件相關(guān)的大數(shù)據(jù)的處理和分析；
[0014]大數(shù)據(jù)應(yīng)用服務(wù)層用于:為用戶和城市管理者提供大數(shù)據(jù)的服務(wù)，將大數(shù)據(jù)處理層處理和分析的結(jié)果以服務(wù)的方式實(shí)時(shí)提供給用戶。
[0015]在上述技術(shù)方案的基礎(chǔ)上，所述大數(shù)據(jù)采集層包括多個(gè)數(shù)據(jù)采集網(wǎng)關(guān)和多個(gè)事件采集代理模塊，數(shù)據(jù)采集網(wǎng)關(guān)用于采集和處理智慧城市中的數(shù)據(jù);事件采集代理模塊用于實(shí)現(xiàn)數(shù)據(jù)和事件之間的轉(zhuǎn)換，將事件的規(guī)則和條件轉(zhuǎn)換成各種采集數(shù)據(jù)的條件或者范圍，用于判定事件是否發(fā)生。
[0016]在上述技術(shù)方案的基礎(chǔ)上，所述事件指的是在智慧城市中由某種信息監(jiān)測(cè)量或某些信息監(jiān)測(cè)量狀態(tài)的改變，或者達(dá)到用戶定義的某閾值。
[0017]在上述技術(shù)方案的基礎(chǔ)上，所述大數(shù)據(jù)傳輸層由城市的互聯(lián)網(wǎng)絡(luò)和電信網(wǎng)絡(luò)構(gòu)成。
[0018]在上述技術(shù)方案的基礎(chǔ)上，所述大數(shù)據(jù)存儲(chǔ)管理層包括數(shù)據(jù)的交換與共享模塊、數(shù)據(jù)的標(biāo)準(zhǔn)化處理模塊、數(shù)據(jù)資源目錄、數(shù)據(jù)的安全管理模塊、事件相關(guān)的上下文主題庫(kù)，其中:
[0019]數(shù)據(jù)的交換與共享模塊為上層的應(yīng)用以及大數(shù)據(jù)處理層提供數(shù)據(jù)的分發(fā)、交換以及共孚機(jī)制；
[0020]數(shù)據(jù)的標(biāo)準(zhǔn)化處理模塊用于:將大數(shù)據(jù)采集層采集來的所有數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化的核對(duì)和處理，對(duì)數(shù)據(jù)的完整性、規(guī)范性、一致性、準(zhǔn)確性進(jìn)行檢查；
[0021]數(shù)據(jù)資源目錄用于:實(shí)現(xiàn)所有數(shù)據(jù)資源的管理，為大數(shù)據(jù)的處理層以及大數(shù)據(jù)服務(wù)層提供數(shù)據(jù)資源的查詢、檢索功能；
[0022]數(shù)據(jù)的安全管理模塊用于:實(shí)現(xiàn)智慧城市中大數(shù)據(jù)的安全管理、安全檢查；
[0023]事件相關(guān)的上下文主題庫(kù)用于:實(shí)現(xiàn)與事件相關(guān)的各種上下文數(shù)據(jù)的存儲(chǔ)，數(shù)據(jù)關(guān)聯(lián)分析模塊在分析后將分析的結(jié)果存放在該主題庫(kù)中。
[0024]在上述技術(shù)方案的基礎(chǔ)上，所述大數(shù)據(jù)計(jì)算分析層包括事件訂閱分發(fā)模塊、事件規(guī)則庫(kù)、事件預(yù)案模型庫(kù)、事件監(jiān)控模塊、事件處理模塊、數(shù)據(jù)關(guān)聯(lián)分析模塊，其中:
[0025]事件訂閱分發(fā)模塊用于:訂閱事件，分發(fā)給事件規(guī)則庫(kù)、事件預(yù)案模型庫(kù)、事件監(jiān)控模塊；
[0026]事件規(guī)則庫(kù)用于:存放用戶定義的每個(gè)事件的規(guī)則；
[0027]事件預(yù)案模型庫(kù)用于:存放事件發(fā)生后針對(duì)該事件需要響應(yīng)的過程的預(yù)案處理模型，事件發(fā)生后的處理過程根據(jù)預(yù)案模型庫(kù)來進(jìn)行；
[0028]事件監(jiān)控模塊用于:判斷事件的生成，根據(jù)事件定義的規(guī)則，以及采集的數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行監(jiān)控判斷事件是否發(fā)生；
[0029]事件處理模塊用于:當(dāng)事件發(fā)生后，對(duì)事件進(jìn)行處理；
[0030]數(shù)據(jù)關(guān)聯(lián)分析模塊用于:對(duì)事件相關(guān)大數(shù)據(jù)進(jìn)行實(shí)時(shí)處理和分析，根據(jù)事件預(yù)案模型庫(kù)，當(dāng)事件發(fā)生時(shí)，調(diào)用相應(yīng)的資源以及相應(yīng)的數(shù)據(jù)，進(jìn)行事件相關(guān)上下文的數(shù)據(jù)處理和分析。
[0031]在上述技術(shù)方案的基礎(chǔ)上，所述大數(shù)據(jù)應(yīng)用服務(wù)層包括資源服務(wù)總線和具體的各種智慧應(yīng)用，資源服務(wù)總線基于企業(yè)數(shù)據(jù)總線技術(shù)建立的分布式資源服務(wù)總線，實(shí)現(xiàn)對(duì)服務(wù)接口的發(fā)布與調(diào)用；資源服務(wù)總線通過提供面向服務(wù)的架構(gòu)方法，對(duì)所有需要集成的服務(wù)和應(yīng)用實(shí)行集中管理，消除不同應(yīng)用之間的技術(shù)差異，實(shí)現(xiàn)不同服務(wù)之間的通信和整合。
[0032]本發(fā)明還提供一種適用于上述體系的基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)處理方法，包括以下步驟:
[0033]S1、用戶根據(jù)業(yè)務(wù)和應(yīng)用需求訂閱事件，事件的規(guī)則由用戶指定，用戶訂閱的事件類型如果是已經(jīng)存在的，則選擇相應(yīng)的類型;如果事件類型不存在，用戶指定該事件對(duì)應(yīng)的事件處理預(yù)案；
[0034]S2、用戶訂閱事件之后，事件監(jiān)控模塊根據(jù)用戶定義的事件規(guī)則來配置事件發(fā)生的觸發(fā)條件，并開始進(jìn)行事件的監(jiān)測(cè)，監(jiān)測(cè)是通過監(jiān)測(cè)事件所涉及的若干個(gè)觸發(fā)條件來進(jìn)行的；
[0035]S3、當(dāng)事件發(fā)生時(shí)，即觸發(fā)條件滿足時(shí)，事件監(jiān)控模塊發(fā)送事件發(fā)生消息給事件處理模塊，事件處理模塊將該事件的基本信息:時(shí)間、地址信息、對(duì)應(yīng)的傳感器、傳感器的數(shù)據(jù)記錄下來，同時(shí)在事件預(yù)案模型庫(kù)中檢索出對(duì)應(yīng)該事件的預(yù)案處理方案;事件的預(yù)案處理模型包含了處理該事件的流程以及所需要的該事件相關(guān)的上下文數(shù)據(jù)需求;事件處理模塊將這些事件相關(guān)的上下文數(shù)據(jù)需求發(fā)送給數(shù)據(jù)關(guān)聯(lián)分析模塊，同時(shí)事件處理模塊將事件的發(fā)生通告給訂閱的用戶和應(yīng)用；
[0036]S4、數(shù)據(jù)關(guān)聯(lián)分析模塊根據(jù)事件處理模塊發(fā)送來的事件相關(guān)的上下文數(shù)據(jù)需求，確定出要在大數(shù)據(jù)資源池中抽取的數(shù)據(jù)范圍，確定計(jì)算方式以及所使用的資源；同時(shí)，如果數(shù)據(jù)關(guān)聯(lián)分析模塊發(fā)現(xiàn)在大數(shù)據(jù)資源池中有些數(shù)據(jù)不滿足，則將采集需求發(fā)給大數(shù)據(jù)采集層進(jìn)行進(jìn)一步的采集；
[0037]S5、大數(shù)據(jù)計(jì)算和分析能力區(qū)根據(jù)數(shù)據(jù)關(guān)聯(lián)分析模塊確定的數(shù)據(jù)范圍、計(jì)算模式以及使用的資源進(jìn)行計(jì)算和分析:
[0038]S6、計(jì)算完成后，將分析的結(jié)果以服務(wù)的形式發(fā)送給訂閱該事件的用戶，同時(shí)將分析結(jié)果存放在以事件為主題的主題庫(kù)中。
[0039 ]在上述技術(shù)方案的基礎(chǔ)上，步驟S5具體包括以下步驟:
[0040]S501、根據(jù)事件相關(guān)的上下文數(shù)據(jù)需求，在大數(shù)據(jù)資源池中抽取與事件相關(guān)的上下文數(shù)據(jù)；
[0041]S502、將抽取的數(shù)據(jù)，根據(jù)事件相關(guān)的上下文數(shù)據(jù)需求進(jìn)行關(guān)聯(lián)計(jì)算和分析，找到相應(yīng)的結(jié)果。
[0042]在上述技術(shù)方案的基礎(chǔ)上，所述事件相關(guān)的上下文數(shù)據(jù)指的是當(dāng)某個(gè)事件發(fā)生時(shí)，用戶為了處理該事件，或?qū)υ撌录鞒鲰憫?yīng)所涉及到的各種與事件相關(guān)的數(shù)據(jù)，包括事件涉及的相關(guān)的人員數(shù)據(jù)、地理空間數(shù)據(jù)、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
[0043]與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)如下:
[0044]本發(fā)明以城市發(fā)生的事件為核心，來構(gòu)建智慧城市的大數(shù)據(jù)體系，將城市的事件處理與大數(shù)據(jù)計(jì)算結(jié)合起來，當(dāng)事件發(fā)生時(shí)，以事件為驅(qū)動(dòng)實(shí)現(xiàn)相關(guān)大數(shù)據(jù)的分析和關(guān)聯(lián)，能夠有效提高大數(shù)據(jù)的管理和使用方式，通過大數(shù)據(jù)提高智慧城市的服務(wù)和決策能力，實(shí)現(xiàn)城市的智慧化的管理和服務(wù)。
【附圖說明】
[0045]圖1是本發(fā)明實(shí)施例中基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)概念的模型示意圖。
[0046]圖2是本發(fā)明實(shí)施例中基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)體系的結(jié)構(gòu)框圖。
[0047]圖3是本發(fā)明實(shí)施例中基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)的處理方法的流程圖。
【具體實(shí)施方式】
[0048]下面結(jié)合附圖及具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)描述。
[0049]參見圖1所示，智慧城市空間可以看成是一個(gè)泛在的計(jì)算環(huán)境，通過傳感器監(jiān)控的城市中的人、地、物、系統(tǒng)等各種事物，形成一個(gè)一個(gè)的智能感知的環(huán)境，每個(gè)智能環(huán)境形成的“智能感知云”提供關(guān)于城市的人、地、物、系統(tǒng)的各種數(shù)據(jù)信息，這些數(shù)據(jù)形成了支撐智慧城市的大數(shù)據(jù)信息的基礎(chǔ)。
[0050]由于這些數(shù)據(jù)量極其龐大而且種類繁多，在城市管理者和城市應(yīng)用中無法直接針對(duì)這些數(shù)據(jù)提取價(jià)值，獲得信息。對(duì)于管理者和應(yīng)用者來說更多的是關(guān)心城市發(fā)生了什么事件，面對(duì)這些事件如何高效快速、準(zhǔn)確的處理和應(yīng)對(duì)。
[0051]參見圖2所示，本發(fā)明實(shí)施例提供一種基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)體系，該大數(shù)據(jù)體系包括大數(shù)據(jù)采集層、大數(shù)據(jù)傳輸層、大數(shù)據(jù)存儲(chǔ)管理層、大數(shù)據(jù)計(jì)算分析層和大數(shù)據(jù)應(yīng)用服務(wù)層，其中:
[0052]大數(shù)據(jù)采集層用于:在智慧城市的城市環(huán)境、基礎(chǔ)設(shè)施以及各種設(shè)備上，使用物聯(lián)網(wǎng)技術(shù)進(jìn)行數(shù)據(jù)的采集，對(duì)城市的要素進(jìn)行智能感知，實(shí)現(xiàn)自動(dòng)數(shù)據(jù)采集，涵蓋城市的各個(gè)方面，使城市的基礎(chǔ)設(shè)施實(shí)現(xiàn)智能化。
[0053]大數(shù)據(jù)采集層包括多個(gè)數(shù)據(jù)采集網(wǎng)關(guān)和多個(gè)事件采集代理模塊，數(shù)據(jù)采集網(wǎng)關(guān)用于采集和處理智慧城市中的數(shù)據(jù);事件采集代理模塊用于實(shí)現(xiàn)數(shù)據(jù)和事件之間的轉(zhuǎn)換，將事件的規(guī)則和條件轉(zhuǎn)換成各種采集數(shù)據(jù)的條件或者范圍，用于判定事件是否發(fā)生。一個(gè)事件采集代理模塊可能會(huì)涉及到多個(gè)數(shù)據(jù)采集網(wǎng)關(guān)，一個(gè)數(shù)據(jù)采集網(wǎng)關(guān)通常都是負(fù)責(zé)一種類型的傳感器的數(shù)據(jù)采集。
[0054]本發(fā)明實(shí)施例中的“事件”指的是在智慧城市中由某種信息監(jiān)測(cè)量或某些信息監(jiān)測(cè)量狀態(tài)的改變，或者達(dá)到用戶定義的某閾值;它可以是被現(xiàn)實(shí)世界的具體動(dòng)作或狀態(tài)改變觸發(fā)，例如溫度達(dá)到某值，時(shí)間超過某值等，也可以是被內(nèi)部的某些動(dòng)作觸發(fā)，例如接收到某個(gè)消息或命令等。
[0055]大數(shù)據(jù)傳輸層用于:將大數(shù)據(jù)采集層采集的數(shù)據(jù)傳輸?shù)酱髷?shù)據(jù)存儲(chǔ)管理層，主要由城市的互聯(lián)網(wǎng)絡(luò)和電信網(wǎng)絡(luò)構(gòu)成。
[0056]大數(shù)據(jù)存儲(chǔ)管理層用于:實(shí)現(xiàn)智慧城市中大數(shù)據(jù)的存儲(chǔ)，分為結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、時(shí)空數(shù)據(jù)存儲(chǔ)以及事件數(shù)據(jù)的存儲(chǔ)。存儲(chǔ)的數(shù)據(jù)是智慧城市中實(shí)時(shí)采集而來的數(shù)據(jù)，結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)或者并行處理架構(gòu)的資源池中，非結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)在分布式的文件系統(tǒng)中，時(shí)空數(shù)據(jù)存儲(chǔ)在時(shí)空數(shù)據(jù)庫(kù)中。事件數(shù)據(jù)主要是記錄事件產(chǎn)生的時(shí)間、地點(diǎn)、以及事件本身的數(shù)據(jù)。
[0057]大數(shù)據(jù)存儲(chǔ)管理層包括數(shù)據(jù)的交換與共享模塊、數(shù)據(jù)的標(biāo)準(zhǔn)化處理模塊、數(shù)據(jù)資源目錄、數(shù)據(jù)的安全管理模塊、事件相關(guān)的上下文主題庫(kù)，其中:
[0058]數(shù)據(jù)的交換與共享模塊為上層的應(yīng)用以及大數(shù)據(jù)處理層提供數(shù)據(jù)的分發(fā)、交換以及共享機(jī)制。
[0059]數(shù)據(jù)的標(biāo)準(zhǔn)化處理模塊用于:將大數(shù)據(jù)采集層采集來的所有數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化的核對(duì)和處理，對(duì)數(shù)據(jù)的完整性、規(guī)范性、一致性、準(zhǔn)確性進(jìn)行檢查。
[0060]數(shù)據(jù)資源目錄用于:實(shí)現(xiàn)所有數(shù)據(jù)資源的管理，為大數(shù)據(jù)的處理層以及大數(shù)據(jù)服務(wù)層提供數(shù)據(jù)資源的查詢、檢索等功能。
[0061]數(shù)據(jù)的安全管理模塊用于:實(shí)現(xiàn)智慧城市中大數(shù)據(jù)的安全管理、安全檢查。
[0062]事件相關(guān)的上下文主題庫(kù)用于:實(shí)現(xiàn)與事件相關(guān)的各種上下文數(shù)據(jù)的存儲(chǔ)，數(shù)據(jù)關(guān)聯(lián)分析模塊在分析后將分析的結(jié)果存放在該主題庫(kù)中。
[0063]大數(shù)據(jù)計(jì)算分析層用于:實(shí)現(xiàn)智慧城市中大數(shù)據(jù)的處理和分析，在事件發(fā)生時(shí)，以事件為驅(qū)動(dòng)進(jìn)行與事件相關(guān)的大數(shù)據(jù)的處理和分析。大數(shù)據(jù)計(jì)算分析層包括事件訂閱分發(fā)模塊、事件規(guī)則庫(kù)、事件預(yù)案模型庫(kù)、事件監(jiān)控模塊、事件處理模塊、數(shù)據(jù)關(guān)聯(lián)分析模塊，其中:
[0064]事件訂閱分發(fā)模塊用于:訂閱事件，分發(fā)給事件規(guī)則庫(kù)、事件預(yù)案模型庫(kù)、事件監(jiān)控模塊；
[0065]事件規(guī)則庫(kù)用于:存放用戶定義的每個(gè)事件的規(guī)則，事件可以是簡(jiǎn)單的，也可以是多個(gè)規(guī)則復(fù)合而成的復(fù)雜事件；
[0066]事件預(yù)案模型庫(kù)用于:存放事件發(fā)生后針對(duì)該事件需要響應(yīng)的過程的預(yù)案處理模型，該模型庫(kù)是可以修改和更新的，事件發(fā)生后的處理過程根據(jù)預(yù)案模型庫(kù)來進(jìn)行；
[0067]事件監(jiān)控模塊用于:判斷事件的生成，根據(jù)事件定義的規(guī)則，以及采集的數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行監(jiān)控判斷事件是否發(fā)生；
[0068]事件處理模塊用于:當(dāng)事件發(fā)生后，對(duì)事件進(jìn)行處理；
[0069]數(shù)據(jù)關(guān)聯(lián)分析模塊用于:對(duì)事件相關(guān)大數(shù)據(jù)進(jìn)行實(shí)時(shí)處理和分析，根據(jù)事件預(yù)案模型庫(kù)，當(dāng)事件發(fā)生時(shí)，調(diào)用相應(yīng)的資源以及相應(yīng)的數(shù)據(jù)，進(jìn)行事件相關(guān)上下文的數(shù)據(jù)處理和分析。
[0070]大數(shù)據(jù)應(yīng)用服務(wù)層用于:為用戶和城市管理者提供大數(shù)據(jù)的服務(wù)，將大數(shù)據(jù)處理層處理和分析的結(jié)果以服務(wù)的方式實(shí)時(shí)提供給用戶。
[0071]大數(shù)據(jù)應(yīng)用服務(wù)層包括資源服務(wù)總線和具體的各種智慧應(yīng)用。資源服務(wù)總線基于企業(yè)數(shù)據(jù)總線技術(shù)建立的分布式資源服務(wù)總線，實(shí)現(xiàn)對(duì)服務(wù)接口的發(fā)布與調(diào)用。資源服務(wù)總線通過提供面向服務(wù)的架構(gòu)方法，對(duì)所有需要集成的服務(wù)和應(yīng)用實(shí)行集中管理，消除不同應(yīng)用之間的技術(shù)差異，實(shí)現(xiàn)不同服務(wù)之間的通信和整合。在資源服務(wù)總線之上是智慧城市的各種智慧應(yīng)用。
[0072]參見圖3所示，本發(fā)明實(shí)施例還提供一種適用于上述體系的基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)處理方法，包括以下步驟:
[0073]S1、用戶根據(jù)業(yè)務(wù)和應(yīng)用需求訂閱事件，事件的規(guī)則可以由用戶指定，用戶訂閱的事件類型如果是已經(jīng)存在的，則選擇相應(yīng)的類型;如果事件類型不存在，用戶需要指定該事件對(duì)應(yīng)的事件處理預(yù)案；
[0074]S2、用戶訂閱事件之后，事件監(jiān)控模塊根據(jù)用戶定義的事件規(guī)則來配置事件發(fā)生的觸發(fā)條件，并開始進(jìn)行事件的監(jiān)測(cè)，監(jiān)測(cè)是通過監(jiān)測(cè)事件所涉及的若干個(gè)觸發(fā)條件來進(jìn)行的；
[0075]S3、當(dāng)事件發(fā)生時(shí)，即觸發(fā)條件滿足時(shí)，事件監(jiān)控模塊發(fā)送事件發(fā)生消息給事件處理模塊，事件處理模塊會(huì)將該事件的基本信息:時(shí)間、地址信息、對(duì)應(yīng)的傳感器、傳感器的數(shù)據(jù)等記錄下來，同時(shí)在事件預(yù)案模型庫(kù)中檢索出對(duì)應(yīng)該事件的預(yù)案處理方案;事件的預(yù)案處理模型包含了處理該事件的流程以及所需要的該事件相關(guān)的上下文數(shù)據(jù)需求;事件處理模塊將這些事件相關(guān)的上下文數(shù)據(jù)需求發(fā)送給數(shù)據(jù)關(guān)聯(lián)分析模塊，同時(shí)事件處理模塊會(huì)將事件的發(fā)生通告給訂閱的用戶和應(yīng)用。
[0076]本發(fā)明實(shí)施例中“事件相關(guān)的上下文數(shù)據(jù)”指的是當(dāng)某個(gè)事件發(fā)生時(shí)，用戶為了處理該事件，或?qū)υ撌录鞒鲰憫?yīng)所涉及到的各種與事件相關(guān)的數(shù)據(jù)，包括事件涉及的相關(guān)的人員數(shù)據(jù)、地理空間數(shù)據(jù)、結(jié)構(gòu)化和非結(jié)構(gòu)化等各種數(shù)據(jù)。
[0077]S4、數(shù)據(jù)關(guān)聯(lián)分析模塊根據(jù)事件處理模塊發(fā)送來的事件相關(guān)的上下文數(shù)據(jù)需求，確定出要在大數(shù)據(jù)資源池中抽取的數(shù)據(jù)范圍，確定計(jì)算方式以及所使用的資源；同時(shí)，如果數(shù)據(jù)關(guān)聯(lián)分析模塊發(fā)現(xiàn)在大數(shù)據(jù)資源池中有些數(shù)據(jù)不滿足，還需要更詳細(xì)或者更精確的采集，則將采集需求發(fā)給大數(shù)據(jù)采集層進(jìn)行進(jìn)一步的采集；
[0078]S5、大數(shù)據(jù)計(jì)算和分析能力區(qū)根據(jù)數(shù)據(jù)關(guān)聯(lián)分析模塊確定的數(shù)據(jù)范圍、計(jì)算模式以及使用的資源進(jìn)行計(jì)算和分析:
[0079]S501、根據(jù)事件相關(guān)的上下文數(shù)據(jù)需求，在大數(shù)據(jù)資源池中抽取與事件相關(guān)的上下文數(shù)據(jù)，數(shù)據(jù)可能包含結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、時(shí)空數(shù)據(jù)等。需要注意的是，無論事件是否發(fā)生，大數(shù)據(jù)資源池中的數(shù)據(jù)都通過智能環(huán)境不斷的采集城市中的數(shù)據(jù)，例如:當(dāng)火災(zāi)事件發(fā)生時(shí)，事件相關(guān)的上下文數(shù)據(jù)需求是找到火災(zāi)發(fā)生的原因，找到最近的消防隊(duì)，計(jì)算出火災(zāi)地點(diǎn)附近有多少居民等這些需求;根據(jù)這些需求，需要到大數(shù)據(jù)資源池中抽取火災(zāi)現(xiàn)場(chǎng)的空氣環(huán)境數(shù)據(jù)，火災(zāi)的發(fā)生位置的居民信息等數(shù)據(jù)；
[0080]S502、因?yàn)榇髷?shù)據(jù)資源池中的數(shù)據(jù)都是原始采集而來的數(shù)據(jù)，不一定能直接滿足與事件相關(guān)的上下文數(shù)據(jù)需求，需要經(jīng)過大量的計(jì)算和分析，因此將抽取的數(shù)據(jù)，根據(jù)事件相關(guān)的上下文數(shù)據(jù)需求進(jìn)行關(guān)聯(lián)計(jì)算和分析，找到相應(yīng)的結(jié)果;例如:根據(jù)火災(zāi)位置信息找出最近的消防隊(duì)，根據(jù)實(shí)時(shí)路況找出最快到達(dá)路徑等；
[0081]S6、計(jì)算完成后，將分析的結(jié)果以服務(wù)的形式發(fā)送給訂閱該事件的用戶，同時(shí)將分析結(jié)果存放在以事件為主題的主題庫(kù)中。
[0082]本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明實(shí)施例進(jìn)行各種修改和變型，倘若這些修改和變型在本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則這些修改和變型也在本發(fā)明的保護(hù)范圍之內(nèi)。
[0083]說明書中未詳細(xì)描述的內(nèi)容為本領(lǐng)域技術(shù)人員公知的現(xiàn)有技術(shù)。
【主權(quán)項(xiàng)】
1.一種基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)體系，其特征在于:該大數(shù)據(jù)體系包括大數(shù)據(jù)采集層、大數(shù)據(jù)傳輸層、大數(shù)據(jù)存儲(chǔ)管理層、大數(shù)據(jù)計(jì)算分析層和大數(shù)據(jù)應(yīng)用服務(wù)層，其中: 大數(shù)據(jù)采集層用于:在智慧城市的城市環(huán)境、基礎(chǔ)設(shè)施以及各種設(shè)備上，使用物聯(lián)網(wǎng)技術(shù)進(jìn)行數(shù)據(jù)的采集，對(duì)城市的要素進(jìn)行智能感知，實(shí)現(xiàn)自動(dòng)數(shù)據(jù)采集； 大數(shù)據(jù)傳輸層用于:將大數(shù)據(jù)采集層采集的數(shù)據(jù)傳輸?shù)酱髷?shù)據(jù)存儲(chǔ)管理層； 大數(shù)據(jù)存儲(chǔ)管理層用于:實(shí)現(xiàn)智慧城市中大數(shù)據(jù)的存儲(chǔ)，分為結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、時(shí)空數(shù)據(jù)存儲(chǔ)以及事件數(shù)據(jù)的存儲(chǔ)，存儲(chǔ)的數(shù)據(jù)是智慧城市中實(shí)時(shí)采集而來的數(shù)據(jù)，結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)或者并行處理架構(gòu)的資源池中，非結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)在分布式的文件系統(tǒng)中，時(shí)空數(shù)據(jù)存儲(chǔ)在時(shí)空數(shù)據(jù)庫(kù)中，事件數(shù)據(jù)主要是記錄事件產(chǎn)生的時(shí)間、地點(diǎn)、以及事件本身的數(shù)據(jù)； 大數(shù)據(jù)計(jì)算分析層用于:實(shí)現(xiàn)智慧城市中大數(shù)據(jù)的處理和分析，在事件發(fā)生時(shí)，以事件為驅(qū)動(dòng)進(jìn)行與事件相關(guān)的大數(shù)據(jù)的處理和分析； 大數(shù)據(jù)應(yīng)用服務(wù)層用于:為用戶和城市管理者提供大數(shù)據(jù)的服務(wù)，將大數(shù)據(jù)處理層處理和分析的結(jié)果以服務(wù)的方式實(shí)時(shí)提供給用戶。2.如權(quán)利要求1所述的基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)體系，其特征在于:所述大數(shù)據(jù)采集層包括多個(gè)數(shù)據(jù)采集網(wǎng)關(guān)和多個(gè)事件采集代理模塊，數(shù)據(jù)采集網(wǎng)關(guān)用于采集和處理智慧城市中的數(shù)據(jù);事件采集代理模塊用于實(shí)現(xiàn)數(shù)據(jù)和事件之間的轉(zhuǎn)換，將事件的規(guī)則和條件轉(zhuǎn)換成各種采集數(shù)據(jù)的條件或者范圍，用于判定事件是否發(fā)生。3.如權(quán)利要求1所述的基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)體系，其特征在于:所述事件指的是在智慧城市中由某種信息監(jiān)測(cè)量或某些信息監(jiān)測(cè)量狀態(tài)的改變，或者達(dá)到用戶定義的某閾值。4.如權(quán)利要求1所述的基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)體系，其特征在于:所述大數(shù)據(jù)傳輸層由城市的互聯(lián)網(wǎng)絡(luò)和電信網(wǎng)絡(luò)構(gòu)成。5.如權(quán)利要求1所述的基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)體系，其特征在于:所述大數(shù)據(jù)存儲(chǔ)管理層包括數(shù)據(jù)的交換與共享模塊、數(shù)據(jù)的標(biāo)準(zhǔn)化處理模塊、數(shù)據(jù)資源目錄、數(shù)據(jù)的安全管理模塊、事件相關(guān)的上下文主題庫(kù)，其中: 數(shù)據(jù)的交換與共享模塊為上層的應(yīng)用以及大數(shù)據(jù)處理層提供數(shù)據(jù)的分發(fā)、交換以及共早機(jī)制； 數(shù)據(jù)的標(biāo)準(zhǔn)化處理模塊用于:將大數(shù)據(jù)采集層采集來的所有數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化的核對(duì)和處理，對(duì)數(shù)據(jù)的完整性、規(guī)范性、一致性、準(zhǔn)確性進(jìn)行檢查； 數(shù)據(jù)資源目錄用于:實(shí)現(xiàn)所有數(shù)據(jù)資源的管理，為大數(shù)據(jù)的處理層以及大數(shù)據(jù)服務(wù)層提供數(shù)據(jù)資源的查詢、檢索功能； 數(shù)據(jù)的安全管理模塊用于:實(shí)現(xiàn)智慧城市中大數(shù)據(jù)的安全管理、安全檢查； 事件相關(guān)的上下文主題庫(kù)用于:實(shí)現(xiàn)與事件相關(guān)的各種上下文數(shù)據(jù)的存儲(chǔ)，數(shù)據(jù)關(guān)聯(lián)分析模塊在分析后將分析的結(jié)果存放在該主題庫(kù)中。6.如權(quán)利要求5所述的基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)體系，其特征在于:所述大數(shù)據(jù)計(jì)算分析層包括事件訂閱分發(fā)模塊、事件規(guī)則庫(kù)、事件預(yù)案模型庫(kù)、事件監(jiān)控模塊、事件處理模塊、數(shù)據(jù)關(guān)聯(lián)分析模塊，其中: 事件訂閱分發(fā)模塊用于:訂閱事件，分發(fā)給事件規(guī)則庫(kù)、事件預(yù)案模型庫(kù)、事件監(jiān)控模塊； 事件規(guī)則庫(kù)用于:存放用戶定義的每個(gè)事件的規(guī)則； 事件預(yù)案模型庫(kù)用于:存放事件發(fā)生后針對(duì)該事件需要響應(yīng)的過程的預(yù)案處理模型，事件發(fā)生后的處理過程根據(jù)預(yù)案模型庫(kù)來進(jìn)行； 事件監(jiān)控模塊用于:判斷事件的生成，根據(jù)事件定義的規(guī)則，以及采集的數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行監(jiān)控判斷事件是否發(fā)生； 事件處理模塊用于:當(dāng)事件發(fā)生后，對(duì)事件進(jìn)行處理； 數(shù)據(jù)關(guān)聯(lián)分析模塊用于:對(duì)事件相關(guān)大數(shù)據(jù)進(jìn)行實(shí)時(shí)處理和分析，根據(jù)事件預(yù)案模型庫(kù)，當(dāng)事件發(fā)生時(shí)，調(diào)用相應(yīng)的資源以及相應(yīng)的數(shù)據(jù)，進(jìn)行事件相關(guān)上下文的數(shù)據(jù)處理和分析。7.如權(quán)利要求6所述的基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)體系，其特征在于:所述大數(shù)據(jù)應(yīng)用服務(wù)層包括資源服務(wù)總線和具體的各種智慧應(yīng)用，資源服務(wù)總線基于企業(yè)數(shù)據(jù)總線技術(shù)建立的分布式資源服務(wù)總線，實(shí)現(xiàn)對(duì)服務(wù)接口的發(fā)布與調(diào)用；資源服務(wù)總線通過提供面向服務(wù)的架構(gòu)方法，對(duì)所有需要集成的服務(wù)和應(yīng)用實(shí)行集中管理，消除不同應(yīng)用之間的技術(shù)差異，實(shí)現(xiàn)不同服務(wù)之間的通信和整合。8.—種適用于權(quán)利要求7所述體系的基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)處理方法，其特征在于，包括以下步驟: 51、用戶根據(jù)業(yè)務(wù)和應(yīng)用需求訂閱事件，事件的規(guī)則由用戶指定，用戶訂閱的事件類型如果是已經(jīng)存在的，則選擇相應(yīng)的類型；如果事件類型不存在，用戶指定該事件對(duì)應(yīng)的事件處理預(yù)案； 52、用戶訂閱事件之后，事件監(jiān)控模塊根據(jù)用戶定義的事件規(guī)則來配置事件發(fā)生的觸發(fā)條件，并開始進(jìn)行事件的監(jiān)測(cè)，監(jiān)測(cè)是通過監(jiān)測(cè)事件所涉及的若干個(gè)觸發(fā)條件來進(jìn)行的； 53、當(dāng)事件發(fā)生時(shí)，即觸發(fā)條件滿足時(shí)，事件監(jiān)控模塊發(fā)送事件發(fā)生消息給事件處理模塊，事件處理模塊將該事件的基本信息:時(shí)間、地址信息、對(duì)應(yīng)的傳感器、傳感器的數(shù)據(jù)記錄下來，同時(shí)在事件預(yù)案模型庫(kù)中檢索出對(duì)應(yīng)該事件的預(yù)案處理方案;事件的預(yù)案處理模型包含了處理該事件的流程以及所需要的該事件相關(guān)的上下文數(shù)據(jù)需求;事件處理模塊將這些事件相關(guān)的上下文數(shù)據(jù)需求發(fā)送給數(shù)據(jù)關(guān)聯(lián)分析模塊，同時(shí)事件處理模塊將事件的發(fā)生通告給訂閱的用戶和應(yīng)用； 54、數(shù)據(jù)關(guān)聯(lián)分析模塊根據(jù)事件處理模塊發(fā)送來的事件相關(guān)的上下文數(shù)據(jù)需求，確定出要在大數(shù)據(jù)資源池中抽取的數(shù)據(jù)范圍，確定計(jì)算方式以及所使用的資源；同時(shí)，如果數(shù)據(jù)關(guān)聯(lián)分析模塊發(fā)現(xiàn)在大數(shù)據(jù)資源池中有些數(shù)據(jù)不滿足，則將采集需求發(fā)給大數(shù)據(jù)采集層進(jìn)行進(jìn)一步的采集； 55、大數(shù)據(jù)計(jì)算和分析能力區(qū)根據(jù)數(shù)據(jù)關(guān)聯(lián)分析模塊確定的數(shù)據(jù)范圍、計(jì)算模式以及使用的資源進(jìn)行計(jì)算和分析: 56、計(jì)算完成后，將分析的結(jié)果以服務(wù)的形式發(fā)送給訂閱該事件的用戶，同時(shí)將分析結(jié)果存放在以事件為主題的主題庫(kù)中。9.如權(quán)利要求8所述的基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)處理方法，其特征在于，步驟S5具體包括以下步驟: S501、根據(jù)事件相關(guān)的上下文數(shù)據(jù)需求，在大數(shù)據(jù)資源池中抽取與事件相關(guān)的上下文數(shù)據(jù)； S502、將抽取的數(shù)據(jù)，根據(jù)事件相關(guān)的上下文數(shù)據(jù)需求進(jìn)行關(guān)聯(lián)計(jì)算和分析，找到相應(yīng)的結(jié)果。10.如權(quán)利要求8所述的基于事件驅(qū)動(dòng)的智慧城市大數(shù)據(jù)處理方法，其特征在于:所述事件相關(guān)的上下文數(shù)據(jù)指的是當(dāng)某個(gè)事件發(fā)生時(shí)，用戶為了處理該事件，或?qū)υ撌录鞒鲰憫?yīng)所涉及到的各種與事件相關(guān)的數(shù)據(jù)，包括事件涉及的相關(guān)的人員數(shù)據(jù)、地理空間數(shù)據(jù)、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
【文檔編號(hào)】H04L29/08GK105868395SQ201610242766
【公開日】2016年8月17日
【申請(qǐng)日】2016年4月19日
【發(fā)明人】郝俊瑞, 余少華, 向智宇, 郭嘉
【申請(qǐng)人】武漢郵電科學(xué)研究院