分布式實(shí)時(shí)數(shù)據(jù)融合系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種分布式實(shí)時(shí)數(shù)據(jù)融合系統(tǒng)。
【背景技術(shù)】
[0002]隨著傳感器技術(shù)及其相關(guān)技術(shù)的不斷發(fā)展，傳感器技術(shù)的應(yīng)用場(chǎng)景不斷豐富，工業(yè)、農(nóng)業(yè)、軍事等領(lǐng)域都在大量地使用傳感器來(lái)感知環(huán)境中的各種參數(shù)。多傳感器數(shù)據(jù)融合技術(shù)是一門集多種學(xué)科于一體的前沿技術(shù)，已經(jīng)廣泛應(yīng)用于戰(zhàn)場(chǎng)監(jiān)視、自動(dòng)目標(biāo)識(shí)別、工業(yè)過(guò)程控制、機(jī)器人、遙感、醫(yī)療診斷等領(lǐng)域。多傳感器數(shù)據(jù)融合技術(shù)經(jīng)過(guò)多年的研宄與發(fā)展已經(jīng)取得了豐碩的理論和應(yīng)用成果，計(jì)算機(jī)技術(shù)、通信技術(shù)和數(shù)據(jù)處理技術(shù)等相關(guān)技術(shù)的進(jìn)步也為多傳感器數(shù)據(jù)融合技術(shù)的發(fā)展提供了新的動(dòng)力。
[0003]在民用領(lǐng)域，傳感器技術(shù)用在自動(dòng)化生產(chǎn)過(guò)程中可以監(jiān)控生產(chǎn)設(shè)備的各項(xiàng)指標(biāo)并及時(shí)地反饋生產(chǎn)過(guò)程狀態(tài)或發(fā)出報(bào)警，確保生產(chǎn)設(shè)備處于正確的工作狀態(tài)；在軍事領(lǐng)域，傳感器的應(yīng)用更為重要，通過(guò)部署大量傳感器彌補(bǔ)了人工監(jiān)視和人工探測(cè)在距離與持久性等方面的短板，對(duì)現(xiàn)代國(guó)防工業(yè)的發(fā)展具有重要的意義。但是在目前的實(shí)際應(yīng)用中，只采用單一種類傳感器提供的感知或觀測(cè)數(shù)據(jù)已經(jīng)遠(yuǎn)遠(yuǎn)無(wú)法滿足我們?nèi)找嬖鲩L(zhǎng)的需求，必須通過(guò)使用多種類型傳感器的感知或觀測(cè)數(shù)據(jù)綜合計(jì)算與分析，得到目標(biāo)或場(chǎng)景的狀態(tài)和參數(shù)。其中，實(shí)時(shí)處理技術(shù)在多傳感器數(shù)據(jù)融合系統(tǒng)中的作用和地位越來(lái)越重要，應(yīng)用也越來(lái)越廣泛。隨著系統(tǒng)結(jié)構(gòu)越來(lái)越復(fù)雜，數(shù)據(jù)規(guī)模越來(lái)越大，隨著系統(tǒng)結(jié)構(gòu)越來(lái)越復(fù)雜，數(shù)據(jù)規(guī)模越來(lái)越大，需要一種實(shí)時(shí)數(shù)據(jù)處理策略來(lái)維持系統(tǒng)的穩(wěn)定運(yùn)行，確保采集的數(shù)據(jù)流得到實(shí)時(shí)的計(jì)算。

【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問(wèn)題是:隨著傳感器類型的增加、傳感器部署區(qū)域的擴(kuò)大，多傳感器數(shù)據(jù)融合技術(shù)的應(yīng)用場(chǎng)景也越來(lái)越多，加上現(xiàn)代數(shù)據(jù)融合的算法更加復(fù)雜，新型傳感器感知數(shù)據(jù)的結(jié)構(gòu)更加多樣，多傳感器數(shù)據(jù)融合系統(tǒng)在并發(fā)性和擴(kuò)展性上將逐漸受到限制，傳統(tǒng)的集中式數(shù)據(jù)融合系統(tǒng)面臨著嚴(yán)峻的性能考驗(yàn)。
[0005]為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種基于Storm引擎的分布式實(shí)時(shí)數(shù)據(jù)融合系統(tǒng)，充分利用了 Storm引擎分布式集群的高性能并行處理能力。
[0006]本發(fā)明的技術(shù)方案為:
[0007]—種分布式實(shí)時(shí)數(shù)據(jù)融合系統(tǒng)，包括:
[0008]數(shù)據(jù)采集模塊，設(shè)置為獲取并解析多個(gè)數(shù)據(jù)源發(fā)送的感知數(shù)據(jù)；
[0009]預(yù)處理模塊，設(shè)置為依次對(duì)各個(gè)數(shù)據(jù)源對(duì)應(yīng)的解析后的感知數(shù)據(jù)進(jìn)行濾波；
[0010]對(duì)準(zhǔn)模塊，設(shè)置為將各個(gè)數(shù)據(jù)源對(duì)應(yīng)的濾波后的感知數(shù)據(jù)對(duì)齊到同一采樣時(shí)間點(diǎn)或時(shí)間片上；
[0011]狀態(tài)估計(jì)模塊，設(shè)置為利用各個(gè)數(shù)據(jù)源對(duì)應(yīng)的對(duì)準(zhǔn)后的感知數(shù)據(jù)生成并更新曲線擬合方程，并根據(jù)更新后的曲線擬合方程預(yù)估目標(biāo)特征數(shù)據(jù)；
[0012]威脅估計(jì)模塊，設(shè)置為根據(jù)預(yù)設(shè)的決策策略和預(yù)估的目標(biāo)特征數(shù)據(jù)，得到?jīng)Q策信息；以及
[0013]決策信息分發(fā)模塊，設(shè)置為將決策信息分發(fā)給訂閱用戶；
[0014]依次運(yùn)行在Storm引擎的五個(gè)工作節(jié)點(diǎn)上的數(shù)據(jù)采集模塊、預(yù)處理模塊、對(duì)準(zhǔn)模塊、狀態(tài)估計(jì)模塊和威脅估計(jì)模塊均受控于Storm引擎的Zookeeper節(jié)點(diǎn)。
[0015]優(yōu)選的是，所述數(shù)據(jù)采集模塊包括:
[0016]采集單元，設(shè)置為與各個(gè)數(shù)據(jù)源建立連接，并獲取各個(gè)數(shù)據(jù)源發(fā)送的感知數(shù)據(jù)；
[0017]格式化單元，設(shè)置為對(duì)各個(gè)數(shù)據(jù)源對(duì)應(yīng)的感知數(shù)據(jù)進(jìn)行格式化；
[0018]去冗余單元，設(shè)置為刪除各個(gè)數(shù)據(jù)源對(duì)應(yīng)的格式化后的感知數(shù)據(jù)中的冗余數(shù)據(jù)，得到各個(gè)數(shù)據(jù)源對(duì)應(yīng)的解析后的感知數(shù)據(jù)。
[0019]優(yōu)選的是，所述數(shù)據(jù)采集模塊還包括與所述去冗余單元電連接的日志生成單元，所述日志生成單元設(shè)置為利用各個(gè)數(shù)據(jù)源對(duì)應(yīng)的解析后的感知數(shù)據(jù)生成運(yùn)行日志，并將生成的運(yùn)行日志提交給日志記錄單元。
[0020]優(yōu)選的是，所述預(yù)處理模塊包括:
[0021]第一接收單元，設(shè)置為接收所述數(shù)據(jù)采集模塊發(fā)送的各個(gè)數(shù)據(jù)源對(duì)應(yīng)的解析后的感知數(shù)據(jù)；
[0022]第一緩存單元，設(shè)置為依次對(duì)每個(gè)數(shù)據(jù)源，將所述數(shù)據(jù)源對(duì)應(yīng)的解析后的感知數(shù)據(jù)存入相應(yīng)的預(yù)處理緩存隊(duì)列中；
[0023]第一判斷單元，設(shè)置為判斷所述預(yù)處理緩存隊(duì)列中的解析后的感知數(shù)據(jù)的個(gè)數(shù)是否大于或者等于預(yù)設(shè)的第一數(shù)據(jù)個(gè)數(shù)；
[0024]濾波單元，設(shè)置為在所述預(yù)處理緩存隊(duì)列里的解析后的感知數(shù)據(jù)的個(gè)數(shù)大于或者等于第一數(shù)據(jù)個(gè)數(shù)時(shí)，從所述預(yù)處理緩存隊(duì)列里取出從當(dāng)前時(shí)刻起的第一數(shù)據(jù)個(gè)數(shù)的解析后的感知數(shù)據(jù)，并將取出的解析后的感知數(shù)據(jù)裝載進(jìn)濾波算法執(zhí)行器中進(jìn)行分析和計(jì)算，得到所述數(shù)據(jù)源對(duì)應(yīng)的濾波后的感知數(shù)據(jù)。
[0025]優(yōu)選的是，所述預(yù)處理模塊還包括與所述濾波單元電連接的優(yōu)化單元；
[0026]所述優(yōu)化單元，設(shè)置為依次對(duì)每個(gè)數(shù)據(jù)源，利用所述數(shù)據(jù)源對(duì)應(yīng)的濾波后的感知數(shù)據(jù)替換所述數(shù)據(jù)源對(duì)應(yīng)的預(yù)處理緩存隊(duì)列里的解析后的感知數(shù)據(jù)。
[0027]優(yōu)選的是，所述對(duì)準(zhǔn)模塊包括:
[0028]第二接收單元，設(shè)置為接收所述預(yù)處理模塊發(fā)送的各個(gè)數(shù)據(jù)源對(duì)應(yīng)的濾波后的感知數(shù)據(jù)；
[0029]第二緩存單元，設(shè)置為依次對(duì)每個(gè)數(shù)據(jù)源，將所述數(shù)據(jù)源對(duì)應(yīng)的濾波后的感知數(shù)據(jù)存入相應(yīng)的對(duì)準(zhǔn)緩存隊(duì)列中；
[0030]第二判斷單元，設(shè)置為判斷各個(gè)數(shù)據(jù)源對(duì)應(yīng)的對(duì)準(zhǔn)緩存隊(duì)列中的濾波后的感知數(shù)據(jù)的個(gè)數(shù)是否均大于或者等于預(yù)設(shè)的第二數(shù)據(jù)個(gè)數(shù)；
[0031]對(duì)準(zhǔn)單元，設(shè)置為在各個(gè)數(shù)據(jù)源對(duì)應(yīng)的對(duì)準(zhǔn)緩存隊(duì)列中的濾波后的感知數(shù)據(jù)的個(gè)數(shù)均大于或者等于第二數(shù)據(jù)個(gè)數(shù)時(shí)，依次從各個(gè)數(shù)據(jù)源對(duì)應(yīng)的對(duì)準(zhǔn)緩存隊(duì)列里取出從當(dāng)前時(shí)刻起的第二數(shù)據(jù)個(gè)數(shù)的濾波后的感知數(shù)據(jù)，并將取出的濾波后的感知數(shù)據(jù)裝載進(jìn)對(duì)準(zhǔn)算法執(zhí)行器中進(jìn)行分析和計(jì)算，得到各個(gè)數(shù)據(jù)源對(duì)應(yīng)的對(duì)準(zhǔn)后的感知數(shù)據(jù)。
[0032]優(yōu)選的是，所述狀態(tài)估計(jì)模塊包括:
[0033]第三接收單元，設(shè)置為接收所述對(duì)準(zhǔn)模塊發(fā)送的各個(gè)數(shù)據(jù)源對(duì)應(yīng)的對(duì)準(zhǔn)后的感知數(shù)據(jù)；
[0034]第三緩存單元，設(shè)置為依次對(duì)每個(gè)數(shù)據(jù)源，將所述數(shù)據(jù)源對(duì)應(yīng)的對(duì)準(zhǔn)后的感知數(shù)據(jù)存入相應(yīng)的狀態(tài)估計(jì)緩存隊(duì)列中；
[0035]第三判斷單元，設(shè)置為判斷所述狀態(tài)估計(jì)緩存隊(duì)列里的對(duì)準(zhǔn)后的感知數(shù)據(jù)的個(gè)數(shù)是否大于或者等于預(yù)設(shè)的第三數(shù)據(jù)個(gè)數(shù)；
[0036]狀態(tài)估計(jì)單元，設(shè)置為在所述狀態(tài)估計(jì)緩存隊(duì)列里的對(duì)準(zhǔn)后的感知數(shù)據(jù)的個(gè)數(shù)大于或者等于第三數(shù)據(jù)個(gè)數(shù)時(shí)，從所述狀態(tài)估計(jì)緩存隊(duì)列里取出從當(dāng)前時(shí)刻起的第三數(shù)據(jù)個(gè)數(shù)的對(duì)準(zhǔn)后的感知數(shù)據(jù)，并將取出的對(duì)準(zhǔn)后的感知數(shù)據(jù)裝載進(jìn)狀態(tài)估計(jì)算法執(zhí)行器中進(jìn)行分析和計(jì)算，得到所述目標(biāo)特征數(shù)據(jù)。
[0037]優(yōu)選的是，所述威脅估計(jì)模塊包括:
[0038]第四接收單元，設(shè)置為接收所述狀態(tài)估計(jì)模塊發(fā)送的目標(biāo)特征數(shù)據(jù)；
[0039]策略執(zhí)行單元，設(shè)置為根據(jù)所述目標(biāo)特征數(shù)據(jù)從評(píng)估策略集中選擇威脅評(píng)估策略；
[0040]決策信息生成單元，設(shè)置為根據(jù)所述目標(biāo)特征數(shù)據(jù)和所述威脅評(píng)估策略，生成決策?目息O
[0041]優(yōu)選的是，所述決策信息分發(fā)模塊包括:
[0042]第一連接構(gòu)建單元，設(shè)置為構(gòu)建集成在威脅估計(jì)模塊中的發(fā)布者客戶端與決策信息分發(fā)單元之間的第一連接；
[0043]第二連接構(gòu)建單元，設(shè)置為構(gòu)建集成在決策信息分發(fā)模塊中的訂閱者客戶端與服務(wù)器之間的第二連接；
[0044]主題創(chuàng)建單元，設(shè)置為在決策信息分布模塊中創(chuàng)建主題；
[0045]決策信息分布單元，設(shè)置為通過(guò)所述第一連接接收所述威脅估計(jì)模塊發(fā)送的決策信息且使所述決策信息與一個(gè)主題相關(guān)聯(lián)，并通過(guò)所述第二連接將與訂閱用戶對(duì)應(yīng)的服務(wù)器訂閱的主題相關(guān)聯(lián)的決策信息分發(fā)給所述訂閱用戶。
[0046]優(yōu)選的是，所述數(shù)據(jù)源為傳感器、視頻輸出設(shè)備、雷達(dá)或者集成網(wǎng)關(guān)。
[0047]與現(xiàn)有技術(shù)相比，上述方案中的一個(gè)或多個(gè)實(shí)施例可以具有如下優(yōu)點(diǎn)或有益效果:
[0048]應(yīng)用本發(fā)明實(shí)施例提供的分布式實(shí)時(shí)數(shù)據(jù)融合系統(tǒng)基于分布式軟件架構(gòu)，采用Storm實(shí)時(shí)流式計(jì)算引擎作為系統(tǒng)的基礎(chǔ)設(shè)施，使數(shù)據(jù)采集模塊、預(yù)處理模塊、對(duì)準(zhǔn)模塊、狀態(tài)估計(jì)模塊和威脅估計(jì)模塊分別運(yùn)行在Storm集群環(huán)境中的五個(gè)工作節(jié)點(diǎn)上，能夠充分利用Storm分布式集群的高性能并行處理能力，大大提高了分布式實(shí)時(shí)數(shù)據(jù)融合系統(tǒng)的數(shù)據(jù)實(shí)時(shí)處理能力、容錯(cuò)性和穩(wěn)定性，增強(qiáng)了分布式實(shí)時(shí)數(shù)據(jù)融合系統(tǒng)的并發(fā)性和擴(kuò)展性，克服了傳統(tǒng)的集中式數(shù)據(jù)融合系統(tǒng)存在的在并發(fā)性和擴(kuò)展性上將受到限制的技術(shù)缺陷。
[0049]本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書(shū)中闡述，并且部分地從說(shuō)明書(shū)中變得顯而易見(jiàn)，或者通過(guò)實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過(guò)在說(shuō)明書(shū)、權(quán)利要求書(shū)以及附圖中所特別指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和獲得。
【附圖說(shuō)明】
[0050]附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，并且構(gòu)成說(shuō)明書(shū)的一部分，與本發(fā)明的實(shí)施例共同用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的限制。在附圖中:
[0051]圖1示出了本發(fā)明實(shí)施例分布式實(shí)時(shí)數(shù)據(jù)融合系統(tǒng)的結(jié)構(gòu)示意圖；
[0052]圖2示出了圖1所示的分布式實(shí)時(shí)數(shù)據(jù)融合系統(tǒng)的具體結(jié)構(gòu)示意圖；
[0053]圖3示出了本發(fā)明實(shí)施例分布式實(shí)時(shí)數(shù)據(jù)融合系統(tǒng)的拓