本發(fā)明涉及綜合態(tài)勢感知,特別是涉及一種態(tài)勢信息可視分析方法、裝置、電子設備及存儲介質。
背景技術:
1、綜合態(tài)勢感知領域針對多源態(tài)勢信息,從不同角度和層級進行全維展示,為全面及時掌握空間環(huán)境域的能力現(xiàn)狀提供支撐,是開展任務籌劃、方案實施等典型任務的決策基礎,是任務精準實現(xiàn)的重要保證。隨著信息化的快速發(fā)展,綜合態(tài)勢感知被提升到了戰(zhàn)略高度,已經(jīng)成為綜合信息展示領域聚焦的熱點。另外,綜合態(tài)勢是多種態(tài)勢信息的有機組合,在將多源態(tài)勢數(shù)據(jù)資源進行規(guī)范處理,并有序挖掘形成態(tài)勢信息的基礎上,以一定的組織管理方式,才能確保態(tài)勢信息在處理、分析、展現(xiàn)等過程中的完整性和準確性。
2、目前,在大數(shù)據(jù)時代噴薄而出的數(shù)據(jù)洪流之下,態(tài)勢數(shù)據(jù)類型越來越豐富,?數(shù)據(jù)量也越來越大,數(shù)據(jù)已經(jīng)具有了明顯的大數(shù)據(jù)特征,如大容量、多類型、難辨識以及高價值等。隨著業(yè)務與信息技術融合的日益加深,綜合態(tài)勢感知技術面臨的不再是數(shù)據(jù)匱乏的問題,而是如何從海量的數(shù)據(jù)中淘取價值,讓數(shù)據(jù)具有利用價值,但是傳統(tǒng)的綜合態(tài)勢感知技術往往受到態(tài)勢數(shù)據(jù)海量類型的影響,而對態(tài)勢數(shù)據(jù)的分析較為不全面,分析準確度也較低,且可視效果不夠直觀。
技術實現(xiàn)思路
1、基于此,有必要針對上述技術問題,提供一種能夠提高多種來源的多種類型的態(tài)勢數(shù)據(jù)的分析全面性、分析準確度以及可視直觀效果的態(tài)勢信息可視分析方法、裝置、電子設備及存儲介質。
2、本發(fā)明提供了一種態(tài)勢信息可視分析方法,所述方法包括:
3、通過計算引擎通過監(jiān)聽消息消費隊列中的數(shù)據(jù)獲取數(shù)據(jù)源,并對所述數(shù)據(jù)源進行清洗預處理,以將清洗預處理后的所述數(shù)據(jù)源存儲于數(shù)據(jù)庫中;
4、調用算法平臺對所述數(shù)據(jù)庫中的數(shù)據(jù)源進行計算和深度分析,得到態(tài)勢信息畫像,并將所述態(tài)勢信息畫像存儲于數(shù)據(jù)畫像信息數(shù)據(jù)庫中,以實時調取所述態(tài)勢信息畫像映射至信息可視層;
5、其中,所述數(shù)據(jù)源包括多種來源的多類型綜合態(tài)勢數(shù)據(jù),所述綜合態(tài)勢數(shù)據(jù)包括結構化數(shù)據(jù)和非結構化數(shù)據(jù),所述算法平臺為基于多種基礎算法和機器學習框架構建得到的,所述基礎算法至少包括文本挖掘算法、分類算法、回歸算法、聚類算法以及推薦算法。
6、在其中一個實施例中,所述通過計算引擎通過監(jiān)聽消息消費隊列中的數(shù)據(jù)獲取數(shù)據(jù)源,并對所述數(shù)據(jù)源進行清洗預處理,以將清洗預處理后的所述數(shù)據(jù)源存儲于數(shù)據(jù)庫中,包括:
7、從所述數(shù)據(jù)源中提取出所述非結構化數(shù)據(jù),并通過定義的過濾模型或過濾規(guī)則對所述非結構化數(shù)據(jù)進行數(shù)據(jù)質量過濾,以濾除所述非結構化數(shù)據(jù)中數(shù)據(jù)質量不滿足設定要求的低質量數(shù)據(jù);
8、調用布隆過濾器技術對過濾處理后的所述非結構化數(shù)據(jù)進行數(shù)據(jù)去重,得到預處理后的所述非結構化數(shù)據(jù),并將所述結構化數(shù)據(jù)以及預處理后的所述非結構化數(shù)據(jù)存儲于所述數(shù)據(jù)庫中。
9、在其中一個實施例中,所述調用算法平臺對所述數(shù)據(jù)庫中的數(shù)據(jù)源進行計算和深度分析,得到態(tài)勢信息畫像,并將所述態(tài)勢信息畫像存儲于數(shù)據(jù)畫像信息數(shù)據(jù)庫中,以實時調取所述態(tài)勢信息畫像映射至信息可視層,之前包括:
10、基于所述文本挖掘算法、分類算法、回歸算法、聚類算法以及推薦算法結合機器學習框架flink構建所述算法平臺;
11、通過所述算法平臺抽象出對應所述多種來源的多類型綜合態(tài)勢數(shù)據(jù)的計算和深度分析算法,以對所述算法平臺進行優(yōu)化,得到每種類型的所述綜合態(tài)勢數(shù)據(jù)的計算框架。
12、在其中一個實施例中,所述調用算法平臺對所述數(shù)據(jù)庫中的數(shù)據(jù)源進行計算和深度分析,得到態(tài)勢信息畫像,并將所述態(tài)勢信息畫像存儲于數(shù)據(jù)畫像信息數(shù)據(jù)庫中,以實時調取所述態(tài)勢信息畫像映射至信息可視層,包括:
13、調用所述算法平臺根據(jù)不同類型的所述綜合態(tài)勢數(shù)據(jù)建立每種類型的所述綜合態(tài)勢數(shù)據(jù)對應的分析處理模型;
14、通過所述分析處理模型對同一類型的所述綜合態(tài)勢數(shù)據(jù)對應的多個處理分析任務進行擬合,得到處理分析結果;
15、其中,相同類型的所述綜合態(tài)勢數(shù)據(jù)之間數(shù)據(jù)共享,且同一類型的所述綜合態(tài)勢數(shù)據(jù)對應的每個處理分析任務之間具有共享參數(shù),所述處理分析結果由每個處理分析任務的多個子任務的分析結果輸出進行融合得到的。
16、在其中一個實施例中,所述調用算法平臺對所述數(shù)據(jù)庫中的數(shù)據(jù)源進行計算和深度分析,得到態(tài)勢信息畫像,并將所述態(tài)勢信息畫像存儲于數(shù)據(jù)畫像信息數(shù)據(jù)庫中,以實時調取所述態(tài)勢信息畫像映射至信息可視層,還包括:
17、根據(jù)對應類型的所述綜合態(tài)勢數(shù)據(jù)的數(shù)據(jù)離散程度和數(shù)據(jù)規(guī)模確定所述處理分析任務中每個子任務的融合權重,并調用融合公式根據(jù)所述每個子任務的融合權重對多個子任務的分析結果輸出進行融合;
18、其中,所述融合權重的計算公式為:
19、;
20、式中,為所述綜合態(tài)勢數(shù)據(jù)的數(shù)據(jù)離散程度,為所述綜合態(tài)勢數(shù)據(jù)的數(shù)據(jù)規(guī)模,為融合權重;
21、所述融合公式為:
22、;
23、式中,?result為融合后的總分值,?n為子任務個數(shù),?resulti為第i個子任務的分析結果輸出,為第i個子任務的融合權重。
24、在其中一個實施例中,所述調用算法平臺對所述數(shù)據(jù)庫中的數(shù)據(jù)源進行計算和深度分析,得到態(tài)勢信息畫像,并將所述態(tài)勢信息畫像存儲于數(shù)據(jù)畫像信息數(shù)據(jù)庫中,以實時調取所述態(tài)勢信息畫像映射至信息可視層,還包括:
25、獲取多種來源的所述綜合態(tài)勢數(shù)據(jù),并將所述綜合態(tài)勢數(shù)據(jù)劃分為離線數(shù)據(jù)和實時數(shù)據(jù);
26、調用所述算法平臺中的離線處理層和近線分析層對所述離線數(shù)據(jù)和實時數(shù)據(jù)進行加工分析,并調用在線計算層對加工分析后的所述離線數(shù)據(jù)和實時數(shù)據(jù)進行計算和深度分析,以生成所述態(tài)勢信息畫像;
27、其中,所述算法平臺包括所述離線處理層、近線分析層以及在線計算層。
28、在其中一個實施例中,所述算法平臺還包括所述信息可視層;
29、所述調用算法平臺對所述數(shù)據(jù)庫中的數(shù)據(jù)源進行計算和深度分析,得到態(tài)勢信息畫像,并將所述態(tài)勢信息畫像存儲于數(shù)據(jù)畫像信息數(shù)據(jù)庫中,以實時調取所述態(tài)勢信息畫像映射至信息可視層,還包括:
30、從所述數(shù)據(jù)畫像信息數(shù)據(jù)庫中實時調取所述在線計算層生成的所述態(tài)勢信息畫像,并發(fā)送至所述算法平臺的信息可視層,以將所述態(tài)勢信息畫像映射至所述信息可視層。
31、本發(fā)明還提供了一種態(tài)勢信息可視分析裝置,所述裝置包括:
32、數(shù)據(jù)預處理模塊,用于通過計算引擎通過監(jiān)聽消息消費隊列中的數(shù)據(jù)獲取數(shù)據(jù)源,并對所述數(shù)據(jù)源進行清洗預處理,以將清洗預處理后的所述數(shù)據(jù)源存儲于數(shù)據(jù)庫中;
33、信息可視分析模塊,用于調用算法平臺對所述數(shù)據(jù)庫中的數(shù)據(jù)源進行計算和深度分析,得到態(tài)勢信息畫像,并將所述態(tài)勢信息畫像存儲于數(shù)據(jù)畫像信息數(shù)據(jù)庫中,以實時調取所述態(tài)勢信息畫像映射至信息可視層;
34、其中,所述數(shù)據(jù)源包括多種來源的多類型綜合態(tài)勢數(shù)據(jù),所述綜合態(tài)勢數(shù)據(jù)包括結構化數(shù)據(jù)和非結構化數(shù)據(jù),所述算法平臺為基于多種基礎算法和機器學習框架構建得到的,所述基礎算法至少包括文本挖掘算法、分類算法、回歸算法、聚類算法以及推薦算法。
35、本發(fā)明還提供了一種電子設備,包括存儲器和處理器,所述存儲器存儲有計算機程序,所述處理器執(zhí)行所述計算機程序時實現(xiàn)如上述任一種所述的態(tài)勢信息可視分析方法。
36、本發(fā)明還提供了一種計算機存儲介質,存儲有計算機程序,所述計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一種所述的態(tài)勢信息可視分析方法。
37、上述態(tài)勢信息可視分析方法、裝置、電子設備及存儲介質,通過建立對各類型態(tài)勢數(shù)據(jù)資源的集成化管理,使用大數(shù)據(jù)處理和可視化分析技術進行態(tài)勢感知,能夠較為全面地分析不同類型的多源態(tài)勢信息,進而充分發(fā)揮智能檢測以及大數(shù)據(jù)深度分析等技術的優(yōu)勢,形成要素齊全且內容豐富的綜合態(tài)勢信息,將多類型態(tài)勢數(shù)據(jù)的分析結果進行有機組合,最終形成綜合態(tài)勢信息可視化視圖,能夠實現(xiàn)對空間環(huán)境態(tài)勢的全面把握和精準掌控,提高了多種來源的多種類型的態(tài)勢數(shù)據(jù)的分析全面性、分析準確度以及可視效果的直觀性。