本技術(shù)實(shí)施例涉及大數(shù)據(jù)分析，尤其涉及一種ai大數(shù)據(jù)實(shí)時(shí)處理與分析的方法及系統(tǒng)。

背景技術(shù)：

1、隨著數(shù)據(jù)源的多樣化和數(shù)據(jù)量的激增，傳統(tǒng)的數(shù)據(jù)處理方法已經(jīng)難以滿(mǎn)足實(shí)時(shí)性和準(zhǔn)確性的需求，來(lái)自不同數(shù)據(jù)源的實(shí)時(shí)數(shù)據(jù)流通常具有不同的格式和結(jié)構(gòu)，這給數(shù)據(jù)的集成和分析帶來(lái)了巨大的挑戰(zhàn)，此外，數(shù)據(jù)流中的時(shí)間關(guān)聯(lián)性和空間關(guān)聯(lián)性往往需要復(fù)雜的處理才能有效利用，而現(xiàn)有的數(shù)據(jù)融合技術(shù)在動(dòng)態(tài)調(diào)整數(shù)據(jù)流組合方式方面存在不足，導(dǎo)致數(shù)據(jù)融合的效果不佳，無(wú)法為后續(xù)的分析提供高質(zhì)量的數(shù)據(jù)基礎(chǔ)。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供一種ai大數(shù)據(jù)實(shí)時(shí)處理與分析的方法及系統(tǒng)，用以解決現(xiàn)有技術(shù)中傳統(tǒng)的數(shù)據(jù)分析方法在面對(duì)大規(guī)模、高維度的實(shí)時(shí)數(shù)據(jù)時(shí)，難以快速識(shí)別出數(shù)據(jù)中的模式和趨勢(shì)，特別是在處理多源異構(gòu)數(shù)據(jù)時(shí)，難以高效地進(jìn)行處理和分析并生成有價(jià)值的分析報(bào)告的問(wèn)題。

2、第一方面，本發(fā)明實(shí)施例提供一種ai大數(shù)據(jù)實(shí)時(shí)處理與分析方法，包括：

3、獲取來(lái)自不同數(shù)據(jù)源的實(shí)時(shí)數(shù)據(jù)流，并將所述實(shí)時(shí)數(shù)據(jù)流映射至預(yù)設(shè)的數(shù)據(jù)結(jié)構(gòu)框架內(nèi)，獲得初始數(shù)據(jù)流；

4、通過(guò)實(shí)時(shí)數(shù)據(jù)融合引擎融合處理所述初始數(shù)據(jù)流，得到目標(biāo)實(shí)時(shí)數(shù)據(jù)流，所述實(shí)時(shí)數(shù)據(jù)融合引擎用于根據(jù)初始數(shù)據(jù)流中的時(shí)間關(guān)聯(lián)性和空間關(guān)聯(lián)性動(dòng)態(tài)調(diào)整初始數(shù)據(jù)流的組合方式；

5、利用數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法對(duì)所述目標(biāo)實(shí)時(shí)數(shù)據(jù)流進(jìn)行模式識(shí)別與趨勢(shì)分析處理，生成目標(biāo)洞察報(bào)告；

6、利用智能決策單元優(yōu)化處理所述目標(biāo)洞察報(bào)告，生成策略信息，并執(zhí)行所述策略信息，得到最佳分析結(jié)果。

7、可選地，通過(guò)實(shí)時(shí)數(shù)據(jù)融合引擎融合處理所述初始數(shù)據(jù)流，得到目標(biāo)實(shí)時(shí)數(shù)據(jù)流，所述實(shí)時(shí)數(shù)據(jù)融合引擎用于根據(jù)初始數(shù)據(jù)流中的時(shí)間關(guān)聯(lián)性和空間關(guān)聯(lián)性動(dòng)態(tài)調(diào)整初始數(shù)據(jù)流的組合方式，包括：

8、利用地理信息系統(tǒng)技術(shù)對(duì)所述初始數(shù)據(jù)流進(jìn)行處理，得到統(tǒng)一空間參考框架的數(shù)據(jù)流；

9、利用自然語(yǔ)言處理技術(shù)和機(jī)器學(xué)習(xí)模型，對(duì)統(tǒng)一空間參考框架的數(shù)據(jù)流進(jìn)行識(shí)別與解析處理，得到具有時(shí)間與空間屬性的數(shù)據(jù)流；

10、利用復(fù)雜事件處理技術(shù)和模式匹配對(duì)具有時(shí)間與空間屬性的數(shù)據(jù)流進(jìn)行動(dòng)態(tài)檢測(cè)與智能組合處理，得到優(yōu)化數(shù)據(jù)流；

11、利用數(shù)據(jù)清洗和異常檢測(cè)機(jī)制對(duì)所述優(yōu)化數(shù)據(jù)流進(jìn)行質(zhì)量保證處理，并采用標(biāo)準(zhǔn)化協(xié)議和數(shù)據(jù)格式進(jìn)行處理，得到目標(biāo)實(shí)時(shí)數(shù)據(jù)流。

12、可選地，利用復(fù)雜事件處理技術(shù)和模式匹配對(duì)具有時(shí)間與空間屬性的數(shù)據(jù)流進(jìn)行動(dòng)態(tài)檢測(cè)與智能組合處理，得到優(yōu)化數(shù)據(jù)流，包括：

13、使用復(fù)雜事件處理技術(shù)和高級(jí)時(shí)間序列分析算法對(duì)初始實(shí)時(shí)數(shù)據(jù)流中的事件進(jìn)行實(shí)時(shí)監(jiān)測(cè)、關(guān)聯(lián)分析以及模式識(shí)別處理，識(shí)別出具有相近時(shí)間戳和地理位置的組合數(shù)據(jù)流；

14、利用模式匹配算法和規(guī)則引擎對(duì)組合數(shù)據(jù)流進(jìn)行多維度模式識(shí)別和規(guī)則匹配處理，確定組合數(shù)據(jù)流之間的關(guān)聯(lián)關(guān)系和組合方式，并通過(guò)自定義規(guī)則庫(kù)進(jìn)行動(dòng)態(tài)調(diào)整，得到調(diào)整后的組合數(shù)據(jù)流；

15、結(jié)合時(shí)間窗口管理和空間鄰近性約束對(duì)所述調(diào)整后的組合數(shù)據(jù)流進(jìn)行動(dòng)態(tài)分組、聚合以及過(guò)濾處理，同時(shí)去除冗余和噪聲數(shù)據(jù)，以獲得優(yōu)化組合數(shù)據(jù)流；

16、通過(guò)自適應(yīng)調(diào)整機(jī)制和機(jī)器學(xué)習(xí)模型對(duì)所述優(yōu)化組合數(shù)據(jù)流進(jìn)行動(dòng)態(tài)調(diào)整和優(yōu)化處理改進(jìn)組合策略，得到最佳組合數(shù)據(jù)流；

17、利用實(shí)時(shí)反饋和性能監(jiān)控機(jī)制對(duì)所述最佳組合數(shù)據(jù)流進(jìn)行評(píng)估和優(yōu)化處理，生成優(yōu)化數(shù)據(jù)流。

18、可選地，通過(guò)自適應(yīng)調(diào)整機(jī)制和機(jī)器學(xué)習(xí)模型對(duì)所述優(yōu)化組合數(shù)據(jù)流進(jìn)行動(dòng)態(tài)調(diào)整和優(yōu)化處理改進(jìn)組合策略，得到最佳組合數(shù)據(jù)流，包括：

19、利用自適應(yīng)調(diào)整機(jī)制對(duì)所述最佳組合數(shù)據(jù)流進(jìn)行實(shí)時(shí)監(jiān)測(cè)和分析處理，得到變化趨勢(shì)和異常情況；

20、利用機(jī)器學(xué)習(xí)模型對(duì)最佳組合數(shù)據(jù)流進(jìn)行預(yù)測(cè)和優(yōu)化處理，得到初始組合策略；

21、利用強(qiáng)化學(xué)習(xí)算法對(duì)所述初始組合策略進(jìn)行模擬和評(píng)估處理，迭代優(yōu)化改進(jìn)初始組合策略，得到適應(yīng)最佳組合數(shù)據(jù)流動(dòng)態(tài)變化的目標(biāo)組合策略；

22、利用在線(xiàn)學(xué)習(xí)技術(shù)對(duì)所述目標(biāo)組合策略進(jìn)行即時(shí)學(xué)習(xí)和調(diào)整處理，得到快速響應(yīng)數(shù)據(jù)模式的動(dòng)態(tài)組合策略；

23、利用反饋和性能監(jiān)控機(jī)制對(duì)所述動(dòng)態(tài)組合策略進(jìn)行驗(yàn)證和調(diào)整處理，得到最佳組合策略。

24、可選地，利用強(qiáng)化學(xué)習(xí)算法對(duì)初始組合策略進(jìn)行模擬和評(píng)估處理，迭代優(yōu)化改進(jìn)初始組合策略，得到適應(yīng)數(shù)據(jù)流動(dòng)態(tài)變化的目標(biāo)組合策略，包括：

25、利用強(qiáng)化學(xué)習(xí)算法對(duì)所述初始組合策略進(jìn)行多輪模擬處理，識(shí)別不同環(huán)境下的策略表現(xiàn)和問(wèn)題，以獲得模擬結(jié)果；

26、利用獎(jiǎng)勵(lì)機(jī)制對(duì)所述模擬結(jié)果進(jìn)行評(píng)估處理，生成反饋信號(hào)，同時(shí)所述反饋信號(hào)對(duì)初始組合策略進(jìn)行迭代更新處理，調(diào)整和優(yōu)化所述初始組合策略的參數(shù)，并得到優(yōu)化組合策略；

27、通過(guò)預(yù)測(cè)次數(shù)的模擬和評(píng)估過(guò)程，使優(yōu)化組合策略適應(yīng)最佳組合數(shù)據(jù)流，得到目標(biāo)組合策略；

28、可選地，利用數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法對(duì)所述目標(biāo)實(shí)時(shí)數(shù)據(jù)流進(jìn)行模式識(shí)別與趨勢(shì)分析處理，生成目標(biāo)洞察報(bào)告,包括：

29、利用數(shù)據(jù)預(yù)處理技術(shù)對(duì)目標(biāo)實(shí)時(shí)數(shù)據(jù)流進(jìn)行清洗、去噪以及標(biāo)準(zhǔn)化處理，得到分析數(shù)據(jù)；

30、基于所述分析數(shù)據(jù)提取關(guān)鍵特征，并選擇關(guān)鍵特征中的特征子集，得到數(shù)據(jù)表示；

31、利用聚類(lèi)和分類(lèi)算法對(duì)數(shù)據(jù)表示進(jìn)行模式識(shí)別處理，識(shí)別數(shù)據(jù)表示中的隱含模式和類(lèi)別，得到模式識(shí)別結(jié)果；

32、對(duì)所述模式識(shí)別結(jié)果進(jìn)行趨勢(shì)分析處理，識(shí)別數(shù)據(jù)表示中的長(zhǎng)期趨勢(shì)和短期波動(dòng)，得到趨勢(shì)分析結(jié)果；

33、利用自然語(yǔ)言處理技術(shù)和報(bào)告生成模板，將模式識(shí)別結(jié)果和趨勢(shì)分析結(jié)果進(jìn)行整合和解釋?zhuān)赡繕?biāo)洞察報(bào)告。

34、可選地，利用智能決策單元優(yōu)化處理所述目標(biāo)洞察報(bào)告，生成策略信息，并執(zhí)行所述策略信息，得到最佳分析結(jié)果，包括：

35、利用自然語(yǔ)言處理技術(shù)和語(yǔ)義分析對(duì)目標(biāo)洞察報(bào)告進(jìn)行深度理解和關(guān)鍵信息提取，得到結(jié)構(gòu)化數(shù)據(jù)表示；

36、對(duì)所述結(jié)構(gòu)化數(shù)據(jù)表示進(jìn)行模式識(shí)別、趨勢(shì)分析以及風(fēng)險(xiǎn)評(píng)估，識(shí)別出業(yè)務(wù)影響因素和機(jī)會(huì)點(diǎn)；

37、對(duì)識(shí)別出的業(yè)務(wù)影響因素和機(jī)會(huì)點(diǎn)進(jìn)行邏輯推理、規(guī)則匹配以及模擬優(yōu)化，生成初步?jīng)Q策建議；

38、對(duì)所述初步?jīng)Q策建議進(jìn)行調(diào)整，生成最佳策略信息；

39、利用自動(dòng)化執(zhí)行系統(tǒng)和api接口將最佳策略信息實(shí)時(shí)輸出至執(zhí)行系統(tǒng)，并通過(guò)實(shí)況和性能指標(biāo)，生成執(zhí)行結(jié)果；

40、對(duì)所述執(zhí)行結(jié)果進(jìn)行解釋和多維度可視化展示，生成最佳分析結(jié)果。

41、第二方面，本技術(shù)實(shí)施例提供一種ai大數(shù)據(jù)實(shí)時(shí)處理與分析方法及系統(tǒng)，包括：

42、獲取模塊，獲取來(lái)自不同數(shù)據(jù)源的實(shí)時(shí)數(shù)據(jù)流，并將所述實(shí)時(shí)數(shù)據(jù)流映射至預(yù)設(shè)的數(shù)據(jù)結(jié)構(gòu)框架內(nèi)，獲得初始數(shù)據(jù)流；

43、處理模塊，過(guò)實(shí)時(shí)數(shù)據(jù)融合引擎融合處理所述初始數(shù)據(jù)流，得到目標(biāo)實(shí)時(shí)數(shù)據(jù)流，所述實(shí)時(shí)數(shù)據(jù)融合引擎用于根據(jù)初始數(shù)據(jù)流中的時(shí)間關(guān)聯(lián)性和空間關(guān)聯(lián)性動(dòng)態(tài)調(diào)整初始數(shù)據(jù)流的組合方式；

44、生成模塊，利用數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法對(duì)所述目標(biāo)實(shí)時(shí)數(shù)據(jù)流進(jìn)行模式識(shí)別與趨勢(shì)分析處理，生成目標(biāo)洞察報(bào)告；

45、執(zhí)行模塊，利用智能決策單元優(yōu)化處理所述目標(biāo)洞察報(bào)告，生成策略信息，并執(zhí)行所述策略信息，得到最佳分析結(jié)果。

46、第三方面，本發(fā)明實(shí)施例還提供了一種計(jì)算設(shè)備，其特征在于，包括處理組件以及存儲(chǔ)組件；所述存儲(chǔ)組件存儲(chǔ)一個(gè)或多個(gè)計(jì)算機(jī)指令；所述一個(gè)或多個(gè)計(jì)算機(jī)指令用以被所述處理組件調(diào)用執(zhí)行，實(shí)現(xiàn)第一方面所述的一種ai大數(shù)據(jù)實(shí)時(shí)處理與分析方法。

47、第四方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，其特征在于，存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被計(jì)算機(jī)執(zhí)行時(shí)，實(shí)現(xiàn)第一方面所述的一種ai大數(shù)據(jù)實(shí)時(shí)處理與分析方法。

48、本技術(shù)實(shí)施例中，獲取來(lái)自不同數(shù)據(jù)源的實(shí)時(shí)數(shù)據(jù)流，并將所述實(shí)時(shí)數(shù)據(jù)流映射至預(yù)設(shè)的數(shù)據(jù)結(jié)構(gòu)框架內(nèi)獲得初始數(shù)據(jù)流，通過(guò)實(shí)時(shí)數(shù)據(jù)融合引擎融合處理初始數(shù)據(jù)流，得到目標(biāo)實(shí)時(shí)數(shù)據(jù)流，再利用數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法對(duì)目標(biāo)實(shí)時(shí)數(shù)據(jù)流進(jìn)行模式識(shí)別與趨勢(shì)分析處理，生成目標(biāo)洞察報(bào)告，利用智能決策單元優(yōu)化處理目標(biāo)洞察報(bào)告，生成策略信息并執(zhí)行，得到最佳分析結(jié)果，本技術(shù)提供的技術(shù)方案不僅解決了多源異構(gòu)數(shù)據(jù)的集成和融合問(wèn)題，還提高了數(shù)據(jù)分析的實(shí)時(shí)性和準(zhǔn)確性，實(shí)現(xiàn)了從數(shù)據(jù)到?jīng)Q策的高效轉(zhuǎn)換，顯著提升了業(yè)務(wù)流程的智能化水平和響應(yīng)速度。

49、本技術(shù)的這些方面或其他方面在以下實(shí)施例的描述中會(huì)更加簡(jiǎn)明易懂。