本申請(qǐng)實(shí)施例涉及數(shù)據(jù)分析，尤其涉及一種基于深度學(xué)習(xí)的大數(shù)據(jù)分析與處理方法及系統(tǒng)。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等技術(shù)的快速發(fā)展，企業(yè)每天都會(huì)產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)不僅包含結(jié)構(gòu)化的數(shù)據(jù)庫(kù)記錄，還包括圖片、視頻、文本等非結(jié)構(gòu)化信息。對(duì)于金融、零售、制造等行業(yè)而言，如何從這些海量且多樣化的數(shù)據(jù)中提取有價(jià)值的信息，以支持實(shí)時(shí)決策成為了關(guān)鍵挑戰(zhàn)。

2、目前市面上已經(jīng)存在一些針對(duì)大數(shù)據(jù)分析與處理的技術(shù)解決方案，主要包括傳統(tǒng)的統(tǒng)計(jì)分析方法以及較為先進(jìn)的機(jī)器學(xué)習(xí)算法。近年來，隨著深度學(xué)習(xí)技術(shù)的進(jìn)步，出現(xiàn)了許多基于深度神經(jīng)網(wǎng)絡(luò)的大數(shù)據(jù)分析工具和服務(wù)平臺(tái)。這類系統(tǒng)通常采用分布式計(jì)算框架來處理大規(guī)模數(shù)據(jù)集，并利用復(fù)雜的模型如卷積神經(jīng)網(wǎng)絡(luò)(cnn)或循環(huán)神經(jīng)網(wǎng)絡(luò)(rnn)來進(jìn)行特征提取和模式識(shí)別。

3、盡管現(xiàn)有的大數(shù)據(jù)分析方案在一定程度上滿足了企業(yè)的需求，但大多數(shù)現(xiàn)有系統(tǒng)主要針對(duì)特定類型的數(shù)據(jù)設(shè)計(jì)（比如圖像或時(shí)間序列），難以靈活應(yīng)對(duì)多種格式混合的數(shù)據(jù)流。尤其是在面對(duì)實(shí)時(shí)性要求較高的應(yīng)用場(chǎng)景時(shí)，傳統(tǒng)方法由于計(jì)算量大而導(dǎo)致響應(yīng)速度慢，無法實(shí)現(xiàn)即時(shí)反饋。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例提供一種基于深度學(xué)習(xí)的大數(shù)據(jù)分析與處理方法及系統(tǒng)，用以解決現(xiàn)有技術(shù)中數(shù)據(jù)分析處理效果差的問題。

2、第一方面，本申請(qǐng)實(shí)施例提供了一種基于深度學(xué)習(xí)的大數(shù)據(jù)分析與處理方法，包括：

3、利用實(shí)時(shí)數(shù)據(jù)收集系統(tǒng)，對(duì)來自多個(gè)異構(gòu)數(shù)據(jù)源的包含結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)數(shù)據(jù)流進(jìn)行采集處理，得到數(shù)據(jù)流集合；

4、根據(jù)分布式計(jì)算框架，對(duì)所述數(shù)據(jù)流集合進(jìn)行即時(shí)模式識(shí)別處理，得到行為模式信息；

5、基于所述行為模式信息，構(gòu)建能夠反映不同數(shù)據(jù)節(jié)點(diǎn)之間關(guān)聯(lián)性的動(dòng)態(tài)數(shù)據(jù)圖譜；

6、利用圖神經(jīng)網(wǎng)絡(luò)模型，對(duì)所述動(dòng)態(tài)數(shù)據(jù)圖譜中的節(jié)點(diǎn)與邊的關(guān)系進(jìn)行分析處理，得到各節(jié)點(diǎn)間的影響因子并預(yù)測(cè)未來趨勢(shì)；

7、根據(jù)所述影響因子及預(yù)測(cè)結(jié)果，生成決策支持信息；

8、將所述決策支持信息反饋至實(shí)時(shí)數(shù)據(jù)源，形成閉環(huán)控制機(jī)制。

9、第二方面，本申請(qǐng)實(shí)施例提供了一種基于深度學(xué)習(xí)的大數(shù)據(jù)分析與處理系統(tǒng)，包括:

10、采集模塊，用于利用實(shí)時(shí)數(shù)據(jù)收集系統(tǒng)，對(duì)來自多個(gè)異構(gòu)數(shù)據(jù)源的包含結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)數(shù)據(jù)流進(jìn)行采集處理，得到數(shù)據(jù)流集合；

11、識(shí)別模塊，用于根據(jù)分布式計(jì)算框架，對(duì)所述數(shù)據(jù)流集合進(jìn)行即時(shí)模式識(shí)別處理，得到行為模式信息；

12、構(gòu)建模塊，用于基于所述行為模式信息，構(gòu)建能夠反映不同數(shù)據(jù)節(jié)點(diǎn)之間關(guān)聯(lián)性的動(dòng)態(tài)數(shù)據(jù)圖譜；

13、分析模塊，用于利用圖神經(jīng)網(wǎng)絡(luò)模型，對(duì)所述動(dòng)態(tài)數(shù)據(jù)圖譜中的節(jié)點(diǎn)與邊的關(guān)系進(jìn)行分析處理，得到各節(jié)點(diǎn)間的影響因子并預(yù)測(cè)未來趨勢(shì)；

14、生成模塊，用于根據(jù)所述影響因子及預(yù)測(cè)結(jié)果，生成決策支持信息；

15、反饋模塊，用于將所述決策支持信息反饋至實(shí)時(shí)數(shù)據(jù)源，形成閉環(huán)控制機(jī)制。

16、第三方面，本申請(qǐng)實(shí)施例了一種計(jì)算設(shè)備，包括處理組件以及存儲(chǔ)組件；所述存儲(chǔ)組件存儲(chǔ)一個(gè)或多個(gè)計(jì)算機(jī)指令；所述一個(gè)或多個(gè)計(jì)算機(jī)指令用以被所述處理組件調(diào)用執(zhí)行，實(shí)現(xiàn)如上述第一方面任一項(xiàng)所述的一種基于深度學(xué)習(xí)的大數(shù)據(jù)分析與處理方法。

17、第四方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被計(jì)算機(jī)執(zhí)行時(shí)，實(shí)現(xiàn)如上述第一方面任一項(xiàng)所述的一種基于深度學(xué)習(xí)的大數(shù)據(jù)分析與處理方法。

18、本申請(qǐng)實(shí)施例中，對(duì)來自多個(gè)異構(gòu)數(shù)據(jù)源的包含結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)數(shù)據(jù)流進(jìn)行采集處理，得到數(shù)據(jù)流集合；根據(jù)分布式計(jì)算框架，對(duì)數(shù)據(jù)流集合進(jìn)行即時(shí)模式識(shí)別處理，得到行為模式信息；基于行為模式信息，構(gòu)建能夠反映不同數(shù)據(jù)節(jié)點(diǎn)之間關(guān)聯(lián)性的動(dòng)態(tài)數(shù)據(jù)圖譜；利用圖神經(jīng)網(wǎng)絡(luò)模型，對(duì)動(dòng)態(tài)數(shù)據(jù)圖譜中的節(jié)點(diǎn)與邊的關(guān)系進(jìn)行分析處理，得到各節(jié)點(diǎn)間的影響因子并預(yù)測(cè)未來趨勢(shì)；根據(jù)影響因子及預(yù)測(cè)結(jié)果，生成決策支持信息；將決策支持信息反饋至實(shí)時(shí)數(shù)據(jù)源，形成閉環(huán)控制機(jī)制。本申請(qǐng)?zhí)峁┑募夹g(shù)方案能夠快速整合來自不同源的數(shù)據(jù)，識(shí)別出行為模式信息，并基于此進(jìn)行趨勢(shì)預(yù)測(cè)，最終為業(yè)務(wù)提供及時(shí)有效的決策支持。

19、本申請(qǐng)的這些方面或其他方面在以下實(shí)施例的描述中會(huì)更加簡(jiǎn)明易懂。

技術(shù)特征：

1.一種基于深度學(xué)習(xí)的大數(shù)據(jù)分析與處理方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用圖神經(jīng)網(wǎng)絡(luò)模型，對(duì)所述動(dòng)態(tài)數(shù)據(jù)圖譜中的節(jié)點(diǎn)與邊的關(guān)系進(jìn)行分析處理，得到各節(jié)點(diǎn)間的影響因子并預(yù)測(cè)未來趨勢(shì),包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述利用所述全局表示，通過回歸算法，對(duì)所述動(dòng)態(tài)數(shù)據(jù)圖譜中的節(jié)點(diǎn)間的影響因子進(jìn)行分析處理，得到量化節(jié)點(diǎn)間相互作用程度的影響因子，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于所述影響因子，利用循環(huán)神經(jīng)網(wǎng)絡(luò)擴(kuò)展的圖神經(jīng)網(wǎng)絡(luò)模型，對(duì)歷史動(dòng)態(tài)數(shù)據(jù)圖譜的變化趨勢(shì)進(jìn)行預(yù)測(cè)處理，得到未來節(jié)點(diǎn)的狀態(tài)及其相互間的影響，包括：

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述在所述圖神經(jīng)網(wǎng)絡(luò)模型的每一層中，對(duì)所述動(dòng)態(tài)數(shù)據(jù)圖譜中的節(jié)點(diǎn)以及與所述節(jié)點(diǎn)的相鄰節(jié)點(diǎn)的信息進(jìn)行交換處理，以更新每個(gè)節(jié)點(diǎn)的特征表示，得到更新后的節(jié)點(diǎn)特征，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述行為模式信息，構(gòu)建能夠反映不同數(shù)據(jù)節(jié)點(diǎn)之間關(guān)聯(lián)性的動(dòng)態(tài)數(shù)據(jù)圖譜,包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)分布式計(jì)算框架，對(duì)所述數(shù)據(jù)流集合進(jìn)行即時(shí)模式識(shí)別處理，得到行為模式信息，包括：

8.一種基于深度學(xué)習(xí)的大數(shù)據(jù)分析與處理系統(tǒng)，其特征在于，包括:

9.一種計(jì)算設(shè)備，其特征在于，包括處理組件以及存儲(chǔ)組件；所述存儲(chǔ)組件存儲(chǔ)一個(gè)或多個(gè)計(jì)算機(jī)指令；所述一個(gè)或多個(gè)計(jì)算機(jī)指令用以被所述處理組件調(diào)用執(zhí)行，實(shí)現(xiàn)如權(quán)利要求1~7任一項(xiàng)所述的一種基于深度學(xué)習(xí)的大數(shù)據(jù)分析與處理方法。

10.一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，其特征在于，存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被計(jì)算機(jī)執(zhí)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1~7任一項(xiàng)所述的一種基于深度學(xué)習(xí)的大數(shù)據(jù)分析與處理方法。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┮环N基于深度學(xué)習(xí)的大數(shù)據(jù)分析與處理方法及系統(tǒng)。其中，對(duì)來自多個(gè)異構(gòu)數(shù)據(jù)源的包含結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)數(shù)據(jù)流進(jìn)行采集處理，得到數(shù)據(jù)流集合；對(duì)數(shù)據(jù)流集合進(jìn)行即時(shí)模式識(shí)別處理，得到行為模式信息；基于行為模式信息，構(gòu)建能夠反映不同數(shù)據(jù)節(jié)點(diǎn)之間關(guān)聯(lián)性的動(dòng)態(tài)數(shù)據(jù)圖譜；對(duì)動(dòng)態(tài)數(shù)據(jù)圖譜中的節(jié)點(diǎn)與邊的關(guān)系進(jìn)行分析處理，得到各節(jié)點(diǎn)間的影響因子并預(yù)測(cè)未來趨勢(shì)；根據(jù)影響因子及預(yù)測(cè)結(jié)果，生成決策支持信息；將決策支持信息反饋至實(shí)時(shí)數(shù)據(jù)源，形成閉環(huán)控制機(jī)制。本申請(qǐng)?zhí)峁┑募夹g(shù)方案能夠快速整合來自不同源的數(shù)據(jù)，識(shí)別出行為模式信息，并基于此進(jìn)行趨勢(shì)預(yù)測(cè)，最終為業(yè)務(wù)提供及時(shí)有效的決策支持。

技術(shù)研發(fā)人員：朱瑾鵬,任東英,王永祥,吳棣,商標(biāo)
受保護(hù)的技術(shù)使用者：北京數(shù)洋智慧科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2