欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

基于時(shí)序分析模型進(jìn)行數(shù)據(jù)智能分析的處理方法與流程

文檔序號:40657226發(fā)布日期:2025-01-10 19:09閱讀:7來源:國知局
基于時(shí)序分析模型進(jìn)行數(shù)據(jù)智能分析的處理方法與流程

本發(fā)明涉及人工智能,特別是指一種基于時(shí)序分析模型進(jìn)行數(shù)據(jù)智能分析的處理方法及基于時(shí)序分析模型進(jìn)行數(shù)據(jù)智能分析的處理裝置、電子設(shè)備和計(jì)算機(jī)可讀存儲介質(zhì)。


背景技術(shù):

1、時(shí)序數(shù)據(jù),也叫做?時(shí)間序列數(shù)據(jù)(time?series?data),?是一種在不同時(shí)間點(diǎn)上收集到的數(shù)據(jù),用于描述現(xiàn)象隨時(shí)間變化的情況。這類數(shù)據(jù)反映了某一事物或現(xiàn)象隨時(shí)間的變化狀態(tài)或程度,比如包括股票價(jià)格、氣溫變化、網(wǎng)站訪問量、服務(wù)器日志等。其特征包括時(shí)間戳、數(shù)值和可能的周期性、趨勢性、季節(jié)性。

2、而時(shí)間序列數(shù)據(jù)還可以細(xì)分為季度數(shù)據(jù)、月度數(shù)據(jù)等,具有周期性變化的特性。時(shí)間序列數(shù)據(jù)庫(time-series?database)是專門用于處理帶時(shí)間標(biāo)簽(按照時(shí)間的順序變化,即時(shí)間序列化)的數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng)。時(shí)間序列數(shù)據(jù)的典型特點(diǎn)包括產(chǎn)生頻率快、嚴(yán)重依賴于采集時(shí)間、測點(diǎn)多信息量大等。

3、時(shí)間序列數(shù)據(jù)廣泛應(yīng)用于各個(gè)領(lǐng)域。例如,物聯(lián)網(wǎng)(iot)領(lǐng)域需要處理大量實(shí)時(shí)數(shù)據(jù);工業(yè)互聯(lián)網(wǎng)中,生產(chǎn)、測試、運(yùn)行階段都會產(chǎn)生大量帶時(shí)間戳的傳感器數(shù)據(jù);車聯(lián)網(wǎng)中,通過車機(jī)報(bào)文的分析可以實(shí)現(xiàn)實(shí)時(shí)車載網(wǎng)絡(luò)質(zhì)量監(jiān)控等;電力行業(yè)中,發(fā)、輸、變、配、用各個(gè)環(huán)節(jié)產(chǎn)生的數(shù)據(jù)量巨大,需要專業(yè)的時(shí)序數(shù)據(jù)庫進(jìn)行處理。

4、時(shí)序數(shù)據(jù)分析在各個(gè)領(lǐng)域發(fā)揮著重要作用,主要包括以下方面:

5、1.預(yù)測未來趨勢:通過對歷史數(shù)據(jù)的分析,時(shí)序數(shù)據(jù)分析可以預(yù)測未來的市場走向、用戶需求等,為企業(yè)決策提供依據(jù)。

6、2.優(yōu)化資源配置:通過分析歷史數(shù)據(jù),時(shí)序數(shù)據(jù)分析可以幫助企業(yè)優(yōu)化生產(chǎn)、庫存、人力資源等資源配置,降低成本,提高效率。

7、3.質(zhì)量控制:時(shí)序數(shù)據(jù)分析可以監(jiān)測產(chǎn)品質(zhì)量,及時(shí)發(fā)現(xiàn)潛在問題,避免不良品產(chǎn)生,提高產(chǎn)品質(zhì)量。

8、4.風(fēng)險(xiǎn)預(yù)警:通過對金融市場、自然災(zāi)害等風(fēng)險(xiǎn)因素的分析,時(shí)序數(shù)據(jù)分析可以為企業(yè)提供風(fēng)險(xiǎn)預(yù)警,幫助規(guī)避潛在風(fēng)險(xiǎn)。

9、5.智能決策:時(shí)序數(shù)據(jù)分析與人工智能技術(shù)相結(jié)合,可以為企業(yè)提供智能決策支持,提高決策效率。

10、然而,傳統(tǒng)時(shí)序數(shù)據(jù)的分析、處理方式,目前主要有如下方式:

11、一是采用人工分析方式。人工分析需要依賴分析技術(shù)人員具有較高的數(shù)據(jù)分析能力和入門水平,需要掌控較高水準(zhǔn)的數(shù)據(jù)分析專業(yè)能力,因此入門要求高,且人力成本極大。再者就是,面對大數(shù)據(jù)分析,人力分析有限,無法提高對大數(shù)據(jù)的數(shù)據(jù)分析效率,僅僅適應(yīng)小規(guī)模的數(shù)據(jù)分析場景。

12、二是傳統(tǒng)采用包括自回歸(ar)、移動平均線(ma)、自回歸移動平均線(arma)、自回歸綜合移動平均線(arima)等機(jī)器分析方式,雖然可以提高一定的效率,但是這些模型依賴于事件發(fā)生的先后順序進(jìn)行預(yù)測,因此分析能力缺乏寬泛性和準(zhǔn)確性。因?yàn)閭鹘y(tǒng)模型只能按照時(shí)序數(shù)據(jù)的產(chǎn)生事件/日志等,來進(jìn)行分析預(yù)測,無法從時(shí)序數(shù)據(jù)中精確、隨機(jī)尋找時(shí)序數(shù)據(jù)特征,因此傳統(tǒng)模型面對時(shí)序數(shù)據(jù)的預(yù)測分析缺乏較強(qiáng)的泛化能力、魯棒性和穩(wěn)定性。


技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)存在的技術(shù)問題,本發(fā)明提供了如下技術(shù)方案:

2、一方面,提供了一種基于時(shí)序分析模型進(jìn)行數(shù)據(jù)智能分析的處理方法,該方法由電子設(shè)備實(shí)現(xiàn),該方法包括:

3、s1、實(shí)時(shí)采集并解析前端上傳的任務(wù)數(shù)據(jù)包,從解析數(shù)據(jù)中提取若干時(shí)間戳下的時(shí)序數(shù)據(jù);

4、s2、遍歷各個(gè)時(shí)間戳下的所述時(shí)序數(shù)據(jù),并將所述時(shí)序數(shù)據(jù)導(dǎo)入預(yù)設(shè)的時(shí)序分析模型,通過所述時(shí)序分析模型識別所述時(shí)序數(shù)據(jù)中的時(shí)序變化特征,并輸出;

5、s3、將所述時(shí)序變化特征與對應(yīng)的所述時(shí)間戳綁定,生成對應(yīng)所述任務(wù)數(shù)據(jù)包的數(shù)據(jù)變化特征表;

6、s4、將所述數(shù)據(jù)變化特征表原路反饋至前端。

7、優(yōu)選地,所述s1、實(shí)時(shí)采集并解析前端上傳的任務(wù)數(shù)據(jù)包,從解析數(shù)據(jù)中提取若干時(shí)間戳下的時(shí)序數(shù)據(jù),包括:

8、通過后臺服務(wù)器接口,接收前端上傳的所述任務(wù)數(shù)據(jù)包;

9、識別所述任務(wù)數(shù)據(jù)包的數(shù)據(jù)格式,并根據(jù)對應(yīng)數(shù)據(jù)格式的解析方式,解析所述任務(wù)數(shù)據(jù)包,得到標(biāo)記有時(shí)間戳的若干時(shí)序數(shù)據(jù);

10、遍歷識別各個(gè)所述時(shí)序數(shù)據(jù)的時(shí)間戳,基于為所述任務(wù)數(shù)據(jù)包預(yù)先配置的數(shù)字簽名判斷規(guī)則,判斷各個(gè)所述時(shí)序數(shù)據(jù)的時(shí)間戳是否合格:

11、若合格,則將合格的所述時(shí)間戳下的所述時(shí)序數(shù)據(jù),按序存儲至后臺mysql數(shù)據(jù)庫中;

12、反之,則通知前端對不合格的所述時(shí)間戳下的所述時(shí)序數(shù)據(jù),進(jìn)行數(shù)據(jù)補(bǔ)正;待補(bǔ)正合格后,再存儲至后臺mysql數(shù)據(jù)庫。

13、優(yōu)選地,所述遍歷識別各個(gè)所述時(shí)序數(shù)據(jù)的時(shí)間戳,基于為所述任務(wù)數(shù)據(jù)包預(yù)先配置的數(shù)字簽名判斷規(guī)則,判斷各個(gè)所述時(shí)序數(shù)據(jù)的時(shí)間戳是否合格,包括:

14、提取為所述任務(wù)數(shù)據(jù)包預(yù)先配置的所述數(shù)字簽名判斷規(guī)則中的關(guān)鍵詞和判斷邏輯,其中,所述關(guān)鍵詞包括時(shí)間戳類型、版本、格式和數(shù)字簽名標(biāo)識;

15、將所述關(guān)鍵詞和所述判斷邏輯,作為提示詞輸入至預(yù)設(shè)的llm大語言模型中;

16、遍歷各個(gè)所述時(shí)序數(shù)據(jù)的時(shí)間戳,通過所述llm大語言模型基于所述關(guān)鍵詞和所述判斷邏輯識別并判斷各個(gè)所述時(shí)序數(shù)據(jù)的時(shí)間戳是否合格。

17、優(yōu)選地,所述時(shí)序分析模型的構(gòu)建方法,包括:

18、收集并解析若干歷史任務(wù)數(shù)據(jù)包,構(gòu)建由若干歷史時(shí)序數(shù)據(jù)組成的歷史時(shí)序數(shù)據(jù)集;

19、遍歷所述歷史時(shí)序數(shù)據(jù)集,找出不具備時(shí)間戳的歷史時(shí)序數(shù)據(jù)并剔除,并將剩余的歷史時(shí)序數(shù)據(jù)按照時(shí)間戳進(jìn)行排序,重新組建所述歷史時(shí)序數(shù)據(jù)集;

20、對所述歷史時(shí)序數(shù)據(jù)集進(jìn)行特征工程,提取時(shí)序變化特征,包括:

21、提取各個(gè)所述歷史時(shí)序數(shù)據(jù)的時(shí)間戳中的時(shí)間特征;

22、利用預(yù)設(shè)的滑動窗口,提取各個(gè)所述歷史時(shí)序數(shù)據(jù)中的數(shù)據(jù)特征值包括均值、方差、最大值、最小值和/或中位數(shù);

23、識別并提取各個(gè)所述時(shí)間特征之間的趨勢/季節(jié)性特征;

24、統(tǒng)計(jì)各個(gè)所述時(shí)間特征、所述數(shù)據(jù)特征值以及對應(yīng)各個(gè)所述時(shí)間特征的所述趨勢/季節(jié)性特征,組建特征集;

25、按照預(yù)設(shè)比例,將所述特征集劃分為訓(xùn)練集和驗(yàn)證集;

26、將所述訓(xùn)練集輸入預(yù)設(shè)的時(shí)序分析模型中,進(jìn)行特征學(xué)習(xí),并按照預(yù)設(shè)的模型優(yōu)化迭代條件,對所述時(shí)序分析模型進(jìn)行優(yōu)化訓(xùn)練;

27、使用所述驗(yàn)證集,對所述時(shí)序分析模型進(jìn)行性能驗(yàn)證:

28、若驗(yàn)證通過,則部署并應(yīng)用所述時(shí)序分析模型;

29、反之,重復(fù)上述步驟。

30、優(yōu)選地,所述遍歷所述歷史時(shí)序數(shù)據(jù)集,找出不具備時(shí)間戳的歷史時(shí)序數(shù)據(jù)并剔除,包括:

31、遍歷所述歷史時(shí)序數(shù)據(jù)集中各個(gè)所述歷史時(shí)序數(shù)據(jù)的時(shí)間戳,通過所述llm大語言模型基于所述關(guān)鍵詞,識別出所述歷史時(shí)序數(shù)據(jù)集中不具備所述關(guān)鍵詞的所述歷史時(shí)序數(shù)據(jù);

32、將遍歷識別到的不具備所述關(guān)鍵詞的所述歷史時(shí)序數(shù)據(jù),從所述歷史時(shí)序數(shù)據(jù)集中剔除。

33、優(yōu)選地,所述s3、將所述時(shí)序變化特征與對應(yīng)的所述時(shí)間戳綁定,生成對應(yīng)所述任務(wù)數(shù)據(jù)包的數(shù)據(jù)變化特征表,包括:

34、讀取各個(gè)所述時(shí)間戳下的所述時(shí)序變化特征:所述時(shí)間特征、所述數(shù)據(jù)特征值以及對應(yīng)各個(gè)所述時(shí)間特征的所述趨勢/季節(jié)性特征;

35、按照時(shí)序,依次將各個(gè)所述時(shí)間戳下的所述時(shí)序變化特征寫入預(yù)設(shè)的數(shù)據(jù)波動統(tǒng)計(jì)表中,為所述任務(wù)數(shù)據(jù)包生成本次的數(shù)據(jù)變化特征表。

36、另一方面,提供了一種基于時(shí)序分析模型進(jìn)行數(shù)據(jù)智能分析的處理裝置,所述基于時(shí)序分析模型進(jìn)行數(shù)據(jù)智能分析的處理裝置用于實(shí)現(xiàn)所述基于時(shí)序分析模型進(jìn)行數(shù)據(jù)智能分析的處理方法,所述裝置包括:

37、前端,用于實(shí)時(shí)采集并上傳任務(wù)數(shù)據(jù)包至數(shù)據(jù)分析后臺;

38、數(shù)據(jù)分析后臺,包括:

39、數(shù)據(jù)接收端口,用于接收前端上傳的任務(wù)數(shù)據(jù)包;

40、解析模塊,用于解析所述任務(wù)數(shù)據(jù)包,并從解析數(shù)據(jù)中提取若干時(shí)間戳下的時(shí)序數(shù)據(jù);

41、時(shí)序特征識別模塊,用于遍歷各個(gè)時(shí)間戳下的所述時(shí)序數(shù)據(jù),并將所述時(shí)序數(shù)據(jù)導(dǎo)入預(yù)設(shè)的時(shí)序分析模型,通過所述時(shí)序分析模型識別所述時(shí)序數(shù)據(jù)中的時(shí)序變化特征,并輸出;

42、時(shí)序波動記錄模塊,用于將所述時(shí)序變化特征與對應(yīng)的所述時(shí)間戳綁定,生成對應(yīng)所述任務(wù)數(shù)據(jù)包的數(shù)據(jù)變化特征表;

43、消息中心,用于將所述數(shù)據(jù)變化特征表原路反饋至前端;

44、mysql數(shù)據(jù)庫,用于存儲數(shù)據(jù);

45、所述前端與所述數(shù)據(jù)分析后臺通信連接。

46、另一方面,提供一種電子設(shè)備,所述電子設(shè)備包括:處理器;存儲器,所述存儲器上存儲有計(jì)算機(jī)可讀指令,所述計(jì)算機(jī)可讀指令被所述處理器執(zhí)行時(shí),實(shí)現(xiàn)如上述基于時(shí)序分析模型進(jìn)行數(shù)據(jù)智能分析的處理方法中的任一項(xiàng)方法。

47、另一方面,提供了一種計(jì)算機(jī)可讀存儲介質(zhì),所述存儲介質(zhì)中存儲有至少一條指令,所述至少一條指令由處理器加載并執(zhí)行以實(shí)現(xiàn)上述基于時(shí)序分析模型進(jìn)行數(shù)據(jù)智能分析的處理方法中的任一項(xiàng)方法。

48、本發(fā)明實(shí)施例提供的技術(shù)方案帶來的有益效果至少包括:

49、本發(fā)明基于時(shí)間戳對前端上傳的任務(wù)數(shù)據(jù)包進(jìn)行時(shí)序數(shù)據(jù)的解析、提取,得到當(dāng)前任務(wù)中各個(gè)時(shí)間戳下的時(shí)序數(shù)據(jù)。為了便于后臺對當(dāng)前任務(wù)進(jìn)行數(shù)據(jù)分析,通過對各時(shí)間戳下的時(shí)序數(shù)據(jù)進(jìn)行ai識別,利用大數(shù)據(jù)訓(xùn)練構(gòu)建的時(shí)序分析模型識別時(shí)序數(shù)據(jù)中的時(shí)序變化特征(時(shí)間特征,數(shù)據(jù)特征值包括均值、方差、最大值、最小值和/或中位數(shù),以及趨勢/季節(jié)性特征),記錄當(dāng)前任務(wù)中各時(shí)間戳下時(shí)序數(shù)據(jù)的時(shí)序變化特征并生當(dāng)前成任務(wù)的數(shù)據(jù)變化特征表,便于用戶查看當(dāng)前任務(wù)重時(shí)序數(shù)據(jù)的分析處理結(jié)果。因此,能夠基于時(shí)序ai分析,快速分析任務(wù)數(shù)據(jù)的變化特征,相比人工分析,本發(fā)明能夠大大提高時(shí)序數(shù)據(jù)的分析效率,且能夠適應(yīng)海量時(shí)序數(shù)據(jù)的在線實(shí)時(shí)分析,提供更高的數(shù)據(jù)支持能力。

50、本發(fā)明基于特征工程,利用時(shí)序分析模型進(jìn)行特征訓(xùn)練學(xué)習(xí),讓模型對提取的特征集進(jìn)行訓(xùn)練學(xué)習(xí),讓模型通過時(shí)序變化特征的特征集進(jìn)行訓(xùn)練學(xué)習(xí)而不按序?qū)W習(xí),使得模型得到海量訓(xùn)練集的特征訓(xùn)練學(xué)習(xí),便于提高模型對特征識別的魯棒性和隨機(jī)性,提高模型預(yù)測的泛化能力。

當(dāng)前第1頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點(diǎn)贊!
1
鹿泉市| 天等县| 福海县| 磐石市| 双江| 集贤县| 三穗县| 瑞丽市| 广宗县| 萨迦县| 宁化县| 沧州市| 新郑市| 湖南省| 宝应县| 白玉县| 馆陶县| 武安市| 金堂县| 花垣县| 湘阴县| 昆明市| 平江县| 砚山县| 石家庄市| 南平市| 晋宁县| 桃江县| 涿鹿县| 北辰区| 开封市| 专栏| 泰兴市| 大荔县| 襄城县| 镇原县| 乌兰察布市| 河南省| 定南县| 泉州市| 于都县|