本發(fā)明屬于一種預(yù)測(cè)方法，具體涉及一種基于transformer的多元時(shí)間序列預(yù)測(cè)方法、計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、時(shí)間序列預(yù)測(cè)是一項(xiàng)重要的研究領(lǐng)域，其在各個(gè)領(lǐng)域中都具有廣泛的應(yīng)用。從金融市場(chǎng)到天氣預(yù)報(bào)，從醫(yī)療保健系統(tǒng)再到交通流量管理，時(shí)間序列預(yù)測(cè)技術(shù)的發(fā)展對(duì)日常生活和決策過(guò)程產(chǎn)生了巨大的影響。這種預(yù)測(cè)對(duì)于制定戰(zhàn)略決策、資源分配和規(guī)劃具有關(guān)鍵意義。例如，在金融領(lǐng)域，正確預(yù)測(cè)股票價(jià)格波動(dòng)可以幫助投資者制定有效的投資策略。在交通領(lǐng)域，準(zhǔn)確預(yù)測(cè)交通流量變化可以幫助城市規(guī)劃者改善交通管理系統(tǒng)。但隨著數(shù)據(jù)采集和存儲(chǔ)技術(shù)的不斷進(jìn)步，大量的時(shí)間序列數(shù)據(jù)匯集，這使得時(shí)間序列預(yù)測(cè)變得更加重要和具有挑戰(zhàn)性。

2、最近受transformer在計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理等領(lǐng)域中獲得巨大成功的啟發(fā)，出現(xiàn)一系列為應(yīng)對(duì)上述挑戰(zhàn)的基于transformer的時(shí)間序列預(yù)測(cè)模型，例如：informer，logtrans，fedformer，patchtst，difformer等。這些研究通常采用修改后的序列分解注意力機(jī)制與時(shí)間序列的季節(jié)性/周期性兼容，或使用稀疏自注意力和等長(zhǎng)的補(bǔ)丁分塊來(lái)減輕長(zhǎng)序列的二次計(jì)算成本，或使用獨(dú)立通道的形式緩解分布漂移問(wèn)題。這些方法雖然取得了成功，但是如果數(shù)據(jù)沒(méi)有明顯的季節(jié)性或周期性模式，進(jìn)行分解可能會(huì)導(dǎo)致不準(zhǔn)確的結(jié)果，并且可能無(wú)法提供有用的信息；相比與通道獨(dú)立，通道混合在處理通道噪聲和分布漂移問(wèn)題方面效果較差，但通道混合仍具有一些獨(dú)特的優(yōu)勢(shì)；將時(shí)間步聚合到子系列級(jí)補(bǔ)丁中，可以增強(qiáng)局部性并捕獲點(diǎn)級(jí)中無(wú)法獲得的全面語(yǔ)義信息，但也存在一些潛在的缺點(diǎn)：信息丟失、上下文丟失、不平衡分布和邊界效應(yīng)等問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對(duì)采用基于transformer機(jī)制的預(yù)測(cè)模型存在數(shù)據(jù)與傳統(tǒng)季節(jié)周期性分解方法不適配，以及混合通道在處理通道噪聲和分布漂移問(wèn)題方面效果較差等問(wèn)題，提供一種基于transformer的多元時(shí)間序列預(yù)測(cè)方法。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案予以實(shí)現(xiàn)：

3、第一方面，本發(fā)明提出一種多元時(shí)間序列預(yù)測(cè)方法，包括：

4、將待預(yù)測(cè)目標(biāo)輸入至多元時(shí)間序列預(yù)測(cè)模型，得到預(yù)測(cè)結(jié)果；

5、所述多元時(shí)間序列預(yù)測(cè)模型的訓(xùn)練方法包括：

6、建立多元時(shí)間序列預(yù)測(cè)數(shù)據(jù)集；所述多元時(shí)間序列預(yù)測(cè)數(shù)據(jù)集包括待預(yù)測(cè)目標(biāo)的歷史數(shù)據(jù)，且具備若干屬性；

7、采用所述多元時(shí)間序列預(yù)測(cè)數(shù)據(jù)集對(duì)所述多元時(shí)間序列預(yù)測(cè)模型進(jìn)行訓(xùn)練；所述多元時(shí)間序列預(yù)測(cè)模型包括混合分解模塊、動(dòng)態(tài)分塊模塊、相似通道合并模塊、transformer模塊；

8、所述混合分解模塊，用于對(duì)所述多元時(shí)間序列預(yù)測(cè)數(shù)據(jù)集進(jìn)行分解，得到包含季節(jié)項(xiàng)和趨勢(shì)項(xiàng)的數(shù)據(jù)特征；

9、所述動(dòng)態(tài)分塊模塊，用于對(duì)所季節(jié)項(xiàng)特征進(jìn)行動(dòng)態(tài)分塊，得到不同尺度的子序列；

10、所述相似通道合并模塊，用于對(duì)分塊后的單通道進(jìn)行合并，得到transformer編碼器所需輸入數(shù)據(jù)；

11、所述transformer模塊，用于同步上一級(jí)模塊中進(jìn)行特征提取，得到提取的特征，并對(duì)所述提取特征并進(jìn)行季節(jié)項(xiàng)的預(yù)測(cè)，然后結(jié)合分解的趨勢(shì)項(xiàng)，輸出最終預(yù)測(cè)結(jié)果。

12、進(jìn)一步地，所述建立多元時(shí)間序列預(yù)測(cè)數(shù)據(jù)集之后，還包括：

13、對(duì)所述多元時(shí)間序列預(yù)測(cè)數(shù)據(jù)集進(jìn)行補(bǔ)全處理，將多元時(shí)間序列預(yù)測(cè)數(shù)據(jù)集中的缺失值填充為缺失值前后兩個(gè)值的均值；

14、對(duì)補(bǔ)全處理后的多元時(shí)間序列預(yù)測(cè)數(shù)據(jù)集進(jìn)行標(biāo)準(zhǔn)化處理，使多元時(shí)間序列預(yù)測(cè)數(shù)據(jù)集的均值為0，方差為1。

15、進(jìn)一步地，所述多元時(shí)間序列預(yù)測(cè)數(shù)據(jù)集滿足以下要求：

16、所述多元時(shí)間序列預(yù)測(cè)數(shù)據(jù)集中相鄰數(shù)據(jù)之間的時(shí)間差值為常量；

17、所述多元時(shí)間序列預(yù)測(cè)數(shù)據(jù)集中每個(gè)時(shí)刻的特征類型和特征數(shù)量一致；

18、所述多元時(shí)間序列預(yù)測(cè)數(shù)據(jù)集中包括各數(shù)據(jù)采集時(shí)的日期時(shí)間戳，各數(shù)據(jù)對(duì)應(yīng)的日期時(shí)間戳格式一致。

19、進(jìn)一步地，所述動(dòng)態(tài)分塊模塊的具體過(guò)程包括：

20、(1)通過(guò)實(shí)驗(yàn)得出最優(yōu)分塊數(shù)量。

21、分別為：s1＝2，s2＝4，s3＝8，s4＝16。

22、總體分塊數(shù)量為：

23、n/(s1+s2+s3+s4)×4+[n％(s1+s2+s3+s4)]

24、其中n表示回視窗口，％表示取余。

25、(2)通過(guò)膨脹因果卷積補(bǔ)丁模型將每個(gè)輸入單元時(shí)間序列劃分為不等長(zhǎng)的子序列。

26、該模塊可簡(jiǎn)化為：

27、f(t)＝select(w[j]*x[t-d*j])

28、其中d是膨脹因子，也是補(bǔ)丁長(zhǎng)度；w[j]是分塊大小，即權(quán)重；x(t-d*j)表示在時(shí)間步t-d*j的取值。

29、(3)計(jì)算擬合得分。

30、sse(θ0，θ1)＝∑[yi-(θ0×xi+θ1)]2

31、其中θ(0，1)表示目標(biāo)函數(shù)參數(shù)，xi和yi表示預(yù)測(cè)值和真實(shí)值。

32、(4)進(jìn)行全面的優(yōu)選比較，選擇出最佳分塊方案。

33、(5)循環(huán)遞進(jìn)，不斷搜索最優(yōu)方案，直到所有數(shù)據(jù)均被分塊處理。

34、進(jìn)一步地，所述相似通道合并模塊的具體過(guò)程包括：

35、預(yù)處理加工數(shù)據(jù)。引入通道標(biāo)識(shí)符，一個(gè)可學(xué)習(xí)的張量v∈r(m×d)。在補(bǔ)丁的線性投影之后，標(biāo)記添加了位置編碼和通道標(biāo)識(shí)符：

36、xtoken＝xpatchw+u+v，xtoken∈rm×pn×d

37、其中w表示線性投影，u表示位置編碼，m表示每個(gè)時(shí)間步向量的維度，pn表示補(bǔ)丁個(gè)數(shù)，d表示模型維度。

38、然后，xtoken被輸入到transformer編碼器中，以與通道無(wú)關(guān)的方式進(jìn)行高級(jí)表示：

39、

40、通道標(biāo)識(shí)符代表每個(gè)通道的獨(dú)特特征，這使模型能夠區(qū)分通道并捕獲通道的唯一表示。

41、從不同通道的內(nèi)因(gc)和外因(fdtw)兩方面進(jìn)行考慮，驗(yàn)證兩通道是否合并。只有內(nèi)因和外因同時(shí)滿足條件時(shí)才可進(jìn)行通道合并。

42、內(nèi)因利用格蘭杰因果檢測(cè)，建立兩個(gè)線性回歸模型：

43、

44、其中p為包含在模型中的滯后觀測(cè)值的最大數(shù)量，即自回歸階數(shù)；a為系數(shù)矩陣，即每個(gè)滯后觀測(cè)值對(duì)x的貢獻(xiàn)；e為時(shí)間序列的殘差。

45、外因利用快速動(dòng)態(tài)時(shí)間規(guī)劃，通過(guò)動(dòng)態(tài)規(guī)劃的方式對(duì)兩個(gè)通道進(jìn)行對(duì)齊，使得它們之間的距離最小化。

46、進(jìn)一步地，所述混合分解模塊的具體過(guò)程包括：

47、利用混合分解公式：

48、yt＝(tt+ct)*(st+it)

49、其中yt表示原始序列，tt表示趨勢(shì)，st表示季節(jié)性，ct表示周期性，it表示偏移。

50、將序列分解成季節(jié)項(xiàng)和趨勢(shì)項(xiàng)，并將季節(jié)項(xiàng)作為模型主要輸入數(shù)據(jù)部分。

51、進(jìn)一步地，所述對(duì)所述多元時(shí)間序列預(yù)測(cè)模型進(jìn)行訓(xùn)練時(shí)，采用的損失函數(shù)，包括：

52、

53、其中mse為由mse損失函數(shù)求得的損失值，outputa表示第a個(gè)預(yù)測(cè)結(jié)果，truea表示與outputa對(duì)應(yīng)的第a個(gè)真實(shí)值，a＝1，2，...，l。

54、第二方面，本發(fā)明提出一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序或指令，當(dāng)計(jì)算機(jī)程序或指令被通信裝置運(yùn)行時(shí)，使得上述的方法被執(zhí)行。

55、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

56、本發(fā)明提出一種多元時(shí)間序列預(yù)測(cè)方法。首先構(gòu)建混合分解模塊，丟棄了傳統(tǒng)方法中對(duì)一切數(shù)據(jù)進(jìn)行季節(jié)周期性分解，而是采用分而治之的策略，對(duì)不同的數(shù)據(jù)進(jìn)行不同操作，實(shí)現(xiàn)更好地處理具有不同變動(dòng)模式的數(shù)據(jù)；之后加入動(dòng)態(tài)分塊策略，實(shí)現(xiàn)動(dòng)態(tài)效果，能夠根據(jù)數(shù)據(jù)的差異性靈活地劃分不同尺度的子序列，從而可以捕捉到不同時(shí)間尺度的特征，減少信息重疊和節(jié)省計(jì)算資源；然后通過(guò)有效的相似通道合并策略，旨在克服單一通道方法的限制，巧妙地實(shí)現(xiàn)對(duì)數(shù)據(jù)特征的深度挖掘和綜合理解，從而構(gòu)建更加豐富和立體的特征表示。

57、本發(fā)明還提出了一種計(jì)算機(jī)程序產(chǎn)品，具備上述預(yù)測(cè)方法的全部?jī)?yōu)勢(shì)。