本發(fā)明涉及時間序列預(yù)測，特別是一種基于transformer模型的氣候特征預(yù)測方法，通過分塊序列、位置編碼和多頭注意力機制實現(xiàn)長時間跨度的氣候數(shù)據(jù)建模與預(yù)測。

背景技術(shù)：

1、氣候特征預(yù)測對農(nóng)業(yè)生產(chǎn)、環(huán)境監(jiān)測以及氣象預(yù)警等領(lǐng)域至關(guān)重要。現(xiàn)有的循環(huán)神經(jīng)網(wǎng)絡(luò)方法在長時間依賴建模上存在不足，難以有效捕捉復(fù)雜的時間序列模式。transformer模型由于其強大的多頭注意力機制，能夠在全局范圍內(nèi)處理序列依賴，但直接應(yīng)用于氣候序列預(yù)測時存在計算資源占用過大的問題。因此，提出了一種分塊與transformer結(jié)合的改進(jìn)方法，以減少計算復(fù)雜度，并提高預(yù)測精度。

技術(shù)實現(xiàn)思路

1、本發(fā)明目的是提供一種基于分塊和通道融合的氣象特征預(yù)測方法，能夠在處理復(fù)雜時間依賴關(guān)系和提高預(yù)測精度方面表面更佳，同時降低了計算復(fù)雜度，所述技術(shù)方案如下：

2、步驟1：設(shè)原始?xì)夂蛐蛄邪琹個時間步，每個時間步具有m個變量，表示為一個l×m的矩陣

3、步驟2：在原始?xì)夂蛐蛄械哪┪灿米詈笠粋€值進(jìn)行s次重復(fù)填充；

4、步驟3：按照大小為s的步幅，可重疊或不重疊，將原始?xì)夂蛐蛄衳劃分成每塊長度為p且變量數(shù)為m的分塊序列其中p×m是每個分塊的維度，為生成分塊的數(shù)量；

5、步驟4：利用線性投影矩陣和加性位置編碼將分塊序列xp變換成輸入序列xd＝wpxp+wpos，其中其中d是每個輸入token的維度；

6、步驟5：把序列xd輸入transformer編碼器，通過多頭注意力機制得到，查詢矩陣鍵矩陣和值矩陣其中和表示不同的注意頭，是每個注意頭中查詢、鍵和值向量的維度；

7、步驟6：計算多頭注意力層輸出具體公式如下：

8、

9、步驟7：在計算完注意力輸出oh后，進(jìn)行一次殘差連接將注意力輸出oh與輸入xd相加，然后進(jìn)行批歸一化，z1＝batchnorm(xd+oh)；

10、步驟8：經(jīng)過由兩層全連接層組成的前饋網(wǎng)絡(luò)層，z2＝ffn(z1)＝relu(w1z1+b1),z3＝w2z2+b2，其中w1,w2是前饋網(wǎng)絡(luò)的權(quán)重矩陣，b1,b2是偏置；

11、步驟9：經(jīng)過前饋網(wǎng)絡(luò)的輸出z3與前一步輸入z1再次進(jìn)行殘差連接和批歸一化，得到最終輸出z＝batchnorm(z1+z3)；

12、步驟10：將輸出先經(jīng)過展平操作，再通過由一層全連接層組成的解碼器，生成未來t個時間步的預(yù)測結(jié)果

13、步驟11：使用均方誤差mse損失函數(shù)，通過以下公式計算每個通道的損失：

14、

15、其中，表示第i個時間序列的預(yù)測值，表示第i個時間序列的真實值，m表示時間序列的數(shù)量，對m個時間序列的每個通道的損失進(jìn)行匯總，將匯總的損失在m個時間序列上進(jìn)行平均，得到總體目標(biāo)損失，并對預(yù)測結(jié)果進(jìn)行評估。

16、本發(fā)明提供的技術(shù)方案帶來的有益效果是：利用基于分塊序列自注意力有效捕捉長時間序列的全局特征，并利用transformer架構(gòu)提升建模能力，從而在處理復(fù)雜時間依賴關(guān)系和提高預(yù)測精度方面表現(xiàn)更佳，同時降低了計算復(fù)雜度。

技術(shù)特征：

1.一種基于分塊和通道融合的氣象特征預(yù)測方法，其特征在于包括以下步驟：

技術(shù)總結(jié)
本發(fā)明公開了一種基于分塊和通道融合的氣象特征預(yù)測方法，依次包含以下步驟：首先，構(gòu)建一個多變量氣候序列輸入，并將原始?xì)夂蛐蛄袆澐譃橹丿B或非重疊的分塊序列；然后，利用Transformer的自注意力機制對分塊后的氣候序列進(jìn)行編碼，以捕捉時間塊之間的依賴關(guān)系；接著，特征向量經(jīng)過Transformer編碼器處理后再通過展平層，轉(zhuǎn)化為線性模型輸入，最后經(jīng)過線性層生成最終的預(yù)測結(jié)果。本發(fā)明為氣象特征預(yù)測提供了一種新思路，實驗結(jié)果表明本方法具有高效處理長時間序列，模型復(fù)雜度降低，需求更少計算資源，誤差率低的優(yōu)點。

技術(shù)研發(fā)人員：李川,李玉鑑,劉寶龍,霍霈霖,李根
受保護(hù)的技術(shù)使用者：桂林電子科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2