本發(fā)明涉及數(shù)據(jù)庫管理，尤其涉及基于雙重注意力與靜態(tài)融合gcn的數(shù)據(jù)庫指標(biāo)數(shù)據(jù)預(yù)測方法。

背景技術(shù)：

1、數(shù)據(jù)庫管理系統(tǒng)是各行各業(yè)用于存儲、分析數(shù)據(jù)，求得穩(wěn)定發(fā)展的主要工具，所以若能提前感知數(shù)據(jù)庫在運(yùn)營過程中指標(biāo)數(shù)據(jù)的不正常變動(dòng)，便能減少資源損失。數(shù)據(jù)庫指標(biāo)數(shù)據(jù)亦指一維時(shí)間序列數(shù)據(jù)，對于時(shí)序數(shù)據(jù)的預(yù)測一般通過采集大量長期變動(dòng)的歷史信息，學(xué)習(xí)其中蘊(yùn)含的數(shù)學(xué)邏輯，得到預(yù)測數(shù)據(jù)，及時(shí)預(yù)示維護(hù)人員。傳統(tǒng)的時(shí)序預(yù)測算法對于數(shù)據(jù)集要求較高，且需要專家經(jīng)驗(yàn)，過于費(fèi)時(shí)費(fèi)力，如var在樣本數(shù)較少時(shí)，估計(jì)參數(shù)精度較低且難以給出變量之間的動(dòng)態(tài)依賴。而深度學(xué)習(xí)領(lǐng)域的時(shí)序預(yù)測算法對大規(guī)模復(fù)雜的非平穩(wěn)數(shù)據(jù)處理能力更強(qiáng)。lstm、gru模型側(cè)重于信息的動(dòng)態(tài)更新，但難以獲取時(shí)序的多尺度、周期性特征，無法捕捉數(shù)據(jù)之間的動(dòng)態(tài)變化性；transformer模型應(yīng)用注意力機(jī)制提取變量間的關(guān)系，提升了訓(xùn)練速度，但模型的時(shí)空復(fù)雜度較高。此外，目前在數(shù)據(jù)庫中，尚未有模型考慮到服務(wù)器的靜態(tài)特征是否對數(shù)據(jù)庫運(yùn)維是否有影響?；趃nn的預(yù)測算法通過時(shí)空兩個(gè)維度獲取數(shù)據(jù)特征，運(yùn)用圖結(jié)構(gòu)描述時(shí)序數(shù)據(jù)間的作用，在分布不均勻、不規(guī)則的數(shù)據(jù)研究上有很強(qiáng)的包容度。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于解決目前數(shù)據(jù)庫指標(biāo)數(shù)據(jù)預(yù)測技術(shù)不足的問題，綜合考慮全局與局部上下文信息，提取多尺度時(shí)空特征，提出基于雙重注意力與靜態(tài)融合gcn的數(shù)據(jù)庫指標(biāo)數(shù)據(jù)預(yù)測方法，與靜態(tài)信息融合的動(dòng)態(tài)圖構(gòu)造層，能夠?qū)W習(xí)靜態(tài)與動(dòng)態(tài)特征之間的關(guān)聯(lián)，更全面分析數(shù)據(jù)，而不同時(shí)間片段生成的鄰接矩陣也能反映連續(xù)變化的時(shí)序特征，克服了共享鄰接矩陣的弊端，提升了模型的預(yù)測準(zhǔn)確性。

2、本發(fā)明采用的技術(shù)方案是：

3、基于雙重注意力與靜態(tài)融合gcn的數(shù)據(jù)庫指標(biāo)數(shù)據(jù)預(yù)測方法，其包括以下步驟：

4、步驟1，選定目標(biāo)時(shí)間段內(nèi)的不同種類的一維指標(biāo)數(shù)據(jù)序列形成多變量時(shí)間序列數(shù)據(jù)集，并對指標(biāo)數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理清理后按設(shè)定比例劃分為訓(xùn)練集、測試集與驗(yàn)證集，不同預(yù)測任務(wù)的設(shè)定比例不同；同時(shí)收集數(shù)據(jù)庫運(yùn)營相應(yīng)服務(wù)器的靜態(tài)配置信息，經(jīng)過詞嵌入技術(shù)word2vec生成嵌入向量；

5、具體地，采集數(shù)據(jù)庫指標(biāo)數(shù)據(jù)序列x＝[st[i]]∈rn×t,t∈[1,2,…,t]，i∈[1,2,…,n]，x表示t個(gè)時(shí)間戳的歷史觀測值，n表示變量特征數(shù)，st[i]∈rn×1表示第i個(gè)變量在時(shí)間戳t處的值；

6、選定目標(biāo)時(shí)間段內(nèi)的25個(gè)指標(biāo)數(shù)據(jù)作為多變量時(shí)間序列數(shù)據(jù)集，數(shù)據(jù)采集速度為每分鐘采集一次；同時(shí)，收集數(shù)據(jù)庫運(yùn)營相應(yīng)服務(wù)器的7個(gè)靜態(tài)配置信息；進(jìn)行數(shù)據(jù)預(yù)處理對缺失值線性插值、異常值剔除(將閾值之外的值，取其前5個(gè)數(shù)的均值替換)；靜態(tài)配置信息經(jīng)過詞嵌入技術(shù)word2vec生成嵌入向量；將處理過的25個(gè)指標(biāo)數(shù)據(jù)按比例劃分為訓(xùn)練集、測試集與驗(yàn)證集，不同預(yù)測任務(wù)比例不同；

7、步驟2，構(gòu)建數(shù)據(jù)庫指標(biāo)數(shù)據(jù)預(yù)測模型，分為依次連接的如下模塊：下采樣多尺度模塊、時(shí)間擴(kuò)張雙重注意力模塊、靜態(tài)特征融合動(dòng)態(tài)gcn模塊、片段間注意力與預(yù)測模塊；下采樣多尺度模塊包含多層的卷積、池化單元，用于生成不同長度的時(shí)序，長序列反映數(shù)據(jù)的整體波動(dòng)狀況，短序列體現(xiàn)數(shù)據(jù)的局部特征；下采樣多尺度模塊的結(jié)果數(shù)據(jù)輸入到時(shí)間擴(kuò)張雙重注意力模塊，時(shí)間擴(kuò)張雙重注意力模塊包含兩路的并行時(shí)間卷積層，時(shí)間注意力與深度通道注意力門，用于捕獲特征的時(shí)間相關(guān)性；靜態(tài)特征融合動(dòng)態(tài)gcn層綜合考慮數(shù)據(jù)庫靜態(tài)配置信息的影響，將靜態(tài)數(shù)據(jù)圖結(jié)構(gòu)與動(dòng)態(tài)的數(shù)據(jù)圖結(jié)構(gòu)融合，捕獲特征的空間相關(guān)性；通過片段間注意力提取整體序列的全局相關(guān)性；最后將各尺度信息聚合輸出預(yù)測結(jié)果；

8、數(shù)據(jù)庫指標(biāo)數(shù)據(jù)預(yù)測模型執(zhí)行如下步驟：

9、步驟2-1，使用預(yù)設(shè)的下采樣劃分多尺度層，捕獲時(shí)序在不同尺度下的時(shí)間相關(guān)性，也能靈活應(yīng)對長序列數(shù)據(jù)；

10、步驟2-2，使用時(shí)間擴(kuò)張雙重注意力模塊捕獲時(shí)間依賴，提取高級時(shí)間特征；時(shí)間擴(kuò)張雙重注意力模塊由并行時(shí)間卷積層以及雙重注意力門組成；

11、步驟2-3，時(shí)序數(shù)據(jù)是實(shí)時(shí)變化的，不能依靠單一共享的鄰接矩陣。時(shí)間擴(kuò)張雙重注意力模塊的結(jié)果輸入到靜態(tài)特征融合動(dòng)態(tài)gcn模塊中捕捉空間特征，使用以gru為主的圖動(dòng)態(tài)構(gòu)造層捕捉動(dòng)態(tài)變化特征生成一系列鄰接矩陣，送入圖卷積網(wǎng)絡(luò)(gcn)當(dāng)中獲取向量關(guān)聯(lián)；同時(shí)，采用服務(wù)器靜態(tài)信息的靜態(tài)特征圖學(xué)習(xí)層生成鄰接矩陣，同樣送入圖卷積網(wǎng)絡(luò)中；將兩種結(jié)果融合相加，再與下采樣多尺度模塊的輸出進(jìn)行殘差操作，防止過擬合，獲取時(shí)空特征信息；

12、步驟2-4：使用片段間注意力層，交互時(shí)間片段表示全局相關(guān)性；

13、步驟2-5：跨尺度的時(shí)空信息聚合，即將每層信息順位相加；

14、步驟2-6：輸入由兩層的激活函數(shù)與一維卷積構(gòu)成的預(yù)測模塊，動(dòng)態(tài)調(diào)整所需輸出數(shù)據(jù)的維度以便進(jìn)行兩種預(yù)測任務(wù)：單步預(yù)測輸出的單時(shí)間步q處預(yù)測值yt+q；多步預(yù)測輸出的一段時(shí)間預(yù)測序列為[yt+1、yt+2,...,yt+q]；

15、步驟3：針對兩種預(yù)測任務(wù)分別采取對應(yīng)的評估指標(biāo)進(jìn)行評估，再利用優(yōu)化算法執(zhí)行時(shí)序預(yù)測的反向傳播，更新模型參數(shù)，降低模型訓(xùn)練損失值；其中單步預(yù)測中使用損失函數(shù)衡量預(yù)測值與真實(shí)值的誤差，損失函數(shù)包括相對平方誤差(rse)、相關(guān)系數(shù)(corr)；多步預(yù)測中使用平均絕對誤差(mae)、均方根誤差(rmse)、corr；

16、步驟4：使用早停策略加快模型訓(xùn)練速度，當(dāng)訓(xùn)練損失連續(xù)不降低的迭代輪次達(dá)到設(shè)定次數(shù)時(shí)，停止當(dāng)前輪訓(xùn)練，并保存此前損失值最低時(shí)所對應(yīng)的權(quán)重為最優(yōu)模型；

17、步驟5：利用測試集數(shù)據(jù)測試模型性能輸出模型測試損失值，并獲取預(yù)測模塊的預(yù)測輸出的預(yù)測時(shí)間序列值共同作為預(yù)測結(jié)果；

18、步驟6：將預(yù)測結(jié)果用于待預(yù)測的數(shù)據(jù)庫一維指標(biāo)數(shù)據(jù)預(yù)測，實(shí)時(shí)監(jiān)測數(shù)據(jù)庫系統(tǒng)運(yùn)營狀況。

19、進(jìn)一步地，步驟1中提及的訓(xùn)練集、驗(yàn)證集與測試集劃分的具體描述如下：

20、步驟1-1：單步預(yù)測中按照比例6：2：2劃分訓(xùn)練集、驗(yàn)證集與測試集。而在多步預(yù)測中，為了加強(qiáng)模型捕捉各個(gè)節(jié)點(diǎn)間的交互性，定義了輸入序列、輸出序列的時(shí)間步偏移量，添加時(shí)間特征(如每個(gè)時(shí)間步在一天中的位置、每個(gè)時(shí)間步在一周中的位置)，采用滑動(dòng)窗口的方式增加樣本量，按照7：1：2的比例生成訓(xùn)練、驗(yàn)證和測試所需的輸入和輸出數(shù)據(jù)。

21、進(jìn)一步地，步驟2-1中的下采樣劃分多尺度層具體執(zhí)行如下步驟：

22、步驟2-1-1，獲取與尺度層數(shù)對應(yīng)的預(yù)設(shè)的卷積核大小數(shù)組；預(yù)設(shè)的卷積核大小數(shù)組中的卷積核大小數(shù)值隨著尺度層增大依次減??；

23、步驟2-1-2，輸入數(shù)據(jù)經(jīng)過1×1卷積和第一層尺度層對應(yīng)的卷積核大小的卷積獲取第一個(gè)尺度層1；

24、步驟2-1-3，在第一尺度層的基礎(chǔ)上，以當(dāng)前得到的尺度層作為輸入分為兩路進(jìn)行下采樣，下采樣過程為：第一路通過殘差的1×1卷積；第二路通過下個(gè)尺度層對應(yīng)的卷積核大小的卷積和池化核大小為1×3的池化，再將兩路結(jié)果相加獲得下個(gè)尺度層；

25、步驟2-1-4，以此類推，每經(jīng)過一次下采樣，下采樣過程中第二路卷積的卷積核大小則按預(yù)設(shè)層數(shù)尺寸依次減小直到完成卷積核大小預(yù)設(shè)最小值的下采樣后，得到多個(gè)尺度層。

26、具體地，以3層為例，卷積的卷積核大小按預(yù)設(shè)的尺寸數(shù)值為[7,6,3]；

27、首先，經(jīng)過1×1卷積和1×7卷積，獲取第一個(gè)尺度層1。下一步中的下采樣過程包含：一路用于殘差的1×1卷積；另一路的1×6卷積和1×3池化，最后將兩路結(jié)果相加，借此獲得尺度層2。接著，在尺度層2的基礎(chǔ)上，同樣進(jìn)行下采樣獲得尺度層3，不過第二路卷積的卷積核大小為預(yù)設(shè)的尺寸[7,6,3]對應(yīng)尺度層的3，因此為1×3，池化核大小不變。接下來的時(shí)間擴(kuò)張雙重注意力模塊和靜態(tài)特征融合動(dòng)態(tài)gcn模塊都包含于每個(gè)尺度層中。

28、進(jìn)一步地，步驟2-2中的時(shí)間擴(kuò)張雙重注意力模塊(tdda)具體為：

29、步驟2-2-1：下采樣多尺度模塊輸出為此模塊的數(shù)據(jù)輸入，送入兩路并行處理，兩路輸入一致。

30、步驟2-2-2：其中一路為并行時(shí)間卷積層與時(shí)間注意力層。并行時(shí)間卷積層將輸入數(shù)據(jù)平分四路，送入四個(gè)“濾波器”，即卷積核分別為“1×1、1×2、1×3、1×6”的擴(kuò)張層，初始擴(kuò)張率為1，此后擴(kuò)張率以2l-1增加，l為層數(shù)。接著每一路都經(jīng)過門控單元(僅一路有sigmoid函數(shù))。將每路的信息逐路相加，最后將四路信息拼接得z1(每一路的信息先按照經(jīng)過最大“1×6”卷積之后的長度截?cái)?。數(shù)據(jù)z1抵達(dá)時(shí)間注意力層后，得：

31、zt＝sigmoid(conv1×1(relu(bn(conv1×3(z1)))))?(1)

32、其中，conv1×1、conv1×3代表卷積操作，zt是時(shí)間注意力層產(chǎn)生的權(quán)重系數(shù)，從而為不同時(shí)間步的信息賦予不同程度的關(guān)注度，捕獲時(shí)間依賴。

33、步驟2-2-3：另一路為并行時(shí)間卷積層與深度通道注意力層。后者由深度可分離卷積與通道注意力構(gòu)成，深度可分離卷積對輸入序列的每個(gè)通道單獨(dú)使用一個(gè)卷積核，接著使用逐點(diǎn)卷積，實(shí)現(xiàn)空間及通道間的信息交互，減少參數(shù)計(jì)算量，加深網(wǎng)絡(luò)深度，所以使用深度可分離卷積為每個(gè)通道獲取不同注意力；深度通道注意力進(jìn)一步使用自適應(yīng)平均池化faap，再結(jié)合一維卷積，使模型有側(cè)重地學(xué)習(xí)不同通道的特征，專注于利于預(yù)測任務(wù)的特征。經(jīng)過深度通道注意力層后得到：

34、zc＝sigmoid(conv1×1(faap(convdw(z1))))?(2)

35、以上，convdw表示深度可分離卷積。

36、步驟2-2-4：經(jīng)過兩路不同注意力機(jī)制提取的特征各自經(jīng)過tanh、sigmoid的門控單元。

37、進(jìn)一步地，步驟2-3中的靜態(tài)特征融合動(dòng)態(tài)gcn模塊具體為：

38、步驟2-3-1：動(dòng)態(tài)gcn模塊主要用于生成動(dòng)態(tài)演變的圖結(jié)構(gòu)，利用一系列g(shù)ru生成每個(gè)時(shí)間段的鄰接矩陣。因此，gru的一個(gè)輸入就是，按照既定長度分割的多個(gè)時(shí)間片段[sec1,sec?2,...,secn]，使用均值聚合器聚合特征，得到[ρ1,ρ2,...,ρn]。

39、此外，gru的另一個(gè)初始輸入為趨勢信息xtr與季節(jié)信息xs：xtr＝f(padding(x))，xs＝x-xtr。f()代表使用移動(dòng)平均核，而原始序列與趨勢項(xiàng)的差值則是季節(jié)項(xiàng)。接著用全連接層fc建模、疊加這兩種信息作為gru的初始輸入：

40、zinitial＝fc(xtr)+fc(xs)?(3)

41、步驟2-3-2：將上述兩種特征向量：[ρ1,ρ2,...,ρn]、zinitial送入gru中，并且gru的隱藏狀態(tài)會向后動(dòng)態(tài)傳遞，生成嵌入向量與隨機(jī)初始化的節(jié)點(diǎn)嵌入向量構(gòu)建鄰接矩陣，以生成的第一個(gè)動(dòng)態(tài)鄰接矩陣為例：

42、

43、上式中的β為控制tanh激活函數(shù)飽和率的超參數(shù)，w1、w2為模型參數(shù)，為可學(xué)習(xí)的節(jié)點(diǎn)嵌入向量。是嵌入向量經(jīng)過變換的特征表示；idx是選取的前k個(gè)特征的索引。是gru生成的嵌入向量。為減少后續(xù)訓(xùn)練參數(shù)，argtopk表示選擇其前k個(gè)與節(jié)點(diǎn)i相關(guān)性最大的節(jié)點(diǎn)進(jìn)行運(yùn)算，同時(shí)式(8)將其無連接的權(quán)重設(shè)置為0。

44、步驟2-3-3：將鄰接矩陣與步驟2-3-1的各時(shí)間片段信息輸入gcn，以聚合節(jié)點(diǎn)鄰居信息，實(shí)現(xiàn)空間相關(guān)性的捕捉。圖卷積網(wǎng)絡(luò)的結(jié)構(gòu)由兩個(gè)混合跳躍傳播層組成，其一混合跳躍傳播層的信息傳播：

45、

46、上式中的h(j-1)為上一層的隱藏狀態(tài)輸出，h(j)為當(dāng)前隱藏狀態(tài)輸出，γ用于決定源信息保留比例，為對角線矩陣，a為鄰接矩陣，i為單位矩陣。為信息更新值，j為傳播深度，w(j)為模型參數(shù)，用于動(dòng)態(tài)調(diào)整原始特征信息。接著將每個(gè)片段鄰接矩陣相對應(yīng)的gcn值進(jìn)行拼接。

47、步驟2-3-4：將7個(gè)靜態(tài)信息的嵌入向量與隨機(jī)初始化節(jié)點(diǎn)向量構(gòu)建靜態(tài)鄰接矩陣同樣，與未分割的時(shí)間信息送入圖卷積網(wǎng)絡(luò)中，更新節(jié)點(diǎn)特征信息。

48、步驟2-3-5：對動(dòng)態(tài)gcn的值與靜態(tài)gcn的值求和。

49、具體的，步驟2-4中的片段間注意力層具體為：由于靜態(tài)特征融合動(dòng)態(tài)gcn模塊已將各片段的gcn值拼接，所以需將輸入序列按與步驟2-3-1一樣的預(yù)設(shè)大小分割成n塊，結(jié)合特征嵌入維度dm與片段長度的維度s，得d＝s·dm，此時(shí)將輸入xin進(jìn)行線性映射，得到qin、kin、vin，接著用自注意力機(jī)制，可以表示全局相關(guān)性：最后將各片段結(jié)果拼接。

50、進(jìn)一步，步驟3中提及的評估指標(biāo)具體為：

51、步驟3-1：時(shí)間輸入窗口長度為168，單步預(yù)測中的預(yù)測輸出長度為1；多步預(yù)測中的預(yù)測輸出長度為12。所用指標(biāo)分別為：

52、

53、其中，yr、分別為真實(shí)值與預(yù)測值，為樣本數(shù)量，n為特征數(shù)量。rse、mae、rmse值越低越好，corr值越高越好。

54、進(jìn)一步地，步驟4中使用早停策略加快模型訓(xùn)練速度，當(dāng)訓(xùn)練損失連續(xù)15個(gè)epoch不降低時(shí)，停止當(dāng)前輪訓(xùn)練，并保存此前損失值最低時(shí)所對應(yīng)的權(quán)重為最優(yōu)模型。

55、本發(fā)明采用以上技術(shù)方案，設(shè)計(jì)的時(shí)間捕捉層能夠捕獲各個(gè)特征的時(shí)間依賴以及不同類別特征之間的相關(guān)性，可以靈活適用不同周期的數(shù)據(jù)信息，提取局部和全局依賴；而圖卷積網(wǎng)絡(luò)(gcn)可以傳播和聚合節(jié)點(diǎn)特征，解決處理非網(wǎng)格數(shù)據(jù)的難題；在此基礎(chǔ)上，與靜態(tài)信息融合的動(dòng)態(tài)圖構(gòu)造層，能夠?qū)W習(xí)靜態(tài)與動(dòng)態(tài)特征之間的關(guān)聯(lián)，更全面分析數(shù)據(jù)，而不同時(shí)間片段生成的鄰接矩陣也能反映連續(xù)變化的時(shí)序特征，克服了共享鄰接矩陣的弊端，提升了模型的預(yù)測準(zhǔn)確性。