本發(fā)明屬于深度學(xué)習(xí)、大語(yǔ)言模型、時(shí)序數(shù)據(jù)特征提取等，具體涉及一種融合預(yù)訓(xùn)練大語(yǔ)言模型的工業(yè)設(shè)備剩余壽命預(yù)測(cè)方法。

背景技術(shù)：

1、工業(yè)設(shè)備的剩余壽命預(yù)測(cè)在智能運(yùn)維和設(shè)備管理中具有重要意義。然而，實(shí)際工業(yè)場(chǎng)景中收集到的設(shè)備運(yùn)行數(shù)據(jù)往往具有非結(jié)構(gòu)化、復(fù)雜多樣、帶噪聲等特性。尤其是在長(zhǎng)時(shí)間的運(yùn)行過(guò)程中，數(shù)據(jù)會(huì)受到多種外部因素影響，導(dǎo)致其表現(xiàn)出非平穩(wěn)性和強(qiáng)非線性，這給設(shè)備劣化過(guò)程的建模和剩余壽命預(yù)測(cè)帶來(lái)了巨大挑戰(zhàn)。此外，故障數(shù)據(jù)樣本往往較少且分布不均衡，進(jìn)一步限制了傳統(tǒng)機(jī)器學(xué)習(xí)模型的泛化能力和預(yù)測(cè)效果。

2、隨著預(yù)訓(xùn)練大語(yǔ)言模型的迅速發(fā)展，這些模型在處理多維數(shù)據(jù)特征提取、時(shí)序建模和跨領(lǐng)域知識(shí)遷移方面展現(xiàn)出了極大的潛力。預(yù)訓(xùn)練大語(yǔ)言模型具有從大規(guī)模數(shù)據(jù)中提取深層特征的能力，可以通過(guò)微調(diào)在特定領(lǐng)域中進(jìn)行知識(shí)遷移，從而在樣本有限的情況下捕捉設(shè)備劣化過(guò)程中的關(guān)鍵特征。此外，預(yù)訓(xùn)練大語(yǔ)言模型中的注意力機(jī)制能夠有效建模設(shè)備時(shí)序數(shù)據(jù)中的長(zhǎng)依賴關(guān)系，有助于識(shí)別設(shè)備不同狀態(tài)的細(xì)微變化，為剩余壽命預(yù)測(cè)提供更精準(zhǔn)的信息支持。而傳統(tǒng)的剩余壽命預(yù)測(cè)方法通常基于淺層特征提取或手工構(gòu)造特征，這在應(yīng)對(duì)復(fù)雜工業(yè)數(shù)據(jù)的高維特性和異質(zhì)性時(shí)存在明顯的局限性。

技術(shù)實(shí)現(xiàn)思路

1、為解決現(xiàn)有技術(shù)的不足，實(shí)現(xiàn)提升工業(yè)設(shè)備的健康狀態(tài)和剩余壽命信息預(yù)測(cè)準(zhǔn)確性的目的，本發(fā)明采用如下的技術(shù)方案：

2、一種融合預(yù)訓(xùn)練大語(yǔ)言模型的工業(yè)設(shè)備剩余壽命預(yù)測(cè)方法，包括如下步驟：

3、步驟一：采集工業(yè)設(shè)備的時(shí)序數(shù)據(jù)并依次進(jìn)行預(yù)處理和輸入嵌入；將時(shí)序數(shù)據(jù)預(yù)處理成分段退化序列數(shù)據(jù)，再經(jīng)輸入嵌入，將退化分段序列數(shù)據(jù)與預(yù)訓(xùn)練大語(yǔ)言模型特征空間進(jìn)行對(duì)齊；

4、步驟二：嵌入后數(shù)據(jù)輸入預(yù)訓(xùn)練大語(yǔ)言模型，模型包含一組transformer編碼器塊，從頭開(kāi)始訓(xùn)練大語(yǔ)言模型通常會(huì)導(dǎo)致性能下降，為了保持大語(yǔ)言模型具備與數(shù)據(jù)無(wú)關(guān)的表示學(xué)習(xí)能力，通過(guò)凍結(jié)大多數(shù)參數(shù)，尤其是transformer編碼器塊中，在表示學(xué)習(xí)中起到關(guān)鍵作用的多頭注意力層和前饋全連接層的參數(shù)，對(duì)其中的查詢、鍵和值矩陣進(jìn)行處理，凍結(jié)其大部分原始參數(shù)，僅對(duì)少量可訓(xùn)練的低秩矩陣進(jìn)行微調(diào)，從而有效優(yōu)化參數(shù)效率，減少訓(xùn)練負(fù)擔(dān)并提升對(duì)局部特征的敏感度，在多頭注意力層之后，數(shù)據(jù)經(jīng)過(guò)層歸一化和前饋全連接層，通過(guò)微調(diào)層歸一化中的仿射變換參數(shù)，進(jìn)一步減少計(jì)算量并增強(qiáng)模型的泛化能力，從而能夠讓大語(yǔ)言模型處理時(shí)序數(shù)據(jù)，最終預(yù)測(cè)出分段時(shí)序數(shù)據(jù)；

5、步驟三：將預(yù)訓(xùn)練大語(yǔ)言模型的參數(shù)輸入至附加網(wǎng)絡(luò)，附加網(wǎng)絡(luò)包含一組并行且獨(dú)立的附加網(wǎng)絡(luò)塊，每個(gè)附加網(wǎng)絡(luò)塊平行于預(yù)訓(xùn)練大語(yǔ)言模型中的transformer編碼器塊進(jìn)行工作，經(jīng)過(guò)附加網(wǎng)絡(luò)的處理，數(shù)據(jù)進(jìn)入輸出層，生成設(shè)備的剩余預(yù)測(cè)壽命。

6、進(jìn)一步地，所述步驟一中，時(shí)序數(shù)據(jù)的預(yù)處理過(guò)程包括如下步驟：

7、步驟1.1.1：對(duì)采集的工業(yè)設(shè)備時(shí)序數(shù)據(jù)進(jìn)行故障前時(shí)刻診斷，得到故障前時(shí)刻t，由于工業(yè)設(shè)備失效大多是隨機(jī)發(fā)生的，失效特征較弱且難以檢測(cè)，該階段時(shí)序信號(hào)的信噪比較低，包含的退化信息較少，干擾噪聲較多，由于均方根會(huì)隨組件退化的嚴(yán)重程度而增加，因此通過(guò)均方根檢測(cè)的方式能最大限度地排除干擾噪聲并保留退化信息；

8、步驟1.1.2：根據(jù)故障前時(shí)刻t值，將工業(yè)設(shè)備時(shí)序數(shù)據(jù)分割為若干個(gè)時(shí)間序列；

9、步驟1.1.3：將得到的時(shí)間序列進(jìn)行特征的預(yù)提取，得到時(shí)頻特征圖；

10、步驟1.1.4：將所有的時(shí)頻特征圖進(jìn)行連接，得到退化數(shù)據(jù)的二維特征圖；

11、步驟1.1.5：為了提高處理不同時(shí)間序列數(shù)據(jù)集的一致性和可靠性，需要對(duì)退化數(shù)據(jù)的二維特征圖進(jìn)行實(shí)例歸一化，生成均值為零的歸一化時(shí)間序列數(shù)據(jù)；

12、步驟1.1.6：由于學(xué)習(xí)局部聚合信息更有助于大模型理解工業(yè)設(shè)備退化的長(zhǎng)期趨勢(shì)，因此需要將歸一化后的退化數(shù)據(jù)的二維特征圖進(jìn)行分段，以捕獲在單個(gè)時(shí)間點(diǎn)無(wú)法學(xué)習(xí)的更高級(jí)別的退化信息，從而增強(qiáng)局部性。

13、進(jìn)一步地，所述步驟1.1.1中，故障前時(shí)刻診斷的公式為：

14、

15、其中，表示輸入信號(hào)，t表示給定的時(shí)間，表示輸入信號(hào)在t-1時(shí)刻的均值在方差的范圍，表示均方根rms的平均值，表示方差，表示用于遍歷時(shí)間t之前的所有時(shí)間點(diǎn)的索引；

16、若均方根超過(guò)的閾值范圍，即三個(gè)連續(xù)的均方根值都超過(guò)了：

17、

18、則認(rèn)為時(shí)間t為對(duì)應(yīng)于初始的故障診斷時(shí)刻值，否則繼續(xù)遍歷時(shí)間t，直到滿足條件，找到時(shí)序數(shù)據(jù)中的故障前時(shí)刻。

19、進(jìn)一步地，所述步驟1.1.3中，通過(guò)短時(shí)傅里葉變換進(jìn)行特征的預(yù)提取，短時(shí)傅里葉變換的公式為：

20、

21、其中，表示窗函數(shù)位置對(duì)應(yīng)的信號(hào)，i表示虛數(shù)單位，e表示自然對(duì)數(shù)的底數(shù)，表示窗函數(shù)，f表示頻率，表示窗函數(shù)的位置，表示輸入信號(hào)的時(shí)頻特征，然后使用原始信號(hào)的能量分布作為后續(xù)頻譜圖的輸入，其中能量分布的公式為：

22、

23、分割后的數(shù)據(jù)再經(jīng)過(guò)短時(shí)傅里葉變換和提取能量分布之后，每個(gè)子序列轉(zhuǎn)換為大小為m×n的時(shí)頻特征圖，其中m為頻率軸的維數(shù)，n為時(shí)間軸的維數(shù)。

24、進(jìn)一步地，所述步驟1.1.6中，歸一化后的退化數(shù)據(jù)的二維特征圖表示為：

25、

26、其中，f表示歸一化后的退化數(shù)據(jù)的二維特征圖，表示第1行的1到l的數(shù)據(jù)，d表示圖的行數(shù)，l表示圖的列數(shù)，表示一個(gè)包含l個(gè)時(shí)間步、每個(gè)時(shí)間步有d個(gè)特征的矩陣；然后將特征圖的每列分割為長(zhǎng)度p，間隔步長(zhǎng)為s的分段數(shù)據(jù)，分段后每一列的分段數(shù)據(jù)數(shù)量n為：

27、

28、對(duì)于長(zhǎng)度不能均勻劃分為相等長(zhǎng)度的時(shí)間序列，在每個(gè)原始序列的末尾使用填充操作；將的最后一個(gè)值重復(fù)s次，并加到原始序列的末尾，以使每個(gè)分段數(shù)據(jù)的長(zhǎng)度為p，防止最后一個(gè)分段數(shù)據(jù)因長(zhǎng)度不足而被丟棄，從而丟失關(guān)鍵的退化數(shù)據(jù)。

29、進(jìn)一步地，所述步驟一中，輸入嵌入過(guò)程包括如下步驟：

30、步驟1.2.1：通過(guò)標(biāo)記嵌入編碼，用卷積層將預(yù)處理得到的分段退化序列數(shù)據(jù)映射到隱藏層的潛在空間，以便于大模型對(duì)其進(jìn)行處理；

31、步驟1.2.2：通過(guò)位置嵌入編碼，對(duì)分段退化序列數(shù)據(jù)的絕對(duì)位置信息進(jìn)行編碼；由于大模型中的多頭注意機(jī)制不具有主動(dòng)編碼標(biāo)記的絕對(duì)位置關(guān)系的能力，因此需要手動(dòng)顯式添加，通過(guò)使用簡(jiǎn)單有效的正弦-余弦位置編碼，以減少不必要的參數(shù)學(xué)習(xí)的負(fù)擔(dān)；

32、步驟1.2.3：通過(guò)時(shí)間嵌入編碼，對(duì)分段退化序列數(shù)據(jù)的時(shí)間信息進(jìn)行相對(duì)位置編碼，以增強(qiáng)模型捕捉時(shí)間序列數(shù)據(jù)中的相對(duì)時(shí)間信息的能力，通過(guò)旋轉(zhuǎn)編碼矩陣來(lái)實(shí)現(xiàn)相對(duì)時(shí)間位置的注意力機(jī)制，以在嵌入特征中編碼相對(duì)時(shí)間信息，從而更好地提取降解過(guò)程中的時(shí)間序列特征，并有助于長(zhǎng)期預(yù)測(cè)；

33、步驟1.2.4：標(biāo)記嵌入編碼的結(jié)果與位置嵌入編碼和時(shí)間嵌入編碼的結(jié)果進(jìn)行相加，將退化分段序列數(shù)據(jù)與大型語(yǔ)言模型特征空間進(jìn)行對(duì)齊。

34、進(jìn)一步地，所述步驟1.2.2中的位置嵌入編碼公式如下：

35、

36、其中，n為每個(gè)標(biāo)記在分段序列中的絕對(duì)位置，j用于區(qū)分奇偶位置，d為大模型的隱藏層維數(shù)；

37、所述步驟1.2.3中的相對(duì)時(shí)間嵌入編碼公式如下：

38、

39、其中，表示第個(gè)時(shí)間步上的相對(duì)時(shí)間注意力向量，softmax表示用于計(jì)算注意力權(quán)重的激活函數(shù)，表示查詢矩陣，定義為，表示第個(gè)位置的分段時(shí)序數(shù)據(jù)，表示查詢矩陣的權(quán)重，表示旋轉(zhuǎn)矩陣，用于引入相對(duì)時(shí)間位置信息，表示鍵值矩陣，定義為，表示鍵值矩陣的權(quán)重，表示大模型的隱藏層維數(shù)，用于縮放因子，表示值矩陣，定義為，表示值矩陣的權(quán)重。

40、進(jìn)一步地，所述步驟二中，經(jīng)輸入嵌入調(diào)整到所需的嵌入維度的嵌入向量，輸入至預(yù)訓(xùn)練的大語(yǔ)言模型中，經(jīng)每個(gè)包含層的transformer編碼器塊處理后，得到嵌入向量；

41、嵌入向量z公式如下：

42、

43、其中，表示處理后的嵌入結(jié)果，表示時(shí)間序列數(shù)據(jù)的長(zhǎng)度，表示調(diào)整后的嵌入維度，tfs(·)表示預(yù)訓(xùn)練transformer塊的處理操作；

44、嵌入向量通過(guò)線性輸出層，將嵌入映射回到分段的時(shí)間序列數(shù)據(jù)中，得到預(yù)測(cè)出的目標(biāo)；

45、目標(biāo)公式如下：

46、

47、其中，表示預(yù)測(cè)出的分段時(shí)間序列數(shù)據(jù)，表示線性映射矩陣；

48、為了確保預(yù)測(cè)精確地重構(gòu)出實(shí)際偏移的分段數(shù)據(jù)目標(biāo)值，預(yù)測(cè)出的分段時(shí)間序列數(shù)據(jù)與分段時(shí)間序列數(shù)據(jù)目標(biāo)值，使用均方誤差作為時(shí)間序列對(duì)齊的損失函數(shù)：

49、

50、其中，loss表示時(shí)間序列對(duì)齊的損失函數(shù)，mse表示均方誤差，用于衡量預(yù)測(cè)值與目標(biāo)值之間的差異。

51、進(jìn)一步地，所述步驟三包括如下步驟：

52、步驟3.1：在微調(diào)時(shí)，僅調(diào)整附加網(wǎng)絡(luò)塊中少量的可訓(xùn)練參數(shù)，以減少對(duì)標(biāo)注數(shù)據(jù)樣本的需求，避免了增加模型深度的問(wèn)題，對(duì)于每個(gè)附加網(wǎng)絡(luò)塊，通過(guò)加法操作與大語(yǔ)言模型網(wǎng)絡(luò)融合，具體計(jì)算公式如下：

53、

54、其中，表示與transformer塊融合后的第個(gè)附加網(wǎng)絡(luò)塊的輸出，和分別表示transformer塊和附加網(wǎng)絡(luò)塊的映射操作，和表示第層transformer塊和附加網(wǎng)絡(luò)塊的輸入，通過(guò)調(diào)節(jié)參數(shù)，在transformer塊和附加網(wǎng)絡(luò)塊的輸出之間進(jìn)行加權(quán)融合，達(dá)到靈活控制兩者權(quán)重的目的；

55、步驟3.2：經(jīng)過(guò)附加網(wǎng)絡(luò)的數(shù)據(jù)輸入至輸出層，輸出層是一個(gè)全連接層，將數(shù)據(jù)映射到特定數(shù)量的輸出節(jié)點(diǎn)上，輸出層的大小取決于所選擇的預(yù)測(cè)目標(biāo)，經(jīng)過(guò)輸出層后，最終輸出工業(yè)設(shè)備的剩余壽命。

56、進(jìn)一步地，所述步驟三中，通過(guò)附加上下投影層的方式，以最大化利用預(yù)訓(xùn)練的大語(yǔ)言模型對(duì)時(shí)序特征的表達(dá)能力；在每個(gè)附加網(wǎng)絡(luò)塊中，包含一個(gè)下投影層和一個(gè)上投影層，下投影層包括映射層、批歸一化層和非線性relu層，將輸入特征投影到低維空間，以降低計(jì)算復(fù)雜度；然后，上投影層將降維后的特征重新投影回原始維度，以便進(jìn)行與大語(yǔ)言模型的后續(xù)融合；附加網(wǎng)絡(luò)共享與大語(yǔ)言模型相同的輸入，即接收預(yù)訓(xùn)練權(quán)重信息，特征在進(jìn)入附加網(wǎng)絡(luò)塊之后，先通過(guò)下投影層處理，接著通過(guò)上投影層恢復(fù)至原維度然后，再輸出到下一附加網(wǎng)絡(luò)塊或transformer塊，形成逐層累加的特征；這種結(jié)構(gòu)通過(guò)將附加網(wǎng)絡(luò)塊與大語(yǔ)言模型塊并行放置，使得兩者在保持模型整體深度的同時(shí)實(shí)現(xiàn)功能拓展，從而無(wú)需增加額外的模型深度，此外，由于附加網(wǎng)絡(luò)的并行結(jié)構(gòu)，其訓(xùn)練時(shí)只需微調(diào)少量參數(shù)，不會(huì)顯著增加計(jì)算開(kāi)銷。

57、本發(fā)明的優(yōu)勢(shì)和有益效果在于：

58、本發(fā)明的一種融合預(yù)訓(xùn)練大語(yǔ)言模型的工業(yè)設(shè)備剩余壽命預(yù)測(cè)方法，意在能夠利用深度學(xué)習(xí)、大語(yǔ)言模型等技術(shù)增強(qiáng)模型的預(yù)測(cè)精度和穩(wěn)定性，通過(guò)自然語(yǔ)言處理模型的知識(shí)遷移和特征提取能力，進(jìn)一步提升模型對(duì)工業(yè)設(shè)備劣化過(guò)程的理解和預(yù)測(cè)精度，為設(shè)備健康管理提供更高質(zhì)量的決策支持，從而更準(zhǔn)確地獲取工業(yè)設(shè)備的健康狀態(tài)和剩余壽命信息。