本發(fā)明屬于機(jī)械裝備故障診斷，具體涉及一種基于神經(jīng)形態(tài)計(jì)算與多模態(tài)數(shù)據(jù)的機(jī)械智能故障診斷方法。

背景技術(shù)：

1、機(jī)械設(shè)備的健康狀態(tài)直接影響生產(chǎn)效率和安全性，機(jī)械故障診斷在工業(yè)設(shè)備的維護(hù)和管理中具有至關(guān)重要的作用，通過(guò)早期檢測(cè)和診斷潛在故障，可以提高生產(chǎn)力，并降低維護(hù)成本；因此，開(kāi)發(fā)高效的機(jī)械故障診斷方法尤為重要。

2、深度學(xué)習(xí)技術(shù)通過(guò)其強(qiáng)大的特征提取和模式識(shí)別能力，在處理復(fù)雜的機(jī)械信號(hào)方面展示了顯著的優(yōu)勢(shì)，但其通常需要大量標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，訓(xùn)練過(guò)程耗時(shí)，且對(duì)計(jì)算資源的需求也很高。傳統(tǒng)計(jì)算系統(tǒng)通常需要很高的計(jì)算功率，難以實(shí)現(xiàn)邊緣的長(zhǎng)期實(shí)時(shí)監(jiān)控，這一事實(shí)在公開(kāi)文獻(xiàn)中并沒(méi)有得到很好的關(guān)注，因?yàn)槿藗兺ǔ８P(guān)注不同情況下的計(jì)算性能，而不是能源效率。此外，隨著工業(yè)設(shè)備的大型化和復(fù)雜化，對(duì)更豐富、更全面的數(shù)據(jù)的需求也在增加，以分析設(shè)備的運(yùn)行狀況和健康程度，對(duì)于復(fù)雜的機(jī)器，單一傳感器的數(shù)據(jù)通常不能完全反映設(shè)備的健康狀況，從而難以準(zhǔn)確診斷故障。

3、脈沖神經(jīng)網(wǎng)絡(luò)(snn)是近年來(lái)發(fā)展起來(lái)的一種受神經(jīng)生物學(xué)啟發(fā)的計(jì)算模型，其通過(guò)模擬神經(jīng)元的脈沖活動(dòng)進(jìn)行信息處理，僅在神經(jīng)元發(fā)出脈沖時(shí)才消耗能量，具有高效的時(shí)空特征處理能力和低能耗特性，這使得snn模型在實(shí)現(xiàn)高效、低功耗的智能診斷系統(tǒng)方面具有巨大潛力。

4、盡管目前的研究表明snn模型在機(jī)器故障診斷方面具有巨大的潛力([1]z.xu,y.ma,z.pan,and?x.zheng,“deep?spiking?residual?shrinkage?network?for?bearingfault?diagnosis,”ieee?transactions?on?cybernetics,vol.54,no.3,pp.1608–1613,2024；[2]l.xu?and?d.ji,“online?fault?diagnosis?using?bioinspired?spike?neuralnetwork,”ieee?transactions?on?industrial?informatics,pp.1–9,2024)，但其在實(shí)際ai系統(tǒng)中的能效優(yōu)勢(shì)仍未得到充分發(fā)揮；此外，現(xiàn)有的snn模型在處理復(fù)雜的多模態(tài)數(shù)據(jù)融合方面仍然存在局限性。

技術(shù)實(shí)現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供了一種基于神經(jīng)形態(tài)計(jì)算與多模態(tài)數(shù)據(jù)的機(jī)械智能故障診斷方法，解決了傳統(tǒng)方法在全面分析多模態(tài)信息和實(shí)現(xiàn)長(zhǎng)期實(shí)時(shí)在線監(jiān)測(cè)方面的不足，實(shí)現(xiàn)了基于多模態(tài)數(shù)據(jù)的低功耗、高精度的機(jī)械智能故障診斷。

2、為了達(dá)到上述目的，本發(fā)明采用的技術(shù)方案如下：

3、一種基于神經(jīng)形態(tài)計(jì)算與多模態(tài)數(shù)據(jù)的機(jī)械智能故障診斷方法，首先，對(duì)采集的振動(dòng)、電流和扭矩多模態(tài)數(shù)據(jù)集進(jìn)行預(yù)處理；其次，建立面向多模態(tài)數(shù)據(jù)的仿生脈沖神經(jīng)網(wǎng)絡(luò)模型，將不同傳感器源的預(yù)處理數(shù)據(jù)轉(zhuǎn)換成脈沖序列，仿生融合不同模態(tài)的故障特征；最后，部署至神經(jīng)形態(tài)硬件系統(tǒng)，驗(yàn)證神經(jīng)形態(tài)計(jì)算的能耗優(yōu)勢(shì)。

4、一種基于神經(jīng)形態(tài)計(jì)算與多模態(tài)數(shù)據(jù)的機(jī)械智能故障診斷方法，包括以下步驟：

5、步驟1：對(duì)通過(guò)三種傳感器采集的振動(dòng)、電流、扭矩多模態(tài)數(shù)據(jù)進(jìn)行歸一化預(yù)處理，將數(shù)據(jù)范圍限定在[0,1]區(qū)間，基于歸一化預(yù)處理后的數(shù)據(jù)構(gòu)建多模態(tài)樣本集，并劃分訓(xùn)練集和測(cè)試集；

6、步驟2：設(shè)計(jì)基于積分-發(fā)放(integrateand?fire,iaf)脈沖神經(jīng)元的仿生編碼層，并建立多模態(tài)仿生脈沖神經(jīng)網(wǎng)絡(luò)模型；通過(guò)仿生編碼層實(shí)現(xiàn)對(duì)歸一化預(yù)處理后的原始多類信息的仿生編碼，完成不同類型數(shù)據(jù)到脈沖序列的轉(zhuǎn)換，得到多模態(tài)脈沖序列；將多模態(tài)脈沖序列通過(guò)多個(gè)并行的snn模塊提取高級(jí)表征，基于iaf脈沖神經(jīng)元建立仿生融合層，實(shí)現(xiàn)對(duì)不同傳感器信號(hào)特征的仿生融合，得到深層脈沖特征；之后深層脈沖特征通過(guò)展平層被展平至一維，并且通過(guò)線性脈沖層輸出，經(jīng)選擇發(fā)放脈沖次數(shù)最多的神經(jīng)元，完成對(duì)脈沖模式的精確分類；

7、步驟3：將步驟1中獲得的多模態(tài)樣本集的訓(xùn)練集輸入步驟2構(gòu)建的多模態(tài)仿生脈沖神經(jīng)網(wǎng)絡(luò)模型中，仿生提取多模態(tài)樣本集中個(gè)性化信息并融合高級(jí)表征，即獲得仿生融合高級(jí)表征；

8、步驟4：使用步驟3中獲得的仿生融合高級(jí)表征計(jì)算分類損失，優(yōu)化并且更新多模態(tài)仿生脈沖神經(jīng)網(wǎng)絡(luò)模型的參數(shù)；

9、步驟5：重復(fù)步驟3至步驟4，迭代并且更新優(yōu)化多模態(tài)仿生脈沖神經(jīng)網(wǎng)絡(luò)模型的參數(shù)，直至模型訓(xùn)練完成，獲得最終多模態(tài)仿生脈沖神經(jīng)網(wǎng)絡(luò)模型；

10、步驟6：將步驟5獲得的最終多模態(tài)仿生脈沖神經(jīng)網(wǎng)絡(luò)模型部署至神經(jīng)形態(tài)硬件系統(tǒng)，將步驟1獲得的多模態(tài)樣本集中的測(cè)試集輸入神經(jīng)形態(tài)硬件系統(tǒng)，從而獲得測(cè)試集數(shù)據(jù)對(duì)應(yīng)類別的標(biāo)簽，以驗(yàn)證神經(jīng)形態(tài)計(jì)算的能耗優(yōu)勢(shì)。

11、所述的步驟1具體為：

12、對(duì)振動(dòng)、電流、扭矩多模態(tài)數(shù)據(jù)進(jìn)行歸一化預(yù)處理，使其處在[0，1]區(qū)間：

13、

14、式中，x′ij表示歸一化預(yù)處理后的多模態(tài)數(shù)據(jù)中，第j類數(shù)據(jù)的第i個(gè)樣本值，xij為歸一化前的原始多模態(tài)數(shù)據(jù)中，第j類數(shù)據(jù)的第i個(gè)樣本值，min(xj)和max(xj)分別表示第j類數(shù)據(jù)的最小值和最大值；

15、對(duì)歸一化預(yù)處理后的數(shù)據(jù)構(gòu)建多模態(tài)樣本集，訓(xùn)練集和測(cè)試集按照8：2的比例來(lái)劃分。

16、所述的步驟2具體為：

17、基于積分-發(fā)放(integrate?and?fire，iaf)神經(jīng)元計(jì)算復(fù)雜度提供多種脈沖表示：

18、

19、式中，t代表時(shí)間步長(zhǎng)，τm為神經(jīng)元的時(shí)間常數(shù)，u(t)為神經(jīng)元的膜電位，urest為復(fù)位電位，r為神經(jīng)元離子通道的等效電阻，i(t)為突觸輸入神經(jīng)元的電流，wn是單個(gè)突觸權(quán)重，代表突觸輸入脈沖序列，是第n個(gè)突觸的第s個(gè)脈沖在被激發(fā)的時(shí)間步長(zhǎng)；每個(gè)神經(jīng)元都與輸入通道突觸連接，如果加權(quán)輸入總和超過(guò)神經(jīng)元預(yù)設(shè)定的閾值膜電位，該神經(jīng)元就會(huì)產(chǎn)生二進(jìn)制脈沖輸出，同時(shí)膜電位回歸到復(fù)位電位urest，并進(jìn)入不應(yīng)期；

20、基于iaf神經(jīng)元構(gòu)建并行脈沖卷積網(wǎng)絡(luò)架構(gòu)，每個(gè)snn模塊均由脈沖卷積層、iaf脈沖神經(jīng)元層和池化層組成；歸一化預(yù)處理后的不同信號(hào)直接輸入多模態(tài)仿生脈沖神經(jīng)網(wǎng)絡(luò)模型，經(jīng)過(guò)仿生編碼層，將非二進(jìn)制多模態(tài)輸入轉(zhuǎn)換為脈沖模式；多個(gè)并行的snn模塊接收來(lái)自仿生編碼層的輸入，提取并融合不同傳感器信號(hào)的高級(jí)表征，然后利用仿生融合層實(shí)現(xiàn)多模態(tài)信號(hào)仿生融合，仿生融合層的輸出脈沖展平至一維通過(guò)線性脈沖層輸出到最后的iaf神經(jīng)元層，即選擇發(fā)放脈沖次數(shù)最多的神經(jīng)元，通過(guò)在存在特定脈沖模式時(shí)選擇性放電來(lái)對(duì)脈沖模式進(jìn)行分類，具體就是對(duì)iaf神經(jīng)元產(chǎn)生的脈沖進(jìn)行計(jì)數(shù)，并選擇最活躍的類別。

21、所述的步驟4具體為：

22、多模態(tài)仿生脈沖神經(jīng)網(wǎng)絡(luò)模型中的所有模塊都通過(guò)脈沖進(jìn)行通信，在計(jì)算輸出神經(jīng)元在整個(gè)時(shí)間窗口內(nèi)發(fā)出的脈沖數(shù)量后，采用交叉熵作為損失函數(shù)，模型從頭開(kāi)始使用誤差反向傳播進(jìn)行訓(xùn)練；

23、

24、式中，ul(t)是第l層包含c個(gè)輸出神經(jīng)元膜電位的向量，c是故障診斷類別數(shù)，是第l層第c類的突觸權(quán)重矩陣，是第l-1層的輸出二進(jìn)制脈沖，是預(yù)測(cè)為c類的概率值，即包含softmax的向量，yc是真實(shí)標(biāo)簽，是損失函數(shù)；

25、突觸權(quán)重矩陣wl更新如下，

26、wl＝wl-θδwl

27、

28、式中，θ為學(xué)習(xí)率。

29、和現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：

30、本發(fā)明提出了一種基于神經(jīng)形態(tài)計(jì)算與多模態(tài)數(shù)據(jù)的機(jī)械智能故障診斷方法，構(gòu)建了一種多模態(tài)仿生脈沖神經(jīng)網(wǎng)絡(luò)模型，仿生編碼層將不同來(lái)源信號(hào)的信息有效編碼進(jìn)脈沖序列當(dāng)中，仿生融合層從不同角度擴(kuò)充模態(tài)表征方式，實(shí)現(xiàn)低功耗高精度的多模態(tài)仿生信號(hào)融合智能故障診斷；最后將多模態(tài)仿生脈沖神經(jīng)網(wǎng)絡(luò)模型部署至神經(jīng)形態(tài)硬件系統(tǒng)，自然的體現(xiàn)了神經(jīng)形態(tài)計(jì)算在內(nèi)存、能耗、延遲和準(zhǔn)確性等方面的獨(dú)特優(yōu)勢(shì)。