本發(fā)明涉及托輥故障診斷領(lǐng)域，特別涉及一種多模態(tài)信息融合的托輥故障診斷方法。

背景技術(shù)：

1、帶式輸送機(jī)是典型的旋轉(zhuǎn)機(jī)械，主要由輸送帶、滾筒、托輥、機(jī)架、驅(qū)動(dòng)裝置和張緊裝置等組成，具有運(yùn)量大、長(zhǎng)距離運(yùn)輸和連續(xù)運(yùn)輸?shù)葍?yōu)點(diǎn)，被廣泛地應(yīng)用于物流運(yùn)輸、能源與資源開(kāi)發(fā)等多個(gè)領(lǐng)域。驅(qū)動(dòng)裝置是帶式輸送機(jī)的動(dòng)力來(lái)源，很大程度上決定了帶式輸送機(jī)的運(yùn)行效能。托輥是驅(qū)動(dòng)裝置發(fā)生故障的主要部件，主要起到承載與導(dǎo)向作用，其數(shù)量可達(dá)上千組，其重量占帶式輸送機(jī)的35％左右，價(jià)值約占帶式輸送機(jī)的30％-40％。帶式輸送機(jī)故障導(dǎo)致的意外停機(jī)不僅會(huì)造成巨額經(jīng)濟(jì)損失，而且可能引起火災(zāi)、爆炸等惡性次生事故。在帶式輸送機(jī)起火事故中，托輥故障引發(fā)高溫起火是主要原因之一。托輥筒皮磨壞、彎曲變形、軸承失效容易引發(fā)托輥堵轉(zhuǎn)，傳輸帶與托輥表面持續(xù)摩擦從而積聚大量的熱量，停車后，傳輸帶與托輥靜止接觸產(chǎn)生持續(xù)高溫，達(dá)到燃點(diǎn)后引發(fā)火災(zāi)，進(jìn)而造成事故。

2、目前，針對(duì)托輥故障診斷的研究主要基于聲音、振動(dòng)、圖像等單一模態(tài)信息，忽略了各個(gè)模態(tài)信息對(duì)同一種故障類型的不同表征形式，缺少多模態(tài)信息融合利用的有效機(jī)制。不同模態(tài)的表現(xiàn)方式不一樣，看待事物的角度也會(huì)不一樣，所以存在一些特征交叉互補(bǔ)的現(xiàn)象，甚至模態(tài)間可能還存在多種不同的信息交互，如果能合理的處理多模態(tài)信息，就能得到豐富特征信息。同時(shí)，單一模態(tài)的故障診斷方法存在著信息不足和不準(zhǔn)確的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明意在提供一種多模態(tài)信息融合的托輥故障診斷方法，解決了現(xiàn)有的托輥故障診斷基于單一模態(tài)信息，存在著信息不足和不準(zhǔn)確的問(wèn)題。

2、為了達(dá)到上述目的，本發(fā)明的技術(shù)方案如下：一種多模態(tài)信息融合的托輥故障診斷方法，包括如下步驟：

3、s1、采集托輥運(yùn)行過(guò)程中的多種模態(tài)信號(hào)數(shù)據(jù)，并對(duì)采集到的原始一維信號(hào)數(shù)據(jù)進(jìn)行預(yù)處理；

4、s2、使用分類聚合近似簡(jiǎn)化各個(gè)信號(hào)的一維時(shí)序數(shù)據(jù)；

5、s3、將聚合處理后的各個(gè)信號(hào)分別利用馬爾可夫場(chǎng)轉(zhuǎn)換為二維特征圖像；

6、s4、將所有信號(hào)的二維特征圖像合成為三通道圖像，并按6:3:1劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集；

7、s5、建立基于swin?transformer網(wǎng)絡(luò)架構(gòu)的托輥故障診斷模型，并初始化參數(shù)；

8、s6、基于訓(xùn)練集和驗(yàn)證集對(duì)swin?transformer網(wǎng)絡(luò)架構(gòu)進(jìn)行訓(xùn)練、驗(yàn)證，利用優(yōu)化算法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化，如果網(wǎng)絡(luò)達(dá)到最優(yōu)效果則進(jìn)行步驟s7，否則進(jìn)行步驟s5，并修改初始參數(shù)繼續(xù)訓(xùn)練并保存最佳權(quán)重；

9、s7、將測(cè)試集輸入到步驟s6中最優(yōu)的swin?transformer網(wǎng)絡(luò)架構(gòu)中進(jìn)行托輥故障診斷，最終獲得托輥故障分類結(jié)果及測(cè)試準(zhǔn)確率。

10、進(jìn)一步的，多種所述模態(tài)信號(hào)數(shù)據(jù)包括溫度信號(hào)、聲音信號(hào)和振動(dòng)信號(hào)。

11、進(jìn)一步的，步驟s1的預(yù)處理方法為：分割得到每組長(zhǎng)度為m的序列數(shù)據(jù)，即溫度時(shí)序數(shù)據(jù)t＝{t1，t2，…，ti，…，tm}、聲音時(shí)序數(shù)據(jù)s＝{s1，s2，…，si，…，sm}、振動(dòng)時(shí)序數(shù)據(jù)v＝{v1，v2，…，vi，…，vm}。

12、進(jìn)一步的，將步驟s1中每個(gè)信號(hào)的序列數(shù)據(jù)使用分段聚合近似進(jìn)行數(shù)據(jù)降維，即用一個(gè)長(zhǎng)度為n的時(shí)序數(shù)據(jù)來(lái)表示長(zhǎng)度為m的原始時(shí)序數(shù)據(jù)x＝{x1，x2，…，xi，…，xm}，其中n≤m，具體計(jì)算公式如下：

13、

14、式中：k為壓縮率，k必須為整數(shù)。

15、進(jìn)一步的，步驟s3中所使用馬爾可夫場(chǎng)是馬爾可夫隨機(jī)場(chǎng)的特例，前提是假設(shè)隨機(jī)場(chǎng)中某一個(gè)位置的值僅與和它相鄰的位置的值有關(guān)，計(jì)算方法如下：

16、將時(shí)序序列x＝{x1，x2，…，xi，…，xn}依據(jù)取值范圍劃分為q個(gè)分位數(shù)單元，用分位數(shù)qj(j∈[1，q])量化時(shí)間序列的每一個(gè)值，將每個(gè)值xi映射到相應(yīng)的分位數(shù)qi,定義矩陣wq×q，其中，wi，j表示在單元j中的信號(hào)點(diǎn)被在單元i中的元素跟隨的概率，即沿時(shí)間步長(zhǎng)以第一馬爾可夫鏈方式計(jì)算遷移概率：

17、wi，j＝p(xt∈qi|xt-1∈qj)

18、矩陣wq×q即為馬爾可夫狀態(tài)轉(zhuǎn)移矩陣，馬爾可夫場(chǎng)將每個(gè)遷移概率沿時(shí)間順序排列拓展馬爾可夫狀態(tài)轉(zhuǎn)移矩陣，遷移概率矩陣mn×n，其中mi，j為單元i中的元素遷移到單元j中的概率：

19、mi，j＝p(qi→qj)

20、矩陣mn×n即為馬爾可夫場(chǎng)特征圖：

21、

22、進(jìn)一步的，步驟s4中將每組時(shí)間序列數(shù)據(jù)經(jīng)空間維度數(shù)據(jù)融合，即將編碼形成的單通道馬爾可夫場(chǎng)特征圖在深度維度上進(jìn)行疊加得到多通道馬爾可夫場(chǎng)特征圖，并按6:3:1劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集。

23、進(jìn)一步的，步驟s5的托輥故障診斷模型包括圖像塊分割層、層疊模塊、歸一化層、全局池化層和全連接層，所述圖像塊分割層將多通道馬爾可夫場(chǎng)特征圖以每4×4相鄰像素為一個(gè)圖像塊分割，并在輸入圖片的通道方向展平，所述層疊模塊通過(guò)四個(gè)階段構(gòu)建不同大小的特征圖，通過(guò)各個(gè)階段的圖像塊序列數(shù)隨著網(wǎng)絡(luò)的加深而減少，最后通過(guò)歸一化、全局池化和全連接層輸出托輥故障診斷結(jié)果。

24、進(jìn)一步的，步驟s6中利用損失函數(shù)通過(guò)對(duì)預(yù)測(cè)樣本和真實(shí)樣本標(biāo)簽產(chǎn)生的誤差進(jìn)行反向傳播來(lái)優(yōu)化網(wǎng)絡(luò)參數(shù)，選擇交叉熵作為損失函數(shù)：

25、

26、式中：q(xi)為預(yù)測(cè)概率分布，p(xi)為樣本真實(shí)概率分布，

27、反向傳播中使用adamw優(yōu)化器對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練優(yōu)化，不同于adma優(yōu)化器中權(quán)重衰減在計(jì)算梯度之前。

28、與現(xiàn)有技術(shù)相比，本方案的有益效果：

29、1、本方案采集托輥運(yùn)行過(guò)程中多種模態(tài)信號(hào)數(shù)據(jù)，通過(guò)多種模態(tài)信號(hào)數(shù)據(jù)融合來(lái)診斷托輥的健康狀態(tài)，克服了基于單一模態(tài)信息的故障診斷方法存在著信息不足和不準(zhǔn)確的問(wèn)題。

30、2、本方案利用馬爾可夫場(chǎng)(markov?transition?field，mtf)考慮信號(hào)時(shí)間相關(guān)性的優(yōu)點(diǎn)，對(duì)原始一維信號(hào)數(shù)據(jù)進(jìn)行編碼，根據(jù)數(shù)據(jù)之間的轉(zhuǎn)移概率得到不同時(shí)間間隔內(nèi)的數(shù)據(jù)相關(guān)性，并生成具有時(shí)間相關(guān)性的二維特征圖像。這種編碼轉(zhuǎn)化的過(guò)程本質(zhì)上是一種升維的過(guò)程，相較于原始的一維信號(hào)數(shù)據(jù)增加了不同時(shí)刻數(shù)據(jù)值之間的關(guān)系表征。同時(shí)對(duì)原始數(shù)據(jù)使用分段聚合近似(piecewise?aggregate?approximation，paa)來(lái)簡(jiǎn)化時(shí)序數(shù)據(jù)，控制信號(hào)的樣本長(zhǎng)度，防止mtf編碼轉(zhuǎn)化后得到的大尺寸特征圖可能會(huì)使得后續(xù)網(wǎng)絡(luò)的計(jì)算和參數(shù)量增加。

31、3、本方案將多種模態(tài)信號(hào)數(shù)據(jù)轉(zhuǎn)換合成多通道m(xù)tf圖像，實(shí)現(xiàn)數(shù)據(jù)層的信息融合，同時(shí)保留各自對(duì)時(shí)間的相關(guān)性。然后采用swin?transformer網(wǎng)絡(luò)對(duì)包含多種模態(tài)信號(hào)數(shù)據(jù)的多通道m(xù)tf圖進(jìn)行訓(xùn)練，其中swin?transformer是對(duì)vision?transformer的改進(jìn)，采用了層次化構(gòu)建方法，使用不同倍數(shù)的下采樣來(lái)構(gòu)建特征圖，在每個(gè)窗口內(nèi)使用窗口多頭注意力機(jī)制(windows?multi-head?self-attention，w-msa)進(jìn)行注意力計(jì)算。并且使用滑動(dòng)窗口多頭注意力機(jī)制(shifted?windows?multi-head?self-attention，sw-msa)模塊在相鄰窗口之間傳遞信息?？梢栽诒ＷC特征提取能力的前提下有效降低計(jì)算量和參數(shù)量。最后在swin?transformer結(jié)構(gòu)后增加全局池化層以及全連接層得到最終故障診斷結(jié)果輸出。因此，本發(fā)明能夠準(zhǔn)確、有效地對(duì)托輥運(yùn)行過(guò)程出現(xiàn)的故障進(jìn)行分類辨識(shí)。