本發(fā)明涉及圖像處理，尤其涉及一種基于360°動(dòng)態(tài)圖像檢測(cè)系統(tǒng)的故障預(yù)測(cè)方法。

背景技術(shù)：

1、360°動(dòng)態(tài)圖像檢測(cè)能夠持續(xù)、全面地收集大量的車輛異常數(shù)據(jù)，這些數(shù)據(jù)詳細(xì)記錄了異常項(xiàng)點(diǎn)的具體位置、所屬部件、歸屬車廂號(hào)以及列車號(hào)，為車輛故障分析和預(yù)測(cè)提供了豐富的基礎(chǔ)數(shù)據(jù)。然而，盡管擁有如此龐大的數(shù)據(jù)資源，現(xiàn)有技術(shù)主要局限于故障檢測(cè)，無(wú)法進(jìn)行有效的故障預(yù)測(cè)。

2、比如專利公開號(hào)cn118464481a、名稱為“一種用于城軌第三軌受流車輛的360°智能檢測(cè)系統(tǒng)”的專利中，包括車輛進(jìn)出庫(kù)檢測(cè)設(shè)備、測(cè)速儀、車頂線陣掃描模塊、車底線陣檢測(cè)模塊、車側(cè)線陣檢測(cè)模塊和受流器檢測(cè)模塊，所述車輛進(jìn)出口檢測(cè)設(shè)備用于拍攝檢測(cè)區(qū)域進(jìn)出口區(qū)域的圖像，實(shí)現(xiàn)車輛位置判斷和車牌信息識(shí)別，所述測(cè)速儀用于獲取車輛的實(shí)行速度，所述車頂線陣掃描模塊、車底線陣檢測(cè)模塊和車側(cè)線陣檢測(cè)模塊用于實(shí)現(xiàn)車頂、車底和車側(cè)的檢測(cè)，所述受流器檢測(cè)模塊用于實(shí)現(xiàn)第三軌受流器壓力檢測(cè)和受流靴磨耗檢測(cè)，將車輛運(yùn)行里程作為橫坐標(biāo)、磨耗量作為縱坐標(biāo)繪制關(guān)系曲線，根據(jù)關(guān)系曲線來預(yù)測(cè)后期磨耗量。缺點(diǎn)在于：只能預(yù)測(cè)后期磨耗量，無(wú)法準(zhǔn)確預(yù)測(cè)潛在故障。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)中360°動(dòng)態(tài)圖像檢測(cè)只能檢測(cè)故障而無(wú)法進(jìn)行故障預(yù)測(cè)的問題，本發(fā)明提供一種基于360°動(dòng)態(tài)圖像檢測(cè)系統(tǒng)的故障預(yù)測(cè)方法，通過準(zhǔn)確預(yù)測(cè)潛在故障，能夠顯著降低列車運(yùn)行過程中的安全風(fēng)險(xiǎn)，同時(shí)減少因故障導(dǎo)致的運(yùn)營(yíng)中斷和維修成本，從而提升列車的整體運(yùn)營(yíng)效率。

2、為實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明提供的一種技術(shù)方案是，一種基于360°動(dòng)態(tài)圖像檢測(cè)系統(tǒng)的故障預(yù)測(cè)方法，包括以下步驟：

3、s1，獲取列車的圖像數(shù)據(jù)，根據(jù)圖像處理算法，識(shí)別圖像中的異常項(xiàng)點(diǎn)；

4、s2，構(gòu)建關(guān)聯(lián)經(jīng)驗(yàn)?zāi)Ｐ?，根?jù)經(jīng)驗(yàn)規(guī)則，為不同類型的異常項(xiàng)點(diǎn)分配相應(yīng)的權(quán)重；

5、s3，構(gòu)建歷史模型，基于列車的歷史數(shù)據(jù)，識(shí)別并分析故障模式和趨勢(shì)，預(yù)測(cè)零部件的壽命和更換周期；

6、s4，構(gòu)建傳遞模型，用于模擬故障信號(hào)的傳播過程，通過模型分析，量化評(píng)估故障信號(hào)在傳播過程中對(duì)數(shù)據(jù)的影響程度；

7、s5，根據(jù)多模型融合方法，為關(guān)聯(lián)經(jīng)驗(yàn)?zāi)Ｐ?、歷史模型和傳遞模型生成的關(guān)聯(lián)性值進(jìn)行量化處理，為不同的關(guān)聯(lián)性值分配權(quán)重并進(jìn)行加權(quán)求和，基于多模態(tài)數(shù)據(jù)建立部件故障關(guān)聯(lián)性分析。

8、在本技術(shù)方案中，首先通過獲取列車的全方位圖像數(shù)據(jù)，并運(yùn)用圖像處理算法，精確識(shí)別圖像中的異常項(xiàng)點(diǎn)，異常項(xiàng)點(diǎn)往往是故障發(fā)生的前兆。接著，方法構(gòu)建了關(guān)聯(lián)經(jīng)驗(yàn)?zāi)Ｐ停鶕?jù)經(jīng)驗(yàn)規(guī)則，為不同類型的異常項(xiàng)點(diǎn)分配相應(yīng)的權(quán)重，從而實(shí)現(xiàn)對(duì)故障可能性的量化評(píng)估，使得故障預(yù)測(cè)更加具有針對(duì)性和準(zhǔn)確性。為了更深入地挖掘故障信息，構(gòu)建了歷史模型，基于列車的海量歷史數(shù)據(jù)，識(shí)別并分析故障模式和趨勢(shì)，進(jìn)而預(yù)測(cè)零部件的壽命和更換周期，使得故障預(yù)測(cè)不僅局限于當(dāng)前狀態(tài)，還能夠?qū)ξ磥淼墓收习l(fā)展進(jìn)行預(yù)測(cè)。此外，還構(gòu)建了傳遞模型，用于模擬故障信號(hào)的傳播過程，通過模型分析，量化評(píng)估故障信號(hào)在傳播過程中對(duì)數(shù)據(jù)的影響程度，從而更加準(zhǔn)確地判斷故障的影響范圍和嚴(yán)重程度。采用多模型融合技術(shù)，將關(guān)聯(lián)經(jīng)驗(yàn)?zāi)Ｐ?、歷史模型和傳遞模型生成的關(guān)聯(lián)性值進(jìn)行量化處理，并為不同的關(guān)聯(lián)性值分配權(quán)重并進(jìn)行加權(quán)求和，使得故障預(yù)測(cè)結(jié)果更加全面和準(zhǔn)確，為部件故障關(guān)聯(lián)性分析提供了有力的支持。

9、本發(fā)明還進(jìn)一步設(shè)置為：在s5步驟中，所述基于多模態(tài)數(shù)據(jù)建立部件故障關(guān)聯(lián)性分析包括：

10、對(duì)融合后的多模態(tài)數(shù)據(jù)進(jìn)行特征提取并進(jìn)行特征選擇；

11、構(gòu)建機(jī)器學(xué)習(xí)模型，分析部件之間的故障關(guān)聯(lián)性；

12、利用網(wǎng)絡(luò)分析方法分析故障在部件之間的傳播路徑和可能性；

13、利用歷史故障數(shù)據(jù)對(duì)機(jī)器學(xué)習(xí)模型進(jìn)行驗(yàn)證。

14、在本技術(shù)方案中，通過對(duì)融合后的多模態(tài)數(shù)據(jù)進(jìn)行特征提取和特征選擇，有效地挖掘出了與部件故障緊密相關(guān)的關(guān)鍵信息。接著，構(gòu)建機(jī)器學(xué)習(xí)模型，并運(yùn)用該模型深入分析部件之間的故障關(guān)聯(lián)性，揭示了故障在不同部件之間傳播的規(guī)律和模式。此外，利用網(wǎng)絡(luò)分析方法進(jìn)一步探究了故障在部件之間的傳播路徑和可能性，為預(yù)測(cè)和防范故障擴(kuò)散提供了有力支持。最后，利用歷史故障數(shù)據(jù)對(duì)機(jī)器學(xué)習(xí)模型進(jìn)行了嚴(yán)格的驗(yàn)證，確保了模型的準(zhǔn)確性和可靠性。

15、本發(fā)明還進(jìn)一步設(shè)置為：所述構(gòu)建機(jī)器學(xué)習(xí)模型包括：

16、同步收集圖像數(shù)據(jù)、振動(dòng)信號(hào)數(shù)據(jù)和溫度數(shù)據(jù)；

17、對(duì)數(shù)據(jù)進(jìn)行處理并進(jìn)行特征級(jí)聯(lián)，生成具有統(tǒng)一尺寸的多模態(tài)數(shù)據(jù)格式；

18、根據(jù)故障信息，為數(shù)據(jù)制作對(duì)應(yīng)的標(biāo)簽，將處理后的多模態(tài)數(shù)據(jù)和對(duì)應(yīng)的標(biāo)簽組合，生成多模態(tài)故障診斷特征提取數(shù)據(jù)集；

19、根據(jù)多模態(tài)數(shù)據(jù)集構(gòu)建故障診斷神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，生成故障預(yù)測(cè)特征提取模型。

20、在本技術(shù)方案中，同步通過收集圖像數(shù)據(jù)、振動(dòng)信號(hào)數(shù)據(jù)和溫度數(shù)據(jù)，確保了故障預(yù)測(cè)所需信息的全面性和多樣性。同步收集包括對(duì)數(shù)據(jù)進(jìn)行時(shí)間同步和空間同步，確保了不同來源數(shù)據(jù)之間的一致性和關(guān)聯(lián)性，提高了數(shù)據(jù)處理的準(zhǔn)確性和可靠性。通過處理并級(jí)聯(lián)數(shù)據(jù)，生成具有同一尺寸的多模態(tài)數(shù)據(jù)格式，簡(jiǎn)化了數(shù)據(jù)處理的復(fù)雜性，使得數(shù)據(jù)更易于被模型接受和處理。時(shí)間同步通過控制采集指令的觸發(fā)來實(shí)現(xiàn)，確保各傳感器幾乎同時(shí)采集數(shù)據(jù)，空間同步則通過多傳感器聯(lián)合標(biāo)定來實(shí)現(xiàn)，確保在特定區(qū)域內(nèi)采集的對(duì)象在空間位置上一致。在構(gòu)建神經(jīng)網(wǎng)絡(luò)時(shí)，輸入層接受尺寸大小為640*640*5的32位浮點(diǎn)型數(shù)據(jù)，特征提取層采用經(jīng)images公開數(shù)據(jù)集預(yù)訓(xùn)練的resnet152網(wǎng)絡(luò)，以提取豐富的特征表示，輸出層連接一個(gè)形狀為1*2048的全連接層，用于生成最終的故障預(yù)測(cè)特征。

21、本發(fā)明還進(jìn)一步設(shè)置為：所述網(wǎng)絡(luò)分析方法包括：

22、將列車中的部件表示為網(wǎng)絡(luò)中的節(jié)點(diǎn)，將部件之間的故障傳播關(guān)系表示為邊，構(gòu)建故障傳播網(wǎng)絡(luò)；

23、利用最短路徑算法，分析故障在網(wǎng)絡(luò)中的傳播路徑和關(guān)鍵節(jié)點(diǎn)；

24、基于構(gòu)建的故障傳播網(wǎng)絡(luò)，利用仿真技術(shù)模擬故障的傳播過程，預(yù)測(cè)故障可能影響的部件和范圍。

25、在本技術(shù)方案中，構(gòu)建故障傳播網(wǎng)絡(luò)，不僅使得列車的故障傳播模式變得清晰可見，還為后續(xù)的故障分析和預(yù)測(cè)提供了堅(jiān)實(shí)的基礎(chǔ)。在故障傳播路徑和關(guān)鍵節(jié)點(diǎn)的分析上，利用了最短路徑算法，能夠迅速且準(zhǔn)確地分析出故障在網(wǎng)絡(luò)中的傳播路徑，以及那些對(duì)故障傳播具有關(guān)鍵影響的節(jié)點(diǎn)，對(duì)于理解故障的擴(kuò)散機(jī)制以及制定有效的預(yù)防措施具有重要意義。此外，還基于構(gòu)建的故障傳播網(wǎng)絡(luò)，利用仿真技術(shù)模擬了故障的傳播過程，不僅能夠直觀地展示故障如何在網(wǎng)絡(luò)中蔓延，還能夠預(yù)測(cè)故障可能影響的部件和范圍，對(duì)于及時(shí)制定維修計(jì)劃、減少故障對(duì)列車運(yùn)行的影響具有顯著的價(jià)值。

26、本發(fā)明還進(jìn)一步設(shè)置為：在s1步驟中，所述圖像處理算法包括：

27、對(duì)連續(xù)獲取的列車360°圖像進(jìn)行色彩校正，以消除溫度、濕度等物理環(huán)境變化以及光源強(qiáng)度衰減對(duì)采集圖像的色溫、色調(diào)造成的影響；

28、對(duì)色彩校正后的圖像進(jìn)行直方圖均衡化以及濾波處理，消除圖像中的隨機(jī)噪聲；

29、利用異常檢測(cè)深度學(xué)習(xí)網(wǎng)絡(luò)模型對(duì)預(yù)處理后的圖像進(jìn)行異常項(xiàng)點(diǎn)檢測(cè)，并輸出異常項(xiàng)點(diǎn)的類別信息以及在圖像中的坐標(biāo)值和異常區(qū)域的最小外接矩形的長(zhǎng)和寬。

30、本技術(shù)方案中，通過對(duì)連續(xù)獲取的列車360°圖像進(jìn)行色彩校正，有效地消除了由于溫度、濕度等物理環(huán)境變化以及光源強(qiáng)度衰減對(duì)圖像色溫、色調(diào)造成的影響，確保了圖像色彩的準(zhǔn)確性和一致性，為后續(xù)處理提供了高質(zhì)量的圖像數(shù)據(jù)。色彩校正后的圖像進(jìn)一步通過直方圖均衡化處理，使得圖像的對(duì)比度更加均衡，亮區(qū)和暗區(qū)的細(xì)節(jié)更加清晰，有利于后續(xù)處理中對(duì)異常項(xiàng)的準(zhǔn)確識(shí)別。濾波處理有效地消除了圖像中的隨機(jī)噪聲，提高了圖像的純凈度，為后續(xù)的邊緣檢測(cè)、特征提取等步驟打下了堅(jiān)實(shí)的基礎(chǔ)。利用訓(xùn)練好的異常檢測(cè)深度學(xué)習(xí)網(wǎng)絡(luò)模型，對(duì)預(yù)處理后的圖像進(jìn)行深度分析，能夠準(zhǔn)確地檢測(cè)出圖像中的異常項(xiàng)點(diǎn)，包括異常項(xiàng)點(diǎn)的類別、精確位置（坐標(biāo)值）以及異常區(qū)域的大?。ㄗ钚⊥饨泳匦蔚拈L(zhǎng)和寬），為后續(xù)的故障分析和預(yù)測(cè)提供了詳盡的數(shù)據(jù)支持。

31、本發(fā)明還進(jìn)一步設(shè)置為：在s3步驟中，所述識(shí)別并分析故障模式和趨勢(shì)，預(yù)測(cè)零部件的壽命和更換周期包括：

32、利用知識(shí)圖譜進(jìn)行路徑關(guān)聯(lián)分析，挖掘零部件工藝參數(shù)與故障類型之間的潛在關(guān)聯(lián)規(guī)律；

33、基于挖掘出的關(guān)聯(lián)規(guī)律，構(gòu)建部件故障二元圖模型；

34、采集實(shí)時(shí)多模態(tài)數(shù)據(jù)，形成多類型運(yùn)行狀態(tài)參數(shù)數(shù)據(jù)集，并對(duì)數(shù)據(jù)集進(jìn)行分析；

35、通過知識(shí)圖譜的路徑關(guān)聯(lián)概率搜索技術(shù)和節(jié)點(diǎn)間的貝葉斯概率學(xué)習(xí)方法，實(shí)現(xiàn)對(duì)潛在故障類型、故障部件以及故障時(shí)機(jī)的提前預(yù)測(cè)；

36、構(gòu)建基于部件、故障類型及系統(tǒng)模態(tài)的節(jié)點(diǎn)關(guān)聯(lián)圖，進(jìn)行潛在故障類型的故障位置和故障信號(hào)的匹配。

37、本技術(shù)方案中，首先，利用知識(shí)圖譜進(jìn)行路徑關(guān)聯(lián)分析，成功挖掘出了零部件工藝參數(shù)與故障類型之間的潛在關(guān)聯(lián)規(guī)律。其次，基于挖掘出的關(guān)聯(lián)規(guī)律，構(gòu)建了部件故障二元圖模型，能夠直觀地展示故障的傳播路徑和可能的影響范圍，有助于維修人員更準(zhǔn)確地定位和排除故障。在數(shù)據(jù)采集和分析方面，通過采集實(shí)時(shí)多模態(tài)數(shù)據(jù)，形成了多類型運(yùn)行狀態(tài)參數(shù)數(shù)據(jù)集，并運(yùn)用xgboost算法對(duì)數(shù)據(jù)集進(jìn)行深入分析，對(duì)于圖像數(shù)據(jù)，可以使用卷積神經(jīng)網(wǎng)絡(luò)，來提取特征，然后將這些特征作為xgboost的輸入，對(duì)于振動(dòng)信號(hào)和溫度數(shù)據(jù)，可以進(jìn)行傅里葉變換，以生成可用于xgboost的一維特征。不僅提高了數(shù)據(jù)分析的準(zhǔn)確性和效率，還為后續(xù)的故障預(yù)測(cè)提供了有力的數(shù)據(jù)支持。此外，該方法還通過知識(shí)圖譜的路徑關(guān)聯(lián)概率搜索技術(shù)和節(jié)點(diǎn)間的貝葉斯概率學(xué)習(xí)方法，實(shí)現(xiàn)了對(duì)潛在故障類型、故障部件以及故障時(shí)機(jī)的提前預(yù)測(cè)。對(duì)于及時(shí)制定維修計(jì)劃、減少故障對(duì)列車運(yùn)行的影響具有重要意義。最后，該方法構(gòu)建了基于部件、故障類型及系統(tǒng)模態(tài)的節(jié)點(diǎn)關(guān)聯(lián)圖，實(shí)現(xiàn)了潛在故障類型的故障位置和故障信號(hào)的精確匹配。這一匹配過程的實(shí)施，不僅提高了故障診斷的準(zhǔn)確性，還為維修人員提供了更具體的維修指導(dǎo)。

38、本發(fā)明還進(jìn)一步設(shè)置為：所述經(jīng)驗(yàn)規(guī)則基于rgb圖像中的零部件外觀變化、3d點(diǎn)云中的幾何形狀變化以及振動(dòng)信號(hào)中的頻率、幅值和相位變化。

39、本技術(shù)方案中，經(jīng)驗(yàn)規(guī)則融合了多種數(shù)據(jù)源的信息，包括rgb圖像中的零部件外觀變化、3d點(diǎn)云中的幾何形狀變化以及振動(dòng)信號(hào)中的頻率、幅值和相位變化。這一綜合性的經(jīng)驗(yàn)規(guī)則設(shè)計(jì)，使得故障預(yù)測(cè)方法能夠更全面地捕捉列車零部件的潛在故障跡象，從而提高預(yù)測(cè)的準(zhǔn)確性和可靠性。通過綜合考慮零部件的外觀、幾何形狀以及振動(dòng)特性，能夠更準(zhǔn)確地識(shí)別出零部件的異常狀態(tài)，為及時(shí)采取維修措施、保障列車安全運(yùn)行提供有力支持。

40、本發(fā)明還進(jìn)一步設(shè)置為：在所述歷史模型中，通過監(jiān)測(cè)rgb圖像中零部件的外觀磨損、3d點(diǎn)云中的尺寸變化以及振動(dòng)信號(hào)中的能量衰減，以預(yù)測(cè)零部件的壽命和更換周期。

41、本技術(shù)方案中，通過監(jiān)測(cè)rgb圖像中零部件的外觀磨損情況，能夠直觀地捕捉到零部件表面因長(zhǎng)時(shí)間使用而產(chǎn)生的磨損跡象。同時(shí)，結(jié)合3d點(diǎn)云中的尺寸變化分析，能夠精確地測(cè)量出零部件的尺寸變化，進(jìn)而判斷其是否存在變形或損壞的風(fēng)險(xiǎn)。此外，通過監(jiān)測(cè)振動(dòng)信號(hào)中的能量衰減，還能有效地評(píng)估零部件的工作狀態(tài)和性能衰退情況。

42、本發(fā)明還進(jìn)一步設(shè)置為：在s4步驟中，所述量化評(píng)估的指標(biāo)包括rgb圖像中的異常區(qū)域擴(kuò)展速度、3d點(diǎn)云中的形變加速率以及振動(dòng)信號(hào)中的能量傳遞效率，以模擬故障信號(hào)的傳播過程。

43、本技術(shù)方案中，通過引入rgb圖像中的異常區(qū)域擴(kuò)展速度這一指標(biāo)，能夠準(zhǔn)確地描述故障在零部件表面的擴(kuò)散情況，為預(yù)測(cè)故障的進(jìn)一步發(fā)展提供了重要依據(jù)。還考慮了3d點(diǎn)云中的形變加速率，能夠反映零部件幾何形狀變化的速率，從而揭示故障對(duì)零部件結(jié)構(gòu)的潛在影響。結(jié)合振動(dòng)信號(hào)中的能量傳遞效率這一量化指標(biāo)，能夠更全面地模擬故障信號(hào)在列車系統(tǒng)中的傳播過程。

44、本發(fā)明還進(jìn)一步設(shè)置為：s5后，還包括s6：根據(jù)加權(quán)融合后的預(yù)測(cè)結(jié)果，生成預(yù)警信號(hào)和故障信息，并推送給管理人員。

45、本技術(shù)方案中，通過生成預(yù)警信號(hào)，能夠在潛在故障發(fā)生前提前通知管理人員，使他們有足夠的時(shí)間做出反應(yīng)，采取相應(yīng)的預(yù)防措施。同時(shí)，詳細(xì)的故障信息也為管理人員提供了判斷故障類型和制定維修計(jì)劃的重要依據(jù)。

46、本發(fā)明的有益效果：（1）通過準(zhǔn)確預(yù)測(cè)潛在故障，能夠顯著降低列車運(yùn)行過程中的安全風(fēng)險(xiǎn)，同時(shí)減少因故障導(dǎo)致的運(yùn)營(yíng)中斷和維修成本，從而提升列車的整體運(yùn)營(yíng)效率；（2）首先通過獲取列車的全方位圖像數(shù)據(jù)，并運(yùn)用圖像處理算法，精確識(shí)別圖像中的異常項(xiàng)點(diǎn)，異常項(xiàng)點(diǎn)往往是故障發(fā)生的前兆，接著，方法構(gòu)建了關(guān)聯(lián)經(jīng)驗(yàn)?zāi)Ｐ?，根?jù)經(jīng)驗(yàn)規(guī)則，為不同類型的異常項(xiàng)點(diǎn)分配相應(yīng)的權(quán)重，從而實(shí)現(xiàn)對(duì)故障可能性的量化評(píng)估，使得故障預(yù)測(cè)更加具有針對(duì)性和準(zhǔn)確性，為了更深入地挖掘故障信息，構(gòu)建了歷史模型，基于列車的海量歷史數(shù)據(jù)，識(shí)別并分析故障模式和趨勢(shì)，進(jìn)而預(yù)測(cè)零部件的壽命和更換周期，使得故障預(yù)測(cè)不僅局限于當(dāng)前狀態(tài)，還能夠?qū)ξ磥淼墓收习l(fā)展進(jìn)行預(yù)測(cè)，此外，還構(gòu)建了傳遞模型，用于模擬故障信號(hào)的傳播過程，通過模型分析，量化評(píng)估故障信號(hào)在傳播過程中對(duì)數(shù)據(jù)的影響程度，從而更加準(zhǔn)確地判斷故障的影響范圍和嚴(yán)重程度，采用多模型融合技術(shù)，將關(guān)聯(lián)經(jīng)驗(yàn)?zāi)Ｐ?、歷史模型和傳遞模型生成的關(guān)聯(lián)性值進(jìn)行量化處理，并為不同的關(guān)聯(lián)性值分配權(quán)重并進(jìn)行加權(quán)求和，使得故障預(yù)測(cè)結(jié)果更加全面和準(zhǔn)確，為部件故障關(guān)聯(lián)性分析提供了有力的支持。