本發(fā)明涉及巡檢設(shè)備數(shù)據(jù)采集與分析，特別是一種基于數(shù)據(jù)采集和多模態(tài)ai的智能巡檢方法、系統(tǒng)及終端設(shè)備。

背景技術(shù)：

1、隨著智能化程度的不斷提高，對(duì)設(shè)備（如工程管道、電力設(shè)施等）運(yùn)行狀態(tài)的實(shí)時(shí)監(jiān)測(cè)和維護(hù)的需求也日益增長(zhǎng)。傳統(tǒng)的巡檢方式主要依靠人工進(jìn)行定期檢查，存在效率低下、主觀性強(qiáng)、易受環(huán)境影響等缺點(diǎn)。為了解決這些問(wèn)題，近年來(lái)，基于數(shù)據(jù)采集和人工智能技術(shù)的智能巡檢方法逐漸興起，并取得了顯著的成果。然而，現(xiàn)有的智能巡檢方法大多基于單一傳感器或單一模態(tài)數(shù)據(jù)，難以全面、準(zhǔn)確地反映設(shè)備的運(yùn)行狀態(tài)。例如，僅依靠視覺(jué)圖像進(jìn)行巡檢，可能無(wú)法及時(shí)發(fā)現(xiàn)設(shè)備內(nèi)部的故障；僅依靠振動(dòng)數(shù)據(jù)進(jìn)行分析，可能無(wú)法區(qū)分不同類型的故障。

2、為了克服現(xiàn)有技術(shù)的局限性，迫切需要一種能夠融合多種模態(tài)數(shù)據(jù)，并利用人工智能技術(shù)進(jìn)行智能分析的巡檢方法。多模態(tài)數(shù)據(jù)融合技術(shù)能夠?qū)D像、聲音、振動(dòng)、溫度等多種模態(tài)數(shù)據(jù)結(jié)合起來(lái)，形成對(duì)設(shè)備運(yùn)行狀態(tài)的全面感知。人工智能技術(shù)，特別是深度學(xué)習(xí)算法，能夠從海量的多模態(tài)數(shù)據(jù)中自動(dòng)提取特征，并識(shí)別設(shè)備的異常狀態(tài)。因此，開(kāi)發(fā)一種基于數(shù)據(jù)采集和多模態(tài)ai的智能巡檢方法，能夠有效提升巡檢效率、降低人工成本、提高故障診斷的準(zhǔn)確性，具有重要的現(xiàn)實(shí)意義。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明克服了現(xiàn)有技術(shù)的不足，提供了一種基于數(shù)據(jù)采集和多模態(tài)ai的智能巡檢方法、系統(tǒng)及終端設(shè)備。

2、為達(dá)到上述目的本發(fā)明采用的技術(shù)方案為：

3、本發(fā)明公開(kāi)了一種基于數(shù)據(jù)采集和多模態(tài)ai的智能巡檢方法，包括以下步驟：

4、獲取巡檢目標(biāo)的多模態(tài)數(shù)據(jù)，并構(gòu)建體素空間，在所述體素空間內(nèi)對(duì)各多模態(tài)數(shù)據(jù)進(jìn)行處理，得到若干體素組塊；

5、對(duì)體素空間內(nèi)的各體素組塊進(jìn)行數(shù)據(jù)一致性判斷分析，獲取巡檢目標(biāo)在預(yù)設(shè)時(shí)間內(nèi)的各項(xiàng)多模態(tài)數(shù)據(jù)組；

6、獲取各多模態(tài)數(shù)據(jù)組的模態(tài)特征，將各多模態(tài)數(shù)據(jù)組的模態(tài)特征按預(yù)設(shè)映射和權(quán)重機(jī)制處理，得到巡檢目標(biāo)的多模態(tài)融合特征向量融合模型；

7、提前預(yù)制巡檢目標(biāo)處于標(biāo)準(zhǔn)狀態(tài)下的多模態(tài)融合特征向量基準(zhǔn)模型，根據(jù)所述多模態(tài)融合特征向量融合模型與多模態(tài)融合特征向量基準(zhǔn)模型對(duì)巡檢目標(biāo)進(jìn)行分析，獲取巡檢目標(biāo)的工作狀態(tài)。

8、優(yōu)選地，獲取巡檢目標(biāo)的多模態(tài)數(shù)據(jù)，并構(gòu)建體素空間，在所述體素空間內(nèi)對(duì)各多模態(tài)數(shù)據(jù)進(jìn)行處理，得到若干體素組塊，具體為：

9、利用搭載于智能巡檢設(shè)備上的傳感器陣列，在若干個(gè)預(yù)設(shè)時(shí)間點(diǎn)采集巡檢目標(biāo)的多模態(tài)數(shù)據(jù)；其中，所述多模態(tài)數(shù)據(jù)包括視覺(jué)圖像數(shù)據(jù)、紅外圖像數(shù)據(jù)、聲波數(shù)據(jù)、振動(dòng)數(shù)據(jù)、壓力數(shù)據(jù)以及電參數(shù)數(shù)據(jù)；

10、構(gòu)建體素空間，并在所述體素空間中分割出若干均等大小的單元體素塊，對(duì)所采集得到的多模態(tài)數(shù)據(jù)進(jìn)行離散處理，將離散后的多模態(tài)數(shù)據(jù)分別映射到各單元體素塊上；

11、獲取各單元體素塊上多模態(tài)數(shù)據(jù)的數(shù)據(jù)特征，所述數(shù)據(jù)特征包括文本向量與圖像特征向量；根據(jù)對(duì)應(yīng)數(shù)據(jù)特征計(jì)算各單元體素塊上多模態(tài)數(shù)據(jù)之間的余弦相似度；

12、將余弦相似度大于預(yù)設(shè)相似度的多模態(tài)數(shù)據(jù)定義為同組多模態(tài)數(shù)據(jù)；將被定義為同組多模態(tài)數(shù)據(jù)所對(duì)應(yīng)的單元體素塊合并，得到若干體素組塊；其中，各體素組塊中存有數(shù)據(jù)特征相同的多模態(tài)數(shù)據(jù)。

13、優(yōu)選地，對(duì)體素空間內(nèi)的各體素組塊進(jìn)行數(shù)據(jù)一致性判斷分析，獲取巡檢目標(biāo)在預(yù)設(shè)時(shí)間內(nèi)的各項(xiàng)多模態(tài)數(shù)據(jù)組，具體為：

14、獲取各體素組塊內(nèi)所存在的多模態(tài)數(shù)據(jù)，對(duì)各體素組塊內(nèi)所存在的多模態(tài)數(shù)據(jù)進(jìn)行加權(quán)平均處理，得到各體素組塊內(nèi)所存在的多模態(tài)數(shù)據(jù)的加權(quán)平均值，將各體素組塊內(nèi)所存在的多模態(tài)數(shù)據(jù)的加權(quán)平均值作為各體素組塊的體素中心；

15、計(jì)算各體素組塊中各多模態(tài)數(shù)據(jù)與對(duì)應(yīng)體素中心之間的馬氏距離，將各體素組塊中各多模態(tài)數(shù)據(jù)與對(duì)應(yīng)體素中心之間的馬氏距離，將各體素組塊中各多模態(tài)數(shù)據(jù)與對(duì)應(yīng)體素中心之間的馬氏距離進(jìn)行加權(quán)平均處理，得到各體素組塊的緊密度；并將各體素組塊的緊密度與預(yù)設(shè)閾值比較；

16、若某一體素組塊的緊密度大于預(yù)設(shè)閾值，說(shuō)明該體素組塊的數(shù)據(jù)一致性達(dá)標(biāo)，則在體素空間中切分出該體素組塊，并對(duì)所切分出的體素組塊內(nèi)的多模態(tài)數(shù)據(jù)進(jìn)行基于采集時(shí)間戳排序處理，得到巡檢目標(biāo)在預(yù)設(shè)時(shí)間內(nèi)的其中一項(xiàng)多模態(tài)數(shù)據(jù)組；

17、若某一體素組塊的緊密度不大于預(yù)設(shè)閾值，說(shuō)明該體素組塊的數(shù)據(jù)一致性不達(dá)標(biāo)，則對(duì)該體素組塊進(jìn)行降冗去噪處理，直至該體素組塊的緊密度大于預(yù)設(shè)閾值后，則在體素空間中切分出該體素組塊，并對(duì)所切分出的體素組塊內(nèi)的多模態(tài)數(shù)據(jù)進(jìn)行基于采集時(shí)間戳排序處理，得到巡檢目標(biāo)在預(yù)設(shè)時(shí)間內(nèi)的其中一項(xiàng)多模態(tài)數(shù)據(jù)組；

18、以此類推，直至對(duì)體素空間內(nèi)的所有體素組塊分析完畢，得到巡檢目標(biāo)在預(yù)設(shè)時(shí)間內(nèi)的各項(xiàng)多模態(tài)數(shù)據(jù)組。

19、優(yōu)選地，若某一體素組塊的緊密度不大于預(yù)設(shè)閾值，說(shuō)明該體素組塊的數(shù)據(jù)一致性不達(dá)標(biāo)，則對(duì)該體素組塊進(jìn)行降冗去噪處理，具體為：

20、分別標(biāo)記緊密度不大于預(yù)設(shè)閾值的體素組塊，以及獲取所被標(biāo)記體素組塊中各多模態(tài)數(shù)據(jù)與對(duì)應(yīng)體素中心之間的馬氏距離；

21、將所獲取得到的馬氏距離進(jìn)行降序排序處理，獲取馬氏距離由大到小的排序結(jié)果，并根據(jù)所述排序結(jié)果生成所被標(biāo)記體素組塊中各多模態(tài)數(shù)據(jù)的排序表格；

22、將排序表格中的第一個(gè)多模態(tài)數(shù)據(jù)在所被標(biāo)記體素組塊中刪除，然后計(jì)算所被標(biāo)記體素組塊的緊密度；將所被標(biāo)記體素組塊的緊密度與預(yù)設(shè)閾值進(jìn)行比較；

23、若所被標(biāo)記體素組塊的緊密度大于預(yù)設(shè)閾值，則停止迭代，完成對(duì)所被標(biāo)記體素組塊進(jìn)行降冗去噪處理；

24、若所被標(biāo)記體素組塊的緊密度依舊不大于預(yù)設(shè)閾值，則將排序表格中的第二個(gè)多模態(tài)數(shù)據(jù)在所被標(biāo)記體素組塊中刪除，重復(fù)本過(guò)程進(jìn)行迭代操作，以將排序表格中的第n個(gè)多模態(tài)數(shù)據(jù)在所被標(biāo)記體素組塊中刪除，直至當(dāng)所被標(biāo)記體素組塊的緊密度大于預(yù)設(shè)閾值后，則停止迭代，完成對(duì)所被標(biāo)記體素組塊進(jìn)行降冗去噪處理。

25、優(yōu)選地，獲取各多模態(tài)數(shù)據(jù)組的模態(tài)特征，將各多模態(tài)數(shù)據(jù)組的模態(tài)特征按預(yù)設(shè)映射和權(quán)重機(jī)制處理，得到巡檢目標(biāo)的多模態(tài)融合特征向量融合模型，具體為：

26、獲取巡檢目標(biāo)在預(yù)設(shè)時(shí)間內(nèi)的各項(xiàng)多模態(tài)數(shù)據(jù)組，并對(duì)各項(xiàng)多模態(tài)數(shù)據(jù)組進(jìn)行特征分類，獲取圖像類的多模態(tài)數(shù)據(jù)組與數(shù)據(jù)類的多模態(tài)數(shù)據(jù)組；

27、對(duì)于圖像類的多模態(tài)數(shù)據(jù)組，提取組內(nèi)各多模態(tài)數(shù)據(jù)的紋理特征與形狀特征，以獲取相應(yīng)多模態(tài)數(shù)據(jù)組的圖像模態(tài)特征；

28、對(duì)于數(shù)據(jù)類的多模態(tài)數(shù)據(jù)組，計(jì)算組內(nèi)各多模態(tài)數(shù)據(jù)的均值、中位數(shù)、眾數(shù)、方差以及標(biāo)準(zhǔn)差，以獲取相應(yīng)多模態(tài)數(shù)據(jù)組的數(shù)據(jù)模態(tài)特征；

29、構(gòu)建一個(gè)融合框架，根據(jù)預(yù)設(shè)映射機(jī)制將所獲取得到的圖像模態(tài)特征與數(shù)據(jù)模態(tài)特征映射到分別映射到融合框架對(duì)應(yīng)的特征空間內(nèi)；

30、在所述融合框架內(nèi)，根據(jù)預(yù)設(shè)權(quán)重分配機(jī)制對(duì)各特征空間內(nèi)的圖像模態(tài)特征與數(shù)據(jù)模態(tài)特征進(jìn)行融合；

31、經(jīng)過(guò)融合框架的處理，輸出一個(gè)統(tǒng)一的特征向量表示，得到巡檢目標(biāo)的多模態(tài)融合特征向量融合模型；

32、其中，所述多模態(tài)融合特征向量融合模型表示綜合了多模態(tài)數(shù)據(jù)的信息，用于反映被巡檢目標(biāo)的狀態(tài)信息。

33、優(yōu)選地，提前預(yù)制巡檢目標(biāo)處于標(biāo)準(zhǔn)狀態(tài)下的多模態(tài)融合特征向量基準(zhǔn)模型，根據(jù)所述多模態(tài)融合特征向量融合模型與多模態(tài)融合特征向量基準(zhǔn)模型對(duì)巡檢目標(biāo)進(jìn)行分析，獲取巡檢目標(biāo)的工作狀態(tài)，具體為：

34、預(yù)制巡檢目標(biāo)處于標(biāo)準(zhǔn)狀態(tài)下的多模態(tài)融合特征向量基準(zhǔn)模型，以及獲取巡檢目標(biāo)的多模態(tài)融合特征向量融合模型；

35、將巡檢目標(biāo)的多模態(tài)融合特征向量融合模型與所述多模態(tài)融合特征向量基準(zhǔn)模型進(jìn)行逐維對(duì)比；

36、對(duì)于巡檢目標(biāo)的多模態(tài)融合特征向量融合模型中每個(gè)維度的模態(tài)特征，判斷其是否落入所述多模態(tài)融合特征向量基準(zhǔn)模型對(duì)應(yīng)的取值范圍內(nèi)；

37、如果巡檢目標(biāo)的多模態(tài)融合特征向量融合模型中某一維度的模態(tài)特征不落入所述多模態(tài)融合特征向量基準(zhǔn)模型對(duì)應(yīng)的取值范圍內(nèi)，則標(biāo)記為異常維度；

38、如果巡檢目標(biāo)的多模態(tài)融合特征向量融合模型中某一維度的模態(tài)特征落入所述多模態(tài)融合特征向量基準(zhǔn)模型對(duì)應(yīng)的取值范圍內(nèi)，則標(biāo)記為正常維度。

39、還包括以下步驟：

40、判斷多模態(tài)融合特征向量融合模型中是否存在異常維度，若多模態(tài)融合特征向量融合模型中不存在異常維度，則將巡檢目標(biāo)標(biāo)定為正常狀態(tài)；

41、若多模態(tài)融合特征向量融合模型中存在異常維度，獲取各異常維度在整個(gè)多模態(tài)融合特征向量融合模型中的重要性權(quán)重；

42、若存在一個(gè)或多個(gè)異常維度在整個(gè)多模態(tài)融合特征向量融合模型中的重要性權(quán)重大于預(yù)設(shè)權(quán)重值的情況，則將巡檢目標(biāo)標(biāo)定為異常狀態(tài)；

43、若各異常維度在整個(gè)多模態(tài)融合特征向量融合模型中的重要性權(quán)重均不大于預(yù)設(shè)權(quán)重值，則將多模態(tài)融合特征向量融合模型中異常維度的數(shù)量與預(yù)設(shè)數(shù)量進(jìn)行比值處理，得到異常維度占比；

44、若所述異常維度占比大于預(yù)設(shè)占比度，則將巡檢目標(biāo)標(biāo)定為異常狀態(tài)；若所述異常維度占比不大于預(yù)設(shè)占比度，則將巡檢目標(biāo)標(biāo)定為正常狀態(tài)。

45、本發(fā)明還公開(kāi)了一種基于數(shù)據(jù)采集和多模態(tài)ai的智能巡檢系統(tǒng)，所述基于數(shù)據(jù)采集和多模態(tài)ai的智能巡檢系統(tǒng)包括存儲(chǔ)器與處理器，所述存儲(chǔ)器中存儲(chǔ)有基于數(shù)據(jù)采集和多模態(tài)ai的智能巡檢方法程序，當(dāng)所述基于數(shù)據(jù)采集和多模態(tài)ai的智能巡檢方法程序被所述處理器執(zhí)行時(shí)，實(shí)現(xiàn)任一項(xiàng)所述的基于數(shù)據(jù)采集和多模態(tài)ai的智能巡檢方法步驟。

46、本發(fā)明還公開(kāi)了一種終端設(shè)備，應(yīng)用于任一項(xiàng)所述的基于數(shù)據(jù)采集和多模態(tài)ai的智能巡檢方法，包括

47、數(shù)據(jù)采集模塊，用于獲取巡檢目標(biāo)的多模態(tài)數(shù)據(jù)；

48、體素空間構(gòu)建模塊，用于構(gòu)建體素空間；

49、數(shù)據(jù)一致性判斷分析模塊，用于對(duì)體素空間內(nèi)的各體素組塊進(jìn)行數(shù)據(jù)一致性判斷分析；

50、模型比較分析模塊，用于將多模態(tài)融合特征向量融合模型與多模態(tài)融合特征向量基準(zhǔn)模型進(jìn)行比較分析。

51、本發(fā)明解決了背景技術(shù)中存在的技術(shù)缺陷，本發(fā)明具備以下有益效果：本智能巡檢方法通過(guò)多模態(tài)數(shù)據(jù)的采集、體素空間處理、數(shù)據(jù)一致性分析、模態(tài)特征融合構(gòu)建融合模型，并與預(yù)制的基準(zhǔn)模型對(duì)比，能夠全面、綜合地利用多種類型的數(shù)據(jù)對(duì)巡檢目標(biāo)進(jìn)行分析，有效克服單一模態(tài)數(shù)據(jù)巡檢的局限性，準(zhǔn)確判斷巡檢目標(biāo)的工作狀態(tài)，從而提高巡檢的準(zhǔn)確性、可靠性和全面性，有助于及時(shí)發(fā)現(xiàn)設(shè)備故障和異常運(yùn)行情況，保障設(shè)備的正常運(yùn)行。