本發(fā)明涉及一種基于流水線編碼與多分支解碼的環(huán)境智能感知方法、系統(tǒng)及裝置，屬于環(huán)境智能感知。

背景技術(shù)：

1、傳統(tǒng)的環(huán)境智能感知方法受到了許多限制，其中包括依賴于單一數(shù)據(jù)源和缺乏實(shí)時性等問題。目前，許多環(huán)境智能感知系統(tǒng)主要依賴于人工巡檢和傳統(tǒng)傳感器技術(shù)，這些方法通常只能提供有限的環(huán)境數(shù)據(jù)，并且往往無法實(shí)現(xiàn)及時的問題識別和響應(yīng)。此外，傳統(tǒng)方法還面臨著數(shù)據(jù)處理和分析效率低下的挑戰(zhàn)，無法有效地應(yīng)對日益增長的數(shù)據(jù)量和復(fù)雜性。

2、在數(shù)據(jù)處理方面，盡管傳統(tǒng)的編碼解碼技術(shù)在一定程度上可以提高數(shù)據(jù)傳輸效率，但它們的局限性在于未能充分利用多源數(shù)據(jù)進(jìn)行綜合分析和認(rèn)知。傳統(tǒng)的單一編碼解碼方法往往難以應(yīng)對環(huán)境的復(fù)雜變化和日益增長的數(shù)據(jù)處理需求，這導(dǎo)致了環(huán)境智能感知性能的局限。傳統(tǒng)技術(shù)通常只能處理特定類型的數(shù)據(jù)，并且在數(shù)據(jù)的獲取、處理和分析過程中存在著較大的耗時和耗能，限制了其在實(shí)時環(huán)境智能感知中的應(yīng)用。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種基于流水線編碼與多分支解碼的環(huán)境智能感知方法、系統(tǒng)及裝置，通過流水線編碼技術(shù)將數(shù)據(jù)分割成不同的階段，以提高數(shù)據(jù)處理的效率和吞吐量。同時，利用多分支解碼技術(shù)，實(shí)現(xiàn)對多源數(shù)據(jù)的并行處理和綜合分析，從而使得環(huán)境智能感知系統(tǒng)能夠更全面、更及時地感知和理解環(huán)境信息。

2、為達(dá)到上述目的，本發(fā)明是采用下述技術(shù)方案實(shí)現(xiàn)的：

3、第一方面，本發(fā)明提供一種基于流水線編碼和多分支解碼的環(huán)境智能感知方法，包括：獲取多個傳感器監(jiān)測圖像數(shù)據(jù)；

4、對各傳感器監(jiān)測圖像數(shù)據(jù)進(jìn)行處理，得到處理后的傳感器監(jiān)測圖像數(shù)據(jù)；

5、根據(jù)處理后的傳感器監(jiān)測圖像數(shù)據(jù)，基于風(fēng)險(xiǎn)認(rèn)知模型進(jìn)行識別得到電網(wǎng)工作環(huán)境中的多方面風(fēng)險(xiǎn)視覺識別結(jié)果。

6、進(jìn)一步的，所述傳感器包括溫度傳感器、濕度傳感器、光敏傳感器以及振動傳感器中的至少一種，其中所述溫度傳感器用于監(jiān)測電網(wǎng)工作環(huán)境的溫度，所述濕度傳感器用于監(jiān)測電網(wǎng)工作環(huán)境的濕度，所述光敏傳感器用于監(jiān)測電網(wǎng)工作環(huán)境的光線強(qiáng)度，所述振動傳感器用于監(jiān)測電網(wǎng)設(shè)備的振動情況。

7、進(jìn)一步的，對各傳感器監(jiān)測圖像數(shù)據(jù)進(jìn)行處理，得到處理后的傳感器監(jiān)測圖像數(shù)據(jù)，包括：對各傳感器監(jiān)測圖像數(shù)據(jù)進(jìn)行整合、去噪和校正，得到處理后的傳感器監(jiān)測圖像數(shù)據(jù)。

8、進(jìn)一步的，所述風(fēng)險(xiǎn)認(rèn)知模型采用編碼器-解碼器結(jié)構(gòu)；

9、所述編碼器用于對處理后對傳感器監(jiān)測圖像數(shù)據(jù)進(jìn)行下采樣操作，其依次包括基本卷積模塊以及多個特征編碼模塊；

10、所述解碼器包括一主分支和多個次分支，所述主分支和次分支的輸出端均經(jīng)過融合模塊與檢測模塊連接，所述主分支的輸入端連接編碼器輸出端，其上設(shè)有多個特征解碼模塊，所述特征解碼模塊的輸入端與對應(yīng)基本卷積模塊、特征編碼模塊連接，且輸出端與對應(yīng)次分支相連，所述次分支上均設(shè)有特征解碼模塊；

11、所述基本卷積模塊和特征編碼模塊用于對處理后對傳感器監(jiān)測圖像數(shù)據(jù)進(jìn)行下采樣操作，所述特征解碼模塊用于將編碼器輸出的高級語義信息以及基本卷積模塊、特征編碼模塊輸出的淺層細(xì)節(jié)信息進(jìn)行上采樣操作。

12、進(jìn)一步的，所述特征編碼模塊依次包括p-block編碼器、歸一化層以及激活函數(shù)層；

13、其中，所述p-block編碼器包括依次連接的第一卷積層、四個中間卷積層和第二卷積層，所述第一卷積層的卷積核為1×1，其用于擴(kuò)展輸入圖像數(shù)據(jù)的特征通道數(shù)，四個所述中間卷積層分別為不同膨脹率的3×3膨脹卷積，其用于將輸出圖像數(shù)據(jù)特征減少為輸入圖像特征的四分之一，所述第二卷積層的卷積核為1×1，其用于對拼接后的第一卷積層和四個中間卷積層的輸出圖像數(shù)據(jù)進(jìn)行特征融合，所述激活函數(shù)層為relu激活函數(shù)；

14、所述p-block編碼器的操作表達(dá)式如下：

15、；

16、其中，與分別表示與大小的卷積操作，表示第一卷積層的輸出圖像數(shù)據(jù)，表示第個中間卷積層的輸出圖像數(shù)據(jù)，表示第二卷積層的輸出圖像數(shù)據(jù)，表示拼接操作。

17、進(jìn)一步的，所述次分支、特征編碼模塊以及特征解碼模塊的數(shù)量均為4，所述特征解碼模塊的輸入端分別對應(yīng)與普通卷積模塊、前三個所述特征編碼模塊連接；

18、所述特征解碼模塊依次包括全連接層、上采樣模塊、卷積層和批歸一化層，所述上采樣模塊用于利用雙線性插值方法對輸入圖像數(shù)據(jù)進(jìn)行上采樣，所述卷積層的卷積核為1×1，其用于將圖像數(shù)據(jù)通道數(shù)變?yōu)?；

19、所述次分支的操作表達(dá)式如下：

20、；

21、其中，表示第個次分支上的特征解碼模塊的輸出，表示主分支的輸入，表示第個次分支的輸入，表示對通過雙線性插值方法進(jìn)行上采樣操作；

22、所述主分支的操作表達(dá)式如下：

23、；

24、其中，表示主分支的輸出，表示大小的卷積操作，表示批歸一化操作。

25、進(jìn)一步的，所述主分支上的特征解碼模塊與對應(yīng)基本卷積模塊、特征編碼模塊之間均設(shè)有環(huán)境智能感知增強(qiáng)模塊；

26、所述環(huán)境智能感知增強(qiáng)模塊用于增強(qiáng)淺層細(xì)節(jié)信息中的環(huán)境檢測部分，其分為第一部分和第二部分；

27、所述第一部分包括相并列的最大池化層和平均池化層，所述最大池化層和平均卷積層均連接有卷積層，所述輸入圖像特征數(shù)據(jù)分別經(jīng)過最大池化層、平均池化層以及卷積層后融合，并與輸入圖像特征數(shù)據(jù)點(diǎn)乘得到第一部分輸出圖像特征數(shù)據(jù)；

28、所述第二部分利用平均池化在水平維度和豎直維度上收集第一部分輸出圖像特征數(shù)據(jù)中具有長依賴性的上下文信息，并經(jīng)卷積層提取圖像特征后通過全連接層聚合，再依次經(jīng)過1×1卷積層、sigmoid函數(shù)層與第一部分輸出圖像特征數(shù)據(jù)點(diǎn)乘，得到輸出圖像特征數(shù)據(jù)。

29、進(jìn)一步的，所述融合模塊包括全連接層和1×1卷積層，其操作表達(dá)式如下：

30、；

31、其中，表示融合模塊的輸出，表示大小的卷積操作，表示拼接操作。

32、進(jìn)一步的，還包括卷積注意力模塊，所述卷積注意力模塊設(shè)于編碼器輸出端與解碼器輸入端之間，其包括依次連接的通道注意力模塊和空間注意力模塊；

33、所述通道注意力模塊用于對輸入圖像特征數(shù)據(jù)生成通道維度上的注意力特征圖，再與輸入圖像特征數(shù)據(jù)點(diǎn)乘后輸入至空間注意力模塊，所述空間注意力模塊用于生成空間維度上的注意力特征圖，再與輸入圖像特征數(shù)據(jù)點(diǎn)乘后得到輸出圖像特征數(shù)據(jù)；

34、所述通道注意力模塊的操作流程表達(dá)式如下：

35、；

36、其中，表示通道注意力模塊的輸入，表示對進(jìn)行平均池化操作，表示對進(jìn)行最大池化操作，表示sigmoid激活函數(shù)，表示非線性擬合運(yùn)算，表示通道注意力權(quán)重，表示空間注意力權(quán)重，表示通道注意力模塊的輸出；

37、所述空間注意力模塊的操作流程表達(dá)式如下：

38、；

39、其中，表示空間注意力模塊的輸入，表示空間注意力模塊的輸出，表示對進(jìn)行平均池化操作，表示對進(jìn)行最大池化操作，表示大小的卷積操作。

40、第二方面，本發(fā)明提供一種基于流水線編碼和多分支解碼的環(huán)境智能感知系統(tǒng)，所述系統(tǒng)用于實(shí)現(xiàn)上述任一項(xiàng)所述的基于流水線編碼和多分支解碼的環(huán)境智能感知方法，包括：

41、傳感器數(shù)據(jù)獲取模塊，用于獲取多個傳感器監(jiān)測圖像數(shù)據(jù)；

42、數(shù)據(jù)處理模塊，用于對各傳感器監(jiān)測圖像數(shù)據(jù)進(jìn)行處理，得到處理后的傳感器監(jiān)測圖像數(shù)據(jù)；

43、風(fēng)險(xiǎn)識別模塊，用于根據(jù)處理后的傳感器監(jiān)測圖像數(shù)據(jù)，基于風(fēng)險(xiǎn)認(rèn)知模型進(jìn)行識別得到電網(wǎng)工作環(huán)境中的多方面風(fēng)險(xiǎn)視覺識別結(jié)果。

44、進(jìn)一步的，所述數(shù)據(jù)處理模塊，具體用于：對各傳感器監(jiān)測圖像數(shù)據(jù)進(jìn)行整合、去噪和校正，得到處理后的傳感器監(jiān)測圖像數(shù)據(jù)。

45、進(jìn)一步的，所述風(fēng)險(xiǎn)認(rèn)知模型采用編碼器-解碼器結(jié)構(gòu)；

46、所述編碼器用于對處理后對傳感器監(jiān)測圖像數(shù)據(jù)進(jìn)行下采樣操作，其依次包括基本卷積模塊以及多個特征編碼模塊；

47、所述解碼器包括一主分支和多個次分支，所述主分支和次分支的輸出端均經(jīng)過融合模塊與檢測模塊連接，所述主分支的輸入端連接編碼器輸出端，其上設(shè)有多個特征解碼模塊，所述特征解碼模塊的輸入端與對應(yīng)基本卷積模塊、特征編碼模塊連接，且輸出端與對應(yīng)次分支相連，所述次分支上均設(shè)有特征解碼模塊；

48、所述基本卷積模塊和特征編碼模塊用于對處理后對傳感器監(jiān)測圖像數(shù)據(jù)進(jìn)行下采樣操作，所述特征解碼模塊用于將編碼器輸出的高級語義信息以及基本卷積模塊、特征編碼模塊輸出的淺層細(xì)節(jié)信息進(jìn)行上采樣操作。

49、進(jìn)一步的，所述特征編碼模塊依次包括p-block編碼器、歸一化層以及激活函數(shù)層；

50、其中，所述p-block編碼器包括依次連接的第一卷積層、四個中間卷積層和第二卷積層，所述第一卷積層的卷積核為1×1，其用于擴(kuò)展輸入圖像數(shù)據(jù)的特征通道數(shù)，四個所述中間卷積層分別為不同膨脹率的3×3膨脹卷積，其用于將輸出圖像數(shù)據(jù)特征減少為輸入圖像特征的四分之一，所述第二卷積層的卷積核為1×1，其用于對拼接后的第一卷積層和四個中間卷積層的輸出圖像數(shù)據(jù)進(jìn)行特征融合，所述激活函數(shù)層為relu激活函數(shù)；

51、所述p-block編碼器的操作表達(dá)式如下：

52、；

53、其中，與分別表示與大小的卷積操作，表示第一卷積層的輸出圖像數(shù)據(jù)，表示第個中間卷積層的輸出圖像數(shù)據(jù)，表示第二卷積層的輸出圖像數(shù)據(jù)，表示拼接操作。

54、進(jìn)一步的，所述次分支、特征編碼模塊以及特征解碼模塊的數(shù)量均為4，所述特征解碼模塊的輸入端分別對應(yīng)與普通卷積模塊、前三個所述特征編碼模塊連接；

55、所述特征解碼模塊依次包括全連接層、上采樣模塊、卷積層和批歸一化層，所述上采樣模塊用于利用雙線性插值方法對輸入圖像數(shù)據(jù)進(jìn)行上采樣，所述卷積層的卷積核為1×1，，其用于將圖像數(shù)據(jù)通道數(shù)變?yōu)?；

56、所述次分支的操作表達(dá)式如下：

57、；

58、其中，表示第個次分支上的特征解碼模塊的輸出，表示主分支的輸入，表示第個次分支的輸入，表示對通過雙線性插值方法進(jìn)行上采樣操作；

59、所述主分支的操作表達(dá)式如下：

60、；

61、其中，表示主分支的輸出，表示大小的卷積操作，表示批歸一化操作。

62、進(jìn)一步的，所述主分支上的特征解碼模塊與對應(yīng)基本卷積模塊、特征編碼模塊之間均設(shè)有環(huán)境智能感知增強(qiáng)模塊；

63、所述環(huán)境智能感知增強(qiáng)模塊用于增強(qiáng)淺層細(xì)節(jié)信息中的環(huán)境檢測部分，其分為第一部分和第二部分；

64、所述第一部分包括相并列的最大池化層和平均池化層，所述最大池化層和平均卷積層均連接有卷積層，所述輸入圖像特征數(shù)據(jù)分別經(jīng)過最大池化層、平均池化層以及卷積層后融合，并與輸入圖像特征數(shù)據(jù)點(diǎn)乘得到第一部分輸出圖像特征數(shù)據(jù)；

65、所述第二部分利用平均池化在水平維度和豎直維度上收集第一部分輸出圖像特征數(shù)據(jù)中具有長依賴性的上下文信息，并經(jīng)卷積層提取圖像特征后通過全連接層聚合，再依次經(jīng)過1×1卷積層、sigmoid函數(shù)層與第一部分輸出圖像特征數(shù)據(jù)點(diǎn)乘，得到輸出圖像特征數(shù)據(jù)。

66、進(jìn)一步的，所述融合模塊包括全連接層和1×1卷積層，其操作表達(dá)式如下：

67、；

68、其中，表示融合模塊的輸出，表示大小的卷積操作，表示拼接操作。

69、進(jìn)一步的，還包括卷積注意力模塊，所述卷積注意力模塊設(shè)于編碼器輸出端與解碼器輸入端之間，其包括依次連接的通道注意力模塊和空間注意力模塊；

70、所述通道注意力模塊用于對輸入圖像特征數(shù)據(jù)生成通道維度上的注意力特征圖，再與輸入圖像特征數(shù)據(jù)點(diǎn)乘后輸入至空間注意力模塊，所述空間注意力模塊用于生成空間維度上的注意力特征圖，再與輸入圖像特征數(shù)據(jù)點(diǎn)乘后得到輸出圖像特征數(shù)據(jù)；

71、所述通道注意力模塊的操作流程表達(dá)式如下：

72、；

73、其中，表示通道注意力模塊的輸入，表示對進(jìn)行平均池化操作，表示對進(jìn)行最大池化操作，表示sigmoid激活函數(shù)，表示非線性擬合運(yùn)算，表示通道注意力權(quán)重，表示空間注意力權(quán)重，表示通道注意力模塊的輸出；

74、所述空間注意力模塊的操作流程表達(dá)式如下：

75、；

76、其中，表示空間注意力模塊的輸入，表示空間注意力模塊的輸出，表示對進(jìn)行平均池化操作，表示對進(jìn)行最大池化操作，表示大小的卷積操作。

77、第三方面，本發(fā)明提供一種計(jì)算機(jī)裝置，包括：

78、存儲器，用于存儲計(jì)算機(jī)程序/指令；

79、處理器，用于執(zhí)行所述計(jì)算機(jī)程序/指令以實(shí)現(xiàn)上述任一項(xiàng)所述基于流水線編碼和多分支解碼的環(huán)境智能感知方法的步驟。

80、與現(xiàn)有技術(shù)相比，本發(fā)明所達(dá)到的有益效果：

81、本發(fā)明提供的環(huán)境智能感知方法用于檢測電網(wǎng)作業(yè)過程中的多種風(fēng)險(xiǎn)因素，通過集成多種傳感器和人工智能技術(shù)，能夠?qū)崟r監(jiān)測電網(wǎng)作業(yè)人員的安全裝備狀態(tài)以及周圍環(huán)境情況，以準(zhǔn)確識別潛在的安全隱患，并提供預(yù)警和建議，從而降低電網(wǎng)作業(yè)風(fēng)險(xiǎn)，保障作業(yè)人員的安全；

82、本發(fā)明通過流水線編碼技術(shù)將數(shù)據(jù)分割成不同的階段，以提高數(shù)據(jù)處理的效率和吞吐量。同時，利用多分支解碼技術(shù)，實(shí)現(xiàn)對多源數(shù)據(jù)的并行處理和綜合分析，從而使得環(huán)境智能感知系統(tǒng)能夠更全面、更及時地感知和理解環(huán)境信息，不僅能夠更好地應(yīng)對環(huán)境的動態(tài)變化，還能夠更有效地處理大規(guī)模數(shù)據(jù)，為環(huán)境智能感知提供了全新的技術(shù)解決方案；

83、在實(shí)際應(yīng)用中，本發(fā)明的環(huán)境智能感知系統(tǒng)可廣泛應(yīng)用于電力行業(yè)，提升電網(wǎng)作業(yè)的安全性和效率，降低事故風(fēng)險(xiǎn)，保障人員生命財(cái)產(chǎn)安全。