本發(fā)明涉及圖像識別領(lǐng)域，特別涉及一種基于生成對抗網(wǎng)絡(luò)的人體危險行為識別方法及系統(tǒng)。

背景技術(shù)：

1、隨著鐵路產(chǎn)業(yè)的快速發(fā)展，鐵路檢修庫的數(shù)量也日益增加，對于鐵路檢修庫的安全性要求也隨之不斷提高，特別是在檢修人員進行檢修工作時，任何環(huán)節(jié)的疏漏或違規(guī)操作都可能引發(fā)嚴(yán)重的安全事故，導(dǎo)致危險行為作業(yè)的發(fā)生，因此及時發(fā)現(xiàn)檢修工作過程中維修人員的危險行為是至關(guān)重要的。

2、現(xiàn)有技術(shù)中，對于鐵路維修站的檢修工作過程進行監(jiān)測，通常是采用人工巡查加固定視頻監(jiān)控的方式，而人工巡查和視頻監(jiān)控都需要安全人員的輔助參與，人力成本和時間成本較高，并且因為人工監(jiān)測無法做到實時全覆蓋，導(dǎo)致了實時監(jiān)控效率不足，因此計算機視覺技術(shù)成為了重要的實時監(jiān)測識別的手段，但是鐵路檢修庫的環(huán)境十分復(fù)雜，且同時工作的人員眾多，對危險行為識別造成了較大的干擾，使得現(xiàn)有計算機視覺技術(shù)的圖像識別方法無法滿足鐵路檢修庫中進行危險行為識別的要求。

3、因此，如何設(shè)計一種危險行為識別方法，以避免鐵路檢修庫的復(fù)雜環(huán)境和干擾因素，提高危險行為識別的準(zhǔn)確性。

技術(shù)實現(xiàn)思路

1、基于此，本發(fā)明提供一種基于生成對抗網(wǎng)絡(luò)的人體危險行為識別方法及系統(tǒng)，通過先對視頻圖像進行區(qū)域分割，對圖像中的人體行為區(qū)域和背景區(qū)域進行分割，以避免背景因素的干擾，降低人體行為識別的難度，提高了識別的準(zhǔn)確性，根據(jù)方向梯度算法提取人體行為特征和運動信息，豐富了動態(tài)特征信息，增強了上下文的聯(lián)系，進而提高了在時間序列上的識別準(zhǔn)確性，再根據(jù)包括信息增強模塊的生成對抗網(wǎng)絡(luò)生成預(yù)測人體行為特征，以獲取最終識別結(jié)果，增強了長距離依賴關(guān)系，使預(yù)測進一步的符合實際情況，本發(fā)明提高了人體危險行為識別方法的準(zhǔn)確性。

2、本發(fā)明提出的一種基于生成對抗網(wǎng)絡(luò)的人體危險行為識別方法，包括：

3、獲取實時監(jiān)控視頻圖像并進行預(yù)處理；

4、對預(yù)處理后的視頻圖像進行人體行為區(qū)域分割，以獲取人體行為區(qū)域圖像，所述人體行為區(qū)域分割是指分割所述視頻圖像中的前景區(qū)域和背景區(qū)域，所述前景區(qū)域包括所有運動的人體目標(biāo)，所述背景區(qū)域包括所有固定的環(huán)境目標(biāo)；

5、根據(jù)所述人體行為區(qū)域圖像提取人體行為特征，所述提取人體行為特征包括方向梯度特征提取和運動信息提??；

6、根據(jù)生成對抗網(wǎng)絡(luò)生成預(yù)測人體行為特征，以根據(jù)所述預(yù)測人體行為特征獲取最終識別結(jié)果，所述生成對抗網(wǎng)絡(luò)中包括信息增強模塊，并計算危險性得分。

7、綜上，根據(jù)上述的基于生成對抗網(wǎng)絡(luò)的人體危險行為識別方法，通過先對視頻圖像進行區(qū)域分割，對圖像中的人體行為區(qū)域和背景區(qū)域進行分割，以避免背景因素的干擾，降低人體行為識別的難度，提高了識別的準(zhǔn)確性，根據(jù)方向梯度算法提取人體行為特征和運動信息，豐富了動態(tài)特征信息，增強了上下文的聯(lián)系，進而提高了在時間序列上的識別準(zhǔn)確性，再根據(jù)包括信息增強模塊的生成對抗網(wǎng)絡(luò)生成預(yù)測人體行為特征，以獲取最終識別結(jié)果，增強了長距離依賴關(guān)系，使預(yù)測進一步的符合實際情況，本發(fā)明提高了人體危險行為識別方法的準(zhǔn)確性。具體為，獲取實時監(jiān)控視頻圖像并進行預(yù)處理，對預(yù)處理后的視頻圖像進行人體行為區(qū)域分割，以獲取人體行為區(qū)域圖像，所述人體行為區(qū)域分割是指分割所述視頻圖像中的前景區(qū)域和背景區(qū)域，所述前景區(qū)域包括所有運動的人體目標(biāo)，所述背景區(qū)域包括所有固定的環(huán)境目標(biāo)，以避免背景因素的干擾，降低人體行為識別的難度，提高了識別的準(zhǔn)確性，根據(jù)所述人體行為區(qū)域圖像提取人體行為特征，所述提取人體行為特征包括方向梯度特征提取和運動信息提取，豐富了動態(tài)特征信息，增強了上下文的聯(lián)系，進而提高了在時間序列上的識別準(zhǔn)確性，根據(jù)生成對抗網(wǎng)絡(luò)生成預(yù)測人體行為特征，以根據(jù)所述預(yù)測人體行為特征獲取最終識別結(jié)果，所述生成對抗網(wǎng)絡(luò)中包括信息增強模塊，并計算危險性得分，增強了長距離依賴關(guān)系，使預(yù)測進一步的符合實際情況，本發(fā)明提高了人體危險行為識別方法的準(zhǔn)確性。

8、進一步的，所述對預(yù)處理后的視頻圖像進行人體行為區(qū)域分割，以獲取人體行為區(qū)域圖像的步驟，具體包括：

9、根據(jù)高斯混合模型對視頻圖像進行前景區(qū)域和背景區(qū)域分割；

10、所述高斯混合模型的具體算法如下：

11、，

12、，

13、，

14、，

15、，

16、，

17、，

18、其中，表示像素顏色的概率密度函數(shù)，表示隨機像素點的像素顏色，表示隨機像素點的像素顏色值，表示高斯分布的數(shù)量，表示高斯分布的序數(shù)，表示高斯分布的權(quán)值，表示時刻，表示高斯分布函數(shù)，表示高斯分布的均值，表示協(xié)方差矩陣，表示常數(shù)，表示轉(zhuǎn)置，表示像素顏色的維度，表示隨機像素值，表示像素值的變化幅度，表示高斯分布的方差，表示參數(shù)學(xué)習(xí)率，表示可調(diào)學(xué)習(xí)率，表示高斯分布按大小排列的序數(shù)，表示權(quán)值閾值。

19、進一步的，所述根據(jù)所述人體行為區(qū)域圖像提取人體行為特征的步驟，具體包括：

20、根據(jù)人體行為區(qū)域圖像計算所有像素梯度，所述計算所有像素梯度的具體算法如下：

21、，

22、，

23、，

24、其中，表示單幀人體行為區(qū)域圖像，和表示有限差分近似的水平和垂直分量，表示像素梯度大小，表示像素梯度方向；

25、將所述人體行為區(qū)域圖像劃分為多個區(qū)間塊，所述區(qū)間塊數(shù)量為，每個所述區(qū)間塊包括個像素，將每個區(qū)間塊劃分為多個細胞單元，每個細胞單元包括個像素，根據(jù)區(qū)間塊的梯度大小和對應(yīng)的方向生成方向梯度特征并歸一化，所述方向梯度特征的維度為，所述生成方向梯度特征并歸一化的具體算法如下：

26、，

27、其中，表示歸一化后的方向梯度特征，表示方向梯度特征，表示范數(shù)；

28、計算每個區(qū)間塊的平均像素值；

29、所述計算每個區(qū)間塊的平均像素值的具體算法如下：

30、，

31、其中，表示區(qū)間塊的平均像素值，表示區(qū)間塊的序數(shù)，表示像素值的序數(shù)，表示區(qū)間塊的尺寸值，表示區(qū)間塊中單個像素的像素值；

32、將所述平均像素值歸一化后，獲取特征權(quán)重，所述獲取方向梯度特征權(quán)重的具體算法如下：

33、，

34、其中，表示方向梯度特征權(quán)重；

35、根據(jù)所述方向梯度特征權(quán)重對方向梯度特征進行權(quán)重分配，以獲取單幀人體行為區(qū)域圖像的總方向梯度特征，所述獲取單幀人體行為區(qū)域圖像的總方向梯度特征的具體算法如下：

36、，

37、其中，表示單幀人體行為區(qū)域圖像的總方向梯度特征，表示時刻，表示第個區(qū)間塊；

38、根據(jù)所述單幀人體行為區(qū)域圖像的總方向梯度特征，獲取人體行為特征，所述獲取人體行為特征的具體算法如下：

39、，

40、其中，表示人體行為特征。

41、進一步的，所述根據(jù)生成對抗網(wǎng)絡(luò)生成預(yù)測人體行為特征，以根據(jù)所述預(yù)測人體行為特征獲取最終識別結(jié)果的步驟，具體包括：

42、根據(jù)生成對抗網(wǎng)絡(luò)生成預(yù)測人體行為特征，所述生成對抗網(wǎng)絡(luò)包括特征生成子模塊和特征判別子模塊；

43、所述特征生成子模塊包括transformer編碼塊、信息增強塊和transformer解碼塊；

44、所述特征生成子模塊根據(jù)人體行為特征生成預(yù)測人體行為特征；

45、所述特征判別子模塊根據(jù)所述預(yù)測人體行為特征和人體行為特征進行危險行為判別，以獲取最終識別結(jié)果。

46、進一步的，所述信息增強模塊具體包括：

47、信息增強模塊根據(jù)transformer編碼塊處理后獲取的編碼特征，進行余弦相似度計算，以獲取特征相似度權(quán)重，所述獲取特征相似度權(quán)重的具體算法如下：

48、，

49、其中，表示特征相似度權(quán)重，表示余弦相似函數(shù)，表示編碼特征，表示信息增強模塊中的存儲特征， o表示存儲特征的總數(shù)，表示存儲特征的序數(shù)；

50、根據(jù)特征相似度權(quán)重進行加權(quán)重構(gòu)，以獲取重構(gòu)特征，所述獲取重構(gòu)特征的具體算法如下：

51、，

52、其中，表示重構(gòu)特征；

53、將所述編碼特征和所述重構(gòu)特征進行拼接，以輸入transformer解碼塊；

54、根據(jù)門控機制對信息增強模塊中的存儲特征進行更新，所述更新的具體算法如下：

55、，

56、，

57、其中，表示遺忘門輸出，表示激活函數(shù)，和表示遺忘門的權(quán)重和偏置項，表示歸一化函數(shù)，表示逐元素乘法操作，表示存儲特征與編碼特征的匹配索引。

58、進一步的，所述根據(jù)所述預(yù)測人體行為特征獲取最終識別結(jié)果的步驟，之后還包括：

59、計算生成預(yù)測人體行為特征的損失，所述生成預(yù)測人體行為特征的損失的算法如下：

60、，

61、其中，表示生成預(yù)測人體行為特征的損失，和分別表示預(yù)測人體行為特征和輸入transformer編碼塊人體行為特征，為區(qū)間塊數(shù)量，表示區(qū)間塊的序數(shù)， t表示時刻；

62、計算信息增強的損失，所述信息增強的損失的算法如下：

63、，

64、，

65、，

66、其中，表示信息增強的基礎(chǔ)損失，表示稀疏性l1正則化項，表示正則化系數(shù)，表示范數(shù)，表示信息增強的總損失，表示稀疏性l1正則化項的權(quán)重參數(shù)；

67、計算特征判別子模塊的損失，所述特征判別子模塊的損失的具體算法如下：

68、，

69、，

70、，

71、其中，表示對抗損失，表示判別為真實操作，表示加權(quán)判別損失，、和分別表示生成預(yù)測人體行為特征的損失、信息增強的總損失和判別損失的總損失權(quán)重，表示特征判別子模塊的最終損失函數(shù)。

72、進一步的，所述計算危險性得分的步驟，具體包括：

73、計算危險性得分的具體算法如下：

74、，

75、

76、其中，表示危險性得分，表示歸一化后的危險性得分，和分別表示預(yù)測人體行為特征和輸入transformer編碼塊人體行為特征，為區(qū)間塊數(shù)量，表示區(qū)間塊的序數(shù)， t表示時刻。

77、本發(fā)明提出的一種基于生成對抗網(wǎng)絡(luò)的人體危險行為識別系統(tǒng)，包括：

78、預(yù)處理模塊，用于獲取實時監(jiān)控視頻圖像并進行預(yù)處理；

79、區(qū)域分割模塊，用于對預(yù)處理后的視頻圖像進行人體行為區(qū)域分割，以獲取人體行為區(qū)域圖像，所述人體行為區(qū)域分割是指分割所述視頻圖像中的前景區(qū)域和背景區(qū)域，所述前景區(qū)域包括所有運動的人體目標(biāo)，所述背景區(qū)域包括所有固定的環(huán)境目標(biāo)；

80、特征提取模塊，用于根據(jù)所述人體行為區(qū)域圖像提取人體行為特征，所述提取人體行為特征包括方向梯度特征提取和運動信息提?。?/p>

81、識別模塊，用于根據(jù)生成對抗網(wǎng)絡(luò)生成預(yù)測人體行為特征，以根據(jù)所述預(yù)測人體行為特征獲取最終識別結(jié)果，所述生成對抗網(wǎng)絡(luò)中包括信息增強模塊，并計算危險性得分。

82、本發(fā)明還提供一種存儲介質(zhì)，所述存儲介質(zhì)存儲一個或多個程序，所述程序被處理器執(zhí)行時實現(xiàn)如上述的基于生成對抗網(wǎng)絡(luò)的人體危險行為識別方法。

83、本發(fā)明還提供一種計算機設(shè)備，所述計算機設(shè)備包括存儲器和處理器，其中：

84、所述存儲器用于存放計算機程序；

85、所述處理器用于執(zhí)行所述存儲器中存放的所述計算機程序時，實現(xiàn)如上述的基于生成對抗網(wǎng)絡(luò)的人體危險行為識別方法。