本發(fā)明涉及異常行為識別，具體為一種基于深度學(xué)習(xí)的營業(yè)廳異常行為識別方法。

背景技術(shù)：

1、電力營業(yè)廳是電力企業(yè)與客戶直接接觸的重要窗口，對營業(yè)廳工作人員的行為進行合規(guī)監(jiān)管對于提升服務(wù)質(zhì)量、確保安全合規(guī)運營以及提高工作效率十分重要，不僅關(guān)乎營業(yè)廳的正常運營，也直接影響到電力企業(yè)的形象和用戶的滿意度。

2、隨著技術(shù)的不斷進步，視頻監(jiān)管已成為電力營業(yè)廳行為合規(guī)監(jiān)管的重要手段。通過安裝高清網(wǎng)絡(luò)監(jiān)控攝像頭，并結(jié)合視頻、圖像智能學(xué)習(xí)算法，對違規(guī)行為進行進行標(biāo)記和學(xué)習(xí)，可以實現(xiàn)對營業(yè)廳內(nèi)員工行為的實時監(jiān)控和智能分析。

3、但是，在目前已有的對營業(yè)廳異常行為的監(jiān)管系統(tǒng)中，還是需要人工對大量的樣本數(shù)據(jù)進行標(biāo)記，不僅在初始樣本標(biāo)記時，需要人工參與，在異常違規(guī)行為發(fā)生時，也需要人工及時干預(yù)，標(biāo)記異常的違規(guī)行為，人工進行樣本標(biāo)記貫穿整個系統(tǒng)運行過程，導(dǎo)致標(biāo)記過程消耗大量的人力成本和時間成本。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供了一種基于深度學(xué)習(xí)的營業(yè)廳異常行為識別方法。

2、本發(fā)明技術(shù)方案如下：

3、一種基于深度學(xué)習(xí)的營業(yè)廳異常行為識別方法，包括以下步驟：

4、s1、數(shù)據(jù)集構(gòu)建：獲取包含不同異常行為的圖片數(shù)據(jù)，對圖片數(shù)據(jù)進行預(yù)處理后進一步對圖片中的異常行為進行分類標(biāo)記，具體包括人員異常行為、設(shè)備黑屏行為和正常行為，人員異常行為包括玩手機、睡崗、吸煙行為；對人員異常行為、設(shè)備異常行為和正常行為進行標(biāo)記，得到初始的人員異常行為數(shù)據(jù)集、設(shè)備異常數(shù)據(jù)集和正常行為數(shù)據(jù)集；

5、s2、模型訓(xùn)練：將人員異常行為數(shù)據(jù)集、設(shè)備異常數(shù)據(jù)集和正常行為數(shù)據(jù)集分別按照預(yù)設(shè)比例分別劃分為訓(xùn)練集和測試集，將訓(xùn)練集輸入行為識別模型中進行卷積、池化處理后提取出對應(yīng)每種異常行為的多個關(guān)鍵點特征，進一步提取每個關(guān)鍵點特征的描述子，將每種異常行為的所有描述子基于對其預(yù)設(shè)的權(quán)重進行加權(quán)求和，得到每種異常行為的綜合特征，基于綜合特征對行為識別模型進行訓(xùn)練，得到訓(xùn)練好的行為識別模型；

6、s3、異常行為識別：將獲取的營業(yè)廳工作人員的監(jiān)測視頻進行等比例分割，獲得圖片幀序列，將圖片幀序列輸入到訓(xùn)練好的行為識別模型，基于設(shè)置的比對相似度閾值，輸出識別到的異常行為類型和對應(yīng)每種異常行為的比對相似度；

7、s4、數(shù)據(jù)集更新：將得到的所有異常行為圖片根據(jù)其所屬類型對應(yīng)補充至人員異常行為數(shù)據(jù)集、設(shè)備異常數(shù)據(jù)集。

8、具體地，所述獲取的每幀圖片數(shù)據(jù)包含一種或多種異常行為，對每種異常行為根據(jù)其在圖片幀中的位置設(shè)置矩形框，在矩形框區(qū)域進行人工標(biāo)記。

9、具體地，所述更新后的人員異常行為數(shù)據(jù)集、設(shè)備異常數(shù)據(jù)集中，如果在預(yù)設(shè)時間段內(nèi)，人員異常行為數(shù)據(jù)集、設(shè)備異常數(shù)據(jù)集中新增加的數(shù)量占比超過閾值，則使用更新后的人員異常行為數(shù)據(jù)集、設(shè)備異常數(shù)據(jù)集對行為識別模型進行重新訓(xùn)練，得到重新訓(xùn)練的行為識別模型，使用重新訓(xùn)練的行為識別模型進行異常行為識別。

10、具體地，所述玩手機異常行為的分類標(biāo)記為：圖片中同時包括設(shè)備屏幕和人員，且人員與設(shè)備屏幕距離在特定距離范圍內(nèi)，如果識別到人員手部區(qū)域存在玩手機異常行為關(guān)鍵點特征，同時識別到設(shè)備屏幕存在設(shè)備黑屏行為的關(guān)鍵點特征，則分別在設(shè)備屏幕區(qū)域進行設(shè)備黑屏異常行為標(biāo)記、在手部區(qū)域進行玩手機異常行為標(biāo)記，在玩手機異常行為的關(guān)鍵點特征中加入設(shè)備黑屏行為關(guān)鍵點特征，

11、如果識別到人員手部區(qū)域存在玩手機異常行為關(guān)鍵點特征，同時設(shè)備屏幕不存在設(shè)備黑屏行為的關(guān)鍵點特征，僅在手部區(qū)域進行玩手機異常行為標(biāo)記。

12、進一步地，所述睡崗異常行為的分類標(biāo)記為：圖片中同時包括設(shè)備屏幕和人員，且人員與設(shè)備屏幕距離在特定距離范圍內(nèi)，如果識別到人員頭部區(qū)域存在睡崗異常行為關(guān)鍵點特征，同時識別到設(shè)備屏幕存在設(shè)備黑屏行為的關(guān)鍵點特征，則分別在設(shè)備屏幕區(qū)域進行設(shè)備黑屏異常行為標(biāo)記、在頭部區(qū)域進行睡崗異常行為標(biāo)記，在睡崗異常行為的關(guān)鍵點特征中加入設(shè)備黑屏行為關(guān)鍵點特征，

13、如果識別到頭部區(qū)域存在睡崗異常行為關(guān)鍵點特征，同時設(shè)備屏幕不存在設(shè)備黑屏行為的關(guān)鍵點特征，僅在頭部區(qū)域進行睡崗異常行為標(biāo)記。

14、進一步地，所述吸煙異常行為的分類標(biāo)記為：如果識別到人員嘴部區(qū)域、手部區(qū)域同時存在吸煙異常行為的關(guān)鍵點特征，則在嘴部區(qū)域進行吸煙異常行為標(biāo)記，其中吸煙異常行為的關(guān)鍵點特征具體為：嘴部開合程度、嘴部煙霧、食指中指之間的夾角。

15、具體地，所述設(shè)備黑屏行為的分類標(biāo)記為：如果設(shè)備屏幕存在設(shè)備黑屏行為的關(guān)鍵點特征，則在設(shè)備屏幕區(qū)域進行設(shè)備黑屏異常行為標(biāo)記，其中設(shè)備黑屏行為的關(guān)鍵點特征為：顯示屏區(qū)域的顏色特征。

16、具體地，所述s1中預(yù)處理包括數(shù)據(jù)清洗、格式轉(zhuǎn)換、歸一化和數(shù)據(jù)增強。

17、本發(fā)明還提供了一種基于深度學(xué)習(xí)的營業(yè)廳異常行為識別系統(tǒng)，包括：

18、數(shù)據(jù)集構(gòu)建模塊：用于獲取包含不同異常行為的圖片數(shù)據(jù)，對圖片數(shù)據(jù)進行預(yù)處理后進一步對圖片中的異常行為進行分類標(biāo)記，具體包括人員異常行為、設(shè)備黑屏行為和正常行為，人員異常行為包括玩手機、睡崗、吸煙行為；對人員異常行為、設(shè)備異常行為和正常行為進行標(biāo)記，得到初始的人員異常行為數(shù)據(jù)集、設(shè)備異常數(shù)據(jù)集和正常行為數(shù)據(jù)集；

19、模型訓(xùn)練模塊：用于將人員異常行為數(shù)據(jù)集、設(shè)備異常數(shù)據(jù)集和正常行為數(shù)據(jù)集分別按照預(yù)設(shè)比例分別劃分為訓(xùn)練集和測試集，將訓(xùn)練集輸入行為識別模型中進行卷積、池化處理后提取出對應(yīng)每種異常行為的多個關(guān)鍵點特征，進一步提取每個關(guān)鍵點特征的描述子，將每種異常行為的所有描述子基于對其預(yù)設(shè)的權(quán)重進行加權(quán)求和，得到每種異常行為的綜合特征，基于綜合特征對行為識別模型進行訓(xùn)練，得到訓(xùn)練好的行為識別模型；

20、異常行為識別模塊：用于將獲取的營業(yè)廳工作人員的監(jiān)測視頻進行等比例分割，獲得圖片幀序列，將圖片幀序列輸入到訓(xùn)練好的行為識別模型，基于設(shè)置的比對相似度閾值，輸出識別到的異常行為類型和對應(yīng)每種異常行為的比對相似度；

21、數(shù)據(jù)集更新模塊：用于將得到的所有異常行為圖片根據(jù)其所屬類型對應(yīng)補充至人員異常行為數(shù)據(jù)集、設(shè)備異常數(shù)據(jù)集。

22、本發(fā)明的有益效果在于：

23、1、本發(fā)明提供的一種基于深度學(xué)習(xí)的營業(yè)廳異常行為識別方法與系統(tǒng)通過劃分不同類別的數(shù)據(jù)集，提取每種異常行為的關(guān)鍵點特征，并對應(yīng)設(shè)置不同的權(quán)重，綜合考慮多種識別特征進行模型訓(xùn)練，提高了異常行為識別的準(zhǔn)確度，實現(xiàn)對違規(guī)行為的自動分析和快速識別。

24、2、本發(fā)明通過設(shè)置比對相似度閾值，識別出異常行為進行自動重新標(biāo)記，提升了模型的識別準(zhǔn)確率和泛化能力，同時對異常行為的自動重新標(biāo)定，可以顯著減少人工標(biāo)定的工作量，提高了異常行為識別的準(zhǔn)確度和監(jiān)管效率。

25、3、本發(fā)明只需人工抽取少量圖片進行審核驗證，審核通過后，將標(biāo)記合格的異常行為圖片對應(yīng)補充至不同類別的數(shù)據(jù)集中，增強了用于模型訓(xùn)練的數(shù)據(jù)的多樣性，使模型不斷學(xué)習(xí)新的特征和模式，不斷提升應(yīng)對復(fù)雜和多變異常違規(guī)情況的能力。