本申請涉及數(shù)字圖像處理，特別是一種工業(yè)環(huán)境下基于改進yolov7算法的開關狀態(tài)識別方法。

背景技術：

1、國家長期發(fā)展規(guī)劃中，人工智能技術成為優(yōu)先發(fā)展的目標之一。隨著人工智能技術的發(fā)展，越來越多的工業(yè)生產(chǎn)場景中開始引入人工智能技術。在抽水蓄能電站的電力生產(chǎn)系統(tǒng)中，需周期性地根據(jù)電網(wǎng)的負荷需求，設置抽水蓄能電站的最佳工作狀態(tài)，以獲得抽水蓄能電站在電力系統(tǒng)中的最大效益。而最佳工作狀態(tài)設置完全依賴于人工操作，整套業(yè)務流程需要經(jīng)過誦讀操作工作流程、復述操作工作流程、人工操作、人工檢查這幾個環(huán)節(jié)。然而工業(yè)生產(chǎn)現(xiàn)場開關、儀表種類繁多而且復雜，人工監(jiān)管導致工作強度增大，其操作的正確性無法客觀地有效監(jiān)管。

2、對變電站中各種設備的巡查工作，傳統(tǒng)的做法是采用人工巡檢的方法，安排特定的人員，每天對指定區(qū)域內(nèi)的開關設備進行檢查，并將檢查結果匯總成記錄冊，以便后期查看。從人力、物力等方面來考慮，人工巡檢的方式始終存在許多弊端：第一，紙質(zhì)記錄冊能記錄的巡檢信息有限，且容易損失，甚至丟失；第二，巡檢記錄信息受巡檢人員的身體、精神狀況等影響較大，不穩(wěn)定且容易出現(xiàn)疏漏。因此，將智能化巡檢系統(tǒng)應用在變電站中具有保障變電站穩(wěn)定、高效的運行的重大意義。

3、隨著圖像處理技術的發(fā)展，深度學習在目標檢測領域取得了不錯的進展，目前經(jīng)典的目標檢測算法主要分為單階段和雙階段兩類，單階段的包括yolo、sdd、retina-net等，雙階段的包括r-cnn、fast?r-cnn、mask?r-cnn等；其中yolo算法運行速度最快，準確度也較高，比較適合電站內(nèi)的開關柜的各式開關、指示燈等識別檢測，但是由于不同電站圖像背景復雜、存在遮擋、開關較小等問題，識別效果并不太好，仍需進一步研究。

技術實現(xiàn)思路

1、本發(fā)明的主要目的在于克服現(xiàn)有技術的缺點與不足，提供一種工業(yè)環(huán)境下基于改進yolov7算法的開關狀態(tài)識別方法，本發(fā)明采集開關圖像，在背景復雜、目標較小的情況下使用改進yolov7算法對開關狀態(tài)進行準備識別評估，具有良好的檢測識別效果，為配電房智能化建設提供技術支持。

2、為了達到上述目的，本發(fā)明采用以下技術方案：

3、一種工業(yè)環(huán)境下基于改進yolov7算法的開關狀態(tài)識別方法，包括下述步驟：

4、通過穿戴式智能終端采集工業(yè)設備開關的圖像，得到原始圖像數(shù)據(jù)集；

5、對原始圖像數(shù)據(jù)集中的圖像進行透視變換矯正，并將其劃分為訓練集和測試集；

6、對yolov7原網(wǎng)絡模型進行改進，包括：首先對其網(wǎng)絡模型進行改進，引入注意力機制eca，并將backbone主干網(wǎng)絡替換為mobilenetv3的主干網(wǎng)絡；

7、在準備好的訓練集上進行迭代訓練已改進的yolov7網(wǎng)絡模型直至收斂，將最佳網(wǎng)絡權重保留；

8、使用測試集測試所述改進的yolov7網(wǎng)絡模型，輸出對應的開關狀態(tài)信息。

9、所述穿戴式智能終端為基于5g的智能安全頭盔，具體為：

10、可以自動獲取工業(yè)復雜環(huán)境下的開關信息圖像，并且多個智能安全頭盔可以同時作用，監(jiān)管多個開關狀態(tài)，可以實現(xiàn)1080p的視頻圖像傳輸.

11、所述對開關圖像數(shù)據(jù)集的透視變換校正采用輔助標簽的校正，具體為：

12、在圖像中的矩形開關面板的四個角處，貼上4個容易被定位的輔助標簽，將輔助標簽的中心點作為透視變換前原矩形圖的四個頂點，經(jīng)過透視變換后得到僅包含矩形開關面板的正視角圖像。

13、所述改進的yolov7網(wǎng)絡模型包括input，backbone和head；

14、在fpn結構基礎上增加自適應注意力模塊eca；

15、將backbone主干網(wǎng)絡替換為mobilenetv3的主干網(wǎng)絡；

16、所述eca注意力用以減少特征通道，降低參數(shù)量；

17、所述改進的主干網(wǎng)絡用以降低網(wǎng)絡計算量；

18、作為優(yōu)選的技術方案，所述在訓練集上迭代訓練改進yolov7網(wǎng)絡模型，具體為：

19、將訓練集通過輸入層輸入backbone網(wǎng)絡中，再通過neck網(wǎng)絡獲取訓練集的特征圖；

20、基于訓練集的特征圖在預測層中進行預測，計算損失，更新模型參數(shù)；

21、重新訓練直至損失函數(shù)收斂或達到最大迭代次數(shù)，保存最佳網(wǎng)絡權重。

22、所述的自適應注意力模塊eca，具體為：

23、首先輸入特征圖，它的維度是h*w*c；

24、對輸入特征圖進行空間特征壓縮；實現(xiàn)在空間維度，使用全局平均池化gap，得到1*1*c的特征圖；

25、對壓縮后的特征圖，進行通道特征學習；實現(xiàn)通過1*1卷積，學習不同通道之間的重要性，此時輸出的維度還是1*1*c；

26、最后是通道注意力結合，將通道注意力的特征圖1*1*c、原始輸入特征圖h*w*c，進行逐通道乘，最終輸出具有通道注意力的特征圖。

27、所述的mobilenetv3的主干網(wǎng)絡，具體為：

28、其網(wǎng)絡的架構基于nas實現(xiàn)的mnasnet，由nas搜索獲取參數(shù)；

29、并引入mobilenetv1的深度可分離卷積、mobilenetv2的具有線性瓶頸的倒殘差結構，引入一種新的激活函數(shù)h-swish(x)。

30、所述激活函數(shù)定義為：

31、

32、作為優(yōu)選的技術方案，所述方法還包括：

33、取得開關狀態(tài)識別結果后，使用精確度、召回率、平均精確率均值指標對網(wǎng)絡模型性能進行評價；

34、所述準確度計算公式為：

35、precision＝tp/(tp+fp)＝tp/all?detections；

36、所述召回率計算公式為：

37、recall＝tp/(tp+fn)＝tp/all?ground?trusts；

38、所述平均準確率均值計算公式為：

39、

40、其中，tp為算法檢測框預測正確的區(qū)域，fp為算法檢測框預測錯誤的區(qū)域，fn為實際標注框正確但算法檢測框未預測到的區(qū)域；all?detections為算法檢測框的預測區(qū)域，all?ground?trusts為實際標注框的實際區(qū)域，r表示召回率，ρ(r)為召回率r的精度值，ρinterp(rn+1)為召回率大于等于r時，對應精度值ρ(r)中的最大精度值。

41、本發(fā)明與現(xiàn)有技術相比，具有如下優(yōu)點和有益效果：

42、1、本發(fā)明采用定位的輔助標簽進行透視變換矯正，從而方便了后續(xù)開關單元的定位與分割任務。

43、2、對yolov7原網(wǎng)絡模型進行改進，包括：首先對其網(wǎng)絡模型進行改進，引入注意力機制eca，用以減少特征通道，降低參數(shù)量；并將backbone主干網(wǎng)絡替換為mobilenetv3的主干網(wǎng)絡，用以降低網(wǎng)絡計算量，提高對小目標的檢測效果。

技術特征：

1.一種工業(yè)環(huán)境下基于改進yolov7算法的開關狀態(tài)識別方法，其特征在于，包括如下步驟：

2.根據(jù)權利要求1所述的基于改進yolov7算法的開關狀態(tài)識別方法，其特征在于所述s1的穿戴式智能終端為基于5g的智能安全頭盔，具體為：可以自動獲取工業(yè)復雜環(huán)境下的開關信息圖像，并且多個智能安全頭盔可以同時作用，監(jiān)管多個開關狀態(tài)，可以實現(xiàn)1080p的視頻圖像傳輸。

3.根據(jù)權利要求1所述的基于改進yolov7算法的開關狀態(tài)識別方法，其特征在于所述s2對開關圖像數(shù)據(jù)集的透視變換校正采用輔助標簽的校正，具體為：在圖像中的矩形開關面板的四個角處，貼上4個容易被定位的輔助標簽，將輔助標簽的中心點作為透視變換前原矩形圖的四個頂點，經(jīng)過透視變換后得到僅包含矩形開關面板的正視角圖像。

4.根據(jù)權利要求3所述的基于改進yolov7算法的開關狀態(tài)識別方法，其特征在于所述的輔助標簽為直徑3厘米的圓形標簽，具體為：其具有強烈的harr-like特征，只有黑白兩種亮度，具有最強的對比度；圖像濾波后，查找四個最大的局部峰值，可以得到四個輔助標簽的中心位置。

5.根據(jù)權利要求1所述的基于改進yolov7算法的開關狀態(tài)識別方法，其特征在于所述s3改進的yolov7網(wǎng)絡模型包括input，backbone和head；在fpn結構基礎上增加自適應注意力模塊eca；將backbone主干網(wǎng)絡替換為mobilenetv3的主干網(wǎng)絡；所述eca注意力用以減少特征通道，降低參數(shù)量；所述改進的主干網(wǎng)絡用以降低網(wǎng)絡計算量。

6.根據(jù)權利要求5所述的基于改進yolov7算法的開關狀態(tài)識別方法，其特征在于，在訓練集上迭代訓練改進yolov7網(wǎng)絡模型，具體為：將訓練集通過輸入層輸入backbone網(wǎng)絡中，再通過neck網(wǎng)絡獲取訓練集的特征圖；基于訓練集的特征圖在預測層中進行預測，計算損失，更新模型參數(shù)；重新訓練直至損失函數(shù)收斂或達到最大迭代次數(shù)，保存最佳網(wǎng)絡權重。

7.根據(jù)權利要求5所述的基于改進yolov7算法的開關狀態(tài)識別方法，其特征在于，所述的自適應注意力模塊eca，具體為：

8.根據(jù)權利要求5所述的基于改進yolov7算法的開關狀態(tài)識別方法，其特征在于，所述的mobilenetv3的主干網(wǎng)絡，具體為：其網(wǎng)絡的架構基于nas實現(xiàn)的mnasnet，由nas搜索獲取參數(shù)；并引入mobilenetv1的深度可分離卷積、mobilenetv2的具有線性瓶頸的倒殘差結構，引入一種新的激活函數(shù)h-swish(x)。

9.根據(jù)權利要求1所述的基于改進yolov7算法的開關狀態(tài)識別方法，其特征在于，所述方法還包括：取得開關狀態(tài)識別結果后，使用精確度、召回率、平均精確率均值指標對網(wǎng)絡模型性能進行評價；

技術總結
本發(fā)明公開了一種工業(yè)環(huán)境下基于改進YOLOv7算法的開關狀態(tài)識別方法，包括：通過穿戴式智能終端采集工業(yè)設備開關的圖像，得到原始圖像數(shù)據(jù)集；對原始圖像數(shù)據(jù)集中的圖像進行透視變換矯正，并將其劃分為訓練集和測試集；對YOLOv7原網(wǎng)絡模型進行改進，包括：首先對其網(wǎng)絡模型進行改進，引入注意力機制ECA，并將Backbone主干網(wǎng)絡替換為Mobilenetv3的主干網(wǎng)絡；在準備好的訓練集上進行迭代訓練已改進的YOLOv7網(wǎng)絡模型直至收斂，將最佳網(wǎng)絡權重保留；使用測試集測試所述改進的YOLOv7網(wǎng)絡模型，輸出對應的開關狀態(tài)信息。本發(fā)明可以降低網(wǎng)絡計算量，提高對小目標的檢測效果。

技術研發(fā)人員：曹寧,彭衛(wèi)芬
受保護的技術使用者：河海大學
技術研發(fā)日：
技術公布日：2024/12/26