本發(fā)明涉及工具輔助管理，具體涉及一種基于ai視覺的智能安全工器具存取檢測方法。

背景技術(shù)：

1、水電廠的安全工器具管理對于保障整個水電廠的運行安全至關(guān)重要。通過有效的工器具管理，不僅可以預(yù)防由于工器具缺失或監(jiān)管不到位，造成工作人員和設(shè)備的安全。同時可以提高工作人員的工作效率，減少因等待或修理工具而造成的延誤。

2、目前，電廠的安全工器具柜通常采用普通的安全工器具柜進行存取，或者采用集成rfid（射頻識別）和重力感應(yīng)技術(shù)的智能柜。這些技術(shù)雖然在一定程度上提高了管理效率，解決了信息更新滯后的問題，但它們對使用環(huán)境有特定要求，且在識別準確率上存在局限，限制了其廣泛應(yīng)用。

3、普通的安全工器具柜存取方法沒有高效的存取設(shè)計，導(dǎo)致工作人員在存取工器具后，無法追溯什么時間，什么人、使用了什么工器具，缺乏有效管理。

4、通過rfid技術(shù)，雖可以實時記錄安全工器具的存取情況。但rfid技術(shù)對使用環(huán)境有一定要求，強磁干擾可能影響正常使用。在某些特定環(huán)境下（如金屬、液體等）的應(yīng)用存在挑戰(zhàn)，如起子、扳手等電子標簽不容易嵌入物體中。在多目標識別時，誤碼率可能影響系統(tǒng)性能。

5、除此之外，現(xiàn)有的存取還可采用重力感應(yīng)技術(shù)的智能安全工器具柜，雖可以實時監(jiān)管安全工器具存取情況，在發(fā)電廠安全工器具管理中應(yīng)用的更少。主要是重力感應(yīng)系統(tǒng)需要定期校準和維護，才能確保其準確性和可靠性，這可能會帶來額外的工作量和成本。另外重力感應(yīng)系統(tǒng)如果不夠精確，可能會出現(xiàn)誤報。重力感應(yīng)技術(shù)可能對某些類型或形狀的工具不敏感，導(dǎo)致無法準確檢測到這些工具的使用情況。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供一種基于ai視覺的智能安全工器具存取檢測方法，旨在解決上述技術(shù)問題。

2、為解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案是：

3、一種基于ai視覺的智能安全工器具存取檢測方法，包括：

4、step1、制作工器具柜中工器具存取狀態(tài)數(shù)據(jù)集；

5、step2、構(gòu)建基于注意力機制的改進yolov7s網(wǎng)絡(luò)作為工器具存取狀態(tài)檢測模型，即在經(jīng)典yolov7s頸部結(jié)構(gòu)neck的sppcscp模塊集成混合注意力機制，并將該模塊命名為sppcbam；

6、step3、按照一定比例將數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集，并對工器具存取狀態(tài)檢測模型進行訓(xùn)練、驗證和性能測試；

7、step4、保存工器具存取狀態(tài)檢測模型并進行模型部署，使用部署后的工器具狀態(tài)檢測模型進行工器具實時存取檢測。

8、上述的step1具體包括以下步驟：

9、step1.1、采集工器具柜各層監(jiān)控視頻數(shù)據(jù)：通過在工器具各層安裝攝像頭實現(xiàn)柜體每層的全覆蓋監(jiān)控，并獲取實時監(jiān)控數(shù)據(jù)；

10、step1.2、視頻分幀處理：利用opencv擴展庫cv2中videocapture函數(shù)對采集的工器具柜各層監(jiān)控視頻數(shù)據(jù)進行分幀處理，得到分辨率為1280像素×720像素的原始圖像數(shù)據(jù)集；

11、step1.3、數(shù)據(jù)集標注：使用圖像標定工具labelimg對圖像中各工器具進行人工標定，獲得標準的xml格式文件，所有的圖像和xml格式文件共同構(gòu)成工器具存取檢測數(shù)據(jù)集。

12、上述的step2中，基于注意力機制的改進yolov7s網(wǎng)絡(luò)的網(wǎng)絡(luò)框架為：

13、改進yolov7模型由輸入、圖像初始化特征提取層、backbone骨干網(wǎng)絡(luò)特征提取模塊、neck頸部結(jié)構(gòu)特征融合模塊以及head頭部結(jié)構(gòu)目標檢測模塊構(gòu)成，其中圖像初始化特征提取層用于對圖像進行預(yù)處理，將圖像縮放到設(shè)定大小。

14、上述的backbone骨干網(wǎng)絡(luò)特征提取模塊用于提取圖像的淺層圖形特征與深層語義特征，并向neck頸部結(jié)構(gòu)傳遞三個不同尺度的特征圖，backbone骨干網(wǎng)絡(luò)內(nèi)設(shè)有cbs-2模塊、cbs-3模塊、elan模塊以及mp-1模塊，elan模塊為基礎(chǔ)模塊為cbs-1和cbs-2的殘差結(jié)構(gòu)，mp-1模塊為基礎(chǔ)模塊為cbs-1和cbs-3的雙分支下采樣結(jié)構(gòu)，backbone骨干網(wǎng)絡(luò)特征提取模塊用于提取圖像的淺層圖形特征與深層語義特征，并獲取不同尺度的特征圖。

15、上述的neck頸部結(jié)構(gòu)特征融合模塊內(nèi)設(shè)有cbs-1模塊、sppcbam模塊、elan-w模塊、mp-2模塊，neck頸部結(jié)構(gòu)特征融合模塊具有一條上采樣支路和一條下采樣支路，實現(xiàn)淺層的圖形特征與深層的語義特征的更好融合，并獲取不同尺度的特征圖；

16、elan-w模塊為一種殘差結(jié)構(gòu)，基礎(chǔ)模塊為cbs-1和cbs-2；

17、mp-2模塊為雙分支下采樣結(jié)構(gòu)，基礎(chǔ)模塊為cbs-1和cbs-3。

18、上述的head頭部結(jié)構(gòu)由三個分支構(gòu)成，對應(yīng)三個不同尺度的檢測層，每個檢測層都負責(zé)預(yù)測物體的類別和位置信息，每個分支都由一個rep模塊、一個cbm模塊組成。

19、上述的neck頸部結(jié)構(gòu)中sppcbam模塊為集成混合注意力機制的空間金字塔池化操作，具體如下：

20、將集成混合注意力機制的空間金字塔池化操作的輸入f從三種尺寸上進行子區(qū)域劃分，分別生成子區(qū)域為5×5的特征圖f1、子區(qū)域為9×9的特征圖f2、子區(qū)域為13×13的特征圖f3；

21、對f1的子區(qū)域進行全局平均池化和全局最大池化，得到兩個特征向量；將這兩個特征向量通過共享的多層感知機mlp，即multilayer?perceptron，生成通道注意力圖；將通道注意力圖與f1的子區(qū)域逐通道相乘，生成增強后的特征圖f1’；對通道增強后的特征圖f1’在通道維度進行平均池化和最大池化，得到兩個特征圖；將這兩個特征圖連接起來，形成一個包含空間信息的特征圖；對連接后的特征圖應(yīng)用卷積操作，生成空間注意力圖；將空間注意力圖與通道增強后的特征圖f1’逐元素相乘，生成最終的增強特征圖f1”；

22、對f2的子區(qū)域進行全局平均池化和全局最大池化，得到兩個特征向量；將這兩個特征向量通過共享的mlp，生成通道注意力圖；將通道注意力圖與f2的子區(qū)域逐通道相乘，生成增強后的特征圖f2’；對通道增強后的特征圖f2’在通道維度進行平均池化和最大池化，得到兩個特征圖；將這兩個特征圖連接起來，形成一個包含空間信息的特征圖；對連接后的特征圖應(yīng)用卷積操作，生成空間注意力圖；將空間注意力圖與通道增強后的特征圖f2’逐元素相乘，生成最終的增強特征圖f2”；

23、對f3的子區(qū)域進行全局平均池化和全局最大池化，得到兩個特征向量；將這兩個特征向量通過共享的mlp，生成通道注意力圖；將通道注意力圖與f3的子區(qū)域逐通道相乘，生成增強后的特征圖f3’；對通道增強后的特征圖f3’在通道維度進行平均池化和最大池化，得到兩個特征圖；將這兩個特征圖連接起來，形成一個包含空間信息的特征圖；對連接后的特征圖應(yīng)用卷積操作，生成空間注意力圖；將空間注意力圖與通道增強后的特征圖f3’逐元素相乘，生成最終的增強特征圖f3”。

24、上述的step3中按如下方式訓(xùn)練、驗證和測試工器具存取狀態(tài)檢測模型：

25、step3.1、設(shè)置訓(xùn)練所需超參數(shù)，包括epoch、batch_size、學(xué)習(xí)率、訓(xùn)練優(yōu)化器、損失函數(shù)；其中損失函數(shù)如下：

26、；

27、式中，、、表示損失權(quán)重，表示使用iou損失計算出的邊界框損失，表示使用二元交叉熵計算出的置信度損失，表示使用二元交叉熵計算出的目標檢測損失；

28、step3.2、設(shè)置模型評價指標：選用5個常用于目標檢測任務(wù)中的評價指標，分別為交并比、準確率、精確率、召回率和f1-score；

29、step3.3、初始化網(wǎng)絡(luò)參數(shù)；

30、step3.4、將訓(xùn)練集輸入到構(gòu)建好的改進yolov7s網(wǎng)絡(luò)中，訓(xùn)練數(shù)據(jù)在改進yolov7s網(wǎng)絡(luò)中進行正向傳播，并根據(jù)網(wǎng)絡(luò)輸出進行損失計算，依據(jù)計算出的損失，通過梯度下降算法進行反向傳播并更新網(wǎng)絡(luò)參數(shù)，直至訓(xùn)練結(jié)束；

31、step3.5、凍結(jié)網(wǎng)絡(luò)參數(shù)，將驗證集輸入到訓(xùn)練好的改進yolov7s網(wǎng)絡(luò)中，通過評價指標對模型進行優(yōu)化和調(diào)整；

32、step3.6、將測試集輸入到優(yōu)化后的改進yolov7s網(wǎng)絡(luò)中，以評估網(wǎng)絡(luò)的性能。

33、上述的訓(xùn)練過程中正向傳播過程如下：

34、使用圖像初始化特征提取層對輸入圖像進行初步特征提取，得到初始特征圖；

35、使用改進yolov7s網(wǎng)絡(luò)的backbone骨干網(wǎng)絡(luò)特征提取模塊，包含骨干網(wǎng)絡(luò)特征提取模塊第一層的cbs-2模塊、骨干網(wǎng)絡(luò)特征提取模塊第二層的cbs-3模塊、骨干網(wǎng)絡(luò)特征提取模塊第三層的cbs-2模塊、骨干網(wǎng)絡(luò)特征提取模塊第四層的cbs-3模塊、骨干網(wǎng)絡(luò)特征提取模塊第五層的elan模塊、骨干網(wǎng)絡(luò)特征提取模塊第六層的mp-1模塊、骨干網(wǎng)絡(luò)特征提取模塊第七層的elan模塊、骨干網(wǎng)絡(luò)特征提取模塊第八層的mp-1模塊、骨干網(wǎng)絡(luò)特征提取模塊第九層的elan模塊、骨干網(wǎng)絡(luò)特征提取模塊第十層的mp-1模塊、骨干網(wǎng)絡(luò)特征提取模塊第十一層的elan模塊，對初始特征圖進行由淺至深的圖像特征提取。

36、使用改進yolov7s網(wǎng)絡(luò)的neck頸部結(jié)構(gòu)特征提取模塊，包含頸部結(jié)構(gòu)特征融合模塊上采樣支路第一層的sppcbam模塊、頸部結(jié)構(gòu)特征融合模塊上采樣支路第二層的cbs-1模塊、頸部結(jié)構(gòu)特征融合模塊上采樣支路第三層的upsample模塊、頸部結(jié)構(gòu)特征融合模塊上采樣支路第四層的concat模塊、頸部結(jié)構(gòu)特征融合模塊上采樣支路第五層的elan-w模塊、頸部結(jié)構(gòu)特征融合模塊上采樣支路第六層的cbs-1模塊、頸部結(jié)構(gòu)特征融合模塊上采樣支路第七層的upsample模塊、頸部結(jié)構(gòu)特征融合模塊上采樣支路第八層的concat模塊、頸部結(jié)構(gòu)特征融合模塊上采樣支路第九層的elan-w模塊、頸部結(jié)構(gòu)特征融合模塊下采樣支路第一層的mp-2模塊、頸部結(jié)構(gòu)特征融合模塊下采樣支路第二層的concat模塊、頸部結(jié)構(gòu)特征融合模塊下采樣支路第三層的elan-w模塊、頸部結(jié)構(gòu)特征融合模塊下采樣支路第四層的mp-2模塊、頸部結(jié)構(gòu)特征融合模塊下采樣支路第五層的concat模塊、頸部結(jié)構(gòu)特征融合模塊下采樣支路第六層的elan-w模塊，實現(xiàn)不同尺度特征的更好融合；

37、頸部結(jié)構(gòu)特征融合模塊采樣支路第四層的concat模塊實現(xiàn)與骨干網(wǎng)絡(luò)特征提取模塊第九層的elan模塊特征圖的拼接融合操作；在頸部結(jié)構(gòu)特征融合模塊上采樣支路第八層的concat模塊實現(xiàn)與骨干網(wǎng)絡(luò)特征提取模塊第七層的elan模塊特征圖的拼接融合操作；在頸部結(jié)構(gòu)特征融合模塊下采樣支路第二層的concat模塊實現(xiàn)與頸部結(jié)構(gòu)特征融合模塊上采樣支路第五層的elan-w模塊特征圖的拼接融合操作；在頸部結(jié)構(gòu)特征融合模塊下采樣支路第五層的concat模塊實現(xiàn)與頸部結(jié)構(gòu)特征融合模塊上采樣支路第一層的sppcbam模塊特征圖的拼接融合操作；

38、最后，將頸部結(jié)構(gòu)特征融合模塊上采樣支路第九層的elan-w模塊、頸部網(wǎng)絡(luò)特征融合模塊下采樣支路第三層的elan-w模塊、頸部網(wǎng)絡(luò)特征融合模塊下采樣支路第六層的elan-w模塊獲得的特征作為改進yolov7中head頭部結(jié)構(gòu)目標檢測模塊三個不同尺度的輸入，并使用三個與之對應(yīng)的解碼層，即一個rep模塊、和一個cbm模塊進行解碼，獲得候選框位置信息、目標類別和置信度。

39、上述的step4中，具體包括如下步驟：

40、step4.1、保存工器具存取狀態(tài)檢測模型在驗證過程中評價指標最優(yōu)時的模型框架和模型參數(shù)；

41、step4.2、在基于ai視覺的智能安全工器具存取檢測系統(tǒng)中部署工器具存取狀態(tài)檢測模型；

42、step4.3、每當柜門關(guān)閉時，聯(lián)動工器具存取狀態(tài)檢測模型，實現(xiàn)工器具存取狀態(tài)的動態(tài)檢測。

43、本發(fā)明提供一種基于ai視覺的智能安全工器具存取檢測方法，與現(xiàn)有技術(shù)相比，本發(fā)明具有如下技術(shù)效果：

44、1）本發(fā)明基于人工智能視覺技術(shù)，設(shè)計一種基于ai視覺的智能安全工器具存取檢測方法，實現(xiàn)工器具柜中各工器具存取狀態(tài)的在線精準監(jiān)控，省去安全工器具存取登記或rfid掃描登記過程，有效提高存取效率；同時減少安全工器具丟失的風(fēng)險。

45、2）本發(fā)明設(shè)計基于注意力機制的改進yolov7s網(wǎng)絡(luò)作為安全工器具存取狀態(tài)檢測模型，可使網(wǎng)絡(luò)在圖像特征提取過程中分別從通道和空間兩個維度關(guān)注關(guān)鍵信息的提取，同時忽略無關(guān)信息的提取，從而提高檢測準確率。

46、3）本發(fā)明采取在工器具各層安裝攝像頭，以及關(guān)閉工器具柜柜門時聯(lián)動安全工器具存取狀態(tài)檢測模型進行工器具柜中安全工器具的檢測，相比攝像頭安裝在柜體上端并通過存取動作來實現(xiàn)安全工器具存取檢測的視覺方法，本發(fā)明的檢測準確率更高。