本發(fā)明涉及目標(biāo)檢測，尤其涉及一種基于目標(biāo)檢測和關(guān)鍵點追蹤的手動閥門異常操作檢測方法。

背景技術(shù)：

1、盡管自動化控制閥門在現(xiàn)代工業(yè)中占據(jù)了主導(dǎo)地位，手動控制閥門仍然具有重要的價值和不可替代的作用。在物料裝卸等間歇性操作場景，手動閥門操作通常是唯一的物料傳輸控制方式。在某些特殊環(huán)境下，如高溫、高壓、強(qiáng)輻射等極端條件下，自動化控制系統(tǒng)的穩(wěn)定性和可靠性可能會受到影響，而手動控制閥門則可以在這些環(huán)境下正常工作，確保生產(chǎn)過程的順利進(jìn)行。此外，在自動化控制系統(tǒng)出現(xiàn)故障或需要緊急干預(yù)時，手動控制閥門是必不可少的應(yīng)急備用手段。在連續(xù)的手動閥門操作中，閥門開關(guān)操作以及不同閥門啟閉順序通常有著嚴(yán)格的規(guī)定，一旦操作失誤，可能導(dǎo)致生產(chǎn)事故，對人員和設(shè)備造成損害等安全隱患。

2、然而，傳統(tǒng)的手動閥門操作往往依賴于人工檢查和記錄，這種人工檢查需要耗費大量時間和人力，且無法及時查處操作異常；借助攝像頭遠(yuǎn)程監(jiān)控技術(shù)，管理者能夠?qū)χ付▍^(qū)域內(nèi)的閥門操作實施不間斷的遠(yuǎn)程監(jiān)控，一定程度上提高了管理效率與響應(yīng)速度。然而，由于閥門操作的精確捕捉和深入分析需求，加上基于多攝像頭產(chǎn)生的大量視頻數(shù)據(jù)，面對眾多閥門以及監(jiān)控人員長時間工作可能出現(xiàn)的視覺疲勞，這些問題無疑增加了閥門操作監(jiān)控的復(fù)雜性和難度，可能會降低監(jiān)控的實際效果和準(zhǔn)確性。智能監(jiān)控視頻可以對閥門等對象進(jìn)行目標(biāo)檢測，但無法直接對動態(tài)操作進(jìn)行識別，且無法給出操作是否正確的邏輯判斷。

技術(shù)實現(xiàn)思路

1、發(fā)明目的：針對背景技術(shù)中指出的問題，本發(fā)明公開一種基于目標(biāo)檢測和關(guān)鍵點追蹤的手動閥門異常操作識別檢測方法，可實現(xiàn)對閥門開啟、關(guān)閉以及操作順序是否正確的精準(zhǔn)識別，對異常操作可及時發(fā)出報警信息，以便及時消除安全隱患。

2、技術(shù)方案：本發(fā)明公開一種基于目標(biāo)檢測和關(guān)鍵點追蹤的手動閥門異常操作檢測方法，包括如下步驟：

3、步驟1：通過攝像頭采集視頻圖像數(shù)據(jù)，對操作人員和操作人員的手部進(jìn)行目標(biāo)檢測，提取手部檢測框；

4、步驟2：對閥門手柄或閥門手輪的輻條進(jìn)行關(guān)鍵點追蹤檢測，獲取閥門檢測框；

5、步驟3：通過手部檢測框與閥門檢測框的重疊關(guān)系判斷是否存在閥門操作；通過關(guān)鍵點時序分析確定閥門的順時針或逆時針旋轉(zhuǎn)狀態(tài)，進(jìn)一步確定閥門開關(guān)操作識別結(jié)果：閥門開關(guān)及其狀態(tài)；

6、步驟4：最后根據(jù)判斷結(jié)果判斷閥門操作是否存在異常。

7、進(jìn)一步地，所述步驟1中對操作人員和操作人員的手部進(jìn)行目標(biāo)檢測，提取手部檢測框，具體如下：

8、步驟1.1：構(gòu)建操作人員及其手部的目標(biāo)檢測及追蹤模型，所述目標(biāo)檢測模型采用yolo深度學(xué)習(xí)模型來進(jìn)行訓(xùn)練；

9、步驟1.2：建立手動操作閥門場景中人員及其手部數(shù)據(jù)集，采集手動操作閥門場景下的視頻數(shù)據(jù)，并將視頻流加載成圖像幀，從而構(gòu)建包括操作人員及其手部信息的數(shù)據(jù)集；

10、步驟1.3：使用labelme軟件對操作人員及其手部進(jìn)行輪廓標(biāo)注，標(biāo)注生成json文件，然后使用腳本將其轉(zhuǎn)化成yolo?格式的文件；

11、步驟1.4：將采集的圖片制作成訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集；

12、步驟1.5：將獲得的數(shù)據(jù)集輸入步驟1.1中yolo深度學(xué)習(xí)模型，進(jìn)行操作人員及其手部目標(biāo)檢測的模型訓(xùn)練；

13、步驟1.6：基于目標(biāo)檢測結(jié)果，使用opencv視覺庫中的?csrttracker?算法對人員目標(biāo)進(jìn)行追蹤。

14、進(jìn)一步地，所述步驟2中對閥門手柄或閥門手輪的輻條進(jìn)行關(guān)鍵點追蹤檢測具體如下：

15、步驟2.1：構(gòu)建閥門的關(guān)鍵點追蹤檢測模型；

16、步驟2.2：在閥門操作場景的數(shù)據(jù)集圖片中，使用labelme同步標(biāo)注閥門及其對應(yīng)的關(guān)鍵點；

17、步驟2.3：關(guān)鍵點檢測模型訓(xùn)練，python腳本文件將采集的圖片制作成訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集，將其輸入關(guān)鍵點追蹤檢測模型，進(jìn)行關(guān)鍵點的模型訓(xùn)練；

18、步驟2.4：關(guān)鍵點追蹤，采用卡爾曼濾波器或光流法，對連續(xù)幀之間的關(guān)鍵點進(jìn)行匹配，確定關(guān)鍵點在空間中的相對位置，追蹤關(guān)鍵點的運動。

19、進(jìn)一步地，所述步驟2.2中，對于手柄式閥門，關(guān)鍵點為手柄兩端；對于手輪式閥門，關(guān)鍵點為輻條的兩個端點。

20、進(jìn)一步地，所述步驟3中閥門開、關(guān)動作的實時監(jiān)測具體包括如下過程：

21、步驟3.1：閥門操作識別，當(dāng)手部目標(biāo)檢測框與閥門目標(biāo)檢測框的重合度達(dá)到10%以上時，判斷正在進(jìn)行閥門相關(guān)操作，并進(jìn)而觸發(fā)閥門旋轉(zhuǎn)相關(guān)計算；

22、步驟3.2：提取連續(xù)或適當(dāng)間隔的關(guān)鍵點坐標(biāo)信息，采用opencv視覺庫中的math.atan函數(shù)進(jìn)行角度計算，并通過向量叉乘計算函數(shù)計算旋轉(zhuǎn)方向，旋轉(zhuǎn)角度負(fù)值為順時針旋轉(zhuǎn)，對應(yīng)閥門開啟過程；旋轉(zhuǎn)角度正值為逆時針旋轉(zhuǎn)，對應(yīng)閥門關(guān)閉過程。

23、進(jìn)一步地，所述步驟4中判斷閥門操作是否存在異常具體如下：

24、步驟4.1：將步驟3識別的閥門開關(guān)操作識別結(jié)果寫入向量組，每次寫入后，將識別向量組與初始設(shè)定的閥門規(guī)范操作對應(yīng)的對標(biāo)向量組進(jìn)行計算對比；

25、步驟4.2：如果與對標(biāo)向量組一致，則繼續(xù)向下操作；如果不一致，則發(fā)出預(yù)警信號。

26、有益效果

27、本發(fā)明公開的基于目標(biāo)檢測和關(guān)鍵點追蹤的手動閥門異常操作識別檢測方法，通過對操作人員和操作人員的手部進(jìn)行目標(biāo)檢測，提取手部檢測框；對閥門手柄或閥門手輪的輻條進(jìn)行關(guān)鍵點追蹤檢測，獲取閥門檢測框；通過手部檢測框與閥門檢測框的重疊關(guān)系判斷是否存在閥門操作，可實現(xiàn)對閥門開啟、關(guān)閉以及操作順序是否正確的精準(zhǔn)識別，對異常操作可及時發(fā)出報警信息，以便及時消除安全隱患。

技術(shù)特征：

1.一種基于目標(biāo)檢測和關(guān)鍵點追蹤的手動閥門異常操作檢測方法，其特征在于，包括如下步驟：

2.根據(jù)權(quán)利要求1所述的基于目標(biāo)檢測和關(guān)鍵點追蹤的手動閥門異常操作檢測方法，其特征在于，所述步驟1中對操作人員和操作人員的手部進(jìn)行目標(biāo)檢測，提取手部檢測框，具體如下：

3.根據(jù)權(quán)利要求1所述的基于目標(biāo)檢測和關(guān)鍵點追蹤的手動閥門異常操作檢測方法，其特征在于，所述步驟2中對閥門手柄或閥門手輪的輻條進(jìn)行關(guān)鍵點追蹤檢測具體如下：

4.根據(jù)權(quán)利要求2所述的基于目標(biāo)檢測和關(guān)鍵點追蹤的手動閥門異常操作檢測方法，其特征在于，所述步驟2.2中，對于手柄式閥門，關(guān)鍵點為手柄兩端；對于手輪式閥門，關(guān)鍵點為輻條的中心點及兩個端點。

5.根據(jù)權(quán)利要求1所述的基于目標(biāo)檢測和關(guān)鍵點追蹤的手動閥門異常操作檢測方法，其特征在于，所述步驟3中閥門開、關(guān)動作的實時監(jiān)測具體包括如下過程：

6.根據(jù)權(quán)利要求1所述的基于目標(biāo)檢測和關(guān)鍵點追蹤的手動閥門異常操作檢測方法，其特征在于，所述步驟4中判斷閥門操作是否存在異常具體如下：

技術(shù)總結(jié)
本發(fā)明涉及目標(biāo)檢測技術(shù)領(lǐng)域，公開了一種基于目標(biāo)檢測和關(guān)鍵點追蹤的手動閥門異常操作檢測方法，通過攝像頭采集視頻圖像數(shù)據(jù)，對操作人員和操作人員的手部進(jìn)行目標(biāo)檢測，提取檢測框。與此同時，對閥門手柄或閥門手輪的輻條進(jìn)行關(guān)鍵點追蹤檢測，通過手部檢測框與閥門檢測框的重疊關(guān)系判斷是否存在閥門操作；通過關(guān)鍵點時序分析確定閥門的順時針或逆時針旋轉(zhuǎn)狀態(tài)，進(jìn)一步確定閥門開關(guān)、狀態(tài)；最后將判斷結(jié)果輸入邏輯推理模塊，判斷閥門操作是否存在異常。與現(xiàn)有技術(shù)相比，本發(fā)明可實現(xiàn)對閥門開啟、關(guān)閉以及操作順序是否正確的精準(zhǔn)識別，對異常操作可及時發(fā)出報警信息，以便及時消除安全隱患。

技術(shù)研發(fā)人員：喬春欣,朱寧寧,劉雪梅,龐建峰,謝興勇,劉飛,馬喜君
受保護(hù)的技術(shù)使用者：淮陰工學(xué)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30