本發(fā)明屬于步態(tài)識別以及人員在崗檢測，特別涉及一種基于多視角步態(tài)時空修復(fù)網(wǎng)絡(luò)的車間人員在崗檢測方法。

背景技術(shù)：

1、在車間或生產(chǎn)線上，需要實時監(jiān)測人員是否在規(guī)定崗位上工作，同時，不同的生產(chǎn)環(huán)境對人員的著裝要求不同，對于一些需要身穿防護服的特殊工作場景，解決防護服下人員的身份識別較為困難。相比于傳統(tǒng)的人臉、虹膜、指紋等識別技術(shù)，步態(tài)識別在人員在崗檢測技術(shù)中具有較大的應(yīng)用潛力，因為它對圖像的分辨率要求低、可遠距離識別、無需受試者合作，具有良好的通用性和靈活性。由于步態(tài)指標具有顯著的差異性，通過分析個體在行走過程中的姿態(tài)、步長、步寬以及行走速度等特征，可以識別和確認身份。

2、步態(tài)識別對視角變化敏感，不同的攝像頭角度可能會影響識別的準確性。同時，不同視角下對于步態(tài)的遮擋也會影響識別的準確率。目前，步態(tài)識別的算法大多是采用深度卷積網(wǎng)絡(luò)模型，改進通常圍繞調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，改變卷積核大小，提取并融合多尺度特征，添加注意力機制以及改進損失函數(shù)等思路展開，通過以上改進幫助網(wǎng)絡(luò)學(xué)習(xí)更細粒度的深度特征，以提升算法的檢測性能。此外，部分研究者還將傳統(tǒng)算法與深度學(xué)習(xí)算法進行結(jié)合，在原有的深度學(xué)習(xí)模型基礎(chǔ)上，將傳統(tǒng)算法以前處理或后處理的方式，嵌入到整體檢測流程中，以此提升算法的檢測精度。還有一些研究者將步態(tài)識別與其他識別方式，如人臉、虹膜等方式結(jié)合，提出多模態(tài)融合方式，兩種識別方式互相結(jié)合補充，提高識別精度和準確率。

3、以上幾種改進和結(jié)合的算法雖能在知道步態(tài)輪廓的前提下提高人員識別準確率，但在遮擋情況下的步態(tài)輪廓序列是未知的，所以無法有效應(yīng)對車間環(huán)境中的人員遮擋情況。

4、具體而言，在車間環(huán)境中，視角變化對步態(tài)識別的影響較大，會使識別精度降低，從正面和從側(cè)面觀察到的步態(tài)特征會有很大不同，這會對步態(tài)識別算法的識別精度造成挑戰(zhàn)。針對視角變化問題，雖然很多方法通過增加攝像頭數(shù)量來獲取不同角度的步態(tài)序列，但需耗費大量的資源，還有一些方法使用骨骼信息，但需要額外設(shè)備，且魯棒性有限。與此同時，由視角變化帶來的遮擋問題也需解決，例如當行人的部分身體(如手臂、腿部)被遮擋時，步態(tài)識別系統(tǒng)可能無法獲取完整的步態(tài)特征，影響識別的準確性。人員被遮擋將丟失一些重要的時空信息，例如肢體運動軌跡、身體擺動幅度等，對識別準確度造成影響。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提出一種基于多視角步態(tài)時空修復(fù)網(wǎng)絡(luò)的車間人員在崗檢測方法，該方法通過采用多視角生成對抗網(wǎng)絡(luò)，以獲取目標視角的遮擋步態(tài)圖像，并設(shè)計了一種遮擋步態(tài)時空修復(fù)網(wǎng)絡(luò)模型，以對不同視角下的員工步態(tài)輪廓進行重建及識別，有效地解決了視角變化以及遮擋問題，從而提高了車間人員在崗識別精度以及人員身份的準確性。

2、本發(fā)明為了實現(xiàn)上述目的，采用如下技術(shù)方案：

3、基于多視角步態(tài)時空修復(fù)網(wǎng)絡(luò)的車間人員在崗檢測方法，包括如下步驟：

4、步驟1.首先對輸入的不同視角下的遮擋步態(tài)能量圖，利用多視角生成對抗網(wǎng)絡(luò)進行視角轉(zhuǎn)換，以生成目標視角下的遮擋步態(tài)圖像；

5、步驟2.將目標視角下的遮擋步態(tài)圖像送入遮擋步態(tài)時空修復(fù)網(wǎng)絡(luò)模型，該遮擋步態(tài)時空修復(fù)網(wǎng)絡(luò)模型包括語義分割網(wǎng)絡(luò)和步態(tài)時空修復(fù)網(wǎng)絡(luò)；

6、語義分割網(wǎng)絡(luò)對遮擋的步態(tài)區(qū)域進行獲取，根據(jù)圖像的語義信息識別出不同視角下的步態(tài)輪廓，步態(tài)時空修復(fù)網(wǎng)絡(luò)對遮擋的步態(tài)區(qū)域進行修復(fù)，得到完整的步態(tài)圖像修復(fù)序列；

7、步驟3.步態(tài)圖像修復(fù)序列經(jīng)過步態(tài)特征提取網(wǎng)絡(luò)進行特征提取得到員工身份信息，并將檢測到的員工身份與預(yù)先存儲的員工身份檔案信息進行對比，實現(xiàn)車間人員在崗檢測。

8、本發(fā)明具有如下優(yōu)點：

9、如上所述，本發(fā)明述及了一種基于多視角步態(tài)時空修復(fù)網(wǎng)絡(luò)的車間人員在崗檢測方法，該方法首先引入一種多視角生成對抗網(wǎng)絡(luò)(multi-view?gan)，用于生成目標視角下的遮擋步態(tài)圖像，然后設(shè)計了遮擋步態(tài)時空修復(fù)網(wǎng)絡(luò)模型，遮擋步態(tài)時空修復(fù)網(wǎng)絡(luò)模型包括語義分割網(wǎng)絡(luò)和步態(tài)時空修復(fù)網(wǎng)絡(luò)。其中，目標視角下的遮擋步態(tài)圖像經(jīng)語義分割模型進行步態(tài)圖像分割，再通過步態(tài)時空修復(fù)網(wǎng)絡(luò)將語義分割模型和特征提取模型連接，使用transformer和編解碼器結(jié)構(gòu)構(gòu)建的步態(tài)時空修復(fù)網(wǎng)絡(luò)，分別負責(zé)提取步態(tài)圖像的空間信息和時間信息。本發(fā)明方法采用端到端的方式提取時空特征，相比于對步態(tài)特征的簡單提取，遮擋情況下的步態(tài)特征先進行步態(tài)輪廓修復(fù)再進行特征提取能夠顯著提高人員身份的一致性。本發(fā)明方法對于不同遮擋程度和不同遮擋類型都有較高的修復(fù)效果，提高了車間人員在崗檢測精確度。

技術(shù)特征：

1.基于多視角步態(tài)時空修復(fù)網(wǎng)絡(luò)的車間人員在崗檢測方法，其特征在于，

2.根據(jù)權(quán)利要求1所述的基于多視角步態(tài)時空修復(fù)網(wǎng)絡(luò)的車間人員在崗檢測方法，其特征在于，所述步驟1中，多視角生成對抗網(wǎng)絡(luò)通過生成器和鑒別器組合，以生成不同目標視角下的步態(tài)圖像，生成器采用編碼器和解碼器結(jié)構(gòu)；多視角生成對抗網(wǎng)絡(luò)的處理流程如下：

3.根據(jù)權(quán)利要求2所述的基于多視角步態(tài)時空修復(fù)網(wǎng)絡(luò)的車間人員在崗檢測方法，其特征在于，所述生成器的編碼器，用于提取圖像特征信息；生成器的解碼器，用于根據(jù)特征生成目標視角下的遮擋步態(tài)圖像；其中：

4.根據(jù)權(quán)利要求2所述的基于多視角步態(tài)時空修復(fù)網(wǎng)絡(luò)的車間人員在崗檢測方法，其特征在于，所述多視角生成對抗網(wǎng)絡(luò)中，設(shè)計一種域?qū)R方法來減少分布差異，并引導(dǎo)虛假的步態(tài)樣本，以提高多視角生成對抗網(wǎng)絡(luò)模型的泛化能力；

5.根據(jù)權(quán)利要求1所述的基于多視角步態(tài)時空修復(fù)網(wǎng)絡(luò)的車間人員在崗檢測方法，其特征在于，所述步驟2中，語義分割網(wǎng)采用預(yù)訓(xùn)練好的u-net網(wǎng)絡(luò)；

6.根據(jù)權(quán)利要求5所述的基于多視角步態(tài)時空修復(fù)網(wǎng)絡(luò)的車間人員在崗檢測方法，其特征在于，所述步態(tài)時空修復(fù)網(wǎng)絡(luò)以transformer編解碼器為主干網(wǎng)絡(luò)；

7.根據(jù)權(quán)利要求6所述的基于多視角步態(tài)時空修復(fù)網(wǎng)絡(luò)的車間人員在崗檢測方法，其特征在于，所述步驟2中，在步態(tài)時空修復(fù)網(wǎng)絡(luò)的編碼器和解碼器中增加卷積層數(shù)，并添加池化操作，以捕捉全局和局部信息變化。

8.根據(jù)權(quán)利要求7所述的基于多視角步態(tài)時空修復(fù)網(wǎng)絡(luò)的車間人員在崗檢測方法，其特征在于，所述步態(tài)時空修復(fù)網(wǎng)絡(luò)的編碼器有四個卷積層，每個卷積層的結(jié)構(gòu)均統(tǒng)一為3×3的卷積核，stride為1，除最后一層外，各卷積層都通過最大池化層后進入下一個卷積層；各最大池化層的核大小均為kernel＝2，步長均為stride＝2，卷積核的個數(shù)也由64增長到512；將遮擋步態(tài)分割圖像序列送入編碼器進行卷積操作，得到具有時空信息的低維特征，包含步態(tài)圖像的時間信息和空間信息。

9.根據(jù)權(quán)利要求7所述的基于多視角步態(tài)時空修復(fù)網(wǎng)絡(luò)的車間人員在崗檢測方法，其特征在于，所述步態(tài)時空修復(fù)網(wǎng)絡(luò)的解碼器包括四個卷積層；解碼器結(jié)構(gòu)中除最后一層外，各卷積層均采用結(jié)構(gòu)統(tǒng)一的3×3的卷積核，stride為1，同時采用交替排列的卷積層和上采樣操作，每個卷積后面都有一個relu非線性激活函數(shù)，以減緩編碼過程中下采樣時的細節(jié)損失，并將梯度消失問題的影響降至最低；將時空轉(zhuǎn)換器輸出的低維特征進行解碼，逐步恢復(fù)步態(tài)圖像的空間信息，并保持時間連貫性，得到重建出的完整的步態(tài)圖像修復(fù)序列。

10.根據(jù)權(quán)利要求1所述的基于多視角步態(tài)時空修復(fù)網(wǎng)絡(luò)的車間人員在崗檢測方法，其特征在于，使用修復(fù)序列的重建損失lr、三元組損失lt和交叉熵損失函數(shù)lc作為聯(lián)合損失來對網(wǎng)絡(luò)進行修復(fù)；

技術(shù)總結(jié)
本發(fā)明屬于步態(tài)識別以及人員在崗檢測技術(shù)領(lǐng)域，具體公開了一種基于多視角步態(tài)時空修復(fù)網(wǎng)絡(luò)的車間人員在崗檢測方法。本發(fā)明方法首先對輸入的圖像進行預(yù)處理得到遮擋狀態(tài)下的步態(tài)能量圖，并使用多視角生成對抗網(wǎng)絡(luò)獲取目標視角下的遮擋步態(tài)圖像，再使用遮擋步態(tài)時空修復(fù)網(wǎng)絡(luò)來修復(fù)人員的遮擋步態(tài)序列，利用編解碼器結(jié)構(gòu)在修復(fù)每一幀步態(tài)圖像的空間信息的同時保持幀與幀之間的時空連貫性。最后使用特征提取網(wǎng)絡(luò)提取步態(tài)特征，保持其身份信息與登記信息的一致性，準確地檢測出人員的在崗狀態(tài)。本發(fā)明對于不同遮擋程度和不同遮擋類型都有較高的修復(fù)效果，提高了檢測精確度。

技術(shù)研發(fā)人員：寧家川,白培瑞,任劍,丁浩然,劉慶一,韓超
受保護的技術(shù)使用者：青島冠成軟件有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30