本發(fā)明屬于無(wú)線人體姿勢(shì)估計(jì)領(lǐng)域，具體涉及一種基于wi-fi信道狀態(tài)信息的人體姿勢(shì)估計(jì)方法。

背景技術(shù)：

1、隨著科技的快速發(fā)展和人們生活水平的提高，智慧生活已經(jīng)成為現(xiàn)代社會(huì)的必然趨勢(shì)，其中人體感知技術(shù)發(fā)揮著重要的作用，為智能家居、虛擬現(xiàn)實(shí)等應(yīng)用提供了強(qiáng)大的技術(shù)支持。傳統(tǒng)的人體行為感知技術(shù)大多依賴于物理設(shè)備或者穿戴設(shè)備，不僅限制了用戶的活動(dòng)范圍，也存在諸多隱私困擾，因此發(fā)展一種非接觸式的高精度人體行為感知技術(shù)具有重要意義。

2、近年來基于wi-fi信道狀態(tài)信息進(jìn)行細(xì)粒度人體姿勢(shì)估計(jì)的技術(shù)受到了廣泛關(guān)注。wi-fi作為一種廣泛部署的無(wú)線通信技術(shù)，具有覆蓋范圍廣、成本低廉、易獲取等優(yōu)勢(shì)，通過對(duì)基于wi-fi的csi信號(hào)(信道狀態(tài)信息)進(jìn)行特征提取，能夠獲取到豐富的環(huán)境和人體姿勢(shì)信息，從而實(shí)現(xiàn)人體姿勢(shì)估計(jì)。這種技術(shù)克服了傳統(tǒng)人體姿勢(shì)估計(jì)技術(shù)存在的一些局限性，為人體行為感知方法提供了全新的視角，具有巨大的應(yīng)用發(fā)展?jié)摿Α?/p>

3、但wi-fi信號(hào)與傳統(tǒng)專用型無(wú)線感知設(shè)備在信號(hào)特征上存在著顯著差異。傳統(tǒng)專用型無(wú)線感知設(shè)備信號(hào)以其大帶寬和高分辨率著稱，而wi-fi信號(hào)與之相反，其受限于較小的帶寬和低空間分辨率，難以實(shí)現(xiàn)高準(zhǔn)確率和實(shí)時(shí)的人體姿勢(shì)估計(jì)。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提出了一種基于wi-fi信道狀態(tài)信息的人體姿勢(shì)識(shí)別方法，其在自定義無(wú)線人體姿勢(shì)估計(jì)數(shù)據(jù)集的基礎(chǔ)上，建立合適的模型框架，獲得預(yù)測(cè)人體姿勢(shì)關(guān)鍵點(diǎn)深度學(xué)習(xí)模型，實(shí)現(xiàn)基于wi-fi信道狀態(tài)信息的人體姿勢(shì)識(shí)別，同時(shí)解決了數(shù)據(jù)同步問題，從而解決現(xiàn)有深度學(xué)習(xí)方法模型大、速度慢、準(zhǔn)確率較低的問題。

2、為了解決上述技術(shù)問題，本發(fā)明是這樣實(shí)現(xiàn)的。

3、一種基于wi-fi信道狀態(tài)信息的人體姿勢(shì)識(shí)別方法，包括：

4、步驟1：建立無(wú)線人體姿勢(shì)估計(jì)數(shù)據(jù)集：采用人體不同姿勢(shì)下，同時(shí)采集信道狀態(tài)信息(csi)數(shù)據(jù)和人體姿勢(shì)視頻，并進(jìn)行時(shí)間對(duì)齊；從人體姿勢(shì)視頻獲取人體姿勢(shì)圖像，并對(duì)人體姿勢(shì)圖像中的人體姿勢(shì)關(guān)鍵點(diǎn)坐標(biāo)及其置信度進(jìn)行標(biāo)注，得到標(biāo)簽監(jiān)督數(shù)據(jù)；csi數(shù)據(jù)和標(biāo)簽監(jiān)督數(shù)據(jù)組成訓(xùn)練樣本，從而建立無(wú)線人體姿勢(shì)估計(jì)數(shù)據(jù)集；

5、所述時(shí)間對(duì)齊包括：在數(shù)據(jù)采集過程中，視頻錄制時(shí)間為系統(tǒng)時(shí)間戳t1，csi)數(shù)據(jù)由開源測(cè)量軟件采集并承載在csi數(shù)據(jù)包中提供給發(fā)送包含發(fā)送時(shí)硬件nic時(shí)間戳信息t2，系統(tǒng)時(shí)間戳t1與硬件nic時(shí)間戳t2之間存在差異；對(duì)csi數(shù)據(jù)的開源測(cè)量軟件底層代碼進(jìn)行修改，將其發(fā)送的csi數(shù)據(jù)包中原本的硬件nic時(shí)間戳后32位直接改為系統(tǒng)時(shí)間戳的后32位，即系統(tǒng)時(shí)間戳偏移信息；接收到csi數(shù)據(jù)包的設(shè)備，從csi數(shù)據(jù)中提取時(shí)間戳，該設(shè)備計(jì)算距離當(dāng)前時(shí)間最近的后32位系統(tǒng)時(shí)間戳為0的時(shí)間，疊加csi數(shù)據(jù)包中的后32位系統(tǒng)時(shí)間戳偏移信息，即可得到csi數(shù)據(jù)包發(fā)送時(shí)的系統(tǒng)時(shí)間；

6、步驟2：建立并訓(xùn)練人體姿勢(shì)關(guān)鍵點(diǎn)預(yù)測(cè)深度學(xué)習(xí)模型：設(shè)計(jì)由csi數(shù)據(jù)映射到人體姿勢(shì)關(guān)鍵點(diǎn)坐標(biāo)的網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)模型包括金字塔空洞卷積和殘差網(wǎng)絡(luò)；將所述無(wú)線人體姿勢(shì)估計(jì)數(shù)據(jù)集輸入所述網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

7、步驟3：人體姿勢(shì)預(yù)測(cè)：獲取人任意動(dòng)作下的待預(yù)測(cè)的csi數(shù)據(jù)，輸入人體姿勢(shì)關(guān)鍵點(diǎn)預(yù)測(cè)深度學(xué)習(xí)模型中，得到當(dāng)前csi數(shù)據(jù)對(duì)應(yīng)的人體姿勢(shì)關(guān)鍵點(diǎn)序列；將人體姿勢(shì)關(guān)鍵點(diǎn)序列按時(shí)間維組合，得到人體姿勢(shì)動(dòng)作表示。

8、優(yōu)選地，所述步驟1中，人體不同姿勢(shì)包括不同體型在站立、行走、坐下、躺臥、彎曲、伸展和旋轉(zhuǎn)下的姿勢(shì)。

9、優(yōu)選地，所述步驟1中，采集csi數(shù)據(jù)后，進(jìn)一步進(jìn)行csi數(shù)據(jù)丟包處理，具體為：

10、將linux?802.11n?csi工具測(cè)量生成的.dat文件導(dǎo)入到matlab軟件；

11、根據(jù)采樣頻率確定前后兩個(gè)csi數(shù)據(jù)包的時(shí)間戳差值；

12、根據(jù)可容忍的誤差范圍，基于所述時(shí)間戳差值確定正常情況下兩個(gè)csi數(shù)據(jù)包接收時(shí)間差的閾值m；

13、計(jì)算實(shí)際接收到的前后兩個(gè)csi數(shù)據(jù)包的時(shí)間戳差值，與閾值m進(jìn)行對(duì)比，如果大于閾值m，則判定識(shí)別出數(shù)據(jù)包傳輸中存在丟包；

14、采用最近鄰插值法進(jìn)行數(shù)據(jù)補(bǔ)齊，以填補(bǔ)因丟包而缺失的csi數(shù)據(jù)。

15、優(yōu)選地，所述對(duì)人體姿勢(shì)圖像中的人體姿勢(shì)關(guān)鍵點(diǎn)坐標(biāo)及其置信度進(jìn)行標(biāo)注為：利用alphapose對(duì)人體姿勢(shì)圖像中的人體姿勢(shì)關(guān)鍵點(diǎn)坐標(biāo)及其置信度進(jìn)行標(biāo)注。

16、優(yōu)選地，所述人體姿勢(shì)關(guān)鍵點(diǎn)預(yù)測(cè)深度學(xué)習(xí)模型的設(shè)置為：csi數(shù)據(jù)輸入膨脹率為{1，2，4，8}的空洞卷積后，將所得數(shù)據(jù)以相加的方式進(jìn)行特征融合，然后進(jìn)行特征提取、正則和激活操作，輸入50層殘差網(wǎng)絡(luò)中，殘差塊數(shù)目依次為{3，4，6，3}，殘差塊中主要包含卷積和激活操作；最后加入全連接層來實(shí)現(xiàn)34個(gè)關(guān)鍵點(diǎn)的輸出；

17、深度學(xué)習(xí)模型中的損失函數(shù)指標(biāo)loss為各個(gè)人體姿勢(shì)關(guān)鍵點(diǎn)預(yù)測(cè)值與真實(shí)值之間的歐式距離置信度加權(quán)的累計(jì)和：

18、

19、其中，ci為訓(xùn)練樣本第i個(gè)人體姿勢(shì)關(guān)鍵點(diǎn)的置信度，pdi為第i個(gè)人體姿勢(shì)關(guān)鍵點(diǎn)的預(yù)測(cè)值，gti為第i個(gè)人體姿勢(shì)關(guān)鍵點(diǎn)的真實(shí)值；中符號(hào)表示歐式距離計(jì)算。

20、6.如權(quán)利要求1所述的方法，其特征在于，所述人體姿勢(shì)關(guān)鍵點(diǎn)包括17個(gè)關(guān)鍵點(diǎn)，分別代表鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左髖、右髖、左膝、右膝、左踝和右踝。

21、有益效果：

22、(1)本方法通過時(shí)間戳計(jì)算的方式來實(shí)現(xiàn)csi接收與人體姿勢(shì)視頻錄制的同步，解決了因硬件限制而無(wú)法同時(shí)控制天線發(fā)送與攝像頭的問題，確保了csi數(shù)據(jù)與人體姿勢(shì)監(jiān)督信息之間的對(duì)應(yīng)關(guān)系，為人體姿勢(shì)估計(jì)提供了可靠的數(shù)據(jù)基礎(chǔ)。

23、(2)本發(fā)明應(yīng)用于無(wú)線人體姿勢(shì)識(shí)別領(lǐng)域，使用加入金字塔型空洞卷積結(jié)構(gòu)的殘差網(wǎng)絡(luò)模型，對(duì)wi-fi信號(hào)進(jìn)行有監(jiān)督的訓(xùn)練。金字塔型空洞卷積結(jié)構(gòu)能夠?qū)崿F(xiàn)多尺度信息融合，在不損失空間分辨率的情況下增大卷積層的感受野，保留wi-fi信號(hào)中包含的豐富空間信息與變化信息，而殘差網(wǎng)絡(luò)的使用則可以避免由于網(wǎng)絡(luò)深度增加導(dǎo)致的模型退化問題，具有良好的擬合效果，同時(shí)實(shí)現(xiàn)了高準(zhǔn)確率和實(shí)時(shí)人體姿勢(shì)估計(jì)。

技術(shù)特征：

1.一種基于wi-fi信道狀態(tài)信息的人體姿勢(shì)識(shí)別方法，其特征在于，包括：

2.如權(quán)利要求1所述的方法，其特征在于，所述步驟1中，人體不同姿勢(shì)包括不同體型在站立、行走、坐下、躺臥、彎曲、伸展和旋轉(zhuǎn)下的姿勢(shì)。

3.如權(quán)利要求1所述的方法，其特征在于，所述步驟1中，采集csi數(shù)據(jù)后，進(jìn)一步進(jìn)行csi數(shù)據(jù)丟包處理，具體為：

4.如權(quán)利要求1所述的方法，其特征在于，所述對(duì)人體姿勢(shì)圖像中的人體姿勢(shì)關(guān)鍵點(diǎn)坐標(biāo)及其置信度進(jìn)行標(biāo)注為：利用alphapose對(duì)人體姿勢(shì)圖像中的人體姿勢(shì)關(guān)鍵點(diǎn)坐標(biāo)及其置信度進(jìn)行標(biāo)注。

5.如權(quán)利要求1所述的方法，其特征在于，所述人體姿勢(shì)關(guān)鍵點(diǎn)預(yù)測(cè)深度學(xué)習(xí)模型的設(shè)置為:csi數(shù)據(jù)輸入膨脹率為{1，2，4，8}的空洞卷積后，將所得數(shù)據(jù)以相加的方式進(jìn)行特征融合，然后進(jìn)行特征提取、正則和激活操作，輸入50層殘差網(wǎng)絡(luò)中，殘差塊數(shù)目依次為{3，4，6，3}，殘差塊中主要包含卷積和激活操作；最后加入全連接層來實(shí)現(xiàn)34個(gè)關(guān)鍵點(diǎn)的輸出；

6.如權(quán)利要求1所述的方法，其特征在于，所述人體姿勢(shì)關(guān)鍵點(diǎn)包括17個(gè)關(guān)鍵點(diǎn)，分別代表鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左髖、右髖、左膝、右膝、左踝和右踝。

技術(shù)總結(jié)
本公開提供了一種基于Wi?Fi信道狀態(tài)信息的人體姿勢(shì)識(shí)別方法，本發(fā)明首先構(gòu)建無(wú)線人體姿勢(shì)估計(jì)數(shù)據(jù)集，構(gòu)建時(shí)在人體不同姿勢(shì)下，同時(shí)采集CSI數(shù)據(jù)和人體姿勢(shì)視頻，并采用在CSI數(shù)據(jù)包中將硬件NIC時(shí)間戳后32位直接改為系統(tǒng)時(shí)間戳的后32位的方式，進(jìn)行軟件時(shí)間對(duì)齊。本發(fā)明進(jìn)一步構(gòu)建了金字塔空洞卷積+殘差網(wǎng)絡(luò)的人體姿勢(shì)關(guān)鍵點(diǎn)預(yù)測(cè)深度學(xué)習(xí)模型；需要預(yù)測(cè)時(shí)，獲取人任意動(dòng)作下的待預(yù)測(cè)的CSI數(shù)據(jù)，輸入模型獲得人體姿勢(shì)動(dòng)作表示。本發(fā)明能夠?qū)崿F(xiàn)基于Wi?Fi信道狀態(tài)信息的人體姿勢(shì)識(shí)別，同時(shí)解決了數(shù)據(jù)同步問題。

技術(shù)研發(fā)人員：曾小路,楊小鵬,劉淼,邢程薦,劉宇
受保護(hù)的技術(shù)使用者：北京理工大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2