本發(fā)明涉及人體姿態(tài)估計領(lǐng)域，尤其涉及基于混合注意力機(jī)制的wifi信號人體姿態(tài)估計的算法。

背景技術(shù)：

1、基于wifi信號的人體姿態(tài)估計技術(shù)結(jié)合了物聯(lián)網(wǎng)技術(shù)和深度學(xué)習(xí)等領(lǐng)域的進(jìn)展，為室內(nèi)安全管理提供了創(chuàng)新的解決方案。隨著物聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，人們對于室內(nèi)安全監(jiān)測和管理的需求不斷增加。傳統(tǒng)的監(jiān)測方法存在諸多限制，如攝像頭監(jiān)控存在隱私問題，傳感器布設(shè)成本高昂且不易維護(hù)。而wifi信號作為一種普及且不侵犯隱私的通信手段，為室內(nèi)監(jiān)測提供了新的可能性。

2、這項技術(shù)的背景是源自對室內(nèi)安全管理需求的提升。人們對于室內(nèi)安全的關(guān)注度不斷提高，各類場所對于安全監(jiān)測和管理的要求也日益嚴(yán)格?；趙ifi信號的人體姿態(tài)估計技術(shù)能夠?qū)崟r監(jiān)測人員的位置和移動軌跡，結(jié)合深度學(xué)習(xí)等技術(shù)，可以對人體姿態(tài)和行為進(jìn)行準(zhǔn)確識別，從而實現(xiàn)對不安全行為的預(yù)警和監(jiān)測。

3、這一技術(shù)的應(yīng)用潛力巨大，不僅可以用于醫(yī)院、辦公樓等公共場所的安全管理，還可以應(yīng)用于老人和兒童的護(hù)理，甚至可以擴(kuò)展到工業(yè)生產(chǎn)中的安全監(jiān)測。通過利用wifi信號進(jìn)行人體姿態(tài)估計，可以實現(xiàn)低成本、無視光線和阻礙、無隱私侵犯的室內(nèi)安全監(jiān)測方案，為人們的生活和工作提供更加可靠的保障。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是針對于行人視頻描述研究欠缺以及視頻描述時序性與注意力不兼容的問題，提出一種基于時序注意力機(jī)制的行人視頻描述算法。

2、本發(fā)明的技術(shù)方案是：

3、本發(fā)明提供一種基于時序注意力機(jī)制的行人視頻描述算法，所述算法包括以下步驟：

4、步驟1、將基于csi信號的人體姿態(tài)估計數(shù)據(jù)集的特征數(shù)據(jù)，輸入到上采樣網(wǎng)絡(luò)，將特征數(shù)據(jù)的樣本數(shù)n、載波數(shù)s、信號發(fā)射器天線數(shù)n1、信號收集器天線數(shù)n2作為參數(shù)輸入模型的輸入層；在上采樣層對輸入的特征數(shù)據(jù)進(jìn)行空間維度的數(shù)據(jù)擴(kuò)充和卷積，以及通道維度的卷積；

5、步驟2、將處理后的原始數(shù)據(jù)輸入到堆疊的多尺度卷積網(wǎng)絡(luò)，其中每個多尺度卷積網(wǎng)絡(luò)中包括多個卷積核尺度大小的卷積網(wǎng)絡(luò)，相鄰的多尺度卷積網(wǎng)絡(luò)使用下采樣網(wǎng)絡(luò)進(jìn)行連接，進(jìn)行空間維度的數(shù)據(jù)特征提??；

6、步驟3、引入空間自注意力模塊，對提取的特征向量進(jìn)行空間注意力的權(quán)重賦值，生成深層具有人體姿態(tài)信息的特征向量；

7、步驟4、將特征向量輸入到堆疊的深度殘差卷積網(wǎng)絡(luò)，每個深度殘差卷積網(wǎng)絡(luò)包括多個連續(xù)堆疊的卷積網(wǎng)絡(luò)，且利用基于空間注意力的殘差連接將輸入與最后一個卷積網(wǎng)絡(luò)的輸出進(jìn)行相加操作，相鄰的深度殘差卷積網(wǎng)絡(luò)使用上采樣網(wǎng)絡(luò)進(jìn)行鏈接；最后一個深度殘差卷積網(wǎng)絡(luò)的輸出與第一個多尺度卷積網(wǎng)絡(luò)進(jìn)行殘差連接操作；

8、步驟5、對包含人體姿態(tài)信息的特征向量，使用全局自適應(yīng)池化層和卷積網(wǎng)絡(luò)進(jìn)行通道和空間分辨率的轉(zhuǎn)換，轉(zhuǎn)換為目標(biāo)分辨率，輸出二維的人體姿態(tài)信息。

9、根據(jù)所述的基于混合注意力機(jī)制的wifi信號人體姿態(tài)估計算法，其特征在于所述步驟2中的堆疊的多尺度卷積網(wǎng)絡(luò)，其中多尺度卷積網(wǎng)絡(luò)具體為：

10、步驟2.1、多尺度卷積網(wǎng)絡(luò)，具有多個分辨率大小的卷積核，對同一輸入數(shù)據(jù)(cin，hin，win)提取不同尺度的特征信息，并且保證各個中間卷積層輸出x1，x2，...，xn的分辨率大小相同，需要對各個卷積層的填充和步幅進(jìn)行相應(yīng)的調(diào)整。

11、x1＝conv1(cin，hin，win)

12、x2＝conv2(cin，hin，win)

13、…

14、xn＝convn(cin，hin，win)

15、步驟2.2、將中間卷積層輸出的數(shù)據(jù)按照通道維度進(jìn)行連接，融合各個尺度的特征得到對應(yīng)的數(shù)據(jù)。

16、x＝cat(x1，x2，...，xn)

17、步驟2.3、最后利用卷積層conv、批量歸一化函數(shù)bacthnorm、激活函數(shù)active的組合對中間卷積層輸出的數(shù)據(jù)進(jìn)行通道和空間的卷積。

18、(cout，hout，wout)＝active(batchnorm(conv(x)))

19、步驟2.4、相鄰的多尺度卷積網(wǎng)絡(luò)，利用下采樣網(wǎng)絡(luò)進(jìn)行連接，深層網(wǎng)絡(luò)數(shù)據(jù)是對淺層網(wǎng)絡(luò)數(shù)據(jù)的特征提取；下采樣網(wǎng)絡(luò)包括最大池化層maxpool和卷積核大小為1x1的卷積網(wǎng)絡(luò)conv1×1的組合。

20、layeri+1＝conv1×1(maxpool(layeri))

21、根據(jù)所述的基于混合注意力機(jī)制wifi信號的人體姿態(tài)估計算法，其特征在于所述步驟3中的空間自注意力模塊，空間自注意力模塊的實現(xiàn)具體為：

22、步驟3.1、將輸入的特征向量進(jìn)行分辨率轉(zhuǎn)換，第一、二維度進(jìn)行轉(zhuǎn)換為n×1的文字序列格式。

23、w＝transw×h→n×1(feature)

24、步驟3.2、對n×1的特征序列進(jìn)行位置編碼，并與原文字序列的特征向量相加。

25、p(loc，2i)＝sin(loc/100002i/d)

26、p(loc，2i+1)＝cos(loc/100002i/d)

27、x＝p+w

28、步驟3.3、使用多層自注意力機(jī)制層，設(shè)置具體的權(quán)重，對作用較大的特征值賦予更高的權(quán)重，對作用較小的特征值賦予更小的權(quán)重。

29、x＝transformer1(x)

30、…

31、x＝transformern(x)

32、步驟3.4、使用分辨率轉(zhuǎn)化，將n×1的文字序列格式轉(zhuǎn)化為輸入的特征向量的第一、二維度分辨率，保證輸入輸出分辨率的統(tǒng)一性，得到注意力權(quán)重調(diào)整的特征向量。

33、res＝transn×1→w×h(x)

34、根據(jù)所述的基于混合注意力機(jī)制wifi信號的人體姿態(tài)估計算法，其特征在于所述步驟4中的深度殘差卷積網(wǎng)絡(luò)，深度殘差卷積網(wǎng)絡(luò)的實現(xiàn)具體為：

35、步驟4.1、使用多個連續(xù)堆疊的卷積網(wǎng)絡(luò)進(jìn)行特征還原，使用殘差連接對卷積網(wǎng)絡(luò)輸出數(shù)據(jù)和輸入數(shù)據(jù)進(jìn)行鏈接。

36、x1＝conv(x)

37、x2＝conv(x1)

38、…

39、xn＝conv(xn-1)

40、步驟4.2、在殘差連接中使用空間注意力機(jī)制，提取輸入數(shù)據(jù)中較為重要的通道特征，并與堆疊卷積網(wǎng)絡(luò)的輸出數(shù)據(jù)進(jìn)行相加。

41、

42、res＝x+xn

43、其中g(shù)ap為全局平均池化函數(shù)，sig為sigmoid的函數(shù)生成0到1之間的值，為點乘函數(shù)。

44、步驟4.3、相鄰的連續(xù)堆疊的卷積網(wǎng)絡(luò)，利用上采樣網(wǎng)絡(luò)進(jìn)行連接，淺層網(wǎng)絡(luò)數(shù)據(jù)是對深層網(wǎng)絡(luò)數(shù)據(jù)的特征還原；上采樣網(wǎng)絡(luò)包括基于雙線性插值函數(shù)。

45、layeri+1＝upsample(layeri)

46、根據(jù)所述的基于混合注意力機(jī)制wifi信號的人體姿態(tài)估計算法，其特征在于所述步驟5中的人體姿態(tài)信息的處理輸出，人體姿態(tài)信息的處理網(wǎng)絡(luò)的實現(xiàn)具體為：

47、使用全局自適應(yīng)池化層，控制輸入數(shù)據(jù)第一、二維度分辨率為指定人體骨架關(guān)節(jié)點數(shù)，再使用卷積核為1×1的卷積層，通過對通道的卷積操作使輸出數(shù)據(jù)的通道數(shù)為預(yù)測人體姿態(tài)估計的維度數(shù)。

48、res＝conv1×1(adaptiveavg(x))

49、(xi，yi)＝res

50、本發(fā)明的有益效果：

51、本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點在于：本發(fā)明通過人工智能的手段，處理wifi信號得到室內(nèi)人體姿態(tài)信息，解決了傳統(tǒng)方法弱光線、阻礙、侵犯個人隱私等問題，而且信號收發(fā)器價格較為低，減輕了成本的壓力。此外，本發(fā)明通過通道和注意力機(jī)制，更加注重采集的wifi信道信息數(shù)據(jù)的自身特點，從而可以更加準(zhǔn)確地預(yù)測出人體姿態(tài)信息。

52、本發(fā)明的其它特征和優(yōu)點將在隨后具體實施方式部分予以詳細(xì)說明。