本公開涉及智能終端，尤其涉及一種姿態(tài)識(shí)別方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、擴(kuò)展現(xiàn)實(shí)xr(extendedreality)，是指通過計(jì)算機(jī)將真實(shí)與虛擬相結(jié)合，打造一個(gè)可人機(jī)交互的虛擬環(huán)境。隨著xr技術(shù)的發(fā)展和虛擬世界構(gòu)建的逐步完善，實(shí)現(xiàn)人體全身動(dòng)作捕捉已經(jīng)成為真實(shí)的xr設(shè)備佩戴者與虛擬世界進(jìn)行環(huán)境交互的關(guān)鍵技術(shù)。

技術(shù)實(shí)現(xiàn)思路

1、提供該
技術(shù)實(shí)現(xiàn)要素：
部分以便以簡(jiǎn)要的形式介紹構(gòu)思，這些構(gòu)思將在后面的具體實(shí)施方式部分被詳細(xì)描述。該發(fā)明內(nèi)容部分并不旨在標(biāo)識(shí)要求保護(hù)的技術(shù)方案的關(guān)鍵特征或必要特征，也不旨在用于限制所要求的保護(hù)的技術(shù)方案的范圍。

2、本公開提供一種姿態(tài)識(shí)別方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

3、本公開采用以下的技術(shù)方案。

4、在一些實(shí)施例中，本公開提供一種姿態(tài)識(shí)別方法，應(yīng)用于擴(kuò)展現(xiàn)實(shí)頭戴設(shè)備，包括：

5、獲取用戶當(dāng)前時(shí)刻的慣性測(cè)量數(shù)據(jù)和多視角圖像；

6、將所述慣性測(cè)量數(shù)據(jù)和所述多視角圖像輸入至多模態(tài)姿態(tài)檢測(cè)模型中，得到所述用戶當(dāng)前時(shí)刻的人體位姿信息；

7、其中，所述多模態(tài)姿態(tài)檢測(cè)模型用于對(duì)所述慣性測(cè)量數(shù)據(jù)和所述多視角圖像進(jìn)行多模態(tài)信息融合。

8、在一些實(shí)施例中，本公開提供一種姿態(tài)識(shí)別裝置，包括：

9、獲取模塊，用于獲取用戶當(dāng)前時(shí)刻的慣性測(cè)量數(shù)據(jù)和多視角圖像；

10、處理模塊，用于將所述慣性測(cè)量數(shù)據(jù)和所述多視角圖像輸入至多模態(tài)姿態(tài)檢測(cè)模型中，得到所述用戶當(dāng)前時(shí)刻的人體位姿信息；

11、其中，所述多模態(tài)姿態(tài)檢測(cè)模型用于對(duì)所述慣性測(cè)量數(shù)據(jù)和所述多視角圖像進(jìn)行多模態(tài)信息融合。

12、在一些實(shí)施例中，本公開提供一種電子設(shè)備，包括：至少一個(gè)存儲(chǔ)器和至少一個(gè)處理器；

13、其中，存儲(chǔ)器用于存儲(chǔ)程序代碼，處理器用于調(diào)用所述存儲(chǔ)器所存儲(chǔ)的程序代碼執(zhí)行上述的方法。

14、在一些實(shí)施例中，本公開提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)用于存儲(chǔ)程序代碼，所述程序代碼在被處理器運(yùn)行時(shí)，促使所述處理器執(zhí)行上述方法。

15、本公開實(shí)施例提供的姿態(tài)識(shí)別方法應(yīng)用于擴(kuò)展現(xiàn)實(shí)頭戴設(shè)備，通過獲取用戶當(dāng)前時(shí)刻的慣性測(cè)量數(shù)據(jù)和多視角圖像；將所述慣性測(cè)量數(shù)據(jù)和所述多視角圖像輸入至多模態(tài)姿態(tài)檢測(cè)模型中，得到所述用戶當(dāng)前時(shí)刻的人體位姿信息；其中，所述多模態(tài)姿態(tài)檢測(cè)模型用于對(duì)所述慣性測(cè)量數(shù)據(jù)和所述多視角圖像進(jìn)行多模態(tài)信息融合?？梢?，本公開的方法可以通過擴(kuò)展現(xiàn)實(shí)頭戴設(shè)備實(shí)現(xiàn)準(zhǔn)確的人體動(dòng)作捕捉。

技術(shù)特征：

1.一種姿態(tài)識(shí)別方法，其特征在于，應(yīng)用于擴(kuò)展現(xiàn)實(shí)頭戴設(shè)備，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述人體位姿信息包括多個(gè)人體關(guān)節(jié)點(diǎn)相對(duì)于各自父節(jié)點(diǎn)的軸角和根節(jié)點(diǎn)的位姿信息。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取用戶當(dāng)前時(shí)刻的慣性測(cè)量數(shù)據(jù)和多視角圖像，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述慣性測(cè)量數(shù)據(jù)和所述多視角圖像輸入至多模態(tài)姿態(tài)檢測(cè)模型中，得到所述用戶當(dāng)前時(shí)刻的人體位姿信息，包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述世界外參信息根據(jù)所述擴(kuò)展現(xiàn)實(shí)頭戴設(shè)備的灰度相機(jī)和/或前視彩色相機(jī)采集的用戶當(dāng)前時(shí)刻的前視圖像信息確定。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

10.一種姿態(tài)識(shí)別裝置，其特征在于，包括：

11.一種電子設(shè)備，包括：

12.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)用于存儲(chǔ)程序代碼，所述程序代碼在被計(jì)算機(jī)設(shè)備運(yùn)行時(shí)，促使所述計(jì)算機(jī)設(shè)備執(zhí)行權(quán)利要求1至9中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本公開提供姿態(tài)識(shí)別方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。所述方法包括：獲取用戶當(dāng)前時(shí)刻的慣性測(cè)量數(shù)據(jù)和多視角圖像；將所述慣性測(cè)量數(shù)據(jù)和所述多視角圖像輸入至多模態(tài)姿態(tài)檢測(cè)模型中，得到所述用戶當(dāng)前時(shí)刻的人體位姿信息；其中，所述多模態(tài)姿態(tài)檢測(cè)模型用于對(duì)所述慣性測(cè)量數(shù)據(jù)和所述多視角圖像進(jìn)行多模態(tài)信息融合。本公開的方法可以通過擴(kuò)展現(xiàn)實(shí)頭戴設(shè)備實(shí)現(xiàn)準(zhǔn)確的人體動(dòng)作捕捉。

技術(shù)研發(fā)人員：范振,張陽,林澤一
受保護(hù)的技術(shù)使用者：北京字跳網(wǎng)絡(luò)技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9