本申請涉及計算機視覺，尤其涉及一種基于多視角注意力融合的握筆姿勢檢測方法。

背景技術(shù)：

1、正確的握筆姿勢對于培養(yǎng)個人的書寫習(xí)慣、提高書寫水平以及預(yù)防手部疲勞至關(guān)重要，不正確的握筆姿勢可能會導(dǎo)致手部疲勞、肌肉疼痛和手部協(xié)調(diào)不良等問題。如果長期使用錯誤的握筆姿勢，可能會對手部生長發(fā)育造成不良影響，進而影響他們的書寫能力和日常生活能力。傳統(tǒng)的姿勢指導(dǎo)依賴于人工監(jiān)督，這種方式不僅效率低下，而且無法提供實時反饋，

2、相關(guān)技術(shù)可以通過主流的深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)例如：vgg、resnet和densenet等模型，基于圖像進行分析，并指出給定圖像中的握筆姿勢是否錯誤。然而，這種方式對學(xué)生握筆姿勢的檢測存在以下挑戰(zhàn)：

3、1、不同學(xué)習(xí)者的手部外觀變化程度大，部分圖像中存在一定程度的手部遮擋和噪聲；2、手部部位之間的相似性；3、不能準確區(qū)別手部和書寫筆的位置關(guān)系。

4、因此，在日常學(xué)習(xí)生活中，對握筆姿勢進行準確地檢測識別是當(dāng)下亟待解決的問題。

技術(shù)實現(xiàn)思路

1、本申請實施例提供一種基于多視角注意力融合的握筆姿勢檢測方法，用以解決上述相關(guān)技術(shù)的缺陷，所述技術(shù)方案如下：

2、第一方面，本申請實施例提供一種基于多視角注意力融合的握筆姿勢檢測方法，包括：

3、通過紅外圖像采集裝置采集至少一個待檢測目標的第一圖像數(shù)據(jù)，通過3d圖像采集裝置采集所述至少一個待檢測目標的第二圖像數(shù)據(jù)；其中，所述紅外圖像采集裝置和所述3d圖像采集裝置布置在不同位置，且所述紅外圖像采集裝置和所述3d圖像采集裝置在同一時刻采集的圖像幀具有重疊區(qū)域；

4、分別對所述第一圖像數(shù)據(jù)中的每一個圖像幀和所述第二圖像數(shù)據(jù)中的每一個圖像幀依次進行幾何變換和數(shù)據(jù)增強處理，基于所述數(shù)據(jù)增強處理后的所述第一圖像數(shù)據(jù)中的每一幀圖像提取得到第一手部區(qū)域圖像，基于所述數(shù)據(jù)增強處理后的所述第二圖像數(shù)據(jù)中的每一幀圖像提取得到第二手部區(qū)域圖像；

5、將所述第一手部區(qū)域圖像和所述第二手部區(qū)域圖像輸入訓(xùn)練好的握筆姿勢識別模型中，以使所述訓(xùn)練好的握筆姿勢識別模型根據(jù)所述第一手部區(qū)域圖像和所述第二手部區(qū)域圖像提取得到所述待檢測目標的握筆姿勢特征向量，并基于所述握筆姿勢特征向量確定所述待檢測目標的握筆姿勢檢測結(jié)果。

6、在第一方面的一種可選方案中，所述基于所述握筆姿勢特征向量確定所述待檢測目標的握筆姿勢檢測結(jié)果，還包括：

7、獲取所述待檢測目標在預(yù)設(shè)的檢測時段內(nèi)每個時刻的握筆姿勢識別結(jié)果；

8、將所述每個時刻的握筆姿勢檢測結(jié)果分別與預(yù)設(shè)標準握筆姿勢進行比較，計算所述握筆姿勢檢測結(jié)果對應(yīng)的圖像幀中每個特征點與所述預(yù)設(shè)標準握筆姿勢中每個特征點的豪斯多夫距離；

9、根據(jù)所有特征點的豪斯多夫距離與豪斯多夫距離閾值的比較結(jié)果輸出所述待檢測目標在預(yù)設(shè)的檢測時段內(nèi)每個時刻的握筆姿勢檢測結(jié)果。

10、在第一方面的一種可選方案中，所述根據(jù)所有特征點的豪斯多夫距離與豪斯多夫距離閾值的比較結(jié)果輸出所述待檢測目標在預(yù)設(shè)的檢測時段內(nèi)每個時刻的握筆姿勢檢測結(jié)果之后，還包括：

11、確定所述所有特征點的豪斯多夫距離大于所述豪斯多夫距離閾值的時段占所述檢測時段的比例，根據(jù)所述比例的數(shù)值確定輸出所述待檢測目標在預(yù)設(shè)的檢測時段內(nèi)的握筆姿勢檢測結(jié)果。

12、在第一方面的一種可選方案中，所述根據(jù)所述比例的數(shù)值確定輸出所述待檢測目標在預(yù)設(shè)的檢測時段內(nèi)的握筆姿勢檢測結(jié)果之后，還包括：

13、確定所述所有特征點的豪斯多夫距離大于所述豪斯多夫距離閾值的時段占所述檢測時段的比例落入的比例范圍，根據(jù)所述比例范圍與握筆姿勢調(diào)整方案的映射關(guān)系輸出對應(yīng)的握筆姿勢調(diào)整方案至所述待檢測目標的設(shè)備端。

14、第二方面，本申請實施例還提供一種基于多視角注意力融合的握筆姿勢檢測裝置，包括：

15、圖像采集模塊，用于通過紅外圖像采集裝置采集至少一個待檢測目標的第一圖像數(shù)據(jù)，通過3d圖像采集裝置采集所述至少一個待檢測目標的第二圖像數(shù)據(jù)；其中，所述紅外圖像采集裝置和所述3d圖像采集裝置布置在不同位置，且所述紅外圖像采集裝置和所述3d圖像采集裝置在同一時刻采集的圖像幀具有重疊區(qū)域；

16、手部區(qū)域提取模塊，用于分別對所述第一圖像數(shù)據(jù)中的每一個圖像幀和所述第二圖像數(shù)據(jù)中的每一個圖像幀依次進行幾何變換和數(shù)據(jù)增強處理，基于所述數(shù)據(jù)增強處理后的所述第一圖像數(shù)據(jù)中的每一幀圖像提取得到第一手部區(qū)域圖像，基于所述數(shù)據(jù)增強處理后的所述第二圖像數(shù)據(jù)中的每一幀圖像提取得到第二手部區(qū)域圖像；

17、握筆姿勢檢測模塊，用于將所述第一手部區(qū)域圖像和所述第二手部區(qū)域圖像輸入訓(xùn)練好的握筆姿勢識別模型中，以使所述訓(xùn)練好的握筆姿勢識別模型根據(jù)所述第一手部區(qū)域圖像和所述第二手部區(qū)域圖像提取得到所述待檢測目標的握筆姿勢特征向量，并基于所述握筆姿勢特征向量確定所述待檢測目標的握筆姿勢檢測結(jié)果。

18、第三方面，本申請實施例還提供一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)本申請實施例第一方面或第一方面的任意一種實現(xiàn)方式提供的方法。

19、第四方面，本申請還提供一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)本申請實施例第一方面或第一方面的任意一種實現(xiàn)方式提供的方法。

20、本申請一些實施例提供的技術(shù)方案帶來的有益效果至少包括：

21、本申請實施例提供的一種基于多視角注意力融合的握筆姿勢檢測方法通過雙相機采集數(shù)據(jù)解決了手部圖像數(shù)據(jù)存在遮擋的問題，利用去噪擴散模型從mobilenetv2特征條件下的圖像中學(xué)習(xí)手部分布。這使本申請能夠從圖像特征中確定學(xué)生握筆時手的3d結(jié)構(gòu)。本申請實施例還通過在提取握筆姿勢特征向量中加入運動學(xué)約束，通過transformer模塊引入關(guān)節(jié)角度和關(guān)節(jié)節(jié)點的限制，使得檢測模型輸出的特征向量可以反應(yīng)更真實、合理的握筆狀態(tài)下的手部姿勢，提高了握筆姿勢識別模型估計的3d握姿的準確性。

技術(shù)特征：

1.一種基于多視角注意力融合的握筆姿勢檢測方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種基于多視角注意力融合的握筆姿勢檢測方法，其特征在于，所述基于所述握筆姿勢特征向量確定所述待檢測目標的握筆姿勢檢測結(jié)果，還包括：

3.根據(jù)權(quán)利要求2所述的一種基于多視角注意力融合的握筆姿勢檢測方法，其特征在于，所述根據(jù)所有特征點的豪斯多夫距離與豪斯多夫距離閾值的比較結(jié)果輸出所述待檢測目標在預(yù)設(shè)的檢測時段內(nèi)每個時刻的握筆姿勢檢測結(jié)果之后，還包括：

4.根據(jù)權(quán)利要求3所述的一種基于多視角注意力融合的握筆姿勢檢測方法，其特征在于，所述根據(jù)所述比例的數(shù)值確定輸出所述待檢測目標在預(yù)設(shè)的檢測時段內(nèi)的握筆姿勢檢測結(jié)果之后，還包括：

5.一種基于多視角注意力融合的握筆姿勢檢測裝置，其特征在于，包括：

6.一種電子設(shè)備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)如權(quán)利要求1至7任一項所述方法的步驟。

7.一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7任一項所述方法的步驟。

技術(shù)總結(jié)
本申請實施例公開了一種基于多視角注意力融合的握筆姿勢檢測方法，涉及計算機視覺技術(shù)領(lǐng)域，該方法包括：通過紅外圖像采集裝置采集待檢測目標的第一圖像數(shù)據(jù)，通過3D圖像采集裝置采集第二圖像數(shù)據(jù)；基于第一圖像數(shù)據(jù)提取得到第一手部區(qū)域圖像，基于第二圖像數(shù)據(jù)提取得到第二手部區(qū)域圖像，輸入訓(xùn)練好的握筆姿勢識別模型中，提取得到握筆姿勢特征向量，并基于握筆姿勢特征向量確定握筆姿勢檢測結(jié)果。本申請?zhí)峁┑姆椒ㄍㄟ^在提取握筆姿勢特征向量中加入運動學(xué)約束，通過transformer模塊引入關(guān)節(jié)角度和關(guān)節(jié)節(jié)點，使得檢測模型輸出的特征向量可以反應(yīng)更真實、合理的握筆狀態(tài)下的手部姿勢，提高握筆姿勢識別模型估計的握姿的準確性。

技術(shù)研發(fā)人員：劉海,吳砥,聶紫潔,曾爽,張美沂,錢詩佳,陳強,石也牧,張昭理,劉婷婷,李友福
受保護的技術(shù)使用者：華中師范大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6