本申請涉及智能感知和融合，特別是涉及一種基于慣性-視覺信號增強與融合的運動分析系統(tǒng)。

背景技術(shù)：

1、慣性傳感器在現(xiàn)代技術(shù)應(yīng)用中起著至關(guān)重要的作用，如在汽車、航空航天、機器人和高爾夫運動等領(lǐng)域。慣性傳感器是一種能夠測量物體加速度、角速度和磁場強度的設(shè)備，通常包括加速度計、陀螺儀和磁力計。它們通過捕捉物體在空間中的運動信息，廣泛應(yīng)用于運動捕捉、導(dǎo)航系統(tǒng)和姿態(tài)控制等領(lǐng)域。在運動捕捉中，慣性傳感器的作用尤為重要，它能夠?qū)崟r跟蹤和記錄物體的運動軌跡，為分析運動行為和構(gòu)建運動模型提供關(guān)鍵數(shù)據(jù)。通過慣性傳感器，研究人員和工程師可以獲取到精確的運動數(shù)據(jù)，從而在虛擬現(xiàn)實、動畫制作和生物力學(xué)研究中實現(xiàn)高度還原的運動捕捉效果。

2、在高動態(tài)環(huán)境下，慣性傳感器常面臨信號飽和的問題，這限制了低成本慣性傳感器的應(yīng)用范圍。傳統(tǒng)的信號處理方法通常將信號視為離散點序列，導(dǎo)致在信號重建過程中信息損失較大，特別是在超量程重建方面表現(xiàn)不佳。此外，深度學(xué)習(xí)模型在信號重構(gòu)過程中可能會產(chǎn)生不符合實際情況的“幻覺”現(xiàn)象，影響模型的可靠性。在人體關(guān)鍵點檢測等應(yīng)用中，稀疏特征的檢測和記憶也是一個挑戰(zhàn)。同時，多模態(tài)傳感器數(shù)據(jù)融合，如慣性傳感器與視覺傳感器數(shù)據(jù)的對齊，是提高運動捕捉精度的關(guān)鍵，但目前存在技術(shù)難題。

技術(shù)實現(xiàn)思路

1、本申請的目的是提供一種基于慣性-視覺信號增強與融合的運動分析系統(tǒng)，可以有效解決高動態(tài)環(huán)境下慣性傳感器信號飽和問題，提高信號重建的精度和可靠性，同時優(yōu)化多模態(tài)傳感器數(shù)據(jù)融合，以提高運動捕捉的精度。

2、為實現(xiàn)上述目的，本申請?zhí)峁┝巳缦路桨福?/p>

3、第一方面，本申請?zhí)峁┝艘环N基于慣性-視覺信號增強與融合的運動分析系統(tǒng)，包括：慣性傳感器模塊、視覺傳感器模塊、信號處理模塊、慣性-視覺信息融合模塊和運動分析模塊。

4、所述慣性傳感器模塊，用于采集運動對象的慣性信號；所述慣性信號包括運動對象設(shè)定部位的加速度、角速度和磁場強度。

5、所述視覺傳感器模塊為基于sharma-mittal熵的稀有記憶增強模塊，用于采集運動對象的人體關(guān)鍵點信息。

6、所述信號處理模塊，用于：利用改進后的深度學(xué)習(xí)模型對慣性信號進行增強處理，并基于kolmogorov-arnold網(wǎng)絡(luò)對慣性信號中的超量程信號進行重構(gòu)；所述改進后的深度學(xué)習(xí)模型為在所述深度學(xué)習(xí)模型的損失函數(shù)中引入生成幻覺熵的深度學(xué)習(xí)模型。

7、所述慣性-視覺信息融合模塊，用于基于最優(yōu)輸運理論的多模態(tài)特征對齊方法以及sinkhorn算法，將人體關(guān)鍵點信息以及信號處理后的慣性信號進行融合處理，得到所述運動對象的運動軌跡。

8、所述運動分析模塊，用于基于所述運動對象的運動軌跡，分析運動對象的運動模式以及姿態(tài)變化。

9、根據(jù)本申請?zhí)峁┑木唧w實施例，本申請公開了以下技術(shù)效果：

10、本申請?zhí)峁┝艘环N基于慣性-視覺信號增強與融合的運動分析系統(tǒng)，該系統(tǒng)基于慣性傳感器模塊和視覺傳感器模塊，能夠更準確地采集運動對象的慣性信號和人體關(guān)鍵點信息，提高了運動捕捉的精度；信號處理模塊，用于利用改進后的深度學(xué)習(xí)模型對慣性信號進行增強處理，并基于kan對慣性信號中的超量程信號進行重構(gòu)；基于慣性-視覺信息融合模塊將采集到的人體關(guān)鍵點信息與處理后的慣性信號進行融合，使得系統(tǒng)能夠更加準確地還原運動對象的運動軌跡。基于本系統(tǒng)能夠精確描述運動對象的運動軌跡。

技術(shù)特征：

1.一種基于慣性-視覺信號增強與融合的運動分析系統(tǒng)，其特征在于，包括：慣性傳感器模塊、視覺傳感器模塊、信號處理模塊、慣性-視覺信息融合模塊和運動分析模塊；

2.根據(jù)權(quán)利要求1所述的一種基于慣性-視覺信號增強與融合的運動分析系統(tǒng)，其特征在于，所述信號處理模塊，用于：基于kolmogorov-arnold網(wǎng)絡(luò)對慣性信號中的超量程信號進行重構(gòu)方面，所述信號處理模塊用于：使用1d-resnet對輸入的慣性信號進行特征提取，得到特征向量；對特征向量中的每個特征通過可學(xué)習(xí)的第一樣條參數(shù)化函數(shù)進行轉(zhuǎn)換，生成第一層中間節(jié)點；使用第二樣條參數(shù)化函數(shù)對第一層中間節(jié)點進行處理，生成第二層中間節(jié)點；重復(fù)執(zhí)行生成中間節(jié)點的過程，通過多層樣條函數(shù)變換，生成重構(gòu)后的信號。

3.根據(jù)權(quán)利要求2所述的一種基于慣性-視覺信號增強與融合的運動分析系統(tǒng)，其特征在于，所述信號處理模塊中對特征向量中的每個特征通過可學(xué)習(xí)的第一樣條參數(shù)化函數(shù)進行轉(zhuǎn)換，生成第一層中間節(jié)點的公式表達式為：

4.根據(jù)權(quán)利要求3所述的一種基于慣性-視覺信號增強與融合的運動分析系統(tǒng)，其特征在于，所述信號處理模塊中，使用第二樣條參數(shù)化函數(shù)對第一層中間節(jié)點進行處理，生成第二層中間節(jié)點的公式表達式為：

5.根據(jù)權(quán)利要求1所述的一種基于慣性-視覺信號增強與融合的運動分析系統(tǒng)，其特征在于，所述信號處理模塊中深度學(xué)習(xí)模型引入的生成幻覺熵的計算公式為：

6.根據(jù)權(quán)利要求1所述的一種基于慣性-視覺信號增強與融合的運動分析系統(tǒng)，其特征在于，所述視覺傳感器模塊包括特征提取子模塊、注意力增強子模塊、基于sharma-mittal熵的稀有記憶增強子模塊、二維關(guān)鍵點檢測子模塊和三維視覺重建子模塊；

7.根據(jù)權(quán)利要求6所述的一種基于慣性-視覺信號增強與融合的運動分析系統(tǒng)，其特征在于，所述特征提取子模塊使用resnet50網(wǎng)絡(luò)從輸入圖像中提取多通道特征；其中，提取公式為：f＝resnet50(i)；

8.根據(jù)權(quán)利要求6所述的一種基于慣性-視覺信號增強與融合的運動分析系統(tǒng)，其特征在于，在所述注意力增強子模塊用于通過注意力機制增強對多通道特征中稀疏特征的注意力方面，所述注意力增強子模塊用于：

9.根據(jù)權(quán)利要求6所述的一種基于慣性-視覺信號增強與融合的運動分析系統(tǒng)，其特征在于，在所述基于sharma-mittal熵的稀有記憶增強子模塊對特征層進行正則化，增強視覺檢測模型對所述稀疏特征的記憶方面，所述基于sharma-mittal熵的稀有記憶增強子模塊的sharma-mittal熵正則化項的公式表達式為：

10.根據(jù)權(quán)利要求6所述的一種基于慣性-視覺信號增強與融合的運動分析系統(tǒng)，其特征在于，在所述二維關(guān)鍵點檢測子模塊用于輸出所述輸入圖像中人體二維關(guān)鍵點的位置方面，所述二維關(guān)鍵點檢測子模塊用于根據(jù)公式預(yù)測人體二維關(guān)鍵點的位置；

技術(shù)總結(jié)
本申請公開了一種基于慣性?視覺信號增強與融合的運動分析系統(tǒng)，涉及智能感知和融合技術(shù)領(lǐng)域，該系統(tǒng)中慣性傳感器模塊用于采集運動對象的慣性信號；視覺傳感器模塊用于采集人體關(guān)鍵點信息；信號處理模塊，用于利用改進后的深度學(xué)習(xí)模型對慣性信號進行增強處理，并基于KAN對慣性信號中的超量程信號進行重構(gòu)；慣性?視覺信息融合模塊，用于基于最優(yōu)輸運理論的多模態(tài)特征對齊方法以及SInkhorn算法，將人體關(guān)鍵點信息以及信號處理后的慣性信號進行融合處理，得到運動對象的運動軌跡；運動分析模塊，用于基于運動軌跡，分析運動對象的運動模式以及姿態(tài)變化。本申請能夠準確地捕捉運動對象的運動軌跡并對其進行準確的分析。

技術(shù)研發(fā)人員：趙毅,王一峰,師孟笛
受保護的技術(shù)使用者：哈爾濱工業(yè)大學(xué)（深圳）（哈爾濱工業(yè)大學(xué)深圳科技創(chuàng)新研究院）
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6