本發(fā)明涉及人機交互，具體為一種可穿戴沉浸式多模態(tài)反饋人機交互系統(tǒng)及方法。

背景技術(shù)：

1、隨著科技的飛速發(fā)展，人機交互(hci)技術(shù)正逐步向沉浸式、多模態(tài)方向發(fā)展，沉浸式多模態(tài)反饋人機交互系統(tǒng)旨在通過結(jié)合觸覺、視覺、聲覺、嗅覺等多種感官反饋，為用戶提供更加自然、直觀且高度沉浸的體驗，觸覺傳感器技術(shù)不斷提升精度與靈敏度，并在多個應(yīng)用領(lǐng)域展現(xiàn)出廣闊前景；計算機視覺技術(shù)則在醫(yī)療、安防、智能制造等領(lǐng)域發(fā)揮著重要作用，市場規(guī)模持續(xù)擴大；聲覺技術(shù)在電聲學、通信聲學等領(lǐng)域取得創(chuàng)新，為服務(wù)機器人、智能家居等提供了新的可能性；而數(shù)字嗅覺技術(shù)作為新興領(lǐng)域，也在食品安全、環(huán)境保護、醫(yī)療健康等方面展現(xiàn)出巨大潛力，并預計市場規(guī)模將持續(xù)增長，這些技術(shù)的不斷創(chuàng)新和應(yīng)用領(lǐng)域的不斷拓展，將為沉浸式多模態(tài)反饋人機交互系統(tǒng)帶來更加豐富、自然和沉浸的用戶體驗。

2、盡管沉浸式多模態(tài)反饋人機交互系統(tǒng)展現(xiàn)出了巨大的發(fā)展?jié)摿颓熬埃壳霸擃I(lǐng)域仍面臨著一系列挑戰(zhàn)和問題，其中，技術(shù)瓶頸與復雜性是一個重要的問題，由于多模態(tài)交互涉及多種感知通道和技術(shù)領(lǐng)域，將其有效地整合并應(yīng)用于實際場景中仍然存在一定的難度，此外，用戶體驗不一致也是一個亟待解決的問題，不同設(shè)備和平臺之間的技術(shù)差異可能導致用戶在跨平臺使用時遇到體驗上的不一致，最后，交互沖突與誤解也是一個需要關(guān)注的問題，在多模態(tài)交互環(huán)境中，不同感官通道之間的交互可能會產(chǎn)生沖突或誤解，影響用戶體驗和系統(tǒng)響應(yīng)的準確性，未來的人機交互系統(tǒng)將更加注重多模態(tài)融合、實時反饋與主動控制，以及高沉浸感的體驗，一種能夠集成視覺、聽覺、觸覺等多種感官通道，并提供即時反饋與主動控制的沉浸式多模態(tài)反饋人機交互系統(tǒng)將成為主流趨勢。為此，我們提出一種可穿戴沉浸式多模態(tài)反饋人機交互系統(tǒng)及方法。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種可穿戴沉浸式多模態(tài)反饋人機交互系統(tǒng)及方法，以解決上述背景技術(shù)中提出的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種可穿戴沉浸式多模態(tài)反饋人機交互系統(tǒng)，所述系統(tǒng)包括感知模塊、生理監(jiān)測與健康管理模塊、處理模塊、反饋模塊和用戶界面模塊；

3、感知模塊，在柔性材料上集成多種感知器件組成多模態(tài)傳感器，包括語音識別、面部表情識別、眼動追蹤、手勢識別、觸覺反饋和腦波傳感器，并形成多模態(tài)傳感器陣列，用于實時捕捉用戶的交互意圖和行為；

4、生理監(jiān)測與健康管理模塊，集成的生理監(jiān)測傳感器，實時監(jiān)測用戶的生理健康指標，并將檢測的數(shù)據(jù)實時傳遞給處理與識別模塊；

5、處理與識別模塊，接收感知模塊的數(shù)據(jù)，結(jié)合云邊協(xié)調(diào)計算技術(shù)，在柔性可穿戴設(shè)備中進行預處理、特征提取和意圖識別，并將處理結(jié)果傳遞實時給反饋模塊和用戶界面模塊；

6、反饋模塊，根據(jù)處理模塊和生理監(jiān)測與健康管理模塊的輸出，提供多模態(tài)反饋，包括視覺反饋、聽覺反饋、觸覺反饋、嗅覺反饋與生理監(jiān)測反饋，以增強交互的真實感和沉浸感；

7、用戶界面模塊，負責與用戶進行交互，顯示操作結(jié)果和信息，同時接收用戶的進一步指令或輸入。

8、優(yōu)選的，所述多模態(tài)傳感器陣列，分布在系統(tǒng)各關(guān)鍵位置，用于采集用戶的語音、手勢、表情的多模態(tài)數(shù)據(jù)。

9、優(yōu)選的，所述在感知模塊和處理與識別模塊之間添加有邊緣計算模塊，所述邊緣計算模塊直接與多模態(tài)傳感器陣列連接，快速接收并處理多模態(tài)傳感器數(shù)據(jù)。

10、優(yōu)選的，所述處理與識別模塊包括處理單元，所述處理單元采用大模型深度學習模型對用戶數(shù)據(jù)進行特征提取和意圖識別。

11、優(yōu)選的，所述反饋模塊包括用戶界面與交互控制單元，所述用戶界面與交互控制單元根據(jù)處理與識別模塊處理結(jié)果生成反饋信號，并通過觸覺反饋裝置傳遞至用戶界面模塊，并由用戶界面模塊實現(xiàn)與用戶的交互。

12、優(yōu)選的，所述多模態(tài)傳感器陣列通過有線或無線方式與邊緣計算模塊相連，所述邊緣計算模塊與處理單元通過高速接口連接。

13、優(yōu)選的，所述用戶模塊包括虛擬現(xiàn)實顯示設(shè)備，所述虛擬現(xiàn)實設(shè)備結(jié)合用戶行為和環(huán)境變化生成動態(tài)交互場景。

14、優(yōu)選的，所述處理單元支持在線學習和優(yōu)化，通過機器學習算法不斷優(yōu)化系統(tǒng)的情境感知和自適應(yīng)能力，用戶與系統(tǒng)交互的深入，可以逐漸學習到更多關(guān)于用戶的信息和偏好。

15、優(yōu)選的，所述處理單元與用戶界面與交互控制單元通信，所述處理單元與虛擬現(xiàn)實顯示設(shè)備通信。

16、一種可穿戴沉浸式多模態(tài)反饋人機交互系統(tǒng)的使用方法，包括以下步驟：

17、s1：初始化系統(tǒng)，啟動感知模塊、處理模塊、反饋模塊和用戶界面模塊；

18、s2：通過感知模塊實時捕捉用戶的交互意圖和行為，包括語音、面部表情、眼動、手勢和腦波等數(shù)據(jù)；

19、s3：處理模塊對捕捉到的數(shù)據(jù)進行預處理和特征提取，利用大模型進行機器學習進行意圖識別；

20、s4：根據(jù)識別結(jié)果，反饋模塊生成相應(yīng)的多模態(tài)反饋信號，包括視覺、聽覺、觸覺和嗅覺等多種形式的反饋；

21、s5：用戶界面模塊展示操作結(jié)果和信息，并根據(jù)用戶反饋調(diào)整交互流程；

22、s6：循環(huán)執(zhí)行s2至s5，實現(xiàn)連續(xù)的人機交互過程。

23、現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

24、發(fā)明通過設(shè)置該系統(tǒng)，通過集成多種感知模塊、生理監(jiān)測與健康管理、處理與識別模塊以及豐富的反饋機制，該系統(tǒng)實現(xiàn)了高度智能化、個性化的人機交互，它不僅能準確捕捉用戶的意圖和行為，還能實時監(jiān)測健康狀態(tài)并提供及時反饋，結(jié)合邊緣計算與云端處理，確保數(shù)據(jù)處理的即時性和高效性。全方位、沉浸式的反饋機制與動態(tài)用戶界面，極大地提升了用戶體驗。

技術(shù)特征：

1.一種可穿戴沉浸式多模態(tài)反饋人機交互系統(tǒng)，其特征在于：所述系統(tǒng)包括感知模塊、生理監(jiān)測與健康管理模塊、處理模塊、反饋模塊和用戶界面模塊；

2.根據(jù)權(quán)利要求1所述的一種可穿戴沉浸式多模態(tài)反饋人機交互系統(tǒng)，其特征在于：所述多模態(tài)傳感器陣列，分布在系統(tǒng)各關(guān)鍵位置，用于采集用戶的語音、手勢、表情的多模態(tài)數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的一種可穿戴沉浸式多模態(tài)反饋人機交互系統(tǒng)，其特征在于：所述在感知模塊和處理與識別模塊之間添加有邊緣計算模塊，所述邊緣計算模塊直接與多模態(tài)傳感器陣列連接，快速接收并處理多模態(tài)傳感器數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的一種可穿戴沉浸式多模態(tài)反饋人機交互系統(tǒng)，其特征在于：所述處理與識別模塊包括處理單元，所述處理單元采用大模型深度學習模型對用戶數(shù)據(jù)進行特征提取和意圖識別。

5.根據(jù)權(quán)利要求1所述的一種可穿戴沉浸式多模態(tài)反饋人機交互系統(tǒng)，其特征在于：所述反饋模塊包括用戶界面與交互控制單元，所述用戶界面與交互控制單元根據(jù)處理與識別模塊處理結(jié)果生成反饋信號，并通過觸覺反饋裝置傳遞至用戶界面模塊，并由用戶界面模塊實現(xiàn)與用戶的交互。

6.根據(jù)權(quán)利要求1所述的一種可穿戴沉浸式多模態(tài)反饋人機交互系統(tǒng)，其特征在于：所述多模態(tài)傳感器陣列通過有線或無線方式與邊緣計算模塊相連，所述邊緣計算模塊與處理單元通過高速接口連接。

7.根據(jù)權(quán)利要求1所述的一種可穿戴沉浸式多模態(tài)反饋人機交互系統(tǒng)，其特征在于：所述用戶模塊包括虛擬現(xiàn)實顯示設(shè)備，所述虛擬現(xiàn)實設(shè)備結(jié)合用戶行為和環(huán)境變化生成動態(tài)交互場景。

8.根據(jù)權(quán)利要求1所述的一種可穿戴沉浸式多模態(tài)反饋人機交互系統(tǒng)，其特征在于：所述處理單元支持在線學習和優(yōu)化，通過機器學習算法不斷優(yōu)化系統(tǒng)的情境感知和自適應(yīng)能力，用戶與系統(tǒng)交互的深入，可以逐漸學習到更多關(guān)于用戶的信息和偏好。

9.根據(jù)權(quán)利要求1所述的一種可穿戴沉浸式多模態(tài)反饋人機交互系統(tǒng)，其特征在于：所述處理單元與用戶界面與交互控制單元通信，所述處理單元與虛擬現(xiàn)實顯示設(shè)備通信。

10.一種可穿戴沉浸式多模態(tài)反饋人機交互系統(tǒng)的使用方法，其特征在于：包括以下步驟：

技術(shù)總結(jié)
本發(fā)明公開了一種可穿戴沉浸式多模態(tài)反饋人機交互系統(tǒng)及方法，涉及人機交互技術(shù)領(lǐng)域，所述系統(tǒng)包括感知模塊、生理監(jiān)測與健康管理模塊、處理模塊、反饋模塊和用戶界面模塊，在柔性材料上集成多種感知器件組成多模態(tài)傳感器；此一種可穿戴沉浸式多模態(tài)反饋人機交互系統(tǒng)及方法，通過設(shè)置該系統(tǒng)，通過集成多種感知模塊、生理監(jiān)測與健康管理、處理與識別模塊以及豐富的反饋機制，該系統(tǒng)實現(xiàn)了高度智能化、個性化的人機交互，它不僅能準確捕捉用戶的意圖和行為，還能實時監(jiān)測健康狀態(tài)并提供及時反饋，結(jié)合邊緣計算與云端處理，確保數(shù)據(jù)處理的即時性和高效性。全方位、沉浸式的反饋機制與動態(tài)用戶界面，極大地提升了用戶體驗。

技術(shù)研發(fā)人員：路書祥,楊潔,谷肖飛,朱藝,徐漢,龔龍輝,趙鑫
受保護的技術(shù)使用者：鄭州大學
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30