本發(fā)明涉及擴(kuò)展現(xiàn)實(xr)交互，更具體地，涉及一種面向xr交互場景的智能指環(huán)系統(tǒng)和交互方法。

背景技術(shù)：

1、頭戴式智能眼鏡中的虛擬世界信息交互是xr應(yīng)用程序中必不可少且頻繁的任務(wù)。目前可用的手勢交互方式通常依賴外部設(shè)備或攝像頭捕捉手部動作，存在著易受環(huán)境光線干擾，識別范圍有限，精度不高等不穩(wěn)定和誤差問題。

2、在現(xiàn)有技術(shù)中，專利申請cn202310993412.9涉及智能指環(huán)與電子設(shè)備互動，利用手指捏合數(shù)據(jù)改善用戶在電子設(shè)備使用體驗。智能指環(huán)采集手指數(shù)據(jù)，電子設(shè)備據(jù)此執(zhí)行操作指令。該方案側(cè)重手指數(shù)據(jù)觸發(fā)操作，交互方式相對簡單，未涉及具體技術(shù)實施方案，操作自然性和便捷性不足。專利申請cn202210910342.1涉及智能指環(huán)和主板組件的互動。智能指環(huán)整合傳感器和主控模組，采集手部軌跡和空間運動數(shù)據(jù)，傳輸至主控模組，控制外部設(shè)備。該方案提升了操作便捷性和自然性。但側(cè)重主板集成設(shè)計和數(shù)據(jù)處理。

3、經(jīng)分析，現(xiàn)有技術(shù)中，在xr智能眼鏡的人機(jī)交互方面，主要包括手勢識別方案、語音識別和控制方案、手柄/控制器輸入方案、眼動追蹤方案和觸覺手套方案等。手勢識別方案通過攝像頭或傳感器識別手勢，實現(xiàn)用戶虛擬環(huán)境的互動，但使用復(fù)雜手勢需花費時間學(xué)習(xí)，尤其對新手或不熟悉技術(shù)者，并且在光線不足或動態(tài)環(huán)境下容易出錯，導(dǎo)致執(zhí)行錯誤操作，較大的延遲造成眩暈感。語音識別和控制方案讓用戶通過語音指令控制虛擬世界，執(zhí)行操作或任務(wù)，但在方言、嘈雜環(huán)境下，語音指令易被誤解或無法識別，并且使用語音控制可能引發(fā)隱私問題，特別涉及敏感信息時。手柄/控制器輸入方案利用手持設(shè)備或手柄來操控虛擬環(huán)境中的對象或菜單，但攜帶手柄或控制器增加了負(fù)擔(dān)，限制了自由度和移動性，同時操作不夠自然，容易疲勞，并且需要學(xué)習(xí)和適應(yīng)手柄操作，不夠直觀自然。眼動追蹤方案通過追蹤用戶眼睛運動來進(jìn)行交互，如注視特定區(qū)域選擇或操作，但長時間注視會導(dǎo)致眼部疲勞或不適，影響用戶舒適度，并且需要頻繁校準(zhǔn)，而且對于部分用戶，如視力受損者，可能無法準(zhǔn)確使用。觸覺手套方案利用手部動作和觸感與虛擬環(huán)境交互，增強(qiáng)用戶的沉浸感和真實感，但該類方案制造和維護(hù)成本高，限制了商業(yè)應(yīng)用，傳感器和線路繁瑣，佩戴不舒適且復(fù)雜，并且易出故障，需要頻繁維護(hù)，長期穩(wěn)定使用受限。

4、綜上，隨著電子技術(shù)的快速發(fā)展，用戶對更便捷、直觀的設(shè)備交互方式的需求不斷增長。傳統(tǒng)的設(shè)備交互方式通常依賴于手指在顯示屏或按鍵上的直接操作，在某些場景下可能不夠靈活或便利，尤其是在虛擬現(xiàn)實(vr)和擴(kuò)張現(xiàn)實設(shè)備中。現(xiàn)有解決方案嘗試通過攝像頭手勢識別、眼動視線追蹤等技術(shù)來實現(xiàn)設(shè)備控制，但存在識別速度慢、光線敏感、識別率低以及依賴專業(yè)設(shè)備等問題，限制了實際應(yīng)用的效果和普適性。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是克服上述現(xiàn)有技術(shù)的缺陷，提供一種面向xr交互場景的智能指環(huán)系統(tǒng)和交互方法。

2、根據(jù)本發(fā)明的第一方面，提供一種面向xr交互場景的智能指環(huán)系統(tǒng)。該系統(tǒng)包括智能指環(huán)和頭顯設(shè)備，其中：所述頭顯設(shè)備用于追蹤用戶的頭部旋轉(zhuǎn)角度并確定操作的目標(biāo)區(qū)域；所述智能指環(huán)用于基于手指的電導(dǎo)率變化信息和手指的空間運動數(shù)據(jù)，識別用戶的手勢類型；所述頭顯設(shè)備根據(jù)設(shè)定的手勢類型與操作指令之間的對應(yīng)關(guān)系以及所述頭顯設(shè)備與所述智能指環(huán)之間的相對空間位置關(guān)系，在應(yīng)用場景中針對所述目標(biāo)區(qū)域執(zhí)行相應(yīng)的操作指令，以實現(xiàn)交互過程，在交互過程中，所述頭顯設(shè)備利用經(jīng)訓(xùn)練的身份認(rèn)證模型，確定用戶的合法性。

3、根據(jù)本發(fā)明的第二方面，提供一種交互方法。該方法包括以下步驟：

4、基于智能指環(huán)感測的手指的電導(dǎo)率變化信息和手指的空間運動數(shù)據(jù)，識別用戶的手勢類型；

5、利用頭顯設(shè)備追蹤用戶的頭部旋轉(zhuǎn)角度并確定操作的目標(biāo)區(qū)域；

6、根據(jù)設(shè)定的手勢類型與操作指令之間的對應(yīng)關(guān)系以及所述頭顯設(shè)備與所述智能指環(huán)之間的相對空間位置關(guān)系，在應(yīng)用場景中針對所述目標(biāo)區(qū)域執(zhí)行相應(yīng)的操作指令，以實現(xiàn)交互過程，并在交互過程中，利用經(jīng)訓(xùn)練的身份認(rèn)證模型，確定用戶的合法性。

7、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點在于，所提供的面向xr交互場景的智能指環(huán)系統(tǒng)，利用智能指環(huán)上設(shè)置的慣性測量單元(imu)和生物阻抗檢測傳感器，實現(xiàn)了對手指捏合、手指搓動和左右手接觸的準(zhǔn)確檢測，空間運動的精確計算，以及安全性用戶身份認(rèn)證等。此外，多源數(shù)據(jù)融合檢測算法結(jié)合了imu技術(shù)和生物阻抗檢測功能，通過電流回路和運動強(qiáng)度來檢測微弱手勢操作，通過指環(huán)動作個體差異實現(xiàn)用戶身份精準(zhǔn)認(rèn)證，并基于指環(huán)設(shè)備特性，實現(xiàn)眼-手結(jié)合交互及虛擬輸入法的整機(jī)交互范式。本發(fā)明簡化了xr應(yīng)用程序中的人機(jī)交互，解決了傳統(tǒng)xr頭顯設(shè)備操作復(fù)雜、用戶體驗差的問題，使得用戶可以更直觀、自然地進(jìn)行手部交互和安全性身份認(rèn)證，而無需外部設(shè)備或手柄。

8、通過以下參照附圖對本發(fā)明的示例性實施例的詳細(xì)描述，本發(fā)明的其它特征及其優(yōu)點將會變得清楚。

技術(shù)特征：

1.一種面向xr交互場景的智能指環(huán)系統(tǒng)，包括：智能指環(huán)和頭顯設(shè)備，其中：

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述頭顯設(shè)備與所述智能指環(huán)之間的相對空間位置關(guān)系根據(jù)以下步驟確定：

3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述智能指環(huán)上設(shè)有生物阻抗傳感器和第一慣性測量單元，所述生物阻抗傳感器用于感知手指的電導(dǎo)率變化信息，所述第一慣性測量單元用于獲取手指的空間運動數(shù)據(jù)，所述頭顯設(shè)備上設(shè)有第二慣性測量單元，利用第二慣性測量單元提供的空間定位信息，確定用戶所處的位置和朝向，進(jìn)而推斷用戶的注視的所述目標(biāo)區(qū)域。

4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述應(yīng)用場景包括手寫板輸入場景、應(yīng)用控制場景和虛擬物體抓握場景，在所述手寫板輸入場景中，將佩戴智能指環(huán)的手指作為繪筆，將設(shè)定的身體部位作為書寫界面，在所述應(yīng)用控制場景中，對目標(biāo)應(yīng)用程序進(jìn)行切換、選中或返回操作，所述操作指令包括字符輸入指令、應(yīng)用控制指令和模式控制指令。

5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述身份認(rèn)證模型根據(jù)以下步驟訓(xùn)練：

6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述目標(biāo)區(qū)域通過計算用戶的頭部和眼睛的相對運動確定。

7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述頭顯設(shè)備是智能眼鏡，所述智能指環(huán)和所述智能眼鏡之間具有無線連接。

8.根據(jù)權(quán)利要求3所述的系統(tǒng)，其特征在于，所述生物阻抗傳感器是陣列電極。

9.一種基于權(quán)利要求1至8任一項所述系統(tǒng)的交互方法，包括以下步驟：

10.一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其中，該計算機(jī)程序被處理器執(zhí)行時實現(xiàn)根據(jù)權(quán)利要求9所述的交互方法的步驟。

技術(shù)總結(jié)
本發(fā)明公開了一種面向XR交互場景的智能指環(huán)系統(tǒng)和交互方法。該系統(tǒng)包括智能指環(huán)和頭顯設(shè)備，其中，所述頭顯設(shè)備用于追蹤用戶的頭部旋轉(zhuǎn)角度并確定操作的目標(biāo)區(qū)域；所述智能指環(huán)用于基于手指的電導(dǎo)率變化信息和手指的空間運動數(shù)據(jù)，識別用戶的手勢類型；所述頭顯設(shè)備根據(jù)設(shè)定的手勢類型與操作指令之間的對應(yīng)關(guān)系以及所述頭顯設(shè)備與所述智能指環(huán)之間的相對空間位置關(guān)系，在應(yīng)用場景中針對所述目標(biāo)區(qū)域執(zhí)行相應(yīng)的操作指令，以實現(xiàn)交互過程，并且在交互過程中，利用經(jīng)訓(xùn)練的身份認(rèn)證模型，確定用戶的合法性。本發(fā)明提供新型的頭與手交互范式，實現(xiàn)了更自然、高效和用戶友好的人機(jī)交互體驗。

技術(shù)研發(fā)人員：鄒永攀,陳仕林,鄭潛,焦陽,唐超楠
受保護(hù)的技術(shù)使用者：深圳大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23