本公開總體上涉及用于實(shí)現(xiàn)用戶界面(user?interface，ui)控制的方法、系統(tǒng)、和裝置，并且更具體地，涉及用于實(shí)現(xiàn)基于腕式可穿戴設(shè)備(例如，智能手表)控制其他設(shè)備的ui的方法、系統(tǒng)、和裝置。

背景技術(shù)：

1、腕戴式設(shè)備上的手勢(shì)識(shí)別正成為一種流行的感知計(jì)算ui，其允許腕戴式設(shè)備捕捉人類手勢(shì)并將手勢(shì)解釋為命令。傳統(tǒng)設(shè)備的ui輸入有兩種方法。一種是使用另一物理控制器。另一種是使用手部跟蹤。對(duì)于第一種方法，需要特定或?qū)Ｓ玫目刂破鱽?lái)控制傳統(tǒng)設(shè)備(例如，頭戴式設(shè)備(head-mounted?device，hmd)或智能電視等)。此類控制器可以具有觸摸板(如apple遙控器等)，或可以配備慣性測(cè)量單元(inertial?measurement?unit，imu)模塊(如虛擬現(xiàn)實(shí)(virtual?reality，vr)控制器等)，其中，用戶可以旋轉(zhuǎn)控制器以移動(dòng)ui上的光標(biāo)。用戶還可以按下物理按鈕以觸發(fā)一些特定的控制功能。對(duì)于第二種方法，hmd或其他設(shè)備上安裝有一個(gè)或多個(gè)攝像頭，例如hmd上的魚眼攝像頭或智能電視上的hd攝像頭，這些攝像頭可以跟蹤用戶的三自由度(“3dof”)或六自由度(“6dof”)姿勢(shì)，并將某些手勢(shì)識(shí)別為命令。

2、然而，第一種方法需要單獨(dú)的控制器設(shè)備，這增加了成本，并且用戶需要物理接觸控制器設(shè)備，這意味著用戶的手需要靠近控制器設(shè)備才能操作。為了使用3dof跟蹤，用戶需要握住控制器設(shè)備進(jìn)行交互。第二種方法需要手部處于一個(gè)或多個(gè)攝像頭的視野范圍內(nèi)。手部跟蹤不僅要求用戶的手面向攝像頭，還需要理想的光照條件。視覺解決方案雖然不需要用戶握住任何其他設(shè)備，但需要在圖片或視頻中清楚地看到用戶的手。在這種情況下，手部跟蹤仍然存在典型的視覺挑戰(zhàn)，例如運(yùn)動(dòng)模糊和視覺遮擋。

3、因此，需要更為穩(wěn)健和可擴(kuò)展的解決方案以實(shí)現(xiàn)ui控制。

技術(shù)實(shí)現(xiàn)思路

1、本公開的技術(shù)一般涉及用于實(shí)現(xiàn)用戶界面(user?interface，ui)控制的工具和技術(shù)，并且更具體地，涉及用于實(shí)現(xiàn)基于腕式可穿戴設(shè)備(例如，智能手表)控制其他設(shè)備的ui的方法、系統(tǒng)、和裝置。

2、在一方面，一種方法可以包括：使用計(jì)算系統(tǒng)分析第一傳感器數(shù)據(jù)，以檢測(cè)腕式可穿戴設(shè)備相對(duì)于三個(gè)旋轉(zhuǎn)軸中至少一個(gè)旋轉(zhuǎn)軸的運(yùn)動(dòng)，當(dāng)腕式可穿戴設(shè)備被用戶佩戴時(shí)，第一傳感器數(shù)據(jù)從設(shè)置在腕式可穿戴設(shè)備上的一個(gè)或多個(gè)第一傳感器被接收；基于確定檢測(cè)到的腕式可穿戴設(shè)備的運(yùn)動(dòng)對(duì)應(yīng)于基于第一手勢(shì)的命令，使用計(jì)算系統(tǒng)基于該基于第一手勢(shì)的命令生成第一指令，并使用計(jì)算系統(tǒng)將生成的第一指令發(fā)送到與腕式可穿戴設(shè)備分離的用戶設(shè)備，該基于第一手勢(shì)的命令用于控制上述用戶設(shè)備的用戶界面(ui)，第一指令用作控制用戶設(shè)備的ui的輸入。

3、在另一方面，一種腕式可穿戴設(shè)備可以包括一個(gè)或多個(gè)第一傳感器、至少一個(gè)處理器、以及非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)。一個(gè)或多個(gè)第一傳感器用于檢測(cè)腕式可穿戴控制設(shè)備相對(duì)于三個(gè)旋轉(zhuǎn)軸中至少一個(gè)旋轉(zhuǎn)軸的運(yùn)動(dòng)。非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)與至少一個(gè)處理器通信耦合。非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)存儲(chǔ)有計(jì)算機(jī)軟件，該計(jì)算機(jī)軟件包括指令集，當(dāng)由至少一個(gè)處理器執(zhí)行時(shí)，上述指令集使腕式可穿戴設(shè)備：分析第一傳感器數(shù)據(jù)，以檢測(cè)腕式可穿戴設(shè)備相對(duì)于三個(gè)旋轉(zhuǎn)軸中的至少一個(gè)旋轉(zhuǎn)軸的運(yùn)動(dòng)，當(dāng)腕式可穿戴設(shè)備被用戶佩戴時(shí)，第一傳感器數(shù)據(jù)從設(shè)置在腕式可穿戴設(shè)備上的一個(gè)或多個(gè)第一傳感器被接收；基于確定檢測(cè)到的腕式可穿戴設(shè)備的運(yùn)動(dòng)對(duì)應(yīng)于基于第一手勢(shì)的命令，基于該基于第一手勢(shì)的命令生成第一指令，并將生成的第一指令發(fā)送到與腕式可穿戴設(shè)備分離的用戶設(shè)備，該基于第一手勢(shì)的命令用于控制用戶設(shè)備的用戶界面(ui)，第一指令用作控制所戶設(shè)備的ui的輸入。

4、在不脫離本公開范圍的情況下，可以對(duì)所討論的實(shí)施例進(jìn)行各種修改和添加。例如，盡管上述實(shí)施例涉及特定特征，但本公開的范圍還包括具有不同特征組合的實(shí)施例以及不包括所有上述特征的實(shí)施例。

5、本公開的一個(gè)或多個(gè)方面的細(xì)節(jié)在附圖和以下描述中闡述。本公開中描述的技術(shù)的其他特征、目的和優(yōu)點(diǎn)將從說(shuō)明書和附圖以及權(quán)利要求中顯而易見。

技術(shù)特征：

1.一種方法，包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，所述計(jì)算系統(tǒng)包括以下至少之一：所述腕式可穿戴設(shè)備上的一個(gè)或多個(gè)處理器、與所述腕式可穿戴設(shè)備通信耦合的移動(dòng)設(shè)備上的一個(gè)或多個(gè)處理器、機(jī)器學(xué)習(xí)系統(tǒng)、人工智能(ai)系統(tǒng)、深度學(xué)習(xí)系統(tǒng)、神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)(cnn)、或全卷積網(wǎng)絡(luò)(fcn)。

3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述腕式可穿戴設(shè)備包括以下之一：智能手表、基于腕表的可穿戴控制設(shè)備、基于腕帶的可穿戴控制設(shè)備、或其他腕式可穿戴用戶設(shè)備。

4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其中，所述至少一個(gè)第一傳感器包括以下至少之一：慣性測(cè)量單元(imu)傳感器或基于陀螺儀的傳感器。

5.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的方法，其中，與所述腕式可穿戴設(shè)備分離的所述用戶設(shè)備包括以下至少之一：虛擬現(xiàn)實(shí)(vr)護(hù)目鏡、增強(qiáng)現(xiàn)實(shí)(ar)護(hù)目鏡、混合現(xiàn)實(shí)(mr)護(hù)目鏡、支持vr的眼鏡、支持ar的眼鏡、支持mr的眼鏡、安裝在頭戴式耳機(jī)中的支持vr的智能手機(jī)、安裝在頭戴式耳機(jī)中的支持ar的智能手機(jī)、安裝在頭戴式耳機(jī)中的支持mr的智能手機(jī)、智能電視(tv)、通信耦合到顯示設(shè)備的游戲機(jī)、通信耦合到顯示設(shè)備的監(jiān)視器、通信耦合到顯示設(shè)備的投影儀、顯示設(shè)備、平板電腦、筆記本電腦、臺(tái)式計(jì)算機(jī)、或具有顯示屏的智能家用電器。

6.根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的方法，其中，佩戴所述腕式可穿戴設(shè)備的所述用戶的手腕向上或向下的移動(dòng)對(duì)應(yīng)于相對(duì)于第一旋轉(zhuǎn)軸(“x軸”)的運(yùn)動(dòng)，

7.根據(jù)權(quán)利要求6所述的方法，其中，佩戴所述腕式可穿戴設(shè)備的所述用戶的手腕的手臂的縱向延伸定義與第三旋轉(zhuǎn)軸(“y軸”)對(duì)應(yīng)的軸，

8.根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的方法，其中，佩戴所述腕式可穿戴設(shè)備的所述用戶的手腕相對(duì)于由所述用戶的手臂的縱向延伸定義的軸的運(yùn)動(dòng)對(duì)應(yīng)于相對(duì)于第三旋轉(zhuǎn)軸(“y軸”)的運(yùn)動(dòng)，

9.根據(jù)權(quán)利要求1-8中任一項(xiàng)所述的方法，還包括：

10.根據(jù)權(quán)利要求9所述的方法，其中，所述一個(gè)或多個(gè)第二傳感器各自包括至少一個(gè)生物傳感器，所述至少一個(gè)生物傳感器包括以下至少之一：一個(gè)或多個(gè)光電容積描記(ppg)傳感器、一個(gè)或多個(gè)肌電(emg)傳感器、一個(gè)或多個(gè)聲音傳感器、或一個(gè)或多個(gè)運(yùn)動(dòng)傳感器，每個(gè)傳感器用于檢測(cè)與佩戴所述腕式可穿戴設(shè)備的所述用戶的手腕內(nèi)或附近的軟組織運(yùn)動(dòng)對(duì)應(yīng)的生物特征，其中，所述軟組織包括所述用戶的手腕內(nèi)或附近的一個(gè)或多個(gè)肌肉、一個(gè)或多個(gè)肌腱、或一個(gè)或多個(gè)血管中的至少一個(gè)。

11.根據(jù)權(quán)利要求9所述的方法，其中，所述一個(gè)或多個(gè)ppg傳感器用于光學(xué)地檢測(cè)與所述用戶的所述一個(gè)或多個(gè)手指的運(yùn)動(dòng)對(duì)應(yīng)的所述用戶的手腕處或附近的皮膚組織下方的一個(gè)或多個(gè)血管中的血容量變化，其中，所述一個(gè)或多個(gè)emg傳感器用于檢測(cè)與所述用戶的所述一個(gè)或多個(gè)手指的運(yùn)動(dòng)對(duì)應(yīng)的所述用戶的手腕處或附近的一個(gè)或多個(gè)肌肉的電活動(dòng)，其中，所述一個(gè)或多個(gè)聲音傳感器用于檢測(cè)與所述用戶的所述一個(gè)或多個(gè)手指的運(yùn)動(dòng)對(duì)應(yīng)的所述用戶體內(nèi)的聲音，其中，所述一個(gè)或多個(gè)運(yùn)動(dòng)傳感器用于檢測(cè)與所述用戶的所述一個(gè)或多個(gè)手指的運(yùn)動(dòng)對(duì)應(yīng)的一個(gè)或多個(gè)肌肉、一個(gè)或多個(gè)肌腱、以及一個(gè)或多個(gè)血管的運(yùn)動(dòng)。

12.根據(jù)權(quán)利要求9所述的方法，其中，所述基于第二手勢(shì)的命令包括以下至少之一：輕擊命令、雙擊命令、基于捏的命令、或基于握的命令，其中，所述第二指令包括以下至少之一：選擇命令、確認(rèn)命令、返回命令、或取消命令。

13.一種腕式可穿戴設(shè)備，包括：

14.根據(jù)權(quán)利要求13所述的腕式可穿戴設(shè)備，其中，所述腕式可穿戴設(shè)備包括以下之一：智能手表、基于腕表的可穿戴控制設(shè)備、基于腕帶的可穿戴控制設(shè)備、或其他腕式可穿戴用戶設(shè)備。

15.根據(jù)權(quán)利要求13或14所述的腕式可穿戴設(shè)備，其中，所述至少一個(gè)第一傳感器包括以下至少之一：慣性測(cè)量單元(imu)傳感器或基于陀螺儀的傳感器。

16.根據(jù)權(quán)利要求13-15中任一項(xiàng)所述的腕式可穿戴設(shè)備，其中，與所述腕式可穿戴設(shè)備分離的所述用戶設(shè)備包括以下至少之一：虛擬現(xiàn)實(shí)(vr)護(hù)目鏡、增強(qiáng)現(xiàn)實(shí)(ar)護(hù)目鏡、混合現(xiàn)實(shí)(mr)護(hù)目鏡、支持vr的眼鏡、支持ar的眼鏡、支持mr的眼鏡、安裝在頭戴式耳機(jī)中的支持vr的智能手機(jī)、安裝在頭戴式耳機(jī)中的支持ar的智能手機(jī)、安裝在頭戴式耳機(jī)中的支持mr的智能手機(jī)、智能電視(tv)、通信耦合到顯示設(shè)備的游戲機(jī)、通信耦合到顯示設(shè)備的監(jiān)視器、通信耦合到顯示設(shè)備的投影儀、顯示設(shè)備、平板電腦、筆記本電腦、臺(tái)式計(jì)算機(jī)、或具有顯示屏的智能家用電器。

17.根據(jù)權(quán)利要求13-16中任一項(xiàng)所述的腕式可穿戴設(shè)備，其中，佩戴所述腕式可穿戴設(shè)備的所述用戶的手腕向上或向下的移動(dòng)對(duì)應(yīng)于相對(duì)于第一旋轉(zhuǎn)軸(“x軸”)的運(yùn)動(dòng)，

18.根據(jù)權(quán)利要求13-17中任一項(xiàng)所述的腕式可穿戴設(shè)備，還包括一個(gè)或多個(gè)第二傳感器，所述一個(gè)或多個(gè)第二傳感器用于在所述用戶的任何手指均未接觸所述腕式可穿戴控制設(shè)備的情況下檢測(cè)所述用戶的所述一個(gè)或多個(gè)手指的手勢(shì)，其中，當(dāng)由所述至少一個(gè)處理器執(zhí)行時(shí)，所述指令集還使所述腕式可穿戴設(shè)備：

19.根據(jù)權(quán)利要求18所述的腕式可穿戴設(shè)備，其中，所述一個(gè)或多個(gè)第二傳感器各自包括至少一個(gè)生物傳感器，所述至少一個(gè)生物傳感器包括以下至少之一：一個(gè)或多個(gè)光電容積描記(ppg)傳感器、一個(gè)或多個(gè)肌電(emg)傳感器、一個(gè)或多個(gè)聲音傳感器、或一個(gè)或多個(gè)運(yùn)動(dòng)傳感器，每個(gè)傳感器用于檢測(cè)與佩戴所述腕式可穿戴設(shè)備的所述用戶的手腕內(nèi)或附近的軟組織運(yùn)動(dòng)對(duì)應(yīng)的生物特征，其中，所述軟組織包括所述用戶的手腕內(nèi)或附近的一個(gè)或多個(gè)肌肉、一個(gè)或多個(gè)肌腱、或一個(gè)或多個(gè)血管中的至少一個(gè)。

20.根據(jù)權(quán)利要求18所述的腕式可穿戴設(shè)備，其中，所述基于第二手勢(shì)的命令包括以下至少之一：輕擊命令、雙擊命令、基于捏的命令、或基于握的命令，其中，所述第二指令包括以下至少之一：選擇命令、確認(rèn)命令、返回命令、或取消命令。

技術(shù)總結(jié)
提供了用于實(shí)現(xiàn)基于腕式可穿戴設(shè)備(例如，智能手表)控制其他設(shè)備的UI的新工具和技術(shù)。在各種實(shí)施例中，計(jì)算系統(tǒng)可以分析傳感器數(shù)據(jù)，以檢測(cè)腕式可穿戴設(shè)備相對(duì)于三個(gè)旋轉(zhuǎn)軸中至少一個(gè)旋轉(zhuǎn)軸的運(yùn)動(dòng)，當(dāng)腕式可穿戴設(shè)備被用戶佩戴時(shí)，上述傳感器數(shù)據(jù)從設(shè)置在腕式可穿戴設(shè)備上的一個(gè)或多個(gè)第一傳感器被接收。基于確定檢測(cè)到的腕式可穿戴設(shè)備的運(yùn)動(dòng)對(duì)應(yīng)于基于手勢(shì)的命令，計(jì)算系統(tǒng)可以基于該基于手勢(shì)的命令生成指令，并可以將生成的第一指令發(fā)送到與腕式可穿戴設(shè)備分離的用戶設(shè)備，該基于手勢(shì)的命令用于控制上述用戶設(shè)備的用戶界面(UI)，上述指令用作控制用戶設(shè)備的UI的輸入。

技術(shù)研發(fā)人員：李翔
受保護(hù)的技術(shù)使用者：創(chuàng)峰科技
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6