用于增強(qiáng)的基于姿勢的交互的系統(tǒng)和方法
【專利摘要】本文描述了一種無線遠(yuǎn)程控制設(shè)備(100)，其可被用于用戶的手部(150)以提供與基于姿勢的控制信號(hào)相關(guān)聯(lián)的基于硬件的控制信號(hào)以用于增強(qiáng)的姿勢識(shí)別系統(tǒng)。所述設(shè)備(100)包括具有感應(yīng)單元的外罩(110)，所述感應(yīng)單元具有至少一個(gè)能夠產(chǎn)生用于相關(guān)聯(lián)的計(jì)算機(jī)化系統(tǒng)的控制信號(hào)的控制按鈕(120、130、140)。計(jì)算機(jī)化系統(tǒng)使用從所述控制設(shè)備(100)得到的信息以及從姿勢識(shí)別系統(tǒng)得到的信息來消除由諸如執(zhí)行所述姿勢的手部的遮擋或手部位于與所述計(jì)算機(jī)化系統(tǒng)相關(guān)聯(lián)的成像系統(tǒng)的視野之外之類的原因所導(dǎo)致的任何模糊，并且在基于姿勢的交互系統(tǒng)中觸發(fā)交互。
【專利說明】用于增強(qiáng)的基于姿勢的交互的系統(tǒng)和方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種用于人機(jī)交互的系統(tǒng)和方法，并且更具體地但不排他地涉及一種 無線遠(yuǎn)程控制設(shè)備，所述無線遠(yuǎn)程控制設(shè)備用于增強(qiáng)的基于姿勢的與交互式計(jì)算機(jī)化系統(tǒng) 的交互。

【背景技術(shù)】
[0002] 在人機(jī)交互領(lǐng)域，設(shè)備控制器作為人類用戶與硬件平臺(tái)之間的界面被使用了許多 年。經(jīng)由這些接口，用戶已經(jīng)能夠向計(jì)算機(jī)化系統(tǒng)提供命令，所述計(jì)算機(jī)化系統(tǒng)具有用于依 照這些命令來接收、處理以及執(zhí)行動(dòng)作的裝置。設(shè)備控制器可以是有線的或者無線的，并且 包括用于計(jì)算機(jī)的鼠標(biāo)設(shè)備、計(jì)算機(jī)鍵盤、電視（TV)遠(yuǎn)程控制器、游戲控制器、PAD、虛擬現(xiàn) 實(shí)手套等等。所有這些設(shè)備控制器系統(tǒng)都具有一個(gè)已知傳感設(shè)備（例如，觸發(fā)按鈕、多向接 頭、慣性傳感器單元等）所使用的通用規(guī)格。
[0003] 此外，隨著虛擬現(xiàn)實(shí)領(lǐng)域以及消費(fèi)電子領(lǐng)域中的技術(shù)發(fā)展，已經(jīng)開發(fā)出了若干使 用這樣的設(shè)備或者這些設(shè)備的組合的系統(tǒng)。特別地，對(duì)于用戶現(xiàn)已變成強(qiáng)制性的是，將設(shè)備 控制器攜帶在身上，對(duì)其進(jìn)行穿戴或者操作，從而促進(jìn)沉浸在虛擬現(xiàn)實(shí)環(huán)境中，或者從而改 善與計(jì)算機(jī)化系統(tǒng)交互的用戶體驗(yàn)。
[0004] 例如，在專利US-A-2010/0304868中描述了用于與計(jì)算機(jī)化系統(tǒng)的交互的多位置 三維操作控制器。所述控制器在提供直覺式界面從而與二維以及三維場景兩者進(jìn)行交互的 同時(shí)，向各個(gè)應(yīng)用和模擬提供控制，所述二維以及三維場景由于計(jì)算機(jī)程序通過游戲客戶 機(jī)的計(jì)算機(jī)化系統(tǒng)執(zhí)行而產(chǎn)生。這樣的游戲客戶機(jī)可以是專用的游戲控制臺(tái)，所述專用的 游戲控制臺(tái)能夠執(zhí)行本地存儲(chǔ)的程序或者能夠連接到互聯(lián)網(wǎng)上以便用戶能夠與位于不同 位置處的另一用戶進(jìn)行交互。所述控制器被配置為用于在多個(gè)位置中使用，以便提供與控 制器的操控以及操作相關(guān)的靈活性。所述控制器包含具有傳感器的手柄，所述傳感器探測 輸入特征相對(duì)于手柄的移動(dòng)（例如，陀螺儀、加速計(jì)、按鈕、操縱桿以及軌跡球）。在一實(shí)施 例中，所述控制器是手持的并且能夠工作在"棒棒糖"模式下，在此模式下，只有用戶手部的 動(dòng)作才會(huì)使用遵循IEEE802. 11規(guī)范的無線協(xié)議來提供用于與相關(guān)的游戲控制臺(tái)交互的無 線信號(hào)。在另一實(shí)施例中，所述控制器也是手持的，但是與2D攝像頭共同工作，所述攝像頭 追蹤色球以探測姿勢并且提供由游戲控制臺(tái)進(jìn)行處理的額外的無線信號(hào)。在又一實(shí)施例 中，所述控制器可以由兩只手進(jìn)行操作。US-A-2010/0304868中描述的控制器的人體工程學(xué) 要求用戶無需用手握持控制器并且不允許自由的自然移動(dòng)（尤其包括手指移動(dòng)），以實(shí)現(xiàn) 基于姿勢的交互系統(tǒng)中的姿勢識(shí)別。
[0005] 在專利US-A-2011/0269544中描述了用于與游戲控制臺(tái)進(jìn)行交互的手持計(jì)算機(jī) 輸入設(shè)備。所述設(shè)備包含主體，所述主體上形成有突出，用戶手部的手指以及拇指各自占據(jù) 所述突出中的一個(gè)。每個(gè)突出被配置為探測相對(duì)于用戶手指中的一根或更多根手指的移 動(dòng)。用戶的手部以及其拇指和手指的移動(dòng)被游戲控制臺(tái)感知，并且觸覺反饋能夠被提供給 用戶以響應(yīng)傳遞到游戲控制臺(tái)的命令。設(shè)備可以成對(duì)使用，但是需要對(duì)這些設(shè)備進(jìn)行處理 使得僅有一個(gè)設(shè)備適用于右手且另一設(shè)備適用于左手。從適用于用戶的手部和手指的角度 看，US-A-2011/0269544中描述的手持交互設(shè)備可以被認(rèn)為是符合人體工程學(xué)的，但是它要 求用戶緊握設(shè)備來進(jìn)行操作，并且不允許手部和/或手指的自由移動(dòng)以實(shí)現(xiàn)自然的基于姿 勢的計(jì)算機(jī)化系統(tǒng)中的姿勢識(shí)別。
[0006] 專利US-A-2008/084385描述了計(jì)算機(jī)定點(diǎn)設(shè)備，所述計(jì)算機(jī)定點(diǎn)設(shè)備戴在手上 并且無需接觸表面就能夠操作。位于所述計(jì)算機(jī)定點(diǎn)設(shè)備中的傳感器對(duì)用戶手部的移動(dòng)進(jìn) 行感應(yīng)并且將這些信號(hào)轉(zhuǎn)換為用于主計(jì)算機(jī)的信號(hào)。所述信號(hào)能夠被用于移動(dòng)光標(biāo)或者類 似物，并且提供鼠標(biāo)右擊和左擊以及滾輪操作。所述設(shè)備能夠被激活以及去激活，使得只有 預(yù)期的移動(dòng)被傳遞到主計(jì)算機(jī)上。
[0007] Brandon Shrewsbury于2011年10月26日在英國蘇格蘭的敦提市發(fā)表的標(biāo)題為 "使用體感來提供觸覺反饋（Providing Hapic Feedback Using the Kinect)"的文章中提 出具有可穿戴振動(dòng)觸覺反饋系統(tǒng)的手套，所述手套使用蜂鳴電機(jī)來就體感系統(tǒng)的視野內(nèi)的 目標(biāo)對(duì)用戶進(jìn)行警示。所述蜂鳴電機(jī)對(duì)準(zhǔn)手指的每一節(jié)，而底端一行在手部的手掌上。
[0008] 專利US-A-2007/279380描述了能夠固定在手上的計(jì)算機(jī)輸入設(shè)備。所述設(shè)備包 括可調(diào)節(jié)束帶，所述可調(diào)節(jié)束帶能夠纏繞在手部的手掌部分。設(shè)置有由固定有束帶的手部 的手指和拇指進(jìn)行操作的控制按鈕和一操縱桿。所述設(shè)備以無線方式或者經(jīng)由固定電纜與 計(jì)算機(jī)通信。
[0009] 專利US-A-2011/202306描述了沉浸式虛擬現(xiàn)實(shí)系統(tǒng)，其中，一個(gè)或者更多個(gè)身體 傳感器單元被用于與系統(tǒng)的交互。身體傳感器單元包括手套和背心，所述手套和背心包括 用于確定用戶穿戴有手套或者背心的相關(guān)部分的位置的感應(yīng)元件。顯示單元被設(shè)置為用于 在相對(duì)于用戶自身的觀察點(diǎn)正確的空間關(guān)系中觀察用戶身體各部分的虛擬表示。
[0010] Frati等人在其標(biāo)題為"將體感應(yīng)用于手部追蹤并且呈現(xiàn)到可穿戴觸覺上（Using Kinect for hand tracking and rendering in wearable haptics)，'（世界角生覺大會(huì) (World Haptics Conference，WHC)，2011，IEEE，IEEE，2011 年6 月 21 日，第 317 至 321 頁） 中描述了具有電機(jī)的可穿戴觸覺設(shè)備，所述電機(jī)用于指身接觸點(diǎn)的力反饋，以實(shí)現(xiàn)三維成 像系統(tǒng)的視野中的位置感應(yīng)。手部追蹤算法被公開，其中，諸如指尖位置之類的主要手部點(diǎn) 從深度圖中計(jì)算得到的邊界框中被提取出來。然而，為了使所述手部追蹤算法正常工作，手 部的最大部分必須是可見的，尤其是多種啟發(fā)式方法被用于限定手指中每一根的同一性， 并且如果在三維成像系統(tǒng)的視野中一根或者更多根手指的整個(gè)或者部分被遮擋，則這些啟 發(fā)式方法可能會(huì)失效。
[0011] 最近，以成像感應(yīng)信號(hào)分析為基礎(chǔ)的姿勢識(shí)別技術(shù)已經(jīng)創(chuàng)建了交互系統(tǒng)，所述交 互系統(tǒng)允許用戶僅僅使用預(yù)先確定的姿勢來提供命令，從而與控制并運(yùn)行這樣的交互系統(tǒng) 的計(jì)算機(jī)化系統(tǒng)進(jìn)行交互。這樣的姿勢識(shí)別技術(shù)并不使用任何由用戶穿戴的設(shè)備，并且使 用了全身移動(dòng)分析或者僅是手部移動(dòng)分析。
[0012] 然而，當(dāng)使用獨(dú)立的基于硬件的控制器或者自然的基于姿勢的移動(dòng)時(shí)，能被執(zhí)行 的預(yù)定義的交互的數(shù)量存在限制。對(duì)于硬件遠(yuǎn)程控制器設(shè)備而言，例如，必須對(duì)其進(jìn)行操作 并且它不支持手指追蹤或者可靠的手部姿勢識(shí)別。類似地，全身自然姿勢識(shí)別系統(tǒng)不允許 以與一根手指在遠(yuǎn)程控制器上激活按鈕相同的方式來執(zhí)行一個(gè)簡單的單擊動(dòng)作，這要求在 其它移動(dòng)中排他地執(zhí)行一特定的移動(dòng)。此外，當(dāng)使用姿勢識(shí)別系統(tǒng)的時(shí)候，同時(shí)執(zhí)行一簡單 的單擊動(dòng)作并將一只手繞著控制屏幕移動(dòng)是很困難的。一個(gè)原因在于，一個(gè)單擊動(dòng)作傾向 于通過探測到一只手以靜止姿勢在特定位置處持續(xù)預(yù)先確定的時(shí)間段，或者探測到在預(yù)先 確定的時(shí)間段內(nèi)沿著預(yù)定義的軸（例如，Z軸或者深度軸）的向前和向后移動(dòng)。因此，在同 一時(shí)間內(nèi)使用單手來執(zhí)行兩個(gè)動(dòng)作是不可能的。
[0013] 此外，由于現(xiàn)存的裝置必須進(jìn)行操作而使自然姿勢識(shí)別系統(tǒng)與現(xiàn)存的遠(yuǎn)程控制設(shè) 備的結(jié)合存在限制，從而在能被執(zhí)行并識(shí)別的姿勢的種類和數(shù)量上引入了很大的限制。


【發(fā)明內(nèi)容】

[0014] 本發(fā)明的目的在于提供一種控制設(shè)備，所述控制設(shè)備符合特定的人體工程學(xué)以用 于與姿勢分析系統(tǒng)相結(jié)合來與計(jì)算機(jī)化系統(tǒng)進(jìn)行交互。
[0015] 本發(fā)明的另一目的在于提供一種控制設(shè)備，所述控制設(shè)備能夠被用在自然姿勢識(shí) 別系統(tǒng)中，從而為所述計(jì)算機(jī)化系統(tǒng)提供額外的功能和/或補(bǔ)充信息。
[0016] 本發(fā)明的又一目的在于提供一種控制設(shè)備，所述控制設(shè)備能夠被用于提供額外且 改善的與用戶的位置以及移動(dòng)或者姿勢相關(guān)的信息或數(shù)據(jù)，所述用戶的位置以及移動(dòng)或者 姿勢能夠由與所述計(jì)算機(jī)化系統(tǒng)相關(guān)聯(lián)的成像系統(tǒng)進(jìn)行追蹤。
[0017] 本發(fā)明的另一的目的在于提供一種控制設(shè)備，所述控制設(shè)備能夠被用在自然姿勢 識(shí)別系統(tǒng)中，從而提供了用戶與所述計(jì)算機(jī)化系統(tǒng)之間信息的雙向交換的形式的額外功 能。
[0018] 本發(fā)明的又一目的還在于提供一種方法，所述方法為在計(jì)算機(jī)化系統(tǒng)中控制并使 用所述控制設(shè)備以通過允許基于自然姿勢以及基于硬件設(shè)備與計(jì)算機(jī)化系統(tǒng)之間的交互 相結(jié)合來提供增強(qiáng)的用戶體驗(yàn)，同時(shí)不會(huì)對(duì)所述設(shè)備本身或者所述姿勢識(shí)別系統(tǒng)提供的各 個(gè)功能進(jìn)行限制。
[0019] 本申請中使用的術(shù)語"控制裝置"意在包括按鈕、開關(guān)、方向板和操縱桿，以及用戶 經(jīng)其能夠輸入控制信號(hào)的任何其它合適的設(shè)備。這樣的其它合適的設(shè)備，即"附加控制"可 以是，包括但并不僅限于，例如，用于向所述計(jì)算機(jī)化系統(tǒng)提供語音命令的麥克風(fēng)、加速計(jì)、 陀螺儀。
[0020] 根據(jù)本發(fā)明的第一方面，提供了一種控制具有三維成像系統(tǒng)的交互式計(jì)算機(jī)化系 統(tǒng)的方法，所述三維成像系統(tǒng)包括三維攝像頭，所述三維攝像頭用于提供出現(xiàn)在其截錐之 內(nèi)的用戶的至少一個(gè)部位的三維信息，所述方法包括以下步驟：a)提供待與所述用戶的至 少一個(gè)部位相關(guān)聯(lián)的用戶操作控制設(shè)備，所述用戶操作控制設(shè)備包括外罩、至少一個(gè)感應(yīng) 模塊、至少一個(gè)反饋模塊、通信模塊以及控制器模塊，所述至少一個(gè)感應(yīng)模塊包括安裝在所 述外罩中的至少一個(gè)控制裝置，每個(gè)控制裝置都能夠在被操作時(shí)產(chǎn)生用于所述計(jì)算機(jī)化系 統(tǒng)的控制信號(hào)，所述至少一個(gè)反饋模塊安裝在所述外罩中以根據(jù)在所述計(jì)算機(jī)化系統(tǒng)上運(yùn) 行的應(yīng)用來向用戶提供情景反饋，所述通信模塊位于所述外罩內(nèi)，各控制信號(hào)都通過所述 通信模塊發(fā)送到所述計(jì)算機(jī)化系統(tǒng)上并且各反饋信號(hào)都通過所述通信模塊從所述計(jì)算機(jī) 化系統(tǒng)上接收，所述控制器模塊安裝在所述外罩中，所述控制器依照所產(chǎn)生的各控制信號(hào) 對(duì)所述感應(yīng)模塊、所述通信模塊以及所述反饋模塊進(jìn)行控制；b)由所述用戶操作控制設(shè)備 上的至少一個(gè)控制裝置產(chǎn)生控制信號(hào)；以及c)使用所述產(chǎn)生的控制信號(hào)對(duì)所述交互式計(jì) 算機(jī)化系統(tǒng)進(jìn)行控制；其特征在于，所述方法進(jìn)一步包括以下步驟：使用由所述用戶操作 控制設(shè)備所提供的、與用戶的與所述用戶操作控制設(shè)備相關(guān)聯(lián)的部位相關(guān)的信息，來消除 所述三維成像系統(tǒng)所測得的信息中的模糊。
[0021] 所述方法進(jìn)一步可以包括以下步驟：d)依照在所述計(jì)算機(jī)化系統(tǒng)上運(yùn)行的應(yīng)用 向用戶提供情景反饋。此外，所述方法包括以下步驟：e)使用所述用戶操作控制設(shè)備來提 供與用戶的與所述控制設(shè)備相關(guān)聯(lián)的至少在所述三維攝像頭的所述截錐之內(nèi)的部位相關(guān) 的信息。
[0022] 優(yōu)選地，所述步驟e)包括提供與用戶的與所述控制設(shè)備相關(guān)聯(lián)的部位的空間-時(shí) 間相關(guān)信息。所述空間-時(shí)間有關(guān)信息包括以下各項(xiàng)中的至少一項(xiàng)：用戶的與所述控制設(shè) 備相關(guān)聯(lián)的部位的狀態(tài)、加速度、方向以及位置。
[0023] 在本發(fā)明的優(yōu)選實(shí)施例中，所述信息用于在因以下原因之一而導(dǎo)致用戶的與所述 用戶操作控制設(shè)備相關(guān)聯(lián)的部位對(duì)于所述三維成像攝像頭不再可見時(shí)，推斷出用戶的與所 述用戶操作控制設(shè)備相關(guān)聯(lián)的部位的位置，所述原因包括：被另一物體遮擋、被用戶的一部 分所遮擋，以及位于所述三維成像攝像頭的所述截錐之外。
[0024] 此外，所提供的關(guān)于所述用戶部位的信息可以是位置、速度、加速度和/或身份識(shí) 另IJ。所述信息能夠由所述設(shè)備自身提供，或者通過將來自所述設(shè)備的數(shù)據(jù)與姿勢分析系統(tǒng) 確定的其它數(shù)據(jù)相結(jié)合來進(jìn)行改善。在優(yōu)選實(shí)施例中，所提供的與用戶的所述部位相關(guān)的 信息優(yōu)選地可以被用于消除所述三維成像系統(tǒng)所測得的信息中的模糊。
[0025] 根據(jù)本發(fā)明的另一方面，提供了一種基于姿勢的交互式計(jì)算機(jī)化系統(tǒng)，包括：三維 成像系統(tǒng)；姿勢識(shí)別系統(tǒng)；用戶操作控制設(shè)備，所述用戶操作控制設(shè)備包括：外罩、至少一 個(gè)感應(yīng)模塊、反饋模塊、通信模塊以及控制器模塊，所述至少一個(gè)感應(yīng)模塊包括安裝在所述 外罩中的至少一個(gè)控制裝置，每個(gè)控制裝置都能夠在被操作時(shí)產(chǎn)生用于所述計(jì)算機(jī)化系統(tǒng) 的控制信號(hào)，所述反饋模塊安裝在所述外罩中以根據(jù)在所述計(jì)算機(jī)化系統(tǒng)上運(yùn)行的應(yīng)用來 向用戶提供情景反饋，所述通信模塊位于所述外罩內(nèi)，各控制信號(hào)都通過所述通信模塊發(fā) 送到所述計(jì)算機(jī)化系統(tǒng)上并且各反饋信號(hào)都通過所述通信模塊從所述計(jì)算機(jī)化系統(tǒng)上接 收，所述控制器模塊安裝在所述外罩中，所述控制器依照所產(chǎn)生的各控制信號(hào)對(duì)所述感應(yīng) 模塊、所述通信模塊以及所述反饋模塊進(jìn)行控制；以及計(jì)算機(jī)化系統(tǒng)，其與所述三維成像系 統(tǒng)以及所述姿勢識(shí)別系統(tǒng)相關(guān)聯(lián)，所述計(jì)算機(jī)化系統(tǒng)對(duì)所述三維成像系統(tǒng)所捕捉的圖像以 及所述姿勢識(shí)別系統(tǒng)所識(shí)別的姿勢進(jìn)行處理；其特征在于，所述計(jì)算機(jī)化系統(tǒng)對(duì)來自所述 用戶操作控制設(shè)備的數(shù)據(jù)和由所述姿勢識(shí)別系統(tǒng)所識(shí)別的姿勢進(jìn)行結(jié)合使用，以消除所述 三維成像系統(tǒng)所測得的信息中的模糊。
[0026] 特別地，此基于姿勢的交互系統(tǒng)允許輸入使用手部執(zhí)行的姿勢的控制信號(hào)以及由 與所述控制設(shè)備交互的用戶產(chǎn)生的基于硬件的控制信號(hào)。此外，所述控制設(shè)備還可以用于 提供與預(yù)先確定的動(dòng)作或事件相關(guān)的信息，尤其是無法由所述交互式計(jì)算機(jī)化系統(tǒng)定義的 情景中的自然姿勢交互所產(chǎn)生的數(shù)據(jù)或參數(shù)。一個(gè)這樣的示例為，正如之后要進(jìn)行詳細(xì) 說明的，當(dāng)手部連續(xù)滾動(dòng)顯示屏幕上由手控制的光標(biāo)或者完成拖放操作的時(shí)候執(zhí)行單擊動(dòng) 作。
[0027] 優(yōu)選地，所述外罩包括可調(diào)節(jié)束帶，所述可調(diào)節(jié)束帶具有限定手掌側(cè)的第一表面。 各控制按鈕都被安裝在所述可調(diào)節(jié)帶的所述手掌側(cè)上并且由用戶的至少一根手指操作。
[0028] 所述可調(diào)節(jié)束帶還具有限定手背側(cè)的第二表面，所述手背側(cè)可具有至少一個(gè)待由 用戶的某些其它手指操作的控制按鈕。應(yīng)當(dāng)理解的是，這可以是用戶的另一只手的手指。
[0029] 此外，所述第一表面與所述第二表面之間可能限定出一個(gè)部分，所述部分包括至 少一個(gè)待由用戶的拇指操作的控制裝置。
[0030] 由于所述用戶操作設(shè)備包括可調(diào)節(jié)束帶，因此所述設(shè)備能夠很容易地戴在手足上 或者從手足上去除（例如，用戶的手部）。這意味著在多個(gè)用戶的情況下，每一位用戶能夠 快速地將所述控制設(shè)備轉(zhuǎn)交給下一位用戶或者從一只手轉(zhuǎn)移到另一只手。這還意味著所述 控制設(shè)備的使用非常簡單和直觀，并且并不特定用于左手習(xí)慣或者右手習(xí)慣。
[0031] 所述可調(diào)節(jié)束帶的至少一部分包括柔性材料。在一實(shí)施例中，所述束帶整體可包 含柔性材料。所述柔性材料可以包括彈性材料。
[0032] 柔性材料的使用使得所述束帶能夠容易地適配于用戶的手部而與用戶的手部尺 寸以及性別無關(guān)，并且非常舒適且能夠調(diào)節(jié)。
[0033] 在一實(shí)施例中，所述束帶很容易地套在手部或者從手上滑下，這就允許用戶之間 很方便進(jìn)行傳遞。
[0034] 在一實(shí)施例中，所述束帶能夠調(diào)節(jié)以適配手部的不同尺寸，并且包括兩件式可調(diào) 節(jié)緊固件，所述兩件式可調(diào)節(jié)緊固件的每一部件分別位于所述可調(diào)節(jié)束帶的一端。優(yōu)選的 兩件式可調(diào)節(jié)緊固件包括鉤環(huán)緊固件緊固件，但是應(yīng)當(dāng)理解的是同樣可以使用諸如基于磁 力或者機(jī)械的鎖合部系統(tǒng)之類的其它兩件式緊固件。
[0035] 此外，本發(fā)明的所述基于姿勢的交互式系統(tǒng)具有的優(yōu)點(diǎn)是，當(dāng)允許手部以及手指 的自由移動(dòng)時(shí)能夠?qū)⑿畔⑻峁┙o所述計(jì)算機(jī)化系統(tǒng)，所述信息能夠同時(shí)用在在合適的姿勢 識(shí)別系統(tǒng)中。例如，所述用戶操作設(shè)備被設(shè)計(jì)用于使得姿勢識(shí)別系統(tǒng)擬合并且追蹤用戶手 部的骨骼。
[0036] 此外，具有至少一個(gè)控制裝置的所述用戶操作設(shè)備提供了額外的功能，這些功能 在使用姿勢識(shí)別來與虛擬環(huán)境中的物體進(jìn)行交互的時(shí)候是很有用的（例如，通過按下所述 設(shè)備上的按鈕能夠抓握物體，利用姿勢能夠?qū)⑽矬w移動(dòng)到另一位置，以及通過釋放所述按 鈕來將物體釋放在所述另一位置）。此外，按照姿勢識(shí)別系統(tǒng)的要求，一個(gè)或者更多個(gè)控制 按鈕的操作同時(shí)并不干擾用戶使用自然姿勢的能力。
[0037] 在一實(shí)施例中，所述可調(diào)節(jié)束帶的所述反饋模塊還可以包括至少一個(gè)振動(dòng)器元 件。所述振動(dòng)器元件鄰近于所述可調(diào)節(jié)束帶的在被穿戴上時(shí)更靠近用戶的表面。所述振動(dòng) 器元件可以位于所述可調(diào)節(jié)束帶的所述手掌側(cè)或者所述可調(diào)節(jié)束帶的另一部分，但是所述 振動(dòng)器元件優(yōu)選地位于不會(huì)對(duì)諸如所述加速計(jì)或者所述陀螺儀之類的產(chǎn)生控制信息的任 何其它單元產(chǎn)生干擾的位置。
[0038] 此外，所述反饋模塊可以進(jìn)一步包括以下各項(xiàng)中至少一項(xiàng)：揚(yáng)聲器模塊、顯示屏 幕、發(fā)光二級(jí)管裝置以及矩陣觸摸反饋模塊。

【專利附圖】

【附圖說明】
[0039] 為了更好地理解本發(fā)明，現(xiàn)將僅以實(shí)例的形式對(duì)附圖進(jìn)行參照，其中：
[0040] 圖1示出了根據(jù)本發(fā)明的一個(gè)簡單實(shí)施例的控制設(shè)備的示意性后部透視圖；
[0041] 圖2示出了圖1中所示的控制設(shè)備的示意性前部透視圖；以及
[0042] 圖3示出了對(duì)圖1和2中所示的控制設(shè)備的組件以及與該控制設(shè)備進(jìn)行交互的控 制器進(jìn)行說明的框圖。

【具體實(shí)施方式】
[0043] 本發(fā)明將根據(jù)一些具體實(shí)施例并且參照特定附圖進(jìn)行說明，但是本發(fā)明并不僅限 于此。所描述的附圖僅為示意性的而非限定性的。在附圖中，某些組成部分的尺寸和確切 位置可能為了進(jìn)行說明而被夸大并且并未按照比例繪制。
[0044] 本發(fā)明涉及人機(jī)交互領(lǐng)域，并且尤其涉及使用無線控制設(shè)備的系統(tǒng)和方法，所述 無線控制設(shè)備被設(shè)計(jì)用于與自然姿勢識(shí)別系統(tǒng)相結(jié)合以便增強(qiáng)交互過程中的用戶體驗(yàn)。特 別地，本發(fā)明的控制設(shè)備向基于自然姿勢識(shí)別的計(jì)算機(jī)化系統(tǒng)提供了額外功能，并且不限 制所述姿勢識(shí)別系統(tǒng)的功能。此外，它還能夠在交互作用時(shí)向用戶提供反饋信息，以便相較 于只使用姿勢識(shí)別或者硬件設(shè)備控制系統(tǒng)的任意計(jì)算機(jī)化系統(tǒng)而言增強(qiáng)用戶體驗(yàn)。
[0045] 專利US-A-2010/0304868以及US-A-2011/0269544中所述的控制設(shè)備要求用戶 主動(dòng)將控制設(shè)備把持在一只或者兩只手中以操作該控制設(shè)備，并且為形成相關(guān)的游戲控制 臺(tái)的一部分的計(jì)算機(jī)化系統(tǒng)提供控制信號(hào)。然而，一些用戶并不滿意于設(shè)備具有單一尺寸 (例如，手部明顯較成年人手部更小的兒童）。當(dāng)然，針對(duì)這一不同手部尺寸問題的一個(gè)解 決方案就是提供不止一個(gè)設(shè)備尺寸，使得能夠適應(yīng)不同的手部尺寸，同時(shí)伴隨著用戶成本 的增加。
[0046] 當(dāng)設(shè)計(jì)沒有標(biāo)志的基于姿勢的交互以用于全身應(yīng)用時(shí)，由于3D攝像頭提供的詳 細(xì)信息的缺乏而使得獲得數(shù)據(jù)通常很有挑戰(zhàn)性（例如，對(duì)人的身體上最為精確的部分、手 部甚至更復(fù)雜的手指的追蹤能力）。特別是當(dāng)用戶處于距3D攝像頭較遠(yuǎn)距離處（典型地， 超過3米），并且計(jì)算機(jī)化系統(tǒng)追蹤房間里的用戶的各個(gè)部分時(shí)更加具有挑戰(zhàn)性。當(dāng)對(duì)手部 姿勢或者手部移動(dòng)進(jìn)行追蹤時(shí)，一個(gè)限制在于很難確定該手部是處于主動(dòng)狀態(tài)（例如，抓 一物體）還是處于被動(dòng)狀態(tài)（例如，僅僅越過該物體）。
[0047] 當(dāng)對(duì)手部姿勢或者手部移動(dòng)進(jìn)行追蹤時(shí)，另一個(gè)限制是當(dāng)用戶在基于姿勢的識(shí)別 系統(tǒng)中傾向于以屏幕上的信息顯示為基礎(chǔ)時(shí)對(duì)用戶反饋的缺乏。在這樣的系統(tǒng)中，系統(tǒng)的 用戶通常很難估計(jì)他的/她的手部的虛擬表示何時(shí)與一虛擬目標(biāo)接觸。視覺反饋的使用易 于擾亂顯示器或者屏幕，并且并不總是向用戶提供足夠自然和/或沉浸的感覺。
[0048] 沒有標(biāo)志的姿勢識(shí)別系統(tǒng)包括的又一限制在于，由于空間分辨率的不足、模糊、遮 擋、又或者由于3D攝像頭的視野中的一個(gè)物體或一些潛在的自遮擋，或此外當(dāng)被追蹤的目 標(biāo)位于距3D攝像頭較遠(yuǎn)的距離處（典型地，大于3米）時(shí)，無法足夠精確地識(shí)別手部的方 向。
[0049] 本發(fā)明提出了一種遠(yuǎn)程控制設(shè)備，所述遠(yuǎn)程控制設(shè)備克服了上述限制，并且將適 合的功能、人體工程學(xué)以及設(shè)備的易用性考慮在內(nèi)。所述遠(yuǎn)程控制設(shè)備提供的主要功能包 括：
[0050] 1、提供與手部情況相關(guān)的信息，所述手部情況包括至少兩個(gè)可靠狀態(tài)（并且優(yōu)選 地包括更多可靠狀態(tài)）；
[0051] 2、提供額外數(shù)據(jù)以對(duì)從3D攝像頭得到的基于姿勢識(shí)別系統(tǒng)確定的數(shù)據(jù)進(jìn)行補(bǔ)償 或者改善；
[0052] 3、將額外的反饋提供給用戶，用于平衡系統(tǒng)的透明性和可用性；以及
[0053] 4、提供適于對(duì)沒有標(biāo)志的全身自然姿勢與應(yīng)用的交互進(jìn)行補(bǔ)償?shù)娜梭w工程學(xué)質(zhì) 量。
[0054] 本發(fā)明的設(shè)備包含束帶，所述束帶能夠戴在手部并且含有至少一個(gè)在手掌側(cè)上的 控制按鈕，所述控制按鈕能夠由同一手部的手指來操作，用戶的手指還能夠以與不存在控 制設(shè)備的情況下其移動(dòng)方式相同的方式自由地移動(dòng)。所述設(shè)備用在形成游戲控制臺(tái)中的計(jì) 算機(jī)化系統(tǒng)一部分的三維（3D)成像系統(tǒng)（包括3D攝像頭）中，使得姿勢以及來自束帶的 直接控制信號(hào)都能夠由系統(tǒng)進(jìn)行處理以增強(qiáng)用戶體驗(yàn)，同時(shí)與正在運(yùn)行的游戲進(jìn)行交互并 且由計(jì)算機(jī)化系統(tǒng)進(jìn)行控制。
[0055] 在圖1和2中示出了根據(jù)本發(fā)明的控制設(shè)備100。設(shè)備100包含可調(diào)節(jié)束帶110， 其上安裝有三個(gè)控制按鈕120、130、140,如圖2中更清晰地所示。如圖所示，束帶110安裝 在用戶的手部150上并且由緊固件160使其處于手部上的適當(dāng)位置。緊固件160提供了束 帶110能夠被調(diào)整為適合于用戶的手部150的一個(gè)位置。典型地，緊固件160包含能夠被調(diào) 整以適合于手部的兩件式緊固件，其中，緊固件的一部分被固定在束帶的一端170上并且 緊固件的另一部分被固定在束帶的另一端180上，使得當(dāng)兩端170、180重疊時(shí)束帶110繞 著手部150緊縛。一個(gè)這樣的兩件式緊固件是一個(gè)諸如VelcroTM(美國新罕布什爾州曼徹 斯特市Velcro的商標(biāo)）之類的"鉤環(huán)"緊固件。然而，應(yīng)當(dāng)理解的是，諸如風(fēng)紀(jì)扣、磁鐵與 金屬片、紐扣之類的其它形式的兩件式緊固件也能夠被使用。束帶110包括至少兩軸加速 計(jì)（優(yōu)選地包括三軸加速計(jì)），以及陀螺儀（由于其嵌入在束帶中而未示出），以用于測量 定向角和引力方向，以及任意方向上的移動(dòng)速度和加速度。此優(yōu)點(diǎn)是，設(shè)備100的尺寸可以 顯著小于任何手持控制設(shè)備。僅僅通過控制手部150的傾斜和/或搖動(dòng)傾角，加速計(jì)還能 夠相當(dāng)于標(biāo)準(zhǔn)操縱桿設(shè)備的兩個(gè)控制軸。此外，加速計(jì)提供了穿戴設(shè)備100時(shí)手部150的 加速度的可靠且精確的值。此加速度的可靠且精確的值能夠被用于驗(yàn)證計(jì)算機(jī)化系統(tǒng)（未 示出）假定為手部的部分。通過使用基于反向動(dòng)力學(xué)的用戶骨骼擬合過程來識(shí)別用戶的各 個(gè)部分（尤其是隨時(shí)間識(shí)別手部的位置）可以得到手部的假定。追蹤的手部的空間-時(shí)間 特性隨后可隨后與參照隨著時(shí)間推移的操作手部的位置而提供的設(shè)備數(shù)據(jù)進(jìn)行比較，從而 改善數(shù)據(jù)的識(shí)別以及精確度。特別地，當(dāng)手部被另一物體或者身體的另一部分遮擋，或因?yàn)?手部在3D攝像頭的視野范圍之外而使其對(duì)形成計(jì)算機(jī)化系統(tǒng)的一部分的3D攝像頭不再可 見時(shí)，設(shè)備提供的加速度值可以被用于推斷手部的位置。
[0056] 此外，傳到計(jì)算機(jī)化系統(tǒng)上的加速計(jì)信息可以與用戶的各個(gè)部分的識(shí)別與追蹤相 結(jié)合，以能夠根據(jù)控制設(shè)備所在的手部來自動(dòng)地為每個(gè)控制按鈕加載功能和/或特征。例 如，在兩設(shè)備交互應(yīng)用中，右手中的設(shè)備可能已經(jīng)配置用于特定應(yīng)用并且左手中的設(shè)備也 可以依照從用戶左手中的控制設(shè)備提供的加速計(jì)信息來配置。當(dāng)使用兩個(gè)設(shè)備時(shí)，所述控 制裝置，也就是每個(gè)設(shè)備的按鈕可以根據(jù)它們位于哪只手來配置。當(dāng)將設(shè)備從左手交換到 右手時(shí)，通過將來自設(shè)備的加速計(jì)和/或陀螺儀數(shù)據(jù)與由姿勢識(shí)別系統(tǒng)確定的針對(duì)左手和 右手的空間-時(shí)間數(shù)據(jù)進(jìn)行比較，自動(dòng)地進(jìn)行配置。
[0057] 收發(fā)單元（同樣未示出）也嵌入在束帶110中以用于將控制按鈕120、130、140所 產(chǎn)生的控制信號(hào)傳送到相關(guān)聯(lián)的計(jì)算機(jī)化系統(tǒng)上。此外，信號(hào)還可以從計(jì)算機(jī)化系統(tǒng)進(jìn)行 接收。在合適頻帶中的電磁輻射能夠被用于在控制設(shè)備100以及其相關(guān)聯(lián)的計(jì)算機(jī)化系統(tǒng) 之間傳送信號(hào)。
[0058] 如圖1中所示，緊固件160優(yōu)選地位于手部150的背部，并且如圖2中所示，控制 按鈕120、130、140位于手部150的手掌中。然而，應(yīng)當(dāng)理解的是，如果束帶110由至少一種 適合的使得束帶能夠容易且簡單地安置在手上并且從手上去除的材料制成，則緊固件160 的存在并不是必須的。除控制按鈕120、130、140之外，反饋元件（未示出）還可能位于設(shè) 備100的手掌側(cè)，所述反饋元件緩和了由于與3D攝像頭交互的無接觸本質(zhì)所導(dǎo)致的觸覺缺 乏。反饋元件可以包含振動(dòng)器，所述振動(dòng)器根據(jù)需要進(jìn)行蜂鳴或者振動(dòng)（例如，為了確認(rèn)在 計(jì)算機(jī)化系統(tǒng)上運(yùn)行的游戲的虛擬環(huán)境中，物體已經(jīng)與用戶的手部的虛擬表示相接觸）。此 夕卜，反饋元件可以包含向用戶提供音頻反饋信號(hào)的聲音設(shè)備。此外，作為替代或是附加的其 它反饋形式也能夠?qū)崿F(xiàn)。這些形式可包括熱、電和/或觸點(diǎn)裝置。
[0059] 除具有如圖2中所示位于束帶110的手掌側(cè)上的控制按鈕120、130、140之外，其 它控制裝置或者按鈕（未示出）可以位于束帶的背面?zhèn)纫杂糜谥T如由另一只手來操作。其 它的控制裝置或者按鈕還可以位于設(shè)備的背面與手掌側(cè)之間以用于諸如由拇指來操作。
[0060] 每個(gè)控制按鈕120、130、140可以是具有多個(gè)狀態(tài)的模擬按鈕，所述多個(gè)狀態(tài)由用 戶的一根手指施加在按鈕上的壓力來控制?？商鎿Q地，每個(gè)控制按鈕120、130、140可以包 含雙態(tài)按鈕，所述雙態(tài)按鈕由用戶的一根手指按壓而在"導(dǎo)通"狀態(tài)和"斷開"狀態(tài)之間操 作。如下參照圖3所述，控制按鈕120、130、140還可以提供連續(xù)信號(hào)，所述連續(xù)信號(hào)表示壓 力和/或距離。此外，生物識(shí)別傳感器可以被安裝在束帶上，比如用于監(jiān)測心率以及皮膚電 反應(yīng)。作為離散控制按鈕的替代，提供了諸如控制板之類的連續(xù)感應(yīng)面。所述控制板位于當(dāng) 用戶為習(xí)慣右手或者習(xí)慣左手時(shí)都能夠用拇指控制到的束帶上的位置，這樣的控制板（未 示出）可以被提供用于由用戶拇指進(jìn)行操作。
[0061] 此外，按鈕可以是壓力傳感器、柔性傳感器、電容傳感器和/或距離傳感器，所述 傳感器提供連續(xù)數(shù)據(jù)，而不需要用戶操作來提供數(shù)據(jù)。
[0062] 除了控制裝置（也就是，按鈕、加速計(jì)等）之外，正如以下參照圖3將要詳細(xì)描述 的那樣，設(shè)備100還包括諸如電池組、微控制器以及無線模塊之類的電子部件。所有的并不 直接用于與用戶接觸的部件優(yōu)選地位于束帶110的背面使得它們不會(huì)擾亂用于提供與計(jì) 算機(jī)化系統(tǒng)的交互的手掌區(qū)域。
[0063] 此外，可以設(shè)置有輸入/輸出端口，所述輸入/輸出端口允許額外的傳感器和/或 致動(dòng)器連接到控制設(shè)備上。例如，可以提供一附加的柔性傳感器以圍繞食指或中指安裝，所 述柔性傳感器提供了額外的控制數(shù)據(jù)或者額外的阻抗以提供額外的情景反饋。
[0064] 束帶110可以包含硅氧樹脂，硅氧樹脂具有彈性并且輕易能夠符合手部150的形 狀。此外，束帶110可以被塑形，以使其僅能夠在某一特定方向上穿戴，從而當(dāng)按鈕被預(yù)定 義時(shí)能夠在束帶位于右手或者左手上的時(shí)候進(jìn)行使用。更普遍地，束帶110優(yōu)選地關(guān)于至 少一個(gè)平面對(duì)稱，使得束帶能夠被戴在右手或左手上以提供任意一只手的使用和/或允許 用戶每只手上都戴有束帶以完成更加復(fù)雜的交互。將一種類型的硅氧樹脂材料用于束帶的 一個(gè)優(yōu)點(diǎn)在于，硅氧樹脂材料使得用戶的手能夠緊握，使得控制按鈕能夠保持在手部的手 掌中以使操作更簡單。
[0065] 可替換地，束帶110可以由任何其它合適的材料制成，所述材料能夠封裝控制裝 置、反饋裝置以及用于操作設(shè)備100的任何其它必要的電子設(shè)備。束帶110可以包括不同的 利用其特定性能的材料，譬如，束帶110待位于手部150的手掌中的部分可以由硅氧樹脂制 成以提供增強(qiáng)的緊握性，束帶110鄰近硅氧樹脂的部分可以是有彈性的以便能夠調(diào)節(jié)適配 性，并且緊固件160可以包含鉤環(huán)緊固件（Velcro)以便能夠調(diào)節(jié)適配性且便于在束帶150 上定位設(shè)備100。
[0066] 在使用中，用戶將設(shè)備100戴在他的/她的手部150上并且使用兩件式緊固件160 來調(diào)節(jié)設(shè)備以達(dá)到舒適的適配性。理想地，設(shè)備100在手部150上的適配性是介于用戶握持 設(shè)備以及穿戴設(shè)備之間的平衡，也就是，用戶必須不需要費(fèi)力將設(shè)備100維持在按鈕120、 130、140能夠被方便地進(jìn)行操作的位置處。此外，應(yīng)當(dāng)理解的是，設(shè)備100不是手套并且不 需要手持來操作。此外，設(shè)備能夠被容易地戴在手部或者從手部去除。
[0067] 當(dāng)一只手中有設(shè)備時(shí)，用戶可以與關(guān)聯(lián)到姿勢識(shí)別設(shè)備上的計(jì)算機(jī)化系統(tǒng)進(jìn)行交 互，所述姿勢識(shí)別設(shè)備包括3D成像系統(tǒng)（諸如，深度感應(yīng)3D攝像頭）以及用于提供情景指 令與反饋信息的應(yīng)用。在一實(shí)施例中，用戶能夠作為屏幕上的虛擬形象出現(xiàn)在虛擬環(huán)境中 間，并且在3D攝像頭的截錐當(dāng)中自由地動(dòng)作和移動(dòng)。計(jì)算機(jī)化系統(tǒng)中運(yùn)行的軟件對(duì)用戶的 移動(dòng)和姿勢進(jìn)行識(shí)別。反饋被提供給用戶，例如，當(dāng)如屏幕上所顯示的用戶的手部已觸摸到 虛擬環(huán)境中的虛擬物體的時(shí)候以振動(dòng)的形式進(jìn)行指示。
[0068] 在最簡單的實(shí)施例中，束帶包含單一按鈕，當(dāng)用戶按下按鈕時(shí)所述按鈕自動(dòng)將信 號(hào)發(fā)送到相關(guān)聯(lián)的計(jì)算機(jī)化系統(tǒng)上。在此特定情況中，可以對(duì)按鈕相對(duì)于用戶手掌的位置 進(jìn)行調(diào)節(jié)以使用戶用諸如食指或中指之類偏愛的手指進(jìn)行操作。
[0069] 在另一實(shí)施例中，可以設(shè)置兩個(gè)長按鈕使得能夠根據(jù)用戶的偏好使用不同或者相 同的手指來對(duì)兩個(gè)按鈕進(jìn)行操作。當(dāng)設(shè)備的硬件裝配可能是固定的，由于設(shè)備采用了人體 工程學(xué)，兩個(gè)按鈕可以位于用戶移動(dòng)最常用的三根手指（也就是，食指、中指以及拇指）中 的一根或兩根就能夠很自然地對(duì)按鈕進(jìn)行操作的位置。例如，第一按鈕（也就是最接近食 指的按鈕）可以由拇指使用并且另一按鈕可以由食指或中指使用。在具有多于一個(gè)按鈕的 更先進(jìn)的實(shí)施例中能夠?qū)粹o與用戶的手指對(duì)齊。在此，應(yīng)當(dāng)理解的是，如上參照圖1和2 所述，可以設(shè)置多于三個(gè)按鈕。此外，還可以具有多于一行的按鈕。
[0070] 應(yīng)當(dāng)理解的是，除了對(duì)按鈕功能進(jìn)行預(yù)定義的最簡單實(shí)施例之外，每個(gè)按鈕的功 能都可能不是固定的并且能夠由用戶或者計(jì)算機(jī)系統(tǒng)進(jìn)行定義。在更優(yōu)選的實(shí)施例中，計(jì) 算機(jī)系統(tǒng)可以包括根據(jù)計(jì)算機(jī)化系統(tǒng)操作的應(yīng)用或者根據(jù)計(jì)算機(jī)化系統(tǒng)運(yùn)行的應(yīng)用中的 一特定情景來自動(dòng)并且動(dòng)態(tài)地對(duì)控制裝置，特別是按鈕進(jìn)行預(yù)設(shè)定的裝置。
[0071] 在另一實(shí)施例中，加速計(jì)能夠用于確定由重力產(chǎn)生的堅(jiān)直方向，并且相應(yīng)地分配 每個(gè)按鈕的功能。
[0072] 在一優(yōu)選實(shí)施例中，設(shè)備可以用在用戶能夠由站立在場景中的虛擬形象來表示的 虛擬環(huán)境中。用戶能夠在與計(jì)算機(jī)化系統(tǒng)相關(guān)聯(lián)的3D攝像頭的截錐之內(nèi)自由行動(dòng)并移動(dòng)， 使得他的/她的移動(dòng)和/或姿勢能夠被計(jì)算機(jī)化系統(tǒng)中運(yùn)行的軟件所識(shí)別并且追蹤，并且 隨后依照本發(fā)明與控制設(shè)備100的輸入相關(guān)聯(lián)。為了使虛擬形象在場景內(nèi)移動(dòng)并且交互， 用戶使用控制設(shè)備1〇〇所提供的功能以及姿勢識(shí)別軟件所提供的功能。
[0073] 一些能夠由按鈕120、130、140執(zhí)行的功能包括：
[0074] -當(dāng)?shù)谝话粹o被按下時(shí)，設(shè)備100的方向被登記到相關(guān)聯(lián)的計(jì)算機(jī)化系統(tǒng)上并且 由此就如設(shè)備100是用戶手中的操縱桿一樣，方向的變化對(duì)平移、前進(jìn)或者后退的速度，以 及向左或者向右的旋轉(zhuǎn)速度進(jìn)行控制。當(dāng)按鈕被釋放時(shí)，由設(shè)備100提供的引導(dǎo)控制被中 斷，使得用戶的移動(dòng)被用于與虛擬環(huán)境直接交互。
[0075] -當(dāng)?shù)诙粹o被按下時(shí)，利用與第一按鈕相類似的機(jī)制，用戶能夠控制3D攝像頭 圍繞虛擬環(huán)境中的虛擬形象的旋轉(zhuǎn)。
[0076] -當(dāng)?shù)谌粹o被按下時(shí)，"拖放"功能能被實(shí)現(xiàn)。在此，距離用戶握持設(shè)備100的手 最接近的"物理的"物體（也就是，虛擬表示中的最接近的物體）向虛擬物體移動(dòng)并且抓取 該虛擬物體，只要按鈕未被釋放則所述虛擬物體就跟隨手部的移動(dòng)和方向。當(dāng)按鈕被釋放 時(shí)，物體被釋放到按鈕被釋放的那一刻相對(duì)于虛擬環(huán)境的用戶手部的位置處。
[0077] 此特定功能提供了在虛擬環(huán)境中對(duì)虛擬物體進(jìn)行拾取、攜帶、移動(dòng)以及加載的能 力。
[0078] 當(dāng)場景中的物體與用戶的虛擬形象表示之間發(fā)生碰撞時(shí)，設(shè)備在手掌上的振動(dòng)器 以一強(qiáng)度振動(dòng)，該強(qiáng)度可以與虛擬沖擊的強(qiáng)度成正比或者與材料的硬度成正比，該物體被 假設(shè)為以此硬度進(jìn)行碰撞。類似地，增強(qiáng)的振動(dòng)能夠被用于向用戶傳遞關(guān)于虛擬物體重量 的信息。應(yīng)當(dāng)理解的是，其上放置有控制設(shè)備100的手部能夠在場景中被探測到是至關(guān)重 要的。這能夠通過使用用戶的具有與手部對(duì)應(yīng)的部分的任意骨骼表示來實(shí)現(xiàn)。使用來自三 軸加速計(jì)的輸出以及使用額外的陀螺儀的輸出能夠改善手部在虛擬空間中的定位。通過圖 像處理而不是利用骨骼的表示而得到的任何識(shí)別的場景特征的移動(dòng)，例如骨端、著色物體、 特定形狀、身體部位等所有在3D攝像頭的截錐內(nèi)的移動(dòng)都能夠與設(shè)備100的加速度進(jìn)行對(duì) t匕，從而對(duì)設(shè)備被固定到所識(shí)別的特征的概率進(jìn)行評(píng)估。
[0079] 在另一優(yōu)選實(shí)施例中，陀螺儀存在于設(shè)備100中并且提供改善戴有設(shè)備的身體部 位（特別是手部）的方向探測的信息。
[0080] 在另一優(yōu)選實(shí)施例中，陀螺儀可以被羅盤代替，從而提供絕對(duì)方向測量而非相對(duì) 方向測量。這些絕對(duì)測量的使用同樣用于改善戴有設(shè)備的身體部位（特別是手部）的方向 探測。這可能是除陀螺儀之外還存在的。
[0081] 此外，多個(gè)控制設(shè)備能夠同時(shí)使用。例如，單一用戶可以在每個(gè)手上都使用控制設(shè) 備或者多個(gè)用戶中的每個(gè)用戶可以在一只手上使用控制設(shè)備。在這些情況中，所使用的通 信協(xié)議需要能夠在每個(gè)控制設(shè)備的標(biāo)識(shí)或者各自地址之間進(jìn)行區(qū)分。
[0082] 現(xiàn)在參看圖3,用于交互游戲控制臺(tái)或計(jì)算機(jī)系統(tǒng)（未示出）的控制系統(tǒng)300的框 圖被示出。控制系統(tǒng)300包含計(jì)算機(jī)化系統(tǒng)310,計(jì)算機(jī)化系統(tǒng)310被封裝在交互式控制臺(tái) 中并且包含電子模塊320。電子模塊320包含微控制器330以及收發(fā)器340。收發(fā)器340工 作在藍(lán)牙（藍(lán)牙技術(shù)聯(lián)盟的商標(biāo)）、Wi_Fi (Wi-Fi聯(lián)盟的商標(biāo)）、ZigBee (無線個(gè)域網(wǎng)聯(lián)盟的 商標(biāo)）以及其它無線電（RF)頻帶中的一個(gè)或者更多個(gè)頻帶中。藍(lán)牙工作在2. 4至2. 48GHz 的工業(yè)、科學(xué)與醫(yī)學(xué)（Industrial，Scientific&Medical，ISM)波段；Wi-Fi 按照 IEEE802. 11 標(biāo)準(zhǔn)來工作；同時(shí)ZigBee也按照IEEE802標(biāo)準(zhǔn)來工作。收發(fā)器340自然可以使用諸如可見 光與紅外線之類的其它通信系統(tǒng)工作。應(yīng)當(dāng)理解的是，收發(fā)器340可以使用不止一種射線 和/或無線電頻帶來工作。在這種情況中，為每種類型的射線和/或無線電頻帶均設(shè)置專 用的發(fā)射和接收模塊。
[0083] 收發(fā)器340被連接到微控制器330上并且由其進(jìn)行控制以實(shí)現(xiàn)箭頭335所指示的 雙向通信，并且依照本發(fā)明向控制設(shè)備350發(fā)射信號(hào)或者從控制設(shè)備350接收信號(hào)。控制 設(shè)備350相當(dāng)于以上參照圖1和2所述的設(shè)備100。
[0084] 控制設(shè)備350包含三個(gè)單元組，也就是感應(yīng)單元360、驅(qū)動(dòng)單元370以及反饋單元 380。感應(yīng)單元360包含控制裝置，也就是慣性感應(yīng)單元400、雙態(tài)板410、模擬板420、雙態(tài) 操縱桿430、模擬操縱桿440、雙態(tài)按鈕450以及模擬按鈕460。盡管這些元件中僅有一個(gè)被 示出，但是應(yīng)當(dāng)理解的是，根據(jù)特定配置，控制設(shè)備350中可能存在不止一個(gè)元件。
[0085] 慣性感應(yīng)單元400可能包括至少一個(gè)兩軸加速計(jì)。在優(yōu)選實(shí)施例中，慣性感應(yīng)單 元可以包括上述的單一三軸加速計(jì)或者三個(gè)單獨(dú)的加速計(jì)，其中每一個(gè)分別對(duì)準(zhǔn)X、y和Z 軸中的一個(gè)方向?？商娲鼗蛘吡硗?，慣性感應(yīng)單元4〇〇還可以包含分別對(duì)準(zhǔn)X、y和z軸 的陀螺儀元件。
[0086] 雙態(tài)板410與模擬板420本質(zhì)上是在平面上具有諸如北、南、東和西四個(gè)方向中至 少一個(gè)利用集中按壓的敏感方向或者雙態(tài)的壓敏輸入設(shè)備。這樣的板已知為方向板、游戲 版或者D形板。
[0087] 在雙態(tài)板410的情況下，板可以包含一個(gè)連續(xù)扁平狀的按鈕，其中設(shè)置的數(shù)據(jù)值 為數(shù)字的并且與用戶選擇的方向成正比，并且還能夠處于"導(dǎo)通"或者"斷開"狀態(tài)。
[0088] 在模擬板420的情況下，板包含一個(gè)連續(xù)多方向的2D扁平狀的按鈕，其中設(shè)置的 數(shù)據(jù)值為模擬的并且同樣與用戶選擇的方向成正比；數(shù)據(jù)值在每個(gè)方向上都是連續(xù)的，并 且取決于用戶的手指與特定方向的中間位置之間的距離大小。
[0089] 此外，雙態(tài)板410與模擬板420可以是設(shè)置有中間狀態(tài)的交叉推桿或者多向板。
[0090] 雙態(tài)操縱桿430與模擬操縱桿440以類似于上述板的方式工作，但是每個(gè)操縱桿 包含具有突出元件（例如，與其垂直的桿）的表面。如上參照雙態(tài)板410所述，雙態(tài)操縱桿 430提供一數(shù)據(jù)值，所述數(shù)據(jù)值為數(shù)字的且與用戶設(shè)定的方向成正比。類似地，模擬操縱桿 440提供一數(shù)據(jù)值，所述數(shù)據(jù)值為模擬的并且與到達(dá)用戶設(shè)定的特定方向上的中間位置的 距離成正比。
[0091] 雙態(tài)按鈕450包含至少一個(gè)按鈕，所述按鈕能夠由用戶的手指在"導(dǎo)通"狀態(tài)與 "斷開"狀態(tài)之間操作。以上參照圖2所述的按鈕120、130、140中的一個(gè)或者更多個(gè)可以是 雙態(tài)按鈕。
[0092] 模擬按鈕460包含至少一個(gè)按鈕，所述按鈕能夠由用戶的手指在多個(gè)不同狀態(tài)之 間操作。如前所述，以上參照圖2所述的按鈕110、120、130中的一個(gè)或者更多個(gè)可以是模 擬按鈕。
[0093] 驅(qū)動(dòng)單元370連接到感應(yīng)單元360上。驅(qū)動(dòng)單元370包括供電電源470,供電電 源470如箭頭475所示連接到電子模塊480上。供電電源470如箭頭490所示向感應(yīng)單元 360內(nèi)的組件提供電力，而且將如下所述，還如箭頭495所示向反饋單元380內(nèi)的組件提供 電力。供電電源470可以是電池或者其它可利用諸如電感現(xiàn)象之類充電的便攜式供電裝置 (借助于直接連接到合適的交流電源上，或者通過USB接口連接到計(jì)算機(jī)化系統(tǒng)或其它適 當(dāng)?shù)挠?jì)算機(jī)設(shè)備上）。電池還可以借助用戶的移動(dòng)或者連接到光電池上來充電。在一實(shí)施 例中，控制設(shè)備350還可以包括光電池（未示出），只要光級(jí)度足夠高就能夠通過所述光電 池給電池充電。
[0094] 電子模塊480包括微控制器500、收發(fā)器510以及輸入/輸出（I/O)模塊520。微 控制器500按照對(duì)應(yīng)箭頭515與525所示連接到收發(fā)器510以及I/O模塊520兩者上。這 些連接是雙向連接使得信息能夠根據(jù)要求從收發(fā)器510與I/O模塊520傳遞到微控制器 500上并且從微控制器500傳遞到收發(fā)器510與I/O模塊520上。按照箭頭365、385所示， 微控制器500還可以經(jīng)由傳感單元與反饋單元360、380內(nèi)適當(dāng)?shù)慕涌冢ㄎ词境觯┻B接到傳 感單元360與反饋單元380。如同以下將要詳細(xì)說明的那樣，每個(gè)接口都連接到總線上（同 樣未示出）以用于將信號(hào)發(fā)送到感應(yīng)單元360內(nèi)的組件400、410、420、430、440、450、460的 每一個(gè)以及反饋單元380內(nèi)的組件上并且接收來自于這些組件的信號(hào)。
[0095] I/O模塊520可以包括USB端口以用于將設(shè)備350直接連接到計(jì)算機(jī)化系統(tǒng)310 上。I/O模塊還可以包括充電點(diǎn)以用于在供電電源包含可充電電池單元的時(shí)候?qū)╇婋娫?470進(jìn)行充電。此外，還可以在I/O模塊520上安裝其它傳感器以提供與用戶手部的移動(dòng)和 /或位置相關(guān)的其它信息。
[0096] 反饋單元380包含揚(yáng)聲器模塊550、振動(dòng)器模塊560、顯示屏幕模塊570、發(fā)光二級(jí) 管（LED)模塊580以及矩陣接觸反饋模塊590之中的一個(gè)或者更多個(gè)模塊。應(yīng)當(dāng)理解的是， 設(shè)備100上所設(shè)置的反饋組件的數(shù)量取決于所要提供的反饋的類型。如上所述，振動(dòng)器模 塊560是用于向用戶提供觸覺反饋的優(yōu)選組件。
[0097] 揚(yáng)聲器模塊550包含至少一個(gè)揚(yáng)聲器元件以用于向用戶提供音頻反饋。顯示屏幕 模塊570與LED模塊580為用戶提供視覺反饋，顯示屏幕模塊570相對(duì)于LED模塊580能 夠顯示出更加詳細(xì)的信息。在一優(yōu)選實(shí)施例中，LED可以提供供電電源狀態(tài)信息，使顏色從 綠色（充滿電）變到黃色（譬如，剩余50%電量）再到紅色（需要充電）。
[0098] 矩陣接觸反饋模塊590包含致動(dòng)器（譬如，振動(dòng)元件或電極）陣列，所述致動(dòng)器陣 列提供以觸感形式的反饋。在以上參照圖1和2所述的控制設(shè)備100中，矩陣接觸反饋模 塊位于能夠緊靠用戶皮膚的位置以刺激觸感。
[〇〇99] 盡管參照具體實(shí)施例對(duì)本發(fā)明的控制設(shè)備進(jìn)行了說明，但是應(yīng)當(dāng)理解的是控制設(shè) 備的其它實(shí)施方式也是可行的。
【權(quán)利要求】
1. 一種控制具有三維成像系統(tǒng)的交互式計(jì)算機(jī)化系統(tǒng)（310)的方法，所述三維成像系 統(tǒng)包括三維攝像頭，所述三維攝像頭用于提供出現(xiàn)在其截錐之內(nèi)的用戶的至少一個(gè)部位的 三維信息，所述方法包括以下步驟： a) 提供待與用戶的至少一個(gè)部位相關(guān)聯(lián)的用戶操作控制設(shè)備（100 ;350)，所述用戶操 作控制設(shè)備包括：外罩（110)、至少一個(gè)感應(yīng)模塊（360)、至少一個(gè)反饋模塊（380、550、560、 570、580、590)、通信模塊（510)以及控制器模塊（500)，所述至少一個(gè)感應(yīng)模塊（360)包 括安裝在所述外罩（110)中的至少一個(gè)控制裝置（120、130、140;410、420、430、440、450、 460)，每個(gè)控制按鈕（120、130、140;410、420、430、440、450、460)都能夠在被操作時(shí)產(chǎn)生用 于所述計(jì)算機(jī)化系統(tǒng)（310)的控制信號(hào)，所述至少一個(gè)反饋模塊（380、550、560、570、580、 590)安裝在所述外罩（110)中以根據(jù)在所述計(jì)算機(jī)化系統(tǒng)（310)上運(yùn)行的應(yīng)用來向用戶提 供情景反饋，所述通信模塊（510)位于所述外罩（110)內(nèi)，各控制信號(hào)都通過所述通信模塊 (510)發(fā)送到所述計(jì)算機(jī)化系統(tǒng)（310)上并且各反饋信號(hào)都通過所述通信模塊（510)從所 述計(jì)算機(jī)化系統(tǒng)（310)上接收，所述控制器模塊（500)安裝在所述外罩（110)中，所述控制 器（500)依照所產(chǎn)生的各控制信號(hào)對(duì)所述感應(yīng)模塊（360)、所述通信模塊（510)以及所述反 饋模塊（380、550、560、570、580、590)進(jìn)行控制； b) 由所述用戶操作控制設(shè)備（100 ;350)上的至少一個(gè)控制裝置（120、130、140 ;410、 420、430、440、450、460)產(chǎn)生控制信號(hào)；以及 c) 使用所述產(chǎn)生的控制信號(hào)對(duì)所述交互式計(jì)算機(jī)化系統(tǒng)（310)進(jìn)行控制； 其特征在于，所述方法進(jìn)一步包括以下步驟：使用由所述用戶操作控制設(shè)備所提供的、 與用戶的與所述用戶操作控制設(shè)備相關(guān)聯(lián)的部位相關(guān)的信息，來消除所述三維成像系統(tǒng)所 測得的信息中的模糊。
2. 根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括以下步驟： d) 依照在所述計(jì)算機(jī)化系統(tǒng)（310)上運(yùn)行的應(yīng)用向用戶提供情景反饋。
3. 根據(jù)權(quán)利要求1或2所述的方法，進(jìn)一步包括以下步驟： e) 使用所述用戶操作控制設(shè)備（100 ;350)來提供與用戶的與所述控制設(shè)備（100 ; 350)相關(guān)聯(lián)的至少在所述三維攝像頭的所述截錐之內(nèi)的部位相關(guān)的信息。
4. 根據(jù)權(quán)利要求3所述的方法，其中，所述步驟e)包括：提供與用戶的與所述控制設(shè) 備（100 ;350)相關(guān)聯(lián)的部位的空間-時(shí)間相關(guān)信息。
5. 根據(jù)權(quán)利要求4所述的方法，其中，所述空間-時(shí)間相關(guān)信息包括以下各項(xiàng)中的至少 一項(xiàng)：用戶的與所述控制設(shè)備（100 ;350)相關(guān)聯(lián)的部位的狀態(tài)、加速度、方向以及位置。
6. 根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述信息用于在因以下原因之一而 導(dǎo)致用戶的與所述用戶操作控制設(shè)備相關(guān)聯(lián)的部位對(duì)于所述三維成像攝像頭不再可見時(shí)， 推斷出用戶的與所述用戶操作控制設(shè)備相關(guān)聯(lián)的部位的位置，所述原因包括：被另一物體 遮擋、被用戶的一部分所遮擋，以及位于所述三維成像攝像頭的所述截錐之外。
7. -種基于姿勢的交互式計(jì)算機(jī)化系統(tǒng)，包括： 三維成像系統(tǒng)； 姿勢識(shí)別系統(tǒng)； 用戶操作控制設(shè)備（1〇〇 ;350)，包括：外罩（110)、至少一個(gè)感應(yīng)模塊（360)、反饋模塊 (380、550、560、570、580、590)、通信模塊（510)以及控制器模塊（500)，所述至少一個(gè)感應(yīng) 模塊（360)包括安裝在所述外罩（110)中的至少一個(gè)控制裝置（120、130、140;410、420、 430、440、450、460)，每個(gè)控制裝置（120、130、140;410、420、430、440、450、460)都能夠在被 操作時(shí)產(chǎn)生用于所述計(jì)算機(jī)化系統(tǒng)（310)的控制信號(hào)，所述反饋模塊（380、550、560、570、 580、590)安裝在所述外罩（110)中以根據(jù)在所述計(jì)算機(jī)化系統(tǒng)（310)上運(yùn)行的應(yīng)用來向用 戶提供情景反饋，所述通信模塊（510)位于所述外罩（110)內(nèi)，各控制信號(hào)都通過所述通信 模塊發(fā)送到所述計(jì)算機(jī)化系統(tǒng)（310)上并且各反饋信號(hào)都通過所述通信模塊（510)從所述 計(jì)算機(jī)化系統(tǒng)（310)上接收，所述控制器模塊（500)安裝在所述外罩（110)中，所述控制器 (500)依照所產(chǎn)生的各控制信號(hào)對(duì)所述感應(yīng)模塊（360)、所述通信模塊（510)以及所述反饋 模塊（380、550、560、570、580、590)進(jìn)行控制；以及 計(jì)算機(jī)化系統(tǒng)（310)，其與所述三維成像系統(tǒng)以及所述姿勢識(shí)別系統(tǒng)相關(guān)聯(lián)，所述計(jì)算 機(jī)化系統(tǒng)（310)對(duì)所述三維成像系統(tǒng)所捕捉的圖像以及所述姿勢識(shí)別系統(tǒng)所識(shí)別的姿勢 進(jìn)行處理； 其特征在于，所述計(jì)算機(jī)化系統(tǒng)（310)對(duì)來自所述用戶操作控制設(shè)備（100 ;350)的數(shù) 據(jù)和由所述姿勢識(shí)別系統(tǒng)所識(shí)別的姿勢進(jìn)行結(jié)合使用，以消除所述三維成像系統(tǒng)所測得的 信息中的模糊。
8. 根據(jù)權(quán)利要求7所述的基于姿勢的交互式計(jì)算機(jī)化系統(tǒng)，其中，所述外罩包括可調(diào) 節(jié)束帶（110)，所述可調(diào)節(jié)束帶具有限定手掌側(cè)的第一表面，各控制按鈕都被安裝在所述手 掌側(cè)上并且由用戶的至少一根手指操作。
9. 根據(jù)權(quán)利要求8所述的基于姿勢的交互式計(jì)算機(jī)化系統(tǒng)，其中，所述可調(diào)節(jié)束帶 (110)具有限定手背側(cè)的第二表面，所述手背側(cè)具有至少一個(gè)待由用戶的其它手指操作的 控制按鈕。
10. 根據(jù)權(quán)利要求9所述的基于姿勢的交互式計(jì)算機(jī)化系統(tǒng)，其中，在所述第一表面與 所述第二表面之間限定出一個(gè)部分，所述部分包括至少一個(gè)待由用戶的拇指操作的控制按 鈕。
11. 根據(jù)權(quán)利要求8-10中任一項(xiàng)所述的基于姿勢的交互式計(jì)算機(jī)化系統(tǒng)，其中，所述 可調(diào)節(jié)束帶（110)的至少一部分包括柔性材料。
12. 根據(jù)權(quán)利要求11所述的基于姿勢的交互式計(jì)算機(jī)化系統(tǒng)，其中，所述柔性材料包 括彈性材料。
13. 根據(jù)權(quán)利要求8-12中任一項(xiàng)所述的基于姿勢的交互式計(jì)算機(jī)化系統(tǒng)，其中，所述 可調(diào)節(jié)束帶（110)包括兩件式可調(diào)節(jié)緊固件（160)，所述兩件式可調(diào)節(jié)緊固件（160)的各部 件位于所述可調(diào)節(jié)束帶（110)的相應(yīng)末端（170、180)。
14. 根據(jù)權(quán)利要求13所述的基于姿勢的交互式計(jì)算機(jī)化系統(tǒng)，其中，所述兩件式可調(diào) 節(jié)緊固件（160)包括鉤環(huán)緊固件。
15. 根據(jù)權(quán)利要求13所述的基于姿勢的交互式計(jì)算機(jī)化系統(tǒng)，其中，所述兩部件可調(diào) 節(jié)緊固件（160)包括以下之一：磁力鎖合部或者機(jī)械鎖合部。
16. 根據(jù)權(quán)利要求7-15中任一項(xiàng)所述的基于姿勢的交互式計(jì)算機(jī)化系統(tǒng)，其中，所述 反饋模塊（380)包括振動(dòng)器元件（560)。
17. 根據(jù)權(quán)利要求16所述的基于姿勢的交互式計(jì)算機(jī)化系統(tǒng)，其中，所述振動(dòng)器元件 鄰近于所述可調(diào)節(jié)束帶（110)的在被穿戴上時(shí)靠近用戶的表面。
18. 根據(jù)權(quán)利要求16或17所述的基于姿勢的交互式計(jì)算機(jī)化系統(tǒng)，其中，所述反饋模 塊（380)進(jìn)一步包括以下各項(xiàng)中的至少一項(xiàng)：揚(yáng)聲器模塊（550)、顯示屏幕（570)、發(fā)光二級(jí) 管裝置（580)以及矩陣觸摸反饋模塊（590)。
19. 根據(jù)權(quán)利要求7-18中任一項(xiàng)所述的基于姿勢的交互式計(jì)算機(jī)化系統(tǒng)，其中，所述 感應(yīng)模塊（360)進(jìn)一步包括以下各項(xiàng)中的至少一項(xiàng)：用于向所述計(jì)算機(jī)化系統(tǒng)提供語音命 令的麥克風(fēng)、慣性感應(yīng)單元（400)、雙態(tài)板（410)、模擬板（420)、雙態(tài)操縱桿（430)、模擬操 縱桿（440)、雙態(tài)按鈕（450)、模擬按鈕（460)、光學(xué)傳感器以及羅盤。
20. 根據(jù)權(quán)利要求7-19中任一項(xiàng)所述的基于姿勢的交互式計(jì)算機(jī)化系統(tǒng)，其中，所述 用戶操作控制設(shè)備符合人體工程學(xué)且關(guān)于平面對(duì)稱，并且左右手任意使用時(shí)都允許手部姿 勢和手指姿勢的交互。
21. 根據(jù)權(quán)利要求20所述的基于姿勢的交互式計(jì)算機(jī)化系統(tǒng)，其中，所述設(shè)備的人體 工程學(xué)以及設(shè)計(jì)在依舊允許自由的自然移動(dòng)的同時(shí)無需用手主動(dòng)和有意地握持該設(shè)備。
【文檔編號(hào)】G06F3/033GK104094196SQ201380004925
【公開日】2014年10月8日 申請日期:2013年1月9日 優(yōu)先權(quán)日:2012年1月9日
【發(fā)明者】吉勒·皮諾特 申請人:索夫特克尼特科軟件公司