專利名稱：人機交互設備以及將該設備用于虛擬世界的裝置和方法
技術領域：
本發(fā)明涉及虛擬世界的人機交互領域，更具體而言，涉及用于進行人機交互的設備和將該設備用于虛擬世界的裝置和方法。
背景技術：
隨著信息技術和互聯(lián)網(wǎng)的高速發(fā)展，三維虛擬世界越來越多地應用在各種場景之中，為用戶提供對現(xiàn)實世界的逼真模擬，帶來直觀而真實的浸入式用戶體驗。對于典型的三維虛擬世界系統(tǒng)，包括三維游戲，虛擬社區(qū)等，用戶以化身的形式進入虛擬世界中，并通過各種人機交互設備來控制對應的化身在三維虛擬世界中的活動。傳統(tǒng)的可用于虛擬世界的人機交互設備包括鼠標、鍵盤、觸摸板、操作桿、手柄、軌跡球、游戲手套等等。通過操縱這樣的人機交互設備，用戶可以發(fā)出指令，引導化身根據(jù)指令在虛擬世界中做出動作。然而，在現(xiàn)有的虛擬世界中，化身能夠做出的動作通常都是預先定義的。圖1示出現(xiàn)有的虛擬世界的一個場景示例，該場景示出了在Google提供的虛擬世界Lively中用戶如何進行動作選擇。如圖所示，虛擬世界中預先定義并存儲了一系列動作，并將這些動作的選項以動作列表的形式提供給用戶。動作列表中列出了用戶當前可以進行的動作，例如，與別人打招呼、拳擊對方、踢他、和他跳舞、親吻對方等等。在用戶使用人機交互設備選擇其中的動作之后，虛擬世界呈現(xiàn)或播放對應的動畫，從而使得化身根據(jù)用戶的選擇完成指定動作。然而，如以上的示例，用戶僅僅能夠從預定義的動作中進行選擇， 而不能自己為化身設計或定制更加精細的動作，例如一邊走路一邊擺手打招呼等等。這樣的局限性使得現(xiàn)有的虛擬世界無法達到更加豐富和逼真的期望效果。這種化身動作的局限性主要源于兩個方面。一方面，現(xiàn)有的人機交互設備無法同時提供多元的信號指令。例如，鼠標只能提供光標位置導航和左鍵右鍵的點擊選擇，這樣的簡單指令難以支持化身的更加復雜的動作。專用于三維游戲的操縱桿、軌跡球和游戲手套等等也只能提供較為單一的操作指令，并且不便于攜帶。另一方面，由于缺乏多元信號指令的輸入，現(xiàn)有的虛擬世界系統(tǒng)無法基于多元信號指令提供更加豐富的化身動作。因此，為了增強虛擬世界的表現(xiàn)力，希望從以上兩個方面進行改進，從而豐富虛擬世界中化身的動作和姿態(tài)，為用戶提供更加真實的用戶體驗。

發(fā)明內(nèi)容
鑒于上述問題和需要，提出本發(fā)明，用以提供一種改進的人機交互設備和通過該設備控制虛擬世界中的化身的可能方式。根據(jù)本發(fā)明第一方面，提供了一種人機交互設備，在所述設備表面上布置有至少一個感測裝置，所述至少一個感測裝置包括操作部分和至少一個距離傳感器，所述操作部分接收用戶的至少一個手指的操作動作，所述至少一個距離傳感器用以感測所述操作部分相對于所述設備中至少一個固定位置的距離，并生成至少一個距離信號，所述至少一個距離信號用以表征所述至少一個手指的操作動作。
根據(jù)本發(fā)明第二方面，提供了一種虛擬世界輔助裝置，用以將本發(fā)明第一方面的人機交互設備用于虛擬世界中，所述輔助裝置包括接收單元，配置為從所述人機交互設備接收至少一個信號，所述至少一個信號是所述人機交互設備基于所感測到的距離而提供的信號，并用以表征至少一個手指的操作動作；以及映射單元，配置為將所述至少一個信號分別映射到虛擬世界中的化身的身體局部的動作。根據(jù)本發(fā)明第三方面，提供了一種方法，用以將本發(fā)明第一方面的人機交互設備用于虛擬世界中，所述方法包括接收步驟，在其中從所述人機交互設備接收至少一個信號，該至少一個信號是所述人機交互設備基于所感測到的距離而提供的信號，并用以表征至少一個手指的操作動作；以及映射步驟，在其中將所述至少一個信號分別映射到虛擬世界中的化身的身體局部的動作。通過本發(fā)明各實施例中提出的人機交互設備，以及將該人機交互設備用于虛擬世界的裝置和方法，能夠感測到用戶手指操作的多元信號，并將這樣的多元信號用于控制虛擬世界中化身的各個身體局部的動作，從而實現(xiàn)對化身動作和姿態(tài)的自由控制。


圖1示出現(xiàn)有的虛擬世界的一個場景示例；圖2A示出根據(jù)本發(fā)明一個實施例的人機交互設備的俯視圖；圖2B示出圖2A的人機交互設備的剖視圖；圖3示出根據(jù)本發(fā)明一個實施例的控制球的示意圖以及控制球與手指的配合；圖4示出根據(jù)本發(fā)明一個實施例的虛擬世界輔助裝置的示意性框圖；圖5示出根據(jù)本發(fā)明一個實施例不同手指與化身的局部的對應關系；圖6A-6C示出根據(jù)本發(fā)明一個實施例手指的動作參數(shù)與化身動作的映射關系；圖7示出根據(jù)本發(fā)明一個實施例的將人機交互設備用于虛擬世界的方法的流程圖；以及圖8示出根據(jù)一個實施例的映射步驟的具體流程圖。
具體實施例方式以下結(jié)合附圖描述本發(fā)明的具體實施例。但是應該理解，以下對具體實施例的描述僅僅是為了解釋本發(fā)明的執(zhí)行示例，而不對本發(fā)明的范圍進行任何限定。圖2A示出根據(jù)本發(fā)明一個實施例的人機交互設備的俯視圖，圖2B示出圖2A的人機交互設備的剖視圖?？傮w而言，本發(fā)明實施例的人機交互設備被設計為適于人的單手握持的形狀，例如球狀、半球狀、橢球狀等等。在圖2A，2B所示的具體例子中，示出的人機交互設備20表現(xiàn)為球狀，因此，在本說明書的部分描述中將其簡稱為控制球?？刂魄虻拇笮∨c人的手掌大小相仿，使得在操作該控制球時，人的單手可以自然而松弛地握持在控制球上。在圖2A所示的具體例子中，控制球20具備一定的彈性。在彈性部分上與人的單手中的五個手指相對應的位置，布置有五個感測裝置21，每個感測裝置用以感測手指對控制球的操作動作。圖2B的剖視圖更清楚地示出一個感測裝置21的結(jié)構(gòu)。在圖2B所示的示例中，一個感測裝置21包括操作部分22和距離傳感器23。操作部分22可以與人的手指接觸并配合，接收人手指對控制球的操作，距離傳感器23用以感
5測操作部分22相對于控制球中固定位置的距離，并生成與手指動作相關的、表示距離的信號。具體地，操作部分22包括一個按壓板221、一個拉環(huán)222。按壓板221布置在控制球表面，拉環(huán)222形成在控制球表面上與按壓板221相對應的位置上。拉環(huán)222與按壓板221相配合，可以容納一根手指。在操作該控制球時，手指伸進拉環(huán)222與按壓板221之間的空間，將拉環(huán)222套在手指上，就可以進行沿球面法向、切向以及兩個方面的組合的動作。沿球面法向的動作包括按壓彈性控制球表面，即，向下按壓按壓板221，和從控制球表面抬起，即，向上拉伸拉環(huán)222。沿球面切向的動作包括，手指平行于控制球表面的擺動。在操作部分22與控制球內(nèi)的兩個固定位置A，B之間形成了距離Hl，H2?？梢匝刂@兩個距離布置兩個距離傳感器23，用以感測Hl和H2的大小，并生成表示距離Hl，H2的信號。在手指對操作部分22進行上述操作時，手指的動作會引起距離Hl，H2的變化，該變化進而被距離傳感器23感測并捕獲，從而生成能夠反映手指動作的距離信號。距離傳感器23可以通過多種方式實現(xiàn)。在一個實施例中，距離傳感器23由隨著距離而改變的電容或電阻器件形成，通過感測電容或電阻值而確定距離的大小。在另一個實施例中，沿著距離Hl，H2布置彈簧，并在彈簧的一端或兩端設置力感測裝置作為距離傳感器23。在這種情況下，距離傳感器23通過感測彈簧受力大小來確定距離的大小?？梢岳斫猓绢I域技術人員可以根據(jù)需要選擇適當?shù)男问絹韺崿F(xiàn)距離的感測。在圖2B所示的實施例中，控制球20中還包括球體形狀的處理電路對。在這種情況下，固定位置A和B可以設置在處理電路M形成的球體上。處理電路M通過專用硬件電路形成，配置為接收距離傳感器23生成的信號，由此推算距離Hl，H2及其變化?？蛇x地， 處理電路M還可以配置為，根據(jù)距離Hl，H2計算手指在球面切向和法向的移動幅度。由于 AB位置固定，在獲知Hl，H2之后，根據(jù)三角關系，很容易計算得出操作部分22所在的三角形頂點C的位置，進而得出手指在切向和法向的移動幅度。進一步地，處理電路M將獲得的結(jié)果通過線纜25傳送到相連的支持虛擬世界的計算機系統(tǒng)。在一種實施方式中，處理電路M與計算機系統(tǒng)的通信可以通過現(xiàn)有技術公知的手段以無線方式實現(xiàn)?？蛇x地，在圖2B的實施例中，控制球20還可以包括傳統(tǒng)的鼠標裝置沈。該鼠標裝置26以現(xiàn)有技術的方式實現(xiàn)光標導航和按鍵選擇等功能。圖3示出根據(jù)本發(fā)明一個實施例的控制球的示意圖以及控制球與手指的配合。如圖3A的示意，人的手指具有三個關節(jié)，從與手掌連接的關節(jié)起，我們將其依次稱為第一關節(jié)、第二關節(jié)和第三關節(jié)。這三個關節(jié)將手指分為三個指節(jié)，依次稱為第一指節(jié)到第三指節(jié) (對于拇指，習慣上認為只具有第一關節(jié)、第二關節(jié)以及相應的第一指節(jié)和第二指節(jié))。為了更好地與手指相配合，提高控制球的操控性，在圖3B所示的控制球上，為一根手指設置兩個感測裝置Sl和S2。每個感測裝置如圖2B所示包括由按壓板和拉環(huán)構(gòu)成的操作部分以及距離傳感器，從而能夠感測手指通過操作部分對控制球的作用。在手指自然伸入兩個拉環(huán)當中握持住控制球時，兩個感測裝置Sl和S2分別位于手指的第一指節(jié)和第三指節(jié)上。 對于拇指來說，可以認為兩個感測裝置分別位于第一指節(jié)和第二指節(jié)上。位于第一指節(jié)處的感測裝置Sl中的操作部分用以接收第一指節(jié)對控制球的作用，感測裝置Sl中的距離傳感器用以感測對應的操作部分相對于固定位置(例如，球心) 的距離hi。通過距離hi的改變，可以確定第一指節(jié)對感測裝置Sl的按壓板和拉環(huán)的作用幅度，進而確定第一指節(jié)繞第一關節(jié)的縱向運動角度al。類似地，感測裝置S2用以感測第三指節(jié)所作用的操作部分相對于固定位置的距離h2。通過距離h2的改變，可以確定第三指節(jié)對控制球的作用。由于第三指節(jié)通常不能單獨產(chǎn)生動作，而是要與第二指節(jié)一起繞第二關節(jié)運動，因此距離h2的變化可以對應到手指繞第二關節(jié)的縱向運動角度a2。對于拇指來說，由于感測裝置S2位于第二指節(jié)處，所感測到的距離h2的變化可以直接對應到拇指的第二指節(jié)繞第二關節(jié)的縱向運動角度a2。感測裝置Sl和S2的每一個也可以如圖2B所示包括兩個距離傳感器，用以感測對應的操作部分到固定位置的兩個距離，由此確定手指在控制球表面方向上的運動。該運動可以對應到手指繞第一關節(jié)在手掌平面內(nèi)的橫向擺動幅度，如圖3C所示的角度bl所示?？蛇x地，在圖;3B的控制球中可以包含處理電路，用以將感測裝置Sl和S2感測到的距離直接轉(zhuǎn)化為上述角度al，a2和bl，并傳送到支持虛擬世界的計算機系統(tǒng)。在一種實施方式中，也可以省略掉處理電路，由感測裝置直接將感測的距離信號傳送到計算機系統(tǒng)， 接著利用計算機系統(tǒng)的處理和計算能力推導出角度al，a2和bl。盡管以上示出了人機交互設備的兩個具體實例，但是可以理解，根據(jù)精度的需要， 本領域技術人員可以對其進行形式上的修改，得到多種實現(xiàn)方式。例如，感測裝置的數(shù)目和設置方式可以根據(jù)需要進行修改。在一個實施例中，為單手的每根手指均設置感測裝置。在另一種實施方式中，僅為部分手指設置感測裝置。在一個實施例中，為每根手指設置兩個感測裝置，如圖3B所示；在另一種實施方式中，僅為部分手指，例如較為靈活的食指和中指設置兩個感測裝置，而為其他手指設置一個感測裝置?；蛘?，為了捕捉更為細致的動作，可以為單根手指設置更多感測裝置，例如三個或更多個。感測裝置的結(jié)構(gòu)也可以根據(jù)需要進行修改。在一個實施例中，操作部分僅包含按壓板，從而僅可以接收手指對控制球的按壓。在另一個實施例中，操作部分僅包含拉環(huán)，從而僅接收手指從控制球抬起的動作。在僅需要感測手指沿控制球法向運動的情況下，也就是僅感測手指的按壓深度和抬起高度的情況下，感測裝置可以僅包含一個距離傳感器，用以感測操作部分到控制球中一個固定位置的距離。上述固定位置也可以根據(jù)需要來設定。在控制球中具有同心的處理電路的情況下，固定位置可以選在處理電路的特定位置處。在一種實施方式中，可以一般性地將球心作為一個固定位置。此外，盡管在圖2B的實施例中控制球整體具有彈性表面，但是在一種實施方式中，控制球整體可以不具有彈性，僅僅由感測裝置中的操作部分提供彈性，從而接收手指的按壓、抬起和平移操作。并且，盡管以上例子中人機交互設備表現(xiàn)為控制球，但是也可以采用其他形狀來實現(xiàn)人機交互設備，只要其適于人手的握持。可以理解，雖然以上描述了多種對人機交互設備的實現(xiàn)方式進行修改的例子，但是本領域技術人員在閱讀說明書之后，能夠根據(jù)實際需要做出更多種修改。所有這樣的修改都應被認為涵蓋在本發(fā)明范圍之內(nèi)，而無需進行窮舉。如上所述，人機交互設備通過其上布置的多個感測裝置，能夠同時感測到多根手指的多維度操作，從而捕捉到多個變量，這為虛擬世界中化身動作的豐富化提供了基礎和可能。
為了利用上述的人機交互設備增強虛擬世界的表現(xiàn)力，本發(fā)明的實施例還提供了一種虛擬世界輔助裝置，用以將上述人機交互設備用于虛擬世界中。圖4示出根據(jù)本發(fā)明一個實施例的虛擬世界輔助裝置的示意性框圖。如圖4所示，虛擬世界輔助裝置40包括接收單元41以及映射單元43。接收單元41配置為從以上所述的人機交互設備接收至少一個信號，該至少一個信號是所述人機交互設備基于感測到的距離而提供的信號，用以表征至少一個手指的操作動作；映射單元43配置為將所述至少一個信號分別映射到虛擬世界中的化身的身體局部的動作。上述人機交互設備基于感測到的距離而提供的信號可以是直接表示距離的距離信號，也可以是基于感測到的距離而轉(zhuǎn)化的經(jīng)過處理的信號。具體地，在一個實施方式中， 接收單元41所接收的至少一個信號是人機交互設備中的感測裝置直接產(chǎn)生的距離信號。 映射單元43可以將這些距離信號直接映射到虛擬世界中化身的身體動作。或者，映射單元 43可以首先將距離信號轉(zhuǎn)化為表示手指的操作動作的動作參數(shù)，例如手指繞第一關節(jié)的縱向運動角度al，繞第二關節(jié)的縱向運動角度a2，繞第一關節(jié)的橫向擺動角度bl等，然后將這些動作參數(shù)映射到虛擬世界中化身的動作。在另一個實施方式中，人機交互設備中所具備的處理電路已經(jīng)將距離信號轉(zhuǎn)化為動作參數(shù)。在這種情況下，接收單元41接收到的是基于距離信號轉(zhuǎn)化的表示動作參數(shù)的信號，映射單元43將動作參數(shù)映射到虛擬世界中化身的動作?？梢岳斫?，接收單元41與人機交互設備的通信可以通過有線或無線的方式實現(xiàn)。下面結(jié)合一個具體實施例描述映射單元43的映射過程。在該具體實施例中，如圖 3B所示地在人機交互設備上為每個手指設置兩個感測裝置?；诟袦y裝置的感測結(jié)果，映射單元43可以獲得每個手指的動作參數(shù)，并將五個手指的動作參數(shù)分別映射到虛擬世界的化身的四肢和頭部的動作。圖5示出根據(jù)本發(fā)明一個實施例不同手指與化身的局部的對應關系。在圖5的實施例中，映射單元43將拇指的動作參數(shù)映射到虛擬世界中化身的左臂的動作，將食指的動作參數(shù)映射到化身右臂的動作，將中指的動作參數(shù)映射到化身左腿的動作，將無名指的動作參數(shù)映射到化身右腿的動作，將小指的動作參數(shù)映射到化身頭部的動作。這是考慮到拇指和食指較為靈活，適于操縱動作比較細致的上臂，而小指不夠靈敏， 適于操作動作較少的頭部而做出的映射。進一步地，每個手指的動作參數(shù)都包括，手指繞其第一關節(jié)的縱向運動角度al，繞其第二關節(jié)的縱向運動角度a2，繞其第一關節(jié)的橫向擺動角度bl。參數(shù)al，a2和bl的示意圖如圖;3B和3C所示。下面描述每個動作參數(shù)與化身動作的映射關系。圖6A-6C示出根據(jù)本發(fā)明一個實施例手指的動作參數(shù)與化身動作的映射關系。圖 6A分別以正視圖、側(cè)視圖和俯視圖示出食指的動作參數(shù)與化身右臂動作的映射。如圖中所示，將食指繞第一關節(jié)的縱向運動角度al映射到化身的右臂在身體平面內(nèi)繞肩膀的豎直擺動角度Al，將食指繞第一關節(jié)的橫向擺動角度bl映射到右臂在水平平面內(nèi)繞肩膀的水平擺動角度Bi，并將食指繞第二關節(jié)的縱向運動角度a2映射為右臂的小臂相對于大臂的擺動角度A2。通過這樣的映射，將食指對人機交互設備的操作動作轉(zhuǎn)化為對虛擬世界中化身右臂的自如控制，使得化身能夠根據(jù)食指的動作呈現(xiàn)不同的右臂動作。類似地，拇指的動作參數(shù)與左臂動作的映射關系與圖6A所示相同，不再贅述。圖6B分別以正視圖、側(cè)視圖和俯視圖示出中指的動作參數(shù)與化身左腿動作的映射。如圖中所示，將中指繞第一關節(jié)的橫向擺動角度bl映射到化身的左腿在身體平面內(nèi)繞髖關節(jié)的橫向左右擺動角度Bi，中指繞第一關節(jié)的縱向運動角度al映射到化身的左腿繞髖關節(jié)的縱向前后擺動角度Al，并將中指繞第二關節(jié)的縱向運動角度a2映射為左腿的小腿相對于大腿的擺動角度A2。通過這樣的映射，將中指對人機交互設備的操作動作轉(zhuǎn)化為對虛擬世界中化身左腿的自如控制，使得化身能夠根據(jù)中指的動作呈現(xiàn)不同的左腿動作。 類似地，無名指的動作參數(shù)與右腿動作的映射關系與圖6B所示相同，不再贅述。圖6C分別以正視圖、側(cè)視圖和俯視圖示出小指的動作參數(shù)與化身頭部動作的映射。相比于其他手指，小指的靈活度相對比較欠缺，因此將小指動作映射到動作相對簡單的頭部，并在進行映射時僅考慮小指的動作參數(shù)al和bl。具體地，如圖中所示，將小指繞第一關節(jié)的橫向擺動角度bl映射到化身頭部的橫向左右擺動角度Bi，也就是擺頭角度Bi，并將小指繞第一關節(jié)的縱向運動角度al映射到化身頭部的縱向上下擺動角度Al，也就是點頭角度Al。通過這樣的映射，將小指對人機交互設備的操作動作轉(zhuǎn)化為對虛擬世界中化身頭部的自如控制，使得化身能夠根據(jù)小指的動作呈現(xiàn)不同的頭部動作。通過以上映射，虛擬世界輔助裝置40將人機交互設備捕捉到的各個手指的操作動作轉(zhuǎn)化為虛擬世界中化身各個身體局部的動作，由此，能夠?qū)崿F(xiàn)對化身各個身體局部的同時分別控制，從而使得化身根據(jù)用戶多個手指的操作做出任何用戶期望的、非預定義的動作?？梢岳斫?，盡管以上具體描述了一個實施例中手指動作參數(shù)與化身動作的映射關系，但是，取決于人機交互設備的配置和對化身動作控制性的需要，映射單元43可以依據(jù)其他映射關系來進行映射。例如，映射單元43可以以不同方式將各個手指對應到化身的各個局部，比如將拇指動作映射到頭部動作，將食指動作映射到腿部動作等。對于每個手指的動作參數(shù)，映射單元43也可以進行不同方式的映射，例如對于食指動作參數(shù)與右臂動作的關系，映射單元43可以將食指的橫向擺動角度bl映射到右臂的上下擺動角度Al，等等。此夕卜，如上所述，人機交互設備本身也存在不同的配置方式，例如僅為部分手指設置了感測裝置，或者為每根手指僅設置了一個感測裝置等等。相應地，人機交互設備所提供的信號數(shù)量和類型也會隨著上述配置的不同而不同。在此情況下，映射單元43可以被修改為根據(jù)所接收的信號來進行映射，例如在接收單元41僅接收到與食指動作相關的信號的情況下，映射單元43僅對食指信號進行映射，例如選擇性地將其映射到頭部動作。對于特定的手指動作相關信號，映射單元43可以根據(jù)預先定義并預先存儲的映射關系來進行映射。然而，在一種實施方式中，映射關系也可以由用戶進行設定。具體地， 在一個實施例中，輔助裝置40還可以包括設定單元(未示出)，配置為接收用戶對映射關系的設定。通過作用為接口的設定單元，用戶可以根據(jù)自己的操作習慣設定期望的映射關系，例如設定將拇指動作映射到化身頭部動作，更具體地將拇指橫向擺動角度bl映射到點頭幅度Al，等等。繼而，映射單元43根據(jù)用戶設定的映射關系來進行手指信號與化身動作的映射。為了使得化身的動作更加協(xié)調(diào)，提高人機交互設備的可操作性，輔助裝置40還可以包括協(xié)調(diào)單元(未示出)，用于根據(jù)用戶的操作習慣協(xié)調(diào)化身的動作。在一個具體實施例中，如圖6A所示，拇指和食指的橫向擺動角度bl分別被映射到化身右臂和左臂的橫向擺動角度Bi。然而，由于拇指和食指靈活度以及運動極限存在區(qū)另IJ，拇指和食指的最大橫向擺動角度bl可能存在差異。這就有可能造成化身左臂和右臂的
9運動幅度不一致，動作不協(xié)調(diào)。為此，協(xié)調(diào)單元可以獲取每個手指關于每個動作參數(shù)的極限值，將該極限值對應到化身動作的極限幅度。例如，對于以上所述的手臂動作來說，協(xié)調(diào)單元獲取食指能夠達到的最大橫向擺動角度blmax，將該角度對應到化身右臂能夠達到的最大橫向擺動角度BlmaX(例如，180° )，并將食指自然狀態(tài)的擺動角度bl = 0對應到右臂在橫向的自然狀態(tài)Bl = 0。對于介于0和blmax之間的角度bl，協(xié)調(diào)單元計算其相對于 blmax的比例。進而，映射單元在進行映射時，按照計算的比例，將bl映射到0到Blmax之間的對應比例的角度Bi。對于拇指亦是如此。這樣，就使得化身的左臂右臂能夠分別在拇指和食指的控制下對稱協(xié)調(diào)地完成相應動作。為了獲取每個手指關于每個動作參數(shù)的極限值，在一個實施例中，協(xié)調(diào)單元通過接口程序引導用戶輸入該極限值。例如，協(xié)調(diào)單元可以提示用戶，盡量高地向上抬起手指， 然后盡量向下按壓人機交互設備，將此時從人機交互設備獲得的信號作為極限值信號，從而直接獲得食指的縱向運動的極限角度almax和a2maX。在另一個實施例中，協(xié)調(diào)單元可以通過訓練和自學習來獲知動作參數(shù)的極限值。 例如，協(xié)調(diào)單元可以向用戶提供一段化身的示范性動作，比如一段舞蹈，要求用戶操縱自己的化身模仿示范動作。通過觀察用戶化身的動作與示范動作之間的差距，協(xié)調(diào)單元可以確定該用戶的動作參數(shù)范圍與標準動作參數(shù)范圍之間的偏差，進而將該偏差傳送給映射單元 43，使其在進行映射時修正該偏差。針對不同的用戶，協(xié)調(diào)單元可以通過上述引導用戶輸入的方式或自學習的方式確定不同用戶的操作習慣，并將該操作習慣存儲為配置文件，供映射單元參考。由此，映射單元43在進行映射時，可以基于配置文件中的信息根據(jù)用戶操作習慣進行一定程度的修正， 使得映射之后化身的動作在合理范圍之內(nèi)。根據(jù)以上描述的具體實施例，虛擬世界輔助裝置40可以將人機交互設備20用于控制化身的動作，從而使得用戶能夠通過操作人機交互設備20自如地控制虛擬世界中的化身做出各種期望的動作?；谂c輔助裝置40同樣的發(fā)明構(gòu)思，本發(fā)明的實施例還提供了將人機交互設備用于虛擬世界的方法。圖7示出根據(jù)本發(fā)明一個實施例的將人機交互設備用于虛擬世界的方法的流程圖。如圖7所示，所述方法包括接收步驟71以及映射步驟73，在接收步驟71中從以上所述的人機交互設備接收至少一個信號，該至少一個信號是所述人機交互設備基于感測到的距離而提供的信號，用以表征至少一個手指的操作動作；在映射步驟73中，將所述至少一個信號分別映射到虛擬世界中的化身的身體局部的動作。具體地，在一個實施方式中，在步驟71中接收的至少一個信號是人機交互設備中的感測裝置直接產(chǎn)生的表示距離的信號?；诖?，在映射步驟73中，可以將這些距離信號直接映射到虛擬世界中化身的身體動作。或者，在映射步驟73中，可以首先將距離信號轉(zhuǎn)化為表示手指的操作動作的動作參數(shù)，例如手指繞第一關節(jié)的縱向運動角度al，繞第二關節(jié)的縱向運動角度a2，繞第一關節(jié)的橫向擺動角度bl等，然后將這些動作參數(shù)映射到虛擬世界中化身的動作。在另一個實施方式中，人機交互設備中所具備的處理電路已經(jīng)將距離信號轉(zhuǎn)化為動作參數(shù)。在這種情況下，在接收步驟71中接收到的是基于距離信號轉(zhuǎn)化的表示動作參數(shù)的信號，在映射步驟73中將動作參數(shù)映射到虛擬世界中化身的動作。下面結(jié)合具體實施例描述映射步驟73的映射過程。在該具體實施例中，在接收步驟71中接收到表示五個手指中每個手指的動作參數(shù)的信號，于是在映射步驟73中，首先將五個手指分別映射到虛擬世界的化身的四肢和頭部。圖8示出根據(jù)一個實施例的映射步驟的具體流程圖。在圖8的例子中，映射步驟73包括，步驟731，將拇指的動作參數(shù)映射到虛擬世界中化身的左臂的動作，步驟732，將食指的動作參數(shù)映射到化身右臂的動作，步驟 733，將中指的動作參數(shù)映射到化身左腿的動作，步驟734，將無名指的動作參數(shù)映射到化身右腿的動作，以及步驟735，將小指的動作參數(shù)映射到化身頭部的動作。進一步地，每個手指的動作參數(shù)都包括，手指繞其第一關節(jié)的縱向運動角度al，繞其第二關節(jié)的縱向運動角度a2，繞其第一關節(jié)的橫向擺動角度bl。因此，映射步驟73需要將每個動作參數(shù)映射到化身局部的具體動作。在一個例子中，步驟732包括，將食指的縱向運動角度al映射到化身的右臂在身體平面內(nèi)繞肩膀的豎直擺動角度Al，將食指的橫向擺動角度bl映射到右臂在水平平面內(nèi)繞肩膀的水平擺動角度Bi，并將食指的縱向運動角度 a2映射為右臂的小臂相對于大臂的擺動角度A2。類似地，步驟731中拇指的動作參數(shù)與左臂動作的映射過程與步驟732相同，不再贅述。對于中指的動作參數(shù)的映射過程，步驟733包括，將中指的橫向擺動角度bl映射到化身的左腿在身體平面內(nèi)繞髖關節(jié)的橫向左右擺動角度Bi，將中指的縱向運動角度al 映射到化身的左腿繞髖關節(jié)的縱向前后擺動角度Al，并將中指的縱向運動角度a2映射為左腿的小腿相對于大腿的擺動角度A2。類似地，步驟734中無名指的動作參數(shù)與右腿動作的映射過程與步驟733相同，不再贅述。對于小指的動作參數(shù)的映射過程，步驟735包括，將小指的橫向擺動角度bl映射到化身的擺頭角度Bi，并將小指的縱向運動角度al映射到化身的點頭角度Al。通過以上映射過程，將人機交互設備捕捉到的各個手指的操作信號轉(zhuǎn)化為虛擬世界中化身各個身體局部的動作，由此，能夠?qū)崿F(xiàn)對化身各個身體局部的同時分別控制。可以理解，盡管以上具體描述了一個實施例中的具體映射步驟，但是，取決于人機交互設備的配置和對化身動作控制性的需要，在映射步驟73中可以依據(jù)其他映射關系來進行映射。其他映射關系的舉例如參照輔助裝置進行的描述，不再贅述。對于特定的手指動作相關信號，映射步驟73中進行映射所依據(jù)的映射關系可以是預先定義的，也可以根據(jù)用戶的需求來設定。相應地，在一種實施方式中，圖7的方法還可以包括設定步驟(未示出)，在該步驟中，接收用戶對映射關系的設定。繼而，在映射步驟 73中，就可以根據(jù)用戶設定的映射關系進行映射。為了使得化身的動作更加協(xié)調(diào)，提高人機交互設備的可操作性，圖7的方法還可以包括協(xié)調(diào)步驟(未示出)，用于根據(jù)用戶的操作習慣協(xié)調(diào)化身的動作。在一個實施例中， 協(xié)調(diào)步驟包括，獲取每個手指關于每個動作參數(shù)的極限值，并將極限值之內(nèi)的動作參數(shù)轉(zhuǎn)化為相對于極限值的比例。進而，在映射步驟中，就可以按照計算的比例，將動作參數(shù)映射到對應比例的化身動作幅度。這樣，就使得化身的左臂和右臂以及左腿和右腿能夠分別在不同手指的控制下對稱協(xié)調(diào)地完成相應動作。為了獲取每個手指關于每個動作參數(shù)的極限值，根據(jù)一個實施例，在協(xié)調(diào)步驟中通過引導用戶的輸入而直接獲得各極限值。根據(jù)另一個實施例，在協(xié)調(diào)步驟中，通過訓練和自學習來獲知動作參數(shù)的極限值。由此，圖7所示的將人機交互設備用于虛擬世界的方法能夠?qū)⒂脩魧θ藱C交互設
11備的操作轉(zhuǎn)化為化身的動作，從而使得用戶能夠通過操作人機交互設備自如地控制虛擬世界中的化身做出各種期望的動作。更為具體的描述和示例與上述對輔助裝置的描述一致， 在此不再贅述。本領域技術人員可以理解，上述將人機交互設備用于虛擬世界的輔助裝置及其方法可以使用計算機可執(zhí)行指令和/或包含在處理器控制代碼中來實現(xiàn)，例如在諸如磁盤、 CD或DVD-ROM的載體介質(zhì)、諸如只讀存儲器(固件)的可編程的存儲器或者諸如光學或電子信號載體的數(shù)據(jù)載體上提供了這樣的代碼。本實施例的裝置及其單元可以由諸如超大規(guī)模集成電路或門陣列、諸如邏輯芯片、晶體管等的半導體、或者諸如現(xiàn)場可編程門陣列、可編程邏輯設備等的可編程硬件設備的硬件電路實現(xiàn)，也可以用由各種類型的處理器執(zhí)行的軟件實現(xiàn)，也可以由上述硬件電路和軟件的結(jié)合實現(xiàn)。用于執(zhí)行本發(fā)明的操作的軟件和程序代碼，可以用一種或多種程序設計語言的組合來編寫，包括但不限于，面向?qū)ο蟮某绦蛟O計語言，諸如Java，Smalltalk，C++之類，以及常規(guī)的過程式程序設計語言，諸如C程序設計語言或類似的程序設計語言。程序代碼可以本地地或遠程地在計算機上執(zhí)行，以完成設定的操作。雖然以上結(jié)合具體實施例，對本發(fā)明的人機交互設備、將人機交互設備用于虛擬世界的裝置和方法進行了詳細描述，但本發(fā)明并不限于此。本領域普通技術人員能夠在說明書教導之下對本發(fā)明進行多種變換、替換和修改而不偏離本發(fā)明的精神和范圍。應該理解，所有這樣的變化、替換、修改仍然落入本發(fā)明的保護范圍之內(nèi)。本發(fā)明的保護范圍由所附權(quán)利要求來限定。
1權(quán)利要求
1.一種人機交互設備，在所述設備上布置有至少一個感測裝置，所述至少一個感測裝置包括操作部分，用以接收用戶的至少一個手指的操作動作；以及至少一個距離傳感器，用以感測所述操作部分相對于所述設備中至少一個固定位置的距離，并生成至少一個距離信號，所述至少一個距離信號用以表征所述至少一個手指的操作動作。
2.根據(jù)權(quán)利要求1的人機交互設備，其中所述操作部分包括按壓板和拉環(huán)中的至少一個，所述按壓板用以接收手指對操作部分的按壓，所述拉環(huán)用以接收手指從操作部分的抬起。
3.根據(jù)權(quán)利要求1或2的人機交互設備，其中所述至少一個距離傳感器用以感測所述操作部分相對于所述設備中兩個固定位置的兩個距離。
4.根據(jù)權(quán)利要求1的人機交互設備，其中所述至少一個感測裝置包括，針對同一手指的不同部位設置的兩個或更多個感測裝置。
5.根據(jù)權(quán)利要求1的人機交互設備，還包括處理電路，所述處理電路接收所述至少一個距離信號，根據(jù)接收的信號計算所述至少一個手指的動作參數(shù)。
6.根據(jù)權(quán)利要求5的人機交互設備，其中所述處理電路將所述動作參數(shù)傳送到支持虛擬世界的系統(tǒng)。
7.—種虛擬世界輔助裝置，用以將權(quán)利要求1-6中任一項的人機交互設備用于虛擬世界中，所述輔助裝置包括接收單元，配置為從所述人機交互設備接收至少一個信號，所述至少一個信號是所述人機交互設備基于感測到的距離而提供的信號，并且所述至少一個信號用于表征至少一個手指的操作動作；以及映射單元，配置為將所述至少一個信號分別映射到虛擬世界中的化身的身體局部的動作。
8.根據(jù)權(quán)利要求7的輔助裝置，其中所述至少一個信號是表示距離的信號，所述映射單元將所述至少一個信號轉(zhuǎn)化為至少一個手指的動作參數(shù)。
9.根據(jù)權(quán)利要求7的輔助裝置，其中所述至少一個信號是基于感測到的距離而轉(zhuǎn)化的信號，其表示至少一個手指的動作參數(shù)。
10.根據(jù)權(quán)利要求8或9的輔助裝置，其中所述映射單元配置為，將一個手指的動作參數(shù)映射到化身手臂的動作，將另一個手指的動作參數(shù)映射到化身腿部的動作。
11.根據(jù)權(quán)利要求7的輔助裝置，還包括設定單元，配置為接收用戶設定的映射關系， 并且其中，所述映射單元配置為，根據(jù)所述設定單元接收的映射關系來映射所述至少一個信號。
12.根據(jù)權(quán)利要求7的輔助裝置，還包括協(xié)調(diào)單元，配置為用于根據(jù)用戶的操作習慣協(xié)調(diào)化身的動作。
13.根據(jù)權(quán)利要求12的輔助裝置，其中所述協(xié)調(diào)單元還配置為，獲取至少一個手指的操作動作的極限值，將所述極限值對應到化身局部的動作極限，將所述極限值之內(nèi)的操作動作按比例對應到化身局部的動作幅度。
14.一種方法，用以將權(quán)利要求1-6中任一項的人機交互設備用于虛擬世界中，所述方法包括接收步驟，在其中從所述人機交互設備接收至少一個信號，所述至少一個信號是所述人機交互設備基于感測到的距離而提供的信號，并且所述至少一個信號用于表征至少一個手指的操作動作；以及映射步驟，在其中將所述至少一個信號分別映射到虛擬世界中的化身的身體局部的動作。
15.根據(jù)權(quán)利要求14的方法，其中所述至少一個信號是表示距離的信號，在所述映射步驟中還將所述至少一個信號轉(zhuǎn)化為至少一個手指的動作參數(shù)。
16.根據(jù)權(quán)利要求14的方法，其中所述至少一個信號是基于感測到的距離轉(zhuǎn)化的信號，其表示至少一個手指的動作參數(shù)。
17.根據(jù)權(quán)利要求15或16的方法，其中所述映射步驟包括，將一個手指的動作參數(shù)映射到化身手臂的動作，將另一個手指的動作參數(shù)映射到化身腿部的動作。
18.根據(jù)權(quán)利要求14的方法，還包括，接收用戶設定的映射關系，并且在所述映射步驟中，根據(jù)所述用戶設定的映射關系來映射所述至少一個信號。
19.根據(jù)權(quán)利要求14的方法，還包括協(xié)調(diào)步驟，在其中根據(jù)用戶的操作習慣協(xié)調(diào)化身的動作。
20.根據(jù)權(quán)利要求19的方法，其中協(xié)調(diào)步驟包括，獲取至少一個手指的操作動作的極限值，將所述極限值對應到化身局部的動作極限，將所述極限值之內(nèi)的操作動作按比例對應到化身局部的動作幅度。
全文摘要
一種人機交互設備，以及將該設備用于虛擬世界的裝置和方法。所述人機交互設備上布置有感測裝置，感測裝置包括操作部分和距離傳感器，操作部分接收用戶手指的操作動作，距離傳感器感測操作部分相對于固定位置的距離，并生成距離信號用以表征操作動作。還提供了虛擬世界輔助裝置，用以將上述人機交互設備用于虛擬世界，包括接收單元，配置為從人機交互設備接收信號，所述信號基于距離信號，用以表征操作動作；以及映射單元，配置為將所述信號分別映射到虛擬世界中的化身的身體局部的動作。還提供了與輔助裝置對應的方法。通過本發(fā)明，能夠感測操作的多元信號，并利用多元信號實現(xiàn)對化身動作的自由控制。
文檔編號G06F3/01GK102478960SQ20101057703
公開日2012年5月30日 申請日期2010年11月29日 優(yōu)先權(quán)日2010年11月29日
發(fā)明者朱子玉, 李起成, 王健, 王宜敏 申請人:國際商業(yè)機器公司