專利名稱：基于姿態(tài)的用戶交互的處理的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總地涉及交互顯示系統(tǒng)。本發(fā)明涉及在三維環(huán)境中用交互顯示器來(lái)處理基 于姿態(tài)的用戶交互的用戶界面。
背景技術(shù)：
很多已有的交互技術(shù)都依賴二維相機(jī)。由這些相機(jī)所產(chǎn)生的二維數(shù)據(jù)很難可靠地 解析以達(dá)到從背景中分離出前景的目的。結(jié)果，就難于分離出用戶的手或其他肢體并追蹤 其相應(yīng)的動(dòng)作。對(duì)于給交互顯示系統(tǒng)提供數(shù)據(jù)來(lái)說(shuō)，不佳的分離和追蹤數(shù)據(jù)會(huì)產(chǎn)生各種困難。如 果交互顯示系統(tǒng)不能收集數(shù)據(jù)來(lái)控制或操縱通過(guò)其所提交的信息，那么用戶就可能被強(qiáng)制 來(lái)依靠例如鍵盤、操縱桿和制動(dòng)器的物理對(duì)象和執(zhí)行器件的按鈕按壓或操縱了。一旦用戶 被強(qiáng)制依靠物理儀器來(lái)提供輸入，則就會(huì)使得交互顯示系統(tǒng)所提供的很多優(yōu)點(diǎn)盡失。這就需要對(duì)交互顯示系統(tǒng)進(jìn)行基于姿態(tài)的用戶交互的處理。

發(fā)明內(nèi)容
在第一實(shí)施例中，公開了一種用來(lái)處理具有交互顯示器的基于姿態(tài)的用戶交互的 方法。通過(guò)該方法，可以收集在所定義的三維空間中的對(duì)象的三維信息。識(shí)別作為相應(yīng)于 在所定義的三維空間中的用戶手的一部分三維信息。數(shù)字對(duì)象屏幕上(on-screen)的圖像 被顯示為與用戶的物理外形關(guān)聯(lián)并與其近似的屏幕上的圖像。所顯示的屏幕上的圖像近似 于用戶但并不與所顯示的數(shù)字對(duì)象交互。顯示在所定義的三維空間中用戶的手所相應(yīng)的圖 標(biāo)。該圖標(biāo)能與所顯示的數(shù)字對(duì)象交互。在實(shí)施例中還公開了第二種用于處理具有交互顯示的基于姿態(tài)的用戶交互的方 法。在這個(gè)實(shí)施例中，收集在所定義的三維空間中有關(guān)用戶的三維信息。所定義的三維為 空間包括體量區(qū)域(volumetric zone) 0由該三維信息所限定的每個(gè)用戶的一部分位于一 個(gè)或多個(gè)體量區(qū)域內(nèi)。一部分三維信息相應(yīng)于在所定義的三維空間中的用戶之一的手。所 顯示的屏幕上的數(shù)字對(duì)象是當(dāng)前用戶之一是否能與該顯示的數(shù)字交互的指示。該指示相應(yīng) 于在一個(gè)或多個(gè)體量區(qū)域中的用戶位置。第三實(shí)施例是另一種用于處理具有交互顯示的基于姿態(tài)的用戶交互的方法。收集 在所定義的三維空間中有關(guān)對(duì)象的三維信息并識(shí)別一部分三維信息來(lái)相應(yīng)于在所定義的 三維空間中用戶的手。顯示數(shù)字對(duì)象的屏幕上的圖像并且其具有在視覺上可見的動(dòng)作狀 態(tài)，該動(dòng)作狀態(tài)相應(yīng)于用戶是否已經(jīng)超出了該數(shù)字對(duì)象的動(dòng)作級(jí)別閾值。顯示用來(lái)與該數(shù) 字對(duì)象的屏幕上的圖像交互的圖標(biāo)，該圖標(biāo)相應(yīng)于在所定義的三維空間中的用戶的手。該的位置。在另外的實(shí)施例中，公開了另一種用于處理具有交互顯示的基于姿態(tài)的用戶交互 的方法。收集在所定義的三維空間中有關(guān)對(duì)象的三維信息并識(shí)別一部分三維信息來(lái)相應(yīng)于 在所定義的三維空間中的用戶的手。顯示數(shù)字對(duì)象的屏幕上的圖像，其具有動(dòng)作級(jí)別的閾 值。顯示用來(lái)與該數(shù)字對(duì)象的屏幕上的圖像交互的圖標(biāo)，該圖標(biāo)相應(yīng)于在所定義的三維空 間中的用戶的手。僅當(dāng)所顯示的數(shù)字對(duì)象的動(dòng)作級(jí)別閾值已被超過(guò)時(shí)，該圖標(biāo)才可以控制 與該數(shù)字對(duì)象關(guān)聯(lián)的行為。作為該圖標(biāo)隨時(shí)間接近該數(shù)字對(duì)象所關(guān)聯(lián)區(qū)域的結(jié)果，數(shù)字對(duì) 象的動(dòng)作級(jí)別閾值被超過(guò)。


圖1圖示了一個(gè)示例性的平板交互系統(tǒng)。圖2圖示了一個(gè)包括體量區(qū)域的交互顯示空間。圖3圖示了一個(gè)包括體量區(qū)域的交互顯示空間的另一個(gè)實(shí)施例。圖4圖示了一個(gè)用來(lái)處理基于姿態(tài)的交互的示例性方法。圖5圖示了手/用戶代表的vis-0-vis選擇級(jí)別。圖6圖示了用戶的物理位置如何被映射到數(shù)字對(duì)象的顯示虛擬世界。圖7圖示了如何將用戶的物理位置映射到數(shù)字對(duì)象的所顯示的虛擬世界中的另 一個(gè)實(shí)施例。
具體實(shí)施例方式圖1圖示了示例性的平板交互系統(tǒng)100。系統(tǒng)100包括顯示器160、三維影像系統(tǒng) 110、計(jì)算系統(tǒng)130和可選的照明器120。系統(tǒng)100可以根據(jù)構(gòu)成因素而配置。顯示器160可以假定包括了能顯示視頻圖像的顯示器的任意變化的配置。在一個(gè) 實(shí)施例中，例如，顯示器160為液晶顯示器(IXD)、等離子顯示屏或有機(jī)發(fā)光二極管顯示屏 (OLED)等的平板顯示器。顯示器可以替換性地包括但不限于，陰極射線管(CRT)、電子墨水 顯示屏、背投顯示器、正投顯示器、例如NEC售賣的WT600投影儀的離軸(off-axis)正(或 背)投影儀、例如透鏡三維視頻屏幕等能產(chǎn)生三維圖像的屏幕、或例如源自102 Technology USA公司的Heliodisplay 屏的霧屏。可以平鋪多個(gè)屏幕而形成一個(gè)巨大的顯示器。系統(tǒng) 100可以包括多個(gè)交互顯示器160，從而能讓多個(gè)用戶同時(shí)與系統(tǒng)100交互。在一種配置(例如圖1的配置)中，系統(tǒng)100的各個(gè)組件可以被安裝在一面墻上。 系統(tǒng)100的組件替換性地可以被安置在天花板、獨(dú)立支架上，或安裝在桌面或兩側(cè)上。獨(dú)立 支架系統(tǒng)可以包括一個(gè)大基座，或者也可以為了穩(wěn)定而固定在地面上。集成了三維對(duì)象的系統(tǒng)100的實(shí)施例可以使用三維硬件和軟件系統(tǒng)，其中例如顯 示器160可以是圓柱或球形。例如地面、桌面等這些或其他形成因素的配置或墻面投影系 統(tǒng)同樣地也可以使用三維影像系統(tǒng)。在這樣的實(shí)施例中，三維影像系統(tǒng)110可以覆蓋顯示 器周圍的區(qū)域。投影儀可以用來(lái)形成顯示器，例如地面投影，其中安裝在天花板上的投影儀 向地面投射圖像，允許用戶140可以在屏幕區(qū)域上行走。投影還可以在桌面、前面或其他表 面投射。可以使用多個(gè)投影儀和多個(gè)三維影像系統(tǒng)來(lái)形成地面、前面或其他表面上的交互 的擴(kuò)展區(qū)域。
5
系統(tǒng)100的實(shí)施例可以改變尺寸。例如，三維影像系統(tǒng)110可以被附著在膝上型 計(jì)算機(jī)監(jiān)視器的頂部從而可以讓用戶攜帶。膝上型電腦本身也可以當(dāng)計(jì)算系統(tǒng)130來(lái)操作 并能處理三維影像軟件以及產(chǎn)生視覺效果。如上所述，系統(tǒng)100包括照明器120。在圖1中三維影像系統(tǒng)110和照明器120的 位置如圖所示。三維影像系統(tǒng)100和照明器120可以安裝在相對(duì)于顯示器160和/或其他 組件的任意位置。此外，三維影像系統(tǒng)110和照明器120還可以有多種實(shí)例。三維影像系 統(tǒng)110和/或照明器120可以使用一個(gè)或多個(gè)鏡面或其他反射表面(未示出)來(lái)改變交互 區(qū)域170的位置。系統(tǒng)100可以使用麥克風(fēng)或麥克風(fēng)陣列來(lái)捕捉音頻輸入并且也可以使用揚(yáng)聲器 來(lái)產(chǎn)生音頻輸出。麥克風(fēng)可以是定向的，以便更好地從沒有背景噪聲的特定用戶捕捉音頻。 揚(yáng)聲器也可以是定向的，以便將音頻聚焦到特定的用戶和特定的區(qū)域。定向揚(yáng)聲器的實(shí)例 除了由Dakota Audio,Holosonics禾口圣迭戈的American Technology Corporation(ATCSD) 所制造的系統(tǒng)外，還包括來(lái)自BrownInnovation的Maestro 和SoloSphere 。三維影像系統(tǒng)110可以使用立體影像來(lái)實(shí)現(xiàn)。立體影像系統(tǒng)使用從兩部或多部相 機(jī)來(lái)的信息建立三維圖像。使用了例如基于Marro-Poggio算法等的算法的三維計(jì)算機(jī)影 像技術(shù)可以將從略微不同的角度對(duì)相同場(chǎng)景所拍攝的兩個(gè)或更多的圖像作為輸入?；贛arro-Poggio的算法僅僅是立體算法的一個(gè)實(shí)例，因?yàn)樗麄儼l(fā)現(xiàn)了相應(yīng)于 相同物理對(duì)象的相同部分的不同相機(jī)圖像的紋理塊。在圖像中塊的位置之間的不同可以確 定從相機(jī)到該塊的距離，從而為該塊提供了三維位置數(shù)據(jù)。但當(dāng)處理單色對(duì)象時(shí)，由于單色很難在不同的圖像中匹配相應(yīng)的塊，因此該算法 的性能趨于退化。因此，如果照明器120產(chǎn)生紋理化的光，則不同的單色紋理就能改善一些 三維計(jì)算機(jī)影像算法的距離估算?？梢杂迷谌S影像系統(tǒng)110中的示例性的立體相機(jī)包括Tyzx DeepSea 和Point Grey Bumblebee .這些相機(jī)可以是單色的或彩色的，并且可以對(duì)包括可見光、近紅外線、遠(yuǎn) 紅外線以及紫外線等電磁光譜的一個(gè)或多個(gè)特定頻段敏感。三維影像系統(tǒng)110還可以使用時(shí)差測(cè)距相機(jī)來(lái)實(shí)現(xiàn)。時(shí)差測(cè)距相機(jī)為圖像的每個(gè) 像素檢測(cè)距離信息。每個(gè)像素的距離信息可以包括從相機(jī)到從該像素所見對(duì)象的距離。時(shí) 差測(cè)距相機(jī)通過(guò)計(jì)時(shí)可見光脈沖從鄰近相機(jī)的光源傳播到要被成像的對(duì)象接著再返回到 相機(jī)所花費(fèi)的時(shí)間來(lái)獲得距離數(shù)據(jù)。光脈沖可以迅速地返復(fù)從而使得時(shí)差測(cè)距相機(jī)能有類 似于攝像機(jī)幀率的幀率。雖然時(shí)差測(cè)距相機(jī)通常在每秒30幀時(shí)具有1-2米的范圍，但這個(gè) 范圍可以通過(guò)延長(zhǎng)曝光時(shí)間而增加，同時(shí)可以降低幀頻。時(shí)差測(cè)距相機(jī)的制造商包括加州 Sunnyvale 的 Canesta Inc.禾口以色列的 3DV System。三維影像系統(tǒng)110的實(shí)施例還可以使用激光測(cè)距儀、安裝有成對(duì)的結(jié)構(gòu)化投光器 的相機(jī)、激光掃描儀、激光行掃描儀、超聲波成像器、能通過(guò)從幾部相機(jī)的前景圖像的交疊 而得到三維數(shù)據(jù)的系統(tǒng)，上述的任意組合來(lái)實(shí)現(xiàn)。多個(gè)三維影像系統(tǒng)110可以同時(shí)使用，以 使它們的三維數(shù)據(jù)合并在一起，形成描述交互區(qū)域內(nèi)對(duì)象的統(tǒng)一數(shù)據(jù)集合。雖然在系統(tǒng)100的一些實(shí)施例中背景照明可能就足夠了，但也必須使用照明器 120以通過(guò)處理設(shè)備(例如，在三維影像系統(tǒng)110或在計(jì)算設(shè)備130中)改進(jìn)通過(guò)執(zhí)行立體 算法而要被處理的文理數(shù)據(jù)。通過(guò)光的圖案照射在交互區(qū)域中的對(duì)象，照明器120提高了使用立體算法來(lái)匹配塊的文理數(shù)據(jù)量。照明器120可以產(chǎn)生圖案化和/或不均勻的光圖案 以提高使用立體算法的對(duì)象的檢測(cè)。在一些實(shí)例中，照明器120可以簡(jiǎn)單地提供與顯示器 160交互的用戶的額外照明。照明器120可以包括集中光源，例如高功率發(fā)光二級(jí)管(LED)、白熾燈泡、鹵素?zé)?泡、金屬鹵化物燈泡以及弧光燈?？梢酝瑫r(shí)使用多個(gè)集中光源，或使用相同的散射系統(tǒng)作為 第一光源或使用單獨(dú)的光源。應(yīng)當(dāng)注意的是，基本上校準(zhǔn)的光源(例如具有拋物面鏡或一 個(gè)或多個(gè)深照型LED的燈)可以用來(lái)代替集中光源而取得類似的結(jié)果。照明器120可以使用各種圖案，例如隨機(jī)點(diǎn)的圖案、在變化的長(zhǎng)度比例上提供噪 聲的碎片噪聲圖案、以及包括一組平行線的圖案。平行線可以是隨機(jī)的并能根據(jù)其距離而 改變以提供有價(jià)值的紋理?？梢允褂酶鞣N方法來(lái)產(chǎn)生這樣的圖案。例如，照明器120可以 包括設(shè)計(jì)來(lái)投射通過(guò)視頻輸入電纜提供的任意圖像的視頻投影儀。圖像可以隨時(shí)間而改變 以優(yōu)化三維影像系統(tǒng)110的性能。例如，圖案可以在三維影像系統(tǒng)110的相機(jī)圖像由于光 線而變得飽和的區(qū)域中暗淡，而在對(duì)象臨近相機(jī)的區(qū)域內(nèi)變得具有較高的分辨率?？梢允?用多個(gè)視頻投影儀來(lái)覆蓋整個(gè)交互區(qū)域。照明器120還可以使用結(jié)構(gòu)化投光器來(lái)投射靜態(tài)或隨時(shí)間而變化的圖案。結(jié)構(gòu)化 投光器的實(shí)例包括來(lái)自ABW的IXD-640 和MiniRot-hl 。在另一實(shí)施例中，圖案可以由幻 燈機(jī)產(chǎn)生，其包括光源、具有圖像的透明幻燈片以及鏡頭系統(tǒng)或弧光鏡系統(tǒng)來(lái)投射幻燈片 的圖像?？梢允褂枚鄠€(gè)幻燈機(jī)來(lái)覆蓋整個(gè)交互區(qū)域。在另一實(shí)施例中，由高度集中的光源 (從很小的區(qū)域發(fā)出的光)產(chǎn)生圖案。替換地，可以使用反射或折射系統(tǒng)。照明器120可以使用例如近紅外光源等的可見或最低程度的可見光源以避免在 用戶所注意的地面上產(chǎn)生圖案。替換地，照明器120可以具有能發(fā)出可見以及不可見光的 光源并可以包括濾波器來(lái)降低可見光，而保留不可見光。照明器120和相機(jī)在同步相機(jī)曝 光時(shí)可以通過(guò)照明器120的脈沖調(diào)制來(lái)選通從而降低或消除環(huán)境光的影響。三維影像系統(tǒng) 110可以包含有光學(xué)濾波器，其可以抑制并非由照明器120所發(fā)出的波長(zhǎng)的光，從而使得從 照明器120發(fā)出的光在由影像系統(tǒng)110所捕獲的圖像中更顯著地表現(xiàn)出來(lái)。影像軟件可以在三維影像系統(tǒng)110或與影像系統(tǒng)110耦合的計(jì)算設(shè)備130中執(zhí) 行。影像軟件的執(zhí)行可以提高捕獲的圖像數(shù)據(jù)的有效性。例如，當(dāng)使用多個(gè)三維相機(jī)時(shí)， 影像軟件可以輔助相機(jī)的校準(zhǔn)以便從相機(jī)來(lái)的數(shù)據(jù)能被整合到相同的坐標(biāo)空間(即，兩部 相機(jī)可以從不同的角度覆蓋相似的地區(qū)以從多個(gè)角度提供該區(qū)域的覆蓋)。這些相機(jī)可以 覆蓋不同的區(qū)域，其中一部相機(jī)可以集中于臨近的交互而另一部相機(jī)則集中于遠(yuǎn)距離的交 互。立體處理的質(zhì)量和分辨率還可以通過(guò)影像軟件的執(zhí)行而改變和完成。例如，靠近顯示 器160的區(qū)域可以以較高的分辨率處理以便以更高的精確度來(lái)分辨臨近顯示器160的用戶 140的各個(gè)手指150?？梢允褂枚喾N方法來(lái)消除在三維數(shù)據(jù)中的錯(cuò)誤和噪聲。例如，可以使用背景方法 來(lái)將在特定時(shí)間周期內(nèi)從已知沒有移動(dòng)的相機(jī)視場(chǎng)的區(qū)域來(lái)的三維數(shù)據(jù)屏蔽。這些背景方 法(以及所知的背景減少方法)可以是自適應(yīng)性的，允許背景方法隨時(shí)間調(diào)整在背景中的 變化。這些背景方法可以使用從相機(jī)來(lái)的亮度、色度和/或距離數(shù)據(jù)來(lái)形成背景并確定前 景。一旦確定了前景，則就可以消除從前景區(qū)域外收集的三維數(shù)據(jù)。在另一實(shí)施例中，可以使用彩色相機(jī)來(lái)為用戶140以及在顯示器160前的其他對(duì)象的三維數(shù)據(jù)獲得色度數(shù)據(jù)。可以使用該色度數(shù)據(jù)來(lái)得到用戶140的彩色三維的表示，這 就能識(shí)別并跟蹤它們的相似度?？梢赃B續(xù)地顯示所識(shí)別并跟蹤的用戶的相似度?？梢詫?duì)作為從相機(jī)到從相機(jī)的的視點(diǎn)來(lái)的相機(jī)圖像的每個(gè)像素的距離的深度圖 像使用噪聲過(guò)濾，或直接對(duì)由影像系統(tǒng)110收集的三維數(shù)據(jù)使用噪聲過(guò)濾。可以將例如中 值過(guò)濾等的平滑和平均技術(shù)應(yīng)用到相機(jī)深度圖像中來(lái)降低深度的錯(cuò)誤。如果三維數(shù)據(jù)集合 并不相應(yīng)于較大的形狀，則就從它們中去除單獨(dú)的點(diǎn)或點(diǎn)的小簇，從而在保留用戶原樣的 同時(shí)消除噪聲?？梢砸愿鞣N方式來(lái)分析三維數(shù)據(jù)以產(chǎn)生高級(jí)信息。例如，可以檢測(cè)用戶的指尖、手 指和手(在圖1中用組件150集中表示)。能做到這樣的方法包括各種形狀識(shí)別和對(duì)象識(shí) 別算法?？梢允褂枚S和/或三維的空間、時(shí)間、色度或亮度數(shù)據(jù)的任意組合來(lái)對(duì)對(duì)象分 割。此外，在上述域的各種線性或非線性變換中也可以對(duì)對(duì)象分割。對(duì)象檢測(cè)算法的實(shí)例 包括，但不限于，可變形的模板匹配、Hough變換以及在適合變換的空間中的空間臨近像素 和/或體素的聚合。作為另一個(gè)實(shí)施例，可以對(duì)從屬于用戶140的三維點(diǎn)分簇并標(biāo)記以便能識(shí)別出從 屬于該用戶的點(diǎn)的簇。各個(gè)身體部分，例如用戶140的手和手臂(190)可以被分割來(lái)作為 記號(hào)。點(diǎn)還可以在三維空間中使用例如k-means或分級(jí)成簇等無(wú)管理的方法分簇。所識(shí)別 的簇接下來(lái)可以進(jìn)入特征抽取和分類引擎。特征抽取和分類并不限于三維空間數(shù)據(jù)還可以 被應(yīng)用到例如二維空間、亮度、色度或變換本身等其他數(shù)據(jù)域中的在先特征抽取或分類。通過(guò)各種方法可以將骨骼模型映射到從屬于給定用戶140的三維點(diǎn)，這些方法 包括但不限于期望值最大化、梯度下降、粒子過(guò)濾以及特征跟蹤。此外，例如eignface或 fisherface等的面部識(shí)別算法可以使用從影像系統(tǒng)來(lái)的例如二維和/或三維空間、時(shí)間、 色度和亮度數(shù)據(jù)等的數(shù)據(jù)來(lái)識(shí)別用戶以及它們的面部表情。所使用的面部識(shí)別算法可以是 基于圖像或基于視頻。該信息可以被使用來(lái)識(shí)別用戶，特別是在它們離開再返回到交互區(qū) 域以及基于面部、性別、身份、種族、面部表情或其他特征而改變與顯示的內(nèi)容交互的情況。指尖或身體的其他部分可以隨時(shí)間而被追蹤以便識(shí)別特定的姿態(tài)，例如推、抓、 落、戳，和/或描繪使用手指的形狀、捏和其他這類的運(yùn)動(dòng)。三維影像系統(tǒng)110可以被特殊配置來(lái)檢測(cè)除用戶140外的特定對(duì)象。這種檢測(cè)可 以使用可執(zhí)行的對(duì)象識(shí)別算法以識(shí)別對(duì)象的外形或形狀的特定方面，由RFID讀取器(未示 出)讀取的對(duì)象中的射頻識(shí)別(RFID)標(biāo)簽以提供識(shí)別信息，和/或?qū)ο笊系奶囟▓D案中所 選通的光源以提供識(shí)別信息。用戶140或由三維影像系統(tǒng)110所檢測(cè)的其他對(duì)象可以在顯示器160中表示?？?以使用在顯示器160上用戶140的表示162來(lái)讓用戶與顯示器160上顯示的虛擬的、數(shù)字 對(duì)象164(其可以與虛擬或數(shù)字對(duì)象相互交換)交互。通過(guò)給定用戶的位置(162)相對(duì)于 數(shù)字對(duì)象164的可視化指示能使得交互很方便。這種表示可以包括用戶或其他對(duì)象的數(shù)字陰影。例如，二維形狀表示相應(yīng)于用戶 身體的三維數(shù)據(jù)投射在平面上。二維形狀可以與用戶的形狀或尺寸接近。依靠本發(fā)明的特 定實(shí)施例，用戶(或其一部分)的表示可以或不必與在顯示器160上的數(shù)字對(duì)象164交互。還可以使用用戶或其他對(duì)象的數(shù)字輪廓來(lái)表示在顯示器160上與數(shù)字對(duì)象164交 互的用戶162。該數(shù)字輪廓還可以被視為數(shù)字陰影的邊界。類似于數(shù)字陰影，該輪廓可以與
8用戶的形狀和大小近似。這個(gè)形狀可以加色、加高亮、進(jìn)行渲染，或在顯示前進(jìn)行任意的處理。表示用戶手(150)或身體其他部分(190)或其他對(duì)象的各種其他的圖像、圖標(biāo)、或 二維或三維渲染可以在顯示器160上進(jìn)行渲染以達(dá)到與數(shù)字對(duì)象164交互的目的。例如， 用戶的手150可以在顯示器160上表示為用戶實(shí)際手的近似或作為相應(yīng)于手的“類似手”的 圖標(biāo)。其他的交互和表示方法包括當(dāng)用戶的手處在能與屏幕上的對(duì)象交互的位置上時(shí)，在虛擬空間中渲染的用戶的 外形可以與所顯示的用戶的手上的標(biāo)記結(jié)合在一起。例如，手上的標(biāo)記可以僅僅在手在屏 幕上點(diǎn)觸時(shí)才顯示出來(lái)。表示從影像系統(tǒng)100的三維數(shù)據(jù)的點(diǎn)云(point cloud)來(lái)的用戶或其他對(duì)象的點(diǎn) 可以顯示為對(duì)象，其可以是很小和/或半透明的。可以使用表示用戶手指(150)位置的光標(biāo)。當(dāng)用戶140的手指150能在虛擬空間 中進(jìn)行特定類型的交互時(shí)，這些光標(biāo)可以被顯示出來(lái)或改變外形?？梢允褂醚刂脩羯眢w的各個(gè)部分移動(dòng)和/或附著與用戶身體各個(gè)部分的對(duì)象。 例如，用戶140可以戴一頂頭盔，其可以隨著用戶頭170的移動(dòng)和旋轉(zhuǎn)而移動(dòng)和旋轉(zhuǎn)。數(shù)字化身用以匹配移動(dòng)時(shí)用戶140的身體位置或其他對(duì)象。在一個(gè)實(shí)施例中，數(shù) 字化身被映射到用戶位置的骨骼模型。上述的表示可以隨意組合。在一些實(shí)施例中，表示可以基于用戶所能與屏幕上的對(duì)象交互的形式而改變外 形。例如，用戶可以被顯示為灰色的陰影且不能那個(gè)與對(duì)象交互直到它們進(jìn)入到顯示器160 的特定距離內(nèi)，在此點(diǎn)它們的陰影會(huì)改變顏色并且它們能開始與屏幕上的對(duì)象交互。給定可以由三維影像系統(tǒng)110抽取并收集的大量潛在特征和在屏幕上能顯示的 各種虛擬對(duì)象164，并且在用戶140和虛擬對(duì)象164之間存在大量潛在交互。潛在交互的一 些實(shí)例包括能延伸到第三維的基于作用力的二維交互和基于影響圖像的交互。因此，有關(guān) 用戶位置的三維數(shù)據(jù)能被用來(lái)產(chǎn)生三維影響圖像以影響三維對(duì)象的移動(dòng)。在二維和三維中 的這些交互使得在虛擬對(duì)象164上用戶所施加的作用力的強(qiáng)度和方向能被計(jì)算出來(lái)，從而 使得用戶控制他們?nèi)绾巫矒麸@示器160上對(duì)象的移動(dòng)。用戶140(或他們所顯示的代表162)可以通過(guò)與在虛擬空間中的他們交疊而與數(shù) 字對(duì)象164交互。這樣的交疊可以在從用戶來(lái)的三維或三維數(shù)據(jù)中計(jì)算并可以被投影到二 維中并被計(jì)算為二維交疊?？梢曰趶挠脩魜?lái)的三維數(shù)據(jù)產(chǎn)生視覺效果。例如，可以使用三維位置數(shù)據(jù)或其 一部分產(chǎn)生發(fā)光、扭曲、粒子發(fā)射、火焰軌跡，或其他視覺效果。視覺效果還可以基于特定的 身體部位的位置。例如，用戶可以通過(guò)將他們的手合攏而產(chǎn)生虛擬火球。用戶140可以使 用特定的手持來(lái)拿起、放下、移動(dòng)、旋轉(zhuǎn)或修改顯示在顯示器上的虛擬的、數(shù)字對(duì)象164。在顯示器160上描述的虛擬空間可以以二維或三維顯示。無(wú)論哪一種情況，系統(tǒng) 100將有關(guān)用戶140的信息與在顯示器160的虛擬空間中顯示的數(shù)字對(duì)象164和其他圖像 的信息(例如，用戶代表162)合并。如果在虛擬空間中用二維描述用戶140，那么有關(guān)用戶 位置的三維數(shù)據(jù)可以被投影在二維平面上。
在顯示器160前的物理空間180和在顯示器160上顯示的虛擬空間之間的映射可 以被任意地定義甚至能隨時(shí)間而改變。由用戶140在顯示器160上所看見的實(shí)際場(chǎng)景可以 基于物理空間180的定義而變化。類似地，虛擬空間(或僅僅是用戶的代表162)可以是二 維的。在這種情況下，用戶的虛擬代表162的深度分量可以被忽略。映射可以以類似于鏡像的方式運(yùn)作，以便用戶140在虛擬空間中所看見的用戶的 代表162的動(dòng)作類似于用戶140實(shí)際動(dòng)作的鏡像?？梢詫?duì)該映射進(jìn)行校準(zhǔn)以便當(dāng)用戶140 觸摸或?qū)⑺麄兊囊徊糠稚眢w靠近屏幕顯示器160時(shí)，他們的虛擬代表162觸摸或?qū)⑵渖眢w 的相同部分靠近屏幕160的相同部分。該映射還可以顯示出當(dāng)用戶140接近屏幕160時(shí)用 戶的代表162從屏幕162的表面后退。通過(guò)將在影像系統(tǒng)前的空間分成多個(gè)體量空間并將所收集到的數(shù)據(jù)分類在這些 空間中可以創(chuàng)建多個(gè)交互區(qū)域。圖2顯示了包括了體量區(qū)域的交互顯示空間。顯示空間包 括影像系統(tǒng)220和顯示器210。在圖2中，“觸摸”空間250主要捕獲手指點(diǎn)擊的交互，“主要用戶，，空間240捕獲 最臨近屏幕的人的身體，而“遠(yuǎn)端用戶”空間230捕獲最遠(yuǎn)處的人的身體。在屏幕上的用戶 代表取決于他們所在的區(qū)域而有所不同。例如，在“觸摸”空間250中的手指可以由光標(biāo)表 示，在“主要用戶”空間240中的身體260可以由彩色的輪廓表示，而在“遠(yuǎn)端用戶”區(qū)域230 中的身體270可以由灰色輪廓表示?？臻g的邊界可以變化。例如，如果在“主要用戶”空間 250中沒有人，則該空間的邊界就可以拓展覆蓋“遠(yuǎn)端用戶”空間270。距離屏幕超出一定距離或在“遠(yuǎn)端用戶”空間270中的用戶可以有能力與在屏幕 上縮小或消除的對(duì)象交互。這使得臨近屏幕的用戶能與虛擬對(duì)象交互而無(wú)需受到較遠(yuǎn)距離 用戶的干擾。在一些實(shí)例中，用戶太靠近顯示器210且由于這種靠近，反而不能與屏幕上的 對(duì)象交互。各種的標(biāo)記都可以表示在顯示器210上來(lái)指示用戶當(dāng)前的位置和/或他們與在 顯示器210上的對(duì)象交互的能力。提供有關(guān)當(dāng)前交互能力的標(biāo)記可能涉及一個(gè)或多個(gè)原因。例如，顯示器可能在特 定的情況要求大量用戶同時(shí)交互，不鼓勵(lì)任何一個(gè)靠近的用戶支配交互。其他的情況可能 包括顯示器在窗口后面，靠近交互是不可能的。在這種情況下，可能產(chǎn)生“太靠近”的交互 空間。在一些實(shí)施例中，可以顯示各種效果或產(chǎn)生音頻來(lái)吸引在上述體量區(qū)域外的用戶 進(jìn)入到其中。在一個(gè)實(shí)施例中，在當(dāng)前沒有人在交互空間中且第一個(gè)用戶進(jìn)入到了交互空 間時(shí)，顯示器顯示非常巨大、高亮可見的閃光或其他的動(dòng)作。在當(dāng)前沒有人進(jìn)行交互并且進(jìn) 入到交互空間的用戶僅僅可以看見他們水平視場(chǎng)中的顯示器時(shí)，這種特征被設(shè)計(jì)來(lái)引起用 戶對(duì)顯示器的注意。如前所述，本發(fā)明的影像系統(tǒng)可以檢測(cè)用戶的手和身體。手和身體的檢測(cè)可以使 用范圍、亮度、顏色和/或其他數(shù)據(jù)。手和身體檢測(cè)方法可以被應(yīng)用到原色/亮度圖像、范 圍圖像、三維點(diǎn)云，和/或其他數(shù)據(jù)。手和身體檢測(cè)方法還可以被應(yīng)用到基于上述數(shù)據(jù)集合 的任意變換或投影數(shù)據(jù)。身體可以被檢測(cè)來(lái)作為在三維云中空間上獨(dú)立的點(diǎn)簇。身體還可以通過(guò)將點(diǎn)云投 射到地面并識(shí)別出高密度區(qū)域而被檢測(cè)。身體還可以通過(guò)在去除深度迅速改變區(qū)域后尋找 在適合的所投影的深度圖像中大量連接的分量而被識(shí)別。身體還可以通過(guò)在原始三維數(shù)據(jù)或投影上執(zhí)行模板匹配或骨骼匹配而被識(shí)別。初步識(shí)別可以在一個(gè)投影上進(jìn)行，接著再在 精確的分離投影上進(jìn)行。例如，影像系統(tǒng)可以使用地平面視圖來(lái)為用戶身體挑選粗略的邊 框。接著可以使用在邊框內(nèi)的點(diǎn)的前沿投影來(lái)分離非?？拷挠脩?。手可以被檢測(cè)為獨(dú)立的對(duì)象或用戶的一部分。在前一種情況下，手可以與用戶關(guān) 聯(lián)。所檢測(cè)的手的位置和動(dòng)作可以相對(duì)于用戶、顯示器，或在交互過(guò)程中預(yù)先定義或動(dòng)態(tài)產(chǎn) 生的空間中的某個(gè)區(qū)域而定。根據(jù)所需的效果，可以使用多種可能的坐標(biāo)系統(tǒng)來(lái)指定這個(gè) 關(guān)系。例如，可以使用從手進(jìn)入到以用戶肩為中心的極坐標(biāo)系統(tǒng)。手檢測(cè)方法可以包括通 過(guò)身體的骨骼相配的識(shí)別；通過(guò)模版匹配的識(shí)別；通過(guò)基于色彩的匹配分割的識(shí)別；身體 相對(duì)對(duì)象時(shí)的識(shí)別；和基于連接的組件屬性的識(shí)別。一旦用戶的身體被識(shí)別，則例如框形、球形或圓柱形等的邊界區(qū)域就在用戶的中 心。連接到身體但在該區(qū)域外的對(duì)象可能是手的候選。這些連接的對(duì)象還可以被分割以識(shí) 別“指尖”或手。手可以通過(guò)抽取這些對(duì)象的極端區(qū)域而被識(shí)別，這些極端區(qū)域例如距離邊 界框或所限定的身體上的某個(gè)點(diǎn)最遠(yuǎn)距離的點(diǎn)，在能被認(rèn)為是手的一部分的最遠(yuǎn)距離之下 的一些閾值內(nèi)的任意點(diǎn)。手還可以通過(guò)模版匹配而從這些區(qū)域中抽取。手也可以基于各種 特征而從這些區(qū)域中分割出來(lái)，這些特征包括但不限于曲率、距離邊界框或身體的距離，以 及顏色屬性。手臂的骨骼模型還適于使用期望最大化的區(qū)域。圖3圖示了包括體量區(qū)域的交互顯示空間的另一個(gè)實(shí)施例。在圖3中，交互顯示器 310和相機(jī)/照明系統(tǒng)320產(chǎn)生一個(gè)交互空間，其包括“太靠近”空間350、“手”空間340， 和“距離用戶”空間330。在“距離用戶”空間330中的用戶只能與他們的整個(gè)身體交互并 且可以在顯示器上看見整個(gè)身體的用戶代表。在“手”空間340中的用戶能與他們的手和 身體交互并且能在顯示器上看見手的代表以及整個(gè)身體的代表。將他們的手放入“太靠近”空間350的用戶可能并不能與他們的手或身體以及在 屏幕上的視覺代表交互，這些屏幕上的視覺代表例如在他們手的位置漸漸消失的一縷煙或 由于他們靠得太近而不能交互而向他們提示的其身體漸漸褪色的圖像。例如，用戶360可 以看見他們的手的視覺代表變成一縷煙并可能不能使用他們的手來(lái)與屏幕上的對(duì)象交互。 相反地，在“手”空間340中的用戶370有完全的能力來(lái)使用他們的手與在屏幕上的對(duì)象交 互并可以看見除了用戶360外的他們的手的不同的代表?！疤拷笨臻g的內(nèi)部邊緣可以與 相機(jī)視場(chǎng)或照明器的照明范圍的邊界一致。顯示器可以顯示用戶身體或身體的特定部分的代表來(lái)給用戶提供視覺反饋到在 顯示器上顯示的虛擬空間內(nèi)的位置，從而便于與顯示器上顯示的對(duì)象進(jìn)行精確的交互。顯 示器還可以顯示用戶手的代表。由于在用戶和顯示器間的很多交互可以經(jīng)由用戶的手，這 對(duì)于特定高亮顯示用戶的手來(lái)說(shuō)是很有益的。當(dāng)手距離身體足夠遠(yuǎn)以至能傳送某種姿態(tài)使 用是可以僅顯示手的代表。為手而使用的代表可以依靠手的位置或它是如何移動(dòng)的。還可 以反映手是否能選擇或與對(duì)象交互?？梢允菙M人性的手、不同類型的對(duì)象，或這兩個(gè)的組在一個(gè)實(shí)施例中，當(dāng)用戶或他們的手在顯示器前的特定空間中時(shí)僅僅出現(xiàn)手的代 表。替換地，當(dāng)用戶的手的代表開始被顯示時(shí)用戶整個(gè)身體的代表逐漸減弱或變形而當(dāng)用 戶手的代表被去除時(shí)則返回。圖4圖示了用于基于姿態(tài)的交互的處理的實(shí)例性方法。在步驟410中，能收集有關(guān)其環(huán)境的實(shí)時(shí)三維數(shù)據(jù)的相機(jī)(例如立體或時(shí)差測(cè)距相機(jī)等)捕獲一個(gè)或多個(gè)人類用戶 或其他對(duì)象的動(dòng)作。在步驟420中，從三維相機(jī)來(lái)的可以形成三維點(diǎn)云的數(shù)據(jù)由計(jì)算機(jī)影 像系統(tǒng)分析，并被潛在地進(jìn)行坐標(biāo)變換以確定相對(duì)于顯示器和在顯示器上顯示的虛擬對(duì)象 的數(shù)據(jù)的位置。在步驟430中，計(jì)算機(jī)影像系統(tǒng)分析該數(shù)據(jù)以確定用戶身體和手以及其他 身體部分的位置。這些身體部分可以由人進(jìn)行分組，并且它們的位置可以隨時(shí)被跟蹤以確 定速度、加速度以及其他特性。在步驟440，確定每只手進(jìn)行的與虛擬對(duì)象的選擇關(guān)聯(lián)的動(dòng)作或與虛擬對(duì)象進(jìn)行 的其他交互的程度。在步驟450中，確定每只手的視覺代表，其可以取決于其選擇的級(jí)別或 其他的動(dòng)作而不同。然后，在步驟480中，與在步驟470中創(chuàng)建的用戶身體的代表以及由仿 真490控制而已與用戶交互的虛擬對(duì)象一起渲染這些視覺代表。通過(guò)渲染在顯示器上的代 表，用戶可以接收他們的身體和手相對(duì)于在屏幕上的虛擬對(duì)象的位置的視覺反饋。單獨(dú)地，在步驟460中處理由步驟450所確定的每只手的選擇級(jí)別以確定該手是 否與從仿真490來(lái)的任何虛擬對(duì)象進(jìn)行了交互。在圖4中顯示的用戶交互處理可以非常迅 速地反復(fù)進(jìn)行以便產(chǎn)生實(shí)時(shí)交互的影像。在圖4中顯示的處理僅僅圖示了一個(gè)可能的實(shí)施例?？梢詫?shí)現(xiàn)替換的實(shí)施例、例 如，在仿真490中的對(duì)象可以分析在它們周圍的視覺信號(hào)以確定在附近是否有手或是否發(fā) 生了選擇行為，從而忽略步驟440和430的要求。圖5圖示了手/用戶代表的vis-0-vis選擇級(jí)別。在步驟510中，確定手正在選 擇的對(duì)象的程度。在所示的實(shí)施例中，確定沿Z軸從軀干到手的簡(jiǎn)單距離。當(dāng)用戶向前伸 出它們的胳膊時(shí)，該值就會(huì)增加。在步驟520中，在顯示器上的用于手的視覺代表基于在步 驟510中計(jì)算的距離值而確定。當(dāng)距離增加時(shí)，手的代表逐漸地從張開的手靠近一個(gè)指示 的手指。這給出了他們的部分選擇級(jí)別的用戶反饋，即他們的手距離他們能選擇對(duì)象的閾 值有多遠(yuǎn)。當(dāng)手穿過(guò)了該閾值而進(jìn)入到選擇模式中時(shí)，它就能選擇對(duì)象，則十字準(zhǔn)線出現(xiàn)。 如果沒有手達(dá)到，則顯示沒有手的代表。單獨(dú)地，在步驟510中計(jì)算的距離作為在步驟530 中的“動(dòng)作級(jí)別”，其中，如果動(dòng)作級(jí)別超出了，例如0. 5，則手就變得能選擇對(duì)象了。在圖5 中所示的實(shí)例僅僅顯示了一個(gè)可能的實(shí)施例。其他的各種方法都能被用來(lái)計(jì)算動(dòng)作級(jí)別。在一個(gè)實(shí)施例中，用戶的手或身體能通過(guò)物理碰撞的二維或三維仿真來(lái)與虛擬對(duì) 象交互。在一個(gè)實(shí)施例中，顯示器上顯示的虛擬空間中的每只手的位置可以被用來(lái)作為給 控制虛擬對(duì)象行為的物理仿真的輸入。手要么由能預(yù)先定義的例如特定半徑的球形等的特 定形狀模型化，要么由從用戶手自身的二維或三維形狀得到。在一個(gè)實(shí)施例中，手的視覺代 表可以作為物理仿真的模型?？梢允褂迷谖锢矸抡嬷械氖值哪Ｐ蛠?lái)檢測(cè)與在顯示器上所顯示的虛擬對(duì)象的交 疊和碰撞?？梢允褂秒S時(shí)間而定的手的位置來(lái)得到速度和加速度，這使得能計(jì)算在顯示器 上的虛擬對(duì)象的真實(shí)碰撞。碰撞可以是無(wú)彈性的、部分彈性的，或完全彈性的，并且可以使 用現(xiàn)有技術(shù)中公知的標(biāo)準(zhǔn)碰撞公式進(jìn)行計(jì)算。由于手不能物理地由虛擬對(duì)象所移動(dòng)，因此， 可將手視為就好像為計(jì)算后碰撞速度的目的而具有無(wú)窮大。其他的身體部分，例如手臂、頭，或整個(gè)身體等，可以用類似的方式被輸入到物理 仿真。有關(guān)手或身體其他部分的動(dòng)作信息可以被用來(lái)計(jì)算交互而不是碰撞，例如流體或波 紋仿真，或依靠速度或加速度的粒子發(fā)射。
還可以使用附于手或身體其他部分的虛擬對(duì)象來(lái)于虛擬對(duì)象交互。例如，虛擬的 劍可以被附于用戶的手上。對(duì)象的方向可以通過(guò)分析用戶的手、前臂或胳膊的方向而計(jì)算， 這使得用戶很容易控制對(duì)象的方向。該對(duì)象還可以由物理引擎而分析以確定與其他對(duì)象的 交互。圖6圖示了用戶的物理位置如何被映射到數(shù)字對(duì)象的所顯示的虛擬世界中。在圖 6中，用戶620正在顯示器630前交互。用戶620在交互空間610中，交互空間610是在其 交互能影響顯示的空間。軸660限定了坐標(biāo)系統(tǒng)。X和Y軸限定了在顯示器630上的水平 和垂直位置，而Z軸限定了距離顯示器630的垂直距離。在該交互空間610中，用戶620抬 起他們的手670來(lái)與在屏幕630上顯示的虛擬對(duì)象640交互。在一個(gè)實(shí)施例中，在手670和虛擬對(duì)象640間的交疊或臨近通過(guò)將在Z軸上手的 位置投影到顯示器表面的(X，Y)平面、隨后分析手670和虛擬對(duì)象640的相對(duì)位置(X，Y) 而計(jì)算。此外，手640的代表650在顯示器630上通過(guò)沿Z軸投影手的位置而計(jì)算的位置。 該代表給用戶620提供有關(guān)他們的手670在顯示器630的虛擬世界中的位置的視覺反饋。圖7圖示了如何將用戶的物理位置映射到數(shù)字對(duì)象的所顯示的虛擬世界中的替 換性的實(shí)施例。在一個(gè)實(shí)施例中，顯示器730在二維表面上顯示圖像并使用陰影或模糊等 的深度提示來(lái)通知深度。在另一實(shí)施例中，顯示器730是能給用戶720產(chǎn)生三維圖像的顯 示器，它給出了所顯示的圖像距離屏幕前或后一定距離的幻影?，F(xiàn)今已有各種三維顯示機(jī) 制并在商業(yè)上可以得到，其包括但不限于，立體視覺投影和透鏡視屏。用戶720在交互空間710交互。當(dāng)用戶710伸出他們的手770時(shí)，他們的手的虛 擬代表750就可以通過(guò)顯示器730顯示。當(dāng)用戶的手770進(jìn)入到由顯示器730所顯示的虛 擬對(duì)象740周圍的觸摸空間780時(shí)，就產(chǎn)生交互。所圖示的坐標(biāo)軸760僅是參考性的。存在很多種系統(tǒng)用來(lái)選擇屏幕上的對(duì)象的潛在方法。重要的是讓假負(fù)片(false negative)和假正片(false positives)最小化從而防止用戶意外地選擇他們不想選擇的 對(duì)象，和不能選擇他們想選的對(duì)象。用來(lái)計(jì)算這些用戶行為的信息可以使用來(lái)自于影像系 統(tǒng)的各種輸入，這包括但不限于，當(dāng)前和以前的手的位置和速度、手臂的角度、當(dāng)前和以前 的頭的位置，和當(dāng)前和以前的軀干位置。通過(guò)在所選的對(duì)象或區(qū)域上讓手靜止不動(dòng)可以產(chǎn)生選擇。以幾種方式來(lái)檢測(cè)出保 持手靜止的動(dòng)作。例如，如果動(dòng)作級(jí)別超出了閾值，則對(duì)被選擇的對(duì)象或區(qū)域隨時(shí)跟蹤動(dòng)作 級(jí)別。部分選擇可以基于動(dòng)作級(jí)別顯示。隨時(shí)間而定的手的位置可貢獻(xiàn)于該動(dòng)作級(jí)別。例 如，如果手快速移過(guò)對(duì)象或區(qū)域或在對(duì)象或區(qū)域外，則動(dòng)作級(jí)別可以由公式所確定的量而 降低，而如果手位于對(duì)象或區(qū)域上并且緩慢地移動(dòng)或停止，則動(dòng)作級(jí)別可以由公式所確定 的量而提升。公式可以考慮手的移動(dòng)的速度，因此，手移動(dòng)的越慢，則動(dòng)作級(jí)別提升的越快。在特定的時(shí)間范圍內(nèi)手的平均速度低于特定值則也可以作為選擇的機(jī)制。速度可 以由定義在顯示器上的交互區(qū)域的二維平面限定，由在顯示器前的三維空間所限定，或通 過(guò)例如在圖6和7種所示的X和Y軸等的其他方法所限定。其他的選擇機(jī)制包括在特定時(shí)間范圍內(nèi)低于特定值的手的最大速度；在某些二 維(例如，在圖6和7中所示的X和Y軸)或三維坐標(biāo)系統(tǒng)中手的位置在特定時(shí)間周期內(nèi) 位于特定區(qū)域內(nèi)；在某些二維(例如，在圖6和7中所示的X和Y軸)或三維坐標(biāo)系統(tǒng)中手 的位置的變化在特定時(shí)間周期內(nèi)總在特定值之下；手的位置數(shù)據(jù)在時(shí)間間隔內(nèi)取平均，接著該平均的位置數(shù)據(jù)使用這里所描述的任意技術(shù)或其他技術(shù)而在第二個(gè)時(shí)間間隔內(nèi)進(jìn)行 檢測(cè)。還能通過(guò)在戳的動(dòng)作中向屏幕或虛擬對(duì)象插入手而產(chǎn)生選擇。可以以各種方式檢 測(cè)戳的動(dòng)作。例如，手距離屏幕的距離由于在特定時(shí)間周期中超過(guò)閾值量而降低；手沿Z軸 相對(duì)于屏幕的速度超過(guò)了特定的值，并且手向屏幕移動(dòng)；手沿Z軸相對(duì)于屏幕的平均速度 在特對(duì)時(shí)間周期內(nèi)超過(guò)了特定值，并且手向屏幕移動(dòng)；上述實(shí)例的任何一個(gè)根據(jù)額外的標(biāo) 準(zhǔn)，手的X和Y速度(平均X和Y速度)在特定時(shí)間周期內(nèi)低于特定值。這防止了在用戶 旋轉(zhuǎn)手時(shí)產(chǎn)生額外的選擇；用戶的速度在特定的方向范圍內(nèi)的方向中，并且速度超出了給 定值。在這樣的一個(gè)實(shí)施例中，方向的范圍包括沿Z軸直接指向屏幕的矢量的特定角度的 方向。選擇還可以基于用戶的手距離屏幕或任意三維區(qū)域的距離而產(chǎn)生。這樣，當(dāng)用戶 將他們的手伸入到“選擇區(qū)域”時(shí)，則就能選擇對(duì)象。選擇還能基于用戶的手相對(duì)于其身體 的位置而產(chǎn)生。這種動(dòng)作可以以各種方式被檢測(cè)到，例如用戶的手比用戶的頭、軀干、肩膀 或重心具有更大的閾值距離；用戶的高度與從用戶的手到用戶的頭、軀干、肩膀、重心的比 率低于一個(gè)特定量，這確保了較矮或較高的人都能以類似當(dāng)動(dòng)作選擇對(duì)象；可以用幾種方 式限定距離，例如可以包括沿Z軸(向著屏幕)的距離，或在三維空間(X，Y，Z)或在加權(quán)的 坐標(biāo)系統(tǒng)中的距離。選擇可以基于用戶在特定位置迅速地?cái)[動(dòng)他們的手而產(chǎn)生。通過(guò)在特定時(shí)間間隔 內(nèi)用戶的手的平均速度超出閾值量，但位置仍然在特定的區(qū)域內(nèi)而檢測(cè)出迅速地?cái)[動(dòng)。選 擇還能基于用戶的手的平均速度在特定時(shí)間間隔內(nèi)超過(guò)閾值量，但位置的變化仍然保持在 特定量以下而產(chǎn)生。選擇還能基于執(zhí)行特定姿態(tài)而產(chǎn)生。由于不同的人可以直觀地使用不同的方法來(lái)選擇對(duì)象，所以允許使用多種選擇方 法是很有益處的。這樣，例如如果用戶讓他們的手靜止不動(dòng)超過(guò)了特定的時(shí)間周期或者如 果用戶在特定的時(shí)間周期進(jìn)行了快速的攪動(dòng)，則用戶都可以選擇對(duì)象。為了防止意外的選擇，需要同時(shí)調(diào)用多種選擇方法來(lái)觸發(fā)選擇。例如，用戶可能需 要將他們的手靜止特定的時(shí)間周期并且讓他們的手距離他們的身體至少最小的距離。在選擇處理中可以使用反饋來(lái)指示正在發(fā)生的選擇的實(shí)際情況。在一個(gè)實(shí)施例 中，當(dāng)手正在選擇對(duì)象時(shí)，用戶的手在屏幕上的代表會(huì)產(chǎn)生變化。在另一實(shí)施例中，當(dāng)手基 于其位置或移動(dòng)應(yīng)當(dāng)選擇對(duì)象時(shí)用戶的手在屏幕上的代表會(huì)產(chǎn)生變化，即便在該區(qū)域中沒 有對(duì)象。而在另一實(shí)施例中，當(dāng)用戶選擇，或部分地選擇對(duì)象時(shí)，屏幕上的對(duì)象會(huì)變化。手的屏幕上的代表替換地在其開始選擇對(duì)象時(shí)產(chǎn)生改變。這給用戶提供了有關(guān)選 擇處理特性的視覺反饋，并有助于用戶防止意外的選擇。在一個(gè)實(shí)施例中，在用戶代表中的 改變可以從基于選擇檢測(cè)算法特定值的圖像序列中選擇。例如，如果選擇檢測(cè)算法基于用 戶的身體和手的距離，則手會(huì)沿動(dòng)畫序列逐漸改變外形，其中使用距離值選擇動(dòng)畫序列的 幀。多個(gè)用戶可以同時(shí)與顯示器交互。相機(jī)系統(tǒng)能感應(yīng)多個(gè)身體，同時(shí)影像系統(tǒng)可以 從多個(gè)用戶的身體區(qū)分?jǐn)?shù)據(jù)。這種區(qū)分使得影像系統(tǒng)能將每只手指派給特定的用戶身體。 因此，不同的身體和手都能具有不同的用戶代表并能與在顯示器上顯示的虛擬對(duì)象進(jìn)行不同的交互。此外，顯示器可以忽略特定的用戶，或允許一個(gè)用戶或一組用戶控制交互的特定
皇A
朱口 ο上述的組件和功能可以由在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)的指令構(gòu)成。指令可以由 處理器檢索并執(zhí)行。指令的一些實(shí)例是軟件、程序代碼、以及固件。存儲(chǔ)介質(zhì)的一些實(shí)例是 存儲(chǔ)設(shè)備、磁帶、磁盤、集成電路以及服務(wù)器。指令在由處理器執(zhí)行來(lái)指示處理器根據(jù)本發(fā) 明工作時(shí)是可操作的。本領(lǐng)域的技術(shù)人員很熟悉指令、處理器和存儲(chǔ)介質(zhì)。雖然已經(jīng)描述了本發(fā)明的各種實(shí)施例，但應(yīng)當(dāng)理解的是，他們僅僅是示例性而非 限制性的。例如，與用戶界面關(guān)聯(lián)的任意元件都可以提供上述描述的功能。因此，優(yōu)選實(shí)施 例的外延和范圍并不應(yīng)當(dāng)限于上述示例性的實(shí)施例。例如，從一個(gè)或多個(gè)顯示系統(tǒng)來(lái)的信息可以通過(guò)允許不同應(yīng)用程序的高速數(shù)據(jù) 連接共享。例如，顯示器的用戶可以瀏覽并與在線的虛擬世界交互，例如，Second Life, There，或World of Warcraft，使用基于姿態(tài)的界面的那個(gè)世界中的對(duì)象和化身。此外，用 戶的位置和動(dòng)作的三維數(shù)據(jù)可以被傳輸并在在線虛擬世界中顯示，從而使得在線虛擬世界 的其他用戶看見并與所顯示的用戶交互。這些其他的用戶可以使用各種接口(例如，傳統(tǒng) 的鍵盤-鼠標(biāo)接口)或其他的顯示器來(lái)在虛擬世界中交互。用戶可以彼此離得很近或很遠(yuǎn)。當(dāng)前描述的實(shí)施例的界面可以提供給各種潛在的用戶。例如，對(duì)于運(yùn)動(dòng)，用戶可以 拳擊、打網(wǎng)球(用虛擬的球拍)、踢虛擬的球，或與計(jì)算機(jī)或在屏幕上顯示的人類對(duì)手進(jìn)行 其他運(yùn)動(dòng)項(xiàng)目的競(jìng)技。在虛擬世界游弋的過(guò)程中，用戶可以使用自然身體動(dòng)作，例如學(xué)著向 虛擬世界移動(dòng)，并且可以使用他們的手與在虛擬世界中的對(duì)象交互?？梢酝ㄟ^(guò)上述的界面 系統(tǒng)控制虛擬角色，其中在其傳遞下，屏幕上的數(shù)字角色可以與在顯示器前的人交談、玩耍 或進(jìn)行其他的交互。這種數(shù)字角色可以由計(jì)算機(jī)控制或由遠(yuǎn)端的人進(jìn)行控制。本發(fā)明的實(shí)施例允許進(jìn)行廣告，包括交互產(chǎn)品演示和交互商標(biāo)體驗(yàn)以及多用戶工 作空間，其中用戶組可以以協(xié)作的方式移動(dòng)和操作在屏幕上表示的數(shù)據(jù)。在上述界面系統(tǒng) 中還可以執(zhí)行視頻游戲以便用戶能通過(guò)姿態(tài)和身體的自然移動(dòng)玩游戲和控制他們?cè)谄聊?上的角色。通過(guò)該系統(tǒng)還能實(shí)現(xiàn)衣服的建模和“試穿”，其中在用戶的圖像上可以放置衣服 從而能讓用戶虛擬地試穿衣服。
權(quán)利要求
一種用來(lái)利用交互顯示器處理基于姿態(tài)的用戶交互的方法，該方法包括收集有關(guān)所定義的三維空間中的對(duì)象的三維信息；識(shí)別相應(yīng)于所定義的三維空間中的用戶的手的三維信息的一部分；顯示數(shù)字對(duì)象在屏幕上的圖像；顯示與用戶的物理外形關(guān)聯(lián)并近似的屏幕上的圖像，其中所顯示的屏幕上的近似于用戶的物理外形的圖像并不與所顯示的數(shù)字對(duì)象交互；和顯示相應(yīng)于在所定義的三維空間中的用戶的手的圖標(biāo)，其中所顯示的圖標(biāo)能與所顯示的數(shù)字對(duì)象交互。
2.一種用來(lái)利用交互顯示器處理基于姿態(tài)的用戶交互的方法，該方法包括收集有關(guān)所定義的三維空間中的多個(gè)用戶的三維信息，其中所述定義的三維空間包括 多個(gè)體量區(qū)域，其中由所述三維信息定義的多個(gè)用戶的每個(gè)的一部分位于所述多個(gè)體量區(qū) 域中的一個(gè)或多個(gè)；識(shí)別相應(yīng)于所定義的三維空間中的多個(gè)用戶之一的手的三維信息的一部分； 顯示在屏幕上的數(shù)字對(duì)象；和顯示指示，該指示顯示了多個(gè)用戶中的一個(gè)當(dāng)前是否能基于在多個(gè)所述體量區(qū)域中的 一個(gè)或多個(gè)中的所述多個(gè)用戶中的一個(gè)的位置而與所述顯示的數(shù)字對(duì)象交互。
3.根據(jù)權(quán)利要求2的方法，其中所述多個(gè)體量區(qū)域包括相比于其他所述體量區(qū)域距離 所述交互顯示器最遠(yuǎn)的體量區(qū)域。
4.根據(jù)權(quán)利要求3的方法，還包括顯示不與所述顯示的數(shù)字對(duì)象交互并與位于相比于 其他所述體量區(qū)域距離所述交互顯示器最遠(yuǎn)的體量區(qū)域中的多個(gè)用戶中的一個(gè)的物理外 形關(guān)聯(lián)并近似的屏幕上的圖像。
5.根據(jù)權(quán)利要求4的方法，其中在相比于所述其他體量區(qū)域距離所述交互顯示器最遠(yuǎn) 的所述體量區(qū)域中的多個(gè)用戶中的一個(gè)的屏幕上的圖像的顯示不同于與位于用來(lái)與所述 顯示的屏幕上的數(shù)字對(duì)象交互的體量區(qū)域中的多個(gè)用戶中的一個(gè)的物理外形關(guān)聯(lián)并近似 的屏幕上的圖像的顯示。
6.根據(jù)權(quán)利要求2的方法，其中所述多個(gè)體量區(qū)域包括相比于其他體量區(qū)域最接近交 互顯示器的體量區(qū)域。
7.根據(jù)權(quán)利要求6的方法，其中所述多個(gè)用戶中的一個(gè)當(dāng)前是否能與所顯示的數(shù)字對(duì) 象交互的指示相應(yīng)于所述多個(gè)體量區(qū)域中的一個(gè)或多個(gè)與所述交互顯示器的鄰近程度。
8.根據(jù)權(quán)利要求2的的方法，其中所述多個(gè)體量區(qū)域包括用來(lái)與所顯示的數(shù)字對(duì)象交 互的體量區(qū)域，并且相應(yīng)于所述多個(gè)用戶中的一個(gè)的手的圖標(biāo)僅在所述多個(gè)用戶中的一個(gè) 的相應(yīng)的手位于用于與所述顯示的對(duì)象交互的體量區(qū)域中時(shí)才顯示。
9.一種用來(lái)利用交互顯示器處理基于姿態(tài)的用戶交互的方法，該方法包括 收集有關(guān)所定義的三維空間中的對(duì)象的三維信息；識(shí)別相應(yīng)于所定義的三維空間的用戶的手的三維信息的一部分； 顯示數(shù)字圖像在屏幕上的圖像；所述數(shù)字對(duì)象具有相應(yīng)于所述用戶是否已經(jīng)超出了用 于所述數(shù)字對(duì)象的動(dòng)作級(jí)別閾值的可以明顯看見的活動(dòng)狀態(tài)；和顯示用來(lái)與所述數(shù)字對(duì)象在屏幕上的圖像交互的圖標(biāo)，所述圖標(biāo)相應(yīng)于在所定義的三 維空間中所述用戶的手，其中所述動(dòng)作級(jí)別相應(yīng)于所述用戶的隨時(shí)間而定的手的位置。
10.根據(jù)權(quán)利要求9的方法，其中所述數(shù)字對(duì)象視覺可感知的活動(dòng)狀態(tài)指示了用戶所 述數(shù)字對(duì)象的動(dòng)作級(jí)別的閾值是否已被超出。
11.根據(jù)權(quán)利要求10的方法，其中所述數(shù)字對(duì)象視覺可感知的活動(dòng)狀態(tài)由相應(yīng)于所述 用戶的手的圖標(biāo)所指示。
12.根據(jù)權(quán)利要求10的方法，其中所述數(shù)字對(duì)象視覺可感知的活動(dòng)狀態(tài)由所述數(shù)字對(duì) 象的屏幕上的圖像所指示。
13.根據(jù)權(quán)利要求10的方法，其中所顯示的數(shù)字對(duì)象視覺可感知的活動(dòng)狀態(tài)從非活 動(dòng)、部分活動(dòng)和活動(dòng)的組中選擇。
14.一種用于利用交互顯示器處理基于姿態(tài)的用戶交互的方法，該方法包括收集有關(guān)所定義的三維空間中的對(duì)象的三維信息；識(shí)別相應(yīng)于所定義的三維空間中的用戶的手的三維信息的一部分；顯示數(shù)字圖像在屏幕上的圖像；所述數(shù)字對(duì)象具有相應(yīng)于所述用戶是否已經(jīng)超出了用 于所述數(shù)字對(duì)象的動(dòng)作級(jí)別閾值的視覺可感知的活動(dòng)狀態(tài)；和顯示用來(lái)與所述數(shù)字對(duì)象在屏幕上的圖像交互的圖標(biāo)，所述圖標(biāo)相應(yīng)于在所定義的三 維空間中所述用戶的手，其中所述動(dòng)作級(jí)別閾值相應(yīng)于所顯示的相應(yīng)于所述用戶的手的圖 標(biāo)相對(duì)于所顯示的數(shù)字對(duì)象隨時(shí)間而定的位置。
15.一種用于利用交互顯示器處理基于姿態(tài)的用戶交互的方法，該方法包括收集有關(guān)所定義的三維空間中的對(duì)象的三維信息；識(shí)別相應(yīng)于所定義的三維空間中的用戶的手的三維信息的一部分；顯示數(shù)字對(duì)象的屏幕上的圖像，所述數(shù)字對(duì)象具有動(dòng)作級(jí)別閾值；和顯示用來(lái)與所述數(shù)字對(duì)象的屏幕上的圖像交互的圖標(biāo)，所述圖標(biāo)相應(yīng)于在所定義的三 維空間中的所述用戶的手，其中只有在所述顯示的數(shù)字對(duì)象的動(dòng)作級(jí)別閾值被超出時(shí)，所 述圖標(biāo)才可以控制與所述數(shù)字對(duì)象關(guān)聯(lián)的動(dòng)作，其中所述數(shù)字對(duì)象的動(dòng)作級(jí)別閾值被超出 的原因是所述圖標(biāo)隨時(shí)間接近與所述數(shù)字對(duì)象關(guān)聯(lián)的區(qū)域。
16.根據(jù)權(quán)利要求15的方法，其中超出所述數(shù)字對(duì)象動(dòng)作級(jí)別閾值的時(shí)間相應(yīng)于所述 圖標(biāo)相對(duì)與所述數(shù)字對(duì)象關(guān)聯(lián)的區(qū)域的移動(dòng)量。
17.根據(jù)權(quán)利要求15的方法，其中超出所述數(shù)字對(duì)象動(dòng)作級(jí)別閾值的時(shí)間與所述圖標(biāo) 相對(duì)與所述數(shù)字對(duì)象關(guān)聯(lián)的區(qū)域的移動(dòng)量成反比。
全文摘要
本發(fā)明涉及一種用來(lái)處理具有交互顯示器的基于姿態(tài)的用戶交互系統(tǒng)和方法。
文檔編號(hào)G06F17/00GK101952818SQ200880115391
公開日2011年1月19日 申請(qǐng)日期2008年9月15日 優(yōu)先權(quán)日2007年9月14日
發(fā)明者埃亞勒·奧菲爾, 查爾斯·H·克蘭頓, 蒂帕塔特·謝諾維辛, 邁克爾·休姆, 馬修·維耶塔, 馬修·貝爾 申請(qǐng)人:智慧投資控股67有限責(zé)任公司