相關(guān)申請(qǐng)案的交叉參考

本專利申請(qǐng)案主張標(biāo)題為“擴(kuò)增現(xiàn)實(shí)中的空間交互(spatialinteractioninaugmentedreality)”的第62/080,050號(hào)美國臨時(shí)申請(qǐng)案的權(quán)益，所述美國臨時(shí)申請(qǐng)案在2014年11月14日申請(qǐng)，讓渡給本受讓人，且明確地以全文引用的方式并入本文中。

本發(fā)明的各方面大體上涉及擴(kuò)增現(xiàn)實(shí)，且確切地說，涉及擴(kuò)增現(xiàn)實(shí)環(huán)境中的空間交互。

背景技術(shù)：

擴(kuò)增現(xiàn)實(shí)是組合現(xiàn)實(shí)世界圖像與計(jì)算機(jī)產(chǎn)生的數(shù)據(jù)(例如圖形或文字信息)的新興技術(shù)。擴(kuò)增現(xiàn)實(shí)技術(shù)使用高級(jí)用戶裝置(例如平板計(jì)算機(jī)、智能電話，等等)將圖形、音頻及其它感覺增強(qiáng)疊加到現(xiàn)實(shí)世界上，因此增強(qiáng)現(xiàn)實(shí)。擴(kuò)增現(xiàn)實(shí)允許用戶實(shí)時(shí)地與真實(shí)對(duì)象交互，從而使虛擬圖像與現(xiàn)實(shí)世界對(duì)齊。

然而，現(xiàn)今的擴(kuò)增現(xiàn)實(shí)應(yīng)用中的一些仍具有挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)要素：

在一個(gè)方面中，一種用于在擴(kuò)增現(xiàn)實(shí)(ar)中進(jìn)行空間交互的方法包含顯示包含現(xiàn)實(shí)世界場(chǎng)景的圖像、虛擬目標(biāo)對(duì)象及虛擬光標(biāo)的ar場(chǎng)景。所述虛擬光標(biāo)的位置是根據(jù)所述ar場(chǎng)景內(nèi)的第一坐標(biāo)系統(tǒng)而提供。用戶裝置根據(jù)第二坐標(biāo)系統(tǒng)跟蹤所述用戶裝置相對(duì)于用戶的手的姿勢(shì)。將所述第二坐標(biāo)系統(tǒng)映射到所述第一坐標(biāo)系統(tǒng)以控制所述虛擬光標(biāo)的移動(dòng)。在第一映射模式中，控制虛擬光標(biāo)移動(dòng)以改變所述虛擬光標(biāo)與所述虛擬目標(biāo)對(duì)象之間的距離。在第二映射模式中，控制虛擬光標(biāo)移動(dòng)以操縱所述虛擬目標(biāo)對(duì)象。檢測(cè)用戶輸入以控制使用所述第一映射模式或所述第二映射模式中的哪一者。

在另一方面中，一種設(shè)備包含：用于通過用戶裝置獲取現(xiàn)實(shí)世界場(chǎng)景的圖像的裝置；以及用于在所述用戶裝置上顯示包含所述現(xiàn)實(shí)世界場(chǎng)景的所述圖像、虛擬目標(biāo)對(duì)象及虛擬光標(biāo)的擴(kuò)增現(xiàn)實(shí)(ar)場(chǎng)景的裝置。所述虛擬光標(biāo)的位置是根據(jù)所述ar場(chǎng)景內(nèi)的第一坐標(biāo)系統(tǒng)而提供。所述設(shè)備進(jìn)一步包含用于根據(jù)界定所述用戶裝置與用戶的手之間的關(guān)系的第二坐標(biāo)系統(tǒng)跟蹤所述用戶裝置相對(duì)于所述用戶的手的姿勢(shì)的裝置。用于將所述第二坐標(biāo)系統(tǒng)映射到所述第一坐標(biāo)系統(tǒng)的裝置也包含于所述設(shè)備中以響應(yīng)于所述用戶的手的移動(dòng)而控制所述虛擬光標(biāo)在所述ar場(chǎng)景中的移動(dòng)。所述用于將所述第二坐標(biāo)系統(tǒng)映射到所述第一坐標(biāo)系統(tǒng)的裝置包含第一映射模式及第二映射模式，其中所述第一映射模式經(jīng)配置以控制所述虛擬光標(biāo)的移動(dòng)以改變所述ar場(chǎng)景中的所述虛擬光標(biāo)與所述虛擬目標(biāo)對(duì)象之間的距離，且其中所述第二映射模式經(jīng)配置以控制虛擬手的移動(dòng)以操縱所述ar場(chǎng)景內(nèi)的所述虛擬目標(biāo)對(duì)象。所述設(shè)備還包含用于在所述用戶裝置處檢測(cè)用戶輸入以控制使用所述第一映射模式及所述第二映射模式中的哪一者來控制所述虛擬光標(biāo)在所述ar場(chǎng)景中的移動(dòng)的裝置。

另一方面是針對(duì)一種用戶裝置，其包含相機(jī)、顯示器、存儲(chǔ)器及處理單元。所述相機(jī)經(jīng)配置以俘獲現(xiàn)實(shí)世界場(chǎng)景的圖像，且所述顯示器經(jīng)配置以顯示包含所述現(xiàn)實(shí)世界場(chǎng)景的所述圖像、虛擬目標(biāo)對(duì)象及虛擬光標(biāo)的擴(kuò)增現(xiàn)實(shí)(ar)場(chǎng)景。所述虛擬光標(biāo)的位置是根據(jù)所述ar場(chǎng)景內(nèi)的第一坐標(biāo)系統(tǒng)而提供。所述存儲(chǔ)器經(jīng)調(diào)適以存儲(chǔ)程序代碼，且所述處理單元耦合到所述存儲(chǔ)器以存取且執(zhí)行包含于所述程序代碼中的指令以引導(dǎo)所述用戶裝置：(i)根據(jù)界定所述用戶裝置與用戶的手之間的關(guān)系的第二坐標(biāo)系統(tǒng)跟蹤所述用戶裝置相對(duì)于所述用戶的手的姿勢(shì)；(ii)將所述第二坐標(biāo)系統(tǒng)映射到所述第一坐標(biāo)系統(tǒng)以響應(yīng)于所述用戶的手的移動(dòng)而控制所述虛擬光標(biāo)在所述ar場(chǎng)景中的移動(dòng)，其中將所述第二坐標(biāo)系統(tǒng)映射到所述第一坐標(biāo)系統(tǒng)包含第一映射模式及第二映射模式，其中所述第一映射模式經(jīng)配置以控制所述虛擬光標(biāo)的移動(dòng)以改變所述ar場(chǎng)景中的所述虛擬光標(biāo)與所述虛擬目標(biāo)對(duì)象之間的距離，且其中所述第二映射模式經(jīng)配置以控制虛擬光標(biāo)的移動(dòng)以操縱所述ar場(chǎng)景內(nèi)的所述虛擬目標(biāo)對(duì)象；以及(iii)檢測(cè)用戶輸入以控制使用所述第一映射模式及所述第二映射模式中的哪一者來控制所述虛擬光標(biāo)在所述ar場(chǎng)景中的移動(dòng)。

在又一方面中，一種非暫時(shí)性計(jì)算機(jī)可讀媒體包含存儲(chǔ)于其上的程序代碼。所述程序代碼包含在執(zhí)行時(shí)致使用戶裝置執(zhí)行以下操作的指令：(i)獲取現(xiàn)實(shí)世界場(chǎng)景的圖像；(ii)顯示包含所述現(xiàn)實(shí)世界場(chǎng)景的所述圖像、虛擬目標(biāo)對(duì)象及虛擬光標(biāo)的擴(kuò)增現(xiàn)實(shí)(ar)場(chǎng)景，其中所述虛擬光標(biāo)的位置是根據(jù)所述ar場(chǎng)景內(nèi)的第一坐標(biāo)系統(tǒng)而提供；(iii)根據(jù)界定所述用戶裝置與用戶的手之間的關(guān)系的第二坐標(biāo)系統(tǒng)跟蹤所述用戶裝置相對(duì)于所述用戶的手的姿勢(shì)；(iv)將所述第二坐標(biāo)系統(tǒng)映射到所述第一坐標(biāo)系統(tǒng)以響應(yīng)于所述用戶的手的移動(dòng)而控制所述虛擬光標(biāo)在所述ar場(chǎng)景中的移動(dòng)，其中所述第二坐標(biāo)系統(tǒng)映射到所述第一坐標(biāo)系統(tǒng)的所述映射包含第一映射模式及第二映射模式，其中所述第一映射模式經(jīng)配置以控制所述虛擬光標(biāo)的移動(dòng)以改變所述ar場(chǎng)景中的所述虛擬光標(biāo)與所述虛擬目標(biāo)對(duì)象之間的距離，且其中所述第二映射模式經(jīng)配置以控制虛擬光標(biāo)的移動(dòng)以操縱所述ar場(chǎng)景內(nèi)的所述虛擬目標(biāo)對(duì)象；以及(v)檢測(cè)用戶輸入以控制使用所述第一映射模式及所述第二映射模式中的哪一者來控制所述虛擬光標(biāo)在所述ar場(chǎng)景中的移動(dòng)。

此“發(fā)明內(nèi)容”是在遵守以下理解的情況下提交：其將不會(huì)用于解釋或限制權(quán)利要求的范圍或含義。此“發(fā)明內(nèi)容”并不意欲識(shí)別所主張的標(biāo)的物的關(guān)鍵或基本特征，也不意欲用作輔助來確定所主張的標(biāo)的物的范圍。

附圖說明

圖1說明根據(jù)本文中所描述的技術(shù)的一或多個(gè)實(shí)施方案的擴(kuò)增現(xiàn)實(shí)環(huán)境。

圖2說明供用于根據(jù)本文中所描述的技術(shù)的實(shí)施方案的擴(kuò)增現(xiàn)實(shí)環(huán)境中的空間交互機(jī)制。

圖3說明供用于根據(jù)本文中所描述的技術(shù)的實(shí)施方案的空間交互機(jī)制。

圖4是操作供用于根據(jù)本文中所描述的技術(shù)的實(shí)施方案的擴(kuò)增現(xiàn)實(shí)環(huán)境中的空間交互機(jī)制的方法的流程圖。

圖5a到5c是說明根據(jù)本文中所描述的技術(shù)的一或多個(gè)實(shí)施方案的目標(biāo)與各種姿勢(shì)的手之間的關(guān)系的圖畫表示。

圖6到9是說明供用于根據(jù)本文中所描述的技術(shù)的替代實(shí)施方案的擴(kuò)增現(xiàn)實(shí)環(huán)境中的空間交互機(jī)制的圖畫表示。

圖10是說明能夠執(zhí)行本文中論述的過程的設(shè)備1000的功能框圖。

圖11是說明可使用于經(jīng)配置以提供與如本文中所教示的擴(kuò)增現(xiàn)實(shí)場(chǎng)景的空間交互的用戶裝置中的組件的若干樣本方面的簡(jiǎn)化框圖。

具體實(shí)施方式參考附圖。在圖中，參考標(biāo)號(hào)最左邊的數(shù)字識(shí)別所述參考標(biāo)號(hào)在其中首先出現(xiàn)的圖。貫穿圖式使用相同數(shù)字以指代相同特征及組件。

具體實(shí)施方式

本文中所描述的技術(shù)是針對(duì)使用三維(3d)感測(cè)裝置在手持型裝置的屏幕側(cè)上跟蹤用戶的手以產(chǎn)生用戶的手的運(yùn)動(dòng)與擴(kuò)增現(xiàn)實(shí)場(chǎng)景中發(fā)生的情況之間的更自然連接。在一或多個(gè)實(shí)施方案中，用戶裝置具有多個(gè)坐標(biāo)系統(tǒng)：對(duì)象到裝置坐標(biāo)系統(tǒng)(用于對(duì)象空間)、手到裝置坐標(biāo)系統(tǒng)(用于控制空間)，及虛擬光標(biāo)坐標(biāo)系統(tǒng)(用于光標(biāo)空間)。用戶裝置獲取用戶的手的平移及旋轉(zhuǎn)移動(dòng)及/或用戶裝置自身的平移及旋轉(zhuǎn)移動(dòng)以在三個(gè)維度(3d)中控制“虛擬手”或“虛擬光標(biāo)”的移動(dòng)。虛擬光標(biāo)可接著與擴(kuò)增現(xiàn)實(shí)(ar)場(chǎng)景交互。因?yàn)橛脩舻氖挚删哂卸邆€(gè)自由度，因此可提供坐標(biāo)系統(tǒng)之間的更多映射坐標(biāo)選項(xiàng)以控制虛擬光標(biāo)的移動(dòng)。

本文中所描述的實(shí)例可實(shí)施兩個(gè)不同映射模式用于響應(yīng)于用戶的手的移動(dòng)而將手到裝置坐標(biāo)系統(tǒng)映射到虛擬光標(biāo)坐標(biāo)系統(tǒng)以控制虛擬手在ar場(chǎng)景中的移動(dòng)。第一映射模式(在本文中也被稱作gogo機(jī)制)使用交互式伸長(zhǎng)用戶的手臂及用于夠到并操縱ar場(chǎng)景中的遠(yuǎn)處的對(duì)象的非線性映射的象征來實(shí)現(xiàn)對(duì)附近對(duì)象及遠(yuǎn)處對(duì)象兩者的順暢地直接操縱。第一映射模式允許用戶隨意地改變其手臂長(zhǎng)度以抓取并操縱ar場(chǎng)景中遠(yuǎn)離以及接近于用戶的對(duì)象。在一個(gè)方面中，根據(jù)第一映射模式將手到裝置坐標(biāo)系統(tǒng)映射到虛擬光標(biāo)坐標(biāo)系統(tǒng)在控制虛擬光標(biāo)的移動(dòng)時(shí)考慮到用戶的手相對(duì)于用戶裝置的平移及旋轉(zhuǎn)移動(dòng)以及用戶裝置相對(duì)于虛擬目標(biāo)對(duì)象的平移及旋轉(zhuǎn)移動(dòng)。

第二映射模式(在本文中也被稱作魔法手機(jī)制)使得能夠精確地操縱包含于ar場(chǎng)景中的虛擬目標(biāo)對(duì)象。在第二映射模式中，用戶裝置到手坐標(biāo)系統(tǒng)可直接映射到虛擬光標(biāo)坐標(biāo)系統(tǒng)，使得控制空間直接置于對(duì)象空間中。這允許非常精確地直接操縱對(duì)象。在一個(gè)方面中，根據(jù)第二映射模式將手到裝置坐標(biāo)系統(tǒng)映射到虛擬光標(biāo)坐標(biāo)系統(tǒng)在控制虛擬光標(biāo)的移動(dòng)時(shí)考慮到用戶的手相對(duì)于用戶裝置的平移及旋轉(zhuǎn)移動(dòng)，而獨(dú)立于用戶裝置相對(duì)于虛擬目標(biāo)對(duì)象的任何平移及旋轉(zhuǎn)移動(dòng)。

gogo機(jī)制與魔法手機(jī)制之間的一個(gè)差異為如何解釋用戶裝置的兩個(gè)坐標(biāo)系統(tǒng)及/或如何將其組合在一起以產(chǎn)生虛擬光標(biāo)。在gogo機(jī)制中，坐標(biāo)系統(tǒng)中的平移經(jīng)歸一化，但旋轉(zhuǎn)未經(jīng)歸一化。手檢測(cè)系統(tǒng)在用戶裝置中的范圍的大小用來使平移數(shù)據(jù)歸一化。旋轉(zhuǎn)是朝向用戶裝置旋轉(zhuǎn)。接著，執(zhí)行線性內(nèi)插以將用戶的手在控制空間中的移動(dòng)轉(zhuǎn)譯為虛擬光標(biāo)在光標(biāo)空間中的移動(dòng)。由此，用戶可夠到用戶裝置的末端。

在一或多個(gè)實(shí)施方案中，gogo魔法機(jī)制還包含對(duì)手勢(shì)及/或手指姿態(tài)檢測(cè)。對(duì)手指姿態(tài)的解譯允許在gogo機(jī)制(打開手)與魔法手機(jī)制(食指指向動(dòng)作)之間切換。對(duì)手勢(shì)及/或手指姿態(tài)檢測(cè)的解譯還允許區(qū)分開選擇與操縱。舉例來說，gogo魔法機(jī)制可將握拳解譯為請(qǐng)求在gogo機(jī)制提供的選擇與魔法手機(jī)制提供的操縱之間進(jìn)行切換。

在一或多個(gè)實(shí)施方案中，筷子機(jī)制使用筷子的尖端產(chǎn)生在用戶裝置的一個(gè)側(cè)上的點(diǎn)?？曜訖C(jī)制還使用用戶裝置的中心點(diǎn)作為立方體。用戶可接著使用筷子來利用筷子的尖端選擇擴(kuò)增現(xiàn)實(shí)場(chǎng)景中的對(duì)象。或者，替代使用物理筷子，用戶可使用虛擬筷子。

再或者，用戶可使用拇指及食指或任何兩根手指模擬筷子運(yùn)動(dòng)，以實(shí)現(xiàn)夾捏手勢(shì)來放大與縮小筷子的虛擬或?qū)嶋H尖端。其它合適手指姿勢(shì)及/或手勢(shì)包含改變手在按鈕上的壓力，等。其它用戶輸入也是可能的，包含但不限于語音、觸摸，等等。

圖1說明根據(jù)本文中所描述的技術(shù)的一或多個(gè)實(shí)施方案的擴(kuò)增現(xiàn)實(shí)環(huán)境100。所說明的擴(kuò)增現(xiàn)實(shí)環(huán)境100包含用戶的手102、用戶裝置104及目標(biāo)106。包含于用戶裝置104中的相機(jī)俘獲或以其它方式獲取包含目標(biāo)106的現(xiàn)實(shí)世界場(chǎng)景的圖像。用戶裝置104可接著在顯示器112上顯現(xiàn)包含所述場(chǎng)景的圖像、虛擬目標(biāo)對(duì)象108(例如，虛擬房屋)及虛擬手114(即，虛擬光標(biāo))的ar場(chǎng)景。所說明的用戶的手102包含食指110。在所說明的環(huán)境100中，虛擬手114還包含虛擬食指116。擴(kuò)增現(xiàn)實(shí)環(huán)境100還包含第一坐標(biāo)系統(tǒng)120及第二坐標(biāo)系統(tǒng)118。在一個(gè)方面中，虛擬手114的位置是根據(jù)第一坐標(biāo)系統(tǒng)120而提供于ar場(chǎng)景內(nèi)。類似地，第二坐標(biāo)系統(tǒng)118界定用戶裝置104與用戶的手102之間的關(guān)系。在一個(gè)實(shí)例中，用戶裝置104相對(duì)于用戶的手102的姿勢(shì)可使用來自第二坐標(biāo)系統(tǒng)118的坐標(biāo)加以表達(dá)。擴(kuò)增現(xiàn)實(shí)環(huán)境100還包含耦合到用戶裝置104的傳感器122。擴(kuò)增現(xiàn)實(shí)環(huán)境100包含虛擬空間124。

在一或多個(gè)實(shí)施方案中，擴(kuò)增現(xiàn)實(shí)環(huán)境100使用基于視覺的跟蹤系統(tǒng)，借助于耦合到用戶裝置104或嵌入于所述用戶裝置內(nèi)的相機(jī)來跟蹤用戶裝置104相對(duì)于虛擬目標(biāo)對(duì)象108的姿勢(shì)。擴(kuò)增現(xiàn)實(shí)環(huán)境100接著可確定虛擬目標(biāo)對(duì)象108與用戶裝置104之間的三維(3d)關(guān)系。擴(kuò)增現(xiàn)實(shí)環(huán)境100還使用傳感器122參考坐標(biāo)系統(tǒng)118跟蹤用戶裝置104相對(duì)于用戶的手102的姿勢(shì)。坐標(biāo)系統(tǒng)118接著映射到坐標(biāo)系統(tǒng)120以響應(yīng)于用戶的手102的移動(dòng)而控制虛擬手114在ar場(chǎng)景中的移動(dòng)。

在操作中，擴(kuò)增現(xiàn)實(shí)環(huán)境100可俘獲現(xiàn)實(shí)世界場(chǎng)景的圖像，使用場(chǎng)景辨識(shí)算法識(shí)別場(chǎng)景中的對(duì)象，基于所識(shí)別對(duì)象檢索信息，且產(chǎn)生物理場(chǎng)景圖像與相關(guān)于所識(shí)別對(duì)象的信息的組合顯示，且由此擴(kuò)增物理場(chǎng)景。在擴(kuò)增實(shí)境系統(tǒng)中，用戶對(duì)現(xiàn)實(shí)世界的視圖利用計(jì)算機(jī)產(chǎn)生的虛擬圖形(例如，虛擬目標(biāo)對(duì)象108)加以增強(qiáng)。這些圖形在空間上對(duì)齊以使得其從檢視用戶的角度看來與現(xiàn)實(shí)世界對(duì)準(zhǔn)。舉例來說，空間對(duì)齊可使得虛擬人物看起來站立在真實(shí)的桌子上。

在一或多個(gè)實(shí)施方案中，擴(kuò)增現(xiàn)實(shí)環(huán)境100可用于游戲設(shè)定、指令設(shè)定、工業(yè)設(shè)計(jì)、體育及娛樂、醫(yī)療環(huán)境或可受益于擴(kuò)增現(xiàn)實(shí)技術(shù)的使用的其它適合環(huán)境中。

在一或多個(gè)實(shí)施方案中，用戶的手102可為用戶裝置104的任何人類檢視者的部分。由此，用戶的手102可使用多種模態(tài)與用戶裝置104交互。當(dāng)然，用戶的手102可為例如機(jī)器人等能夠在例如人類的控制下與用戶裝置104交互的任何機(jī)械裝置的部分。

在一或多個(gè)實(shí)施方案中，用戶裝置104可為任何用戶裝備，例如電話、平板計(jì)算機(jī)、“平板手機(jī)(電話+平板計(jì)算機(jī))”計(jì)算機(jī)、智能電話、膝上型計(jì)算機(jī)及桌上型計(jì)算機(jī)，等等。在一或多個(gè)實(shí)施方案中，用戶裝置104可包含一或多個(gè)定向感測(cè)模塊、相機(jī)、無線收發(fā)器、圖形引擎、處理器、用戶接口(例如，顯示器112、小鍵盤)、眼睛移動(dòng)檢測(cè)模塊、手移動(dòng)檢測(cè)模塊、語音檢測(cè)模塊、話音辨識(shí)模塊、面部表情辨識(shí)模塊、頭部跟蹤模塊，等等。用戶裝置104可具有六個(gè)自由度。

在一或多個(gè)實(shí)施方案中，目標(biāo)106可為場(chǎng)所、對(duì)象、大體方向、人員，或其它類似項(xiàng)目。目標(biāo)106可靜止或移動(dòng)。在一個(gè)實(shí)例中，目標(biāo)106為包含例如紋理、形狀、圖形或大小等區(qū)分性可觀察特征的對(duì)象，所述可觀察特征由用戶裝置104辨識(shí)以用于跟蹤且輔助用戶裝置104的姿勢(shì)估計(jì)以產(chǎn)生ar場(chǎng)景中的虛擬目標(biāo)對(duì)象。舉例來說，目標(biāo)106可為可由用戶裝置104的基于視覺的跟蹤系統(tǒng)辨識(shí)的先前確定的圖形的印刷輸出。因此，用戶裝置104的相機(jī)可俘獲包含目標(biāo)106的現(xiàn)實(shí)世界場(chǎng)景的一或多個(gè)圖像，對(duì)所述圖像執(zhí)行一或多個(gè)辨識(shí)算法以檢測(cè)目標(biāo)106的存在，接著在后續(xù)圖像中跟蹤目標(biāo)106，使得可跟蹤用戶裝置104相對(duì)于目標(biāo)106以及相對(duì)于關(guān)于目標(biāo)106產(chǎn)生的任何虛擬目標(biāo)對(duì)象(例如，108)的姿勢(shì)。

所說明的顯示器112可為能夠顯示文字、圖像及其類似者的觸摸屏顯示器、全息顯示器，等。

所說明的坐標(biāo)系統(tǒng)118為用戶的手102相對(duì)于用戶裝置104的坐標(biāo)系統(tǒng)。坐標(biāo)系統(tǒng)120為用于提供虛擬手114的位置的坐標(biāo)系統(tǒng)。具有坐標(biāo)系統(tǒng)118及坐標(biāo)系統(tǒng)118提供十二個(gè)自由度，因?yàn)橛脩舻氖?02可移動(dòng)，用戶的手102可轉(zhuǎn)動(dòng)，用戶裝置104可移動(dòng)，且用戶裝置104可轉(zhuǎn)動(dòng)。

所說明的傳感器122可為能夠感測(cè)回轉(zhuǎn)手的任何合適裝置，例如紅外傳感器?；蛘?，傳感器122可為能夠跟蹤及/或檢測(cè)用戶的手的移動(dòng)、手指姿勢(shì)、握拳等的磁性傳感器、聲學(xué)傳感器、慣性傳感器、光學(xué)傳感器、機(jī)械傳感器等。此外，傳感器122可實(shí)施用以確定用戶裝置104的位置的機(jī)制。因此，傳感器122可實(shí)施包含使用來自網(wǎng)絡(luò)的數(shù)據(jù)的機(jī)制，包含三角測(cè)量、wi-fi定位，等等。

在一或多個(gè)實(shí)施方案中，傳感器122可區(qū)分手指、手掌等，且將數(shù)據(jù)提供到用戶裝置104。所說明的傳感器122可為任何合適的三維(3d)感測(cè)裝置。

圖2說明根據(jù)本文中所描述的技術(shù)的實(shí)施方案的第一映射模式(例如，gogo機(jī)制)的實(shí)施方案。使用gogo機(jī)制200，用戶的手102可夠到距離大于用戶的手臂長(zhǎng)度的對(duì)象。所說明的gogo機(jī)制200可包含控制空間202(包含坐標(biāo)系統(tǒng)118)、光標(biāo)空間204(包含坐標(biāo)系統(tǒng)120)及對(duì)象空間206。對(duì)象空間206與用戶裝置104相關(guān)聯(lián)，且可提供用戶裝置104相對(duì)于目標(biāo)106的姿勢(shì)。控制空間202橫跨在用戶裝置104與用戶的手102(在圖1中展示)之間?？刂瓶臻g202的大小可動(dòng)態(tài)地映射到對(duì)象空間206以提供光標(biāo)空間204。目標(biāo)106及/或虛擬目標(biāo)對(duì)象108還在光標(biāo)空間204中對(duì)齊。取決于用戶距用戶裝置104的距離，用戶的手102可能能夠始終夠到顯示器112的屏幕上的場(chǎng)景。作為實(shí)例且參考圖1，用戶裝置104可跟蹤用戶裝置104相對(duì)于用戶的手102的姿勢(shì)，以便檢測(cè)用戶的手102的達(dá)第一距離130a的平移移動(dòng)(例如，用戶的手102較接近于/朝向用戶裝置104而移動(dòng))。在此實(shí)例中，第一映射模式包含將用戶的手102的所檢測(cè)平移移動(dòng)歸一化為虛擬手114在ar場(chǎng)景中達(dá)第二距離130b的平移移動(dòng)(例如，虛擬手102較接近于/朝向虛擬目標(biāo)對(duì)象108而移動(dòng))。然而，由于平移移動(dòng)歸一化到坐標(biāo)系統(tǒng)120中，因此第二距離130b大于第一距離130a。行為另一實(shí)例，用戶裝置104可跟蹤用戶裝置104相對(duì)于用戶的手102的姿勢(shì)，以便檢測(cè)用戶的手102的達(dá)第一距離132a的平移移動(dòng)(例如，用戶的手102移動(dòng)遠(yuǎn)離用戶裝置104)。在此實(shí)例中，第一映射模式還包含將用戶的手102的所檢測(cè)平移移動(dòng)歸一化為虛擬手114在ar場(chǎng)景中達(dá)第二距離132b的平移移動(dòng)(例如，虛擬手102移動(dòng)遠(yuǎn)離虛擬目標(biāo)對(duì)象108)。類似地，由于平移移動(dòng)歸一化到坐標(biāo)系統(tǒng)120中，因此第二距離132b大于第一距離132a。

此外，用戶裝置可檢測(cè)用戶裝置104的平移及/或旋轉(zhuǎn)移動(dòng)，其中用戶裝置的所檢測(cè)平移及旋轉(zhuǎn)移動(dòng)與用戶的手的平移及旋轉(zhuǎn)移動(dòng)組合以提供虛擬手114的平移及旋轉(zhuǎn)移動(dòng)。

圖3說明根據(jù)本文中所描述的技術(shù)的實(shí)施方案的第二映射模式(例如，魔法手機(jī)制300)的實(shí)施方案。在所說明的實(shí)施方案中，由用戶裝置104上的傳感器122產(chǎn)生的控制空間302映射(例如，直接映射)到與對(duì)象空間306相關(guān)聯(lián)的光標(biāo)空間304。如圖3中所示，光標(biāo)空間304從用戶裝置104脫離。即，映射可為一對(duì)一映射，以使得可精確地操縱對(duì)象空間306中的對(duì)象(例如，虛擬目標(biāo)對(duì)象108)。因此，魔法手機(jī)制可允許精確地操縱用戶裝置104的顯示器112上展示的場(chǎng)景中的對(duì)象。對(duì)虛擬目標(biāo)對(duì)象108的操縱可包含經(jīng)由虛擬手114選擇、啟動(dòng)、觸摸、移動(dòng)、調(diào)整大小、旋轉(zhuǎn)或以其它方式與虛擬目標(biāo)對(duì)象108交互。傳感器122可使用紅外光學(xué)件、相機(jī)、深度感測(cè)器等等加以實(shí)施。在一或多個(gè)實(shí)施方案中，光標(biāo)空間304為可在其中操縱對(duì)象且虛擬手116在其中四處移動(dòng)的空間。魔法手機(jī)制300允許對(duì)對(duì)象的精細(xì)粒度操縱。作為實(shí)例且參考圖1，用戶裝置104可跟蹤用戶裝置104相對(duì)于用戶的手102的姿勢(shì)，以便檢測(cè)用戶的手102的達(dá)第一距離130a的平移移動(dòng)(例如，用戶的手102較接近于或朝向用戶裝置104而移動(dòng))。在此實(shí)例中，第二映射模式包含將用戶的手102的所檢測(cè)平移移動(dòng)直接映射到虛擬手114在ar場(chǎng)景中達(dá)第二距離130b的平移移動(dòng)(例如，虛擬手102較接近于或朝向虛擬目標(biāo)對(duì)象108而移動(dòng))。因此，由于平移移動(dòng)直接映射到坐標(biāo)系統(tǒng)120中，因此第二距離130b等于第一距離130a。類似地，用戶裝置可檢測(cè)用戶的手102的旋轉(zhuǎn)移動(dòng)，其中所檢測(cè)旋轉(zhuǎn)移動(dòng)直接映射到虛擬手114的旋轉(zhuǎn)移動(dòng)(例如，用戶的手102的10度旋轉(zhuǎn)導(dǎo)致虛擬手114的10度旋轉(zhuǎn))。在一個(gè)方面中，用戶裝置可獨(dú)立于用戶裝置104相對(duì)于目標(biāo)106的任何平移及旋轉(zhuǎn)移動(dòng)而確定虛擬手114的平移及旋轉(zhuǎn)移動(dòng)。

圖4是說明根據(jù)一或多個(gè)實(shí)施方案的操作擴(kuò)增現(xiàn)實(shí)環(huán)境100以允許用戶選擇且操縱虛擬目標(biāo)對(duì)象的過程400的流程圖。過程400為由圖1的用戶裝置104執(zhí)行的一個(gè)可能過程。

在過程框402中，用戶裝置104俘獲或以其它方式獲取現(xiàn)實(shí)世界場(chǎng)景的圖像。在過程框404中，顯示器112顯示包含現(xiàn)實(shí)世界場(chǎng)景的圖像、虛擬目標(biāo)對(duì)象108及虛擬手114的ar場(chǎng)景。如上文所提及，虛擬手的位置是根據(jù)ar場(chǎng)景內(nèi)的第一坐標(biāo)系統(tǒng)120而提供。在過程框408中，用戶裝置104根據(jù)第二坐標(biāo)系統(tǒng)118跟蹤用戶裝置104相對(duì)于用戶的手102的姿勢(shì)。在過程框410中，用戶裝置104檢測(cè)用戶輸入。如上文所提及，檢測(cè)用戶輸入可借助于傳感器122執(zhí)行以檢測(cè)用戶的手102的手指姿態(tài)及/或手勢(shì)中的至少一者。接下來，在決策框412中，用戶裝置412確定用戶輸入是否指示用戶裝置102應(yīng)在第一映射模式或第二映射模式中操作以控制虛擬手116在ar場(chǎng)景中的移動(dòng)。在一個(gè)實(shí)例中，檢測(cè)手指指向動(dòng)作(例如，通過食指110)以便切換到第二映射模式(例如，魔法手機(jī)制)。在另一實(shí)例中，檢測(cè)用戶的手102的打開手勢(shì)以便切換到第一映射模式(例如，gogo機(jī)制)。此外，可檢測(cè)用戶的手102的握拳姿態(tài)以從第一映射模式切換到第二映射模式。因此，實(shí)際上，用戶的手102可在第一映射模式中借助于打開手勢(shì)而夠到虛擬目標(biāo)對(duì)象108，且接著通過接著將打開手閉合到握拳姿態(tài)而在第二映射模式中控制或操縱虛擬目標(biāo)對(duì)象108。

因此，如果用戶裝置102確定所檢測(cè)到的用戶輸入指示第一映射模式，那么過程400進(jìn)行到過程框414，在所述過程框處，將第二坐標(biāo)系統(tǒng)118映射到第一坐標(biāo)系統(tǒng)120以根據(jù)例如上文參考圖2的gogo機(jī)制200所描述的第一映射模式控制虛擬手114的移動(dòng)。類似地，如果用戶裝置102確定所檢測(cè)到的用戶輸入指示第二映射模式，那么過程400進(jìn)行到過程框416，在所述過程框處，將第二坐標(biāo)系統(tǒng)118映射到第一坐標(biāo)系統(tǒng)120以根據(jù)例如上文參考圖3的魔法手機(jī)制300所描述的第二映射模式控制虛擬手114的移動(dòng)。

圖5a到5c說明根據(jù)本文中所描述的技術(shù)的一或多個(gè)實(shí)施方案的擴(kuò)增現(xiàn)實(shí)環(huán)境100中的目標(biāo)106與手102之間的關(guān)系。圖5a說明根據(jù)本文中所描述的技術(shù)的一或多個(gè)實(shí)施方案的食指110指向姿態(tài)。圖5b說明根據(jù)本文中所描述的技術(shù)的一或多個(gè)實(shí)施方案的用戶的手102的打開手勢(shì)。圖5c說明根據(jù)本文中所描述的技術(shù)的一或多個(gè)實(shí)施方案的握拳姿態(tài)502。如上文所提及，用戶裝置102可將握拳姿態(tài)502解譯為從gogo機(jī)制200提供的虛擬手114移動(dòng)切換到由魔法手機(jī)制300提供的虛擬目標(biāo)對(duì)象108操縱的請(qǐng)求。

圖6為說明根據(jù)本文中所描述的技術(shù)的一或多個(gè)實(shí)施方案的筷子機(jī)制600的圖片?？曜訖C(jī)制600包含尖端602以控制擴(kuò)增現(xiàn)實(shí)場(chǎng)景中的目標(biāo)點(diǎn)。在一個(gè)方面中，由筷子機(jī)制600控制的目標(biāo)點(diǎn)為如上文所描述的虛擬光標(biāo)。在另一方面中，由筷子機(jī)制600控制的目標(biāo)點(diǎn)為如上文所描述的虛擬目標(biāo)對(duì)象。用戶可接著使用筷子機(jī)制600來利用尖端602選擇及/或操縱擴(kuò)增現(xiàn)實(shí)場(chǎng)景中的對(duì)象。

圖7為說明根據(jù)本文中所描述的技術(shù)的一或多個(gè)實(shí)施方案的筷子機(jī)制600的操作的立體簡(jiǎn)圖。在一或多個(gè)實(shí)施方案中，筷子600機(jī)制使用包含于用戶裝置104中的深度相機(jī)測(cè)量手102距屏幕的距離h及拇指702與食指704的距離d。目標(biāo)點(diǎn)處于穿過拇指702與食指704之間的中點(diǎn)的線706上。線706的起點(diǎn)可相對(duì)于顯示器112上的屏幕固定，或可通過利用用戶裝置104中面向用戶的相機(jī)跟蹤用戶708的頭部來加以確定。目標(biāo)點(diǎn)沿著線706的距離p與d及h兩者成比例：p＝k*d*h，其中k為常數(shù)。在一個(gè)方面中，常數(shù)k由用戶708選擇。在另一方面中，常數(shù)k由用戶裝置104預(yù)先確定。

圖8a及8b是說明根據(jù)本文中所描述的技術(shù)的一或多個(gè)實(shí)施方案的筷子機(jī)制600的操作的圖。使用圖8a中所說明的筷子機(jī)制600，如果用戶708增大拇指702與食指704之間的距離d，那么用戶裝置104可控制ar場(chǎng)景，使得到目標(biāo)點(diǎn)的距離p變大。在一個(gè)方面中，用戶裝置104通過移動(dòng)目標(biāo)點(diǎn)(例如ar場(chǎng)景內(nèi)的虛擬手114)來控制距離p。如圖8b中所示，如果用戶708減小拇指702與食指704的距離d，作為用戶裝置104控制ar場(chǎng)景，使得到目標(biāo)點(diǎn)的距離p變小。

圖9a及9b是說明根據(jù)本文中所描述的技術(shù)的一或多個(gè)實(shí)施方案的筷子機(jī)制600的操作的圖。使用圖9a中所說明的筷子機(jī)制600，如果用戶708朝向顯示器112上的屏幕移動(dòng)其手102，從而減小距離h，那么用戶裝置104控制ar場(chǎng)景，使得到目標(biāo)點(diǎn)的距離p變小。類似地，如圖9b中所示，如果用戶將其手移動(dòng)遠(yuǎn)離屏幕，從而增大距離h，那么用戶裝置104控制ar場(chǎng)景，使得到目標(biāo)點(diǎn)的距離p變大。

圖10是說明能夠執(zhí)行本文中論述的過程的設(shè)備1000的功能框圖。在一個(gè)實(shí)例中，設(shè)備1000為能夠執(zhí)行與ar場(chǎng)景的空間交互(例如上文所描述的過程400)的用戶裝置(例如，用戶裝置104)。設(shè)備100可包含相機(jī)1002以及傳感器1004。在一個(gè)實(shí)施方案中，相機(jī)1002為后置相機(jī)，使得其可俘獲目標(biāo)106所位于的現(xiàn)實(shí)世界場(chǎng)景的圖像，而傳感器1004為前置的，使得其可在設(shè)備1000的顯示器側(cè)上跟蹤設(shè)備1000相對(duì)于用戶的手102的姿勢(shì)。

傳感器1004可包含可檢測(cè)及/或跟蹤用戶的手102的移動(dòng)、手指姿勢(shì)、握拳等的檢測(cè)器及/或跟蹤器。傳感器1004可從慣性測(cè)量單元(imu)接收設(shè)備1000的慣性信息以確定設(shè)備1000是否已移動(dòng)及如何移動(dòng)。此外，傳感器1004可實(shí)施用以確定設(shè)備1000的位置的機(jī)制。此些機(jī)制可包含使用來自網(wǎng)絡(luò)的數(shù)據(jù)，包含三角測(cè)量、wi-fi定位，等等。

設(shè)備1000還包含用戶接口1008，所述用戶接口包含能夠顯示由設(shè)備1000產(chǎn)生的ar場(chǎng)景的顯示器1026。如上文所提及，ar場(chǎng)景包含由相機(jī)1002俘獲的現(xiàn)實(shí)世界場(chǎng)景的圖像以及虛擬目標(biāo)對(duì)象108及虛擬手114。用戶接口1008還可包含小鍵盤1028或用戶可借以將信息輸入到設(shè)備1000中的其它輸入裝置。如果需要，可通過將虛擬小鍵盤與觸摸傳感器一起集成到顯示器1026中而排除小鍵盤1028。用戶接口1008還可包含麥克風(fēng)1030及揚(yáng)聲器1032。

設(shè)備1000還包含連接到相機(jī)1002、傳感器1004及用戶接口1008且與之通信的控制單元1006?？刂茊卧?006接受并處理從相機(jī)1002及/或網(wǎng)絡(luò)適配器1020接收的圖像?？刂茊卧?006還接受并處理從傳感器1004接收的數(shù)據(jù)以跟蹤設(shè)備1000相對(duì)于用戶的手102的姿勢(shì)?？刂茊卧?006可由處理單元1010及相關(guān)聯(lián)存儲(chǔ)器1016、硬件1012、固件1014、軟件1018及圖形引擎1024提供。

控制單元1006可進(jìn)一步包含擴(kuò)增現(xiàn)實(shí)(ar)引擎1022。ar引擎1022可經(jīng)配置以執(zhí)行例如上文參考圖4的過程400所描述的一或多個(gè)空間交互程序。由相機(jī)1002俘獲的圖像以及由傳感器1004提供的數(shù)據(jù)兩者皆可提供到ar引擎1022。ar引擎1022可接著在顯示器1026上的圖像中顯現(xiàn)或以其它方式產(chǎn)生ar場(chǎng)景的視覺元素。

處理單元1010與ar引擎1022為了清楚起見而單獨(dú)地加以說明，但可為單個(gè)單元及/或基于在處理單元1010中運(yùn)行的軟件1018中的指令而實(shí)施于處理單元1010中。處理單元1010以及ar引擎1022可但不需要一定包含一或多個(gè)微處理器、嵌入式處理器、控制器、專用集成電路(asic)、數(shù)字信號(hào)處理器(dsp)，等等。術(shù)語處理器和處理單元描述通過系統(tǒng)而非特定的硬件實(shí)施的功能。此外，如本文中所使用，術(shù)語“存儲(chǔ)器”指任何類型的計(jì)算機(jī)存儲(chǔ)媒體，包含長(zhǎng)期存儲(chǔ)器、短期存儲(chǔ)器或與設(shè)備1000相關(guān)聯(lián)的其它存儲(chǔ)器，且不應(yīng)限于任何特定類型的存儲(chǔ)器或特定數(shù)目的存儲(chǔ)器，或其上存儲(chǔ)有存儲(chǔ)器的類型的媒體。

取決于應(yīng)用，本文中所描述的過程可以通過各種裝置來實(shí)施。舉例來說，可在硬件1012、固件1014、硬件1012與軟件1018的組合或其任何組合中實(shí)施這些過程。對(duì)于硬件實(shí)施方案，處理單元可實(shí)施于一或多個(gè)專用集成電路(asic)、數(shù)字信號(hào)處理器(dsp)、數(shù)字信號(hào)處理裝置(dspd)、可編程邏輯裝置(pld)、現(xiàn)場(chǎng)可編程門陣列(fpga)、處理器、控制器、微控制器、微處理器、電子裝置、經(jīng)設(shè)計(jì)以執(zhí)行本文中所描述功能的其它電子單元，或其組合內(nèi)。

對(duì)于固件及/或硬件與軟件組合實(shí)施方案，可利用執(zhí)行本文中所描述的功能的模塊(例如，程序、函數(shù)，等等)實(shí)施所述過程。任何有形地體現(xiàn)指令的計(jì)算機(jī)可讀媒體可用于實(shí)施本文所描述的過程。舉例來說，程序代碼可存儲(chǔ)于存儲(chǔ)器1016中且通過處理單元1010執(zhí)行。存儲(chǔ)器可在處理單元1010內(nèi)或外部實(shí)施。

如果實(shí)施于固件及/或硬件/軟件組合中，那么所述功能可存儲(chǔ)為計(jì)算機(jī)可讀媒體上的一或多個(gè)指令或代碼。實(shí)例包含編碼有數(shù)據(jù)結(jié)構(gòu)的非暫時(shí)性計(jì)算機(jī)可讀媒體，及編碼有計(jì)算機(jī)程序的計(jì)算機(jī)可讀媒體。計(jì)算機(jī)可讀媒體包含物理計(jì)算機(jī)存儲(chǔ)媒體。存儲(chǔ)媒體可為可由計(jì)算機(jī)存取的任何可用媒體。作為實(shí)例而非限制，此類計(jì)算機(jī)可讀媒體可包括ram、rom、快閃存儲(chǔ)器、eeprom、cd-rom或其他光盤存儲(chǔ)裝置、磁盤存儲(chǔ)裝置或其他磁性存儲(chǔ)裝置，或可用于存儲(chǔ)呈指令或數(shù)據(jù)結(jié)構(gòu)形式的所要程序代碼且可由計(jì)算機(jī)存取的任何其它媒體；如本文中所使用，磁盤和光盤包含壓縮光盤(cd)、激光光盤、光學(xué)光盤、數(shù)字多功能光盤(dvd)、軟盤和藍(lán)光光盤，其中磁盤通常以磁性方式再現(xiàn)數(shù)據(jù)，而光盤用激光以光學(xué)方式再現(xiàn)數(shù)據(jù)。以上各項(xiàng)的組合也應(yīng)包含在計(jì)算機(jī)可讀媒體的范圍內(nèi)。

圖11是說明可使用于經(jīng)配置以提供與如本文中所教示的擴(kuò)增現(xiàn)實(shí)場(chǎng)景的空間交互的用戶裝置中的組件的若干樣本方面的簡(jiǎn)化框圖。用戶裝置1100為圖1的用戶裝置104及/或圖10的設(shè)備1000的一個(gè)可能實(shí)施方案，表示為一系列相關(guān)功能模塊。

至少在一些方面中，用于獲取現(xiàn)實(shí)世界場(chǎng)景的圖像的模塊1110可對(duì)應(yīng)于例如圖10的相機(jī)1002。至少在一些方面中，用于顯示ar場(chǎng)景的模塊1120可對(duì)應(yīng)于例如圖10的顯示器1026。在一些方面中，用于根據(jù)第二坐標(biāo)系統(tǒng)跟蹤用戶裝置相對(duì)于用戶的手的姿勢(shì)的模塊1140可對(duì)應(yīng)于例如圖10的ar引擎1022與傳感器1004的組合。在一些方面中，用于將第二坐標(biāo)系統(tǒng)映射到第一坐標(biāo)系統(tǒng)以控制虛擬手的移動(dòng)的模塊1150可對(duì)應(yīng)于例如圖10的ar引擎1022。在一些方面中，用于檢測(cè)用戶輸入以控制模塊1150使用第一映射模式及第二映射模式中的哪一者的模塊1160可對(duì)應(yīng)于例如圖10的ar引擎1022與傳感器1004的組合。

圖10的模塊1110到1160的功能性可以符合本文中的教示的各種方式加以實(shí)施。在一些設(shè)計(jì)中，這些模塊1110到1160的功能性可實(shí)施為一或多個(gè)電組件。在一些設(shè)計(jì)中，這些模塊1110到1160的功能性可實(shí)施為包含一或多個(gè)處理器組件的處理系統(tǒng)。在一些設(shè)計(jì)中，這些模塊1110到1160的功能性可使用例如一或多個(gè)集成電路(例如，asic)的至少一部分加以實(shí)施。如本文所論述，集成電路可包含處理器、軟件、其它相關(guān)組件，或其某一組合。因此，不同模塊的功能性可實(shí)施為例如集成電路的不同子集、一組軟件模塊的不同子集，或其組合。而且，將了解，給定子集(例如，集成電路及/或一組軟件模塊的子集)可提供多于一個(gè)模塊的功能性的至少一部分。

此外，由圖10表示的組件及功能以及本文中所描述的其它組件及功能可使用任何合適裝置加以實(shí)施。此些裝置還可至少部分地使用如本文中教示的對(duì)應(yīng)結(jié)構(gòu)加以實(shí)施。舉例來說，上文結(jié)合圖10的“用于...的模塊”組件所描述的組件還可對(duì)應(yīng)于類似地命名的“用于...的裝置”功能性。因此，在一些方面中，此些裝置中的一或多者可使用處理器組件、集成電路或如本文中教示的其它合適結(jié)構(gòu)中的一或多者加以實(shí)施。

本文中參考對(duì)特定應(yīng)用的說明描述一或多個(gè)實(shí)施方案。應(yīng)理解，所述實(shí)施方案并不意欲為限制性的?？色@得本文中所提供的教示的所屬領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到其范圍內(nèi)的額外更改、應(yīng)用及實(shí)施方案以及所述技術(shù)可能明顯實(shí)用的額外領(lǐng)域。在對(duì)實(shí)例實(shí)施方案的以上描述中，出于解釋的目的，闡述特定數(shù)目、材料、配置及其它細(xì)節(jié)以便更好地解釋所主張的實(shí)施方案。然而，所屬領(lǐng)域的技術(shù)人員將顯而易見，可使用不同于本文中所描述的實(shí)例的細(xì)節(jié)來實(shí)踐權(quán)利要求。在其它情況下，省略或簡(jiǎn)化眾所周知的特征以使對(duì)實(shí)例實(shí)施方案的描述清楚。