專利名稱：位置捕獲輸入設(shè)備、系統(tǒng)及其方法
技術(shù)領(lǐng)域：
本公開通常涉及計(jì)算機(jī)輸入設(shè)備。更具體地，本公開涉及對(duì)運(yùn)動(dòng)敏感的計(jì)算機(jī)輸入設(shè)備。
背景技術(shù)：
自20世紀(jì)80年代以來，鼠標(biāo)已經(jīng)成為個(gè)人電腦上用于導(dǎo)航的默認(rèn)輸入設(shè)備。通過鼠標(biāo)在屏幕上打開窗口、點(diǎn)擊圖標(biāo)以及操縱對(duì)象的能力，充分體現(xiàn)了圖形用戶界面(GUI)的功用。這些能力為各公司開啟了開發(fā)不再需要鍵入命令以訪問內(nèi)容而是允許新手“點(diǎn)擊”以運(yùn)行應(yīng)用程序的操作系統(tǒng)的大門。在20世紀(jì)90年代，許多鼠標(biāo)開始包含滾輪，為了允許用戶導(dǎo)航多頁文檔以及網(wǎng)頁，滾輪增加了新的功能，這已變得越來越普遍。 在21世紀(jì)早期，開始出現(xiàn)新的計(jì)算方向。因特網(wǎng)和無線技術(shù)已使得硬件制造商開始集成類似的組件。此外，計(jì)算機(jī)顯示技術(shù)已脫離了陰極射線管而以例如液晶顯示器(LCD)或等離子屏幕的平面設(shè)備取而代之。今天，家用臺(tái)式電腦和電視均能夠使用LCD屏幕或類似的平板顯示器提供圖像。計(jì)算機(jī)和在TV上觀看高清(HD)內(nèi)容所需要的分辨率彼此相當(dāng)，且擁有IXD TV和IXD液晶顯示器會(huì)是多余的。另外，正如我們從上網(wǎng)本所看到的，計(jì)算機(jī)組件已變得既便宜又緊湊。如三星、索尼以及松下這樣的LCD TV制造商現(xiàn)在上市了具有基本的處理能力和連通性以支持網(wǎng)絡(luò)可用內(nèi)容的模式的模型，例如，Netflix流媒體、雅虎窗口工具、網(wǎng)絡(luò)瀏覽器等等。用戶能夠上網(wǎng)并執(zhí)行其能夠從個(gè)人電腦(PC)或便攜式電腦上執(zhí)行的全部任務(wù)，而不受限于桌面環(huán)境。然而，對(duì)于具有使用其TV上網(wǎng)的經(jīng)驗(yàn)的每個(gè)人，出現(xiàn)了一個(gè)主要障礙。使用遠(yuǎn)程控制來導(dǎo)航內(nèi)容豐富的環(huán)境是非常困難的。與鼠標(biāo)相比，甚至例如任天堂Wii手柄這樣的“智能”設(shè)備的使用也是相當(dāng)困難的。許多問題已使得難于使用鼠標(biāo)來導(dǎo)航PC的外部環(huán)境。首先，鼠標(biāo)要求使用平面。事實(shí)上，桌面之所以被稱為桌面是因?yàn)槠涫褂脮雷鳛槠涫褂闷脚_(tái)。第二，由于需要點(diǎn)擊每個(gè)字母，且虛擬鍵盤的各字母是間隔開的，使用鼠標(biāo)輸入文本是非常困難的。其結(jié)果是，“鍵入”所涉及的手部動(dòng)作比物理鍵盤所涉及的手部動(dòng)作更多。第三，由于鼠標(biāo)受限于二維表面，在該二維表面中，鼠標(biāo)在二維方向上移動(dòng)，鼠標(biāo)對(duì)于在三維環(huán)境中的導(dǎo)航是無用的，因?yàn)樯疃纫箢~外的輸入。對(duì)鼠標(biāo)缺陷的全面解決方案是這樣一種設(shè)備其不需要使用表面，能夠以更友好的方式輸入文本，且具有在三維環(huán)境中導(dǎo)航的能力。

發(fā)明內(nèi)容
根據(jù)各種實(shí)施方式，一種位置捕獲輸入系統(tǒng)使用攝像頭捕獲所顯示的圖形用戶界面的圖像，所述圖形用戶界面可部分被物體遮蔽，例如用戶的手或其它身體部位。所述位置捕獲輸入系統(tǒng)還包括軟件組件，所述軟件組件使計(jì)算設(shè)備將所捕獲的圖像與所顯示的圖像進(jìn)行比較，以判斷如果存在遮蔽，所述圖形用戶界面的哪個(gè)部分被遮蔽。然后，所述計(jì)算設(shè)備識(shí)別所述用戶試圖交互的任意用戶界面元素。所述位置捕獲輸入系統(tǒng)還可包括一個(gè)或多個(gè)加速計(jì)，以檢測由用戶執(zhí)行的用于例如選擇用戶界面元素或與用戶界面元素交互的動(dòng)作。所述位置捕獲輸入系統(tǒng)還可包括觸覺反饋模塊，以提供確認(rèn)，例如確認(rèn)已選定用戶界面元素。在一個(gè)實(shí)施例中，一種位置捕獲輸入系統(tǒng)包括第一攝像頭，其被配置為從用戶的視角捕獲圖形用戶界面的圖像。所述圖形用戶界面包括多個(gè)用戶界面元素。計(jì)算設(shè)備與所述第一攝像頭通信，且被配置為接收所捕獲的圖像并將所述所捕獲的圖像與所顯示的由所述計(jì)算設(shè)備生成的圖像進(jìn)行比較。根據(jù)所捕獲的圖像與所顯示的圖像之間的比較，所述計(jì)算設(shè)備判斷障礙相對(duì)于所述圖形用戶界面的位置。根據(jù)所述障礙相對(duì)于所述圖形用戶界面的位置，所述計(jì)算設(shè)備判斷所述用戶是否正在與所述圖形用戶界面的用戶界面元素交互。其它各實(shí)施例針對(duì)各方法和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，與信號(hào)不同，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可用于與所述位置捕獲輸入系統(tǒng)相關(guān)聯(lián)。


圖I是示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的位置捕獲輸入系統(tǒng)的系統(tǒng)圖。
·
圖2是圖I中的位置捕獲輸入系統(tǒng)的一個(gè)組件的立體圖。圖3是圖I中的位置捕獲輸入系統(tǒng)的另一個(gè)組件的立體圖。圖4是示出了圖I中的位置捕獲輸入系統(tǒng)的校準(zhǔn)方法的流程圖。圖5是與圖4中的矯正方法關(guān)聯(lián)使用的示例性校準(zhǔn)屏幕圖像。圖6是用于根據(jù)圖4中描繪的方法來校準(zhǔn)圖I中的位置捕獲輸入系統(tǒng)的示例性屏
、t Pi /J 人 ο圖7是示出了根據(jù)另一個(gè)實(shí)施例的檢測用戶的手相對(duì)于圖形用戶界面的位置的示例性方法的流程圖。圖8示出了與圖7中的方法關(guān)聯(lián)使用的示例性圖形用戶界面。圖9示出了用戶的手在圖8中的用戶圖形界面上重合。圖10示出了根據(jù)圖7中的方法檢測作為障礙的用戶的手。圖11示出了映射到可選擇的用戶界面元素上的、圖10中檢測到的障礙的一部分。發(fā)明的詳細(xì)描述根據(jù)各種實(shí)施例，一種位置捕獲輸入系統(tǒng)使用攝像頭捕獲所顯示的圖形用戶界面的圖像，該圖形用戶界面可部分被物體遮蔽，例如用戶的手或其它身體部位。該位置捕獲輸入系統(tǒng)也包括軟件組件，該軟件組件使計(jì)算設(shè)備將所捕獲的圖像與所顯示的圖像進(jìn)行比較，以判斷如果存在遮蔽，該圖形用戶界面的哪個(gè)部分被遮避。然后，該計(jì)算裝置可識(shí)別用戶試圖交互的任何用戶界面元素。該位置捕獲輸入系統(tǒng)也可可選地包括一個(gè)或多個(gè)加速計(jì)，以用于檢測由用戶執(zhí)行的用于例如選擇用戶界面元素或與用戶界面元素交互的動(dòng)作。在一些實(shí)施例中，該位置捕獲輸入系統(tǒng)包括觸覺反饋模塊，該模塊可提供例如已選定了用戶界面元素的確認(rèn)。在計(jì)算環(huán)境中實(shí)施的各種實(shí)施例的以下描述將被解釋為闡釋性而非限制性的。此描述不意欲限制本公開或此說明書中所公開的主題的應(yīng)用或使用。例如，雖然將各種實(shí)施例描述為在計(jì)算環(huán)境中實(shí)施，但是應(yīng)理解，本公開的原理可適用于可在其它環(huán)境中操作的用戶界面設(shè)備，例如游戲機(jī)或多媒體設(shè)備。在以下描述中，為了提供對(duì)各種實(shí)施例的整體理解而陳述了許多特定的細(xì)節(jié)。對(duì)于本領(lǐng)域的技術(shù)人員來說顯而易見的是，可在缺少這些特定的細(xì)節(jié)中的一些細(xì)節(jié)或全部細(xì)節(jié)的情況下實(shí)踐一些實(shí)施例。在其它情況下，未對(duì)現(xiàn)有技術(shù)已知的組件和處理步驟進(jìn)行詳細(xì)描述?？稍谝话愕奶幚砥骺蓤?zhí)行指令的環(huán)境中描述各種實(shí)施例，例如由處理器執(zhí)行的程序模塊。通常，程序模塊包括例程、程序、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)等等，其執(zhí)行特別的任務(wù)或?qū)嵤┨貏e的抽象數(shù)據(jù)類型。還可在分布式處理環(huán)境中實(shí)踐特定的實(shí)施例，在該分布式處理環(huán)境中由通過通信網(wǎng)絡(luò)或其它數(shù)據(jù)傳輸介質(zhì)連接的遠(yuǎn)程處理設(shè)備執(zhí)行各種任務(wù)。在分布式處理環(huán)境中，程序模塊及其它數(shù)據(jù)可位于本地以及遠(yuǎn)程存儲(chǔ)介質(zhì)中，包括存儲(chǔ)設(shè)備?，F(xiàn)參照各附圖，圖I是示出了根據(jù)一個(gè)實(shí)施例的位置捕獲輸入系統(tǒng)100的系統(tǒng)圖。在圖I所示的該實(shí)施例中，位置捕獲輸入系統(tǒng)100包括光學(xué)組件102，光學(xué)組件102使用內(nèi)置于用戶佩戴的一副眼鏡內(nèi)的攝像頭。盡管不需要，用戶可佩戴可選的腕部設(shè)備104，以檢測用戶手的動(dòng)作。計(jì)算設(shè)備106包含軟件組件，該軟件組件使用從光學(xué)組件102以及(如果存在)可選的腕部設(shè)備104獲得的信息，以允許用戶導(dǎo)航圖形用戶界面。在圖I中所示的該實(shí)施例中，顯示設(shè)備108與計(jì)算設(shè)備106—體成型。然而，在其它各實(shí)施例中，顯示設(shè)備108 可為獨(dú)立于計(jì)算設(shè)備106的組件。計(jì)算設(shè)備106典型地被配置為運(yùn)行一種或多種類型的處理器可讀介質(zhì)。處理器可讀介質(zhì)可以是可由計(jì)算設(shè)備106訪問的任何可用的介質(zhì)，且包括易失性和非易失性介質(zhì)、可移動(dòng)的和不可移動(dòng)的介質(zhì)。以示例的方式且非限制性的，處理器可讀介質(zhì)可包括存儲(chǔ)介質(zhì)以及通信介質(zhì)。存儲(chǔ)媒體包括以任意信息存儲(chǔ)方法或技術(shù)實(shí)施的易失性和非易失性、可移動(dòng)和不可移動(dòng)的介質(zhì)，所述信息為例如存儲(chǔ)器可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)。存儲(chǔ)介質(zhì)包括但不限于RAM、ROM、EEPR0M、閃存或其它存儲(chǔ)器技術(shù)、CD-ROM、數(shù)字化視頻光盤(DVD)或其它光盤存儲(chǔ)、盒式磁帶、磁帶、磁盤存儲(chǔ)或其它磁存儲(chǔ)設(shè)備或能夠用于存儲(chǔ)想要的信息的任意其它介質(zhì)以及能夠由計(jì)算設(shè)備106通過例如介質(zhì)驅(qū)動(dòng)器110訪問的任意其它介質(zhì)。通信介質(zhì)典型地實(shí)現(xiàn)處理器可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或模塊化數(shù)據(jù)信號(hào)(例如載波或其它傳輸機(jī)制)中的其它數(shù)據(jù)，且包括任意信息傳遞介質(zhì)。術(shù)語“模塊化數(shù)據(jù)信號(hào)”意味著具有以該信號(hào)中的編碼信息那樣的方式設(shè)置或改變其一個(gè)或多個(gè)特性的信號(hào)。以示例的方式且非限制性的，通信介質(zhì)包括有線介質(zhì)(例如有線網(wǎng)絡(luò)或直接有線連接)以及無線介質(zhì)，例如聲介質(zhì)、RF、紅外及其它無線介質(zhì)。上述的任意組合也意欲包括在處理器可讀介質(zhì)的范圍中。圖2是光學(xué)組件102的立體圖。光學(xué)組件102包含攝像頭200，其可位于一對(duì)透鏡202,204之間。攝像頭200可實(shí)施為低分辨率、單色攝像頭，以減少向計(jì)算設(shè)備106傳輸?shù)男畔⒘?。可選擇性，攝像頭200可實(shí)施為更高分辨率或彩色攝像頭，例如，如果不需要太擔(dān)心帶寬的話。在一些實(shí)施例中，光學(xué)組件102可包含多個(gè)攝像頭200，以提供例如立體位置捕獲能力。在這樣的各實(shí)施例中，各攝像頭可位于各個(gè)透鏡202、204的上方、下方或側(cè)面。各透鏡202、204可由任意合適的材料制造，包括例如玻璃或塑料。在一些實(shí)施例中，各透鏡202、204可不提供任何功能。事實(shí)上，特定的實(shí)施例可省略各透鏡202、204或可用單個(gè)的遮檐狀結(jié)構(gòu)替代它們。另一方面，在其它各實(shí)施例中，各透鏡202、204可為用戶提供感知三維圖像的外觀以及感知由顯示設(shè)備108生成的界面的能力。可以本領(lǐng)域已知的多種方式實(shí)現(xiàn)此能力。例如，各透鏡202、204可為不同顏色的，例如，紅色和藍(lán)色?？蛇x擇性，各透鏡202、204可具有類似的顏色，但具有不同的偏振方向。作為另一個(gè)例子，各透鏡202、204可使用有源組件而不是無源組件來實(shí)現(xiàn)三維功能。例如，各透鏡202、204可包含IXD元件，LCD元件選擇性地、快速連續(xù)地遮蔽用戶眼中視覺，由此，過濾由每只眼睛因時(shí)分而接收到的光學(xué)輸入。在顯示設(shè)備108上顯示的各圖像可與各透鏡202、204中的各IXD元件的啟動(dòng)同步，以產(chǎn)生三維感知的錯(cuò)覺。圖3是腕部設(shè)備104的示例性實(shí)施的立體圖。腕部設(shè)備104包括檢測用戶的腕部的運(yùn)動(dòng)的加速計(jì)300。在一些實(shí)施例中，腕部設(shè)備104可包含多個(gè)加速計(jì)300，以用于檢測用戶腕部在多個(gè)方向上的運(yùn)動(dòng)。以這樣的方式，腕部設(shè)備104能夠檢測用戶執(zhí)行的動(dòng)作，例如，用于選擇用戶界面元素的東子或與圖形用戶界面交互的動(dòng)作。腕部設(shè)備104也包括用于向計(jì)算設(shè)備106傳送該加速計(jì)或各加速計(jì)300收集到的信息的無線收發(fā)器(未示出)。該無線收發(fā)器也可接收來自計(jì)算設(shè)備106的數(shù)據(jù)，例如確認(rèn)已選定用戶界面元素的數(shù)據(jù)。雖然不需要，腕部設(shè)備104也可包含觸覺反饋模塊302。觸覺反饋模塊302可通過使用例如偏心馬達(dá)實(shí)施，其在通電時(shí)生成振動(dòng)。在一些實(shí)施例中，當(dāng)腕部設(shè)備104接收到來自計(jì)算設(shè)備106的、已選定用戶界面元素的確認(rèn)信息時(shí)，激活觸覺反饋模塊302以向用戶提供反饋。還 可響應(yīng)其它事件來激活觸覺反饋模塊302，例如在可選擇的用戶界面元素上方懸停。腕部設(shè)備104也包括校準(zhǔn)按鈕304，可由用戶驅(qū)動(dòng)該該校準(zhǔn)按鈕304，以啟動(dòng)將在下面結(jié)合圖4至6描述的校準(zhǔn)模式。位置捕獲輸入系統(tǒng)100可與多種系統(tǒng)一起使用。在一些實(shí)施例中，通過將傳統(tǒng)的個(gè)人電腦(PC)與附屬的顯示設(shè)備108 —起使用而實(shí)施計(jì)算設(shè)備106。在這樣的各實(shí)施例中，計(jì)算設(shè)備106與光學(xué)組件102通信，并與使用通過(通過例如USB端口)連接至PC或集成于PC內(nèi)的無線收發(fā)器建立的無線通信鏈接的腕部設(shè)備104通信。計(jì)算設(shè)備106運(yùn)行能夠使用PC資源的軟件，以導(dǎo)航已有的用戶界面或?qū)Ш綖榱死梦恢貌东@輸入系統(tǒng)100的增強(qiáng)的功能而生成的用戶界面。可選擇地，可使用電視機(jī)或顯示器實(shí)施計(jì)算設(shè)備106，例如液晶顯示(IXD)設(shè)備，其具有有限的處理能力或不具有處理能力。在這樣的各實(shí)施例中，可將額外的硬件組件連接至該顯示器，以處理由位置捕獲輸入系統(tǒng)100收集到的信息。此硬件組件(未示出)本質(zhì)上將所連接的顯示器轉(zhuǎn)換為計(jì)算設(shè)備，以允許安裝窗口工具和瀏覽器，并使用為了利用位置捕獲輸入系統(tǒng)100的增強(qiáng)的功能而生成的預(yù)定的圖形用戶界面。如以上結(jié)合圖3所公開的，可驅(qū)動(dòng)校準(zhǔn)按鈕304以開啟校準(zhǔn)過程。校準(zhǔn)所述位置捕獲輸入系統(tǒng)100促進(jìn)了對(duì)障礙相對(duì)于所顯示的圖形用戶界面的位置的精確確定。圖4是示出了校準(zhǔn)位置捕獲輸入系統(tǒng)100的示例方法400的流程圖。首先，在步驟402，用戶佩戴光學(xué)組件102和腕部設(shè)備104并推動(dòng)校準(zhǔn)按鈕304。在步驟404，當(dāng)用戶看向顯示設(shè)備108時(shí)，該顯示設(shè)備108顯示具有黑白棋盤格背景的第一校準(zhǔn)屏幕圖像。在下面更充分地描述的圖5中，示出了第一校準(zhǔn)屏幕圖像500的示例。 在步驟406中設(shè)定了那些參數(shù)之后，在在步驟408，該顯示設(shè)備顯示第二校準(zhǔn)屏幕圖像。下面更充分地描述的圖6中，示出了第二校準(zhǔn)屏幕圖像的示例，其包括顯示在該屏幕上各種位置處的一系列目標(biāo)。在步驟410，用戶敲擊各目標(biāo)。該第二校準(zhǔn)屏幕圖像用于在步驟412生成校準(zhǔn)等式以提高輸入準(zhǔn)確性。圖5是與圖4中的校準(zhǔn)方法關(guān)聯(lián)使用的校準(zhǔn)屏幕圖像500的示例。校準(zhǔn)屏幕圖像500包括由相交于多個(gè)交點(diǎn)508的多個(gè)白色長方形504和多個(gè)黑色長方形506組成的黑白格圖案502。利用各交點(diǎn)508或校準(zhǔn)屏幕圖像500自身的幀，或使用這二者，計(jì)算設(shè)備106產(chǎn)生特定的調(diào)整視圖，或，生成該觀察器或攝像頭200的立體視圖的單應(yīng)性矩陣。然后，產(chǎn)生此單應(yīng)性矩陣的透視變換方程能夠被應(yīng)用于來自攝像頭200的饋送中的各像素，以產(chǎn)生縮放的單應(yīng)性矩陣。一旦使用像素插值方法放大了該攝像頭饋送的圖像幀，可使用圖像配準(zhǔn)技術(shù)或其它統(tǒng)計(jì)方法或這兩種方法將該攝像頭饋送的圖像幀與監(jiān)視器輸出的圖像幀進(jìn)行對(duì)比。各種邊緣檢測技術(shù)都有助于此過程?？蓪⑽达@示出顯著的相關(guān)程度的圖像的各區(qū)域確定為障礙。圖6是在根據(jù)方法400的步驟408校準(zhǔn)位置捕獲輸入系統(tǒng)100中使用的第二校準(zhǔn)屏幕圖像600的示例。校準(zhǔn)屏幕圖像600包括灰或黑色背景602。例如靶心或十字架的亮的或白色目標(biāo)604顯示在背景602上。其他各目標(biāo)604接連顯示在背景602上的不同點(diǎn)處。然后，在圖4的步驟410，用戶依次指向每個(gè)目標(biāo)604并通過敲擊它們來點(diǎn)擊各目標(biāo)604。腕部設(shè)備104中的該加速計(jì)或各加速計(jì)300識(shí)別出正在執(zhí)行點(diǎn)擊并將該點(diǎn)擊與用戶手指的位置相關(guān)聯(lián)。軟件讀取作為障礙的用戶手指和手的位置。將障礙定義為正輸出至該顯示器的可視信息與正從光學(xué)組件102中的攝像頭200接收的可視信息之間的差異。如果手位于顯 示設(shè)備108和攝像頭200之間，且攝像頭200位于光學(xué)組件102中用戶的查看位置，那么該軟件將用戶所感知的內(nèi)容識(shí)別并記錄為他們的手指或手相對(duì)于該屏幕的位置。在圖4的步驟402，該軟件生成并使用校準(zhǔn)等式，以提高用戶輸入準(zhǔn)確性。一旦完成校準(zhǔn)，用戶可通過指向或敲擊其眼睛/攝像頭與該顯示器之間的空間來導(dǎo)航現(xiàn)有的或慣用的圖形用戶界面。圖7為示出了根據(jù)另一個(gè)實(shí)施例檢測用戶的手相對(duì)于圖形用戶界面的位置的示例性方法700的流程圖。在步驟702，光學(xué)組件102中的攝像頭200捕獲顯示設(shè)備108的圖像，顯示設(shè)備108顯示圖形用戶界面。在步驟704，接著將所捕獲的圖像與由計(jì)算設(shè)備106使用顯示設(shè)備108輸出的輸出圖像進(jìn)行比較。將出現(xiàn)在所捕獲的圖像中但不出現(xiàn)在輸出圖像中的例如用戶的手這樣的物體解釋為障礙。在步驟706，通過使用顯示設(shè)備108的合適的單應(yīng)性矩陣對(duì)位置捕獲輸入系統(tǒng)100進(jìn)行校準(zhǔn)，計(jì)算設(shè)備106接著將該障礙的位置映射到所顯示的圖形用戶界面中的一個(gè)位置處。在步驟708，計(jì)算設(shè)備106接著將光標(biāo)移動(dòng)至所映射的位置，該位置接近用戶界面元素或由用戶界面元素占據(jù)，該用戶界面元素為例如圖標(biāo)、窗口、按鈕、滾輪或其它工具。在可選的步驟710，如果所映射的位置接近用戶界面元素或由用戶界面元素占據(jù)，計(jì)算設(shè)備106可向腕部設(shè)備104發(fā)送信號(hào)，以激活該觸覺反饋模塊。以這樣的方式，可提示用戶其能夠與用戶界面元素交互。此外，如果計(jì)算設(shè)備106判斷用戶已選定了用戶界面元素或已與用戶界面元素交互，計(jì)算設(shè)備106還可在可選的步驟712中激活該觸覺反饋模塊。如上面所公開的，計(jì)算設(shè)備106可根據(jù)從腕部設(shè)備104接收到的數(shù)據(jù)判斷用戶已與用戶界面元素交互?？蛇x擇性，例如，如果攝像頭200所捕獲的各圖像表示用戶正執(zhí)行例如敲擊這樣的動(dòng)作，計(jì)算設(shè)備106可根據(jù)從光學(xué)組件102接收的數(shù)據(jù)做出這樣的判斷。在一些實(shí)施例中，該軟件能夠識(shí)別障礙為手，且能夠識(shí)別障礙的部位為手指。由于用戶能夠使用多個(gè)手指和多個(gè)手動(dòng)作進(jìn)行導(dǎo)航，這樣的各實(shí)施例可提供使用各種動(dòng)作執(zhí)行更復(fù)雜的導(dǎo)航的能力。各特定的實(shí)施例還可允許用戶使用雙手導(dǎo)航該圖形用戶界面。例如，可使用顯示設(shè)備108顯示虛擬鍵盤，且用戶能夠使用雙手與該虛擬鍵盤交互。
在一些實(shí)施例中，在初始的校準(zhǔn)過程之外，可持續(xù)進(jìn)行對(duì)位置捕獲輸入系統(tǒng)100的校準(zhǔn)。在這樣的各實(shí)施例中，顯示設(shè)備108可周期性地顯示校準(zhǔn)屏幕圖像，以適應(yīng)用戶變化的視角或移動(dòng)。適宜地選擇顯示此校準(zhǔn)屏幕圖像的頻率，以避免過度使用計(jì)算資源。可短暫顯示該校準(zhǔn)屏幕圖像，使得攝像頭200能夠捕獲該校準(zhǔn)屏幕圖像的圖像但人不能感知該校準(zhǔn)屏幕圖像。以這樣的方式，該持續(xù)的校準(zhǔn)過程不會(huì)對(duì)用戶的圖形用戶界面體驗(yàn)產(chǎn)生干擾。可選擇性，該持續(xù)的校準(zhǔn)過程可利用集成于圖形用戶界面中的屏上工具，例如圍繞圖形用戶界面的多色邊框或在圖形用戶界面內(nèi)已知位置處顯示的圖標(biāo)。在其它各實(shí)施例中，顯示設(shè)備108的物理邊框(即，顯示設(shè)備108的顯示區(qū)域周圍的材料)可用在該持續(xù)的校準(zhǔn)過程中。圖8示出了與圖7的方法關(guān)聯(lián)使用的示例性圖形用戶界面800。圖形用戶界面800包括多個(gè)用戶界面元素，例如，便簽802、任務(wù)條804、聊天窗口 806、圖標(biāo)808以及各種其他元素。用戶能夠以各種方式與這些元素交互，例如，選定圖標(biāo)、“雙擊”圖標(biāo)、拖拽及放下窗口或調(diào)整窗口大小。
圖9示出了用戶的手900在圖8中的圖形用戶界面800上方的疊合。攝像頭200捕獲具有疊合的用戶的手900的圖形用戶界面800的圖像，將其作為攝像頭饋送，并將該攝像頭饋送提供給計(jì)算設(shè)備106。計(jì)算設(shè)備106將該攝像頭饋送與發(fā)送至顯示設(shè)備108的輸出饋送進(jìn)行比較。該輸出饋送僅包含圖形用戶界面800。根據(jù)該攝像頭饋送和該輸出饋送，計(jì)算設(shè)備106識(shí)別未出現(xiàn)在該輸出饋送中的該攝像頭饋送的各部分。計(jì)算設(shè)備106可將例如用戶的手900這樣的部分識(shí)別為障礙，如圖10中所示的參考標(biāo)號(hào)1000。進(jìn)一步地，計(jì)算設(shè)備106可識(shí)別檢測到的障礙1000的一部分。圖11示出了識(shí)別出的參考標(biāo)號(hào)為1100的部分。例如，如圖11中所示出的，識(shí)別出的部分1100可為用戶的食指。可選擇性，可識(shí)別用戶的手的不同部位，例如不同的手指。如圖11中所示，將識(shí)別出的部分1100映射到可選擇的用戶界面元素上，例如圖標(biāo)808?？筛鶕?jù)障礙1000的行為，將用戶動(dòng)作映射為與所選定的用戶界面元素的特定交互，例如點(diǎn)擊、雙擊、拖拽等等。例如，如果計(jì)算設(shè)備106根據(jù)攝像頭的饋送或根據(jù)從加速計(jì)300接收到的數(shù)據(jù)判斷用戶的手正“敲擊”在圖標(biāo)808上，則計(jì)算設(shè)備106可判斷用戶意欲點(diǎn)擊圖標(biāo)808。雖然已在二維圖形用戶界面的環(huán)境下描述了各特定的實(shí)施例，在此公開的原理可用于三維圖形用戶界面。在三維圖形用戶界面中，光學(xué)組件102可具有透鏡，各透鏡具有不同的偏振方向?？蛇x擇性，光學(xué)組件102可包含電子組件，例如液晶元件，該電子組件快速連續(xù)地以電子方式關(guān)閉或遮蔽各透鏡，使得顯示設(shè)備108能夠獨(dú)立地向每只眼睛發(fā)送可視信息。這些傳統(tǒng)技術(shù)允許用戶感知三維圖像，例如三維圖形用戶界面。除了導(dǎo)航圖形用戶界面本身之外，用戶還能夠操控圖形用戶界面中的三維對(duì)象。例如，用戶能夠通過使用一只或兩只手執(zhí)行旋轉(zhuǎn)類動(dòng)作來旋轉(zhuǎn)這樣的對(duì)象。作為特別的非限制性示例，醫(yī)生能夠查看病人的MRI的三維模型，旋轉(zhuǎn)、放大單獨(dú)的部分，并隔離有興趣的區(qū)域。然后，醫(yī)生能夠更清楚地查看例如韌帶的損傷。作為另一個(gè)示例，教師能夠向全班顯示三維骨架并放大肩胛骨，以向?qū)W生展示骨頭。作為又一個(gè)示例，建筑師甚至可以在建筑物完工之前帶客戶瀏覽新房子的三維模型。如通過前述的討論所證明的，各實(shí)施例可提供特定的優(yōu)點(diǎn)，特別是在導(dǎo)航圖形用戶界面的情況下。例如，所述位置捕獲輸入系統(tǒng)有助于導(dǎo)航三維圖形用戶界面，難于使用鼠標(biāo)或其它傳統(tǒng)的輸入設(shè)備導(dǎo)航該三維圖形用戶界面。實(shí)踐在此描述的各實(shí)施例的人以及本領(lǐng)域的那些技術(shù)人員應(yīng)理解，可不脫離所公開的各實(shí)施例的精神和范圍作出各種變形和改進(jìn)。僅通過各權(quán)利要求并在法律允許的解釋寬度內(nèi)確定所提供的保護(hù)范圍?！?br> 權(quán)利要求
1.一種位置捕獲輸入系統(tǒng)，其包括計(jì)算設(shè)備(106)以及與所述計(jì)算設(shè)備(106)通信的第一攝像頭(200)，其特征在于 所述第一攝像頭(200)被配置為從用戶的視角捕獲圖形用戶界面(800)的圖像，所述圖形用戶界面(800)包括多個(gè)用戶界面元素；且所述計(jì)算設(shè)備配置為 接收所捕獲的圖像； 將所捕獲的圖像與所顯示的由所述計(jì)算設(shè)備(106)生成的圖像進(jìn)行比較； 根據(jù)所捕獲的圖像與所顯示的圖像之間的比較，判斷障礙(900)相對(duì)于所述圖形用戶界面(800)的位置；以及 根據(jù)所述障礙(900)相對(duì)于所述圖形用戶界面(800)的位置，判斷用戶是否正在與所述圖形用戶界面(800)的用戶界面元素交互。
2.如權(quán)利要求I所述的位置捕獲輸入系統(tǒng)，其進(jìn)一步包括與所述第一攝像頭(200)分離并與所述計(jì)算設(shè)備(106)通信的額外的攝像頭，且所述額外的攝像頭被配置為從所述用戶的視角捕獲所述圖形用戶界面(800)的額外的圖像，以及向所述計(jì)算設(shè)備(106)提供所述額外的圖像。
3.如權(quán)利要求I所述的位置捕獲輸入系統(tǒng)，其進(jìn)一步包括多個(gè)透鏡(202、204)，其適于使所顯示的圖像具有三維外觀。
4.如權(quán)利要求I所述的位置捕獲輸入系統(tǒng)，其進(jìn)一步包括至少一個(gè)與所述計(jì)算設(shè)備(106)通信的加速計(jì)(300)，所述加速計(jì)(300)被配置為檢測所述障礙(900)的運(yùn)動(dòng)，以及向所述計(jì)算設(shè)備(106)提供至少一個(gè)信號(hào)，以檢測所述障礙(900)在至少一維上的運(yùn)動(dòng)，其中，所述計(jì)算設(shè)備(106)被配置為部分根據(jù)所述至少一個(gè)信號(hào)判斷所述用戶是否正與所述圖形用戶界面(800)的用戶界面元素交互。
5.如權(quán)利要求I所述的位置捕獲輸入系統(tǒng)，其進(jìn)一步包括與所述計(jì)算設(shè)備(106)通信的觸覺反饋模塊(302)，所述觸覺反饋模塊(302)被配置為向所述用戶提供觸覺反饋。
6.如權(quán)利要求I所述的位置捕獲輸入系統(tǒng)，其進(jìn)一步包括校準(zhǔn)控制(304)，其被配置為啟動(dòng)校準(zhǔn)過程。
7.如權(quán)利要求I所述的位置捕獲輸入系統(tǒng)，其中，所述計(jì)算設(shè)備(106)由顯示設(shè)備(108)構(gòu)成。
8.—種處理計(jì)算設(shè)備(106)中接收到的用戶輸入的方法，所述方法包括 在所述計(jì)算設(shè)備(106)中接收來自攝像頭(200)的所捕獲的圖像，所述所捕獲的圖像表示包括多個(gè)用戶界面元素的圖形用戶界面(800)； 將所捕獲的圖像與所顯示的由所述計(jì)算設(shè)備(106)生成的圖像進(jìn)行比較； 根據(jù)所捕獲的圖像和所顯示的圖像之間的比較，判斷障礙(900)相對(duì)于所述圖形用戶界面(800)的位置；以及 根據(jù)所述障礙(900)相對(duì)于所述圖形用戶界面(800)的位置，判斷用戶是否正與所述圖形用戶界面(800)的用戶界面元素交互。
9.如權(quán)利要求8所述的方法，其進(jìn)一步包括將光標(biāo)移動(dòng)至所顯示的圖像上、與所判斷的所述障礙(900)相對(duì)于所述圖形用戶界面(800)的位置相關(guān)的位置處。
10.如權(quán)利要求8所述的方法，其進(jìn)一步包括識(shí)別動(dòng)作。
11.如權(quán)利要求8所述的方法，其進(jìn)一步包括根據(jù)所捕獲的圖像與所顯示的圖像之間的比較，判斷多個(gè)障礙(900)各自相對(duì)于所述圖形用戶界面(800)的位置。
12.如權(quán)利要求11所述的方法，其進(jìn)一步包括根據(jù)所判斷的、所述多個(gè)障礙(900)各自相對(duì)于所述圖形用戶界面(800)的位置，控制在所述圖形用戶界面(800)中顯示的虛擬鍵盤。
13.如權(quán)利要求8所述的方法，其進(jìn)一步包括接收來自至少一個(gè)加速計(jì)(300)的至少一個(gè)信號(hào)，所述信號(hào)對(duì)應(yīng)于所述障礙(900)在至少一維上的運(yùn)動(dòng)。
14.如權(quán)利要求8所述的方法，其進(jìn)一步包括通過與所述計(jì)算裝置(106)通信的觸覺反饋模塊(302)向所述用戶提供觸覺反饋。
15.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，不同于信號(hào)，其存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令，當(dāng)由計(jì)算設(shè)備執(zhí)行時(shí)，所述計(jì)算機(jī)可執(zhí)行指令使所述計(jì)算設(shè)備(106)執(zhí)行一種方法，所述方法包括 在所述計(jì)算設(shè)備(106)中接收來自攝像頭(200)的所捕獲的圖像，所述所捕獲的圖像表示圖形用戶界面(800)，所述圖形用戶界面(800)包括多個(gè)用戶界面元素； 將所捕獲的圖像與所顯示的由所述計(jì)算設(shè)備(106)生成的圖像進(jìn)行比較； 根據(jù)所捕獲的圖像與所顯示的圖像之間的比較，判斷障礙(900)相對(duì)于所述圖形用戶界面(800)的位置；以及 根據(jù)所述障礙(900)相對(duì)于所述圖形用戶界面(800)的位置，判斷所述用戶是否正與所述圖形用戶界面(800)的用戶界面元素交互。
16.如權(quán)利要求15所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其進(jìn)一步存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令，以將光標(biāo)移動(dòng)至所述所顯示的圖像上、與所判斷的所述障礙(900)相對(duì)于所述圖形用戶界面(800)的位置相對(duì)應(yīng)的位置處。
17.如權(quán)利要求15所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其進(jìn)一步存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令，以識(shí)別動(dòng)作。
18.如權(quán)利要求15所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其進(jìn)一步存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令，以根據(jù)所捕獲的圖像與所顯示的圖像之間的比較，判斷多個(gè)障礙(900)各自相對(duì)于所述圖形用戶界面(800)的位置。
19.如權(quán)利要求18所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其進(jìn)一步存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令，以根據(jù)所判斷的、所述多個(gè)障礙(900)各自相對(duì)于所述圖形用戶界面(800)的位置，控制在所述圖形用戶界面中顯示的虛擬鍵盤。
20.如權(quán)利要求15所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其進(jìn)一步存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令，以接收來自至少一個(gè)加速計(jì)(302)的至少一個(gè)信號(hào)，所述信號(hào)對(duì)應(yīng)于所述障礙(900)在至少一維上的運(yùn)動(dòng)。
全文摘要
根據(jù)各種實(shí)施例，一種位置捕獲輸入系統(tǒng)使用攝像頭捕獲所顯示的圖形用戶界面的圖像，所述圖形用戶界面可由物體部分遮蔽，例如用戶的手或其它身體部位。所述位置捕獲輸入系統(tǒng)還包括軟件組件，其使計(jì)算設(shè)備將所述所捕獲的圖像與所顯示的圖像進(jìn)行比較，以判斷如果存在遮蔽，所述圖形用戶界面的哪部分被遮蔽。然后，所述計(jì)算設(shè)備能夠識(shí)別所述用戶試圖交互的任意用戶界面元素。所述位置捕獲輸入系統(tǒng)還可包括一個(gè)或多個(gè)加速計(jì)，以檢測由所述用戶執(zhí)行的用于例如選擇用戶界面元素或與用戶界面元素交互的動(dòng)作。所述位置捕獲輸入系統(tǒng)還可包括觸覺反饋模塊，以提供對(duì)例如已選定了用戶界面元素的確認(rèn)。
文檔編號(hào)G06F3/041GK102893293SQ201180023512
公開日2013年1月23日 申請(qǐng)日期2011年3月11日 優(yōu)先權(quán)日2010年3月12日
發(fā)明者莎法·瓦拉 申請(qǐng)人:莎法·瓦拉