專利名稱：利用基于交叉的小部件操縱的觸摸輸入的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及交互輸入相同的，并且具體地說涉及一種用于選擇和操縱在交互輸入系統(tǒng)中的圖形對象的方法和執(zhí)行該方法的交互輸入系統(tǒng)。
背景技術(shù)：
已知允許用戶使用有源指針(例如，發(fā)出光、聲音或其他信號的指針)、無源指針 (例如，手指、圓柱或其他適當(dāng)?shù)奈矬w)或諸如鼠標(biāo)或跟蹤球的其他適當(dāng)?shù)妮斎胙b置來向應(yīng)用程序內(nèi)注入輸入(即，數(shù)字墨、鼠標(biāo)事件等)的交互輸入系統(tǒng)。這些交互輸入系統(tǒng)包括但是不限于觸摸系統(tǒng)，其包括觸摸板，該觸摸板使用模擬電阻或機器視覺技術(shù)來登記指針輸入,諸如在向本申請的受讓方Canada，Alberta, Calgary的SMART Technologies ULC轉(zhuǎn)讓的美國專禾U No. 5，448，263,6, 141，000,6, 337，681,6, 747，636,6, 803，906,7, 232，986、 7，236，162和7，274，356中公開的那些，它們的內(nèi)容通過引用被包含在此；觸摸系統(tǒng)，其包括觸摸板，該觸摸板使用電磁、電容、聲音或其他技術(shù)來登記指針輸入；寫字板個人計算機 (PC)；膝上型PC;個人數(shù)字助理(PDA)；以及，其他類似裝置。也已知使用機器視覺接收和處理來自多個指針的輸入的多觸摸交互輸入系統(tǒng)。一種這樣的類型的多觸摸交互輸入系統(tǒng)使用衰減全內(nèi)反射(FTIR)的公知光學(xué)現(xiàn)象。根據(jù) FTIR的一般原理，當(dāng)諸如指針的物體觸摸波導(dǎo)表面時，由于在波導(dǎo)的折射率上的改變，傳播通過光波導(dǎo)的光的全內(nèi)反射(TIR)被衰減，使得一些光從觸摸點脫離。在多觸摸交互輸入系統(tǒng)中，機器視覺系統(tǒng)捕獲包括脫離的光的點的圖像，并且處理圖像以基于脫離光的點來識別在波導(dǎo)表面上的指針的位置，以用作對于應(yīng)用程序的輸入。在Han的美國專利申請公報No. 2008/0029691中公開了 FTIR多觸摸交互輸入系統(tǒng)的一個示例。在多或單觸摸交互輸入系統(tǒng)中，在顯示表面上顯示圖形對象，諸如“畫布 (canvas) ”的背景和覆蓋畫布的“小部件(widget) ”，該“小部件”包括窗口、圖標(biāo)、菜單、圖片、文本、線、曲線、形狀和輸入框。取決于應(yīng)用，可以有在畫布上的不同位置顯示的多個圖形小部件，其中的一個或多個可以彼此重疊。在現(xiàn)有技術(shù)的交互輸入系統(tǒng)中，操縱圖形小部件通常包括兩個步驟。首先，用戶通過在精確地與其中顯示圖形小部件的位置對應(yīng)的位置使用指針來接觸觸摸表面來選擇圖形小部件。在已經(jīng)選擇了小部件的情況下，用戶然后例如通過在顯示表面上移動指針由此移動所選擇的圖形小部件，使用指針來操縱所選擇的圖形小部件。在用戶方需要這樣的觸摸精度的系統(tǒng)的一個缺點是用戶發(fā)現(xiàn)難以選擇小的小部件。如果指針擋住了小的小部件， 如果視角在最大限度，或當(dāng)系統(tǒng)的校準(zhǔn)使得觸摸點在一定程度上偏離顯示器時，則可能出現(xiàn)這一點。而且，這種特性的交互輸入系統(tǒng)通常不采用利用例如觸覺的有用反饋子系統(tǒng)。已經(jīng)先前研究了這種所謂的“目標(biāo)獲取”問題。所建議的對于目標(biāo)獲取問題的解決方案通常落在兩類輸入技術(shù)之一內(nèi)(1)通過優(yōu)化費茲定律參數(shù)來改善目標(biāo)獲取的那些； 以及( 通過對交叉目標(biāo)進行杠桿作用來改善目標(biāo)獲取的那些。費茲定律通常用于建模目標(biāo)獲取，如MacKenzie在題目為〃 A note on theinformation theoretic basis for Fitts' Law “ ；Journal of Motor Behavior,21 323-330的1989年的公報中所示，其內(nèi)容通過引用被整體包含在此。MacKenz ie 在 “Movement time prediction in human-comput er interfaces “ in Readings in Human-Computer Interaction ；Kaufmann ；second edition ；R. Μ. Baecker, W. Α. S. Buxton, J. Grudin, and S. Greenberg, editors 中不出了費茲定律的香農(nóng)公式，其內(nèi)容被整體包含在此，香農(nóng)公式描述了根據(jù)下面的等式1來預(yù)測用于獲取寬度W和距離(或幅度)D的目標(biāo)所需要的移動時間(MT)MT = a+b log2(D/ff+l)(1)其中a和b是經(jīng)驗上確定的常數(shù)；并且，對數(shù)項是難度指數(shù)(ID)。等式1預(yù)測較小的目標(biāo)寬度和較大的距離(相對于當(dāng)前位置)將增加選擇時間。 因此，可以通過下述方式來改善目標(biāo)選擇減小目標(biāo)距離D，提高目標(biāo)寬度W或因此修改兩個參數(shù)。在其內(nèi)容被整體包含在此的、題目為〃 Drag-and-Pop and drag-and-pick Techniques for accessing remote screen control on touch and pen operated systems “ ；Proc. Interact, 57-64的公報中，Baudisch等提出通過將遠處的目標(biāo)更接近用戶來減小目標(biāo)距離。這種拖動和彈出(Drag-Pop)方法分析光標(biāo)的定向移動，然后，將可能目標(biāo)的虛擬代理向光標(biāo)(例如，文件夾或應(yīng)用)移動。拖動和彈出的研究示出了對于大的目標(biāo)距離選擇較快。然而，該方法不能確定用戶是否意欲選擇遠處目標(biāo)相對近處目標(biāo)。因此，遠處對象的存在可以使得選擇對于近處目標(biāo)較困難。在其內(nèi)容被整體包含在此的、題目為〃 The Vacuum facilitating the manipulation of distant objects" ；Proc. CHI 2005，ACM Press，361-370 的公報中， Bezerianos等提出了與Baudisch等的拖動和彈出方法類似的真空方法，但是，真空方法另外允許用戶控制它們所感興趣的遠處目標(biāo)的接近角度。也支持多個對象選擇。發(fā)現(xiàn)選擇時間對于單個目標(biāo)類似，但是對于多個目標(biāo)選擇快得多。通過提倡諸如大按鈕這樣的很大的目標(biāo)區(qū)域來直接地提高目標(biāo)寬度W降低了難度指數(shù)。然而，這要求大量的屏幕真實狀態(tài)，并且限制可以被布置在較小顯示器上的內(nèi)容的數(shù)量。在其內(nèi)容被整體包含在此的、題目為〃 The' Prince' technique =Fitts' law and selection using area cursors “ ；Proc. ACM CHI' 95, 273-279 的公報中，Kabbash 等提出了通過提高光標(biāo)大小來有效地提高目標(biāo)寬度W。取代具有在標(biāo)準(zhǔn)光標(biāo)中看到的單個像素?zé)狳c，區(qū)域光標(biāo)具有用于選擇的較大活動區(qū)域。通過將目標(biāo)寬度W設(shè)置為區(qū)域光標(biāo)的寬度，示出可以使用費茲定律來精確地建模單個像素目標(biāo)的選擇。因此，很小的目標(biāo)更容易獲取。然而，區(qū)域光標(biāo)在其中可以在單個區(qū)域光標(biāo)中包含多個目標(biāo)的密集的目標(biāo)空間中有問題。在其內(nèi)容被整體包含在此的、題目為〃 Fitts' law and expanding targets Experimental studies and designs for user interfaces “ ；ACM TOCHI,12 (4), ACM Press, 388-422的公報中，McGuffin等提出了當(dāng)光標(biāo)接近時動態(tài)地提高目標(biāo)大小。發(fā)現(xiàn)，用戶不能受益于較大的目標(biāo)寬度，即使當(dāng)在行進到目標(biāo)的距離的90%后出現(xiàn)擴展時。也示出， 可以通過將目標(biāo)寬度設(shè)置為擴展目標(biāo)的大小來使用費茲定律測量整體性能。動態(tài)地修改目標(biāo)寬度W和距離D的不同手段調(diào)整控制顯示增益(C:D)。通過當(dāng)接近目標(biāo)時提高增益(光標(biāo)速度)和當(dāng)在目標(biāo)內(nèi)時降低增益，減少和提高馬達空間距離和目標(biāo)寬度。在其內(nèi)容被整體包含在此的、題目為〃 Semantic pointing improving target acquisition with control-display ratio adaptation" ；Proc. ACM CHI' 04,519-525 的公報中，Blanch等示出了基于在馬達空間中的結(jié)果產(chǎn)生的較大目標(biāo)W和較小的距離D，可以使用費茲定律來建模性能。然而，當(dāng)存在多個目標(biāo)時，會產(chǎn)生問題，因為當(dāng)光標(biāo)接近時，每一個目標(biāo)將使得光標(biāo)變慢。在其內(nèi)容被整體包含在此的、題目為〃 The Bubble Cursor =Enhancing target acquisition by dynamic resizing of the cursor ' s activation area “ ；Proc. CHI' 05,281-290的公報中，Grossman等公開了泡沫光標(biāo)的在稀疏的顯示中使得目標(biāo)獲取容易的發(fā)展。泡沫光標(biāo)被動態(tài)地改變大小的泡沫包圍，使得僅最近的目標(biāo)被泡沫圍繞。圍著光標(biāo)的泡沫擴展，直到它剛好接觸最近的目標(biāo)。雖然這有效地增大了目標(biāo)寬度(因為泡沫變大)，并且減小了目標(biāo)距離(因為達到目標(biāo)需要行進較小的距離)，但是如果其他目標(biāo)或干擾項在近處，并且在所選擇的目標(biāo)的很近的距離內(nèi)，則泡沫的大小受限，并且小得多。換句話說，目標(biāo)的寬度取決于與其相鄰的最近干擾項的距離，因為它擴展使得在任何時間僅選擇最近的目標(biāo)。這個新的目標(biāo)大小被稱為有效寬度(EW)。他們的研究顯示，通過設(shè)置W =EW，可以使用費茲定律來建模泡沫光標(biāo)的性能。其內(nèi)容被整體包含在此的、授予Agulnick等的美國專利No. 5，347，295公開了一種方法當(dāng)指示筆移動到圖形小部件的近距離內(nèi)時，觸發(fā)顯示事件來向用戶提供以什么圖形小部件為目標(biāo)的預(yù)覽。例如，可以在期待按鈕的選擇時擴展或改變按鈕的外觀。如上所述，對于目標(biāo)獲取問題的另一種建議的解決方案類別包含對交叉目標(biāo)進行杠桿作用。在用于簡化在寫字板計算機上的指示任務(wù)的、被稱為“交叉Y”的基于交叉的繪圖應(yīng)用中包含一種這樣的技術(shù)，該技術(shù)被Apitz等開發(fā)，并且在其內(nèi)容被整體包含在此白勺、題巨為"CrossY :a crossing-based drawing application" , Proceedings of the 17th Annual ACM Symposium on User interface Software and Technology (Santa Fe, 匪，USA, October 24-27,2004) ；UIST ' 04 ；ACM, New York, NY,3-12 ;http://doi. acm. orR/10. 1145/1029632. 1029635 的公報中被描述。CrossY應(yīng)用使得用戶能夠交叉目標(biāo)區(qū)域以從菜單或列表進行選擇。圖1是由 Apitz等示出的示例性圖，其圖示使用CrossY技術(shù)的一些示例。在每一個示例中，點4表示指示筆觸摸觸摸屏的位置，并且箭頭2表示指示筆然后移動的方向。例如，在從列表選擇無線電項目“黑”的示例8中，用戶在無線電項目“黑”上觸摸指示筆，然后移動指示筆交叉跨過無線電項目6。雖然CrossY技術(shù)對于諸如點擊按鈕并且選擇菜單選項這樣的對象選擇是有效的，所以要求用于移動、旋轉(zhuǎn)或以其他方式操縱圖形小部件的獨立操作?？梢悦靼祝m然上述技術(shù)改善了選擇和操縱圖形小部件的用戶體驗，但是還沒有充分地開發(fā)與交互輸入系統(tǒng)的用戶交互的可能。因此，下面內(nèi)容的一個方面的目的是提供一種用于在交互輸入系統(tǒng)中選擇和操縱圖形對象的新穎的方法，以及一種用于執(zhí)行該方法的新穎交互輸入系統(tǒng)。

發(fā)明內(nèi)容
根據(jù)一個方面，提供了一種用于選擇在交互輸入系統(tǒng)的背景上顯示的圖形小部件的方法，包括跟蹤與背景相關(guān)聯(lián)的一個或多個觸摸點；并且，在一個或多個觸摸點與所述圖形小部件的位置疊合的情況下，將疊合的一個或多個觸摸點與所述圖形小部件相關(guān)聯(lián)。根據(jù)另一個方面，提供了一種交互輸入系統(tǒng)，包括觸摸板；以及，處理結(jié)構(gòu)，用于跟蹤與顯示的背景相關(guān)聯(lián)的一個或多個觸摸點，并且在一個或多個觸摸點與所述圖形小部件的位置疊合的情況下，將疊合的一個或多個觸摸點與所述圖形小部件相關(guān)聯(lián)。根據(jù)另一個方面，提供了一種計算機可讀介質(zhì)，其包含計算機程序，所述計算機程序用于選擇在交互輸入系統(tǒng)的背景上顯示的圖形小部件，所述計算機程序包括用于跟蹤與背景相關(guān)聯(lián)的一個或多個觸摸點的程序代碼；以及，用于在一個或多個觸摸點與所述圖形小部件的位置疊合的情況下將疊合的一個或多個觸摸點與所述圖形小部件相關(guān)聯(lián)的程序代碼。


現(xiàn)在，將參考附圖來更全面地描述實施例，其中圖1是示出用于使用交叉來選擇圖形對象的現(xiàn)有技術(shù)的示例性圖；圖加是交互輸入系統(tǒng)的透視圖；圖2b是圖加的交互輸入系統(tǒng)的側(cè)截面圖；圖2c是形成圖加的交互輸入系統(tǒng)的一部分的桌面和觸摸板的截面圖；圖2d是已經(jīng)被指針接觸的圖2b的觸摸板的截面圖；圖3是圖示在圖加的交互輸入系統(tǒng)上運行的主應(yīng)用的軟件結(jié)構(gòu)的框圖；圖4圖示與形成圖加的交互輸入系統(tǒng)的一部分的觸摸屏接觸的手指；圖如至5c是圖示由接觸事件監(jiān)控器和圖形對象執(zhí)行來處理接觸事件的步驟的流程圖；圖6是圖示由接觸事件監(jiān)控器執(zhí)行的小部件擊中測試的步驟的流程圖；圖7是圖示點擊中測試功能的步驟的流程圖；圖fe至8c圖示使用單個指針來移動小部件；圖9a至9d圖示使用多個指針來移動小部件；圖IOa至圖IOe圖示移動和旋轉(zhuǎn)圖形小部件；圖Ila至Ilg圖示使用多個指針來改變圖片的大小；圖12a至12c圖示使用多個指針來旋轉(zhuǎn)圖形小部件；圖13a至13b圖示選擇用于用戶輸入的輸入提示；圖14a至14c圖示使用交叉方法來操縱圖13的輸入提示；圖15a至15b圖示使用交叉方法的替代應(yīng)用；以及圖16圖示使用交叉方法的另一種替代應(yīng)用。
具體實施例方式在下面，描述了一種用于在交互輸入系統(tǒng)中選擇和操縱圖形對象的方法和執(zhí)行該方法的交互輸入系統(tǒng)。該方法涉及通過使得用戶能夠以要求較少的物理協(xié)調(diào)的方式來選擇和操縱圖形對象來改善交互輸入系統(tǒng)的可用性?，F(xiàn)在轉(zhuǎn)向圖加和2b，示出具有觸摸桌形式的交互輸入系統(tǒng)的透視圖，并且一般以附圖標(biāo)記10來標(biāo)識。觸摸桌10包括在機柜16上安裝的桌面12。在這個實施例中，機柜 16位于輪子、角輪等18上，輪子或角輪等18使得觸摸桌10能夠容易地根據(jù)要求各處移動。 在桌面12中集成了坐標(biāo)輸入裝置，該坐標(biāo)輸入裝置具有基于衰減全內(nèi)反射(FTIR)的觸摸板14的形式，該觸摸板14使得能夠檢測和跟蹤向其施加的一個或多個指針11，諸如手指、 筆、手、圓柱物或其他物體。機柜16支持桌面12和觸摸板14，并且容納執(zhí)行主應(yīng)用和一個或多個應(yīng)用程序的處理結(jié)構(gòu)20 (參考圖2b)。由處理結(jié)構(gòu)20產(chǎn)生的圖像數(shù)據(jù)被顯示在觸摸板14上，以允許用戶經(jīng)由在觸摸板14的顯示表面15上的指針接觸來與所顯示的圖像交互。處理結(jié)構(gòu)20將指針接觸解釋為對于運行的應(yīng)用程序的輸入，并且因此更新圖像數(shù)據(jù)，使得在顯示表面15 上顯示的圖像反映指針行為。以這種方式，觸摸板14和處理結(jié)構(gòu)20允許與觸摸板14的指針交互被記錄為手寫或圖形或用于控制應(yīng)用程序的執(zhí)行。在這個實施例中的處理結(jié)構(gòu)20是具有計算機形式的通用計算裝置。計算機包括例如處理單元、系統(tǒng)存儲器(易失性和/或非易失性存儲器)、其他不可拆卸或可拆卸存儲器(硬盤驅(qū)動器、RAM、ROM、EEPROM、CD-ROM、DVD、快閃存儲器等)和將各種計算機部件耦合到處理單元的系統(tǒng)總線。在由處理結(jié)構(gòu)20運行的主軟件應(yīng)用/操作系統(tǒng)的執(zhí)行期間，在觸摸板14的顯示表面上顯示圖形用戶界面，該圖形用戶界面包括畫布頁面或調(diào)色板(即，背景)，其上顯示了圖形小部件。在這個實施例中，該圖形用戶界面使得能夠經(jīng)由與觸摸板14的顯示表面15 的指針交互來輸入和操縱自由形態(tài)或手寫的墨對象以及其他對象。機架16也容納水平定位的投影儀22、紅外線(IR)濾波器M和反射鏡沈、觀和 30。具有紅外線檢測照像機形式的成像裝置32被安裝在與反射鏡觀相鄰的托架33上。反射鏡沈、觀和30的系統(tǒng)用于沿著光路“折疊”由在機柜16內(nèi)的投影儀22投影的圖像，而沒有不當(dāng)?shù)貭奚鼒D像大小。由此可以使得整體觸摸桌10尺寸緊湊。成像裝置32對準(zhǔn)反射鏡30，因此看到顯示表面15的反射，以便減輕在系統(tǒng)中通常必須處理的在捕獲圖像中的熱點噪聲的出現(xiàn)，所述系統(tǒng)具有直接地對準(zhǔn)顯示表面15的成像裝置。成像裝置32通過托架33位于機柜16內(nèi)，使得它不干擾所投影的圖像的光路。在觸摸桌10的操作期間，處理結(jié)構(gòu)20向投影儀22輸出視頻數(shù)據(jù)，投影儀22繼而通過頂濾波器24將圖像投影在第一反射鏡26上?，F(xiàn)在已經(jīng)基本上濾除了 K光的投影圖像被第一反射鏡26反射在第二反射鏡觀上。第二反射鏡觀繼而將圖像反射在第三反射鏡30。第三反射鏡30將所投影的視頻圖像反射在觸摸板14的顯示(底)表面上。能夠從上面通過觸摸板14觀看在觸摸板14的底表面上投影的視頻圖像。如所示配置的三個反射鏡26、28、30的系統(tǒng)提供了緊湊的路徑，沿著該路徑，可以將投影的圖像引導(dǎo)到顯示表面。投影儀22被水平定位，以便保存投影儀燈泡使用期限，因為通?？色@得的投影儀通常被設(shè)計為用于水平放置。外部數(shù)據(jù)端口 /開關(guān)34-在這個實施例中為通用串行總線(USB)端口 /開關(guān)一從機柜16的內(nèi)部通過機柜壁向觸摸桌10的外部延伸，以提供用于插入和移除USB鍵36的訪問以及功能的轉(zhuǎn)換。USB端口 /開關(guān)34、投影儀22和成像裝置32每一個連接到處理結(jié)構(gòu)20并且被其管理。電源(未示出)向觸摸桌10的電子部件供電，電源可以是外部單元或例如用于改善觸摸桌10的便攜性的在機柜16內(nèi)的通用電源。機柜16完全地包圍其內(nèi)容，以便限制進入機柜16的環(huán)境可見光和紅外光的水平，由此實現(xiàn)滿意的信噪性能。如此進行可以與用于管理在機柜16內(nèi)的熱量的各種技術(shù)競爭。觸摸板14、投影儀22和處理結(jié)構(gòu)都是熱源，并且這樣的熱量如果被包含在機柜16內(nèi)達到延長的時間段則會減少部件的使用期限，影響部件的性能，并且產(chǎn)生可以使得觸摸桌10的光學(xué)部件變形的熱波。因此，機柜16容納熱管理設(shè)備(未示出)以在從機柜排出熱空氣的同時向機柜內(nèi)引入較冷的環(huán)境空氣。例如，該熱管理設(shè)備可以是在下文內(nèi)公開的類型在2008年9月四日提交的Sirotich等的美國專利申請 No. 12Λ40，953，其題目為"TOUCH PANEL FOR INTERACTIVE INPUT SYSTEM AND INTERACTIVE INPUT SYSTEM EMPLOYING THE TOUCH PANEL"并且被轉(zhuǎn)讓給本申請的受讓方 Canada, Alberta, Calgary 的 SMART Technologies ULC，其內(nèi)容通過引用被包含在此。如上所述，觸摸桌10的觸摸板14基于衰減全內(nèi)反射(FTIR)的原理而運行，如在上述的Sirotich等的美國專利申請No. 12/240, 953和上述的Han參考文獻中所進一步描述。圖2c是桌面12和觸摸板14的截面圖。桌面12包括由塑料構(gòu)成的框架12，用于支撐觸摸板14。觸摸板14包括光學(xué)波導(dǎo)144，光學(xué)波導(dǎo)144根據(jù)這個實施例是丙烯酸片材。彈性擴散層146或其他適當(dāng)?shù)牟牧峡恐鈱W(xué)波導(dǎo)144，彈性擴散層146在這個實施例中是Vintex Inc. of Mount Forest, Ontario, Canada 制造的 V-CARE V-LITE 阻擋織物的一層。擴散層146當(dāng)被按下以接觸光學(xué)波導(dǎo)144時基本上反射脫離光學(xué)波導(dǎo)144的紅外線，使得脫離的紅外線向下進入機柜16內(nèi)。擴散層146也擴散被投影到其上的可見光，以便顯示投影圖像。在光學(xué)波導(dǎo)144的相反側(cè)，具有平滑的觸摸表面的清楚的保護層148覆蓋彈性擴散層146上。在這個實施例中，保護層148是聚碳酸酯材質(zhì)的薄片，其上施加了由Tekra Corporation of New Berlin, Wisconsin, U. S. A 制造的 Marnot 材料的硬蓋。雖然觸摸板14可以在沒有保護層148的情況下作用，但是保護層148允許使用觸摸板14，而沒有下面的擴散層146的不適當(dāng)?shù)淖兩?、荒?snagging)或變皺，并且沒有用戶手指的不適當(dāng)磨損。而且，保護層148向整個觸摸板14提供耐磨損、耐刮傷和耐化學(xué)性，這有益于板的使用期限。保護層148、擴散層146和光學(xué)波導(dǎo)144 一起作為一個單元在其邊緣夾著，并且被安裝在桌面12內(nèi)。隨著時間，長時間的使用可能磨損一個或多個層。根據(jù)需要，層的邊緣可以是不被夾著的，以便便宜地提供磨損層的替換?？梢悦靼祝梢砸云渌绞絹韺颖３衷谝黄?，例如通過使用一個或多個粘合劑、摩擦適配劑、螺釘、釘子或其他緊固方法。包括一組頂發(fā)光二極管(LED) 142的紅外光源沿著光學(xué)波導(dǎo)144的至少一個側(cè)面 (進入在圖2b中的頁面內(nèi))定位。每一個LED 142向光學(xué)波導(dǎo)144內(nèi)發(fā)出紅外光。在這個實施例中，沿著其定位頂LED 142的側(cè)表面被火焰拋光，以便利從頂LED 142接收光。在頂LED 142和光學(xué)波導(dǎo)144的側(cè)面之間保持1_2毫米(mm)的氣隙，以便減少從頂LED 142向光學(xué)波導(dǎo)144的熱傳送，由此減輕在丙烯酸光學(xué)波導(dǎo)144中的熱變形。反射帶143結(jié)合到光學(xué)波導(dǎo)144的其他側(cè)表面，以將光反射回光學(xué)波導(dǎo)144內(nèi)，由此使用紅外線照射來將光學(xué)波導(dǎo)144飽和。在運行中，在與其大的上下表面平行的方向上，經(jīng)由光學(xué)波導(dǎo)144的火焰拋光的側(cè)表面來引入紅外光，紅外光由于全內(nèi)反射(TIR)而不脫離通過光學(xué)波導(dǎo)144的上或下表面，因為它在上和下表面處的入射角不足以允許其脫離。到達其他側(cè)表面的紅外光一般被反射帶143在其他側(cè)表面處整體反射回光學(xué)波導(dǎo)144內(nèi)。如在圖2d中所示，當(dāng)用戶使用指針11來接觸觸摸板14的顯示表面時，指針11相對于保護層148的擠壓將彈性擴散層146壓靠著光學(xué)波導(dǎo)144，使得在光學(xué)波導(dǎo)144上在指針11的接觸點或“觸摸點”的折射率改變。這個改變“衰減” 了在觸摸點的TIR，使得紅外光以下述角度反射該角度在觸摸點沿著大致與光學(xué)波導(dǎo)144的平面垂直的方向上允許紅外光從光學(xué)波導(dǎo)144脫離。脫離的紅外光從點11反射離開，并且本地向下散射通過光學(xué)波導(dǎo)144，并且通過光學(xué)波導(dǎo)144的底表面射出光學(xué)波導(dǎo)144。對于每一個指針11這都發(fā)生， 因為它在相應(yīng)的觸摸點接觸觸摸板114的顯示表面。當(dāng)沿著觸摸板14的顯示表面15移動每一個觸摸點時，彈性擴散層146壓縮靠著光學(xué)波導(dǎo)144，因此，紅外光的脫離跟蹤觸摸點移動。在觸摸點移動期間或在觸摸點退出時， 其中由于擴散層146的彈性導(dǎo)致已經(jīng)有觸摸點的擴散層146的解壓使得紅外光從光學(xué)波導(dǎo) 144的脫離再一次停止。因此，紅外光僅在(一個或多個)觸摸點位置從光學(xué)波導(dǎo)144脫離，允許在由成像裝置獲取的圖像幀中捕獲紅外光。成像裝置32捕獲第三反射鏡30的二維頂視頻圖像。已經(jīng)從被投影儀22投影的圖像過濾的頂光與機柜16基本上排出環(huán)境光相結(jié)合地保證由成像裝置32捕獲的圖像的背景是基本上黑色的。當(dāng)觸摸板14的顯示表面15如上所述被一個或多個指針接觸時，由紅外線照像機32捕獲的圖像包括與相應(yīng)的觸摸點對應(yīng)的一個或多個亮點。處理結(jié)構(gòu)20接收所捕獲的圖像，并且執(zhí)行圖像處理，以基于在所捕獲的圖像中的一個或多個亮點來檢測一個或多個觸摸點的坐標(biāo)和特性。然后，處理結(jié)構(gòu)20將所檢測的坐標(biāo)映射到顯示坐標(biāo)，并且將其解釋為墨或鼠標(biāo)事件，以操縱所顯示的圖像。主應(yīng)用基于所接收的觸摸點數(shù)據(jù)來跟蹤每一個觸摸點，并且處理在圖像幀之間的連續(xù)性處理。更具體地，主應(yīng)用從幀接收觸摸點數(shù)據(jù)，并且基于觸摸點數(shù)據(jù)來確定是否登記新的觸摸點、修改現(xiàn)有的觸摸點、或消除/刪除現(xiàn)有的觸摸點。因此，主應(yīng)用當(dāng)它接收到與現(xiàn)有觸摸點無關(guān)的觸摸點數(shù)據(jù)時登記用于表示新的觸摸點的接觸下(Contact Dowm)事件， 并且向新的觸摸點給出唯一標(biāo)識符。如果觸摸點數(shù)據(jù)表征例如與現(xiàn)有的觸摸點相距閾值距離的觸摸點，則可以將該觸摸點數(shù)據(jù)當(dāng)做與現(xiàn)有的觸摸點無關(guān)。主應(yīng)用當(dāng)接收到與現(xiàn)有的指針相關(guān)的觸摸點數(shù)據(jù)時，登記用于表示觸摸點的移動的接觸移動(Contact Move)事件， 其中，通過例如在現(xiàn)有觸摸點的閾值距離內(nèi)或與現(xiàn)有的觸摸點重疊但是具有不同的焦點而與現(xiàn)有的指針相關(guān)。當(dāng)停止從隨后的圖像接收與現(xiàn)有觸摸點相關(guān)聯(lián)的觸摸點數(shù)據(jù)時，主應(yīng)用登記接觸上(Contact Up)事件，該事件表示從觸摸板14的顯示表面15去除觸摸點。基于觸摸點當(dāng)前所關(guān)聯(lián)的元件和/或觸摸點的當(dāng)前位置，接觸下、接觸移動和接觸上事件被傳送到用戶界面的相應(yīng)元件，諸如圖形小部件或背景/畫布。
圖3是圖示在處理結(jié)構(gòu)20上運行的主應(yīng)用的軟件結(jié)構(gòu)的框圖。接觸事件監(jiān)控器 304直接地或經(jīng)由操作系統(tǒng)從觸摸板14接收和跟蹤觸摸數(shù)據(jù)。觸摸數(shù)據(jù)包括用于至少一個觸摸點的每一個的位置數(shù)據(jù)和唯一的接觸ID，如在下文中描述在2008年9月四日提交的 Holmgren 等的美國專利申請 No. 12Λ40，963，題目為〃 METHOD FOR CALIBRATING AN INTERACTIVE INPUT SYSTEM AND INTERACTIVE INPUT SYSTEM EXECUTING THE METHOD"， 該申請被轉(zhuǎn)讓給本申請的受讓方Canada，Alberta, Calgary的SMART Technologies ULC, 其內(nèi)容通過引用被包含在此。接觸事件監(jiān)控器304處理所接收的觸摸數(shù)據(jù)，并且基于觸摸數(shù)據(jù)，產(chǎn)生每一個觸摸點的接觸事件。然后，基于每一個觸摸點的坐標(biāo)，如果不能發(fā)現(xiàn)在該坐標(biāo)處的圖形小部件，接觸事件監(jiān)控器304將每一個觸摸事件作為自變量傳送到圖形小部件308或背景306?；谔幚?，修改所顯示的圖像，以示出用戶的操縱的結(jié)果。如上所述，所產(chǎn)生的接觸事件是三種類型之一接觸下、接觸移動和接觸上。當(dāng)觸摸點首先出現(xiàn)時產(chǎn)生接觸下事件。如圖4中所示，在這個實施例中的每一個觸摸點被表征為具有中心位置(X，Y)、寬度Y和高度H的矩形觸摸區(qū)域404，使得觸摸區(qū)域404接近與觸摸板14接觸的指針的位置和大小。當(dāng)觸摸點移動時，產(chǎn)生接觸移動事件。當(dāng)產(chǎn)生接觸移動事件時，更新觸摸點的中心位置(X，Y)。當(dāng)觸摸點消失時，產(chǎn)生接觸上事件。這些事件被傳送到圖形小部件308或背景306之一，并且被實時處理，以使得用戶能夠平滑地選擇和操縱在觸摸板14上顯示的背景306和圖形小部件308。背景306和圖形小部件308封裝其輸入自變量包括接觸事件數(shù)據(jù)的功能。如果接觸下事件被傳送到背景306或圖形小部件308，則背景306或圖形小部件308將其本身與對應(yīng)的觸摸點相關(guān)聯(lián)，并且將它所關(guān)聯(lián)的觸摸點的總數(shù)增加一(1)。如果接觸移動事件被傳送到圖形小部件308，則根據(jù)用于表示姿勢的接觸移動事件的屬性來移動、縮放和/或旋轉(zhuǎn)小部件308，如在此將進一步所述。在這個實施例中，如果接觸移動事件被傳送到背景306，則背景306不執(zhí)行任何動作。如果接觸上事件被傳送到背景306或圖形小部件308，則背景306或圖形小部件 308將其本身與對應(yīng)的觸摸點脫離關(guān)聯(lián)，并且將它所關(guān)聯(lián)的觸摸點的總數(shù)減少一(1)?？梢詧?zhí)行另外的處理，以引起或去除上述的音頻和/或視頻效果的任何一個。圖fe至5c是圖示由接觸事件監(jiān)控器304和諸如背景306和圖形小部件308這樣的圖形對象執(zhí)行的步驟，以使用交叉來操縱圖形對象和處理接觸事件的流程圖。當(dāng)接觸下事件發(fā)生時(步驟50 ，接觸事件監(jiān)控器304執(zhí)行小部件擊中測試(步驟504)，以便通過確定新的觸摸點是否對應(yīng)于由圖形小部件占用的位置來確定新的觸摸點是否“擊中”(即， 接通)小部件(步驟506)。如果未擊中圖形小部件，即，觸摸點被確定擊中背景306，則接觸事件監(jiān)控器將接觸下事件傳送到背景306 (步驟508)。如果觸摸點擊中圖形小部件308， 則接觸事件監(jiān)控器304向圖形小部件308傳送接觸下事件(步驟510)。當(dāng)出現(xiàn)接觸移動事件時(步驟52 ，接觸事件監(jiān)控器304通過確定觸摸點是否與小部件308相關(guān)聯(lián)來查看是否觸摸點已經(jīng)在圖形小部件308上(步驟524)。如果觸摸點當(dāng)前不與圖形小部件308相關(guān)聯(lián)，則接觸事件監(jiān)控器304執(zhí)行小部件擊中測試(步驟526) 以查看是否觸摸點擊中小部件(步驟528)。如果未擊中圖形小部件，即，觸摸點擊中背景 306，則接觸事件監(jiān)控器304將接觸移動事件傳送到背景306(步驟530)以進一步處理。如果觸摸點與小部件308疊合，諸如觸摸點與小部件308的邊緣交叉，則登記肯定小部件擊中測試。在該情況下，接觸事件監(jiān)控器304自動地在與接觸移動事件相同的位置模擬接觸上事件，并且將其傳送到背景306，并且在與接觸移動事件相同的位置模擬接觸下事件，并且將其傳送到小部件308 (步驟53 。結(jié)果，接觸事件監(jiān)控器304實現(xiàn)小部件308的簡單和直觀的選擇。在步驟524，如果觸摸點與小部件308相關(guān)聯(lián)，則接觸事件監(jiān)控器304向小部件 308傳送接觸移動事件(步驟536)。然后查看與小部件相關(guān)聯(lián)的觸摸點的總數(shù)(步驟538)。 如果小部件僅與一個觸摸點相關(guān)聯(lián)，則旋轉(zhuǎn)和平移(RNT)算法用于操縱小部件308(步驟 540)。適當(dāng)?shù)腞NT算法的細節(jié)在Russell Kruger等的〃 Fluid Orientation on a Tabletop Display integrating Rotation and Translation"中，#1 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems(CHI 2005, Portland, Oregon), ACM Press, pages 601-610，2005中被公布，其內(nèi)容通過引用被整體包含在此。如果在步驟538小部件308與兩個觸摸點相關(guān)聯(lián)，則基于兩個觸摸點的位置來操縱小部件308 (步驟M2)。在這個實施例中，計算在兩個觸摸點的中心之間的中點，并且，也計算在沿著兩個觸摸點的中心的線和任意基線(例如，χ軸)之間的角度。當(dāng)移動中點時， 小部件308也在相同的方向上移動相同的距離。如果改變該角度，則根據(jù)角度改變來旋轉(zhuǎn)小部件308。小部件旋轉(zhuǎn)的角度可以是角度改變的倍數(shù)。如果在兩個觸摸點之間的距離減小，則縮小小部件308。如果在兩個觸摸點之間的距離增大，則放大小部件308。如果在步驟538小部件308與超過兩個觸摸點相關(guān)聯(lián)，則通過相關(guān)聯(lián)的觸摸點來操縱小部件308 (步驟M4)。在這個實施例中，使用平均技術(shù)，由此，計算與小部件308相關(guān)聯(lián)的觸摸點的質(zhì)心(例如，與相關(guān)聯(lián)的觸摸點的平均中心點相同的在屏幕表面上的點)。 當(dāng)移動質(zhì)心時，小部件308在相同的方向上移動相同的距離。相對于質(zhì)心的相關(guān)聯(lián)的觸摸點的移動被平均，以確定旋轉(zhuǎn)或縮放小部件308的量。當(dāng)接觸上事件出現(xiàn)時(步驟56 ，接觸事件監(jiān)控器通過確定觸摸點是否與小部件 308相關(guān)聯(lián)來查看觸摸點是否在小部件308上(步驟564)。如果觸摸點與背景306相關(guān)聯(lián)，則接觸事件監(jiān)控器304將接觸上事件向背景306傳送(步驟566)。如果觸摸點與小部件308相關(guān)聯(lián)，則接觸事件監(jiān)控器向小部件308傳送接觸上事件(步驟568)。圖6是圖示由接觸事件監(jiān)控器304在步驟504和5 執(zhí)行的小部件擊中測試的步驟的流程圖。在步驟602，接觸事件監(jiān)控器304使用觸摸點的參數(shù)(X，Y，W，H)來產(chǎn)生測試點的列表。每一個觸摸點的測試點的列表包括使用參數(shù)W(寬度)和H(高度)而計算的其四個角和其中心點(X，Y)。在步驟604，接觸事件監(jiān)控器304查看是否已經(jīng)測試了在列表中的所有測試點。如果否，則接觸事件監(jiān)控器304從測試點的列表檢索下一個測試點(步驟606)，并且調(diào)用點擊中測試函數(shù)以查看檢索的測試點是否在小部件308上(即，與小部件308共享位置)(步驟610)。如果點在小部件308上，則小部件擊中測試返回那個小部件 308(步驟612)，這意味著觸摸點擊中小部件308。否則，接觸事件監(jiān)控器304循環(huán)回步驟 604。如果已經(jīng)測試了在測試點列表中的所有測試點，則認為觸摸點已經(jīng)擊中了背景306，并且小部件擊中測試返回背景306 (步驟608)。圖7是圖示在在步驟610的點擊中測試期間執(zhí)行的步驟的流程圖。點擊中測試對觸摸點是否在沿著ζ軸以從上向下的順序堆疊(即，重疊)的小部件308的小部件分級中的小部件308上進行測試。點擊中測試函數(shù)接收給定的測試點的中心坐標(biāo)(X，Y)(步驟702)。在步驟704，如果已經(jīng)測試了所有小部件308，則認為測試點已經(jīng)擊中了背景306，并且點擊中測試函數(shù)返回背景306(步驟708)。否則，點擊中測試函數(shù)檢索在小部件分級中的下一個小部件308 (步驟706)。在步驟710，執(zhí)行測試以查看觸摸點的測試點是否在小部件308上。如果測試點在小部件308上，則點擊中測試函數(shù)返回小部件308(步驟712)；否則，它循環(huán)回步驟704，以測試在小部件分級中的下一個小部件308。如上所述的選擇和操縱的交叉技術(shù)通過對圍繞小部件308的不活動空間杠桿作用來大大地簡化操縱在交互輸入系統(tǒng)上的大量小部件308的任務(wù)。因此，去除了通過直接地觸摸小部件308來選擇小部件308的要求。如上所述的方法也模擬在物理領(lǐng)域中的表面上的物理塊的操縱，并且允許用戶選擇在觸摸板14上的小目標(biāo)并執(zhí)行諸如移動、聚集、旋轉(zhuǎn)和縮放這樣的對象操縱，而不要求在初始接觸時精確地選擇目標(biāo)。圖至8c圖示使用單個指針來移動小部件802，在該情況下單個指針是手指 804。在圖8a中，用戶接觸在背景306上的手指804，并且將手指804在由箭頭808所示的方向上向小部件802移動。在圖8b中，當(dāng)與手指804對應(yīng)的觸摸點與小部件802的邊緣相交時，接觸上事件被傳送到背景306，并且接觸下事件被傳送到小部件802，使得小部件802 被選擇用于操縱。視覺效果806可以被加到觸摸點以強調(diào)其已經(jīng)接觸了小部件802。在圖 8c中，當(dāng)手指804繼續(xù)在箭頭808的方向上或在任何其他方向上向前移動時，小部件802被連續(xù)地傳送接觸移動事件，使得它遞增地向新位置移動。圖9a至9c圖示使用四個指針來移動四個小部件902，在該情況下，該四個指針是手指904。在圖9a中，用戶接觸在背景306上的四個手指904，并且在由箭頭906所示的方向上向四個小部件902移動手指904。在圖9b中，左面三個手指904已經(jīng)分別與左面三個小部件902相交，使得三個對應(yīng)的觸摸點的每一個的接觸上事件被傳送到背景306，并且接觸下事件被傳送到三個小部件902的相應(yīng)的一些。當(dāng)手指904在由箭頭906所示的方向上繼續(xù)時，三個最左觸摸點的每一個的接觸移動事件被連續(xù)地傳送到三個被接觸的小部件 902，使得它們移動，同時最右觸摸點的接觸移動事件被傳送到背景306。在圖9c中，所有四個觸摸點已經(jīng)與相應(yīng)的四個小部件902的邊緣相交，并且觸摸點的連續(xù)移動分別移動所有四個小部件902。圖9d示出了由10個指針操縱的圖形小部件908，圖形小部件908在該情況下是數(shù)字圖像，并且10個指針在該情況下是手指，其中每一個手指具有相應(yīng)的觸摸點910。如在步驟544在圖5中所述，當(dāng)超過兩個觸摸點910與圖形小部件908相關(guān)聯(lián)時，使用平均技術(shù)來確定操縱的特性。計算與圖形小部件908相關(guān)聯(lián)的觸摸點910的質(zhì)心912，質(zhì)心912是與所有的相關(guān)聯(lián)的觸摸點910的平均中心點相同的在顯示表面上的點。當(dāng)移動觸摸點910 時，接觸移動事件被傳送到小部件908，并且根據(jù)質(zhì)心912移動的距離和方向來操縱小部件 908。例如，當(dāng)用戶試圖使用超過2個觸摸點910來縮放圖形小部件時，則確定每一個觸摸點相對于質(zhì)心912的平均距離。如果平均距離提高，則小部件908被放大。如果平均距離降低，則小部件908在大小上減少。用于放大或縮小小部件908的在尺度上的改變與平均距離值直接成比例。圖IOa至IOc圖示了使用單個指針并且通過使用RNT算法來移動和旋轉(zhuǎn)小部件 1002，單個指針在該情況下是手指1004。在圖IOa中，用戶使用手指1004來接觸背景306， 并且在由箭頭1008所示的方向上向小部件1002移動手指1004。在圖IOb中，當(dāng)對應(yīng)于手指1004的觸摸點與小部件1002的邊緣相交時，接觸上事件被傳送到背景306，并且接觸下事件被傳送到小部件1002，使得選擇小部件1002以用于操縱。在這個實施例中，視覺效果 1006被加到觸摸點以強調(diào)它與小部件1002的接觸。在圖IOc中，手指1004在觸摸板上向前移動。因為在小部件1002上的對應(yīng)的移動觸摸點偏離接觸邊緣的中心點，所以小部件 1002因此被移動并且同時被旋轉(zhuǎn)，如同物理對象與手指1004接觸。在圖IOd中，用戶旋轉(zhuǎn)與和在用戶的手上的手指對應(yīng)的10個觸摸點1012相關(guān)聯(lián)的小部件1010。在這個實施例中，確定在圖形小部件1010的邊緣上或邊緣處的觸摸點1012 的數(shù)量。計算在小部件1010的邊緣上或邊緣處的所有觸摸點1012的平均位置或質(zhì)心1014。 然后確定相對于質(zhì)心1014的所有接觸區(qū)域1012的最外的最后觸摸點1016。如圖IOe中所示，計算自質(zhì)心1014在最后的觸摸點1016和水平線1018(由觸摸表面的最長邊限定)之間的角度1020。替代地，也可以計算自質(zhì)心1014在最后觸摸點1016和已知取向(向質(zhì)心平移)的向量之間的角度1020。當(dāng)在用戶的手旋轉(zhuǎn)時這個角度1020從先前保存的角度圍繞質(zhì)心1014改變度數(shù)時，因此旋轉(zhuǎn)小部件1010。在這個實施例中，角度被測量為在-180度和180度之間。在角度改變在這個范圍之外的情況下，在任何進一步的處理之前，將角度改變覆蓋到這個范圍內(nèi)。例如，如果角度改變小于-180度，則將360度加到該角度上，由此覆蓋它。類似地，如果角度大于180度，則通過減去360度來覆蓋它。所覆蓋的角度差然后用于旋轉(zhuǎn)圖形小部件1010。圖Ila至Ilc圖示改變小部件的大小，在該情況下小部件是使用兩個指針的圖片 1102，在該情況下指針是用戶的手指。在圖Ila中，用戶將兩個手指1104觸摸在接近圖片 1102的背景306上，并且在分別由兩個箭頭1106和1108所示的方向上向圖片1102移動手指1104。在圖lib中，當(dāng)對應(yīng)于手指1104的觸摸點部分與圖片1102的兩邊相交時，使用視覺效果來強調(diào)兩個觸摸點。圖片1102然后被選擇以用于操縱。在圖Ilc中，在手指1104 移動得更接近的情況下，圖片1102被操縱以便縮小為更小的尺寸。在圖Ild到Ilg中，示出其他多個手指縮放應(yīng)用。在觸摸板1110上，用戶通過在圖Ild中的多個觸摸點1114來接觸圖形小部件1112。在圖lie中，用戶通過通過在小部件1112上或在小部件1112的邊緣處擴展觸摸點1114之間的距離來放大圖形小部件1112。 在圖Ilf中，按照預(yù)定最大縮放值1116，實現(xiàn)最大縮放，并且小部件1112被自動地動畫化和放大，如圖Ilg中所示。優(yōu)選的是，最大縮放尺寸1116在大小上很接近觸摸板的顯示表面的大小，以便防止當(dāng)縮放小部件時自動最大縮放被偶然地初始化。在縮放期間，小部件保持在觸摸板上居中，并且向外部擴展，以覆蓋顯示區(qū)域，以便有助于可用性。這特別有益于呈現(xiàn)，其中，放大小部件112以用于最大縮放并且居中和整直放大的小部件1112，而不將小部件推離顯示表面，或使得在小部件上的其他不需要的平移具有挑戰(zhàn)性?？梢越⑵渌鄠€接觸姿勢以對于最大縮放的小部件1112執(zhí)行任務(wù)。如在圖 Ilc中圖示一樣，縮放姿勢導(dǎo)致小部件1112縮小所確定的量或返回到其原始大小。替代地，擊打姿勢可以平移到在諸如幻燈片這樣的應(yīng)用中的一組小部件1112中的下一個小部件 1112。可以通過在處理結(jié)構(gòu)20上運行的軟件應(yīng)用來施加在小部件1112的尺寸和/或位置上的限制，以便防止在合作環(huán)境中用戶的行為不當(dāng)?shù)馗蓴_另一個用戶的行為。例如，使得一個用戶能夠放大圖形小部件以覆蓋顯示表面的大部分將擋住其他用戶的顯示表面空間和/或小部件。因此，合作軟件應(yīng)用可以限制放大特定小部件的程度，如在下文中所述 在2008年9月四日提交的Tse等的美國專利申請No. 12Λ41，030，題目為〃 METHOD FOR HANDLING INTERACTIONS WITH MULTIPLE USERS OF AN INTERACTIVE INPUT SYSTEM, AND INTERACTIVE INPUT SYSTEM EXECUTING THE METHOD"，該申請被轉(zhuǎn)讓給本申請的受讓方 Canada, Alberta, Calgary 的 SMART Technologies ULC，其內(nèi)容通過引用被包含在在此。圖12a至12c圖示使用兩個指針來旋轉(zhuǎn)三角小部件1202，該兩個指針在該情況下是拇指1204和食指1206。在圖12a中，用戶將拇指1204和食指1206觸摸在接近小部件 1202的背景306上，并且分別在由箭頭10 和1210所示的方向上向小部件1202移動拇指 1204和食指1206。在圖12b中，當(dāng)拇指1204和食指1206與小部件1202的相應(yīng)邊緣相交時，使用視覺效果來強調(diào)兩個觸摸點，并且小部件1202被自動地選擇以用于拇指1204和食指1206的操縱，如上所述。在圖12c中，在拇指1204向右移動并且食指1206向左移動時， 旋轉(zhuǎn)小部件1202，如上所述。如果期望，則直接地擊中小部件的新觸摸點可以導(dǎo)致與當(dāng)現(xiàn)有的觸摸點與小部件相交時出現(xiàn)的動作不同的動作，如圖13a至1 和圖1 至14c中所示。在圖13a中，示出包含提示1302和文本輸入框1304的文本輸入小部件。在圖13b中，用戶直接地使用指針來觸摸文本輸入框1304，指針在該情況下為手指1306。接觸事件監(jiān)控器將接觸下事件傳送到文本輸入小部件。文本輸入小部件將此解釋為用戶輸入文本的期望。結(jié)果，在文本輸入框1304中示出文本輸入光標(biāo)1308，并且用戶可以使用鍵盤來輸入文本。將注意到，經(jīng)由在觸摸板14上的接觸接收輸入的鍵盤圖形小部件可以被例示以用于這個目的，或用戶可以使用連接到處理結(jié)構(gòu)20的物理鍵盤來輸入文本。在圖1 中，示出包含提示1402和文本輸入框1404的文本輸入小部件。用戶首先將指針，在該情況下為手指1406，觸摸在背景306上，并且將手指1406在由箭頭1408所示的方向上向文本輸入小部件移動。在圖14b中，當(dāng)與手指1406對應(yīng)的觸摸點與文本輸入小部件的邊緣相交時，接觸事件監(jiān)控器向背景306傳送接觸上事件，并且向文本輸入小部件傳送修改的向下連續(xù)事件。在下述意義上，修改向文本輸入小部件傳送的接觸下事件使得小部件知道來自這個現(xiàn)有的觸摸點的接觸下事件與來自新的觸摸點的接觸下事件不同。作為響應(yīng)，選擇文本輸入小部件以用于操縱，諸如移動、旋轉(zhuǎn)等，這與文本輸入相反。在圖14c 中，手指1406在顯示表面上向前移動，使得文本輸入小部件1402向新的位置移動。除了文本輸入小部件之外，可以以類似的方式來操作其他的用戶輸入小部件，用于使得用戶能夠輸入墨或其他類型的輸入。圖1 和15b圖示使用交叉姿勢的呈現(xiàn)應(yīng)用，該交叉姿勢采用在圖如和恥中所述的交叉方法。在這個實施例中，用戶通過對應(yīng)于指針的觸摸點1502來接觸圖形小部件 1500的內(nèi)部，其中，之前的用戶輸入1504已經(jīng)被輸入，并且用戶執(zhí)行在小部件1500上的掃動姿勢1506。當(dāng)用戶在小部件1500的內(nèi)部1510上移動觸摸點1502，并且在大致水平方向上跨過小部件1500的邊緣以達到小部件的外部或背景1512時，小部件的內(nèi)部被清除，并且在小部件1500內(nèi)的之前的用戶輸入被擦除。這樣的使用交叉姿勢的應(yīng)用特別有益于呈現(xiàn)應(yīng)用，其中，期望保留盡可能多的顯示表面真實狀態(tài)。交叉姿勢應(yīng)用減少或消除了用于提示用戶輸入的另外的用戶界面框的必要，和確認什么可能阻擋觀眾對于關(guān)鍵信息和圖形的視線的必要。
圖16圖示使用在圖如和恥中描述的交叉方法的另一個應(yīng)用。在這個示例中， 基于交叉的交互用于在呈現(xiàn)期間實時地動態(tài)地開發(fā)、操縱和動畫化呈現(xiàn)內(nèi)容。呈現(xiàn)者可以通過使用多個手指旋轉(zhuǎn)和平移字符而實時地動畫化字符的位置。如上所述，在上述的對于 Tse等的美國專利申請No. 12/241,030中描述了關(guān)于使用交叉姿勢的協(xié)作軟件應(yīng)用的進一步細節(jié)。如上所述的用于在交互輸入系統(tǒng)中選擇和操縱圖形對象的方法可以被體現(xiàn)在軟件應(yīng)用中，該軟件應(yīng)用包括由處理結(jié)構(gòu)20執(zhí)行的計算機可執(zhí)行指令。軟件應(yīng)用可以包括包含例程、程序、對象部件、數(shù)據(jù)結(jié)構(gòu)等的程序模塊，并且可以被體現(xiàn)為在計算機可讀介質(zhì)上存儲的計算機可讀程序代碼。計算機可讀介質(zhì)是可以存儲數(shù)據(jù)的任何數(shù)據(jù)存儲裝置，該數(shù)據(jù)可以其后被處理結(jié)構(gòu)20讀取。計算機可讀介質(zhì)的示例例如包括只讀存儲器、隨機存取存儲器、CD-ROM、磁帶和光學(xué)數(shù)據(jù)存儲裝置。計算機可讀程序代碼也可以被分布在包括連接的計算機系統(tǒng)的網(wǎng)絡(luò)上，使得以分布方式存儲和執(zhí)行計算機可讀程序代碼。交互輸入系統(tǒng)可以包括程序模塊，該程序模塊包括但是不限于例程、程序、對象部件、數(shù)據(jù)結(jié)構(gòu)等，并且交互輸入系統(tǒng)可以被體現(xiàn)為在計算機可讀介質(zhì)上存儲的計算機可讀程序代碼。計算機可讀介質(zhì)是可以存儲數(shù)據(jù)的任何數(shù)據(jù)存儲裝置，該數(shù)據(jù)可以其后被計算機系統(tǒng)讀取。計算機可讀介質(zhì)的示例包括例如只讀存儲器、隨機存取存儲器、快閃存儲器、 ⑶-ROM、磁帶、光學(xué)數(shù)據(jù)存儲裝置和其他存儲介質(zhì)。計算機可讀程序代碼也可以被分布在包括連接的計算機系統(tǒng)的網(wǎng)絡(luò)上，使得以分布方式存儲和執(zhí)行計算機可讀程序代碼或通過網(wǎng)絡(luò)來復(fù)制計算機可讀程序代碼以用于本地執(zhí)行。雖然如上所述的實施例基于FIlR多接觸交互輸入系統(tǒng)，但是本領(lǐng)域技術(shù)人員可以明白，也可以向包括非FIlR系統(tǒng)和/或單個觸摸系統(tǒng)的其他接觸系統(tǒng)應(yīng)用許多相同的技術(shù)，允許用戶通過使用單個指針來平滑地選擇和操縱圖形小部件。雖然如上所述的實施例基于觸摸表面，但是本領(lǐng)域技術(shù)人員可以明白，可以向傳統(tǒng)鼠標(biāo)和鍵盤輸入系統(tǒng)或諸如游戲棒、跟蹤球或其組合這樣的其他輸入系統(tǒng)應(yīng)用邊緣接觸技術(shù)。也可以使用諸如以位置(X，Y)為中心并且具有半徑R的圓形區(qū)域這樣的其他形狀來限定觸摸區(qū)域。本領(lǐng)域技術(shù)人員可以明白，接觸區(qū)域的不同形狀是不偏離本發(fā)明的精神和范圍的算法的最小修改。然而，本領(lǐng)域技術(shù)人員可以明白，根據(jù)替代實施例，也可以建立背景306，以在一些實施例中執(zhí)行響應(yīng)于所接收的接觸事件的一些動作。雖然已經(jīng)描述了實施例，但是本領(lǐng)域技術(shù)人員可以明白，在不偏離由所附的權(quán)利要求限定的其精神和范圍的情況下，可以進行改變和修改。
權(quán)利要求
1.一種用于選擇在交互輸入系統(tǒng)的背景上顯示的圖形小部件的方法，包括 跟蹤與所述背景相關(guān)聯(lián)的一個或多個觸摸點；以及在一個或多個觸摸點與所述圖形小部件的位置疊合的情況下，將疊合的一個或多個觸摸點與所述圖形小部件相關(guān)聯(lián)。
2.根據(jù)權(quán)利要求1所述的方法，進一步包括將疊合的一個或多個觸摸點與所述背景脫離關(guān)聯(lián)。
3.根據(jù)權(quán)利要求1至2之一所述的方法，進一步包括 跟蹤與所述圖形小部件相關(guān)聯(lián)的所述一個或多個觸摸點；以及基于所述跟蹤，操縱所述圖形小部件。
4.根據(jù)權(quán)利要求3所述的方法，其中，所述操縱進一步包括在所述一個或多個相關(guān)聯(lián)的觸摸點的每一個在基本上相同的方向上被平移的情況下，平移所述圖形小部件。
5.根據(jù)權(quán)利要求3至4之一所述的方法，其中，操縱進一步包括 限定所述一個或多個相關(guān)聯(lián)的觸摸點的質(zhì)心；以及在所述一個或多個相關(guān)聯(lián)的觸摸點和所述質(zhì)心之間的距離改變的情況下，縮放所述圖形小部件。
6.根據(jù)權(quán)利要求3至5之一所述的方法，其中，操縱進一步包括 限定所述一個或多個相關(guān)聯(lián)的觸摸點的質(zhì)心；從所述一個或多個觸摸點確定最后的觸摸點；確定在所述質(zhì)心處已知取向的向量和所述最后的觸摸點之間的角度；以及在所述角度與所述最后的觸摸點圍繞所述質(zhì)心旋轉(zhuǎn)相關(guān)聯(lián)地改變的情況下，旋轉(zhuǎn)所述圖形小部件。
7.根據(jù)權(quán)利要求5至6之一所述的方法，其中，所述縮放進一步包括 監(jiān)控所述圖形小部件的尺寸；將所述尺寸與預(yù)定最大縮放閾值相比較；以及在所述尺寸大于或等于所述預(yù)定最大縮放閾值的情況下，執(zhí)行所述圖形小部件的自動縮放。
8.根據(jù)權(quán)利要求7所述的方法，其中，所述自動縮放放大所述圖形小部件以覆蓋所述曲旦冃足°
9.根據(jù)權(quán)利要求1至2之一所述的方法，其中，所述圖形小部件是用戶輸入小部件。
10.根據(jù)權(quán)利要求9所述的方法，進一步包括跟蹤與所述用戶輸入小部件相關(guān)聯(lián)的所述一個或多個觸摸點；以及基于所述跟蹤，操縱所述用戶輸入小部件。
11.根據(jù)權(quán)利要求10所述的方法，其中，所述操縱進一步包括在所述一個或多個相關(guān)聯(lián)的觸摸點移動到在所述用戶輸入小部件之外的位置的情況下，擦除在所述用戶輸入小部件中的用戶輸入。
12.根據(jù)權(quán)利要求9至11之一所述的方法，其中，所述用戶輸入小部件是文本輸入小部件。
13.根據(jù)權(quán)利要求9至11之一所述的方法，其中，所述用戶輸入小部件是墨輸入小部件。
14.一種計算機可讀介質(zhì)，包含計算機程序，所述計算機程序用于選擇在交互輸入系統(tǒng)的背景上顯示的圖形小部件，所述計算機程序包括用于跟蹤與所述背景相關(guān)聯(lián)的一個或多個觸摸點的程序代碼；以及用于在一個或多個觸摸點與所述圖形小部件的位置疊合的情況下將疊合的一個或多個觸摸點與所述圖形小部件相關(guān)聯(lián)的程序代碼。
15.一種交互輸入系統(tǒng)，包括觸摸板；以及處理結(jié)構(gòu)，用于跟蹤在所述觸摸板上的與顯示的背景相關(guān)聯(lián)的一個或多個觸摸點，并且在所述觸摸點的一個或多個與圖形小部件的位置疊合的情況下，將疊合的一個或多個觸摸點與所述圖形小部件相關(guān)聯(lián)。
16.根據(jù)權(quán)利要求15所述的交互輸入系統(tǒng)，其中，所述處理結(jié)構(gòu)跟蹤與所述圖形小部件相關(guān)聯(lián)的所述一個或多個觸摸點，并且基于所述跟蹤來操縱所述圖形小部件。
17.根據(jù)權(quán)利要求16所述的交互輸入系統(tǒng)，其中，在所述操縱期間，在所述一個或多個相關(guān)聯(lián)的觸摸點的每一個在基本上相同的方向上被平移的情況下，所述處理結(jié)構(gòu)平移所述圖形小部件。
18.根據(jù)權(quán)利要求16至17之一所述的交互輸入系統(tǒng)，其中，在所述操縱期間，所述處理結(jié)構(gòu)限定所述一個或多個相關(guān)聯(lián)的觸摸點的質(zhì)心；并且，在所述一個或多個相關(guān)聯(lián)的觸摸點和所述質(zhì)心之間的距離改變的情況下，縮放所述圖形小部件。
19.根據(jù)權(quán)利要求16至17之一的交互輸入系統(tǒng)，其中，在所述操縱期間，所述處理結(jié)構(gòu)限定所述一個或多個相關(guān)聯(lián)的觸摸點的質(zhì)心；從所述一個或多個觸摸點確定最后的觸摸點；確定在所述質(zhì)心處已知取向的向量和所述最后的觸摸點之間的角度；并且，在所述角度與所述最后的觸摸點圍繞所述質(zhì)心旋轉(zhuǎn)相關(guān)聯(lián)地改變的情況下，旋轉(zhuǎn)所述圖形小部件。
20.根據(jù)權(quán)利要求18所述的交互輸入系統(tǒng)，其中，在所述縮放期間，處理器監(jiān)控所述圖形小部件的尺寸；將所述尺寸與預(yù)定最大縮放閾值相比較；并且，在所述尺寸大于或等于所述預(yù)定最大縮放閾值的情況下，執(zhí)行所述圖形小部件的自動縮放。
21.根據(jù)權(quán)利要求20所述的交互輸入系統(tǒng)，其中，在所述自動縮放期間，所述處理器放大所述圖形小部件以覆蓋所述背景。
22.根據(jù)權(quán)利要求15所述的交互輸入系統(tǒng)，其中，所述圖形小部件是用戶輸入小部件。
23.根據(jù)權(quán)利要求22所述的交互輸入系統(tǒng)，其中，處理器跟蹤與所述用戶輸入小部件相關(guān)聯(lián)的所述一個或多個觸摸點；以及，基于所述跟蹤，操縱所述用戶輸入小部件。
24.根據(jù)權(quán)利要求23所述的交互輸入系統(tǒng)，其中，在所述操縱期間，在所述一個或多個相關(guān)聯(lián)的觸摸點移動到在所述用戶輸入小部件之外的位置的情況下，所述處理器擦除在所述用戶輸入小部件中的用戶輸入。
25.根據(jù)權(quán)利要求22至M之一所述的交互輸入系統(tǒng)，其中，所述用戶輸入小部件是文本輸入小部件。
26.根據(jù)權(quán)利要求22至M之一所述的交互輸入系統(tǒng)，其中，所述用戶輸入小部件是墨輸入小部件。
27.根據(jù)權(quán)利要求23至25之一所述的交互輸入系統(tǒng)，其中，所述用戶輸入小部件是墨輸入小部件。
全文摘要
提供了一種交互輸入系統(tǒng)和一種用于選擇在交互輸入系統(tǒng)的背景上顯示的圖形小部件的方法。該方法包括跟蹤與背景相關(guān)聯(lián)的一個或多個觸摸點；并且，在一個或多個觸摸點與圖形小部件的位置疊合的情況下，將疊合的觸摸點與圖形小部件相關(guān)聯(lián)。
文檔編號G09G5/373GK102165405SQ200980138448
公開日2011年8月24日 申請日期2009年9月28日 優(yōu)先權(quán)日2008年9月29日
發(fā)明者凱瑟琳·朗丁, 愛德華·策 申請人:智能技術(shù)無限責(zé)任公司