基于相機的多點觸摸交互設備、系統(tǒng)和方法
【專利摘要】提供了一種設備、系統(tǒng)和方法，該設備、系統(tǒng)和方法用于在計算機的坐標平面（12）比如計算機屏幕、交互式白板、水平交互表面、視頻/網(wǎng)絡會議系統(tǒng)、文檔相機、背投影屏幕、數(shù)字標牌表面、電視屏幕或游戲裝置之上的高度內(nèi)的交互體積（1）內(nèi)進行控制和交互，以使用一個或多個交互對象（2）例如手指、手、腳和其他對象例如筆、刷子、海綿和甚至更專門化的工具來提供指點、盤旋、選擇、輕敲、做手勢、縮放、繪圖、書寫和擦除。該設備和方法可以在系統(tǒng)中與所有類型的數(shù)據(jù)投影儀（3）及其固定器/支架（4）一起使用，或甚至集成到所有類型的數(shù)據(jù)投影儀（3）及其固定器/支架（4）中，并且與平的屏幕（12）（如LCD、等離子、OLED、背投影屏幕等）一起使用以使得這樣的顯示系統(tǒng)是交互式的。該設備包括單個相機（5），相機（5）從很短的距離或從更大的距離覆蓋交互體積（1）以確定橫向位置（X，Y）以及甚至捕捉交互對象（2）的姿態(tài)。
【專利說明】基于相機的多點觸摸交互設備、系統(tǒng)和方法
【技術領域】
[0001]本發(fā)明涉及基于相機的多點觸摸交互系統(tǒng)，其例如利用基于相機的輸入裝置和可見照明和/或紅外照明來跟蹤區(qū)域/空間內(nèi)的對象，例如跟蹤用于人與計算機交互的一個或多個手指或筆；該系統(tǒng)使得能夠確定區(qū)域以及該區(qū)域的表面之上的高度內(nèi)的二維位置，用于提供實際的二維輸入坐標并且在實際的交互狀態(tài)例如“不活動”(沒有跟蹤)、“盤旋”(跟蹤卻沒有觸摸，有時也稱作“在范圍內(nèi)”)和“觸摸”之間進行精確區(qū)分。本發(fā)明還涉及多模輸入裝置和接口，其例如允許筆和手指觸摸輸入并且還可操作用以同時處理幾個對象，例如多點觸摸計算機輸入裝置。此外，本發(fā)明涉及使用基于三維的輸入裝置來輸入手勢并且由此捕捉例如手或手指的人體姿勢的方法，并且可以將一系列手勢識別為用于三維控制的手勢命令和/或位置和方向輸入。
【背景技術】
[0002]基于相機對人與計算機交互的對象的跟蹤特別是跟蹤手和手指，在過去幾十年已經(jīng)獲得科學的、工業(yè)的和商業(yè)的興趣。由Pavlovic等，IEEE Trans.模式分析與機器智能，第19卷，第7號，第677至695頁，1997年和由Zhou等，IEEE Int.研討會關于混合的和增強的真實性，第193至202頁，2008年給出了在該計算密集型領域中的成就的回顧。在所報告的技術中的很多技術中，為了降低遮擋的敏感度并且為了具魯棒性的跟蹤和手勢解釋，由一個或多個相機從幾個不同的視點觀察對象。
[0003]對于基于單個相機對手指觸摸和手指姿勢或手勢的跟蹤，類似遮蔽、輪廓、紋理、剪影的特征和這些對象的圖像梯度，以及甚至從光滑的顯示表面反射回來的他們的面鏡被提取，并且用于對不同的基于模式的跟蹤系統(tǒng)進行更新以計算手指姿勢或手勢以及檢測例如實時手指觸摸。
[0004]作為巧妙的特征提取的示例，US2010/0066675A1描述了基于如下的觀察的單個相機觸摸屏幕系統(tǒng)和特征提取:當觸摸屏幕時來自由側光源照明的手指的遮蔽基本上被手指模糊，使得當不觸摸屏幕時遮蔽類似手指，然而當手指正在觸摸屏幕時遮蔽被大幅變窄使得可以確定觸摸。然而，獨立權利要求被來自2005年的由發(fā)明人Andrew D.Wilson所撰寫的公共科學文章(ACM Proc.UIST 2005，第83至92頁)預料。
[0005]W09940562 (Al)、US006100538A 和 US2010188370 (Al)主要描述了用于手指觸摸或筆的對象跟蹤系統(tǒng)，其中在坐標平面的周界處布置至少兩個相機視點以通過三角測量來確定對象的坐標。
[0006]W09940562 (Al)描述了如下系統(tǒng):使用單個相機和由一個或幾個平面鏡構成的類似潛望鏡的光學系統(tǒng)用于檢測計算機監(jiān)視器屏幕前的筆和手指觸摸，將從側面看的屏幕的兩幅圖像記錄在就在屏幕前的體積中，以確定筆或手指的坐標以及到屏幕的距離。
[0007]US006100538A描述了用于確定投影光的指點對象的位置并且被布置在坐標平面上的光學數(shù)字化器，以及被布置在坐標平面的周界上的檢測器，優(yōu)選地，一對線性圖像傳感器，具有覆蓋坐標平面的視場，并且布置準直器以限制檢測器的視場的高度而且檢測器僅可以接收從基本上平行于坐標平面的指點對象投影的光的平行分量，并且布置屏蔽以阻止除了投影光以外的噪聲光進入檢測器的有限的視場內(nèi)，以及提供處理器用于計算表示指點對象的位置的坐標。
[0008]US 2010188370 (Al)描述了如下基于相機的觸摸系統(tǒng):包括沿著周界放置并且通常位于觸摸表面的角中的具有重疊的場的至少兩個相機，以通過三角測量來確定指點器的位置以及確定觸摸表面上的指點器觸摸和指點器盤旋。
[0009]JP63292222和US2008152192 (Al)主要使用遠離對象的相機以及在相機的視場內(nèi)使用一個或多個平面鏡從不同的視點以及基本上與相機軸垂直的方向來觀察對象以簡化對象的位置的檢測。
[0010]JP63292222使用遠離書寫表面的單個相機以及沿著所述書寫表面的周界的、在朝向所述表面傾斜的兩個方向X和Y中的每個方向中的兩個平面窄鏡來獲得指點裝置的可替選視點，這使得可以通過捕捉和分析沿著書寫表面區(qū)域的兩個面鏡區(qū)域來分別獲得X坐標和Y坐標。
[0011]US2008152192 (Al)描述了用于3D監(jiān)視和分析測試對象(即，魚和動物)的運動相關的行為的系統(tǒng)。該系統(tǒng)包括實際的相機和至少一個虛擬的相機，虛擬的相機通過在實際的相機的視場內(nèi)使用至少一個平面鏡來實現(xiàn)，表示可以在所捕捉的相機圖像的一個或多個區(qū)域中被分析的至少一個可替選視點，以能夠對測試對象的運動行為進行分析。
[0012]在公開的國際PCT專利申請第W02005/034027 (Al)號(智能技術股份有限公司)中，描述了用于對感興趣區(qū)域內(nèi)的指點器進行檢測的設備。該設備包括沿著感興趣區(qū)域的第一邊延伸并且可操作用以使光朝向感興趣區(qū)域反射的第一反射元件。此外，該設備包括沿著感興趣區(qū)域的第二邊延伸、也可操作用以使光朝向感興趣區(qū)域反射的第二反射元件。第二邊連接至第一邊以限定該設備的第一角。通常在第一反射元件和第二反射元件中的至少一個反射元件的平面中的非反射區(qū)域鄰近于第一角。至少一個成像裝置可操作用以捕捉包括形成第一反射元件和第二反射元件的反射的感興趣第一區(qū)域的圖像，用于確定指點器在感興趣區(qū)域內(nèi)的位置。
[0013]在公開的日本專利申請第JP63292222 (A)號(三菱電機集團)中，描述了可操作用以檢測點指示器的坐標位置的光學系統(tǒng)。該光學系統(tǒng)通過相對于相應的原始對象在上部平面的鄰域中形成圖像來發(fā)揮功能。該光學系統(tǒng)還包括用于對從被布置在上部平面的鄰域中的圖像傳感裝置中所獲得的圖片信號進行處理的處理裝置。更具體地，圖像傳感裝置對包括讀取源的圖像獲得區(qū)域進行傳感。該光學系統(tǒng)還包括X方向反射鏡和Y方向反射鏡。點指示器(例如，書寫筆)通過圖像傳感裝置直接被傳感以及還經(jīng)由來自所述反射鏡的反射被傳感，使得圖片信號用于確定點指示器在光學系統(tǒng)內(nèi)的空間位置。
[0014]此外，在公開的日本專利第JP4484796 (B2)號(佳能株式會社)中，描述了用于對被輸入至此的坐標進行精確檢測的坐標輸入設備。該設備包括圍繞坐標輸入?yún)^(qū)域布置的多個傳感器單元，其中傳感器單元中的每個包括對輻射到坐標輸入?yún)^(qū)域的光進行投射的投射部件和用于在傳感器單元處接收入射光的光接收部分。該設備還包括設置在坐標輸入?yún)^(qū)域的周界上的提供遞歸反射的入射光的多個遞歸反射部分。該設備可操作用以基于從多個傳感器單元獲得的包括光屏蔽區(qū)域的光量分布來計算指點器的指點位置的坐標。關于多個傳感器單元的三維光屏蔽檢測區(qū)域具有與坐標輸入?yún)^(qū)域相對應的共同的三維形狀。此外，三維光屏蔽檢測區(qū)域被定義為其中通過多個傳感器單元所檢測的光密度的變化率對指點器的高度方向位置中的變化進行檢測的三維區(qū)域。
[0015]在日本專利第JP4033802 (B2)號(先進電信研究所)中，描述了允許信息的觸摸輸入的大屏幕觸摸平板系統(tǒng)。該系統(tǒng)包括由紅外源照射的從屏幕的正面操作的塑料材料屏幕。在操作過程中，人使用他們的手手動觸摸屏幕。此外，系統(tǒng)的相機通過面鏡(mirror)拍攝屏幕的背側以生成提供給計算機的攝影數(shù)據(jù)?；跀z影數(shù)據(jù)，通過由計算機處理攝影數(shù)據(jù)對由人的手攔截紅外輻射造成的遮蔽區(qū)域進行檢測。例如，當遮蔽區(qū)域具有與手的大小相對應的空間范圍時，確定遮蔽區(qū)域的坐標用于得到人的手相對于屏幕的空間位置的測量結果。
[0016]通常，重要的是在人機交互系統(tǒng)中正確識別用戶的意圖和命令。坐標平面中的X和Y的精確度可以重要或也可以不重要。這取決于應用。因此，其中對于例如移動或選擇圖形對象或訪問菜單要求適度的精確度的手指觸摸系統(tǒng)是有吸引力的，然而，當對于例如精美的書寫或繪畫或在CAD程序中處理所有的細節(jié)和對象要求最高的精確度時，優(yōu)選的為觸摸筆或筆。因此，在基于手指的系統(tǒng)中，基于來自單個相機的二維圖像，特征提取和具魯棒性的啟發(fā)式方法對于手指的坐標的確定將是足夠的。
[0017]然而，對于所有類型的應用，與手指或筆觸摸的檢測有關的高精度是最為重要的，并且絕不能出故障，因為用戶可能會失去對應用的控制。因此，在坐標平面的每個位置中要求觸摸情況的高且恒定的檢測質量。此外，檢測方法應當對手指大小、皮膚顏色、環(huán)境光線條件、顯示器光線等的變化不敏感，而且檢測應該快速。因此，設計良好的用戶交互以即使坐標分辨率精確度適中也確保手指/筆觸摸檢測的高質量、高魯棒性和高速度，并且最好的系統(tǒng)將能夠為對象的物理高度提供整個坐標平面之上的恒定縮放，從而在坐標平面上均一地確定觸摸和盤旋條件兩者，而且沒有任何依賴于用戶的行為或延時損失。
[0018]對于姿勢的確定，縮放并不那么重要。例如，在單個圖像內(nèi)觀察的不同的特征之間的距離的比可以足以確定實際的對象為手，該手例如帶有直的拇指和直的食指，而其他手指隱藏。不重要的是不管是大人的大手還是兒童的小手，或不管由于靠近相機鏡頭所以大還是由于較遠所以小。通過跟蹤相對運動以及從圖像到圖像確定姿勢的伴隨類型，可以將這樣的序列解釋為手勢命令，在一定程度上手勢命令被合并入計算機、移動裝置和嵌入式系統(tǒng)用的用戶界面。
[0019]對使用筆、觸摸或兩者(雙模式系統(tǒng))用于教育、協(xié)作和會議的交互系統(tǒng)有很大的興趣。為雙模式多點觸摸和多點筆輸入準備的操作系統(tǒng)和圖形用戶界面在觸摸、筆和鼠標輸入之間進行區(qū)分，因此雙模式輸入裝置必須同時向計算機報告多點觸摸、多點筆和鼠標信息的信息。幾個新的交互平臺還允許簡單的筆或手指姿勢控制，和/或甚至基于手勢的交互。
[0020]具體地，對普通教室和大型報告廳中的教育系統(tǒng)內(nèi)使用的交互式平板和白板有很大的全球興趣。這樣的白板也進入會議室、視頻會議室和協(xié)作室。交互式白板的坐標平面上的圖像根據(jù)短焦或長焦數(shù)據(jù)投影儀或通過作為IXD顯示、等離子顯示、OLED顯示或背投影系統(tǒng)的平的屏幕生成為投影圖像，重要的是，關于觸摸和/或筆的輸入裝置可以與所有類型的顯示技術一起使用，而不需要降低圖片質量或磨損設備。此外，重要的是，輸入裝置技術可以以較低的成本和精力易于適用于不同的屏幕、投影儀和顯示單元。[0021]新的交互式白板配通常備有短焦投影儀，S卩，具有在屏幕上方短的距離處放置的超廣角鏡頭的投影儀。通過這一解決方案，用戶將更少地被進入他/她的眼睛的光惹怒，以及傾向于在屏幕上投下更少的遮蔽，并且投影儀可以與板一起直接被安置在墻壁上。因此，對于這樣的短焦系統(tǒng)，用于筆和觸摸的理想的輸入裝置應當并入墻壁投影儀或附接在墻壁投影儀旁邊，或附接至投影儀墻壁安置件以使得安裝簡單和具魯棒性。
[0022]在報告廳中，需要很長的交互式白板和交互空間，并且這些交互表面應當提供觸摸、筆和手勢控制。在大格式屏幕上，通常需要指點棒和激光指點器以引起公眾的注意。優(yōu)選的輸入技術應當適用于所有這些不同的要求，即，也接收指點棒和激光作為用戶輸入工具，并且容許和可適用于不同的顯示格式。
[0023]此外，平的屏幕技術會需要觸摸和/或筆操作、簡單的筆和/或觸摸手勢交互和最終的手勢控制。涂抹在平的屏幕的頂部的觸摸敏感膜不能檢測盤旋或在空中的手勢。平的屏幕后面的純電磁接收系統(tǒng)無法檢測手指觸摸或手勢，只有電磁筆操作是可以的。然而，一些類型的平面顯示器技術，尤其OLED顯示器，可以是透明的，從而基于相機的技術可以通過屏幕用于手勢控制。如果包括盤旋和手勢的雙模式輸入系統(tǒng)繼續(xù)變得越來越重要和標準化以供提供高效且自然的用戶界面，則基于光學的輸入系統(tǒng)將有可能優(yōu)選的還用于平面交互式屏幕而不是電容式或電阻式膜或基于電磁的解決方案。因此，優(yōu)選的輸入裝置技術應當是基于光學的和應當適于應用于傳統(tǒng)的平的屏幕(LCD、等離子、LED)和透明的平的屏幕，諸如OLED屏幕和背投影屏幕。
[0024]輸入設備不應當對光源(例如，日光、室內(nèi)照明、來自投影儀或顯示屏幕的光等)敏感。此外，輸入設備不應當對來自太陽光、人工光或來自使用近紅外光發(fā)光二極管用于通信的遙控單元和類似單元的近紅外輻射敏感。
[0025]輸入裝置還應當表現(xiàn)高的坐標更新率，并且提供低延遲以供最好的用戶體驗。
[0026]輸入裝置應當優(yōu)選地適于嵌入現(xiàn)有基礎設施中，例如，將現(xiàn)有已安裝的基于筆的交互式白板模式升級以也允許手指觸摸和手勢控制，或將已經(jīng)配備有已安裝的投影儀或平的屏幕的會議室或教育室升級以通過輸入裝置本身的簡單的安裝成為交互式的。
[0027]在某些情形下，輸入技術甚至可以在書寫表面本身上沒有交互式反饋的情況下是可使用的，例如，通過精確捕捉來自粉筆和海綿在傳統(tǒng)的黑板上的筆劃并且識別用于計算機控制的手勢；或通過捕捉筆和紙的正常使用(包括交叉)和用于計算機控制的簡單的手勢；或通過由以紙質形式或問卷填寫來捕捉包括他/她的簽名的用戶信息，而將結果存儲在計算機中，以及由正常的計算機屏幕或由用于用戶和觀眾的參照的連接的顯示器或投影儀顯示輸入或輸入的一些解釋。這表示在這種基礎設施不可得或不需要的情況下，輸入裝置應當可以根據(jù)昂貴的顯示技術獨立或單獨使用。
[0028]以與在教育中交互式白板取代了傳統(tǒng)的粉筆和黑板相同的方式，在其他領域中出現(xiàn)新穎的交互空間。在協(xié)作室和控制室、博物館和展覽中引入多用戶交互式垂直表面和水平表面。
[0029]在酒吧、娛樂場、咖啡館和商店中建立包括交互式客人桌子的交互式空間使客人可以從菜單、訂單和支付中進行選擇，以及通過例如玩電腦游戲，瀏覽互聯(lián)網(wǎng)或閱讀新聞獲得娛樂。交互式空間將在使用具有可以動態(tài)改變的數(shù)字內(nèi)容的平面顯示器或投影屏幕的數(shù)字標牌內(nèi)使用，不僅以來自提供商的預定的順序，而是由于來自觸摸和手勢控制的用戶輸入被改變，從而使標牌更靈活、內(nèi)容豐富和用戶友好。用于在交互式標牌中使用的觸摸和手勢控制的輸入設備應當通過防暴厚窗口工作良好以及在安裝簡單的各種表面和平的屏幕上工作良好，以適合在室內(nèi)、室外公共區(qū)和商業(yè)地區(qū)中安裝和使用。

【發(fā)明內(nèi)容】

[0030]本發(fā)明涉及一種用于人機通信中的輸入裝置的設備、系統(tǒng)和方法，用于跟蹤坐標平面內(nèi)的對象的位置；用于檢測給定的高度范圍內(nèi)位于坐標平面處的體積內(nèi)的盤旋和/或觸摸情況；和/或用于識別對象的姿勢，輸入裝置包括用于使用可見光和/或近似紅外光捕捉圖像的相機、布置在坐標平面處的面鏡裝置、和計算單元，其中相機的視場包括坐標平面和坐標平面上的體積以及面鏡裝置，其中面鏡裝置包括至少一個離軸的凹的基本上為拋物型的元件，其軸平行于坐標平面并且其焦點在相機的入射光瞳處，以提供沿著其軸的、對體積的高度維度的恒定放大，使得可以基于單個圖像由計算單元計算對象的坐標和/或對象的盤旋和/或觸摸狀況和/或姿勢特征，并且/或者基于一系列圖像由計算單元計算對象的運動和/或對象的手勢。
[0031]相機包括CXD或CMOS成像芯片或類似，以及具有足夠大的視場以包括坐標平面、體積和面鏡裝置，并且具有適于實際的成像芯片分辨率的用于實際的波長范圍的足夠的光學成像質量的鏡頭或類似。
[0032]本發(fā)明具有至少一個面鏡裝置，該面鏡裝置包括分布在坐標平面的周界之外的表面處的一個或多個離軸的基本上為拋物型的元件。每個這種離軸的基本上為拋物型的元件在相機的入射光瞳處具有焦點并且它的軸平行于表面。每個離軸的基本上為拋物型的元件的屬性為當對象在體積之內(nèi)或部分地在體積之內(nèi)時對從對象放射的平行于表面的一組平行的光線進行校正。該屬性保證實際的高度的測量，即，對象與表面之間的距離對于該元件具有恒定的放大/縮放，并且可以通過對覆蓋該面鏡元件的圖像區(qū)域進行局部分析來容易地被確定。面鏡裝置還必須適于確保來自每個拋物型元件的不同組的平行的光線一起覆蓋坐標平面上的整個體積且不具有死點，使得總是存在這樣的至少一個面鏡元件:當對象在體積內(nèi)部時覆蓋對象，并且從相機的視點以足夠數(shù)量的像素而可被觀察到，使得計算單元可以確定對象的實際的高度，從而可以確定對象的觸摸狀況和/或盤旋狀況。相機還可以配備有一些標準的和/或適配的雙焦鏡頭或類似來以其環(huán)境為代價放大面鏡裝置，從而將相機傳感器像素陣列中的面鏡裝置的成像的分辨率增加到用于精確高度確定的足夠的分辨率水平。
[0033]雖然離軸的基本上為拋物型的面鏡元件分布在適于拾取平面之上的對象高度的坐標平面的表面處，但是還可以在離軸的基本上為拋物型的面鏡元件之外放置額外的彎曲的或平的面鏡元件，用于當這些較后提到的面鏡被從相機的視點觀察時提供場景的空間信
肩、O
[0034]在對于相機的入射光瞳與表面之間的直接視線而言存在障礙，例如，由于投影儀的機械形狀、墻壁安置件的大小等的情況下，對于不同的離軸的基本上為拋物型的面鏡元件的放置和方向可以存在額外的限制。在優(yōu)選的實施方式中，注冊在這些障礙之外的離軸的基本上為拋物型的元件一組可能的放置區(qū)域，然后每個元件的放置選自該組并且沿著表面被分配軸方向以均勻地在坐標平面之上足夠地分布光線束而沒有死點或遮蔽，同時面鏡裝置的所得形狀應當平滑和/或適用于例如墻壁安置件機制和/或關于易于制造、易于安置和良好的美學外觀的投影儀形狀。
[0035]在優(yōu)選的實施方式中，面鏡裝置是圍繞輸入裝置的墻壁或桌子安置件以半圓分布的離軸的基本上為拋物型的元件的集合。該半圓的半徑越小，產(chǎn)生的光的角度將越寬，使得對象的寬度的圖像越依賴于對象與面鏡表面之間的距離。如果該半徑太小，則由于盡管高度維度無論對象至面鏡的距離如何而具有恒定的放大縮放，但圖像在寬度方向被縮小得太多，因此在離面鏡較大的距離處將難以測量對象的高度?？梢詫τ诮o定的圖像和鏡頭分辨率、面鏡表面質量和傳感器光預算以及安置和坐標平面幾何圖形找到半徑的適當?shù)倪x擇。
[0036]在可替選的優(yōu)選實施方式中，離軸的基本上為拋物型的面鏡元件以沿著坐標平面的周界邊緣中的至少一個的至少一個直模(straight moulding)來布置。這是用以確保從對象放射的光線的良好的可觀察性和分布的有益放置，可以易于制造和安置，并且可以產(chǎn)生良好的美學外觀。
[0037]在一些可替選的實施方式中，可以將面鏡裝置定形為小的離軸的基本上為拋物型的段的馬賽克，每個布置成以不同的位置和高度采集從對象放射的光線，但是其中段的方向、放置和高度的結構被最優(yōu)化為以最高效的方式關于空間有限的或形狀受限的面鏡裝置覆蓋坐標平面之上的體積，或對于給定的最小對象尺寸檢測范圍找到最高效的面鏡裝置形狀。通過利用馬賽克結構，可以以更多的設計優(yōu)化努力和圖像解碼復雜度的代價找到給出最佳的觀察、更小的遮蔽和良好的面鏡到像素映射的布置。
[0038]可以由金屬通過不同的制造技術例如銑削、車削、沖壓、3D激光雕刻、打磨和/或EDM直接制造面鏡裝置。然而，為了使其適用于高的體積和低成本的生產(chǎn)，可以優(yōu)選地使用塑料材料注射模塑和金屬涂層沉積在塑料上，并且也可以減小面鏡裝置的重量。對于較高的質量和精度的表面，可以使用不同類型的金屬化玻璃基板。對于較低的體積和較低的質量的面鏡，當曲率半徑大時粘合到基底的面鏡狀的金屬化的塑料材料的膜的熱模塑和真空模塑可以是可行的。預拋光金屬片的沖壓和成形也可以用于制作具有對本發(fā)明的一些優(yōu)選實施方式來說足夠的質量的面鏡。
[0039]也可以用例如塑料材料或玻璃等材料利用全內(nèi)反射來制造面鏡裝置。
[0040]也可以通過與用于保護和擴展面鏡功能(小于發(fā)生全內(nèi)反射的臨界角的角度)的金屬涂層相結合，由塑料或玻璃材料利用全部反射來制造面鏡裝置。
[0041]在一些優(yōu)選的實施方式中，基于全內(nèi)反射的面鏡可以由類菲涅耳段形成。在一些優(yōu)選的實施方式中面鏡裝置也可以通過給定角度的平面鏡段和塑料材料透鏡或塑料材料菲涅耳透鏡的組合來制造，以提供離軸的基本上為拋物型函數(shù)所需要的合成曲率。
[0042]在一些優(yōu)選的實施方式中，離軸的基本上為拋物型函數(shù)可以由透鏡或菲涅耳透鏡(如為太陽能應用制造的那些透鏡)來實現(xiàn)。
[0043]在一些優(yōu)選的實施方式中，面鏡裝置可以由選擇性地阻止或通過給定波長范圍內(nèi)的光的、由塑料和/或特殊涂層構成的層覆蓋。于是，當由用戶和觀眾在可見光下觀察時，模子或殼體可以看起來為均勻的具有例如恒定的深褐色，而涂層之后的面鏡在來自成像相機的給定波長范圍內(nèi)的近紅外光下完全發(fā)揮功能。
[0044]在一些實施方式中，環(huán)境光和/或來自顯示器的光(即，分別來自投影儀或平的屏幕的光)可以用于對對象進行照明。[0045]在一些優(yōu)選的實施方式中，可見和/或近紅外光下的照明器裝置被包括以供由面鏡裝置直接和/或對對象進行間接照明。
[0046]在一些優(yōu)選的實施方式中，照明器裝置可被控制開關的開/關控制為針對不同的圖像選擇性地接通和關斷照明。
[0047]在一些優(yōu)選的實施方式中，照明裝置中的照明源裝置在相機的主動曝光時段內(nèi)閃光，以凍結與移動的物體相關的運動。
[0048]在一些優(yōu)選的實施方式中，照明器裝置位于相機的入射光瞳附近，S卩，靠近拋物型元件的焦點，以通過面鏡裝置對對象進行照明，由此擴展給定高度內(nèi)的位于坐標平面處的體積中的光，其中光線主要平行于平面。
[0049]在一些優(yōu)選的實施方式中，照明裝置位于靠近相機的入射光瞳以對對象進行直接照明。
[0050]在一些優(yōu)選的實施方式中，存在用于通過面鏡裝置對對象進行照明和用于對對象進行直接照明的共同的照明器裝置。
[0051 ] 在一些實施方式中，存在用于通過面鏡裝置對對象進行照明和用于對對象進行直接照明的單獨的照明器裝置。
[0052]在一些實施方式中，存在用于照明和觀察的單獨的面鏡元件布置，使得用于觀察坐標平面之上的對象高度的裝置中的面鏡更少地暴露于照明裝置本身，從而減少不希望的光學界面的反射并且由此增大測量的信噪比。
[0053]在一些實施方式中，用于通過面鏡對對象進行照明的照明裝置的開/關控制和用于對對象進行直接照明的照明裝置的開/關控制是分開的，使得可以對于不同的圖像選擇性地接通和關斷來自照明裝置的對象照明，以提供對對象的更好檢測，例如，通過側照明提供對象周圍的輪廓。
[0054]在一些實施方式中，照明裝置還可以包括可見光，例如具有開/關控制的多色發(fā)光二極管，使得對象(例如手指)可以通過面鏡裝置使用有顏色的光(例如，綠色)照亮，由此向演示者傳遞的信號是例如所選墨水顏色為綠色。以同樣的方式，閃爍的紅色，可以向演示者傳遞的信號是他的手指作為一種警報，不需要被觀眾觀察到等。
[0055]在一些優(yōu)選的實施方式中，相機包括光學濾波器以阻擋不希望的光，即，來自平面顯示器或投影儀屏幕的光和/或環(huán)境光，同時允許與照明具有相同的波長范圍的光通過。
[0056]在一些優(yōu)選的實施方式中，相機包括選擇性地阻擋或發(fā)射不同波長范圍的光的一個或多個可選的光學濾波器，從而，例如，對于一些圖像允許與照明具有相同的波長范圍的光通過，同時對于其他圖像例如僅允許可見光通過，那么能夠捕捉到來自投影儀或平的屏幕的圖像。
[0057]在一些優(yōu)選的實施方式中，本發(fā)明也可以結合配備有可以直接或通過離軸的基本上為拋物型的元件、或兩者而可被觀察到的、在其表面上和/或內(nèi)部主體和/或投影在屏幕上的給定的波長范圍內(nèi)的圖案的對象而與發(fā)明W02001 N000369/US7083100B2和/或W02006135241A1/US2009040195A1相結合，作為更精確的跟蹤和/或識別對象和/或檢測不同的用戶交互控制(諸如，按鈕等)的狀態(tài)的手段，它根據(jù)上述的發(fā)明的方法可以改變可觀察到的圖案。而且，通過將本發(fā)明與如W02005050130/US7339684B2中所描述的光學靠近監(jiān)測器結合可以觀察到對象到表面的靠近或在對象的不同內(nèi)部部件之間的靠近。在這樣的優(yōu)選實施方式中，可以通過本發(fā)明的面鏡裝置具體地完成這樣的圖案和/或靠近信息的觀察，從而提供光學信息在整個坐標平面上的恒定放大。
[0058]在一些另外的優(yōu)選實施方式中，通過至少對給定的波長范圍應用眾所周知的回歸反射原理對于對象完成上面提到的圖案，以利用照明裝置被放置在靠近相機的入射光瞳這一事實，使得對象的回歸反射屬性可以確保直接觀察和/或通過面鏡裝置觀察的高強度。
[0059]在本發(fā)明的一些優(yōu)選的實施方式中，簡單的基于計算機的校準程序可以用于找到坐標平面到顯示器坐標的精確的映射。常見的方式是通過在顯示器上顯示幾個點的交叉使校準程序成為用戶輔助的，同時需要手動筆或手指觸摸以找到映射，即，變換矩陣。
[0060]在本發(fā)明的一些優(yōu)選實施方式中，計算機程序可以將圖像在顯示器生成有，例如，在 TO2001 N000369/US7083100B2 和 / 或 W02006135241A1/US2009040195A1 中用于識別和跟蹤的對象的圖案，這可以由相機自動識別以找到變換矩陣來將坐標平面映射到顯示器坐標。由于本發(fā)明將位于坐標平面上的體積中的對象的兩個不同的視圖成像，本發(fā)明的一些優(yōu)選實施方式可以包括也用于高度維度的校準和控制程序，即，通過包括可以分別直接和通過面鏡觀察到的測試對象以正確控制和/或調(diào)整精確觸摸和盤旋的閾值。作為校準程序的一部分，半透明的三維圖案對象可以被顯示器照亮。作為說明性示例，例如，沿著其表面具有一些不透明帶的半透明的圓柱形測試對象和/或其體積內(nèi)的不透明的物體被放置在顯示器上的由校準程序以圓形區(qū)域一個接一個地高亮顯示的一些位置中。根據(jù)本發(fā)明，顯示器將照亮當被放置在這些小的圓形區(qū)域之上時的半透明的測試對象，使得其可以由相機直接看到并且可通過面鏡裝置從側面看到。測試對象可以具有被標出在根據(jù)本發(fā)明的相機的兩個視圖中可觀察到的尺寸的不透明和透明的細節(jié)以識別和區(qū)分不同的測試對象；校準和建立從坐標平面的坐標到顯示器坐標的映射；和/或校準或控制高度測量，包括對于給定安裝而言的觸摸和盤旋條件的閾值的和/或確定。
[0061]在一些優(yōu)選的實施方式中，面鏡裝置和/或投影儀安置件和/或屏幕安置件和/或書寫表面可以具有如W02001 N000369/US7083100B2中所描述的用于場景中的精確對象定位的光學圖案。這可以基本上簡化安置和校準程序，并且校準可以由輸入裝置的計算單元在內(nèi)部完成，無需手動校準步驟或外部的計算機程序。
[0062]本發(fā)明的目的是提供X和Y方向中的位置信息，以及來自人機接口中的用戶的觸摸和盤旋的信息(Z方向，表示用戶的動作信息)，該信息通常但不必須也包括合作的顯示。
[0063]本發(fā)明的另外的目的是被用于先進的多點觸摸交互，多點觸摸交互被用于計算機和其他電子裝備的人機接口裝置中。用戶的交互(包括精確的觸摸控制、手勢和用戶手勢)中的細節(jié)可以通過直接觀察與通過離軸的基本上為拋物型的面鏡裝置的組合被捕捉。通過直接或通過面鏡裝置使用閃光照明，可以凍結所有的運動以避免相機圖像的模糊。在本發(fā)明的一些優(yōu)選實施方式中，照明也可以設置有單獨的光學元件，從而除去當通過相同的光學元件同時地完成觀察和照明時所涉及的反射，從而提高信噪比。
[0064]在本發(fā)明的一些另外的實施方式中，使用近紅外光照明源。此外，相機可以具有阻擋可見光等并且僅允許近紅外光通過的濾光器。在這樣的實施方式中，本發(fā)明將對其他光源例如日光、室內(nèi)照明、來自投影儀的光、顯示器光等不太敏感。
[0065]本發(fā)明的優(yōu)點是交互對象的放大對于給定面鏡段的所有距離而言是恒定的。這暗示大的表面上的簡單的圖像處理和很精確的系統(tǒng)。本發(fā)明的目的是制造很具魯棒性和精確的觸摸和盤旋檢測系統(tǒng)。
[0066]本發(fā)明的另外的優(yōu)點是可以將其包含在墻壁和桌子上的正投影和背投影系統(tǒng)中，并且本發(fā)明可以被集成到新裝備中或改裝到現(xiàn)有的裝備中用于使得這種系統(tǒng)交互式的。
[0067]本發(fā)明的另外的優(yōu)點是本發(fā)明可以安置在或集成到投影儀墻壁安置件或屏幕安置件(LCD、OLED等)中。
[0068]在本發(fā)明的一些可替選實施方式中，對于很先進的交互空間，雙焦相機透鏡的使用可以通過圍繞面鏡裝置放大圖像來增強分辨率，以獲取更精確的觸摸和高度信息?？商孢x地，透鏡光學器件可以針對直接視圖和通過離軸的基本上為拋物型的面鏡元件的視圖而被分離以使裝備小型化、降低成本并且簡化安裝。這可以通過利用可得的低成本CMOS圖像傳感器技術來實現(xiàn)，傳感器技術提供由互連的高速串行鏈路來自兩個獨立的傳感器的圖像對的全面曝光同步和流化，然后使用最適合于兩個單獨的視圖的光學透鏡，然后由計算單元對圖像對執(zhí)行相同的計算。關于本發(fā)明所描述的加速方案也將適用于這樣的雙傳感器/透鏡配置。
[0069]本發(fā)明可以利用低成本的CXD或CMOS相機技術和低成本的近紅外LED和易于且廉價制造的光學元件，以及關于實際的應用易于編程的可用的信號處理集成電路。因此，本發(fā)明易于在高生產(chǎn)體積中實現(xiàn)。
[0070]在一些場景中，本發(fā)明還可以將例如手姿勢確定為在相機的視場內(nèi)但不一定在定義的交互體積內(nèi)的第二交互對象，其中，該至少一個第一對象的姿勢被確定，使得第二對象的姿勢可以提供人與計算機交互中的額外信息。
[0071]基于由離軸的基本上為拋物型的面鏡裝置觀察對象的方法清楚地提供與盤旋水平信息同義的交互表面之上的高度Z。僅通過執(zhí)行表示不同的離軸的拋物型面鏡元件的相機像素上的簡單的邊緣檢測，可以確定交互對象的存在和高度?？梢允褂貌煌膱D像處理方法來檢測面鏡元件的圖像區(qū)域中的實際變化，例如，參考圖像的減法，發(fā)現(xiàn)圖像中的絕對差異，以及規(guī)格化，閾值(即，與一個或多個閾值比較)用于發(fā)現(xiàn)例如易于進一步被處理成用于由BLOB檢測算法或模板匹配技術發(fā)現(xiàn)候選對象的二進制表。候選對象可以位于沿著交互表面看的面鏡視圖和直接視圖(即，交互表面本身的視圖)兩者中。所謂的對應問題，即，其中來自兩個不同視點的相應的圖像信息都將被識別，通常是很復雜的問題，并且是立體圖形和人工3D視覺系統(tǒng)的關鍵問題。通過利用離軸的基本上為拋物型的面鏡，高度(Z)信息在無需任何透視失真作為交互體積中的對象的(X，Y)位置的函數(shù)的情況下被清楚和線性地表示。因此本發(fā)明的對應問題相比通常的情況降低了復雜度，但通過下面描述的方法可以進一步被簡化。
[0072]如已經(jīng)討論的，基于由離軸的基本上為拋物型的面鏡裝置觀察對象的方法清楚地提供盤旋水平信息。該方法還使得可以通過利用通過離軸的基本上為拋物型的面鏡元件的視圖是特定方向沿著交互體積的外表的這一特性更快地找到交互對象，這意味著幾個對象位置被映射到一個單一的面鏡元件或這樣的元件集合，并且可以由具有低的像素數(shù)的相機觀察到。對于對象位于哪里的初始研究，與面鏡裝置有關的有限的相機像素區(qū)域的圖像處理將很容易地找到對象的高度和對象位于的方向。在其中離軸的基本上為拋物型的元件以半圓分布的上述面鏡布置中，那么可以直接發(fā)現(xiàn)高度(Z)和表示到對象的方向的方位(AZ)角并且可以確定交互體積中的候選對象位置的軌跡。該軌跡可以通過例如查找表被變換成圖像傳感器陣列中的軌跡，然后可以通過例如沿著這條軌跡運行的邊緣檢測算法搜索對象的存在。這種方法對于整個交互表面、與圖像傳感器陣列中的完整的二維搜索相比，代表以高運算速度發(fā)現(xiàn)圖像中的對象的高效的搜索程序。
[0073]此外，即使當通過利用兩個或更多個面鏡將對象的直接圖像封閉在直接相機視圖中時，本發(fā)明也可以利用的冗余方案來找到對象的位置、盤旋水平和觸摸。當從直接相機視點觀察時，用戶在交互會話期間可能由例如他/她的另一只手或他/她的頭部偶爾地且無意地隱藏筆、他/她的手指或他/她的手，而沿著交互表面的兩個面鏡可以跟隨對象，確定對象的高度，發(fā)現(xiàn)他們的觸摸和盤旋狀態(tài)，并且通過以給定的基本長度從面鏡中觀察到的對象的方位的三角測量來計算出它們的位置。
[0074]通過跟蹤相對運動以及可以根據(jù)從圖像到圖像來確定的姿勢的伴隨類型，這樣的序列可以被解釋為手勢命令，這在一定程度上被并入計算機、移動裝置和嵌入式系統(tǒng)的用戶界面。
[0075]本發(fā)明提供適用于教育、協(xié)作和會議的使用筆、觸摸或兩者(雙模式系統(tǒng))的交互系統(tǒng)。現(xiàn)在操作系統(tǒng)和圖形用戶界面為雙模多點觸摸和多筆輸入作準備，并且他們可以區(qū)分觸摸、筆和鼠標輸入。通過將交互對象和筆與光學圖案和諸如手指和手的其它對象組合，圖像識別和模式匹配可以用于在這些輸入模式之間進行區(qū)分，并且提供從不同的交互對象到計算機的雙模式信息作為同時對于計算機的多點觸摸、多筆和鼠標信息。幾個新的交互平臺也允許簡單的筆或手指手勢控制，和/或甚至基于手勢的交互。
[0076]本發(fā)明可以用在教室、演講廳、會議室、視頻會議室和協(xié)作室中的交互式平板和白板中。本發(fā)明可以與短焦或長焦數(shù)據(jù)投影儀，或與平的屏幕例如液晶顯示器、等離子顯示器、OLED (有機發(fā)光二極管)顯示器或背投影系統(tǒng)一起使用，而不降低圖片質量或磨損設備。基于本發(fā)明的技術可以很容易地被應用于具有較低的成本和精力不同的屏幕、投影儀和顯示器單元。
[0077]本發(fā)明對通常安置在墻壁上的短焦投影儀是理想的，這是因為它可以集成到墻上投影儀中或附接在墻上投影儀的旁邊，或附接至投影儀墻壁安置件，使得安裝簡單而魯棒。
[0078]本發(fā)明還可以用于報告廳中，在報告廳處需要很長的交互式白板和交互空間以提供觸摸、筆和手勢控制并且還可以與指點棒和激光指針交互，以及也可以容忍和適應不同的顯示格式。
[0079]本發(fā)明還可以與平的屏幕技術一起用于使它們交互式的，包括姿勢和手勢控制。由于本發(fā)明基于使用CMOS圖像傳感器和信號處理，因此該系統(tǒng)可以表現(xiàn)出高的坐標更新速率，并且提供低的等待時間從而給出最佳的用戶體驗。
[0080]根據(jù)本發(fā)明的交互系統(tǒng)可以很容易地可適應與融入現(xiàn)有的基礎設施中，以例如升級現(xiàn)有已安裝的基于筆的交互式白板模式以也允許手指觸摸和手勢控制，或通過輸入設備本身的簡單安裝將已經(jīng)配備有已安裝的投影儀或平的屏幕的會議或教育室升級為變成交互式的。
[0081]根據(jù)本發(fā)明的交互系統(tǒng)也可以用于協(xié)作室和控制室、博物館和展覽中的多用戶交互式水平和垂直表面，用于餐館內(nèi)的交互式客戶桌子中和室內(nèi)和室外公共和商業(yè)區(qū)域中的數(shù)字標牌內(nèi)。
[0082]本發(fā)明還可以將高級用戶多點觸摸交互提供到教育和商業(yè)標記中。本發(fā)明將適合中小型顯示器，以及大而寬的學校和報告廳白板。
[0083]本發(fā)明在教育、交互式標牌、以及博物館和展覽會中也可以與或不與顯示器一起被使用。
【專利附圖】

【附圖說明】
[0084]在本文中參照附圖，僅借助于示例對本發(fā)明進行描述。在附圖中:
[0085]圖1是根據(jù)本發(fā)明的優(yōu)選實施方式的示例性配置的圖示，其中離軸的基本上為拋物型的元件的面鏡裝置圍繞短焦投影儀安置件以半圓方式被組織；
[0086]圖2是圖1中所提供的配置在側視圖中的表示；
[0087]圖1B是根據(jù)本發(fā)明的優(yōu)選實施方式的示例性配置的圖示，其中離軸的基本上為拋物型的元件的面鏡裝置以半圓形狀在平的屏幕上被組織；
[0088]圖2B是如圖1B中所提供的配置在側視圖中的圖示；
[0089]圖3是根據(jù)本發(fā)明的優(yōu)選實施方式的示例性配置的圖示，其中離軸的基本上為拋物型的元件的面鏡裝置剛好在投影儀顯示區(qū)域上方沿著直模被組織；
[0090]圖4是如圖3中所提供的配置在側視圖中的表示；
[0091]圖3B是根據(jù)本發(fā)明的優(yōu)選實施方式的示例性配置的圖示，其中離軸的基本上為拋物型的元件的面鏡裝置剛好在平面顯示區(qū)域上方沿著直模被組織；
[0092]圖4B是如圖3B中所提供的配置在側視圖中的表示；
[0093]圖5是根據(jù)本發(fā)明的優(yōu)選實施方式的示例性配置的圖示，其中離軸的基本上為拋物型的元件的面鏡裝置被組織以避免障礙例如短焦投影儀底盤或安置件，以將面鏡元件布置在從布置在顯示區(qū)域之外的相機出發(fā)的直接視線的區(qū)域中；
[0094]圖6是如圖5中所提供的配置在側視圖中的表示；
[0095]圖7是根據(jù)本發(fā)明的優(yōu)選實施方式的示例性配置的圖示，其中離軸的基本上為拋物型的元件的面鏡裝置以半圓形狀在靠近投影儀和相機安置件的桌子上被組織；
[0096]圖8是如圖7中所提供的配置在側視圖中的表示；
[0097]圖7B是根據(jù)本發(fā)明的優(yōu)選實施方式的示例性配置的圖示，其中離軸的基本上為拋物型的元件的面鏡裝置在靠近相機安置件和平的屏幕的桌子上被組織；
[0098]圖8B是如圖7B中所提供的配置在側視圖中的表示；
[0099]圖9是根據(jù)本發(fā)明的優(yōu)選實施方式的示例性配置的圖示，其中離軸的基本上為拋物型的元件的面鏡裝置剛好在背投影系統(tǒng)的投影儀顯示區(qū)域上方沿著直模被組織；
[0100]圖10是如圖9中所提供的配置在側視圖中的表示；
[0101]圖9B是根據(jù)本發(fā)明的優(yōu)選實施方式的示例性配置的圖示，其中離軸的基本上為拋物型的元件的面鏡裝置剛好在透明屏幕(例如，OLED)的顯示區(qū)域上方沿著直模被組織；
[0102]圖1OB是如圖9B中所提供的配置在側視圖中的表示；
[0103]圖11是根據(jù)本發(fā)明的優(yōu)選實施方式的示例性配置的圖示，其中離軸的基本上為拋物型的元件的面鏡裝置剛好在被安置在桌子中的背投影系統(tǒng)的投影儀顯示區(qū)域的頂側上方沿著直模被組織；
[0104]圖12是如圖11中所提供的配置在側視圖中的表示；
[0105]圖1lB是根據(jù)本發(fā)明的優(yōu)選實施方式的示例性配置的圖示，其中離軸的基本上為拋物型的元件的面鏡裝置剛好在被安置在桌子中的透明屏幕(例如，OLED)的顯示區(qū)域上方沿著直模被組織；
[0106]圖12B是如圖1lB中所提供的配置在側視圖中的表示；
[0107]圖13是根據(jù)本發(fā)明的優(yōu)選實施方式的示例性配置的圖示，其中離軸的基本上為拋物型的元件的面鏡裝置沿著圓形狀，例如，在被安置在桌子中的背投影系統(tǒng)的投影儀顯示區(qū)域的頂側上被組織，或者以從相機出發(fā)的直接視線的區(qū)域中的元件來組織以避免顯示區(qū)域之外的障礙；
[0108]圖14是如圖13中所提供的配置在側視圖中的表示；
[0109]圖13B是根據(jù)本發(fā)明的優(yōu)選實施方式的示例性配置的圖示，其中離軸的基本上為拋物型的元件的面鏡裝置沿著圓形狀，例如，在被安置在桌子中的透明屏幕(例如，0LED)的頂側上被組織，或者以從相機出發(fā)的直接視線的區(qū)域中的元件來組織以避免顯示區(qū)域之外的障礙；
[0110]圖14B是如圖13B中所提供的配置在側視圖中的表示；
[0111]圖15是根據(jù)本發(fā)明的優(yōu)選實施方式的示例性配置的圖示，其中離軸的基本上為拋物型的元件的面鏡裝置沿著圓形狀，例如，在壁掛式背投影系統(tǒng)的投影儀顯示區(qū)域的頂側上被組織，或者以從相機出發(fā)的直接視線的區(qū)域中的元件來組織以避免顯示區(qū)域之外的障礙；
[0112]圖16是如圖15中所提供的配置在側視圖中的表示；
[0113]圖15B是根據(jù)本發(fā)明的優(yōu)選實施方式的示例性配置的圖示，其中離軸的基本上為拋物型的元件的面鏡裝置沿著圓形狀，例如，在被安置在墻上的透明屏幕(例如，0LED)的頂側上被組織，或者以從相機出發(fā)的直接視線的區(qū)域中的元件來組織以避免顯示區(qū)域之外的障礙；
[0114]圖16B是如圖15B中所提供的配置在側視圖中的表示；
[0115]圖17是根據(jù)本發(fā)明的優(yōu)選實施方式的示例性配置的圖示，其中離軸的基本上為拋物型的元件的面鏡裝置剛好在被安置在手持裝置中的透明屏幕(例如，0LED)的顯示區(qū)域上方沿著直模被組織；
[0116]圖18是關于根據(jù)本發(fā)明的優(yōu)選實施方式的一些示例性配置的典型相機圖像的圖示，其中離軸的基本上為拋物型的元件的面鏡裝置以各種不同的方式被組織；
[0117]圖19A是拋物線和離軸段的說明；
[0118]圖19B至圖19F是離軸的凹的基本上為拋物型的元件的示例性配置的圖示，以及一些制造限制的圖示；
[0119]圖20是根據(jù)本發(fā)明的優(yōu)選實施方式的面鏡元件的示例性配置的圖示；
[0120]圖21A是示出便于找到手指到表面的距離，找到手指在體積內(nèi)的三維坐標，以及手指的觸摸和盤旋狀態(tài)的示例性方法的流程圖；
[0121]圖21B是示出用于尋找對象的加速方法的流程圖；
[0122]圖22是根據(jù)本發(fā)明的優(yōu)選實施方式的便于相機到顯示屏幕的校準的示例性方法的圖示；
[0123]圖23是具有跟蹤圖案的筆、具有定位控制圖案的面鏡以及具有定位控制圖案的坐標平面的示例性配置的圖示；[0124]圖24是通過使用沿著坐標平面一個或多個邊緣的較小的模子或列表提供用于成像和用于測量的受控背景的示例性配置的圖示；
[0125]圖25是在坐標平面處的離軸的基本上為拋物型的元件的面鏡裝置與也在坐標平面之外的額外的彎曲的或平的面鏡元件結合用于提供通過使用相機所觀察到的空間信息的示例性配置的圖示；
[0126]圖26是用于觀察對象相對于坐標平面的高度的在坐標平面處的離軸的基本上為拋物型的元件的面鏡裝置與用于照明的單獨的設備結合的示例性配置的圖示；
[0127]圖27是包括顯示器、協(xié)同工作計算機和根據(jù)本發(fā)明的設備的系統(tǒng)的示意性說明；
[0128]圖28是根據(jù)本發(fā)明的優(yōu)選實施方式的示例性配置的圖示，其中直接視圖和面鏡視圖被具有光學元件的兩個協(xié)同工作的單獨的圖像傳感器捕捉以為了低的制造成本、小型化和簡單的設置來優(yōu)化每個視圖；以及
[0129]圖29是由通過相機和位于交互體積中的對象P可以觀察到的離軸的基本上為拋物型的面鏡元件Ml和M2構成的兩個部分的面鏡裝置的示例性配置的示意性圖示。
【具體實施方式】
[0130]本發(fā)明涉及關于用于人機交互的基于相機的計算機輸入裝置的設備、系統(tǒng)和方法。此外，本發(fā)明還涉及用于實現(xiàn)這樣的系統(tǒng)和執(zhí)行這樣的方法的設備。
[0131]在對本發(fā)明的至少一種實施方式進行詳細說明之前，應當理解的是，本發(fā)明不將其應用限于在下面的描述中所闡述的或在圖中所示出的部件的構造和布置的細節(jié)。本發(fā)明能夠通過其他實施方式被實現(xiàn)或以各種方式被實踐或執(zhí)行。此外，應當理解的是，本文中所使用的詞組和術語僅是為了描述的目的而不應當被認為是限制性的。
[0132]參照附圖和他們的伴隨描述可以更好地理解根據(jù)本發(fā)明的交互輸入裝置設備、系統(tǒng)和方法的原理和操作。
[0133]首先，將對交互裝置和交互系統(tǒng)的原理進行描述。之后，將對一些優(yōu)選實施方式的詳細描述連同這些優(yōu)選實施方式的詳細的系統(tǒng)操作原理一起進行描述。
[0134]通過參照圖1和圖2所示出的示例性配置對交互設備和交互系統(tǒng)的原理進行說明，其中如從透視圖和側視圖中所看到的，圖1和圖2示意性地描繪了本發(fā)明的優(yōu)選實施方式的硬件配置。該實施方式的硬件部件為連同相機5 —起布置的短焦數(shù)據(jù)投影儀3和墻壁安置件4上的照明體6。
[0135]墻壁安置件4的外觀和實際的實現(xiàn)可以顯著不同，但墻壁安置件4的主要目的是以到屏幕和到墻壁11上的安置件的適當?shù)木嚯x來布置短焦投影儀3、相機5和照明體6中的一個或多個，安置件優(yōu)選地在顯示圖片12上方。顯示圖片12還表示坐標平面12并且優(yōu)選地被投影到適合于投影、筆操作和觸摸的平滑且白色的表面，然而在使用平面顯示器的情況下，交互表面12為顯示器本身，可選地使用用于保護的通常是玻璃或塑料材料中的特殊的透明材料來保護交互表面12，使得交互表面12對于筆和觸摸操作來說具魯棒性。投影儀3具有視場9并且可操作用以對由交互體積I內(nèi)的實線矩形所表示的顯示圖片12進行投影。
[0136]例如為用戶的手指和/或手的對象2可以與由坐標平面之上的特定高度所限定的交互體積I內(nèi)的計算機或類似物交互。在交互體積I之外包括至少一個離軸的基本上為拋物型的元件的面鏡裝置7，其軸與坐標平面平行并且其拋物型焦點在相機的入射光瞳處，以提供沿著其軸的、對體積的高度維度的恒定放大。
[0137]相機5具有包括交互體積I和面鏡裝置7的視場8，使得可以計算對象的坐標和對象的盤旋高度，和/或可以基于由計算單元所處理的單個圖像得到對象的盤旋情況和/或觸摸情況和/或姿勢特征，和/或還可以基于由計算單元所處理的一系列圖像來進一步計算對象的運動和/或對象的手勢，其中計算單元通常但并不必須嵌入在相機5中。相機5可以具有光學濾波器以選擇性地阻擋不同波長范圍的光，例如以降低日光和來自顯示器的光的影響。相機5還可以配備有雙焦距透鏡，以其周圍環(huán)境為代價來放大面鏡裝置7，從而在相機5傳感器像素陣列中增加面鏡裝置7的成像的分辨率。
[0138]計算單元具有通信器件例如微控制器用于通過例如使用一些串行總線標準和電路(諸如USB)或通過使用無線通信協(xié)議和裝置來將坐標和其他交互數(shù)據(jù)傳遞至計算機。
[0139]照明體6可以是定向的以及可切換的，從而直接地或通過面鏡裝置7對對象2進行照明，使得可以分別關于橫向定位和盤旋高度確定選擇最合適的照明。對于對象的橫向定位，通過面鏡裝置7的照明將是優(yōu)選的，這是因為當進入交互體積I時，平行于平面的、將從側面對對象進行照明的光線的主要恒定高度場的形成，從而當直接從相機5觀察時還提供對象2的一些輪廓。相反，對于盤旋高度的確定，直接照明將(比通過面鏡裝置7的照明)更有吸引力，從而將照明體6和相機5的光路徑分開以將信噪比最大化，并且當通過面鏡裝置7觀察時還進一步提供對象2的一些輪廓。在一些示例性配置中，可以通過與適于被優(yōu)化用于觀察的面鏡裝置7分離的實質上相似的面鏡裝置來完成側面照明，以獲得關于側面照明和側面觀察的組合的最優(yōu)信噪比。
[0140]在根據(jù)本發(fā)明的所有的示例性配置和優(yōu)選的實施方式中，還可以包括至少一個外屏蔽或底盤，在此為了圖的清晰被省略，但外屏蔽或底盤可以包圍以下硬件部件中的一個或多個:投影儀3、相機5 (包括計算單元和通信器件)，照明體6、墻壁安置件4、面鏡裝置7以及顯示和坐標平面12。外屏蔽或底盤的目的是，例如，使得交互系統(tǒng)具魯棒性、免費維修、防塵、用戶友好、更安全、易于制造、安裝更簡單，并且根據(jù)一些給定的設計的原理和元件使系統(tǒng)呈現(xiàn)有專業(yè)的外觀。
[0141]還參照圖1和圖2，在該示例性配置中，離軸的基本上為拋物型的元件的面鏡裝置7以主要的半圓曲率布置在坐標平面和顯示12之上，優(yōu)選地被安置在墻壁11上、投影儀安置件4上、或將坐標平面和顯示12延伸的表面上。在該優(yōu)選的實施方式中，面鏡裝置7可以是墻壁安置件的組成部分或完整的交互式白板的組成部分。面鏡裝置7還可以被包括在改裝套件中用于將現(xiàn)有的白板或短焦投影儀安裝升級為觸摸敏感的。
[0142]參照圖1B和圖2B，除了由用于顯示器12的平的屏幕(IXD、等離子、0LED、背投影等)替代投影儀3和投影儀顯示表面12之外，在此示出的配置與上面關于圖1和圖2所描述的配置相似。
[0143]進一步參照圖1B和圖2B，沒有任何顯示器12的獨立配置可以用于精確地捕捉例如來自在傳統(tǒng)的黑板上的粉筆和海綿和手指觸摸的敲擊，同時將所捕捉的結果存儲在計算機中，由其正常的計算機屏幕或用于參照用戶或/和聽眾的連接的顯示器或投影儀來顯示輸入或輸入的一些解釋。
[0144]參照圖3和圖4，面鏡裝置7包括沿著顯示和坐標平面12的一個邊緣(優(yōu)選地上部邊緣)之外的直線布置的離軸的基本上為拋物型的元件。除了關于面鏡裝置7的物理外觀的不同之外，對于圖1和圖2所描述的相同的屬性和功能也適用。
[0145]參照圖3B和圖4B，除了由用于顯示器12的平的屏幕(IXD、等離子、0LED、背投影等)替代投影儀3和投影儀顯示表面12之外，該配置與上面關于圖3和圖4所描述的配置相似。
[0146]參照圖5和圖6，面鏡裝置7包括被布置在從相機5出發(fā)的直接視線的區(qū)域中的離軸的基本上為拋物型的元件以避免由例如投影儀3底座或墻壁安置件4造成的障礙，同時在顯示和坐標平面12之外。除了關于面鏡裝置7的物理外觀的不同之外，對于圖1和圖2所描述的相同的屬性和功能也適用。在一些實施方式中，由用于顯示器12的平的屏幕(IXD、等離子、0LED、背投影等)替代投影儀3和投影儀顯示器表面12。
[0147]參照圖7和圖8，除了系統(tǒng)沒有為墻壁上用于垂直使用而安置而是被安置在桌子表面上用于水平使用之外，對于圖1和圖2所描述的相同的屬性和功能也適用。
[0148]參照圖7B和圖SB，除了由用于顯示器12的平的屏幕(IXD、等離子、0LED、背投影等)替代投影儀3和投影儀顯示表面12之外，該配置與上面關于圖7和圖8所描述的配置相似。
[0149]參照圖9和圖10，除了該系統(tǒng)現(xiàn)在適用于半透明的背投影屏幕12之外，對于圖3和圖4所描述的相同的屬性和功能也適用，使得相機5、照明體6、投影儀3和墻壁安置件4在墻壁11的后面，而沿著直模的離軸的基本上為拋物型的元件的面鏡裝置7被安置在墻壁上的投影屏幕12之上來觀察顯示和坐標平面12之上的特定的給定高度處的交互體積I。
[0150]參照圖9B和圖10B，除了由用于顯示器12的半透明的平的屏幕(0LED等)替代投影儀3和投影儀顯示表面12之外，該配置與上面關于圖9和圖10所描述的配置相似。
[0151]參照圖11和圖12，除了系統(tǒng)沒有為墻壁上用于垂直使用而安置而是被安置在桌子表面上用于水平使用之外，對于圖9和圖10所描述的相同的屬性和功能也適用。
[0152]參照圖1lB和圖12B，除了由用于顯示器12的半透明的平的屏幕(0LED等)替代投影儀3和投影儀顯示器表面12之外，該配置與上面關于圖11和圖12所描述的配置相似。
[0153]參照圖13和圖14，除了沿著圓形狀，例如，在被安置在桌子中的背投影系統(tǒng)的投影儀顯示區(qū)域的頂部側之上、或者以從相機出發(fā)的直接視線的區(qū)域中的元件來組織離軸的基本上為拋物型的元件的面鏡裝置7以避免顯示區(qū)域之外的障礙之外，對于圖11和圖12所描述的相同的屬性和功能也適用。
[0154]參照圖13B和圖14B，除了由用于顯示器12的半透明的平的屏幕(0LED等)替代投影儀3和投影儀顯示器表面12之外，該配置與上面關于圖13和圖14所描述的配置相似。
[0155]參照圖15和圖16，除了沿著圓形狀，例如，在投影儀顯示區(qū)域12的頂部側之上、或者以從相機5出發(fā)的直接視線的區(qū)域中的元件來組織離軸的基本上為拋物型的元件的面鏡裝置7以避免在顯示區(qū)域12之外的障礙之外，對于圖9和圖10所描述的相同的屬性和功能也適用。
[0156]參照圖15B和圖16B，除了由用于顯示器12的半透明的平的屏幕(0LED等)替代投影儀3和投影儀顯示器表面12之外，該配置與上面關于圖15和圖16所描述的配置相似。
[0157]參照圖17，除了交互式系統(tǒng)適于被安置在手持裝置中之外，對于圖9B、圖10B、圖1lB和圖12B所描述的相同的屬性和功能也適用。[0158]參照圖18，示出了根據(jù)本發(fā)明的優(yōu)選實施方式的一些示例性配置的典型圖像，其中離軸的基本上為拋物型的元件的面鏡裝置7沿著以下被組織:(a)如圖1、圖2、圖1B、圖2B、圖7、圖8、圖7B、圖8B中那樣沿著圓形狀；(b)如圖3、圖4、圖3B、圖4B中那樣沿著與坐標平面12的邊緣平行的直模；(c)如圖5和圖6中那樣沿著從相機5出發(fā)的直接視線的區(qū)域中的元件以避免障礙；(d)沿著與坐標平面12的邊緣平行的兩個、三個或四個直模，這可以提供對象2的多個視圖；(e)沿著與由幾個相機5的視點覆蓋的很寬的坐標平面12的上部邊緣平行的直長模；(f)沿著從相機5出發(fā)的直接視線的區(qū)域中的一個或多個元件以避免障礙并且一個或多個元件可以提供對象2的多個視圖。該配置也可以可應用于交互式標志以及展覽和博物館中的交互式海報，其中可以在具有例如用戶可以與之交互的具有信息內(nèi)容的三維結構的區(qū)域之間建立幾個交互式區(qū)域或島。
[0159]參照圖19，示出了由等式F = 描述的具有焦點￡的拋物線和離軸的基本上為拋
,2P-2
物型的元件(在遮蔽區(qū)域上方并且在虛線橢圓內(nèi)部)的示例。
[0160]現(xiàn)將為具有位于離顯示器12距離X = 510mm的入射光瞳、R = 150mm的外半徑、H=50mm的高度(表示具有高度50mm的交互體積I可以通過面鏡裝置7被觀察到)的相機5的拋物型元件的半圓形面鏡裝置7提供示例數(shù)值。焦點是
[0161]
【權利要求】
1.一種用于確定至少一個對象(2)的位置或姿勢或者位置和姿勢兩者的設備，其中，所述對象(2)整體地或部分地位于由交互表面(12)、并且由所述交互表面(12)之上的高度維度上的特定高度范圍所界定的交互體積(I)內(nèi)，所述設備包括: -相機(5)； -包括一個或多個面鏡部分的面鏡裝置(7)； -計算單元，所述計算單元用于基于尤其來自所述相機(5)的信息來計算至少一個對象(2)的位置或姿勢或者位置和姿勢兩者； 其中，所述相機(5 )被布置成將所述體積(I)和所述面鏡裝置(7 )兩者包括在所述相機(5)的視場內(nèi)； -所述面鏡裝置(7)，其中所述一個或多個面鏡部分包括在所述交互表面(12)的平面處的至少一個離軸的凹的基本上為拋物型的光學面鏡元件，并且其中每個離軸的基本上為拋物型的光學面鏡元件被布置成使其焦點在所述相機的入射光瞳處并且使其軸平行于所述表面(12)，使得以對于每個基本上為拋物型的光學面鏡元件而言沿著其軸的、對所述高度維度的恒定放大來產(chǎn)生所述體積(I)的視圖； 使得所述對象(2)的位置和/或姿勢由所述計算單元基于來自所述相機(5)的單個圖片的信息來確定。
2.根據(jù)權利要求1所述的設備，包括僅一個相機(5)。
3.根據(jù)權利要求1或2 所述的設備，其中，至少一個第二對象在所述相機(5)的視場內(nèi)但不一定在所述體積(I)內(nèi)，其中所述至少一個第二對象的姿勢被確定，使得所述第二對象的姿勢能夠提供額外信息。
4.根據(jù)上述權利要求中的任一項所述的設備，其中，所述離軸的凹的基本上為拋物型的光學面鏡元件包括提供離軸的凹的基本上為拋物型的面鏡功能的類菲涅耳面鏡元件。
5.根據(jù)上述權利要求1至3中的任一項所述的設備，其中，所述離軸的凹的基本上為拋物型的光學面鏡元件包括被相組合地布置用于提供所述離軸的基本上為拋物型的面鏡功能的面鏡兀件和透鏡兀件。
6.根據(jù)權利要求5所述的設備，其中，所述面鏡元件是線性的。
7.根據(jù)權利要求5或6所述的設備，其中，所述透鏡元件是菲涅耳透鏡。
8.根據(jù)前述權利要求中的任一項所述的設備，其中，所述面鏡元件包括反射表面，其中反射由金屬化塑料材料膜、金屬化塑料材料注射模塑部件來提供、通過全內(nèi)反射來提供、或者通過與金屬化相結合的全內(nèi)反射來提供。
9.根據(jù)前述權利要求中的任一項所述的設備，其中，所述面鏡元件包括由塑料材料和/或特殊涂層構成的層，其選擇性地阻止或通過給定波長范圍內(nèi)的光，從而允許例如所述面鏡元件以可見光的反射被減少的方式在近紅外光下發(fā)揮功能。
10.根據(jù)前述權利要求中的任一項所述的設備，其中，至少一個面鏡部分適于被布置在所述交互表面(12)的周界的外部。
11.根據(jù)前述權利要求中的任一項所述的設備，其中，至少一個面鏡元件以沿著所述交互表面(12)的邊緣的外部的直模來布置。
12.根據(jù)權利要求1至9中的任一項所述的設備，其中，所述至少一個面鏡元件以適于被布置在墻壁或桌子安置件處的半圓形狀分布。
13.根據(jù)前述權利要求中的任一項所述的設備，其中，所述面鏡裝置(7)包括多個面鏡部分，并且所述面鏡部分被布置用于提供所述對象(2)的多個視圖。
14.根據(jù)權利要求13所述的設備，其中，所述面鏡元件以馬賽克結構布置以便減小遮蔽以及增強面鏡到像素映射特性。
15.根據(jù)前述權利要求中的任一項所述的設備，包括多個相機，其中，所述相機被布置成提供所述至少一個對象(2)的多個視圖，并且在從所述相機出發(fā)的直接視線的區(qū)域中以避免遮蔽。
16.根據(jù)前述權利要求中的任一項所述的設備，其中，至少一個相機(5)被布置有用于放大所述面鏡裝置(7)的至少多個部分的視圖的雙焦透鏡。
17.根據(jù)前述權利要求中的任一項所述的設備，其中，至少一個相機包括至少一個光學濾波器，所述至少一個光學濾波器用于阻擋或通過所選波長處的光，使得不希望的光被阻止而允許照明的波長范圍內(nèi)的光通過。
18.根據(jù)前述權利要求中的任一項所述的設備，其中，至少一個相機包括至少一個可選擇的光學濾波器，所述至少一個可選擇的光學濾波器用于選擇性地阻擋或通過不同波長范圍的光，使得例如與照明或可見光具有相同波長的光被阻擋或通過。
19.根據(jù)前述權利要求中的任一項所述的設備，包括照明裝置(6)，所述照明裝置(6)被布置成利用可見光和/或近紅外光、直接地和/或通過所述面鏡裝置(7)間接地提供所述交互體積(I)的至少多個部分的照明。
20.根據(jù)權利要求19所述的設備，其中，所述照明裝置(6)被控制為接通和關斷照明和/或在所述相機(5)的主動曝光時段內(nèi)提供閃光以凍結所述一個或多個對象(2)的運動。
21.根據(jù)權利要求19或20所述的設備，其中，所述照明裝置(6)被布置在所述相機(5)的入射光瞳附近，即，靠近所述離軸的基本上為拋物型的元件的焦點，并且通過所述面鏡裝置(7)間接地照明，使得照明以光線基本上平行于所述交互表面(12)的方式在所述交互體積(I)中擴展。
22.根據(jù)權利要求19至21中的任一項所述的設備，進一步包括單獨的第二面鏡裝置，所述單獨的第二面鏡裝置被布置成有助于對所述交互體積(I)進行照明，使得用于觀察的所述面鏡裝置(7)更少地暴露于照明，由此增大使用所述設備執(zhí)行的測量的信噪比。
23.根據(jù)權利要求19至21中的任一項所述的設備，進一步包括單獨的第二照明裝置(17)，所述單獨的第二照明裝置(17)被布置成有助于對所述交互體積(I)進行照明，由此增大使用所述設備執(zhí)行的測量的信噪比。
24.根據(jù)權利要求19至23中的任一項所述的設備，其中，所述照明裝置(6)可操作用以提供直接照明和通過面鏡布置(7)提供間接照明，并且其中，所述直接照明和間接照明被分別控制以改善對所述一個或多個對象(2)的檢測。
25.根據(jù)權利要求19至24中的任一項所述的設備，其中，所述照明系統(tǒng)(6)可操作用以例如通過投射彩色的和/或閃光的照明作為計算機對用戶的交互反饋來改變所述對象(2)的外觀。
26.根據(jù)前述權利要求中的任一項所述的設備，進一步包括額外的彎曲的或平的面鏡元件(16)，所述額外的彎曲的或平的面鏡元件(16)適于當被從所述相機(5)觀察時提供空間信息。
27.根據(jù)前述權利要求中的任一項所述的設備，包括兩個面鏡部分，所述兩個面鏡部分被布置在允許通過三角測量得到對象的位置或姿勢或者位置和姿勢兩者的距離處，使得在所述對象的直接相機視圖中存在阻塞的情況下也確定所述位置或姿勢或者所述位置和姿勢兩者。
28.根據(jù)前述權利要求中的任一項所述的設備，其中，通過利用一個或多個單獨的傳感器、針對直接視圖和通過所述離軸的基本上為拋物型的面鏡元件的視圖而分離透鏡光學器件。
29.一種用于提供呈現(xiàn)表面附近的對象的交互式使用的交互系統(tǒng)，其中，所述交互系統(tǒng)包括根據(jù)前述權利要求中的任一項所述的用于確定位置和/或姿勢的設備，其中，所述交互系統(tǒng)進一步包括被布置成在所述呈現(xiàn)表面處呈現(xiàn)圖像的呈現(xiàn)裝置。
30.根據(jù)權利要求29所述的交互系統(tǒng)，包括正投影屏幕(12)，其中，所述相機(5)、所述照明體(6)、所述投影儀(3)被布置在所述屏幕(12)的與所述交互體積(I)相同的一側。
31.根據(jù)權利要求29所述的交互系統(tǒng)，包括半透明的背投影屏幕(12)，其中，所述相機(5)、所述照明體(6)、所述投影儀(3)被布置在所述屏幕(12)的與所述交互體積(I)相對的一側。
32.根據(jù)權利要求29所述的交互系統(tǒng)，包括半透明的平的屏幕(12)，例如OLED，其中，所述相機(5)、所述照明體(6)被布置在所述屏幕(12)的與所述交互體積(I)相對的一側。
33.根據(jù)權利要求29至32中的任一項所述的交互系統(tǒng)，其中，所述交互表面(12)被布置在墻壁、桌子或手持裝置處。
34.根據(jù)權利要求29 至30中的任一項所述的交互系統(tǒng)，其中，所述交互系統(tǒng)包括用于所述投影儀(3)的附接裝置(4)，并且其中，至少一個面鏡裝置(7)被布置成與所述附接裝置(4)相連接，使得便利于對所述系統(tǒng)的不同部件的近似最佳定位。
35.一種確定至少一個對象(2)的位置或姿勢或者位置和姿勢兩者的方法，其中，所述對象(2)整體地或部分地位于由交互表面(12)、并且由所述交互表面(12)之上的高度維度上的特定高度范圍所界定的交互體積(I)內(nèi)，所述方法包括以下步驟: -使用包括在所述交互表面(12)的平面處的至少一個離軸的凹的基本上為拋物型的光學面鏡元件的面鏡裝置(7)來反射來自所述交互體積內(nèi)附近的體積內(nèi)的對象的輻射，并且其中每個離軸的基本上為拋物型的光學面鏡元件被布置成使其焦點在所述相機的入射光瞳處并且使其軸平行于所述表面(12)，使得以對于每個基本上為拋物型的光學面鏡元件而言沿著其軸的、對所述高度維度的恒定放大來產(chǎn)生所述體積(I)的視圖； -由相機(5 )記錄被反射的輻射，所述相機(5 )被布置成將所述體積(I)和所述面鏡裝置(7)兩者包括在所述相機(5)的視場內(nèi)； -從所述相機向計算裝置傳遞信息；以及 -基于尤其來自所述相機(5)的信息來計算所述至少一個對象(2)的位置或姿勢或者位置和姿勢兩者。
36.一種在交互表面之上的高度維度上進行校準和控制以得到精確的觸摸和盤旋信息的方法，所述方法包括根據(jù)權利要求35所述的用于確定位置或姿勢或者位置和姿勢兩者的方法，所述方法進一步包括: -在所述交互表面上放置半透明的三維圖案測試對象；-以圓形區(qū)域一個接一個地高亮顯示所述交互表面； -由所述相機直接觀察以及通過所述面鏡裝置從側面觀察所述測試對象； -識別所述測試對象的所述圖案； -從坐標平面的坐標到交互表面坐標進行校準和映射，和/或對所述高度測量進行校準；以及 確定觸摸和盤旋的閾值。
37.一種用于得到對象到表面的距離、對象的三維坐標以及對象的觸摸和盤旋狀態(tài)的方法，其中所述對象可以是手指，所述方法包括根據(jù)權利要求35所述的用于確定位置或姿勢或者位置和姿勢兩者的方法，所述方法進一步包括: -執(zhí)行標準圖像采集和特征提取； -在正視圖中和在面鏡視點中，得到在所述相機的入射光瞳處所述手指的指尖所對著的立體角； -如果所述面鏡是拋物面或者是拋物型近似模型，則通過使用直接線性模型來得到所述手指到表面的距離； -基于所述立體角和到所述表面的距離來得到所述手指的三維坐標；以及 -通過將到表面的距離與閾值相比較來得到所述手指的盤旋/觸摸狀態(tài)。
38.一種加速用于跟蹤交互體積中的對象的計算和搜索的方法，所述方法包括根據(jù)權利要求35所述的用于確定位置或姿勢或者位置和姿勢兩者的方法，所述方法進一步包括: -執(zhí)行對圖像的標準圖像采集并且在包括所述面鏡裝置的子圖像內(nèi)執(zhí)行特征提??； -得到所述對象到表面的距離以及拋物型面鏡元件沿著所述交互體積(I)的有效觀察角； -得到表示所述對象(2)的所有可能的(X-Y)位置的所述三維交互體積(I)中的直線； -例如通過查找表得到相機像素陣列中的對應的二維軌跡； -利用邊緣檢測器以特定路徑寬度遍歷該軌跡，并且得到陣列(x-y)位置中的候選對象； -執(zhí)行詳細的邊緣檢測或模板匹配以得到精確的陣列位置； -當Z已知時，得到對應的X-Y位置；以及 -向計算機報告X、Y、Z以及觸摸和盤旋信息中的一個或多個。
【文檔編號】G06F3/042GK103477311SQ201180065580
【公開日】2013年12月25日 申請日期:2011年11月22日 優(yōu)先權日:2010年11月22日
【發(fā)明者】托爾莫德·恩喬爾斯塔德, 哈爾瓦茲·內(nèi)斯, 厄于斯泰因·達姆豪格 申請人:愛普生挪威研究和發(fā)展公司