對內容的基于計算機視覺的雙手控制的制作方法
【專利摘要】公開了一種用于通過使用特定的手姿勢基于計算機視覺來操作所顯示的內容的系統(tǒng)和方法。在一個實施方式中，啟用一種模式，其中在一般雙手操作（例如縮放和旋轉）中內容可以被操作。
【專利說明】對內容的基于計算機視覺的雙手控制
發(fā)明領域
[0001]本發(fā)明涉及電子設備的基于姿勢和手勢的控制的領域。具體地，本發(fā)明涉及基于計算機視覺的手姿勢和姿態(tài)識別。
[0002]發(fā)明背景
[0003]隨著計算機和其它電子設備在我們日常生活中變得較為普遍，對更方便、直觀和便于攜帶的輸入設備的需要增加了。指示設備是通常用于與計算機以及相關于電子顯示器的其他電子設備進行交互的一種類型的輸入設備。已知的指示設備和機器控制機構包括電子鼠標、軌跡球、指示棍和觸摸板、觸摸屏等。已知的指示設備用來控制在相關的電子顯示器上顯示的光標的位置和/或移動。指示設備也可以通過啟動指示設備上的開關來傳達命令,例如位置特定的命令。
[0004]在一些實例中，存在從一段距離控制電子設備的需要，在這種情況下用戶不能觸摸設備。這些實例的一些例子包括看TV、在PC上看視頻等。在這些情況中使用的一種解決方案是遠程控制設備。
[0005]最近，人打手勢例如手打手勢被建議為用戶界面輸入工具，其可甚至在離被控制的設備的一段距離處被使用。通常，手的姿勢或姿態(tài)可以被照相機檢測到，并且轉變成特定的命令。
[0006]通過基于計算機視覺的手打手勢，對所顯示的內容的操作例如縮小/放大也是可能的。通常，手的移動引起屏幕上的內容的移動、旋轉或縮小/放大。然而，為了停止操作并產生其它命令，用戶必須將他的手移出照相機視場并且隨后再次將它們帶到視場。因此，目前已知的操作方法沒有提供使用戶能夠自由操作所顯示的內容的完全的解決方案。
[0007]發(fā)明概述
[0008]本發(fā)明的實施方式提供了用于基于手的姿勢和姿態(tài)來容易控制設備的系統(tǒng)和方法，其使用戶能夠順利并直觀地在不同命令之間交替。
[0009]在一個實施方式中，系統(tǒng)和方法包括通過使用特定的手姿勢(“操作姿勢”)來操作所顯示的內容。在一個實施方式中，一種模式(操作模式)被啟用，在該模式中可通過使用操作姿勢在一般雙手操作(例如縮放和旋轉)中操作內容。
[0010]附圖的簡要說明
[0011]現(xiàn)在將參考下列例證性附圖關于某些實施例和實施方式描述本發(fā)明，以便本發(fā)明可以被更充分理解。在附圖中:
[0012]圖1示意性示出了根據本發(fā)明的實施方式可操作的系統(tǒng)；
[0013]圖2示意性示出根據本發(fā)明的一個實施方式的用于所顯示的內容的基于計算機視覺的雙手控制的方法；
[0014]圖3示意性示出根據本發(fā)明的一個實施方式的用于對光標進行基于計算機視覺的雙手控制的方法；
[0015]圖4A-D示意性示出了可基于手姿勢和姿態(tài)的計算機視覺識別來控制的設備的幾個實施方式；[0016]圖5A-B示意性示出根據本發(fā)明的兩個實施方式的設備和GUI ；
[0017]圖6示意性示出根據本發(fā)明的另一個實施方式的設備和GUI ；
[0018]圖7示意性示出根據本發(fā)明的實施方式的用于控制GUI上的圖形元素的方法；以及
[0019]圖8示意性示出根據本發(fā)明的實施方式的用于對設備進行基于計算機視覺的控制的方法。
[0020]本發(fā)明的詳細描述
[0021]根據本發(fā)明的實施方式，提供了一種用于用戶-設備交互的系統(tǒng)，其包括具有顯示器的設備以及與該設備和處理器進行通信的圖像傳感器。圖像傳感器獲取圖像數(shù)據，并且將它發(fā)送到處理器以執(zhí)行圖像分析來從圖像數(shù)據檢測和跟蹤用戶的手，并檢測用戶的手控制設備——通?？刂扑@示的內容——的姿勢。
[0022]根據本發(fā)明的實施方式，對特定的手姿勢或姿態(tài)的檢測或者兩只手(而不是單只手)的檢測使系統(tǒng)將手的姿態(tài)解釋為根據用戶的手移動來操作所顯示的內容(在一些實施方式中，根據用戶的手移動選擇所顯示的內容和跟蹤用戶的手來操作被選擇的內容)的命令。對視覺地顯示的內容的選擇或者GUI上的圖形元素的選擇使用戶能夠操作所顯示的內容或圖形元素，例如移動內容或者元素、拉伸圖像或者圖像的部分、放大或縮小屏幕或者屏幕的部分、旋轉所選擇的內容等。
[0023]現(xiàn)在參考圖1，其示意性示出了根據本發(fā)明的實施方式的系統(tǒng)100。系統(tǒng)100包括用于獲取視場(FOV) 104的圖像的圖像傳感器103。圖像傳感器103通常與處理器102和可選地與用于存儲圖像數(shù)據的存儲設備107相關。存儲設備107可以集成在圖像傳感器103內，或者可以在圖像傳感器103的外部。根據一些實施方式，圖像數(shù)據可以存儲在處理器102中，例如在高速緩存存儲器中。
[0024]視場(FOV) 104的圖像數(shù)據被發(fā)送到處理器102以用于分析。在視場104內的用戶的手105被檢測和跟蹤，并且手的姿勢或姿態(tài)可以由處理器102基于圖像分析來識別。根據一些實施方式，系統(tǒng)100可使用多于一個的處理器。
[0025]設備101與處理器102進行通信。設備101可以是具有電子顯示器106或連接到電子顯示器106的可選地具有圖形用戶界面(Gn)的任何電子設備，例如為TV、DVD播放器、PC、手機、照相機、STB (機頂盒)、流式播放器(streamer)等。根據一個實施方式,設備101是具有集成標準2D照相機的可用電子設備。根據其它的實施方式，照相機是設備的外部附件。根據一些實施方式，提供多于一個的2D照相機以能夠獲取3D信息。根據一些實施方式，系統(tǒng)包括3D照相機。
[0026]處理器102可以與圖像傳感器103成一整體，或者可以是單獨的單元?？蛇x地，處理器102可以集成在設備101內。根據其它的實施方式，第一處理器可以集成在圖像傳感器103內，并且第二處理器可以集成在設備101內。
[0027]圖像傳感器103與處理器102之間的通信和/或處理器102與設備101之間的通信可通過有線或無線鏈路，例如通過IR通信、無線傳輸、藍牙技術和其他適合的傳輸路線和協(xié)議。
[0028]根據一個實施方式，圖像傳感器103是前向式照相機。圖像傳感器103可以是標準的2D照相機，例如網絡攝像機(webcam)或通常安裝在PC或其它電子設備上的其它標準視頻捕捉設備。根據一些實施方式，圖像傳感器103可以是IR敏感的。
[0029]處理器102可應用圖像分析算法例如運動檢測和形狀識別算法來識別和進一步跟蹤用戶的手105。
[0030]根據一些實施方式，電子顯示器106可以是與設備101分離的單元。
[0031]系統(tǒng)100可根據方法來操作，這些方法的一些實施方式在下面被描述。
[0032]在圖2中示意性示出了根據一個實施方式的用于對所顯示的內容進行基于計算機視覺的雙手控制的方法。視場的圖像或者系列圖像被獲取(202)，以及例如通過處理器(例如，102)應用形狀識別算法在至少一個圖像內識別(204)兩只手。例如通過將檢測到的手的形狀與手姿勢模型庫進行比較來檢測至少一個手的姿勢。如果檢測到的姿勢與特定的預定姿勢(例如，操作姿勢)對應(206)，則根據預定的姿勢產生操作例如在顯示器106上所顯示的內容的命令(208)。
[0033]根據一個實施方式，在視場內的第二只手的存在啟用“操作模式”。因此，根據一個實施方式，預定的手姿勢(操作姿勢)僅僅當兩只手存在時才實現(xiàn)對所顯示的內容的特定操作。例如，當在用戶的一個手存在的情況下操作姿勢被執(zhí)行時，內容或圖形元素可跟隨單只手的移動而被拖動，但是響應于第二只手的出現(xiàn)來執(zhí)行操作姿勢可引起例如旋轉、縮放或以另外方式基于用戶的雙手移動操作內容的操作。
[0034]根據一些實施方式，與用戶的手的位置相關的圖標或符號可以被顯示，使得用戶可以通過移動他/她的手來將符號引導到顯示器上的期望位置，以操作在該位置顯示的內容。
[0035]根據一個實施方式，可以基于兩只檢測到的手的位置來操作所顯示的內容。根據一些實施方式，基于一只手與另一只手比較的相對位置來操作內容。對內容的操作可以包括例如移動所選擇的內容、縮放、旋轉、拉伸或這些操作的組合。例如，當執(zhí)行操作姿勢時，在兩只手存在的情況下，用戶可以將兩只手移動分開以拉伸或放大圖像。拉伸或縮放通常與手離彼此的距離成比例。
[0036]只要檢測到第一姿勢，就可以連續(xù)地操作內容。為了釋放對內容的操作，兩只手中的至少一只手的第二姿勢被檢測(210);并且基于檢測到的第二姿勢，操作命令被中止并且對所顯示的內容的操作被釋放(212)。因此，例如，一旦用戶將圖像拉伸到其期望的比例，用戶就可以將他/她的一只手或者兩只手的姿勢改變?yōu)榈诙A定的“釋放操作姿勢”，并且內容將不被進一步操作，即使用戶移動他/她的手。
[0037]根據一個實施方式，操作姿勢包括手的所有手指的指尖聚在一起使得指尖彼此觸摸或幾乎觸摸。根據一個實施方式，該操作姿勢用來選擇內容和/或操作被選擇的內容，例如拖內容。
[0038]可以使用已知的方法例如通過應用形狀和/或輪廓檢測算法來完成識別手和/或識別姿勢。根據一個實施方式，輪廓檢測器可以應用在視場的圖像上以找到被成像的對象(通常，用戶的手)的輪廓特征。可以比較對象的輪廓特征與手的輪廓模型以獲取比較級別的矢量，并且機器學習算法可以被應用來獲取數(shù)字權重的矢量，最終級別從該數(shù)字權重的矢量被計算出來。如果最終級別在預定的閾值之上，則對象被識別為手，并且如果最終級別在預定的閾值之下，則另外的圖像然后被處理。
[0039]根據一個實施方式，對象和手輪廓模型都可被表示為特征的集合，每一個特征是定向邊緣像素的集合。手的輪廓模型可以通過以下操作來創(chuàng)建:獲取模型手的特征，模型手是用于來產生手的模型的多個手的集合；隨機擾亂模型手的特征；排列特征并且使用機器學習技術從模型手的特征中選擇最不同的特征(例如，從1000個特征中選擇100個最不同的特征)，以產生手的輪廓模型。例如通過匹配對象和模型的邊緣圖(例如，定向削角匹配)，可以完成對象與輪廓模型的比較。這個匹配可以包括應用距離函數(shù)。例如，可以將來自感興趣區(qū)內的對象的輪廓上的點與位于中心的模型比較，以獲得這兩者之間的距離，并且通過對所有的測量距離取平均來計算平均距離。如果距離小于為該特征計算的閾值，則該特征的權被加到該匹配的總等級。如果總等級在某個閾值之上，則對象被識別為手。
[0040]根據一些實施方式，僅當系統(tǒng)在“操作模式”中時，姿勢才可以被識別為“操作姿勢”。特定的姿態(tài)、姿勢或其它信號可能需要被識別以發(fā)起操作模式。例如，只有當兩只手被檢測到時，姿勢才可被識別為“操作姿勢”，且內容可以基于這種姿勢來操作。
[0041]一些實施方式意欲提高兩只手屬于一個用戶的可能性。根據一個實施方式，兩只手必須被識別為左手和右手。根據另一實施方式，所檢測的兩只手必須有大約相同的尺寸。根據又一實施方式，方法可能包括檢測臉；并且如果臉位于左手和右手之間，則基于預定的姿勢的檢測來選擇所顯示的內容并操作所顯示的內容。
[0042]在一個實施方式中，通過檢測初始化姿態(tài)例如一只手相對于另一只手的預定運動例如將一只手移動得更靠近或者更遠離另一只手來發(fā)起“操作模式”。根據一些實施方式，初始化姿態(tài)包括兩只手的手指伸展開、手掌向前。在另一實施方式中，特定的應用可以是用于啟用“操作模式”的信號。例如，提出基于地圖服務的應用(或另一應用，其中所顯示的內容的操作可以被相當多地使用)可以使特定姿勢能夠產生操作所顯示的地圖的命令。
[0043]本發(fā)明的實施方式還提供了一種用于對光標或其它圖標、符號和所顯示的內容進行基于計算機視覺的雙手控制的方法。根據在圖3中示意性示出的一個實施方式，該方法包括獲取視場的圖像(302);在圖像內識別兩只手(304);確定兩只手對彼此的相對位置和確定兩只手之間的中點(306)，以及在所確定的中點處顯示(例如)光標(308)。根據一個實施方式，檢測到兩只手可以產生選擇光標的命令。一旦顯示并選擇了光標，一只手或者兩只手的移動就可以移動光標。一只手或者兩只手的特定姿勢可以控制對光標的特定操作。
[0044]根據一些實施方式，光標可以顯示在兩只手之間的不同的預定點一不一定是中點-處。
[0045]根據本發(fā)明的一個實施方式，提供了可以基于手的姿勢和姿態(tài)的計算機視覺識別來控制的設備。根據在圖4A中示意性示出的實施方式，提供了具有處理器402和顯示器406的設備，顯示器具有圖形用戶界面(⑶I)。
[0046]處理器402與圖像傳感器(例如圖像傳感器103)進行通信以獲取圖像，并且處理器402或另一處理單元可從圖像識別和跟蹤用戶的手415。
[0047]跟蹤用戶的手可以通過已知的跟蹤方法來完成。例如，跟蹤可包括選擇在兩個一般連續(xù)的圖像中的具有相似的移動和位置特性的像素群。手的形狀可以被檢測到(例如，如上所描述的)，并且感興趣的點(像素)可以從檢測到的手形狀區(qū)域內選擇，該選擇除了其它參數(shù)以外還基于方差(具有高方差的點通常是優(yōu)選的)。點的移動可以通過跟蹤從幀η到幀η+1的點來確定。點的反向光流可以被計算(每個點從巾貞η+1到巾貞η的理論位移),并且這個計算可以用來過濾掉不相關的點。具有相似的移動和位置參數(shù)的一組點被定義，并且這些點用于跟蹤。
[0048]根據一個實施方式，符號403顯示在顯示器406上，該符號與用戶的手相關。符號403可以是手或任何其他圖形元素的圖標。符號403通常根據所成像的用戶手的移動在顯示器406上移動。
[0049]通過應用形狀檢測算法或其他適合的算法，處理器402或其它處理單元可以檢測用戶的手的預定姿勢，并且基于預定姿勢的檢測，符號403在GUI上改變?yōu)榱硪环?03’。根據一個實施方式，預定姿勢類似于手的“抓”姿勢(手的所有手指的指尖聚在一起使得指尖彼此觸摸或幾乎觸摸)，并且符號403’是“抓符號”，例如，手的所有手指的指尖聚在一起使得指尖彼此觸摸或幾乎觸摸的圖標。
[0050]基于第二姿勢例如面向照相機的手掌的所有手指展開的檢測(通常，“釋放操作姿勢”)，符號403’可以改變回到符號403。
[0051]根據在圖4B中示意性示出的另一個實施方式，處理器402可以識別兩只手415和415’，并且⑶I可包括表不第一只手415的第一符號413和表不第二只手415’的第二符號413’。符號413和413’可以在顯示器406上與用戶的第一只手415和第二只手415’的相對位置成比例地被定位。符號413可以根據用戶的第一只手415的移動在顯示器406上移動，并且第二符號413’可以根據用戶的第二只手415’的移動在顯示器406上移動。用戶的第一只手415可以被處理器402識別為右手，并且用戶的第二只手415’可以被處理器402識別為左手，反之亦然。
[0052]左手和右手識別可以基于邊緣檢測和特征提取。例如，潛在的手區(qū)域被識別并且與左手和/或右手的手模型比較。
[0053]根據一個實施方式，在符號403或413或413’附近顯示的內容可以被選擇，并且基于符號403、413和/或413’的移動來操作。操作可以包括移動、縮放、旋轉、拉伸或對視覺內容的其他操作。
[0054]根據一個實施方式，手的移動或手的相對移動被歸一化到手的尺寸而不是直接歸一化到在圖像中移動的像素的數(shù)量。例如，兩個“手尺寸”的移動可以兩倍地拉伸對象。以這種方式，用戶可以將他的手移動分開或者靠近，移動的距離獨立于用戶的手離圖像傳感器或離顯示器的距離。
[0055]與基于手打手勢的更嚴格的操作相反，基于移動符號(例如符號413和413’)來操作內容可以實現(xiàn)基于在內容內的符號的位置的靈活操作。例如，如在圖4C中示意性示出的，在圖像被顯示的情況中，一旦“操作模式”被啟用(例如，通過兩只手445和446的存在)，用戶就可以執(zhí)行實現(xiàn)圖像的操作例如圖像的拉伸(放大)的姿勢。用戶的一個或者兩個手移動距離Dl和D2將根據用戶的手所移動的距離來成比例地拉伸圖像(在圖中，用實線畫出的對象被定位，在圖像的拉伸之后，對象用虛線畫出)。在圖4D中示意性示出的例子中，兩只手(465和475)每個有顯不在顯不器上的相關的符號(465，和475’)。符號465’和475’(其與手465和475的移動相關)的移動將導致符號附近的內容(例如三角形4005和圓4004)的移動，使得其在圖像4006的幀內的坐標保持相同，而圖像本身被拉伸(實線對象表示在手移動前的內容而虛線對象表示在手移動后的相同內容)。以這種方式，不一定成比例的拉伸或另一操作可以被執(zhí)行。
[0056]根據在圖5A和5B中示意性示出的一些實施方式，提供具有處理器502和顯示器506的設備，顯示器具有圖形用戶界面(⑶I)。
[0057]處理器502與圖像傳感器(例如圖像傳感器103)通信以獲取圖像，并且處理器502或另一處理單元可從圖像檢測和跟蹤用戶的手。
[0058]根據如在圖5A和5B中所示的一個實施方式，當處理器檢測到一只手515時，⑶I顯示第一圖形元素，而當處理器檢測到兩只手525和526時⑶I包括第二圖形元素，第一圖形元素不同于第二圖形元素。
[0059]根據一個實施方式，第一圖形元素是菜單530，而第二圖形元素是至少一個光標532 (或其它圖標或符號)。因此，當用戶僅用一只手控制設備時，菜單被顯示給用戶。當用戶將另一只手添加到FOV時，菜單將消失并且光標被顯示。光標(一個或者兩個光標)例如如上所述被控制。
[0060]根據一個實施方式，處理器502可檢測用戶的左手和用戶的右手。第二圖形元素可以包括左手光標532和右手光標532’。根據用戶的左手525可以操作左手光標532,并且根據用戶的右手526可以操作右手光標532’。
[0061]根據一些實施方式,例如通過移動、拉伸、旋轉或縮放僅僅由兩個光標(532和532’)限定的或通過由兩個光標限定的邊界560限定的內容而不是操作整個圖像550，可操作在左手光標532和右手光標532’之間顯示的內容，例如圖像550或該圖像的一部分550，。
[0062]根據在圖6中示意性示出的另一實施方式，提供了具有處理器602和顯示器606的設備，該顯示器具有圖形用戶界面(⑶I)。
[0063]處理器602與圖像傳感器(例如圖像傳感器103)通信以獲取圖像，并且處理器602或另一處理單元可從圖像檢測和跟蹤用戶的手。
[0064]根據一個實施方式，當檢測到第一手姿勢615 (例如手或手掌的所有手指展開)時，⑶I顯示第一圖形元素，例如像箭頭引導符號630的鍵盤。當檢測到第二手姿勢616(例如，手的所有手指的指尖聚在一起使得指尖彼此觸摸或幾乎觸摸)時，GUI顯示第二圖形元素，例如菜單631。
[0065]根據本發(fā)明的一個實施方式，提供用于將命令應用在GUI內的圖形元素上的方法。根據在圖7中示意性示出的一個實施方式，方法包括獲取用戶的手的第一和第二圖像(702);從第一圖像檢測用戶的手的第一姿勢和從第二圖像檢測用戶的手的第二姿勢(704);如果檢測到在第一圖像和第二圖像之間的手的移動(711)，則根據手的移動來移動圖形元素(713)。然而，如果在第一和第二圖像之間的用戶的手的姿勢的變化被檢測到(710)，那么停止移動被選擇的圖形元素的命令被應用(710)。
[0066]根據一個實施方式，圖形元素是光標。因此，如果用戶通過使用特定的手姿勢(例如，如上所述的)選擇了光標，那么當將他/她的手保持在特定姿勢中時，他/她的手的移動被跟蹤，并且光標根據用戶的手的移動在顯示器上移動。當用戶改變了手的姿勢時，例如，用戶可能想在類似抓取的手姿勢中合住他/她的手以執(zhí)行鼠標點擊(例如，左點擊)或選擇和/或拖動對象，歸因于類似抓取姿勢的抓住/松開的光標移動需要被避免。因此，當姿勢的變化被檢測到時終止移動光標的命令(與在同一個姿勢中時手的移動相反)保證在姿勢變化期間手的一部分移動的情況下光標將不被非故意地移動。
[0067]根據一個實施方式，檢測在第一和第二圖像之間的用戶的手的姿勢中是否有變化和/或在第一和第二圖像之間是否有手的移動包括檢查在用戶的手的第一圖像和第二圖像之間的變換。手的姿勢的變化通常將在非剛性變換中導致圖像內的像素的相對移動，而整個手的移動(同時保持同一個姿勢)通常將導致剛性變換。
[0068]因此，根據一個實施方式，如果變換是非剛性變換，那么方法包括終止移動被選擇的圖形元素(例如，光標)的命令；并且如果變換是剛性變換，那么方法包括根據手的移動應用移動圖形元素(例如，光標)的命令。
[0069]檢查用戶的手的第一和第二圖像之間的變換也可被有利地用來例如減少計算時間。例如，根據一個實施方式，檢測手的姿勢包括比較手的形狀與手姿勢模型庫。根據本發(fā)明的實施方式，能夠只有當用戶可能正在改變手的姿勢時才發(fā)起這個比較而不是連續(xù)地應用比較。本發(fā)明的這個實施方式在圖8中示意性地示出。
[0070]用于基于計算機視覺對設備進行控制的方法包括獲取用戶的手的第一和第二圖像(802);檢查在第一和第二圖像之間的變換(804);并且如果變換是剛性變換(806)，那么產生控制設備的第一命令(808)，而如果變換是非剛性變換(807)，那么產生控制設備的第二命令(809)。
[0071]第一命令可以是根據用戶的手的移動來移動被選擇的圖形元素(例如，光標)。第二命令可以發(fā)起搜索姿勢的過程(例如，通過與模型庫比較)，其后，移動圖像元素的命令可被終止。
【權利要求】
1.一種用于基于計算機視覺對所顯示的內容控制的方法，所述方法包括: 獲取視場的圖像； 在所述圖像內識別用戶的手； 檢測所述手的第一姿勢； 基于檢測到所述手的所述第一姿勢，產生操作顯示的內容的命令； 檢測所述手的第二姿勢，所述手的所述第二姿勢不同于所述手的所述第一姿勢；以及 基于檢測到所述第二姿勢，中止操作所述顯示的內容的所述命令。
2.根據權利要求1所述的方法，包括跟蹤所述手，其中對所述顯示的內容的所述操作根據被跟蹤的手的移動來進行。
3.根據權利要求2所述的方法，包括:僅當檢測到所述第一姿勢時，才根據所述被跟蹤的手的移動來操作所述顯示的內容。
4.根據權利要求2所述的方法，包括:在與所述手的位置相關的位置處顯示圖標并啟用根據所述手的移動來移動所述圖標。
5.根據權利要求 4所述的方法，包括:當檢測到所述第一姿勢時顯示第一圖標，而當檢測到所述第二姿勢時顯示第二圖標。
6.根據權利要求1所述的方法，包括:基于檢測到所述第一姿勢來產生選擇所顯示的內容的命令。
7.根據權利要求1所述的方法，其中所述第一姿勢包括手的所有手指的指尖聚在一起使得所述指尖彼此觸摸或幾乎觸摸，以及其中所述第二姿勢包括手掌的所有手指都展開。
8.根據權利要求1所述的方法，其中所述顯示的內容包括顯示在屏幕上的所有內容或顯示在屏幕上的內容的選定部分。
9.根據權利要求1所述的方法，其中對所顯示的內容的所述操作包括移動內容、縮小/放大內容、旋轉內容、拉伸內容或其組合。
10.根據權利要求1所述的方法，包括:在所述圖像內識別用戶的兩只手，以及其中基于檢測到所述第一姿勢和檢測到用戶的兩只手來產生操作所顯示的內容的命令。
11.根據權利要求10所述的方法，包括跟蹤所述用戶的兩只手，其中對所顯示的內容的所述操作基于一只手相比于另一只手的相對位置。
12.一種用于基于計算機視覺對所顯示的內容控制的方法，所述方法包括: 獲取視場的圖像； 在所述圖像內檢測用戶的兩只手； 檢測所述手中的至少一只的第一姿勢； 基于檢測到所述第一姿勢和基于檢測到所述兩只手，產生操作所顯示的內容的命令。
13.根據權利要求12所述的方法，包括: 檢測所述手中的至少一只的第二姿勢，所述第二姿勢不同于所述第一姿勢；以及 基于檢測到所述第二姿勢來中止操作所顯示的內容的所述命令。
14.根據權利要求12所述的方法，其中所述第一姿勢包括手的所有手指的指尖聚在一起使得所述指尖彼此觸摸或幾乎觸摸。
15.根據權利要求13所述的方法，其中所述第二姿勢包括手掌的所有手指都展開。
16.根據權利要求12所述的方法，包括跟蹤所述用戶的兩只手，其中對所顯示的內容的所述操作基于一只手相比于另一只手的相對位置。
17.根據權利要求12所述的方法，其中對所顯示的內容的所述操作包括縮小/放大所述內容或旋轉所述內容或其組合。
18.根據權利要求12所述的方法，包括:在與所述用戶的兩只手中的一只的位置相關的位置處顯示至少一個圖標，以及啟用根據所述手的移動來移動所述圖標。
19.根據權利要求13所述的方法，包括:當檢測到所述第一姿勢時顯示第一圖標，而當檢測到所述第二姿勢時顯示第二圖標，所述第一圖標和所述第二圖標顯示在與所述用戶的兩只手中的一只的位置相關的位置處。
20.根據權利要求12所述的方法，包括:在與所述用戶的第一只手的位置相關的位置處顯示一個圖標，并且在與所述用戶的第二只手的位置相關的位置處顯示另一個圖標。
21.根據權利要求20所述的方法，其中在與所述用戶的第一只手的位置相關的位置處顯示的圖標不同于在與所述用戶的第二只手相關的位置處顯示的圖標。
【文檔編號】G06T7/20GK103797513SQ201280008539
【公開日】2014年5月14日 申請日期:2012年1月5日 優(yōu)先權日:2011年1月6日
【發(fā)明者】埃米爾·卡普蘭, 艾蘭·埃拉特, 海姆·佩爾斯基 申請人:珀恩特格拉伯有限公司