一種基于徒手和單目攝像頭實現(xiàn)人機交互的方法和裝置制造方法
【專利摘要】本發(fā)明公開了一種基于徒手和單目攝像頭實現(xiàn)人機交互的方法和裝置，以較為簡單的硬件設(shè)備，在各種應(yīng)用場景中實現(xiàn)復雜指令的輸出。所述方法包括：采集徒手圖像，所述徒手圖像包括用戶單手的徒手圖像或雙手的徒手圖像；檢測所述徒手圖像中不同形狀的手的尺寸和/或位置以及所述尺寸的變化和/或所述位置的變化；根據(jù)所述尺寸的變化和/或所述位置的變化，生成相應(yīng)的操作指令輸出至終端，以使所述終端執(zhí)行與所述操作指令相應(yīng)的操作。本發(fā)明實施例提供的方法需要的設(shè)備簡單，成本低廉，穩(wěn)定性好，徒手即可實現(xiàn)對鼠標的基本操作以及對觸摸屏的基本操作，因此執(zhí)行效率也較高。
【專利說明】一種基于徒手和單目攝像頭實現(xiàn)人機交互的方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及人工智能領(lǐng)域，具體涉及一種基于徒手和單目攝像頭實現(xiàn)人機交互的方法和裝置。
【背景技術(shù)】
[0002]目前在世界范圍內(nèi)人機交互技術(shù)主要集中在通過傳統(tǒng)的硬件設(shè)備、語音識別和視覺交互技術(shù)。傳統(tǒng)的硬件設(shè)備，例如觸摸屏、鼠標和鍵盤等；語音識別技術(shù)，即通過對人發(fā)出的語音進行識別，形成操作指令，例如Apple公司的Siri和訊飛公司的語點等；視覺交互技術(shù)主要研究通過計算機視覺和人工智能技術(shù)，實現(xiàn)人機交互。
[0003]在視覺交互技術(shù)中，微軟公司的Kinect技術(shù)通過多目攝像頭和深度傳感器，通過一種光編碼(light coding)技術(shù)實現(xiàn)識別人體，將人的肢體運動翻譯為計算機指令。三星公司推出的SmartTV系列電視機，通過使用語音和手勢相結(jié)合的方法對電視進行操作。另外，現(xiàn)有的視覺交互技術(shù)主要集中在手勢識別方法和系統(tǒng)上。
[0004]現(xiàn)有的人機交互技術(shù)中，除了常規(guī)的交互方式外，還可以通過語音對計算機發(fā)送指令，也可以通過傳感器感知人的動作。通過語音交互的方式，容易受到噪音、口音以及距離遠近的影響，并且語音的交互沒有方向性，只能實現(xiàn)簡單的指令、選擇。通過傳感器感知人的動作這一交互方式中，典型的方式是通過數(shù)據(jù)手套或者攜帶各種傳感器(例如加速度、紅外、磁場傳感器)，通過捕獲手的動作，然后翻譯成計算機指令，然而，這種通過傳感器獲取的手勢，成本很高，不能徒手操作，應(yīng)用場景相對收到限制。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實施例提供一種基于徒手和單目攝像頭實現(xiàn)人機交互的方法和裝置，以較為簡單的硬件設(shè)備，在各種應(yīng)用場景中實現(xiàn)復雜指令的輸出。
[0006]一種基于徒手和單目攝像頭實現(xiàn)人機交互的方法，所述方法包括:
[0007]采集徒手圖像，所述徒手圖像包括用戶單手的徒手圖像或雙手的徒手圖像；
[0008]檢測所述徒手圖像中不同形狀的手的尺寸和/或位置以及所述尺寸的變化和/或所述位置的變化；
[0009]根據(jù)所述尺寸的變化和/或所述位置的變化，生成相應(yīng)的操作指令輸出至終端，以使所述終端執(zhí)行與所述操作指令相應(yīng)的操作。
[0010]一種基于徒手和單目攝像頭實現(xiàn)人機交互的裝置，所述裝置包括:
[0011]圖像采集模塊，用于采集徒手圖像，所述徒手圖像包括用戶單手的徒手圖像或雙手的徒手圖像；
[0012]檢測模塊，用于檢測所述徒手圖像中不同形狀的手的尺寸和/或位置以及所述尺寸的變化和/或所述位置的變化；
[0013]輸出模塊，用于根據(jù)所述尺寸的變化和/或所述位置的變化，生成相應(yīng)的操作指令輸出至終端，以使所述終端執(zhí)行與所述操作指令相應(yīng)的操作。[0014]從上述本發(fā)明實施例可知，采集徒手圖像可以使用常用的圖像采集設(shè)備例如單目攝像頭實現(xiàn)，并且，用戶是徒手在圖像采集設(shè)備面前動作，當檢測到徒手圖像中手的尺寸和/或位置以及所述尺寸的變化和/或所述位置的變化后，可以根據(jù)所述尺寸的變化和/或所述位置的變化，生成相應(yīng)的操作指令輸出至終端。與現(xiàn)有技術(shù)提供的人機交互技術(shù)需要用戶額外增加成本較高的設(shè)備例如數(shù)據(jù)手套相比，本發(fā)明實施例提供的方法需要的設(shè)備簡單，成本低廉，穩(wěn)定性好，徒手即可實現(xiàn)對鼠標的基本操作以及對觸摸屏的基本操作，因此執(zhí)行效率也較高。
【專利附圖】

【附圖說明】
[0015]圖1是本發(fā)明實施例提供的基于徒手和單目攝像頭實現(xiàn)人機交互的方法的基本流程示意圖；
[0016]圖2是本發(fā)明實施例提供的基于徒手和單目攝像頭實現(xiàn)人機交互的裝置邏輯結(jié)構(gòu)示意圖；
[0017]圖3是本發(fā)明另一實施例提供的基于徒手和單目攝像頭實現(xiàn)人機交互的裝置邏輯結(jié)構(gòu)示意圖；
[0018]圖4是本發(fā)明另一實施例提供的基于徒手和單目攝像頭實現(xiàn)人機交互的裝置邏輯結(jié)構(gòu)示意圖；
[0019]圖5是本發(fā)明另一實施例提供的基于徒手和單目攝像頭實現(xiàn)人機交互的裝置邏輯結(jié)構(gòu)示意圖；
[0020]圖6是本發(fā)明另一實施例提供的基于徒手和單目攝像頭實現(xiàn)人機交互的裝置邏輯結(jié)構(gòu)示意圖；
[0021]圖7是本發(fā)明另一實施例提供的基于徒手和單目攝像頭實現(xiàn)人機交互的裝置邏輯結(jié)構(gòu)示意圖；
[0022]圖8是本發(fā)明另一實施例提供的基于徒手和單目攝像頭實現(xiàn)人機交互的裝置邏輯結(jié)構(gòu)示意圖。
【具體實施方式】
[0023]本發(fā)明實施例提供一種基于徒手和單目攝像頭實現(xiàn)人機交互的方法，包括:采集徒手圖像，所述徒手圖像包括用戶單手的徒手圖像或雙手的徒手圖像；檢測所述徒手圖像中不同形狀的手的尺寸和/或位置以及所述尺寸的變化和/或所述位置的變化；根據(jù)所述尺寸的變化和/或所述位置的變化，生成相應(yīng)的操作指令輸出至終端，以使所述終端執(zhí)行與所述操作指令相應(yīng)的操作。本發(fā)明實施例還提供相應(yīng)的基于徒手和單目攝像頭實現(xiàn)人機交互的裝置。以下分別進行詳細說明。
[0024]本發(fā)明實施例的基于徒手和單目攝像頭實現(xiàn)人機交互的方法的基本流程可參考圖1，主要包括步驟:
[0025]S101，采集徒手圖像。
[0026]在本發(fā)明實施例中，所謂徒手，也就是裸手，是指沒有安裝或穿戴任何設(shè)備的手，即在實現(xiàn)本發(fā)明的技術(shù)方案過程中，用戶的手自始至終沒有安裝或穿戴任何設(shè)備進行操作；徒手圖像是指目標物主要是用戶的徒手構(gòu)成的圖像，包括用戶單手的徒手圖像或雙手的徒手圖像。采集徒手圖像可以通過外接普通的家用攝像頭，也可以直接使用終端上提供的攝像頭實現(xiàn)，攝像頭的類型可以是單目攝像頭，本發(fā)明可以對攝像頭的類型不加限制。
[0027]S102，檢測所述徒手圖像中不同形狀的手的尺寸和/或位置以及所述尺寸的變化和/或所述位置的變化。
[0028]在實現(xiàn)本發(fā)明方法的過程中，徒手圖像中不同形狀的手包括掌狀單手和拳狀單手，所謂掌狀單手即單手的五個指頭張開，其和掌心基本處于同一平面，所謂拳狀單手即單手的五個指頭并攏且向掌心方向彎曲。拳狀單手或掌狀單手相對于圖像采集設(shè)備(例如單目攝像頭)在同一平面內(nèi)左右移動時，會引起徒手圖像中拳狀單手或掌狀單手的尺寸和/或位置的變化。可以采用圖像處理硬件設(shè)備或軟件模塊檢測所述徒手圖像中拳狀單手或掌狀單手的尺寸和/或位置以及所述尺寸的變化和/或所述位置的變化。為了描述方便，本發(fā)明實施例中將徒手圖像中掌狀單手的尺寸使用S表示，拳狀單手的位置使用C表示，掌狀單手的位置使用P表示，鼠標指針在屏幕的位置使用T表示，當前一幀徒手圖像中S相對于前一幀徒手圖像中S的變化使用Z S表示，當前一幀徒手圖像中P相對于前一幀徒手圖像中P的變化使用」P表示，當前一幀徒手圖像中C相對于前一幀徒手圖像中C的變化使用」C表不。
[0029]S103，根據(jù)徒手圖像中不同形狀的手的尺寸的變化和/或所述位置的變化，生成相應(yīng)的操作指令輸出至終端，以使所述終端執(zhí)行與所述操作指令相應(yīng)的操作。
[0030]在本發(fā)明一個實施例中，采集徒手圖像為采集用戶單手的徒手圖像，終端執(zhí)行與所生成操作指令相應(yīng)的操作包括執(zhí)行對鼠標指針的移動，檢測徒手圖像中不同形狀的手的尺寸和/或位置以及尺寸的變化和/或所述位置的變化為:檢測所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化」S和所述位置P的變化」P。相應(yīng)地，作為本發(fā)明一個實施例，根據(jù)所述尺寸的變化和/或所述位置的變化，生成相應(yīng)的操作指令輸出至終端，以使所述終端執(zhí)行與所述操作指令相應(yīng)的操作包括如下步驟SOl和步驟S02:
[0031]S01，若掌狀單手的尺寸S的變化」S小于第一閾值Mls且掌狀單手的位置P在同一平面內(nèi)存在變化 P，則通過幾何映射方法將所述經(jīng)過變化后的位置映射為鼠標指針在屏幕中的位置T ;
[0032]S02，根據(jù)所述映射結(jié)果，向所述終端輸出第一操作指令以使所述終端根據(jù)所述第一操作指令移動所述鼠標指針。作為本發(fā)明一個實施例，幾何映射方法如下:假設(shè)掌狀單手的位置P={x，y}，圖像的長為W1,寬為Ii1,屏幕的長為W2,寬為h2,圖形設(shè)備(例如，鼠標指針)在屏幕上的位置為 t={m, η},則 Iii=XXw2ZV1, r=yXlVhp
[0033]需要說明的是，本發(fā)明所述的終端可以是傳統(tǒng)的個人電腦(Personal Computer,PC)、手機和平板電腦等等，這些終端的輸入設(shè)備既可以是傳統(tǒng)的鍵盤、鼠標等，也可以是觸屏。
[0034]在本發(fā)明一個實施例中，檢測徒手圖像中不同形狀的手的尺寸和/或位置以及所述尺寸的變化和/或所述位置的變化可以是:檢測所述徒手圖像中掌狀單手的尺寸S、位置P、所述尺寸S的變化Z S和所述位置P的變化Z S以及拳狀單手的位置C和所述位置C的變化」C。
[0035]在檢測徒手圖像中不同形狀的手的尺寸和/或位置以及所述尺寸的變化和/或所述位置的變化為檢測徒手圖像中掌狀單手的尺寸S、位置P、所述尺寸S的變化」S和所述位置P的變化Z S以及拳狀單手的位置C和所述位置C的變化Z C這一實施例中，終端執(zhí)行與所生成操作指令相應(yīng)的操作包括執(zhí)行對鼠標的點擊，例如，單擊或雙擊。用戶可通過移動掌狀單手，控制鼠標移動，將鼠標或者觸摸位置標志移動到想要點擊的位置時，另外一只手變成拳狀單手并保持時間 T1秒不動，然后拳狀單手的拳狀消匿，例如，將拳狀單手離開圖像采集設(shè)備(例如，單目攝像頭等)或者改變?nèi)瓲顔问值男螤?例如，變成掌狀單手)，則實現(xiàn)單擊動作。用戶可通過移動掌狀單手，控制鼠標移動，將鼠標或者觸摸位置標志移動到想要點擊的位置時，另外一只手變成拳狀單手并保持時間 h秒不動，然后拳狀單手的拳狀消匿，例如，將拳狀單手離開圖像采集設(shè)備(例如，單目攝像頭等)或者改變?nèi)瓲顔问值男螤?例如，變成掌狀單手);接著拳狀已消匿的單手迅速變回拳狀單手，時間t’ 后，再將拳狀單手的拳狀消匿，例如，將拳狀單手離開圖像采集設(shè)備(例如，單目攝像頭等)或者改變?nèi)瓲顔问值男螤?例如，變成掌狀單手)，從而實現(xiàn)雙擊動作。上述用戶的雙手的形狀、位置變化被轉(zhuǎn)化為操作指令，即相應(yīng)于終端執(zhí)行與所生成操作指令相應(yīng)的操作包括執(zhí)行對鼠標的點擊的實施例，作為本發(fā)明另一實施例，根據(jù)徒手圖像中不同形狀的手的尺寸的變化和/或位置的變化，生成相應(yīng)的操作指令輸出至終端，以使終端執(zhí)行與所述操作指令相應(yīng)的操作包括S21和S22:
[0036]S21，根據(jù)徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化」S和所述位置P的變化Z P，獲得檢測的結(jié)果為鼠標指針移動至屏幕上需要點擊的位置且采集的結(jié)果為此時用戶一單手變成拳狀。
[0037]鼠標指針移動的實現(xiàn)過程已在前述實施例的步驟SOl和步驟S02中說明，本實施例中鼠標指針移動至屏幕上需要點擊的位置的實現(xiàn)過程可參考前述說明，此處不再贅述。通過掌狀單手的尺寸、位置變化實現(xiàn)將鼠標指針移動至屏幕上需要點擊的位置時，用戶的另一單手變成拳狀，即圖像采集設(shè)備采集的結(jié)果為此時用戶一單手變成拳狀。
[0038]S22，若檢測的結(jié)果還包括在時間Z &內(nèi)拳狀單手僅發(fā)生一次變化過程CP，則向終端輸出第二操作指令以使所述終端根據(jù)所述第二操作指令執(zhí)行對鼠標的單擊，若檢測的結(jié)果還包括在時間」t2內(nèi)拳狀單手連續(xù)兩次發(fā)生變化過程CP，則向終端輸出第三操作指令以使所述終端根據(jù)所述第二操作指令執(zhí)行對鼠標的雙擊。
[0039]上述實施例中，時間Z t2應(yīng)該足夠短，其大小應(yīng)該與傳統(tǒng)人機交互方法中雙擊物理的鼠標時前后兩次單擊的間隔時間相當。需要說明的是，上述實施例中，變化過程Cp為鼠標指針移至屏幕上需要點擊的位置后，在時間t后拳狀單手的拳狀消匿，且在消匿前所述拳狀單手的位置C的變化Z C小于預(yù)設(shè)閾值。對拳狀單手的位置C的變化Z C限制在一定范圍之內(nèi)，是為了確保拳狀單手不致亂動。
[0040]在檢測徒手圖像中不同形狀的手的尺寸和/或位置以及所述尺寸的變化和/或所述位置的變化為檢測徒手圖像中掌狀單手的尺寸S、位置P、所述尺寸S的變化」S和所述位置P的變化Z S以及拳狀單手的位置C和所述位置C的變化Z C這一實施例中，終端執(zhí)行與所生成操作指令相應(yīng)的操作包括對對象的拖拽。用戶可通過移動掌狀單手，控制鼠標移動，將鼠標移動至想要拖拽的圖標或者文件上時，另外一只手變成拳狀單手并保持時間Z T秒不動，在時間Z T秒后，控制鼠標或者觸摸為摁下方式，然后拳狀單手繼續(xù)保持不動，移動掌狀單手，實現(xiàn)拖拽，當拖拽 到目標位置后，將將拳狀單手的拳狀消匿，例如，將拳狀單手離開圖像采集設(shè)備(例如，單目攝像頭等)或者改變?nèi)瓲顔问值男螤?例如，變成掌狀單手)，釋放摁下動作，變成抬起。上述用戶的手的動作被轉(zhuǎn)化為操作指令，即相應(yīng)于終端執(zhí)行與所生成操作指令相應(yīng)的操作包括對對象的拖拽的實施例，作為本發(fā)明另一實施例，根據(jù)徒手圖像中不同形狀的手的尺寸的變化和/或位置的變化，生成相應(yīng)的操作指令輸出至終端，以使終端執(zhí)行與所述操作指令相應(yīng)的操作包括如下S31至S35:
[0041]S31，根據(jù)徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化」S和位置P的變化Z P，獲得檢測的結(jié)果為鼠標指針移動至屏幕上需要拖拽的對象且采集的結(jié)果為此時用戶一單手變成拳狀。
[0042]S32，在獲得檢測的結(jié)果為在時間」t3內(nèi)所述拳狀單手的位置C的變化」C小于第二閾值M2s時,記錄對所述對象的選定。
[0043]S33，根據(jù)徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化」S和所述位置P的變化Z P，獲得檢測的結(jié)果為鼠標指針移動至目標位置。
[0044]上述S31和S33中鼠標指針移動的實現(xiàn)過程已在前述實施例的步驟SOl和步驟S02中說明，本實施例中鼠標指針移動至屏幕上需要拖拽的對象和目標位置的實現(xiàn)過程可參考前述說明，此處不再贅述。
[0045]S34，在目標位置檢測到所述拳狀單手的拳狀消匿時，記錄對所述對象的釋放。
[0046]S35，向終端輸出第四操作指令以使所述終端根據(jù)所述第四操作指令執(zhí)行對所述對象的拖拽。
[0047]在檢測徒手圖像中不同形狀的手的尺寸和/或位置以及所述尺寸的變化和/或所述位置的變化為檢測徒手圖像中掌狀單手的尺寸S、位置P、所述尺寸S的變化」S和所述位置P的變化Z S以及拳狀單手的位置C和所述位置C的變化Z C這一實施例中，終端執(zhí)行與所生成操作指令相應(yīng)的操作包括執(zhí)行對鼠標左鍵或右鍵的長摁。用戶通過掌狀單手的移動控制鼠標移動，將鼠標移動到目標位置，然后另外一只單手變成拳狀單手保持不動，同時掌狀單手也保持不動一段時間后，實現(xiàn)長摁操作。上述用戶的手的動作被轉(zhuǎn)化為操作指令，即相應(yīng)于終端執(zhí)行與所述操作指令相應(yīng)的操作包括執(zhí)行對鼠標左鍵或右鍵的長摁的實施例，作為本發(fā)明另一實施例，根據(jù)徒手圖像中不同形狀的手的尺寸的變化和/或位置的變化，生成相應(yīng)的操作指令輸出至終端，以使終端執(zhí)行與所述操作指令相應(yīng)的操作包括如下 S41 至 S44:
[0048]S41，根據(jù)徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化」S和所述位置P的變化Z P，獲得檢測的結(jié)果為鼠標指針移動至屏幕上的目標位置且采集的結(jié)果為此時用戶一單手變成拳狀。
[0049]上述S41中鼠標指針移動的實現(xiàn)過程已在前述實施例的步驟SOl和步驟S02中說明，本實施例中鼠標指針移動至屏幕上的目標位置的實現(xiàn)過程可參考前述說明，此處不再贅述。需要說明的是，屏幕上的目標位置可以是屏幕上的一塊空白區(qū)域，也可以是屏幕上某個目標對象所在位置。
[0050]S42，在獲得檢測的結(jié)果為在時間Z t4內(nèi)拳狀單手的位置C的變化Z C小于第二閾值M2s，且掌狀單手的位置P的變化」P小于第三閾值M3s時，記錄對所述目標位置的選定。
[0051]S43，保持對所述目標位置的選定至一段時間。
[0052]S44，向終端輸出第五操作指令以使所述終端根據(jù)所述第五操作指令執(zhí)行對所述鼠標左鍵或右鍵的長摁。[0053]在檢測徒手圖像中不同形狀的手的尺寸和/或位置以及所述尺寸的變化和/或所述位置的變化為檢測徒手圖像中掌狀單手的尺寸S、位置P、所述尺寸S的變化」S和所述位置P的變化Z S以及拳狀單手的位置C和所述位置C的變化Z C這一實施例中，終端執(zhí)行與所生成操作指令相應(yīng)的操作包括執(zhí)行點擊鼠標右鍵的操作。用戶可通過移動掌狀單手，控制鼠標移動，將鼠標移動至屏幕上目標位置時，用戶雙手中一單手為掌狀即成為掌狀單手，另一單手為拳狀即成為拳狀單手，然后在t秒內(nèi)，原先的掌狀單手變成拳狀單手，原先的拳狀單手變成掌狀單手，實現(xiàn)摁下鼠標右鍵動作；再將已變成拳狀的單手恢復為掌狀單手，將已變成掌狀的單手恢復為拳狀單手，執(zhí)行鼠標右鍵彈起動作，最終實現(xiàn)鼠標的右鍵操作。上述用戶的手的動作被轉(zhuǎn)化為操作指令，即相應(yīng)于終端執(zhí)行與所述操作指令相應(yīng)的操作包括執(zhí)行點擊鼠標右鍵的操作的實施例，作為本發(fā)明另一實施例，根據(jù)徒手圖像中不同形狀的手的尺寸的變化和/或位置的變化，生成相應(yīng)的操作指令輸出至終端，以使終端執(zhí)行與所述操作指令相應(yīng)的操作包括包括如下S51至S54:
[0054]S51，根據(jù)徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化」S和所述位置P的變化Z P，獲得檢測的結(jié)果為鼠標指針移動至屏幕上目標位置且采集的結(jié)果為此時用戶雙手中一單手為掌狀，另一單手為拳狀。
[0055]上述S51中鼠標指針移動的實現(xiàn)過程已在前述實施例的步驟SOl和步驟S02中說明，本實施例中鼠標指針移動至屏幕上的目標位置的實現(xiàn)過程可參考前述說明，此處不再贅述。
[0056]S52，在時間Z t5內(nèi)獲取的采集的結(jié)果為所述掌狀單手和拳狀單手先各自變換形狀一次，然后變換形狀的單手各自再變換形狀一次，所述變換形狀為由掌狀變成拳狀或者由拳狀變成掌狀。
[0057]S53，向終端輸出第六操作指令以使所述終端根據(jù)所述第六操作指令執(zhí)行點擊鼠標右鍵的操作。
[0058]在檢測徒手圖像中不同形狀的手的尺寸和/或位置以及所述尺寸的變化和/或所述位置的變化為檢測徒手圖像中掌狀單手的尺寸S、位置P、所述尺寸S的變化」S和所述位置P的變化Z S以及拳狀單手的位置C和所述位置C的變化Z C這一實施例中，終端執(zhí)行與所生成操作指令相應(yīng)的操作包括執(zhí)行對對象的放大或縮小。用戶通過將掌狀單手和拳狀單手同時置于圖像采集設(shè)備可以采集的范圍之內(nèi)，然后在時間t秒內(nèi)，掌狀單手和拳狀單手背向移動，即可實現(xiàn)對網(wǎng)頁或者圖片等對象的放大操作。用戶通過將掌狀單手和拳狀單手同時置于圖像采集設(shè)備可以采集的范圍之內(nèi)，然后在時間t’秒內(nèi)，掌狀單手和拳狀單手相向移動，即可實現(xiàn)對網(wǎng)頁或者圖片等對象的縮小操作。上述用戶掌狀單手和拳狀單手的動作被轉(zhuǎn)化為操作指令，即相應(yīng)于終端執(zhí)行與所述操作指令相應(yīng)的操作包括執(zhí)行對對象的放大或縮小的實施例，作為本發(fā)明另一實施例，根據(jù)徒手圖像中不同形狀的手的尺寸的變化和/或位置的變化，生成相應(yīng)的操作指令輸出至終端，以使終端執(zhí)行與所述操作指令相應(yīng)的操作包括包括如下S61至S64:
[0059]S61，獲得采集的結(jié)果為用戶雙手中一單手為掌狀，另一單手為拳狀，或者根據(jù)所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化」S和所述位置P的變化 P，獲得檢測的結(jié)果為所述鼠 標指針移動至屏幕上目標對象且采集的結(jié)果為此時用戶雙手中一單手為掌狀，另一單手為拳狀。[0060]S62，若檢測的結(jié)果為掌狀單手的位置P的變化Z P的方向和拳狀單手的位置C的變化Z C的方向相反，且掌狀單手的位置P與拳狀單手的位置C之間的距離變大，則向終端輸出第七操作指令以使所述終端根據(jù)所述第七操作指令對頁面或者目標對象執(zhí)行放大的操作。
[0061]S63，若檢測的結(jié)果為掌狀單手的位置P的變化Z P的方向和拳狀單手的位置C的變化Z C的方向相反，且掌狀單手的位置P與拳狀單手的位置C之間的距離變小，則向終端輸出第八操作指令以使所述終端根據(jù)所述第八操作指令對頁面或者所述目標對象執(zhí)行縮小的操作。
[0062]需要說明的是，掌狀單手的位置P的變化Z P和拳狀單手的位置C的變化Z C都是矢量，因此有方向性，當掌狀單手的位置P的變化Z P的方向和拳狀單手的位置C的變化Z C的方向相反時，表明掌狀單手和拳狀單手是相向移動或背向移動，而到底是相向移動還是背向移動，還要取決于掌狀單手的位置P與拳狀單手的位置C之間的距離。在本發(fā)明實施例中，若檢測的結(jié)果為掌狀單手的位置P的變化Z P的方向和拳狀單手的位置C的變化Z C的方向相反，且掌狀單手的位置P與拳狀單手的位置C之間的距離變大，表明掌狀單手和拳狀單手是是相向移動，則向終端輸出第七操作指令以使所述終端根據(jù)所述第七操作指令對頁面或者所述目標對象執(zhí)行放大的操作；若檢測的結(jié)果為掌狀單手的位置P的變化 P的方向和拳狀單手的位置C的變化Z C的方向相反，且掌狀單手的位置P與拳狀單手的位置C之間的距離變小，表明掌狀單手和拳狀單手是背向移動，則向終端輸出第八操作指令以使所述終端根據(jù)所述第八操作指令對頁面或者所述目標對象執(zhí)行縮小的操作。
[0063]從上述本發(fā)明實施例提供的基于徒手和單目攝像頭實現(xiàn)人機交互的方法可知，采集徒手圖像可以使用常用的圖像采集設(shè)備例如單目攝像頭實現(xiàn)，并且，用戶是徒手在圖像采集設(shè)備面前動作，當檢測到徒手圖像中手的尺寸和/或位置以及所述尺寸的變化和/或所述位置的變化后，可以根據(jù)所述尺寸的變化和/或所述位置的變化，生成相應(yīng)的操作指令輸出至終端。與現(xiàn)有技術(shù)提供的人機交互技術(shù)需要用戶額外增加成本較高的設(shè)備例如數(shù)據(jù)手套相比，本發(fā)明實施例提供的方法需要的設(shè)備簡單，成本低廉，穩(wěn)定性好，單手徒手即可實現(xiàn)對鼠標的基本操作以及對觸摸屏的基本操作，因此執(zhí)行效率也較高。
[0064]下面對用于執(zhí)行上述基于徒手和單目攝像頭實現(xiàn)人機交互的方法的本發(fā)明實施例的基于基于徒手和單目攝像頭實現(xiàn)人機交互的裝置進行說明，其基本邏輯結(jié)構(gòu)參考圖2，主要包括圖像采集模塊201、檢測模塊202和輸出模塊203，各模塊詳細說明如下:
[0065]圖像采集模塊201，用于采集徒手圖像，所述徒手圖像包括用戶單手的徒手圖像或雙手的徒手圖像；
[0066]檢測模塊202，用于檢測所述徒手圖像中不同形狀的手的尺寸和/或位置以及所述尺寸的變化和/或所述位置的變化；
[0067]輸出模塊203，用于根據(jù)徒手圖像中不同形狀的手的尺寸的變化和/或所述位置的變化，生成相應(yīng)的操作指令輸出至終端，以使所述終端執(zhí)行與所述操作指令相應(yīng)的操作。
[0068]需要說明的是，以上附圖2示例的基于徒手和單目攝像頭實現(xiàn)人機交互的裝置的實施方式中，各功能模塊的劃分僅是舉例說明，實際應(yīng)用中可以根據(jù)需要，例如相應(yīng)硬件的配置要求或者軟件的實現(xiàn)的便利考慮，而將上述功能分配由不同的功能模塊完成，即將所述基于徒手和單目攝像頭實現(xiàn)人機交互的裝置的內(nèi)部結(jié)構(gòu)劃分成不同的功能模塊，以完成以上描述的全部或者部分功能。而且，實際應(yīng)用中，本實施例中的相應(yīng)的功能模塊可以是由相應(yīng)的硬件實現(xiàn)，也可以由相應(yīng)的硬件執(zhí)行相應(yīng)的軟件完成，例如，前述的圖像采集模塊，可以是具有執(zhí)行前述采集徒手圖像的硬件，例如圖像采集器，也可以是能夠執(zhí)行相應(yīng)計算機程序從而完成前述功能的一般處理器或者其他硬件設(shè)備；再如前述的檢測模塊，可以是具有執(zhí)行前述檢測所述徒手圖像中不同形狀的手的尺寸和/或位置以及所述尺寸的變化和/或所述位置的變化功能的硬件，例如檢測器，也可以是能夠執(zhí)行相應(yīng)計算機程序從而完成前述功能的一般處理器或者其他硬件設(shè)備(本說明書提供的各個實施例都可應(yīng)用上述描述原則)。
[0069]附圖2示例的圖像采集模塊201具體用于采集用戶單手的徒手圖像，檢測模塊202具體用于檢測所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化」S和所述位置P的變化」P，輸出模塊203可以包括映射單元301和第一輸出單元302，如附圖3所示本發(fā)明另一實施例提供的基于徒手和單目攝像頭實現(xiàn)人機交互的裝置，其中:
[0070]映射單元301，用于若徒手圖像中掌狀單手的尺寸S的變化」S小于第一閾值Mls且所述位置P在同一平面內(nèi)存在所述變化 P，則通過幾何映射方法將所述經(jīng)過變化后的位置映射為鼠標指針在屏幕中的位置T ；
[0071]第一指令輸出單元302，用于根據(jù)所述映射結(jié)果，向所述終端輸出第一操作指令以使所述終端根據(jù)所述第一操作指令移動所述鼠標指針。
[0072]附圖2示例的檢測模塊202具體用于檢測徒手圖像中掌狀單手的尺寸S、位置P、所述尺寸S的變化Z S和所述位置P的變化Z S以及拳狀單手的位置C和所述位置C的變化』C。
[0073]基于檢測模塊202具體用于檢測徒手圖像中掌狀單手的尺寸S、位置P、所述尺寸S的變化Z S和所述位置P的變化Z S以及拳狀單手的位置C和所述位置C的變化Z C的實施例，附圖2示例的基于徒手和單目攝像頭實現(xiàn)人機交互的裝置中，終端執(zhí)行與所述操作指令相應(yīng)的操作包括對鼠標的單擊或者雙擊，輸出模塊203可以包括第一獲取單元401、第二指令輸出單元402和第三指令輸出單元403，如附圖4所示本發(fā)明另一實施例提供的基于徒手和單目攝像頭實現(xiàn)人機交互的裝置，其中:
[0074]第一獲取單元401，用于根據(jù)徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化Z S和所述位置P的變化Z P，獲得檢測的結(jié)果為鼠標指針移動至屏幕上需要點擊的位置且采集的結(jié)果為此時用戶一單手變成拳狀；
[0075]第二指令輸出單元402，用于若檢測的結(jié)果還包括在時間」內(nèi)拳狀單手僅發(fā)生一次變化過程CP，則向終端輸出第二操作指令以使所述終端根據(jù)所述第二操作指令執(zhí)行對所述鼠標的單擊；
[0076]第三指令輸出單元403，用于若檢測的結(jié)果還包括在時間」t2內(nèi)拳狀單手連續(xù)兩次發(fā)生所述變化過程CP，則向終端輸出第三操作指令以使所述終端根據(jù)所述第二操作指令執(zhí)行對所述鼠標的雙擊；
[0077]附圖4示例的基于徒手和單目攝像頭實現(xiàn)人機交互的裝置中，變化過程Cp為鼠標指針移至屏幕上需要點擊的位置后，在時間 t后拳狀單手的拳狀消匿，且在消匿前拳狀單手的位置C的變化Z C小于預(yù)設(shè)閾值。所謂拳狀單手的拳狀消匿，既可以指拳狀單手離開圖像采集設(shè)備的采集范圍即無法采集到拳狀單手，也可以指拳狀單手變成非拳狀單手，例如，變成掌狀單手。
[0078]基于檢測模塊202具體用于檢測徒手圖像中掌狀單手的尺寸S、位置P、所述尺寸S的變化Z S和所述位置P的變化Z S以及拳狀單手的位置C和所述位置C的變化Z C的實施例，附圖2示例的基于徒手和單目攝像頭實現(xiàn)人機交互的裝置中，終端執(zhí)行與操作指令相應(yīng)的操作包括對對象的拖拽，輸出模塊203可以包括第二獲取單元501、第一記錄單元502、第三獲取單元503、第二記錄單元504和第四指令輸出單元505，如附圖5所示本發(fā)明另一實施例提供的基于徒手和單目攝像頭實現(xiàn)人機交互的裝置，其中:
[0079]第二獲取單元501，用于根據(jù)所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化Z S和所述位置P的變化Z P，獲得檢測的結(jié)果為所述鼠標指針移動至屏幕上需要拖拽的對象且采集的結(jié)果為此時用戶一單手變成拳狀；
[0080]第一記錄單元502，用于在獲得檢測的結(jié)果為在時間」t3內(nèi)所述拳狀單手的位置C的變化」C小于第二閾值M2s時，記錄對所述對象的選定；
[0081 ] 第三獲取單元503，用于根據(jù)所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化Z S和所述位置P的變化Z P，獲得檢測的結(jié)果為所述鼠標指針移動至目標位置；
[0082]第二記錄單元504，用于在所述目標位置檢測到所述拳狀單手的拳狀消匿時，記錄對所述對象的釋放；
[0083]第四指令輸出單元505，用于向所述終端輸出第四操作指令以使所述終端根據(jù)所述第四操作指令執(zhí)行對所述對象的拖拽。
[0084]基于檢測模塊202具體用于檢測徒手圖像中掌狀單手的尺寸S、位置P、所述尺寸S的變化Z S和所述位置P的變化Z S以及拳狀單手的位置C和所述位置C的變化Z C的實施例，附圖2示例的基于徒手和單目攝像頭實現(xiàn)人機交互的裝置中，終端執(zhí)行與操作指令相應(yīng)的操作包括執(zhí)行對鼠標左鍵或右鍵的長摁，輸出模塊203可以包括第四獲取單元601、第三記錄單元602、選定保持單元603和第五指令輸出單元604，如附圖6所示本發(fā)明另一實施例提供的基于徒手和單目攝像頭實現(xiàn)人機交互的裝置，其中:
[0085]第四獲取單元601，用于根據(jù)所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化Z S和所述位置P的變化Z P，獲得檢測的結(jié)果為所述鼠標指針移動至屏幕上的目標位置且采集的結(jié)果為此時用戶一單手變成拳狀。需要說明的是，屏幕上的目標位置可以是屏幕上的一塊空白區(qū)域，也可以是屏幕上某個目標對象所在位置；
[0086]第三記錄單元602，用于在獲得檢測的結(jié)果為在時間」t4內(nèi)所述拳狀單手的位置C的變化」C小于第二閾值M2s,且所述掌狀單手的位置P的變化」P小于第三閾值M3s時，記錄對所述目標位置的選定；
[0087]選定保持單元603，用于保持對所述目標位置的選定至一段時間；
[0088]第五指令輸出單元604，用于向所述終端輸出第五操作指令以使所述終端根據(jù)所述第五操作指令執(zhí)行對所述鼠標左鍵或右鍵的長摁。
[0089]基于檢測模塊202具體用于檢測徒手圖像中掌狀單手的尺寸S、位置P、所述尺寸S的變化Z S和所述位置P的變化Z S以及拳狀單手的位置C和所述位置C的變化Z C的實施例，附圖2示例的基于徒手和單目攝像頭實現(xiàn)人機交互的裝置中，終端執(zhí)行與操作指令相應(yīng)的操作包括點擊鼠標右鍵的操作，輸出模塊203可以包括第五獲取單元701、第六獲取單元702和第六指令輸出單元703，如附圖7所示本發(fā)明另一實施例提供的基于徒手和單目攝像頭實現(xiàn)人機交互的裝置，其中:
[0090]第五獲取單元701，用于根據(jù)所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化Z S和所述位置P的變化Z P，獲得檢測的結(jié)果為所述鼠標指針移動至屏幕上目標位置且采集的結(jié)果為此時用戶雙手中一單手為掌狀，另一單手為拳狀；
[0091]第六獲取單元702，用于在時間Z t5內(nèi)獲取的采集的結(jié)果為所述掌狀單手和拳狀單手先各自變換形狀一次，然后所述變換形狀的單手各自再變換形狀一次，所述變換形狀為由掌狀變成拳狀或者由拳狀變成掌狀；
[0092]第六指令輸出單元703，用于向所述終端輸出第六操作指令以使所述終端根據(jù)所述第六操作指令執(zhí)行點擊鼠標右鍵的操作。
[0093]基于檢測模塊202具體用于檢測徒手圖像中掌狀單手的尺寸S、位置P、所述尺寸S的變化Z S和所述位置P的變化Z S以及拳狀單手的位置C和所述位置C的變化Z C的實施例，附圖2示例的基于徒手和單目攝像頭實現(xiàn)人機交互的裝置中，終端執(zhí)行與操作指令相應(yīng)的操作包括執(zhí)行對對象的放大或縮小，輸出模塊203可以包括第七獲取單元801、第七指令輸出單元802和第八指令輸出單元803，如附圖8所示本發(fā)明另一實施例提供的基于徒手和單目攝像頭實現(xiàn)人機交互的裝置，其中:
[0094]第七獲取單元801，用于獲得采集的結(jié)果為用戶雙手中一單手為掌狀，另一單手為拳狀，或者根據(jù)所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化」S和所述位置P的變化Z P，獲得檢測的結(jié)果為所述鼠標指針移動至屏幕上目標對象且采集的結(jié)果為此時用戶雙手中一單手為掌狀，另一單手為拳狀；
[0095]第七指令輸出單元802，用于若所述檢測的結(jié)果為所述掌狀單手的位置P的變化 P的方向和所述拳狀單手的位置C的變化Z C的方向相反，且所述掌狀單手的位置P與所述拳狀單手的位置C之間的距離變大，則向所述終端輸出第七操作指令以使所述終端根據(jù)所述第七操作指令對頁面或者所述目標對象執(zhí)行放大的操作；
[0096]第八指令輸出單元803，用于若所述檢測的結(jié)果為所述掌狀單手的位置P的變化 P的方向和所述拳狀單手的位置C的變化Z C的方向相反，且所述掌狀單手的位置P與所述拳狀單手的位置C之間的距離變小，則向所述終端輸出第八操作指令以使所述終端根據(jù)所述第八操作指令對頁面或者所述目標對象執(zhí)行縮小的操作。
[0097]需要說明的是，上述裝置各模塊/單元之間的信息交互、執(zhí)行過程等內(nèi)容，由于與本發(fā)明方法實施例基于同一構(gòu)思，其帶來的技術(shù)效果與本發(fā)明方法實施例相同，具體內(nèi)容可參見本發(fā)明方法實施例中的敘述，此處不再贅述。
[0098]本領(lǐng)域普通技術(shù)人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成，該程序可以存儲于一計算機可讀存儲介質(zhì)中，存儲介質(zhì)可以包括:只讀存儲器(ROM，Read Only Memory)、隨機存取存儲器(RAM，RandomAccess Memory)、磁盤或光盤等。
[0099]以上對本發(fā)明實施例所提供的一種基于徒手和單目攝像頭實現(xiàn)人機交互的方法和裝置進行了詳細介紹，本文中應(yīng)用了具體個例對本發(fā)明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫 助理解本發(fā)明的方法及其核心思想；同時，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在【具體實施方式】及應(yīng)用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。
【權(quán)利要求】
1.一種基于徒手和單目攝像頭實現(xiàn)人機交互的方法，其特征在于，所述方法包括:采集徒手圖像，所述徒手圖像包括用戶單手的徒手圖像或雙手的徒手圖像；檢測所述徒手圖像中不同形狀的手的尺寸和/或位置以及所述尺寸的變化和/或所述位置的變化；根據(jù)所述尺寸的變化和/或所述位置的變化，生成相應(yīng)的操作指令輸出至終端，以使所述終端執(zhí)行與所述操作指令相應(yīng)的操作。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述采集徒手圖像為采集用戶單手的徒手圖像；所述檢測所述徒手圖像中不同形狀的手的尺寸和/或位置以及所述尺寸的變化和/或所述位置的變化為:檢測所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化」S和所述位置P的變化」P ；所述根據(jù)所述尺寸的變化和/或所述位置的變化，生成相應(yīng)的操作指令輸出至終端，以使所述終端執(zhí)行與所述操作指令相應(yīng)的操作包括:若所述尺寸S的變化」S小于第一閾值Mls且所述位置P在同一平面內(nèi)存在所述變化 P，則通過幾何映射方法將所述經(jīng)過變化后的位置映射為鼠標指針在屏幕中的位置T;根據(jù)所述映射結(jié)果，向所述終端輸出第一操作指令以使所述終端根據(jù)所述第一操作指令移動所述鼠標指針。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述檢測所述徒手圖像中不同形狀的手的尺寸和/或位置以及所述尺寸的變化和/或所述位置的變化為:檢測所述徒手圖像中掌狀單手的尺寸S、位置P、所述尺寸S的變化」S和所述位置P的變化Z S以及拳狀單手的位置C和所述位置C的變化Z C。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述終端執(zhí)行與所述操作指令相應(yīng)的操作包括對鼠標的單擊或者雙擊；所述根據(jù)所述尺寸的變化和/或所述位置的變化，生成相應(yīng)的操作指令輸出至終端，以使所述終端執(zhí)行與所述操作指令相應(yīng)的操作包括:根據(jù)所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化」S和所述位置P的變化Z P，獲得檢測的結(jié)果為所述鼠標指針移動至屏幕上需要點擊的位置且采集的結(jié)果為此時用戶一單手變成拳狀；若所述檢測的結(jié)果還包括在時間Z 內(nèi)所述拳狀單手僅發(fā)生一次變化過程Cp，則向所述終端輸出第二操作指令以使所述終端根據(jù)所述第二操作指令執(zhí)行對所述鼠標的單擊，若所述檢測的結(jié)果還包括在時間Z t2內(nèi)所述拳狀單手連續(xù)兩次發(fā)生所述變化過程Cp，則向所述終端輸出第三操作指令以使所述終端根據(jù)所述第二操作指令執(zhí)行對所述鼠標的雙擊；所述變化過程Cp為所述鼠標指針移至屏幕上需要點擊的位置后，在時間Z t后所述拳狀單手的拳狀消匿，且在消匿前所述拳狀單手的位置C的變化Z C小于預(yù)設(shè)閾值。
5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述終端執(zhí)行與所述操作指令相應(yīng)的操作包括對對象的拖拽；所述根據(jù)所述尺寸的變化和/或所述位置的變化，生成相應(yīng)的操作指令輸出至終端，以使所述終端執(zhí)行與所述操作指令相應(yīng)的操作包括:根據(jù)所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化」S和所述位置P的變化Z P，獲得檢測的結(jié)果為所述鼠標指針移動至屏幕上需要拖拽的對象且采集的結(jié)果為此時用戶一單手變成拳狀；在獲得檢測的結(jié)果為在時間Z t3內(nèi)所述拳狀單手的位置C的變化Z C小于第二閾值M2s時，記錄對所述對象的選定；根據(jù)所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化」S和所述位置P的變化Z P，獲得檢測的結(jié)果為所述鼠標指針移動至目標位置；在所述目標位置檢測到所述拳狀單手的拳狀消匿時，記錄對所述對象的釋放；向所述終端輸出第四操作指令以使所述終端根據(jù)所述第四操作指令執(zhí)行對所述對象的拖拽。
6.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述終端執(zhí)行與所述操作指令相應(yīng)的操作包括執(zhí)行對鼠標左鍵或右鍵的長摁；所述根據(jù)所述尺寸的變化和/或所述位置的變化，生成相應(yīng)的操作指令輸出至終端，以使所述終端執(zhí)行與所述操作指令相應(yīng)的操作包括:根據(jù)所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化」S和所述位置P的變化Z P，獲得檢測的結(jié)果為所述鼠標指針移動至屏幕上的目標位置且采集的結(jié)果為此時用戶一單手變成拳狀；在獲得檢測的結(jié)果為在時間Z t4內(nèi)所述拳狀單手的位置C的變化Z C小于第二閾值M2s,且所述掌狀單手的位置P的變化」P小于第三閾值M3s時，記錄對所述目標位置的選定；保持對所述目標位置的.選定至一段時間；向所述終端輸出第五操作指令以使所述終端根據(jù)所述第五操作指令執(zhí)行對所述鼠標左鍵或右鍵的長摁。
7.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述終端執(zhí)行與所述操作指令相應(yīng)的操作包括執(zhí)行點擊鼠標右鍵的操作；所述根據(jù)所述尺寸的變化和/或所述位置的變化，生成相應(yīng)的操作指令輸出至終端，以使所述終端執(zhí)行與所述操作指令相應(yīng)的操作包括:根據(jù)所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化」S和所述位置P的變化Z P，獲得檢測的結(jié)果為所述鼠標指針移動至屏幕上目標位置且采集的結(jié)果為此時用戶雙手中一單手為掌狀，另一單手為拳狀；在時間Z t5內(nèi)獲取的采集的結(jié)果為所述掌狀單手和拳狀單手先各自變換形狀一次，然后所述變換形狀的單手各自再變換形狀一次，所述變換形狀為由掌狀變成拳狀或者由拳狀變成掌狀；向所述終端輸出第六操作指令以使所述終端根據(jù)所述第六操作指令執(zhí)行點擊鼠標右鍵的操作。
8.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述終端執(zhí)行與所述操作指令相應(yīng)的操作包括執(zhí)行對對象的放大或縮?。凰龈鶕?jù)所述尺寸的變化和/或所述位置的變化，生成相應(yīng)的操作指令輸出至終端，以使所述終端執(zhí)行與所述操作指令相應(yīng)的操作包括:獲得采集的結(jié)果為用戶雙手中一單手為掌狀，另一單手為拳狀，或者根據(jù)所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化」S和所述位置P的變化」P，獲得檢測的結(jié)果為所述鼠標指針移動至屏幕上目標對象且采集的結(jié)果為此時用戶雙手中一單手為掌狀，另一單手為拳狀；若所述檢測的結(jié)果為所述掌狀單手的位置P的變化 P的方向和所述拳狀單手的位置C的變化Z C的方向相反，且所述掌狀單手的位置P與所述拳狀單手的位置C之間的距離變大，則向所述終端輸出第七操作指令以使所述終端根據(jù)所述第七操作指令對頁面或者所述目標對象執(zhí)行放大的操作；若所述檢測的結(jié)果為所述掌狀單手的位置P的變化Z P的方向和所述拳狀單手的位置C的變化Z C的方向相反，且所述掌狀單手的位置P與所述拳狀單手的位置C之間的距離變小，則向所述終端輸出第八操作指令以使所述終端根據(jù)所述第八操作指令對頁面或者所述目標對象執(zhí)行縮小的操作。
9.一種基于徒手和單目攝像頭實現(xiàn)人機交互的裝置，其特征在于，所述裝置包括:圖像采集模塊，用于采集徒手圖像，所述徒手圖像包括用戶單手的徒手圖像或雙手的徒手圖像；檢測模塊，用于檢測所述徒手圖像中不同形狀的手的尺寸和/或位置以及所述尺寸的變化和/或所述位置的變化；輸出模塊，用于根據(jù)所述尺寸的變化和/或所述位置的變化，生成相應(yīng)的操作指令輸出至終端，以使所述終端執(zhí)行與所述操作指令相應(yīng)的操作。
10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述圖像采集模塊具體用于采集用戶單手的徒手圖像；所述檢測模塊具體用于檢測所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化」S和所述位置P的變化」P ；所述輸出模塊包括:映射單元，用于若所述尺寸S的變化」S小于第一閾值Mls且所述位置P在同一平面內(nèi)存在所述變化 P，則通過幾何映射方法將所述經(jīng)過變化后的位置映射為鼠標指針在屏幕中的位置T ;第一指令輸出單元，用于根據(jù)所述映射結(jié)果，向所述終端輸出第一操作指令以使所述終端根據(jù)所述第一操作指令移動所述鼠標指針。
11.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述檢測模塊具體用于檢測所述徒手圖像中掌狀單手的尺寸S、位置P、所述尺寸S的變化」S和所述位置P的變化」S以及拳狀單手的位置C和所述位置C的變化」C。
12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述終端執(zhí)行與所述操作指令相應(yīng)的操作包括對鼠標的單擊或者雙擊，所述輸出模塊包括:第一獲取單元，用于根據(jù)所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化Z S和所述位置P的變化Z P，獲得檢測的結(jié)果為所述鼠標指針移動至屏幕上需要點擊的位置且采集的結(jié)果為此時用戶一單手變成拳狀；第二指令輸出單元，用于若所述檢測的結(jié)果還包括在時間Z 內(nèi)所述拳狀單手僅發(fā)生一次變化過程Cp，則向所述終端輸出第二操作指令以使所述終端根據(jù)所述第二操作指令執(zhí)行對所述鼠標的單擊；第三指令輸出單元，用于若所述檢測的結(jié)果還包括在時間Z t2內(nèi)所述拳狀單手連續(xù)兩次發(fā)生所述變化過程CP，則向所述終端輸出第三操作指令以使所述終端根據(jù)所述第二操作指令執(zhí)打?qū)λ鍪髽说碾p擊；所述變化過程Cp為所述鼠標指針移至屏幕上需要點擊的位置后，在時間Z t后所述拳狀單手的拳狀消匿，且在消匿前所述拳狀單手的位置C的變化Z C小于預(yù)設(shè)閾值。
13.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述終端執(zhí)行與所述操作指令相應(yīng)的操作包括對對象的拖拽，所述輸出模塊包括:第二獲取單元，用于根據(jù)所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化Z S和所述位置P的變化Z P，獲得檢測的結(jié)果為所述鼠標指針移動至屏幕上需要拖拽的對象且采集的結(jié)果為此 時用戶一單手變成拳狀；第一記錄單元，用于在獲得檢測的結(jié)果為在時間Z t3內(nèi)所述拳狀單手的位置C的變化」C小于第二閾值M2s時，記錄對所述對象的選定；第三獲取單元，用于根據(jù)所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化Z S和所述位置P的變化Z P，獲得檢測的結(jié)果為所述鼠標指針移動至目標位置；第二記錄單元，用于在所述目標位置檢測到所述拳狀單手的拳狀消匿時，記錄對所述對象的釋放；第四指令輸出單元，用于向所述終端輸出第四操作指令以使所述終端根據(jù)所述第四操作指令執(zhí)行對所述對象的拖拽。
14.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述終端執(zhí)行與所述操作指令相應(yīng)的操作包括執(zhí)行對鼠標左鍵或右鍵的長摁，所述輸出模塊包括:第四獲取單元，用于根據(jù)所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化Z S和所述位置P的變化Z P，獲得檢測的結(jié)果為所述鼠標指針移動至屏幕上的目標位置且采集的結(jié)果為此時用戶一單手變成拳狀；第三記錄單元，用于在獲得檢測的結(jié)果為在時間Z t4內(nèi)所述拳狀單手的位置C的變化」C小于第二閾值M2s，且所述掌狀單手的位置P的變化」P小于第三閾值M3s時，記錄對所述目標位置的選定；選定保持單元，用于保持對所述目標位置的選定至一段時間；第五指令輸出單元，用于向所述終端輸出第五操作指令以使所述終端根據(jù)所述第五操作指令執(zhí)行對所述鼠標左鍵或右鍵的長摁。
15.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述終端執(zhí)行與所述操作指令相應(yīng)的操作包括執(zhí)行點擊鼠標右鍵的操作，所述輸出模塊包括:第五獲取單元，用于根據(jù)所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化Z S和所述位置P的變化Z P，獲得檢測的結(jié)果為所述鼠標指針移動至屏幕上目標位置且采集的結(jié)果為此時用戶雙手中一單手為掌狀，另一單手為拳狀；第六獲取單元，用于在時間 t5內(nèi)獲取的采集的結(jié)果為所述掌狀單手和拳狀單手先各自變換形狀一次，然后所述變換形狀的單手各自再變換形狀一次，所述變換形狀為由掌狀變成拳狀或者由拳狀變成掌狀；第六指令輸出單元，用于向所述終端輸出第六操作指令以使所述終端根據(jù)所述第六操作指令執(zhí)行點擊鼠標右鍵的操作。
16.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述終端執(zhí)行與所述操作指令相應(yīng)的操作包括執(zhí)行對對象的放大或縮小，所述輸出模塊包括:第七獲取單元，用于獲得采集的結(jié)果為用戶雙手中一單手為掌狀，另一單手為拳狀，或者根據(jù)所述徒手圖像中掌狀單手的尺寸S和位置P以及所述尺寸S的變化」S和所述位置P的變化Z P，獲得檢測的結(jié)果為所述鼠標指針移動至屏幕上目標對象且采集的結(jié)果為此時用戶雙手中一單手為掌狀，另一單手為拳狀；第七指令輸出單元，用于若所述檢測的結(jié)果為所述掌狀單手的位置P的變化Z P的方向和所述拳狀單手的位置C的變化Z C的方向相反，且所述掌狀單手的位置P與所述拳狀單手的位置C之間的距離變大，則向所述終端輸出第七操作指令以使所述終端根據(jù)所述第七操作指令對頁面或者所述目標對象執(zhí)行放大的操作；第八指令輸出單元，用于若所述檢測的結(jié)果為所述掌狀單手的位置P的變化Z P的方向和所述拳狀單手的位置C的變化Z C的方向相反，且所述掌狀單手的位置P與所述拳狀單手的位置C之間的距離變小，則向所述終端輸出第八操作指令以使所述終端根據(jù)所述第八操作指令對頁面 或者所述目標對象執(zhí)行縮小的操作。
【文檔編號】G06F3/01GK103440034SQ201310363286
【公開日】2013年12月11日 申請日期:2013年8月19日 優(yōu)先權(quán)日:2013年8月19日
【發(fā)明者】龐建新, 程俊 申請人:中國科學院深圳先進技術(shù)研究院