本公開涉及一種控制方法和控制系統(tǒng)。

背景技術(shù)：

虛擬現(xiàn)實(shí)(virtualreality，簡(jiǎn)稱vr)和增強(qiáng)現(xiàn)實(shí)(augmentedreality，簡(jiǎn)稱ar)被越來(lái)越多地應(yīng)用于生活、工作、娛樂等諸多場(chǎng)景中。通過(guò)手勢(shì)實(shí)現(xiàn)人機(jī)交互是虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)應(yīng)用領(lǐng)域中關(guān)鍵的技術(shù)問題，同時(shí)可以實(shí)現(xiàn)更好的交互體驗(yàn)并且可以極大地增強(qiáng)用戶在使用虛擬現(xiàn)實(shí)或者增強(qiáng)現(xiàn)實(shí)設(shè)備時(shí)的真實(shí)感。

技術(shù)實(shí)現(xiàn)要素：

本公開的一個(gè)方面提供了一種控制方法，包括：通過(guò)攝像頭獲取包括操作體在內(nèi)的圖像，解析獲取得到的圖像，識(shí)別操作體的當(dāng)前手勢(shì)動(dòng)作，判斷識(shí)別到的手勢(shì)動(dòng)作是否符合至少一種預(yù)設(shè)的手勢(shì)動(dòng)作，其中，至少一種預(yù)設(shè)手勢(shì)動(dòng)作對(duì)應(yīng)至少一種操作，以及在當(dāng)前手勢(shì)動(dòng)作符合至少一種預(yù)設(shè)手勢(shì)動(dòng)作時(shí)，觸發(fā)至少一種預(yù)設(shè)手勢(shì)動(dòng)作所對(duì)應(yīng)的至少一種操作。

可選地，在識(shí)別操作體的當(dāng)前手勢(shì)動(dòng)作之前，還包括：確定當(dāng)手勢(shì)動(dòng)作發(fā)生時(shí)所處的應(yīng)用。以及，觸發(fā)至少一種預(yù)設(shè)手勢(shì)動(dòng)作所對(duì)應(yīng)的至少一種操作，包括：根據(jù)應(yīng)用確定至少一種預(yù)設(shè)手勢(shì)動(dòng)作對(duì)應(yīng)的至少一種操作，并且觸發(fā)至少一種操作。

可選地，識(shí)別操作體的當(dāng)前手勢(shì)動(dòng)作包括在操作體為手時(shí)，識(shí)別手指的動(dòng)作。以及，判斷手勢(shì)動(dòng)作是否符合至少一種預(yù)設(shè)手勢(shì)動(dòng)作，包括判斷至少一個(gè)手指形成的姿態(tài)是否符合預(yù)設(shè)姿態(tài)。并且，在當(dāng)前手勢(shì)動(dòng)作符合至少一種預(yù)設(shè)手勢(shì)動(dòng)作時(shí)，觸發(fā)至少一種預(yù)設(shè)手勢(shì)動(dòng)作所對(duì)應(yīng)的至少一種操作，包括：在至少一個(gè)手指形成的姿態(tài)符合預(yù)設(shè)姿態(tài)時(shí)，根據(jù)形成預(yù)設(shè)姿態(tài)的至少一個(gè)手指確定至少一種操作的參數(shù)，并觸發(fā)至少一種操作以該參數(shù)執(zhí)行。

可選地，在觸發(fā)至少一種操作之后，還包括：顯示參數(shù)對(duì)應(yīng)的參數(shù)調(diào)整界面，以及在該姿態(tài)的持續(xù)過(guò)程中，該參數(shù)調(diào)整界面隨操作體而移動(dòng)。

可選地，上述判斷手勢(shì)動(dòng)作是否符合至少一種預(yù)設(shè)手勢(shì)動(dòng)作，包括：在操作體為手時(shí)，確定是否產(chǎn)生拇指和食指從張開狀態(tài)變換至捏合，以及在產(chǎn)生所述拇指和食指從張開狀態(tài)變換至捏合的動(dòng)作時(shí)，確定該手勢(shì)動(dòng)作符合對(duì)應(yīng)確認(rèn)操作的預(yù)設(shè)手勢(shì)動(dòng)作。

可選地，上述判斷手勢(shì)動(dòng)作是否符合至少一種預(yù)設(shè)手勢(shì)動(dòng)作，包括：在操作體為手時(shí)，確定是否產(chǎn)生食指、中指、無(wú)名指、小指并攏，手掌平攤，掌心朝向用戶，四指張開的動(dòng)作，以及在產(chǎn)生所述食指、中指、無(wú)名指、小指并攏，手掌平攤，掌心朝向用戶，四指張開的動(dòng)作時(shí)，確定該手勢(shì)動(dòng)作符合對(duì)應(yīng)返回上一步操作的預(yù)設(shè)手勢(shì)動(dòng)作。

本公開的另一個(gè)方面提供了一種控制系統(tǒng)，包括攝像頭，用于獲取包括操作體在內(nèi)的圖像，還包括處理器，該處理器與攝像頭連接，處理器執(zhí)行：解析獲取得到的圖像，識(shí)別操作體的當(dāng)前手勢(shì)動(dòng)作，判斷識(shí)別到的手勢(shì)動(dòng)作是否符合至少一種預(yù)設(shè)的手勢(shì)動(dòng)作，其中，至少一種預(yù)設(shè)手勢(shì)動(dòng)作對(duì)應(yīng)至少一種操作，以及在當(dāng)前手勢(shì)動(dòng)作符合至少一種預(yù)設(shè)手勢(shì)動(dòng)作時(shí)，觸發(fā)至少一種預(yù)設(shè)手勢(shì)動(dòng)作所對(duì)應(yīng)的至少一種操作。

可選地，在識(shí)別操作體的當(dāng)前手勢(shì)動(dòng)作之前，還包括：確定當(dāng)手勢(shì)動(dòng)作發(fā)生時(shí)所處的應(yīng)用。以及，觸發(fā)至少一種預(yù)設(shè)手勢(shì)動(dòng)作所對(duì)應(yīng)的至少一種操作，包括：根據(jù)應(yīng)用確定至少一種預(yù)設(shè)手勢(shì)動(dòng)作對(duì)應(yīng)的至少一種操作，并且觸發(fā)至少一種操作。

可選地，識(shí)別操作體的當(dāng)前手勢(shì)動(dòng)作包括在操作體為手時(shí)，識(shí)別手指的動(dòng)作。以及，判斷手勢(shì)動(dòng)作是否符合至少一種預(yù)設(shè)手勢(shì)動(dòng)作，包括判斷至少一個(gè)手指形成的姿態(tài)是否符合預(yù)設(shè)姿態(tài)。并且，在當(dāng)前手勢(shì)動(dòng)作符合至少一種預(yù)設(shè)手勢(shì)動(dòng)作時(shí)，觸發(fā)至少一種預(yù)設(shè)手勢(shì)動(dòng)作所對(duì)應(yīng)的至少一種操作，包括：在至少一個(gè)手指形成的姿態(tài)符合預(yù)設(shè)姿態(tài)時(shí)，根據(jù)形成預(yù)設(shè)姿態(tài)的至少一個(gè)手指確定至少一種操作的參數(shù)，并觸發(fā)至少一種操作以該參數(shù)執(zhí)行。

可選地，在觸發(fā)至少一種操作之后，還包括：顯示參數(shù)對(duì)應(yīng)的參數(shù)調(diào)整界面，以及在該姿態(tài)的持續(xù)過(guò)程中，該參數(shù)調(diào)整界面隨操作體而移動(dòng)。

可選地，上述判斷手勢(shì)動(dòng)作是否符合至少一種預(yù)設(shè)手勢(shì)動(dòng)作，包括：在操作體為手時(shí)，確定是否產(chǎn)生拇指和食指從張開狀態(tài)變換至捏合；以及在產(chǎn)生所述拇指和食指從張開狀態(tài)變換至捏合的動(dòng)作時(shí)，確定該手勢(shì)動(dòng)作符合對(duì)應(yīng)確認(rèn)操作的預(yù)設(shè)手勢(shì)動(dòng)作。

可選地，上述判斷手勢(shì)動(dòng)作是否符合至少一種預(yù)設(shè)手勢(shì)動(dòng)作，包括：在操作體為手時(shí)，確定是否產(chǎn)生食指、中指、無(wú)名指、小指并攏，手掌平攤，掌心朝向用戶，四指張開的動(dòng)作，以及在產(chǎn)生所述食指、中指、無(wú)名指、小指并攏，手掌平攤，掌心朝向用戶，四指張開的動(dòng)作時(shí)，確定該手勢(shì)動(dòng)作符合對(duì)應(yīng)返回上一步操作的預(yù)設(shè)手勢(shì)動(dòng)作。

本公開的另一方面提供了一種非易失性存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，所述指令在被執(zhí)行時(shí)用于實(shí)現(xiàn)如上所述的方法。

本公開的另一方面提供了一種計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括計(jì)算機(jī)可執(zhí)行指令，所述指令在被執(zhí)行時(shí)用于實(shí)現(xiàn)如上所述的方法。

附圖說(shuō)明

為了更完整地理解本公開及其優(yōu)勢(shì)，現(xiàn)在將參考結(jié)合附圖的以下描述，其中：

圖1示意性示出了根據(jù)本公開實(shí)施例的控制方法的流程圖；

圖2示意性示出了根據(jù)本公開另一實(shí)施例的控制方法的流程圖；

圖3a示意性示出了根據(jù)本公開實(shí)施例的畫圖應(yīng)用場(chǎng)景下的控制方法的流程圖；

圖3b-圖3e示意性示出了根據(jù)本公開實(shí)施例的畫圖應(yīng)用場(chǎng)景下的手勢(shì)動(dòng)作示意圖；

圖3f示意性示出了根據(jù)本公開另一實(shí)施例的畫圖應(yīng)用場(chǎng)景下的控制方法的流程圖；

圖3g-圖3h示意性示出了根據(jù)本公開實(shí)施例的畫圖應(yīng)用場(chǎng)景下的參數(shù)調(diào)整界面示意圖；

圖4a-圖4e示意性示出了根據(jù)本公開實(shí)施例的系統(tǒng)操作應(yīng)用場(chǎng)景下的手勢(shì)動(dòng)作示意圖；

圖5示意性示出了根據(jù)本公開實(shí)施例的控制系統(tǒng)的框圖；以及

圖6示意性示出了根據(jù)本公開另一實(shí)施例的控制系統(tǒng)的框圖。

具體實(shí)施方式

以下，將參照附圖來(lái)描述本公開的實(shí)施例。但是應(yīng)該理解，這些描述只是示例性的，而并非要限制本公開的范圍。此外，在以下說(shuō)明中，省略了對(duì)公知結(jié)構(gòu)和技術(shù)的描述，以避免不必要地混淆本公開的概念。

在此使用的術(shù)語(yǔ)僅僅是為了描述具體實(shí)施例，而并非意在限制本公開。這里使用的詞語(yǔ)“一”、“一個(gè)(種)”和“該”等也應(yīng)包括“多個(gè)”、“多種”的意思，除非上下文另外明確指出。此外，在此使用的術(shù)語(yǔ)“包括”、“包含”等表明了所述特征、步驟、操作和/或部件的存在，但是并不排除存在或添加一個(gè)或多個(gè)其他特征、步驟、操作或部件。

在此使用的所有術(shù)語(yǔ)(包括技術(shù)和科學(xué)術(shù)語(yǔ))具有本領(lǐng)域技術(shù)人員通常所理解的含義，除非另外定義。應(yīng)注意，這里使用的術(shù)語(yǔ)應(yīng)解釋為具有與本說(shuō)明書的上下文相一致的含義，而不應(yīng)以理想化或過(guò)于刻板的方式來(lái)解釋。

附圖中示出了一些方框圖和/或流程圖。應(yīng)理解，方框圖和/或流程圖中的一些方框或其組合可以由計(jì)算機(jī)程序指令來(lái)實(shí)現(xiàn)。這些計(jì)算機(jī)程序指令可以提供給通用計(jì)算機(jī)、專用計(jì)算機(jī)或其他可編程數(shù)據(jù)處理裝置的處理器，從而這些指令在由該處理器執(zhí)行時(shí)可以創(chuàng)建用于實(shí)現(xiàn)這些方框圖和/或流程圖中所說(shuō)明的功能/操作的裝置。

因此，本公開的技術(shù)可以硬件和/或軟件(包括固件、微代碼等)的形式來(lái)實(shí)現(xiàn)。另外，本公開的技術(shù)可以采取存儲(chǔ)有指令的計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品的形式，該計(jì)算機(jī)程序產(chǎn)品可供指令執(zhí)行系統(tǒng)使用或者結(jié)合指令執(zhí)行系統(tǒng)使用。在本公開的上下文中，計(jì)算機(jī)可讀介質(zhì)可以是能夠包含、存儲(chǔ)、傳送、傳播或傳輸指令的任意介質(zhì)。例如，計(jì)算機(jī)可讀介質(zhì)可以包括但不限于電、磁、光、電磁、紅外或半導(dǎo)體系統(tǒng)、裝置、器件或傳播介質(zhì)。計(jì)算機(jī)可讀介質(zhì)的具體示例包括：磁存儲(chǔ)裝置，如磁帶或硬盤(hdd)；光存儲(chǔ)裝置，如光盤(cd-rom)；存儲(chǔ)器，如隨機(jī)存取存儲(chǔ)器(ram)或閃存；和/或有線/無(wú)線通信鏈路。

目前，通過(guò)手寫、手繪以及手勢(shì)操作等，以手勢(shì)動(dòng)作作為輸入是ar和/或vr技術(shù)中一種非常重要的輸入方式。通過(guò)使用自然的手勢(shì)姿態(tài)觸發(fā)相應(yīng)的操作，代替目前常見的手柄操作，可以實(shí)現(xiàn)更加自然的交互方式，符合用戶認(rèn)知，學(xué)習(xí)成本低，可以優(yōu)化用戶體驗(yàn)。

在ar或vr設(shè)備中使用手寫/手繪的方式可以把文字、線條、圖像等信息以3d立體的形態(tài)輸入給設(shè)備，以便存儲(chǔ)或者展示給第三方等。手寫/手繪輸入可應(yīng)用在諸多使用場(chǎng)景中，例如，在遠(yuǎn)程協(xié)助場(chǎng)景中(例如，機(jī)械維修現(xiàn)場(chǎng)、醫(yī)療救護(hù)現(xiàn)場(chǎng)、工程設(shè)計(jì)現(xiàn)場(chǎng)等)，使用者通過(guò)佩戴ar眼鏡，在現(xiàn)實(shí)環(huán)境中描畫一些虛擬指示(例如，線條、箭頭、圓圈等)疊加在現(xiàn)實(shí)物體之上作為指示，與另一名ar眼鏡佩戴者交換信息。在藝術(shù)創(chuàng)作或者產(chǎn)品設(shè)計(jì)等場(chǎng)景中，使用者可以通過(guò)手勢(shì)動(dòng)作代替畫筆在三維空間里進(jìn)行創(chuàng)作。在支付場(chǎng)景下，使用者還可以通過(guò)手勢(shì)動(dòng)作實(shí)現(xiàn)支付簽名或者3d密碼繪制等。

根據(jù)本公開的各個(gè)實(shí)施例，提供了一種控制方法，可以應(yīng)用于虛擬現(xiàn)實(shí)或者增強(qiáng)現(xiàn)實(shí)的電子設(shè)備中。該方法包括：通過(guò)攝像頭獲取包括操作體在內(nèi)的圖像。解析獲取得到的圖像，識(shí)別操作體的當(dāng)前手勢(shì)動(dòng)作。判斷識(shí)別到的手勢(shì)動(dòng)作是否符合至少一種預(yù)設(shè)的手勢(shì)動(dòng)作，其中，至少一種預(yù)設(shè)手勢(shì)動(dòng)作對(duì)應(yīng)至少一種操作。在當(dāng)前手勢(shì)動(dòng)作符合至少一種預(yù)設(shè)手勢(shì)動(dòng)作時(shí)，觸發(fā)至少一種預(yù)設(shè)手勢(shì)動(dòng)作所對(duì)應(yīng)的至少一種操作。

圖1示意性示出了根據(jù)本公開的實(shí)施例的控制方法的流程圖。

如圖1所示，根據(jù)本公開實(shí)施例的控制方法開始于操作s110。

操作s110：通過(guò)攝像頭獲取包括操作體在內(nèi)的圖像。

操作s120：解析所述圖像，識(shí)別所述操作體的當(dāng)前手勢(shì)動(dòng)作。

操作s130：判斷所述手勢(shì)動(dòng)作是否符合至少一種預(yù)設(shè)手勢(shì)動(dòng)作，其中，所述至少一種預(yù)設(shè)手勢(shì)動(dòng)作對(duì)應(yīng)至少一種操作。

操作s140：在所述當(dāng)前手勢(shì)動(dòng)作符合所述至少一種預(yù)設(shè)手勢(shì)動(dòng)作時(shí)，觸發(fā)所述至少一種預(yù)設(shè)手勢(shì)動(dòng)作所對(duì)應(yīng)的所述至少一種操作。

本實(shí)施例中，在使用ar或者vr設(shè)備時(shí)，通過(guò)攝像頭來(lái)獲取當(dāng)前圖像，解析獲取得到的圖像，識(shí)別圖像中操作體的手勢(shì)動(dòng)作。判斷識(shí)別得到的手勢(shì)動(dòng)作是否符合預(yù)設(shè)的手勢(shì)動(dòng)作，其中每種預(yù)設(shè)的手勢(shì)動(dòng)作都對(duì)應(yīng)至少一種操作。當(dāng)識(shí)別得到的手勢(shì)動(dòng)作符合預(yù)設(shè)的手勢(shì)動(dòng)作時(shí)，表示用戶通過(guò)手勢(shì)動(dòng)作輸入操作信息，則根據(jù)當(dāng)前的手勢(shì)動(dòng)作觸發(fā)相應(yīng)的操作。

根據(jù)本公開實(shí)施例，通過(guò)手勢(shì)動(dòng)作實(shí)現(xiàn)對(duì)ar或者vr設(shè)備的輸入操作，可以更加自然地進(jìn)行人機(jī)交互，提高用戶體驗(yàn)。

下面結(jié)合本公開實(shí)施例，針對(duì)上述操作s110-s140進(jìn)行描述。

在操作s110，通過(guò)攝像頭獲取包括操作體在內(nèi)的圖像。根據(jù)本公開實(shí)施例，獲取包括操作體在內(nèi)的圖像的手段和方式可以多種多樣，例如，可以通過(guò)虛擬現(xiàn)實(shí)或者增強(qiáng)現(xiàn)實(shí)設(shè)備上的深度相機(jī)來(lái)捕捉進(jìn)入深度相機(jī)拍攝范圍內(nèi)的圖像。操作體可以是任何經(jīng)過(guò)預(yù)先設(shè)置的，能夠被攝像頭獲取的特定物體，也可以是任何進(jìn)入攝像頭拍攝范圍的可以活動(dòng)的物體，例如，操作體可以是人的肢體(例如，手指和/或手掌)等。

根據(jù)本公開實(shí)施例，攝像頭可以在操作體出現(xiàn)在拍攝范圍內(nèi)時(shí)，開始獲取包括操作體在內(nèi)的圖像，在操作體離開拍攝范圍后，停止獲取圖像。攝像頭也可以一直處于工作狀態(tài)，持續(xù)獲取圖像。

在操作s120，解析獲取的圖像，識(shí)別操作體的當(dāng)前手勢(shì)動(dòng)作。根據(jù)本公開的實(shí)施例，當(dāng)操作體是手時(shí)，解析圖像并且識(shí)別操作體的當(dāng)前手勢(shì)動(dòng)作。手勢(shì)動(dòng)作可以是動(dòng)態(tài)的手勢(shì)動(dòng)作，例如，食指伸出、握拳等其他手勢(shì)動(dòng)作。手勢(shì)動(dòng)作還可以是靜態(tài)的手勢(shì)姿態(tài)，例如，兩手指處于捏合姿態(tài)等。

在操作s130，判斷識(shí)別得到的手勢(shì)動(dòng)作是否符合至少一種預(yù)設(shè)手勢(shì)動(dòng)作，其中，至少一種預(yù)設(shè)手勢(shì)動(dòng)作對(duì)應(yīng)至少一種操作。根據(jù)本公開實(shí)施例，預(yù)先設(shè)置至少一個(gè)手勢(shì)動(dòng)作，以使每一個(gè)手勢(shì)動(dòng)作對(duì)應(yīng)至少一種操作。例如，食指伸出動(dòng)作對(duì)應(yīng)選中確定操作、或者兩指從分開到捏合的動(dòng)作對(duì)應(yīng)開啟畫筆操作、或者兩指處于捏合的姿態(tài)對(duì)應(yīng)畫筆正在使用等。

在操作s140，在當(dāng)前手勢(shì)動(dòng)作符合至少一種預(yù)設(shè)手勢(shì)動(dòng)作時(shí)，觸發(fā)至少一種預(yù)設(shè)手勢(shì)動(dòng)作所對(duì)應(yīng)的至少一種操作。根據(jù)本公開實(shí)施例，當(dāng)識(shí)別得到的手勢(shì)動(dòng)作符合至少一種預(yù)設(shè)的手勢(shì)動(dòng)作時(shí)，表示用戶想要通過(guò)該手勢(shì)動(dòng)作觸發(fā)相應(yīng)的操作。例如，用戶伸出食指點(diǎn)選一虛擬物體a時(shí)，則觸發(fā)選中確定操作，表示選中虛擬物體a。

根據(jù)本公開實(shí)施例，預(yù)先設(shè)置至少一種手勢(shì)動(dòng)作，且每一種手勢(shì)動(dòng)作對(duì)應(yīng)至少一種操作。當(dāng)出現(xiàn)某一手勢(shì)動(dòng)作時(shí)，相應(yīng)觸發(fā)某一操作。這樣，用戶通過(guò)手勢(shì)動(dòng)作實(shí)現(xiàn)對(duì)ar或者vr設(shè)備的輸入操作，可以更加自然地進(jìn)行人機(jī)交互，提高用戶體驗(yàn)。

圖2示意性示出了根據(jù)本公開另一實(shí)施例的控制方法的流程圖。

如圖2所示，在操作s120之前還包括操作s210。操作s110、s120以及s130與上述參考圖2描述的方法相同或類似。

在操作s210，確定當(dāng)手勢(shì)動(dòng)作發(fā)生時(shí)所處的應(yīng)用。根據(jù)本公開實(shí)施例，操作s210可以發(fā)生在操作s110之前，也可以發(fā)生在操作s110之后，還可以與s110同時(shí)進(jìn)行。確定發(fā)生當(dāng)前手勢(shì)動(dòng)作所處的應(yīng)用，例如可以是，當(dāng)前手勢(shì)動(dòng)作發(fā)生在畫圖應(yīng)用下，或者當(dāng)前手勢(shì)動(dòng)作發(fā)生在系統(tǒng)操作下等。

在操作s220，根據(jù)應(yīng)用確定至少一種預(yù)設(shè)手勢(shì)動(dòng)作對(duì)應(yīng)的至少一種操作，以及觸發(fā)該至少一種操作。根據(jù)本公開實(shí)施例，在不同的應(yīng)用中，相同的預(yù)設(shè)手勢(shì)可以對(duì)應(yīng)不同的操作。例如，在畫圖應(yīng)用中，兩指處于捏合的手勢(shì)姿態(tài)可以對(duì)應(yīng)畫筆操作。在系統(tǒng)操作下，兩指捏合的手勢(shì)動(dòng)作可以對(duì)應(yīng)確認(rèn)指令等。

因此，在確定預(yù)設(shè)手勢(shì)的對(duì)應(yīng)操作時(shí)，需要考慮到當(dāng)前應(yīng)用，根據(jù)不同應(yīng)用下預(yù)先設(shè)定的預(yù)設(shè)手勢(shì)與操作的對(duì)應(yīng)關(guān)系觸發(fā)指定的操作，從而更加符合人機(jī)交互習(xí)慣，避免用戶需要掌握多種手勢(shì)以應(yīng)對(duì)不同的操作，可以降低學(xué)習(xí)成本。

圖3和圖4示意性示出了根據(jù)本公開實(shí)施例的控制方法的應(yīng)用場(chǎng)景示意圖。更具體地，圖3a-圖3g表示當(dāng)前手勢(shì)動(dòng)作發(fā)生在畫圖應(yīng)用下的手勢(shì)控制方法。圖4a-圖4e表示當(dāng)前手勢(shì)動(dòng)作發(fā)生在系統(tǒng)操作應(yīng)用下的手勢(shì)控制方法。

如圖3a所示，操作s110和s210與上述參考圖2和圖3描述的方法相同或類似。

操作s310，在操作體為手時(shí)，識(shí)別手指的動(dòng)作。

操作s320，判斷至少一個(gè)手指形成的姿態(tài)是否符合預(yù)設(shè)姿態(tài)。

操作s330，在所述至少一個(gè)手指形成的姿態(tài)符合所述預(yù)設(shè)姿態(tài)時(shí)，根據(jù)形成所述預(yù)設(shè)姿態(tài)的所述至少一個(gè)手指確定所述至少一種操作的參數(shù)，并觸發(fā)所述至少一種操作以所述參數(shù)執(zhí)行。

根據(jù)本公開實(shí)施例，在確定當(dāng)前手勢(shì)動(dòng)作發(fā)生在畫圖應(yīng)用場(chǎng)景下時(shí)，并且操作體為手的情況下，識(shí)別用戶的手指動(dòng)作，判斷手指之間形成的姿態(tài)是否符合預(yù)設(shè)姿態(tài)(例如，兩指捏合的姿態(tài))，在手指形成的姿態(tài)符合預(yù)設(shè)姿態(tài)的情況下，該預(yù)設(shè)姿態(tài)對(duì)應(yīng)一種操作，但是不同手指形成的該預(yù)設(shè)姿態(tài)(例如，食指和拇指形成捏合姿態(tài)，或者中指和拇指形成捏合姿態(tài)等)可以代表不同的參數(shù)，并觸發(fā)該預(yù)設(shè)姿態(tài)對(duì)應(yīng)的操作以不同的參數(shù)執(zhí)行。

通過(guò)不同的手指形成的手勢(shì)姿態(tài)對(duì)應(yīng)不同的參數(shù)，方便用戶的使用和記憶。

下面結(jié)合本公開實(shí)施例，針對(duì)上述操作s310-s330進(jìn)行描述。

在操作s310，在操作體為手時(shí)，識(shí)別手指的動(dòng)作。根據(jù)本公開實(shí)施例，當(dāng)識(shí)別到操作體為手時(shí)，識(shí)別操作體的手勢(shì)動(dòng)作包括僅識(shí)別手指的手勢(shì)動(dòng)作。

操作s320，判斷至少一個(gè)手指形成的姿態(tài)是否符合預(yù)設(shè)姿態(tài)。根據(jù)本公開實(shí)施例，預(yù)設(shè)姿態(tài)可以包括兩指捏合形成的姿態(tài)，即，兩指形成一個(gè)閉環(huán)，例如，拇指與食指捏合形成一個(gè)閉環(huán)。

操作s330，在所述至少一個(gè)手指形成的姿態(tài)符合所述預(yù)設(shè)姿態(tài)時(shí)，根據(jù)形成所述姿態(tài)的所述至少一個(gè)手指確定所述至少一種操作的參數(shù)，并觸發(fā)所述至少一種操作以所述參數(shù)執(zhí)行。

例如，如圖3b所示，在畫圖應(yīng)用中，識(shí)別到兩指從分開到捏合的手指動(dòng)作時(shí)，則對(duì)應(yīng)畫筆開啟操作。在兩指捏合的手指姿態(tài)下，則對(duì)應(yīng)畫筆工作中，例如，兩指捏合的觸屏點(diǎn)作為畫筆的工作點(diǎn)，維持該手勢(shì)姿態(tài)移動(dòng)手則出現(xiàn)連續(xù)線條。在識(shí)別到兩指由捏合到分開的手指動(dòng)作時(shí)，則對(duì)應(yīng)畫筆結(jié)束操作。

根據(jù)本公開實(shí)施例，兩指捏合動(dòng)作簡(jiǎn)單，便于用戶學(xué)習(xí)。并且，兩指由分開到捏合的動(dòng)作，以及由捏合到分開的動(dòng)作可以準(zhǔn)確識(shí)別，從而可以準(zhǔn)備的控制畫筆的開啟點(diǎn)和結(jié)束點(diǎn)，避免留下多余筆觸，不能及時(shí)地開始和結(jié)束。

根據(jù)本公開實(shí)施例，兩指捏合的手勢(shì)姿態(tài)可以由不同的兩指實(shí)現(xiàn)，以對(duì)應(yīng)不同的參數(shù)。其中，參數(shù)可以包括顏色、線條粗細(xì)或者線條類型等等。

例如，如圖3c所示，拇指和食指捏合對(duì)應(yīng)藍(lán)色的畫筆參數(shù)。拇指和中指捏合對(duì)應(yīng)紅色的畫筆參數(shù)。拇指和無(wú)名指捏合對(duì)應(yīng)黃色的畫筆參數(shù)。拇指和小指捏合對(duì)應(yīng)綠色的畫筆參數(shù)。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，兩指捏合不限于上述舉例的兩指組合情況，顏色參數(shù)也不限于上述舉例的四種顏色。

例如，如圖3d所示，拇指和食指捏合對(duì)應(yīng)2倍線條粗細(xì)的畫筆參數(shù)。拇指和中指捏合對(duì)應(yīng)1倍線條粗細(xì)的畫筆參數(shù)。拇指和無(wú)名指捏合對(duì)應(yīng)1/2倍線條粗細(xì)的畫筆參數(shù)。拇指和小指捏合對(duì)應(yīng)1/4倍線條粗細(xì)的畫筆參數(shù)。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，兩指捏合不限于上述舉例的兩指組合情況，線條粗細(xì)參數(shù)也不限于上述舉例的四種粗細(xì)參數(shù)。

例如，如圖3e所示，拇指和食指捏合對(duì)應(yīng)直線的畫筆參數(shù)。拇指和中指捏合對(duì)應(yīng)虛線的畫筆參數(shù)。拇指和無(wú)名指捏合對(duì)應(yīng)稀疏波浪線的畫筆參數(shù)。拇指和小指捏合對(duì)應(yīng)密集波浪線的畫筆參數(shù)。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，兩指捏合不限于上述舉例的兩指組合情況，線條類型參數(shù)也不限于上述舉例的四種類型。

根據(jù)本公開實(shí)施例，兩指捏合所對(duì)應(yīng)的參數(shù)還可以包括，拇指和食指捏合表示顏色參數(shù)，拇指和食指捏合表示線條粗細(xì)參數(shù)，拇指和無(wú)名指捏合表示線條類型參數(shù)等。

圖3f示意性示出了根據(jù)本公開另一實(shí)施例的畫圖應(yīng)用場(chǎng)景下的控制方法的流程圖。該實(shí)施例可以在畫圖應(yīng)用場(chǎng)景下顯示參數(shù)調(diào)整界面。

如圖3f所示，操作s110、s210以及s310-s330與上述參考圖2-圖3a描述的方法相同或類似。

操作s340，顯示所述參數(shù)對(duì)應(yīng)的參數(shù)調(diào)整界面。

操作s350，在所述姿態(tài)的持續(xù)過(guò)程中，所述參數(shù)調(diào)整界面隨所述操作體而移動(dòng)。

根據(jù)本公開實(shí)施例，在畫圖應(yīng)用場(chǎng)景下還可以隨時(shí)顯示參數(shù)調(diào)整界面，并且該參數(shù)調(diào)整界面隨操作體顯示，可以為用戶提供更多的參數(shù)選擇。

下面結(jié)合本公開實(shí)施例，針對(duì)上述操作s340-s350進(jìn)行描述。

在操作s340，顯示所述參數(shù)對(duì)應(yīng)的參數(shù)調(diào)整界面。根據(jù)本公開實(shí)施例，顯示參數(shù)調(diào)整界面可以包括顯示全部參數(shù)的調(diào)整界面，例如，如圖3g所示，調(diào)整界面包括顏色參數(shù)、線條粗細(xì)參數(shù)以及線條類型參數(shù)。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，圖3g僅是示意圖，本公開不限于如圖3g所示的三種參數(shù)，也不限于如圖3g所示的界面布局。

顯示參數(shù)調(diào)整界面還可以包括只顯示一種參數(shù)的調(diào)整界面。例如，食指和拇指捏合對(duì)應(yīng)顏色參數(shù)，則顯示顏色參數(shù)的調(diào)整界面，以供用戶選擇?；蛘咧兄负湍粗改蠛蠈?duì)應(yīng)線條粗細(xì)參數(shù)，則顯示線條粗細(xì)參數(shù)的調(diào)整界面，以供用戶選擇。或者無(wú)名指和拇指捏合對(duì)應(yīng)線條類型參數(shù)，則顯示線條類型參數(shù)的調(diào)整界面，以供用戶選擇。

操作s350，在所述姿態(tài)的持續(xù)過(guò)程中，所述參數(shù)調(diào)整界面隨所述操作體而移動(dòng)。如圖3h所示，當(dāng)用戶維持預(yù)設(shè)的手勢(shì)姿態(tài)運(yùn)行過(guò)程中，參數(shù)調(diào)整頁(yè)面跟隨操作體(手)移動(dòng)。根據(jù)本公開實(shí)施例，參數(shù)調(diào)整界面在不影響用戶視野，并且不影響操作體操作的情況下，可以根據(jù)情況調(diào)整位置，例如有操作體的右側(cè)調(diào)整到左側(cè)或者上方或者下方。

根據(jù)本公開實(shí)施例，在操作體附近顯示參數(shù)調(diào)整界面，為用戶提供多種選擇，便于用戶操作。

圖4a-圖4e示意性示出了根據(jù)本公開實(shí)施例的系統(tǒng)操作應(yīng)用場(chǎng)景下的手勢(shì)動(dòng)作示意圖。

圖4a-圖4d表示在系統(tǒng)操作應(yīng)用場(chǎng)景下的確認(rèn)操作。例如，當(dāng)前顯示場(chǎng)景中，用戶想要選中虛擬對(duì)象a以表示確認(rèn)時(shí)，將顯示焦點(diǎn)切換(例如通過(guò)手指選中或者其他方式切換)至虛擬對(duì)象a后，可以使用手勢(shì)動(dòng)作表示確認(rèn)指令。

如圖4a，在所述操作體為手時(shí)，確定是否產(chǎn)生拇指和食指從張開狀態(tài)變換至捏合。在產(chǎn)生所述拇指和食指從張開狀態(tài)變換至捏合的動(dòng)作時(shí)，確定所述手勢(shì)動(dòng)作符合對(duì)應(yīng)確認(rèn)操作的預(yù)設(shè)手勢(shì)動(dòng)作。根據(jù)本公開實(shí)施例，當(dāng)識(shí)別到拇指和食指張開，其余三指自然彎曲于掌心，拇指與食指捏合一次，則表示用戶進(jìn)行一次“確認(rèn)”操作。

如圖4b，在操作體為手時(shí)，當(dāng)識(shí)別到拇指、中指、無(wú)名指、小指呈握拳狀，食指伸直，指向前方，整個(gè)手部保持此姿勢(shì)，向前做一次位移，則表示用戶進(jìn)行一次“確認(rèn)”操作。

如圖4c，在操作體為手時(shí)，當(dāng)識(shí)別到食指、中指、無(wú)名指、小指呈握拳狀，拇指自然彎曲與其余四指分開，掌心朝向用戶，拇指做按壓動(dòng)作，碰到食指一次，則表示用戶進(jìn)行一次“確認(rèn)”操作。

如圖4d，在操作體為手時(shí)，當(dāng)識(shí)別到五指張開，手掌平攤，掌心朝向用戶，拇指向食指并攏，觸碰到食指一次，則表示用戶進(jìn)行一次“確認(rèn)”操作。

圖4e表示在系統(tǒng)操作應(yīng)用場(chǎng)景下的“返回上一步”操作。例如，用戶執(zhí)行操作時(shí)，用戶想要返回上一步重新進(jìn)行操作，可以使用手勢(shì)動(dòng)作表示“返回上一步”指令。

根據(jù)本公開實(shí)施例，在所述操作體為手時(shí)，確定是否產(chǎn)生食指、中指、無(wú)名指、小指并攏，手掌平攤，掌心朝向用戶，所述四指張開的動(dòng)作。以及在產(chǎn)生所述食指、中指、無(wú)名指、小指并攏，手掌平攤，掌心朝向用戶，所述四指張開的動(dòng)作時(shí)，確定所述手勢(shì)動(dòng)作符合對(duì)應(yīng)返回上一步操作的預(yù)設(shè)手勢(shì)動(dòng)作。即，當(dāng)識(shí)別到食指、中指、無(wú)名指、小指并攏，手掌平攤，掌心朝向用戶，四指張開一次的動(dòng)作，則表示用戶進(jìn)行一次“返回上一步”操作。

通過(guò)簡(jiǎn)單易學(xué)習(xí)并且容易記憶的手勢(shì)實(shí)現(xiàn)系統(tǒng)級(jí)操作(例如，“確認(rèn)”和“返回上一級(jí)”的操作)，方便ar和/或vr設(shè)備的使用，優(yōu)化用戶體驗(yàn)。

圖5示意性示出了根據(jù)本公開的實(shí)施例的控制系統(tǒng)500的框圖。

如圖5所示，控制系統(tǒng)500包括攝像頭510和處理器520。該控制系統(tǒng)500可以執(zhí)行上面參考圖2-圖4描述的方法，以實(shí)現(xiàn)通過(guò)手勢(shì)動(dòng)作完成特定操作。

具體地，攝像頭510，用于獲取包括操作體在內(nèi)的圖像。

處理器520與攝像頭510連接，并且處理器520執(zhí)行：解析所述圖像，識(shí)別所述操作體的當(dāng)前手勢(shì)動(dòng)作。判斷所述手勢(shì)動(dòng)作是否符合至少一種預(yù)設(shè)手勢(shì)動(dòng)作，其中，所述至少一種預(yù)設(shè)手勢(shì)動(dòng)作對(duì)應(yīng)至少一種操作。在所述當(dāng)前手勢(shì)動(dòng)作符合所述至少一種預(yù)設(shè)手勢(shì)動(dòng)作時(shí)，觸發(fā)所述至少一種預(yù)設(shè)手勢(shì)動(dòng)作所對(duì)應(yīng)的所述至少一種操作。

根據(jù)本公開實(shí)施例，攝像頭510與處理器520可以通過(guò)wifi連接，也可以通過(guò)藍(lán)牙連接，還可以通過(guò)物理接口連接等等。

根據(jù)本公開實(shí)施例，處理器520執(zhí)行包括圖2-圖4中任意一個(gè)或者任意多個(gè)組合的處理方法，以及本公開中所列示的其他處理方法。

具體地，處理器520在識(shí)別操作體的當(dāng)前手勢(shì)動(dòng)作之前，還包括，確定當(dāng)手勢(shì)動(dòng)作發(fā)生時(shí)所處的應(yīng)用。觸發(fā)至少一種預(yù)設(shè)手勢(shì)動(dòng)作所對(duì)應(yīng)的至少一種操作，包括，根據(jù)應(yīng)用確定至少一種預(yù)設(shè)手勢(shì)動(dòng)作對(duì)應(yīng)的至少一種操作，并且觸發(fā)至少一種操作。

具體地，處理器520識(shí)別操作體的當(dāng)前手勢(shì)動(dòng)作包括在操作體為手時(shí)，識(shí)別手指的動(dòng)作。判斷手勢(shì)動(dòng)作是否符合至少一種預(yù)設(shè)手勢(shì)動(dòng)作，包括判斷至少一個(gè)手指形成的姿態(tài)是否符合預(yù)設(shè)姿態(tài)。并且，在當(dāng)前手勢(shì)動(dòng)作符合至少一種預(yù)設(shè)手勢(shì)動(dòng)作時(shí)，觸發(fā)至少一種預(yù)設(shè)手勢(shì)動(dòng)作所對(duì)應(yīng)的至少一種操作，包括：在至少一個(gè)手指形成的姿態(tài)符合預(yù)設(shè)姿態(tài)時(shí)，根據(jù)形成姿態(tài)的至少一個(gè)手指確定至少一種操作的參數(shù)，并觸發(fā)至少一種操作以該參數(shù)執(zhí)行。

具體地，處理器520在觸發(fā)至少一種操作之后，還包括，顯示參數(shù)對(duì)應(yīng)的參數(shù)調(diào)整界面，以及在該姿態(tài)的持續(xù)過(guò)程中，該參數(shù)調(diào)整界面隨操作體而移動(dòng)。

具體地，處理器520判斷手勢(shì)動(dòng)作是否符合至少一種預(yù)設(shè)手勢(shì)動(dòng)作，包括：在操作體為手時(shí)，確定是否產(chǎn)生拇指和食指從張開狀態(tài)變換至捏合，以及在產(chǎn)生所述拇指和食指從張開狀態(tài)變換至捏合的動(dòng)作時(shí)，確定該手勢(shì)動(dòng)作符合對(duì)應(yīng)確認(rèn)操作的預(yù)設(shè)手勢(shì)動(dòng)作。

具體地，處理器520判斷手勢(shì)動(dòng)作是否符合至少一種預(yù)設(shè)手勢(shì)動(dòng)作，包括：在操作體為手時(shí)，確定是否產(chǎn)生食指、中指、無(wú)名指、小指并攏，手掌平攤，掌心朝向用戶，四指張開的動(dòng)作，以及在產(chǎn)生所述食指、中指、無(wú)名指、小指并攏，手掌平攤，掌心朝向用戶，四指張開的動(dòng)作時(shí)，確定該手勢(shì)動(dòng)作符合對(duì)應(yīng)返回上一步操作的預(yù)設(shè)手勢(shì)動(dòng)作。

根據(jù)本公開實(shí)施例，通過(guò)手勢(shì)動(dòng)作實(shí)現(xiàn)對(duì)ar或者vr設(shè)備的輸入操作，可以更加自然地進(jìn)行人機(jī)交互，提高用戶體驗(yàn)。

圖6示意性示出了根據(jù)本公開的另一實(shí)施例的控制系統(tǒng)600的框圖。

如圖6所示，控制系統(tǒng)600包括處理器610、以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)620。該控制系統(tǒng)600可以執(zhí)行上面參考圖2～圖4描述的方法，以實(shí)現(xiàn)通過(guò)手勢(shì)動(dòng)作完成特定操作的目的。

具體地，處理器610例如可以包括通用微處理器、指令集處理器和/或相關(guān)芯片組和/或?qū)Ｓ梦⑻幚砥?例如，專用集成電路(asic))，等等。處理器610還可以包括用于緩存用途的板載存儲(chǔ)器。處理器610可以是用于執(zhí)行參考圖2～圖4描述的根據(jù)本公開實(shí)施例的方法流程的不同動(dòng)作的單一處理單元或者是多個(gè)處理單元。

計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)620，例如可以是能夠包含、存儲(chǔ)、傳送、傳播或傳輸指令的任意介質(zhì)。例如，可讀存儲(chǔ)介質(zhì)可以包括但不限于電、磁、光、電磁、紅外或半導(dǎo)體系統(tǒng)、裝置、器件或傳播介質(zhì)?？勺x存儲(chǔ)介質(zhì)的具體示例包括：磁存儲(chǔ)裝置，如磁帶或硬盤(hdd)；光存儲(chǔ)裝置，如光盤(cd-rom)；存儲(chǔ)器，如隨機(jī)存取存儲(chǔ)器(ram)或閃存；和/或有線/無(wú)線通信鏈路。

計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)620可以包括計(jì)算機(jī)程序621，該計(jì)算機(jī)程序621可以包括代碼/計(jì)算機(jī)可執(zhí)行指令，其在由處理器610執(zhí)行時(shí)使得處理器610執(zhí)行例如上面結(jié)合圖2～圖4所描述的方法流程及其任何變形。

計(jì)算機(jī)程序621可被配置為具有例如包括計(jì)算機(jī)程序模塊的計(jì)算機(jī)程序代碼。例如，在示例實(shí)施例中，計(jì)算機(jī)程序621中的代碼可以包括一個(gè)或多個(gè)程序模塊，例如包括621a、模塊621b、……。應(yīng)當(dāng)注意，模塊的劃分方式和個(gè)數(shù)并不是固定的，本領(lǐng)域技術(shù)人員可以根據(jù)實(shí)際情況使用合適的程序模塊或程序模塊組合，當(dāng)這些程序模塊組合被處理器610執(zhí)行時(shí)，使得處理器610可以執(zhí)行例如上面結(jié)合圖2～圖4所描述的方法流程及其任何變形。

盡管已經(jīng)參照本公開的特定示例性實(shí)施例示出并描述了本公開，但是本領(lǐng)域技術(shù)人員應(yīng)該理解，在不背離所附權(quán)利要求及其等同物限定的本公開的精神和范圍的情況下，可以對(duì)本公開進(jìn)行形式和細(xì)節(jié)上的多種改變。因此，本公開的范圍不應(yīng)該限于上述實(shí)施例，而是應(yīng)該不僅由所附權(quán)利要求來(lái)進(jìn)行確定，還由所附權(quán)利要求的等同物來(lái)進(jìn)行限定。