基于超聲與視覺(jué)的復(fù)合式手勢(shì)識(shí)別設(shè)備及其控制方法
【專利摘要】本發(fā)明公開了一種基于超聲與視覺(jué)的復(fù)合式手勢(shì)識(shí)別設(shè)備及其控制方法，該設(shè)備包括視覺(jué)識(shí)別單元、超聲識(shí)別單元、以及用于根據(jù)使用條件來(lái)控制在視覺(jué)識(shí)別單元與超聲識(shí)別單元之間進(jìn)行選擇性切換控制單元，當(dāng)設(shè)備處于待機(jī)狀態(tài)時(shí)，切換為選擇超聲識(shí)別單元識(shí)別手勢(shì)指令，以使設(shè)備進(jìn)入工作狀態(tài)；當(dāng)設(shè)備處于工作狀態(tài)時(shí)，如果判斷手勢(shì)物體與設(shè)備之間相對(duì)位移大于預(yù)定值 S ，則切換為選擇視覺(jué)識(shí)別單元識(shí)別手勢(shì)物體，否則切換為選擇超聲識(shí)別單元識(shí)別手勢(shì)物體。本方案能夠結(jié)合攝像頭識(shí)別手勢(shì)與聲波識(shí)別手勢(shì)的優(yōu)點(diǎn)，并且在不同的應(yīng)用環(huán)境中采用不同的手勢(shì)識(shí)別方式，從而適當(dāng)增長(zhǎng)多媒體設(shè)備的待機(jī)時(shí)間，識(shí)別精度和識(shí)別手勢(shì)種類都能得到提高，應(yīng)用范圍大大增加。
【專利說(shuō)明】基于超聲與視覺(jué)的復(fù)合式手勢(shì)識(shí)別設(shè)備及其控制方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種手勢(shì)識(shí)別設(shè)備及其控制方法。

【背景技術(shù)】
[0002]隨著傳感器技術(shù)的發(fā)展與各項(xiàng)技術(shù)的成熟，手勢(shì)識(shí)別技術(shù)已經(jīng)進(jìn)入可用性階段，成為高端旗艦智能手機(jī)、媒體平板電腦和智能眼鏡的一個(gè)關(guān)鍵標(biāo)志。手勢(shì)識(shí)別就是利用各類傳感器對(duì)手/手持工具的形態(tài)、位移等進(jìn)行持續(xù)采集，每隔一段時(shí)間完成一次建模，形成一個(gè)模型信息的序列幀，再將這些信息序列轉(zhuǎn)為對(duì)應(yīng)的指令，用來(lái)控制實(shí)現(xiàn)某些操作。目前各類產(chǎn)品和解決方案也開始涌現(xiàn)，市面上常見的手勢(shì)識(shí)別大部分是用多媒體設(shè)備上的攝像頭來(lái)識(shí)別手勢(shì)，基于攝像頭的手勢(shì)識(shí)別技術(shù)流程包括手勢(shì)圖像獲取、手勢(shì)分割、手勢(shì)特征提取、手勢(shì)識(shí)別、手勢(shì)匹配五大部分，該技術(shù)目前已經(jīng)相對(duì)成熟，可以較精確識(shí)別手的各種動(dòng)作，并可以將該手勢(shì)動(dòng)作來(lái)操控某些應(yīng)用軟件。另外，聲波測(cè)距也是一種成熟的技術(shù)，利用多媒體設(shè)備上的聲波發(fā)生器和聲波接收器，能識(shí)別簡(jiǎn)單的手勢(shì)，如，垂直多媒體設(shè)備方向上手遠(yuǎn)離或接近多媒體設(shè)備，平行多媒體設(shè)備方向上，上下或左右移動(dòng)，實(shí)現(xiàn)難度小，無(wú)需額外增加器件。
[0003]基于攝像頭手勢(shì)識(shí)別技術(shù)目前仍然存在一些不足，例如，要求手掌基本平行于攝像頭，導(dǎo)致用戶長(zhǎng)時(shí)間手部彎曲而感到不適；其主要利用面積變化來(lái)測(cè)量手掌與攝像頭之間的距離，在手與攝像頭距離較遠(yuǎn)的情況下誤差較大；在便攜式多媒體設(shè)備中，基于攝像頭手勢(shì)識(shí)別技術(shù)耗電量非常大，嚴(yán)重影響便攜式多媒體設(shè)備的待機(jī)時(shí)間，這對(duì)便攜式多媒體設(shè)備來(lái)說(shuō)，是一個(gè)致命的缺點(diǎn)。同樣地，基于聲波的手勢(shì)識(shí)別技術(shù)的缺點(diǎn)是:由于手掌是一個(gè)面，聲波是一種球面波，聲波經(jīng)手掌折射后返回到聲波接收器，信號(hào)處理后僅對(duì)能量較強(qiáng)的信號(hào)進(jìn)行處理和分析，不能識(shí)別經(jīng)手掌反射回來(lái)的所有信號(hào)。故只有在手相對(duì)多媒體設(shè)備有位移時(shí)才能識(shí)別，手掌平行于多媒體方向移動(dòng)距離較小時(shí)，不能識(shí)別該移動(dòng)距離；手掌移動(dòng)距離很小或者沒(méi)有位移時(shí)，不能識(shí)別手指的動(dòng)作。


【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是克服現(xiàn)有技術(shù)的缺點(diǎn)，提供一種基于超聲與視覺(jué)的復(fù)合式手勢(shì)識(shí)別設(shè)備及其控制方法，可以兼具攝像頭識(shí)別手勢(shì)與聲波識(shí)別手勢(shì)的優(yōu)點(diǎn)。
[0005]為了實(shí)現(xiàn)上述目的，本技術(shù)方案是:一種基于超聲與視覺(jué)的復(fù)合式手勢(shì)識(shí)別設(shè)備，包括:
視覺(jué)識(shí)別單元，包括攝像頭，用于通過(guò)圖像處理方式來(lái)捕捉手勢(shì)物體的運(yùn)動(dòng)軌跡；超聲識(shí)別單元，包括聲波發(fā)生器與聲波接收器，用于通過(guò)接收經(jīng)過(guò)手勢(shì)物體反射的聲波信號(hào)方式來(lái)捕捉手勢(shì)物體的運(yùn)動(dòng)軌跡；
控制單元，用于根據(jù)使用條件來(lái)控制在所述的視覺(jué)識(shí)別單元與所述的超聲識(shí)別單元之間進(jìn)行選擇性切換，其中，當(dāng)設(shè)備處于待機(jī)狀態(tài)時(shí)，切換為選擇所述的超聲識(shí)別單元識(shí)別手勢(shì)指令，以使設(shè)備進(jìn)入工作狀態(tài)；當(dāng)設(shè)備處于工作狀態(tài)時(shí)，如果判斷手勢(shì)物體與設(shè)備之間水平方向相對(duì)位移大于預(yù)定值S，則選擇視覺(jué)識(shí)別單元為識(shí)別手勢(shì)物體的主單元；如果判斷手勢(shì)物體與設(shè)備之間水平方向相對(duì)位移小于預(yù)定值S，則選擇超聲識(shí)別單元為識(shí)別手勢(shì)物體的主單元；如果判斷手勢(shì)物體與設(shè)備之間水平方向相對(duì)位移在預(yù)定值S附近，則選擇視覺(jué)識(shí)別單元、超聲識(shí)別單元共同識(shí)別手勢(shì)物體。本方案能夠結(jié)合攝像頭識(shí)別手勢(shì)與聲波識(shí)別手勢(shì)的優(yōu)點(diǎn)，并且在不同的應(yīng)用環(huán)境中采用不同的手勢(shì)識(shí)別方式，盡量避免二者的缺點(diǎn)，從而適當(dāng)增長(zhǎng)多媒體設(shè)備的待機(jī)時(shí)間，識(shí)別精度和識(shí)別手勢(shì)種類都能得到提高，應(yīng)用范圍大大增加。
[0006]作為本發(fā)明進(jìn)一步的改進(jìn)，所述的視覺(jué)識(shí)別單元采用紅外攝像頭，從而增強(qiáng)低亮度場(chǎng)景下的識(shí)別效率。
[0007]作為本發(fā)明進(jìn)一步的改進(jìn)，所述的聲波發(fā)生器包括揚(yáng)聲器部件，所述的聲波接收器包括麥克風(fēng)部件。
[0008]作為本發(fā)明進(jìn)一步的改進(jìn)，所述的多媒體設(shè)備包括便攜式設(shè)備或者非便攜式設(shè)備，舉例但不限于智能手機(jī)、平板電腦、智能電視機(jī)、筆記本電腦中。
[0009]根據(jù)本發(fā)明的另一方面，提供了一種基于超聲與視覺(jué)的復(fù)合式手勢(shì)識(shí)別設(shè)備的控制方法，所述的基于超聲與視覺(jué)的復(fù)合式手勢(shì)識(shí)別設(shè)備包括用于通過(guò)圖像處理方式來(lái)捕捉手勢(shì)物體的運(yùn)動(dòng)軌跡的視覺(jué)識(shí)別單元、用于通過(guò)接收經(jīng)過(guò)手勢(shì)物體反射的聲波信號(hào)方式來(lái)捕捉手勢(shì)物體的運(yùn)動(dòng)軌跡的超聲識(shí)別單元，以及用于在所述的視覺(jué)識(shí)別單元與所述的超聲識(shí)別單元之間進(jìn)行選擇性切換控制單元，包括如下步驟:
S1:當(dāng)設(shè)備處于待機(jī)狀態(tài)時(shí)，切換為選擇超聲識(shí)別單元識(shí)別手勢(shì)指令，以使設(shè)備進(jìn)入工作狀態(tài)；
S2:當(dāng)設(shè)備處于工作狀態(tài)時(shí)，如果判斷手勢(shì)物體與設(shè)備之間水平方向相對(duì)位移大于預(yù)定值S，則選擇視覺(jué)識(shí)別單元為識(shí)別手勢(shì)物體的主單元；
S3:當(dāng)設(shè)備處于工作狀態(tài)時(shí)，如果判斷手勢(shì)物體與設(shè)備之間水平方向相對(duì)位移小于預(yù)定值S，則選擇超聲識(shí)別單元為識(shí)別手勢(shì)物體的主單元；
S4:當(dāng)設(shè)備處于工作狀態(tài)時(shí)，如果判斷手勢(shì)物體與設(shè)備之間水平方向相對(duì)位移在預(yù)定值S附近，則選擇視覺(jué)識(shí)別單元、超聲識(shí)別單元共同識(shí)別手勢(shì)物體。
[0010]即當(dāng)設(shè)備處于工作狀態(tài)時(shí)，根據(jù)工作的應(yīng)用軟件要求切換超聲識(shí)別和視覺(jué)識(shí)別。當(dāng)應(yīng)用軟件要求識(shí)別平行與多媒體界面的平面上位移小于S的手勢(shì)物體時(shí)開啟攝像頭識(shí)別單元；當(dāng)應(yīng)用軟件要求識(shí)別平行于多媒體設(shè)備界面的平面上位移大于S的手勢(shì)物體時(shí)開啟超聲波識(shí)別單元；當(dāng)應(yīng)用軟件要求在垂直多媒體界面的空間上識(shí)別手勢(shì)時(shí)開啟超聲波識(shí)別單元；當(dāng)應(yīng)用軟件需要在在平行和垂直方向均要識(shí)別手勢(shì)時(shí)開啟超聲波識(shí)別單元和攝像頭識(shí)別單元。
[0011]作為本發(fā)明進(jìn)一步的改進(jìn)，在所述的步驟SI中，所述的手勢(shì)指令包括多個(gè)喚醒指令，每個(gè)喚醒指令分別對(duì)應(yīng)于一個(gè)喚醒后執(zhí)行的應(yīng)用程序，當(dāng)設(shè)備被喚醒的同時(shí)執(zhí)行相應(yīng)的應(yīng)用程序。
[0012]作為本發(fā)明進(jìn)一步的改進(jìn)，由被喚醒時(shí)所執(zhí)行的應(yīng)用程序在所述的視覺(jué)識(shí)別單元與所述的超聲識(shí)別單元之間進(jìn)行選擇在該應(yīng)用程序執(zhí)行過(guò)程中所采用的手勢(shì)識(shí)別方式。
[0013]作為本發(fā)明進(jìn)一步的改進(jìn)，所述的手勢(shì)物體與設(shè)備之間相對(duì)位移的預(yù)定值S由所述的超聲識(shí)別單元的聲波周期、聲波能量以及聲波占空比決定。
[0014]作為本發(fā)明進(jìn)一步的改進(jìn)，當(dāng)所述的手勢(shì)物體為手時(shí)，如果手指相對(duì)手掌變化時(shí)，則切換為選擇視覺(jué)識(shí)別單元識(shí)別手勢(shì)物體。
[0015]作為本發(fā)明進(jìn)一步的改進(jìn)，當(dāng)手勢(shì)物體的運(yùn)動(dòng)軌跡為上下翻頁(yè)、上下移動(dòng)、左右翻頁(yè)、左右移動(dòng)、放大縮小、抓取放置、平行于顯示屏的順或逆時(shí)鐘畫圈、垂直于顯示屏方向的順或逆時(shí)鐘畫圈、選取圖形界面的一種或多種時(shí)，則切換為選擇超聲識(shí)別單元識(shí)別手勢(shì)物體。
[0016]由于采用了以上技術(shù)方案，本發(fā)明基于聲波和攝像頭相結(jié)合的手勢(shì)識(shí)別，執(zhí)行對(duì)多媒體圖形界面的操作，將手勢(shì)轉(zhuǎn)化為命令來(lái)操作設(shè)備，這種方式的手勢(shì)交互技術(shù)具有如下優(yōu)勢(shì):
有效的增加多媒體設(shè)備的待機(jī)時(shí)間；
手勢(shì)種類多，對(duì)用戶圖形界面的操作可以實(shí)現(xiàn)更多更復(fù)雜的功能，交互功能大大提高，使用更加方便；
多媒體設(shè)備一般帶有聲波接收器(如麥克風(fēng))和聲波發(fā)送器(如揚(yáng)聲器)、攝像頭，無(wú)需另外添置元器件，對(duì)多媒體設(shè)備的成本影響非常小。

【專利附圖】

【附圖說(shuō)明】
[0017]附圖1所示為聲波識(shí)別手勢(shì)時(shí)聲波發(fā)生器發(fā)送的聲波；
附圖2所示為根據(jù)本發(fā)明的聲波與攝像頭結(jié)合識(shí)別手勢(shì)控制方法的流程圖；
附圖3所示為手掌在平行于多媒體設(shè)備的平面上畫圈動(dòng)作時(shí)執(zhí)行聲波識(shí)別；
附圖4所示為手掌在垂直于多媒體設(shè)備的平面上畫圈動(dòng)作時(shí)執(zhí)行聲波識(shí)別。

【具體實(shí)施方式】
[0018]下面結(jié)合附圖對(duì)本發(fā)明的較佳實(shí)施例進(jìn)行詳細(xì)闡述，以使本發(fā)明的優(yōu)點(diǎn)和特征能更易于被本領(lǐng)域技術(shù)人員理解，從而對(duì)本發(fā)明的保護(hù)范圍做出更為清楚明確的界定。
[0019]本發(fā)明的基于超聲與視覺(jué)的復(fù)合式手勢(shì)識(shí)別設(shè)備，包含如下器件:
視覺(jué)識(shí)別單元，包括至少一個(gè)攝像頭，用于通過(guò)圖像處理方式來(lái)捕捉手勢(shì)物體的運(yùn)動(dòng)軌跡；
超聲識(shí)別單元，包括聲波發(fā)生器與聲波接收器，聲波發(fā)生器用于發(fā)生聲波，聲波接收器用于接收聲波，用于通過(guò)接收經(jīng)過(guò)手勢(shì)物體反射的聲波信號(hào)方式來(lái)捕捉手勢(shì)物體的運(yùn)動(dòng)軌跡；
控制單元，包括至少一個(gè)處理器或控制器，可以進(jìn)行手勢(shì)分析和數(shù)據(jù)處理，根據(jù)使用條件來(lái)控制在視覺(jué)識(shí)別單元與超聲識(shí)別單元之間進(jìn)行選擇性切換，即按照預(yù)定的設(shè)定，在某些界面上開啟攝像頭進(jìn)行手勢(shì)識(shí)別，在某些設(shè)備上開啟聲波手勢(shì)識(shí)別關(guān)閉攝像頭識(shí)別；顯示屏:用于通過(guò)顯示圖形用戶界面與用戶進(jìn)行交互；
電子設(shè)備的使用者，人機(jī)交互的主體，通過(guò)做出遠(yuǎn)離或者接近電子屏幕的手勢(shì)動(dòng)作來(lái)實(shí)現(xiàn)交互式控制。
[0020]在本發(fā)明中，視覺(jué)識(shí)別單元可以采用紅外攝像頭，可以提高低亮度場(chǎng)景下的識(shí)別效率；另外，聲波發(fā)生器可以采用揚(yáng)聲器部件，聲波接收器可以采用麥克風(fēng)部件，這樣不會(huì)增加設(shè)備額外的成本。
[0021]本發(fā)明中的多媒體設(shè)備包括便攜式設(shè)備或者非便攜式設(shè)備，舉例但不限于智能手機(jī)、平板電腦、智能電視機(jī)、筆記本電腦中。
[0022]結(jié)合聲波手勢(shì)識(shí)別和攝像頭手勢(shì)識(shí)別的優(yōu)缺點(diǎn)，在不同的應(yīng)用環(huán)境中采用不同的手勢(shì)識(shí)別方式，盡量避免二者的缺點(diǎn)，從而適當(dāng)增長(zhǎng)多媒體設(shè)備的待機(jī)時(shí)間，識(shí)別精度和識(shí)別手勢(shì)種類都能得到提高，應(yīng)用范圍大大增加。當(dāng)設(shè)備處于工作狀態(tài)時(shí)，根據(jù)工作的應(yīng)用軟件要求切換超聲識(shí)別和視覺(jué)識(shí)別。
[0023]這里舉例詳細(xì)說(shuō)明應(yīng)用聲波識(shí)別手勢(shì)的環(huán)境:
1)多媒體設(shè)備處于待機(jī)狀態(tài)時(shí)，要求耗電量非常非常小。采用聲波識(shí)別手勢(shì)，多媒體設(shè)備周期性的發(fā)射聲波，耗電量很小，對(duì)待機(jī)時(shí)間影響非常小；
2)多媒體工作狀態(tài)下，當(dāng)應(yīng)用軟件要求識(shí)別平行于多媒體設(shè)備界面的平面上位移大于S的手勢(shì)物體時(shí)開啟超聲波識(shí)別單元；當(dāng)應(yīng)用軟件要求在垂直多媒體界面的空間上識(shí)別手勢(shì)時(shí)開啟超聲波識(shí)別單元；當(dāng)應(yīng)用軟件需要在在平行和垂直方向均要識(shí)別手勢(shì)時(shí)開啟超聲波識(shí)別單元和攝像頭識(shí)別單元；
3)多媒體設(shè)備用戶圖形界面在進(jìn)行上下翻頁(yè)，上下移動(dòng)，左右翻頁(yè)，左右移動(dòng)，放大、縮小，抓取，放置，平行于多媒體顯示屏的順或逆時(shí)鐘畫圈、垂直于多媒體顯示屏方向的順或逆時(shí)鐘畫圈，選取圖形界面的一部分，這些操作時(shí)，采用聲波識(shí)別手勢(shì)；
相對(duì)應(yīng)的，應(yīng)用攝像頭識(shí)別手勢(shì)(或者攝像頭結(jié)合紅外識(shí)別手勢(shì))的應(yīng)用環(huán)境為:
1)多媒體工作狀態(tài)下，當(dāng)應(yīng)用軟件要求識(shí)別平行與多媒體界面的平面上位移小于S的手勢(shì)物體時(shí)開啟攝像頭識(shí)別單元；
2)手指相對(duì)手掌變化時(shí)。
[0024]參見附圖1所示，由于多媒體設(shè)備大部分時(shí)間處于待機(jī)狀態(tài)，該狀態(tài)下，多媒體設(shè)備的聲波發(fā)生器一直在發(fā)射聲波，聲波圖形如圖1所示，本圖所示僅僅是正弦波，實(shí)際發(fā)送的聲波可以是正弦波、余弦波、方波、脈沖、鋸齒波等波形。tl與T的比值為發(fā)射聲波的占空比，適當(dāng)調(diào)節(jié)占空比和聲波的能量，可以使得多媒體在待機(jī)狀態(tài)下消耗的電量非常小。占空比越大，消耗電量越多，待機(jī)時(shí)間越短；發(fā)送聲波能量越大，消耗電量越多，待機(jī)時(shí)間越短。在實(shí)驗(yàn)測(cè)試過(guò)程中，該位移S數(shù)值的范圍最佳設(shè)置為5mm-5cm之間最佳，可以實(shí)現(xiàn)識(shí)別效果與耗電量的均衡值。在本發(fā)明的另一個(gè)實(shí)施例中，在設(shè)備處于待機(jī)狀態(tài)下與工作狀態(tài)下，可以采用不同的位移S數(shù)值，以保證工作狀態(tài)下具有較佳的分辨率，而在待機(jī)狀態(tài)下具有較佳節(jié)能性。
[0025]如圖2所示，為所示為根據(jù)本發(fā)明的聲波與攝像頭結(jié)合識(shí)別手勢(shì)控制方法的流程圖，本發(fā)明的基于超聲與視覺(jué)的復(fù)合式手勢(shì)識(shí)別設(shè)備的控制方法，包括如下步驟:
S1:當(dāng)設(shè)備處于待機(jī)狀態(tài)時(shí)，切換為選擇超聲識(shí)別單元識(shí)別手勢(shì)指令，以使設(shè)備進(jìn)入工作狀態(tài)，手勢(shì)指令包括多個(gè)喚醒指令，每個(gè)喚醒指令分別對(duì)應(yīng)于一個(gè)喚醒后執(zhí)行的應(yīng)用程序，當(dāng)設(shè)備被喚醒的同時(shí)執(zhí)行相應(yīng)的應(yīng)用程序，由被喚醒時(shí)所執(zhí)行的應(yīng)用程序在視覺(jué)識(shí)別單元與超聲識(shí)別單元之間進(jìn)行選擇在該應(yīng)用程序執(zhí)行過(guò)程中所采用的手勢(shì)識(shí)別方式；
S1:當(dāng)設(shè)備處于待機(jī)狀態(tài)時(shí)，切換為選擇超聲識(shí)別單元識(shí)別手勢(shì)指令，以使設(shè)備進(jìn)入工作狀態(tài)；
S2:當(dāng)設(shè)備處于工作狀態(tài)時(shí)，如果判斷手勢(shì)物體與設(shè)備之間水平方向相對(duì)位移大于預(yù)定值S，則選擇視覺(jué)識(shí)別單元為識(shí)別手勢(shì)物體的主單元； S3:當(dāng)設(shè)備處于工作狀態(tài)時(shí)，如果判斷手勢(shì)物體與設(shè)備之間水平方向相對(duì)位移小于預(yù)定值S，則選擇超聲識(shí)別單元為識(shí)別手勢(shì)物體的主單元；
S4:當(dāng)設(shè)備處于工作狀態(tài)時(shí)，如果判斷手勢(shì)物體與設(shè)備之間水平方向相對(duì)位移在預(yù)定值S附近，則選擇視覺(jué)識(shí)別單元、超聲識(shí)別單元共同識(shí)別手勢(shì)物體。
[0026]如圖3所示為手掌在平行于多媒體設(shè)備的平面上畫圈，圖4所示為手掌在垂直于多媒體設(shè)備的平面上畫圈。多媒體設(shè)備100上裝有聲波發(fā)生器和聲波接收器，聲波發(fā)生器發(fā)射聲波經(jīng)手200折射后由聲波接收器接收，判斷出手相對(duì)于多媒體設(shè)備的位置，手的位置發(fā)生改變時(shí)，處理器記錄手的位置變化，依據(jù)該變化軌跡，得出手相對(duì)多媒體設(shè)備的運(yùn)動(dòng)軌跡，與設(shè)備中已存儲(chǔ)的軌跡進(jìn)行匹配，若能匹配上，則執(zhí)行預(yù)定的該運(yùn)動(dòng)軌跡對(duì)應(yīng)的操作，不同的手勢(shì)動(dòng)作可以對(duì)應(yīng)打開不同的應(yīng)用軟件。
[0027]當(dāng)多媒體設(shè)備打開對(duì)應(yīng)的應(yīng)用軟件后，該軟件依據(jù)程序設(shè)定是否打開攝像頭。例如，打開一個(gè)文本文檔，只需要識(shí)別簡(jiǎn)單的手勢(shì)來(lái)實(shí)現(xiàn)如翻頁(yè)、上下移動(dòng)等功能，這時(shí)可以將攝像頭關(guān)閉，只需要打開聲波識(shí)別就可以了。例如，需要打開某個(gè)游戲，該游戲需要識(shí)別多種手勢(shì)，而且需要精確識(shí)別手指相對(duì)手掌的移動(dòng)，此時(shí)，該游戲程序中可以設(shè)定將聲波識(shí)別和攝像頭識(shí)別手勢(shì)都打開。
[0028]僅聲波識(shí)別手勢(shì)時(shí)，識(shí)別手勢(shì)與存儲(chǔ)器中的手勢(shì)進(jìn)行匹配，若能匹配成功，則執(zhí)行程序中事先約定好的程序。當(dāng)程序設(shè)定僅攝像頭識(shí)別時(shí)，打開攝像頭，攝像頭手勢(shì)識(shí)別主要分為手勢(shì)圖像獲取、手勢(shì)分割、手勢(shì)特征提取、手勢(shì)識(shí)別、手勢(shì)匹配五大部分。手勢(shì)匹配成功后，多媒體設(shè)備執(zhí)行該手勢(shì)匹配的操作。聲波識(shí)別和攝像頭識(shí)別同時(shí)開啟時(shí)，同時(shí)進(jìn)行手勢(shì)識(shí)別，然后進(jìn)行數(shù)據(jù)融合，手勢(shì)匹配，若匹配成功，則執(zhí)行該手勢(shì)對(duì)應(yīng)的操作。
[0029]以上實(shí)施方式只為說(shuō)明本發(fā)明的技術(shù)構(gòu)思及特點(diǎn)，其目的在于讓熟悉此項(xiàng)技術(shù)的人了解本發(fā)明的內(nèi)容并加以實(shí)施，并不能以此限制本發(fā)明的保護(hù)范圍，凡根據(jù)本發(fā)明精神實(shí)質(zhì)所做的等效變化或修飾，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍。
【權(quán)利要求】
1.一種基于超聲與視覺(jué)的復(fù)合式手勢(shì)識(shí)別設(shè)備，其特征在于，包括: 視覺(jué)識(shí)別單元，包括攝像頭，用于通過(guò)圖像處理方式來(lái)捕捉手勢(shì)物體的運(yùn)動(dòng)軌跡； 超聲識(shí)別單元，包括聲波發(fā)生器與聲波接收器，用于通過(guò)接收經(jīng)過(guò)手勢(shì)物體反射的聲波信號(hào)方式來(lái)捕捉手勢(shì)物體的運(yùn)動(dòng)軌跡； 控制單元，用于根據(jù)使用條件來(lái)控制在所述的視覺(jué)識(shí)別單元與所述的超聲識(shí)別單元之間進(jìn)行選擇性切換，其中，當(dāng)設(shè)備處于待機(jī)狀態(tài)時(shí)，切換為選擇所述的超聲識(shí)別單元識(shí)別手勢(shì)指令，以使設(shè)備進(jìn)入工作狀態(tài)；當(dāng)設(shè)備處于工作狀態(tài)時(shí)，如果判斷手勢(shì)物體與設(shè)備之間水平方向相對(duì)位移大于預(yù)定值S，則選擇視覺(jué)識(shí)別單元為識(shí)別手勢(shì)物體的主單元；如果判斷手勢(shì)物體與設(shè)備之間水平方向相對(duì)位移小于預(yù)定值S，則選擇超聲識(shí)別單元為識(shí)別手勢(shì)物體的主單元；如果判斷手勢(shì)物體與設(shè)備之間水平方向相對(duì)位移在預(yù)定值S附近，則選擇視覺(jué)識(shí)別單元、超聲識(shí)別單元共同識(shí)別手勢(shì)物體。
2.根據(jù)權(quán)利要求1所述的基于超聲與視覺(jué)的復(fù)合式手勢(shì)識(shí)別設(shè)備，其特征在于:所述的視覺(jué)識(shí)別單元采用紅外攝像頭。
3.根據(jù)權(quán)利要求1所述的基于超聲與視覺(jué)的復(fù)合式手勢(shì)識(shí)別設(shè)備，其特征在于:所述的聲波發(fā)生器包括揚(yáng)聲器部件，所述的聲波接收器包括麥克風(fēng)部件。
4.根據(jù)權(quán)利要求1所述的基于超聲與視覺(jué)的復(fù)合式手勢(shì)識(shí)別設(shè)備，其特征在于:所述的多媒體設(shè)備包括便攜式設(shè)備或者非便攜式設(shè)備。
5.一種基于超聲與視覺(jué)的復(fù)合式手勢(shì)識(shí)別設(shè)備的控制方法，其特征在于:所述的基于超聲與視覺(jué)的復(fù)合式手勢(shì)識(shí)別設(shè)備包括用于通過(guò)圖像處理方式來(lái)捕捉手勢(shì)物體的運(yùn)動(dòng)軌跡的視覺(jué)識(shí)別單元、用于通過(guò)接收經(jīng)過(guò)手勢(shì)物體反射的聲波信號(hào)方式來(lái)捕捉手勢(shì)物體的運(yùn)動(dòng)軌跡的超聲識(shí)別單元，以及用于在所述的視覺(jué)識(shí)別單元與所述的超聲識(shí)別單元之間進(jìn)行選擇性切換控制單元，包括如下步驟: 51:當(dāng)設(shè)備處于待機(jī)狀態(tài)時(shí)，切換為選擇超聲識(shí)別單元識(shí)別手勢(shì)指令，以使設(shè)備進(jìn)入工作狀態(tài)； 52:當(dāng)設(shè)備處于工作狀態(tài)時(shí)，如果判斷手勢(shì)物體與設(shè)備之間水平方向相對(duì)位移大于預(yù)定值S，則選擇視覺(jué)識(shí)別單元為識(shí)別手勢(shì)物體的主單元； 53:當(dāng)設(shè)備處于工作狀態(tài)時(shí)，如果判斷手勢(shì)物體與設(shè)備之間水平方向相對(duì)位移小于預(yù)定值S，則選擇超聲識(shí)別單元為識(shí)別手勢(shì)物體的主單元； S4:當(dāng)設(shè)備處于工作狀態(tài)時(shí)，如果判斷手勢(shì)物體與設(shè)備之間水平方向相對(duì)位移在預(yù)定值S附近，則選擇視覺(jué)識(shí)別單元、超聲識(shí)別單元共同識(shí)別手勢(shì)物體。
6.根據(jù)權(quán)利要求5所述的基于超聲與視覺(jué)的復(fù)合式手勢(shì)識(shí)別設(shè)備的控制方法，其特征在于:在所述的步驟SI中，所述的手勢(shì)指令包括多個(gè)喚醒指令，每個(gè)喚醒指令分別對(duì)應(yīng)于一個(gè)喚醒后執(zhí)行的應(yīng)用程序，當(dāng)設(shè)備被喚醒的同時(shí)執(zhí)行相應(yīng)的應(yīng)用程序。
7.根據(jù)權(quán)利要求6所述的基于超聲與視覺(jué)的復(fù)合式手勢(shì)識(shí)別設(shè)備的控制方法，其特征在于:由被喚醒時(shí)所執(zhí)行的應(yīng)用程序在所述的視覺(jué)識(shí)別單元與所述的超聲識(shí)別單元之間進(jìn)行選擇在該應(yīng)用程序執(zhí)行過(guò)程中所采用的手勢(shì)識(shí)別方式。
8.根據(jù)權(quán)利要求5所述的基于超聲與視覺(jué)的復(fù)合式手勢(shì)識(shí)別設(shè)備的控制方法，其特征在于:所述的手勢(shì)物體與設(shè)備之間相對(duì)位移的預(yù)定值S由所述的超聲識(shí)別單元的聲波周期、聲波能量以及聲波占空比決定。
9.根據(jù)權(quán)利要求5所述的基于超聲與視覺(jué)的復(fù)合式手勢(shì)識(shí)別設(shè)備的控制方法，其特征在于:當(dāng)所述的手勢(shì)物體為手時(shí)，如果手指相對(duì)手掌變化時(shí)，則切換為選擇視覺(jué)識(shí)別單元識(shí)別手勢(shì)物體。
10.根據(jù)權(quán)利要求5所述的基于超聲與視覺(jué)的復(fù)合式手勢(shì)識(shí)別設(shè)備的控制方法，其特征在于:當(dāng)手勢(shì)物體的運(yùn)動(dòng)軌跡為上下翻頁(yè)、上下移動(dòng)、左右翻頁(yè)、左右移動(dòng)、放大縮小、抓取放置、平行于顯示屏的順或逆時(shí)鐘畫圈、垂直于顯示屏方向的順或逆時(shí)鐘畫圈、選取圖形界面的一種或多種時(shí)，則切換為選擇超聲識(shí)別單元識(shí)別手勢(shì)物體。
【文檔編號(hào)】G06F3/01GK104463119SQ201410733861
【公開日】2015年3月25日 申請(qǐng)日期:2014年12月5日 優(yōu)先權(quán)日:2014年12月5日
【發(fā)明者】申立琴, 劉廣松 申請(qǐng)人:蘇州觸達(dá)信息技術(shù)有限公司