本發(fā)明屬于人機(jī)交互領(lǐng)域，尤其涉及非接觸式手勢識別方法。
背景技術(shù)：
：隨著諸如智能手機(jī)、手表、手環(huán)等可穿戴智能移動(dòng)終端的普及，手勢識別在人機(jī)交互領(lǐng)域扮演著越來越重要的角色。智能手表、手環(huán)等可穿戴設(shè)備由于設(shè)備屏幕小或者不配備顯示屏，導(dǎo)致傳統(tǒng)的按鍵或觸摸屏式的手勢識別方法難以直接應(yīng)用，非接觸式手勢識別方法應(yīng)運(yùn)而生。傳統(tǒng)的非接觸式手勢識別方法主要基于計(jì)算機(jī)視覺、數(shù)據(jù)手套、運(yùn)動(dòng)傳感器等，存在對光照敏感、計(jì)算復(fù)雜度高、操作不方便、操作范圍有限等問題。超聲波手勢識別方法是一種新型的非接觸式手勢識別方法，具有對光照不敏感、算法復(fù)雜度低、耗費(fèi)資源少、感應(yīng)范圍廣以及對設(shè)備硬件要求低等優(yōu)點(diǎn)，更適合于可穿戴智能移動(dòng)設(shè)備。近年來，超聲波手勢識別隨著智能可穿戴設(shè)備的發(fā)展越來越受到國內(nèi)外研究人員的關(guān)注。超聲波手勢識別方法通常是通過監(jiān)測手部運(yùn)動(dòng)引發(fā)的超聲波多普勒效應(yīng)來識別手勢。但日常生活中手部運(yùn)動(dòng)很靈活，而且誤操作發(fā)生的可能性較大，現(xiàn)有的超聲波手勢識別方法的識別準(zhǔn)確率并不理想。技術(shù)實(shí)現(xiàn)要素：因此，本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的缺陷，提供一種新的超聲波手勢識別方法，其兼顧手部運(yùn)動(dòng)發(fā)生時(shí)的情境因素，利用情境信息排除手部誤操作的影響以提高手勢識別的準(zhǔn)確率和魯棒性。本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：一方面，本發(fā)明提供了一種超聲波手勢識別方法，包括：a)發(fā)射超聲波信號；b)采集超聲波信號并同時(shí)采集與當(dāng)前情境相關(guān)的情境信息，其中所述情境信息包括影響手勢發(fā)生的一個(gè)或多個(gè)情境因素；c)基于發(fā)射的和采集的超聲波信號獲取手勢特征；d)利用預(yù)先訓(xùn)練好的手勢分類模型獲取該手勢特征的手勢概率向量，所述手勢概率向量由所述手勢特征屬于預(yù)設(shè)的各種手勢的概率構(gòu)成；e)基于所采集的情境信息和預(yù)定的情境特征矩陣來確定與所述手勢特征相關(guān)的情境概率向量，其中所述情境特征矩陣由所述預(yù)設(shè)的各種手勢在各個(gè)情境因素下發(fā)生的概率構(gòu)成，所述情境概率向量由預(yù)設(shè)的各種手勢在當(dāng)前情境下發(fā)生的概率構(gòu)成；f)基于所述手勢概率向量和所述情境概率向量確定在當(dāng)前情境中所述手勢特征屬于預(yù)設(shè)的各種手勢的概率并將其中最大概率對應(yīng)的手勢識別為與所采集的超聲波信號對應(yīng)的手勢。在一個(gè)實(shí)施例中，在步驟f)還可包括判斷該最大概率是否在所識別的手勢對應(yīng)的置信區(qū)間中，如果在，則對該手勢進(jìn)行響應(yīng)。在一個(gè)實(shí)施例中，該方法還可包括訓(xùn)練手勢分類模型的步驟，所述手勢分類模型采用基于機(jī)器學(xué)習(xí)的方法來實(shí)現(xiàn)，所述手勢分類模型的輸入為手勢特征，輸出為手勢概率向量。在一個(gè)實(shí)施例中，所述置信區(qū)間可以通過下列步驟得到的：確定用來進(jìn)行訓(xùn)練的樣本數(shù)據(jù)集，所述樣本數(shù)據(jù)集中包括手勢特征樣本，與該手勢特征樣本相關(guān)的情境信息；對于樣本數(shù)據(jù)集中的每個(gè)手勢特征樣本：根據(jù)預(yù)定的各種手勢給該手勢特征樣本標(biāo)注其所屬的手勢種類，利用預(yù)先訓(xùn)練好的手勢分類模型獲取該手勢特征樣本的手勢概率向量，基于與該手勢特征樣本相關(guān)的情境信息和預(yù)定的情境特征矩陣來確定與該手勢特征樣本相關(guān)的情境概率向量，該情境概率向量由預(yù)設(shè)的各種手勢在采集該手勢特征樣本時(shí)的情境下發(fā)生的概率構(gòu)成；基于所述手勢概率向量和所述情境概率向量得到所述手勢特征在其相關(guān)情境中屬于預(yù)設(shè)的各種手勢的概率；以及基于各個(gè)手勢特征樣本所得到的概率及其所標(biāo)注的手勢種類來設(shè)置并調(diào)整各種手勢對應(yīng)的置信區(qū)間。又一方面，本發(fā)明提供了一種超聲波手勢識別系統(tǒng)，包括：超聲波收發(fā)裝置，用于采集和發(fā)射超聲波信號；情境信息采集裝置，用于采集與當(dāng)前情境相關(guān)的情境信息，其中所述情境信息包括影響手勢發(fā)生的一個(gè)或多個(gè)情境因素；手勢分類裝置，用于基于發(fā)射的和采集的超聲波信號獲取手勢特征，以及利用預(yù)先訓(xùn)練好的手勢分類模型獲取該手勢特征的手勢概率向量，所述手勢概率向量由所述手勢特征屬于預(yù)設(shè)的各種手勢的概率構(gòu)成；情境映射裝置，用于基于所采集的情境信息和預(yù)定的情境特征矩陣來確定與所述手勢特征相關(guān)的情境概率向量，其中所述情境特征矩陣由所述預(yù)設(shè)的各種手勢在各個(gè)情境因素下發(fā)生的概率構(gòu)成，所述情境概率向量由預(yù)設(shè)的各種手勢在當(dāng)前情境下發(fā)生的概率構(gòu)成；手勢識別裝置，用于基于所述手勢概率向量和所述情境概率向量確定在當(dāng)前情境中所述手勢特征屬于預(yù)設(shè)的各種手勢的概率并將其中最大概率對應(yīng)的手勢識別為與所采集的超聲波信號對應(yīng)的手勢。與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于：將手勢信號與情境信息相融合，使用情境信息過濾用戶的誤操作手勢、修正識別錯(cuò)誤的手勢，減少無效甚至錯(cuò)誤的響應(yīng)，從而提高了手勢識別的準(zhǔn)確率和魯棒性，增強(qiáng)了人機(jī)交互體驗(yàn)。附圖說明以下參照附圖對本發(fā)明實(shí)施例作進(jìn)一步說明，其中：圖1為根據(jù)本發(fā)明實(shí)施例的超聲波手勢識別方法的流程示意圖；圖2為根據(jù)本發(fā)明實(shí)施例的訓(xùn)練融合情境信息的手勢識別模型的流程示意圖；圖3a為安靜環(huán)境下根據(jù)本發(fā)明實(shí)施例的手勢識別方法與傳統(tǒng)無情境信息的手勢識別方法的識別準(zhǔn)確率對比示意圖；圖3b為標(biāo)準(zhǔn)環(huán)境下根據(jù)本發(fā)明實(shí)施例的手勢識別方法與傳統(tǒng)無情境信息的手勢識別方法的識別準(zhǔn)確率對比示意圖；圖3c為喧鬧環(huán)境下根據(jù)本發(fā)明實(shí)施例的手勢識別方法與傳統(tǒng)無情境信息的手勢識別方法的識別準(zhǔn)確率對比示意圖。具體實(shí)施方式為了使本發(fā)明的目的，技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖通過具體實(shí)施例對本發(fā)明進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。人們的行為表現(xiàn)往往會(huì)受其所處的情境的影響，相同手勢在不同情境下發(fā)生概率可能不同。而現(xiàn)有的超聲波識別方法只關(guān)注于手部運(yùn)動(dòng)，采集到相關(guān)手勢數(shù)據(jù)即進(jìn)行識別，而并不考慮當(dāng)前手勢是否適合用戶當(dāng)前所處的環(huán)境，忽略了用戶的真正意圖，由此經(jīng)常導(dǎo)致無效甚至錯(cuò)誤的響應(yīng)。在本發(fā)明中，提供了一種融合情境感知信息的超聲波手勢識別方法，同時(shí)采集手勢數(shù)據(jù)和當(dāng)前情境信息，融合兩者作為手勢識別的輸入信息，利用情境信息過濾誤操作手勢、修正識別錯(cuò)誤的手勢等，以盡量減少無效或錯(cuò)誤響應(yīng)，識別出符合用戶真正意圖的手勢。以播放音樂的應(yīng)用為例，當(dāng)前的環(huán)境聲音和音樂播放音量都會(huì)影響用戶調(diào)整音量的行為。例如，當(dāng)環(huán)境聲音較大、播放音量較低時(shí)，調(diào)高播放音量的可能性較大；反之，調(diào)低播放音量的可能性較大。而如果當(dāng)前環(huán)境很安靜并且當(dāng)前播放音量較高，但檢測到用戶的手部運(yùn)動(dòng)為調(diào)高音量的手勢，那么可以不對該手勢進(jìn)行響應(yīng)，因?yàn)樵撌謩菘赡苁怯捎谑植繜o意識的運(yùn)動(dòng)產(chǎn)生的誤操作。對于超聲波手勢識別方法的不同應(yīng)用場景，所設(shè)定的手勢種類以及影響手勢發(fā)生的相關(guān)情境因素有很大差異。本發(fā)明的方法對于具體的手勢種類以及影響手勢發(fā)生的情境因素不進(jìn)行任何限制，本領(lǐng)域技術(shù)人員可以根據(jù)具體的應(yīng)用場景來對此進(jìn)行相應(yīng)的選擇和設(shè)置。圖1給出了根據(jù)本發(fā)明一個(gè)實(shí)施例的超聲波手勢識別方法的流程示意。該方法實(shí)際上可以分為在線實(shí)時(shí)手勢識別和離線訓(xùn)練手勢識別模型兩個(gè)階段。如圖1所示，在線實(shí)時(shí)手勢識別主要包括(1)發(fā)射超聲波以及采集超聲波信號與當(dāng)前情境相關(guān)的情境信息；(2)提取手勢特征和情境特征；(3)基于所提取的手勢特征和情境特征進(jìn)行手勢識別。更具體地，首先采集超聲波信號并同時(shí)采集與當(dāng)前情境相關(guān)的情境信息，這里，情境信息可以包括影響手勢發(fā)生的一個(gè)或多個(gè)情境因素，其隨具體應(yīng)用場景而不同。在不同情境下，用戶可能的手勢集合不同，相同手勢發(fā)生的概率也不相同。在特定情境下，如果一個(gè)手勢符合情境信息的要求，那么這種手勢發(fā)生的概率較大；反之，這種手勢發(fā)生的概率較小。在特定情境下，影響手勢發(fā)生的情境因素可能有一個(gè)，也可能有多個(gè)。為說明方便，下面假定有M種手勢和L個(gè)情境因素，可以根據(jù)具體應(yīng)用場景和具體的情境因素來預(yù)先確定各種手勢在各情境因素下發(fā)生的概率。這里為描述方便，以矩陣的方式來表示這些概率，假定情境特征矩陣A為由各種手勢在各情境因素下發(fā)生的概率構(gòu)成的矩陣，可記為(amk)M×L，其中amk＝pmk(ck)表示第m種手勢在第k個(gè)情境因素ck下發(fā)生的概率(1≤m≤M，1≤k≤L)。具體概率計(jì)算方式可以依具體應(yīng)用場景和具體的情境因素不同。這里為方便，仍以播放音樂的應(yīng)用為例，假定有“前伸”和“后拉”兩種手勢，分別對應(yīng)“調(diào)高播放音量”和“調(diào)低播放音量”兩種用戶調(diào)整音量的行為。在音樂播放活動(dòng)中，當(dāng)前的環(huán)境聲音和音樂播放音量都會(huì)影響用戶調(diào)整音量的行為。例如，當(dāng)環(huán)境聲音較大、播放音量較低時(shí)，調(diào)高播放音量的可能性較大；反之，調(diào)低播放音量的可能性較大。這里將用戶所處的環(huán)境音量、當(dāng)前播放音量設(shè)定為影響手勢產(chǎn)生的兩個(gè)情境因素。其中，對于環(huán)境音量，對應(yīng)安靜(聲音低于20dB)、標(biāo)準(zhǔn)(聲音處于20dB-40dB)、喧鬧(聲音高于40dB)共3種環(huán)境。在標(biāo)準(zhǔn)環(huán)境中調(diào)高和調(diào)低音量的可能性相差不大。在一個(gè)示例中，可以選擇適當(dāng)?shù)母怕屎瘮?shù)來設(shè)置各種手勢在各情境因素下發(fā)生的概率。例如假設(shè)“前伸”和“后拉”兩種手勢在典型標(biāo)準(zhǔn)環(huán)境音28dB情況下發(fā)生的概率均為0.5，那么如果檢測到當(dāng)前環(huán)境音量為15dB，則調(diào)低音量的可能性增加而調(diào)高音量的可能性減小，“前伸”手勢在當(dāng)前環(huán)境中發(fā)生的概率例如可以為0.5-0.5*15/28，而“后拉”手勢在當(dāng)前環(huán)境中發(fā)生的概率例如可以為0.5+0.5*15/28。在又一示例中，也可以通過分段函數(shù)的方式來指定各種手勢在各情境因素下發(fā)生的概率。例如，將環(huán)境聲音的取值范圍分段，不同的范圍設(shè)置不同的概率。例如，當(dāng)環(huán)境聲音處于20dB-25dB時(shí)，將“前伸”手勢發(fā)生的概率設(shè)定為0.45，當(dāng)環(huán)境聲音處于25db-30db之間時(shí)，將“前伸”手勢發(fā)生的概率設(shè)置為0.5，可以此類推。上述概率計(jì)算方法僅是舉例說明而非進(jìn)行任何限制。具體的概率設(shè)置可以實(shí)際需求和具體應(yīng)用場景和情境因素等而具體確定。繼續(xù)參考圖1，在采集到超聲波信號之后，從發(fā)射的超聲波和接收的超聲波信號的多普勒頻移獲取表征該采集的超聲波信號的手勢特征，典型的手勢特征包括但不限于最大值、最小值、均值、標(biāo)準(zhǔn)方差、過零率、百分位數(shù)、關(guān)聯(lián)系數(shù)、功率譜密度、頻域熵、譜峰位置等。同時(shí)，基于采集的當(dāng)前情境的情境信息和上述設(shè)定的情境特征矩陣來獲取與該手勢特征相關(guān)的情境特征，該情境特征可以采用由預(yù)設(shè)的各種手勢在當(dāng)前情境下發(fā)生的概率構(gòu)成的向量來表示，也可以稱為情境概率向量。假設(shè)當(dāng)前采集的情境信息記為c＝(c1,c2,…,ck,…cL)，ck表示影響當(dāng)前采集的第k個(gè)情境因素，那么通過預(yù)先確定的情境特征矩陣A可以獲得預(yù)定的M種手勢在當(dāng)前情境c下發(fā)生的概率，這些概率組成了一個(gè)M維的向量，即得到與當(dāng)前采集的超聲波的手勢特征相關(guān)的情境概率向量C＝[p1(c),…,pm(c),…,pM(c)]，其中pm(c)表示第m種手勢在當(dāng)前情境c下發(fā)生的概率，即pm(c)＝p(c1,c2,…,ck,…cL),其概率值例如為p1(c1)·p2(c2)·…·pM(cL)?？梢钥闯?，與該手勢特征相關(guān)的情境概率向量C由表示預(yù)定的各種手勢在采集該手勢數(shù)據(jù)時(shí)的當(dāng)前情境c下發(fā)生的概率構(gòu)成。然后，將所提取的手勢特征作為預(yù)先訓(xùn)練好的手勢分類模型的輸入，通過該手勢分類模型可得到該手勢的手勢概率向量，該手勢概率向量由所述手勢特征屬于預(yù)設(shè)的各種手勢的概率構(gòu)成，其可記為G＝[G1，G2，…,Gi，…GM]T，其中M表示預(yù)先設(shè)定的手勢類別數(shù),Gi表示所采集的超聲波信號被識別為第i種手勢的概率(1≤i≤M)。而至于手勢分類模型可以采用多種基于機(jī)器學(xué)習(xí)的分類模型來的訓(xùn)練，例如貝葉斯模型、決策樹、極速學(xué)習(xí)機(jī)(ELM)等等，只要確定用于訓(xùn)練的手勢特征和待識別的手勢類別即可，具體的訓(xùn)練過程會(huì)在下文中進(jìn)行簡單介紹。這樣，最終所識別的手勢是基于該手勢特征的手勢概率向量及與其相關(guān)的情境概率向量來確定的。在如上文介紹的，得到該手勢特征屬于預(yù)設(shè)的各種手勢的概率和各種手勢在當(dāng)前情境下發(fā)生的概率之后，便可以計(jì)算得出該手勢特征在當(dāng)前情境中屬于預(yù)設(shè)的各種手勢的概率，其中最大概率對應(yīng)的手勢可被確定為最終識別的與所采集的超聲波信號對應(yīng)的手勢?？梢钥闯?，該識別方法不僅考慮了手勢數(shù)據(jù)本身還兼顧了采集該手勢數(shù)據(jù)時(shí)的情境信息，如果一個(gè)手勢符合情境，那么這個(gè)手勢在手勢概率向量和情境概率向量中對應(yīng)的概率都很大，相乘之后得到的概率將較大，而如果一個(gè)手勢不符合情境，那么該手勢在手勢概率向量和情境概率向量中對應(yīng)的概率相乘會(huì)得到較小的值，這就體現(xiàn)了情境信息對識別錯(cuò)誤的手勢的修正作用。仍以播放音樂的應(yīng)用為例，假定通過手勢分類模型判斷所采集的超聲波信號為“前伸”手勢(即調(diào)高音量)的概率最大，而檢測的當(dāng)前環(huán)境音非常低，即“前伸”手勢在當(dāng)前環(huán)境音的條件下發(fā)生的概率很小，那么綜合這兩個(gè)概率得到的所采集的超聲波信號在當(dāng)前環(huán)境音的條件下為“前伸”手勢的概率會(huì)被修正為相對較小。優(yōu)選地，為了進(jìn)一步減少無效或錯(cuò)誤的響應(yīng)，該方法還包括判斷上述最終識別出的手勢是否有效的步驟，如果無效則不對該手勢進(jìn)行響應(yīng)，如果有效，則對該手勢進(jìn)行響應(yīng)。例如可以通過判定最終識別出的手勢對應(yīng)的概率是否在預(yù)先訓(xùn)練好的該手勢對應(yīng)的置信區(qū)間(其在下文離線訓(xùn)練階段中會(huì)有詳細(xì)介紹)中，如果在，則對該手勢進(jìn)行響應(yīng)。這樣可以進(jìn)一步避免對誤操作手勢的錯(cuò)誤響應(yīng)。下面參考圖2來介紹離線訓(xùn)練手勢識別模型的階段。參考圖2，手勢識別模型包括手勢分類、情境分析和決策輸出三個(gè)模塊，離線訓(xùn)練階段與上文介紹的在線識別過程基本上類似，主要包括下列步驟：1，獲取樣本數(shù)據(jù)可利用可穿戴智能移動(dòng)設(shè)備(如智能手機(jī)、手表、手環(huán)等)內(nèi)置的麥克風(fēng)和揚(yáng)聲器來獲取樣本數(shù)據(jù)，其中揚(yáng)聲器用于發(fā)射超聲波聲音信號，麥克風(fēng)用于采集聲音信號?？墒褂酶鞣N設(shè)備內(nèi)置的或附加的傳感器采集特定情境下影響手勢識別的相關(guān)情境因素。由不同的用戶在各種情境下執(zhí)行預(yù)定的各類手勢，從而采集足夠豐富的樣本數(shù)據(jù)。2，手勢分類從所采集的超聲波數(shù)據(jù)中提取手勢特征作為手勢樣本，并為各個(gè)手勢樣本標(biāo)注其所屬的手勢類別號，利用這些標(biāo)注后的手勢樣本作為訓(xùn)練數(shù)據(jù)集來訓(xùn)練手勢分類模型，如上文所介紹的，這里可采用多種基于機(jī)器學(xué)習(xí)的分類模型來作為手勢分類模型。對任意手勢樣本xj，該手勢分類模型輸出的手勢概率向量為Gj＝[Gj1,Gj2,…,Gjm]T∈Rm，m是手勢類別數(shù)，R表示實(shí)數(shù)。圖2給出是利用極限學(xué)習(xí)機(jī)ELM實(shí)現(xiàn)的手勢分類模型的示例。假設(shè)有N個(gè)任意手勢樣本(xi，ti)，其中xi是一個(gè)n維的手勢輸入向量，xi＝[xi1,xi2,…,xin]T∈Rn，ti是m維的目標(biāo)向量，ti＝[ti1,ti2,…,tim]T∈Rm。一個(gè)有L個(gè)隱層節(jié)點(diǎn)的單隱層前饋神經(jīng)網(wǎng)絡(luò)表示為:fL(xj)=Σi=1LβiG(ai,bi,xj),j=1,...,N---(1)]]>其中，ai和bi是輸入層到隱層節(jié)點(diǎn)之間的學(xué)習(xí)參數(shù)，βi是連接第i個(gè)隱層節(jié)點(diǎn)和輸出節(jié)點(diǎn)之間的權(quán)重，G(ai,bi,xj)為激活函數(shù)。該手勢分類模型的學(xué)習(xí)目標(biāo)是使輸出誤差最小，即存在ai,bi,βi使得：fL(xj)=Σi=1LβiG(ai,bi,xj)=tj,j=1,...,N---(2)]]>通過上述過程求解出β。那么對于特定的手勢樣本xj，和xj相對應(yīng)的實(shí)際手勢輸出yj表示為：yj=Σi=1LβiG(ai,bi,xj),j=1,...,N---(3)]]>最后，通過公式(4)對yj進(jìn)行置信度向量求解：Gj=norm(1abs(yj-1))---(4)]]>其中，norm函數(shù)表示歸一化，abs函數(shù)表示取絕對值。3，情境分析在特定情境下，如果一個(gè)手勢符合情境信息的要求，那么這種手勢發(fā)生的概率較大；反之，這種手勢發(fā)生的概率較小。在特定情境下，影響手勢發(fā)生的情境因素可能有一個(gè)，也可能有多個(gè)。情境信息是指影響手勢發(fā)生的相關(guān)情境因素。如上文介紹的，假定有M種用戶手勢和L個(gè)情境因素，那么可以確定情境特征矩陣A，記為(amk)M×L，其中amk＝pmk(ck)表示第m種手勢在第k個(gè)情境因素ck下發(fā)生的概率(1≤m≤M，1≤k≤L)。如上文討論的，具體概率函數(shù)p依具體應(yīng)用場景和具體的情境因素而定。假設(shè)采集手勢樣本xj時(shí)同時(shí)采集的情境信息記為cj＝(cj1,cj2,…,cjk,…cjL)，cjk表示影響手勢樣本xj的第k個(gè)情境因素，那么通過預(yù)先確定的情境特征矩陣A可以獲得預(yù)定的各種手勢在當(dāng)前情境cj下發(fā)生的概率，這些概率組成了一個(gè)m維的向量，即得到與手勢樣本xj相關(guān)的情境概率向量Cj＝[p1(cj),…,pm(cj),…,pM(cj)],其中pm(cj)表示第m種手勢在當(dāng)前情境cj下發(fā)生的概率，即pm(cj)＝pm(cj1,cj2,…,cjk,…cjL),其概率值例如為p1(c1)·p2(c2)·…·pM(cL)。4，決策輸出在得到手勢樣本xj對應(yīng)的手勢概率向量Gj和情境概率向量Cj就可以得到手勢樣本xj在當(dāng)前情境cj下作為預(yù)定的各種手勢發(fā)生的概率向量Pj＝Gj·Cj。這樣得到的概率向量Pj中最大概率對應(yīng)的手勢就是針對該手勢樣本xj所識別的手勢，將該識別結(jié)果與該手勢樣本xj所標(biāo)注的手勢類別相比較則可判斷出本次識別結(jié)果是正確還是錯(cuò)誤。其中對于誤操作手勢，通常被識別成任何類別的手勢的概率都差不多，其在手勢分類模型輸出中對應(yīng)的最大概率接近均分概率，在和情境概率向量中相應(yīng)概率相乘后的值通常居中，即位于一定區(qū)間中。因此對于訓(xùn)練樣本集中各個(gè)手勢樣本及其對應(yīng)情境信息樣本通過上述識別過程得到的各識別結(jié)果進(jìn)行統(tǒng)計(jì)分析，根據(jù)實(shí)驗(yàn)觀察值得出誤操作手勢區(qū)間的上下限統(tǒng)計(jì)結(jié)果，記為thresholdlow和thresholdhigh。這樣，經(jīng)訓(xùn)練后得到的手勢識別模型如公式(5)表示，對于任一手勢樣本xj，該手勢識別模型的決策輸出結(jié)果Oj如下：其中，“·”運(yùn)算表示向量對應(yīng)元素相乘，Oj＝0表示不響應(yīng)當(dāng)前的用戶手勢；當(dāng)經(jīng)上述過程得到的最大概率大于thresholdhigh時(shí)，輸出該最大概率值對應(yīng)的第k種手勢作為所識別的手勢并對其進(jìn)行響應(yīng)(這里也可以理解為經(jīng)訓(xùn)練該第k種手勢的置信區(qū)間為(thresholdhigh,1])。這是因?yàn)樗R別的符合情境的手勢，其對應(yīng)概率相對較大，而不符合情境的手勢被修正后，其對應(yīng)概率相對較小。因此，該方法在一定程度上修正手勢識別錯(cuò)誤的影響。或者，在優(yōu)選的實(shí)施例中，經(jīng)訓(xùn)練后得到的手勢識別模型如公式(6)表示，對于任一手勢樣本xj，該手勢識別模型的決策輸出結(jié)果Oj如下：其中，“·”運(yùn)算表示向量對應(yīng)元素相乘，Oj＝0表示不響應(yīng)當(dāng)前的用戶手勢；如果上述過程得到的最大概率大于thresholdhigh時(shí)，輸出該最大概率值對應(yīng)的第k種手勢作為所識別的手勢并對其進(jìn)行響應(yīng)。并且當(dāng)經(jīng)上述過程得到的最大概率小于thresholdlow時(shí)，也會(huì)輸出該最大概率值對應(yīng)的第k種手勢作為所識別的手勢并對其進(jìn)行響應(yīng)，這主要是考慮了下面的因素：如果手勢識別出的手勢不符合情境，那么手勢概率和情境概率點(diǎn)乘得到的概率向量的最大值通常小于thresholdlow。例如，如果手勢分類模型將本應(yīng)屬于第2種手勢的超聲波信號識別為屬于第3種手勢(即在手勢概率向量中第3種手勢對應(yīng)的概率最大)，而同時(shí)該第3種手勢由于不符合情境，所以在情境概率向量中對應(yīng)的概率會(huì)很小，那么其手勢概率與情境概率的乘積可能不會(huì)是最大的。但是，如果一個(gè)手勢不符合情境，但它的手勢概率很大，乘以情境概率可能還是最大的，那么可以估計(jì)這是用戶有意為之，是允許發(fā)生的和進(jìn)行響應(yīng)的。為了進(jìn)一步說明本發(fā)明的效果，發(fā)明人進(jìn)行了下列實(shí)驗(yàn)：具體應(yīng)用設(shè)置為在安靜、標(biāo)準(zhǔn)、喧鬧等3種環(huán)境下的播放音樂，利用智能可穿戴設(shè)備內(nèi)置的麥克風(fēng)和揚(yáng)聲器作為超聲波的收發(fā)裝置，通過多普勒效應(yīng)獲得超聲波手勢識別信息；同時(shí)，對用戶所處的環(huán)境音量、當(dāng)前播放音量以及用戶調(diào)整音量的行為進(jìn)行感知。在該實(shí)驗(yàn)中定義了“前伸”和“后拉”兩種手勢，分別對應(yīng)“調(diào)高播放音量”和“調(diào)低播放音量”兩種用戶調(diào)整音量的行為；將安靜、標(biāo)準(zhǔn)、喧鬧3種環(huán)境分別設(shè)置為表示聲音低于20dB的環(huán)境、聲音處于20dB-40dB的環(huán)境和聲音高于40dB的環(huán)境。在實(shí)驗(yàn)中發(fā)現(xiàn)，在上述三種環(huán)境下最舒適的音樂播放音量分別為2dB、6dB和10dB。在音樂播放活動(dòng)中，當(dāng)前的環(huán)境聲音和音樂播放音量都會(huì)影響用戶調(diào)整音量的行為。例如，當(dāng)環(huán)境聲音較大、播放音量較低時(shí)，調(diào)高播放音量的可能性較大；反之，調(diào)低播放音量的可能性較大。不同環(huán)境下用戶調(diào)整音量的手勢與環(huán)境聲音、音樂播放音量的具體對應(yīng)關(guān)系如表1所示。表1手勢類別調(diào)整音量行為環(huán)境聲音相關(guān)性播放音量相關(guān)性前伸手勢調(diào)高播放音量正相關(guān)負(fù)相關(guān)后拉手勢調(diào)低播放音量負(fù)相關(guān)正相關(guān)實(shí)驗(yàn)中邀請10位志愿者(7男3女)在上述3種聲音環(huán)境下進(jìn)行超聲波手勢識別實(shí)驗(yàn)。每次一個(gè)志愿者無干擾地進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)過程實(shí)時(shí)錄像。實(shí)驗(yàn)中志愿者坐在椅子上，左手持智能設(shè)備，麥克風(fēng)和揚(yáng)聲器朝向志愿者，右手進(jìn)行手勢操作。每位志愿者在每種聲音環(huán)境下根據(jù)實(shí)際音樂播放音量需要進(jìn)行相應(yīng)的手勢操作，共采集60個(gè)手勢樣本，其中“前伸”、“后拉”、“誤操作”手勢各占約1/3，“誤操作”手勢指手部無意識的運(yùn)動(dòng)產(chǎn)生的手勢，而非用戶真正想表達(dá)的操作手勢。志愿者和研究人員分別對采集到的手勢數(shù)據(jù)進(jìn)行標(biāo)定，其中，志愿者按照自己的意圖對所做的手勢進(jìn)行標(biāo)定。實(shí)驗(yàn)中使用揚(yáng)聲器連續(xù)播放21kHz的超聲波信號，采樣頻率為48kHz，每4096個(gè)采樣點(diǎn)為一幀，平均手勢長度為10幀。每一幀的時(shí)域信號經(jīng)海明窗處理后進(jìn)行4096個(gè)采樣點(diǎn)的快速傅里葉變換(FFT)。根據(jù)多普勒公式，在上述采樣條件下，超聲波頻率偏移范圍不超過[-489,500]，頻率分辨率為11.7Hz，故特征向量的維度為86。為減少誤差，向發(fā)射頻率左右兩側(cè)分別擴(kuò)展，最終特征向量的維度為101。在發(fā)射頻率兩側(cè)各選取50個(gè)頻率點(diǎn)，記為gt，gt∈R101。對手勢樣本xj得到10幀長的特征矩陣作為情境特征的環(huán)境聲音狀態(tài)使用手勢特征提取過程中FFT之后低于20kHz的1706個(gè)頻率點(diǎn)進(jìn)行評估，記作wt，wt∈R1706，對手勢樣本xj得到環(huán)境聲音矩陣當(dāng)前環(huán)境聲音dj＝max(Wj)。本實(shí)驗(yàn)標(biāo)準(zhǔn)環(huán)境下環(huán)境聲音e＝28dB，將e設(shè)為基準(zhǔn)環(huán)境聲音。在標(biāo)準(zhǔn)狀態(tài)下，每種手勢隨機(jī)發(fā)生，不受環(huán)境聲音影響。當(dāng)環(huán)境變化時(shí)，符合環(huán)境聲音的手勢概率增加，不符合環(huán)境聲音的手勢概率減少，對任意手勢樣本xj表示為：其中，標(biāo)準(zhǔn)環(huán)境下dj＝e。在任意手勢樣本xj采集過程中同時(shí)記錄當(dāng)前的音樂播放音量vjdB。實(shí)驗(yàn)中首先利用手勢信號的低頻部分識別當(dāng)前環(huán)境聲音對應(yīng)的環(huán)境，從而選擇最舒適的音樂播放音量sdB。當(dāng)音樂播放音量低于sdB時(shí)，調(diào)高播放音量的概率增加；而當(dāng)音樂播放音量高于sdB時(shí)，調(diào)低播放音量的概率增加，對任意手勢樣本xj表示為：p(cj2)=ss+vj,vjs+vjT.]]>這樣，與手勢樣本xj對應(yīng)的情境概率向量Cj＝p(cj)＝p(cj1,cj2)＝p(cj1)·p(cj2)。將上述得到的手勢樣本xj的特征矩陣Vj和情境概率向量提供給上文介紹的訓(xùn)練好的手勢識別模型(即公式(6))，即可得到相應(yīng)的手勢識別結(jié)果。這里假設(shè)經(jīng)上述離線訓(xùn)練階段得到的手勢識別模型中的thresholdlow和thresholdhigh分別為0.2和0.31。本發(fā)明的融合情境感知信息的手勢識別方法(ContextAwareInformationFusedGestureRecognitionMethod)CAI-GRM的手勢分類模型由ELM算法實(shí)現(xiàn)，本實(shí)驗(yàn)中ELM算法的激活函數(shù)為Sigmoid函數(shù)，隱層節(jié)點(diǎn)的個(gè)數(shù)為500。CAI-GRM在3種環(huán)境下手勢識別的測試準(zhǔn)確率結(jié)果如表2所示。表2類別前伸手勢后拉手勢誤操作手勢全部手勢安靜環(huán)境100.00％100.00％90.18％96.73％標(biāo)準(zhǔn)環(huán)境100.00％100.00％96.98％98.99％喧鬧環(huán)境100.00％100.00％91.95％97.32％由表2可以看出CAI-GRM手勢識別方法在3種環(huán)境下整體識別準(zhǔn)確率都在96％以上，其中“前伸”、“后拉”兩種有效手勢的識別完全正確，對于誤操作手勢，識別的準(zhǔn)確率也在90％以上，這表明該方法能過濾大部分的誤操作手勢。為比較CAI-GRM與傳統(tǒng)無情境信息的手勢識別方法的識別準(zhǔn)確率，傳統(tǒng)無情境信息的手勢識別方法(附圖中標(biāo)記為ELM)使用ELM算法在相同的數(shù)據(jù)集上進(jìn)行無情境信息的手勢識別，結(jié)果如圖3a(安靜環(huán)境下測試結(jié)果)、3b(標(biāo)準(zhǔn)環(huán)境下測試結(jié)果)、3c(喧鬧環(huán)境下測試結(jié)果)所示。由圖3a-3c可以看出，CAI-GRM的識別準(zhǔn)確率普遍高于無情境信息的ELM手勢識別方法。對于“前伸”和“后拉”兩種手勢，CAI-GRM的識別準(zhǔn)確率都高于無情境信息的手勢識別方法，這表明CAI-GRM手勢識別方法能使用情境信息對識別錯(cuò)誤的手勢進(jìn)行修正，從而提高手勢識別的準(zhǔn)確率。對于“誤操作”手勢，CAI-GRM過濾掉絕大部分的誤操作手勢，對于判斷為誤操作的手勢CAI-GRM不予響應(yīng)，從而減少無效的操作，提高手勢識別的準(zhǔn)確率和魯棒性；而無情境信息的手勢識別方法對任意給定的手勢輸入都會(huì)產(chǎn)生相應(yīng)的輸出，對誤操作也會(huì)給出相應(yīng)的輸出手勢，完全不能過濾誤操作手勢，易導(dǎo)致無效甚至錯(cuò)誤的響應(yīng)。通過比較可以看出，融合情境感知信息的手勢識別方法能夠根據(jù)情境信息判斷當(dāng)前識別出的手勢的合理性，能夠較好地理解用戶的操作意圖、提高手勢識別的準(zhǔn)確率和魯棒性。雖然本發(fā)明已經(jīng)通過優(yōu)選實(shí)施例進(jìn)行了描述，然而本發(fā)明并非局限于這里所描述的實(shí)施例，在不脫離本發(fā)明范圍的情況下還包括所做出的各種改變以及變化。當(dāng)前第1頁1 2 3