專利名稱：一種人機(jī)交互設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，特別是涉及一種佩戴在手指上的人機(jī)交互設(shè)備。
背景技術(shù)：
現(xiàn)代的新型人機(jī)交互有很多種形式，包括多點(diǎn)的觸摸屏，基于傳感器的體感設(shè)備， 基于圖像識別的交互，基于肌肉計(jì)算的交互等。以上的各種交互方式能夠彌補(bǔ)很多以前存在的不足，但是這些交互方式也存在一些新問題和缺點(diǎn)。多點(diǎn)觸摸的交互方式，這種交互方式現(xiàn)在已經(jīng)非常普遍的應(yīng)用在各種設(shè)備中了， 該設(shè)備的原理是當(dāng)人的手指接觸觸摸屏元件時(shí)，該點(diǎn)的電容或者電阻會發(fā)生相應(yīng)的變化， 通過采集不同點(diǎn)的數(shù)值就可以判斷出觸摸的位置。但是這種設(shè)備的局限在于操作者必須在設(shè)備前使用并與觸摸屏接觸，當(dāng)遠(yuǎn)離設(shè)備時(shí)是無法操作該設(shè)備的。體感型人機(jī)交互方式，其包括通過遙控器內(nèi)的加速度傳感器感知使用者手部的運(yùn)動來進(jìn)行交互，或是通過一種特殊的攝像頭，這種攝像頭可以采集景深信息，然后通過對圖像的處理重構(gòu)出使用者的骨架來進(jìn)行交互。體感交互方式的缺點(diǎn)在于使用者必須在設(shè)備前大幅度的動作才能夠被準(zhǔn)確的判斷為交互動作，微小的動作是不被接受的。一種肌肉計(jì)算的交互設(shè)備，設(shè)備通過采集人體肌肉的肌電信號來判斷人體手部的動作，從而進(jìn)行交互。這種設(shè)備目前還不成熟，設(shè)備笨重且不易攜帶。采集人手部動作的數(shù)據(jù)手套，該手套的原理是每一個(gè)手指都附著一個(gè)彎曲傳感器，通過對彎曲傳感器的變化的采集來重現(xiàn)人體的手部的動作最終完成交互。這種設(shè)備造價(jià)極為昂貴，且佩帶起來相對麻煩，尤其是在炎熱的夏季這種設(shè)備不適合普通用戶使用。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種新型人機(jī)交互設(shè)備，該設(shè)備支持一種全新人機(jī)交互方式可接任何固體表面作為觸摸平面，通過觸摸該表面完成各種手勢動作，并以該動作控制計(jì)算機(jī)或智能設(shè)備實(shí)現(xiàn)相關(guān)操作。為實(shí)現(xiàn)本發(fā)明的目的而提供的一種人機(jī)交互設(shè)備，包括運(yùn)動位置傳感器，用于采集運(yùn)動軌跡與姿態(tài)；麥克風(fēng)，用于采集設(shè)備與其他表面的摩擦音頻；處理模塊，用于根據(jù)采集的運(yùn)動軌跡和設(shè)備與其他表面的摩擦音頻，得到“拖拽” 的人機(jī)交互命令；以及通過采集到的運(yùn)動位置傳感器數(shù)據(jù)和計(jì)算出麥克風(fēng)采集到音頻的瞬時(shí)功率對于敲擊動作做出判斷，得到“敲擊”命令的人機(jī)交互命令；實(shí)現(xiàn)對相應(yīng)的設(shè)備或計(jì)算機(jī)進(jìn)行交互。所述人機(jī)交互設(shè)備通過無線的方式和其他設(shè)備進(jìn)行連接實(shí)現(xiàn)人機(jī)交互。所述處理模塊，包括拖拽命令模塊，用于根據(jù)采集的運(yùn)動軌跡，判斷在起點(diǎn)和終點(diǎn)之間的設(shè)備在運(yùn)動過程中人的手勢，根據(jù)設(shè)備與其他表面的摩擦音頻，來確定摩擦發(fā)生的起點(diǎn)和終點(diǎn)時(shí)間，得到一個(gè)拖拽動作；點(diǎn)擊命令模塊，用于通過計(jì)算麥克風(fēng)采集的音頻瞬時(shí)功率和所述運(yùn)動位置傳感器的一個(gè)軸向線加速度，得到相應(yīng)的數(shù)值，利用算法對該數(shù)值進(jìn)行處理判斷是否是一個(gè)點(diǎn)擊動作。所述拖拽命令模塊，包括音頻處理子模塊，用于當(dāng)設(shè)備與其他表面發(fā)生滑動摩擦?xí)r，聲波傳導(dǎo)到設(shè)備的麥克風(fēng)中，通過算法來判斷是否是一個(gè)摩擦聲，從而得到摩擦的起始點(diǎn)；位移處理子模塊，用于通過對運(yùn)動位置傳感器進(jìn)行建模處理，計(jì)算所述設(shè)備的位移軌跡。所述音頻處理子模塊，通過計(jì)算聲音片段的MFCC參數(shù)、過零率和功率指標(biāo)，經(jīng)過訓(xùn)練利用SVM分類器得到該段音頻是否是摩擦來確定的起始點(diǎn)。所述人機(jī)交互設(shè)備，設(shè)計(jì)成一個(gè)戒指佩戴在手指上，在戒指的上方部署用于采集手指運(yùn)動與姿態(tài)的傳感器，在戒指的下方安裝一個(gè)音孔朝向手指皮膚的麥克風(fēng)，戒指是電池供電，通過無線的方式和其他設(shè)備進(jìn)行連接。所述傳感器是加速度傳感器、陀螺儀中的一個(gè)或多個(gè)。所述音頻處理子模塊，用于當(dāng)手指與其他表面發(fā)生滑動摩擦?xí)r，聲波會通過手指骨傳導(dǎo)到設(shè)備的麥克風(fēng)中，通過算法來判斷是否是一個(gè)摩擦聲，從而得到摩擦的起始點(diǎn)。所述人機(jī)交互設(shè)備，設(shè)計(jì)成筆型，所述麥克風(fēng)和所述運(yùn)動位置傳感器是安裝在筆尖處。所述音頻處理子模塊，具體執(zhí)行下列操作通過麥克風(fēng)采集到音頻，將音頻變成數(shù)字化的信號也就是音頻文件；通過截?cái)嗟姆椒ǎ岩纛l切成片段；對獲得的片段進(jìn)行處理，加海明窗，計(jì)算MFCC，計(jì)算片段的功率，計(jì)算片段的過零率作為特征，該特征為一個(gè)多維的向量由MFCC和片段功率過零率拼接而成；對獲得的片段進(jìn)行標(biāo)注，并訓(xùn)練SVM模型；通過SVM對計(jì)算出來的特征進(jìn)行分類，把小片段分為摩擦和非摩擦。顯然的從非摩擦到摩擦就是一個(gè)摩擦的起點(diǎn)，而由摩擦到非摩擦就是終點(diǎn)。本發(fā)明的有益效果是本發(fā)明的設(shè)備體積小(接近戒指體積)，佩戴方便，無需專用的操作表面，且可識別微小動作，使用舒適自由。


圖1是本發(fā)明的人機(jī)交互設(shè)備的結(jié)構(gòu)示意圖；圖2是本發(fā)明的一種人機(jī)交互設(shè)備的一實(shí)施例的示意圖；圖3是圖2的實(shí)施例佩戴在手指上的示意圖。
具體實(shí)施例方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明的一種人機(jī)交互設(shè)備進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。本發(fā)明的人機(jī)交互設(shè)備，由用于采集手指運(yùn)動與姿態(tài)的運(yùn)動位置傳感器(如線加速度傳感器、陀螺儀傳感器中的一種或多種)和音孔朝向手指皮膚的麥克風(fēng)共同構(gòu)成。通過判斷摩擦起始點(diǎn)這種新穎的方式解決了傳統(tǒng)體感設(shè)備難以得到動作的起始數(shù)據(jù)的問題。 另外通過麥克風(fēng)指向手指皮膚來采集骨傳導(dǎo)音頻的方式也大大的提高了摩擦聲音的信噪比。下面結(jié)合上述目標(biāo)詳細(xì)介紹本發(fā)明的一種人機(jī)交互設(shè)備，圖1是本發(fā)明的人機(jī)交互設(shè)備的結(jié)構(gòu)示意圖，如圖1所示，所述設(shè)備1，包括運(yùn)動位置傳感器11，用于采集運(yùn)動軌跡與姿態(tài)；麥克風(fēng)12，用于采集設(shè)備與其他表面的摩擦音頻；處理模塊13，用于根據(jù)采集的運(yùn)動軌跡和設(shè)備與其他表面的摩擦音頻，得到“拖拽”的人機(jī)交互命令；以及通過采集到的運(yùn)動位置傳感器數(shù)據(jù)和計(jì)算出麥克風(fēng)采集到音頻的瞬時(shí)功率對于敲擊動作做出判斷，得到“敲擊”命令的人機(jī)交互命令；實(shí)現(xiàn)對相應(yīng)的設(shè)備或計(jì)算機(jī)進(jìn)行交互。所述處理模塊13，包括拖拽命令模塊131，用于根據(jù)采集的運(yùn)動軌跡，判斷在起點(diǎn)和終點(diǎn)之間的設(shè)備在運(yùn)動過程中人的手勢，根據(jù)設(shè)備與其他表面的摩擦音頻，來確定摩擦發(fā)生的起點(diǎn)和終點(diǎn)時(shí)間， 得到一個(gè)拖拽動作；所述拖拽命令模塊131，包括音頻處理子模塊1311，用于當(dāng)設(shè)備與其他表面發(fā)生滑動摩擦?xí)r，聲波傳導(dǎo)到設(shè)備的麥克風(fēng)中，通過算法來判斷是否是一個(gè)摩擦聲，從而得到摩擦的起始點(diǎn)；所述音頻處理子模塊，通過計(jì)算聲音的MFCC參數(shù)、過零率和功率指標(biāo)，經(jīng)過訓(xùn)練利用SVM分類器得到摩擦的起始點(diǎn)。具體執(zhí)行下列操作1.通過麥克風(fēng)采集到音頻，將音頻變成數(shù)字化的信號。2.通過截?cái)嗟姆椒?，把音頻切成很短的片段。3.對獲得的片段進(jìn)行處理，加窗(海明窗)，計(jì)算MFCC，計(jì)算片段的功率，計(jì)算片段的過零率作為特征，該特征為一個(gè)多維的向量由MFCC和片段功率過零率拼接而成。4.對獲得的片段進(jìn)行標(biāo)注，并訓(xùn)練SVM模型。5.通過SVM對計(jì)算出來的特征進(jìn)行分類，把小片段分為摩擦和非摩擦。顯然的從非摩擦到摩擦就是一個(gè)摩擦的起點(diǎn)，而由摩擦到非摩擦就是終點(diǎn)。位移處理子模塊1312，用于通過對運(yùn)動位置傳感器進(jìn)行建模處理，計(jì)算所述設(shè)備的位移軌跡。所述位移處理子模塊，利用濾波然后修正再積分的方法計(jì)算所述設(shè)備的位移軌跡。點(diǎn)擊命令模塊132，用于通過計(jì)算麥克風(fēng)采集的音頻瞬時(shí)功率和所述運(yùn)動位置傳感器的一個(gè)軸向線加速度，得到相應(yīng)的數(shù)值，利用閾值的方法對該數(shù)值進(jìn)行處理判斷是否是一個(gè)點(diǎn)擊動作。所述人機(jī)交互設(shè)備1通過無線的方式和其他設(shè)備進(jìn)行連接實(shí)現(xiàn)人機(jī)交互。本發(fā)明一共采集兩種不同的交互命令拖拽和點(diǎn)擊。
設(shè)備或者計(jì)算機(jī)通過對以上數(shù)據(jù)的計(jì)算，得到相應(yīng)的交互命令，即拖拽和點(diǎn)擊來對相應(yīng)的設(shè)備或計(jì)算機(jī)進(jìn)行進(jìn)一步的交互。拖拽本發(fā)明的拖拽定義為，該設(shè)備與其他物體表面(桌面，衣服，皮膚，其他手指等)發(fā)生滑動摩擦的行為，這個(gè)拖拽是有相應(yīng)的軌跡與方向的。關(guān)于拖拽一共分為2個(gè)方面，一方面是拖拽的起始點(diǎn)，一方面是拖拽過程中手指的運(yùn)動軌跡。當(dāng)與其他表面發(fā)生滑動摩擦?xí)r， 聲波會傳導(dǎo)到設(shè)備的麥克風(fēng)中。然后設(shè)備通過相應(yīng)的對音頻處理的算法來判斷是否是一個(gè)摩擦聲，從而得到摩擦的起始點(diǎn)。而拖拽的軌跡，是通過對設(shè)備上的線加速度傳感器和陀螺儀進(jìn)行建模處理，計(jì)算出來的。本發(fā)明中采集摩擦的起始點(diǎn)，是通過算法實(shí)現(xiàn)的，計(jì)算聲音的MFCC參數(shù)、過零率， 和功率指標(biāo)，通過訓(xùn)練利用SVM分類器得到，當(dāng)然這不是唯一的方法，還可以采用其他一些現(xiàn)有技術(shù)。本發(fā)明中獲得拖拽軌跡是通過現(xiàn)有成熟技術(shù)完成的，利用濾波然后修正再積分的方法完成。以上都只是實(shí)現(xiàn)方法，實(shí)際上還可以有其他類似的方法得到這些結(jié)果。點(diǎn)擊本發(fā)明的點(diǎn)擊定義為，該設(shè)備與其他物體表面發(fā)生碰撞的行為(可擴(kuò)展為單擊， 雙擊等)。通過計(jì)算麥克風(fēng)采集的音頻瞬時(shí)功率和線加速度傳感器的一個(gè)軸向線加速度，可以得到相應(yīng)的數(shù)值，利用算法對該數(shù)值進(jìn)行處理，就可以判斷是否是一個(gè)點(diǎn)擊動作。采集瞬時(shí)功率和一個(gè)軸的計(jì)算度數(shù)值，然后通過判斷閾值(閾值通過統(tǒng)計(jì)得出)的方法來確定是不是一個(gè)點(diǎn)擊。圖2是本發(fā)明的一種人機(jī)交互設(shè)備的一實(shí)施例的示意圖，圖3是圖2的實(shí)施例佩戴在手指上的示意圖，如圖2和圖3所示，作為一種可實(shí)施方式，整體設(shè)備設(shè)計(jì)成一個(gè)戒指佩戴在手指上，在戒指的上方部署用于采集手指運(yùn)動與姿態(tài)的傳感器(可部署加速度傳感器、陀螺儀等中的一個(gè)或多個(gè)，一種實(shí)施方式為部署線加速度傳感器)。在戒指的下方安裝一個(gè)音孔朝向手指皮膚的麥克風(fēng)。戒指是電池供電，通過無線的方式(藍(lán)牙、數(shù)傳等)和其他設(shè)備進(jìn)行連接。所述人機(jī)交互設(shè)備2，包括運(yùn)動位置傳感器21，用于采集手指運(yùn)動與姿態(tài)的運(yùn)動位置；麥克風(fēng)22，音孔朝向手指皮膚，用于采集的手指與其他表面的摩擦音頻以及麥克風(fēng)的瞬時(shí)功率；處理模塊23，用于根據(jù)采集手指運(yùn)動與姿態(tài)的運(yùn)動位置，判斷在起點(diǎn)和終點(diǎn)之間的手指的姿態(tài)來獲得在運(yùn)動過程中人的手勢，當(dāng)手指與其他表面發(fā)生滑動摩擦?xí)r，聲波會通過手指骨傳導(dǎo)到設(shè)備的麥克風(fēng)中，通過算法來判斷是否是一個(gè)摩擦聲，從而得到摩擦的起始點(diǎn)，得到“拖拽”命令的人機(jī)交互命令；以及通過采集到的運(yùn)動位置傳感器數(shù)據(jù)和麥克風(fēng)的瞬時(shí)功率對于敲擊動作做出判斷，得到“敲擊”命令的人機(jī)交互命令；所述人機(jī)交互設(shè)備2通過無線的方式24 (藍(lán)牙、數(shù)傳等)和其他設(shè)備進(jìn)行連接，利用手指移動過程的手勢進(jìn)行人機(jī)交互。將所述人機(jī)交互設(shè)備2佩戴在人的手指或手臂上后，可接任何固體表面作為觸摸平面，通過觸摸該表面完成各種手勢動作，并以該動作控制計(jì)算機(jī)或智能設(shè)備實(shí)現(xiàn)相關(guān)操作。本發(fā)明的人機(jī)交互設(shè)備主要用于人機(jī)交互領(lǐng)域，可以有很多種不同的外形，作為另一種可實(shí)施方式，可以做成筆的形狀，區(qū)分在于做成筆的話，麥克風(fēng)和傳感器應(yīng)該安裝在筆尖處。相對于傳統(tǒng)的體感設(shè)備，或者遙控設(shè)備，本發(fā)明有很多優(yōu)點(diǎn)首先該發(fā)明不要求使用者在交互動作中大幅度的運(yùn)動，即可以用手指非常小幅的摩擦和點(diǎn)擊就可以輕松完成和設(shè)備之間的交互；另外本發(fā)明可以制成一種可穿戴式的交互設(shè)備，也就是說對于隨時(shí)隨地的交互都提供了便利；最后本發(fā)明的目的是“把所有的平面都變成觸摸板”，這對提高交互體驗(yàn)有著非常重要的促進(jìn)作用。通過結(jié)合附圖對本發(fā)明具體實(shí)施例的描述，本發(fā)明的其它方面及特征對本領(lǐng)域的技術(shù)人員而言是顯而易見的。以上對本發(fā)明的具體實(shí)施例進(jìn)行了描述和說明，這些實(shí)施例應(yīng)被認(rèn)為其只是示例性的，并不用于對本發(fā)明進(jìn)行限制，本發(fā)明應(yīng)根據(jù)所附的權(quán)利要求進(jìn)行解釋。
權(quán)利要求
1.一種人機(jī)交互設(shè)備，其特征在于，所述設(shè)備，包括 運(yùn)動位置傳感器，用于采集運(yùn)動軌跡與姿態(tài)；麥克風(fēng)，用于采集設(shè)備與其他表面的摩擦音頻；處理模塊，用于根據(jù)采集的運(yùn)動軌跡和與其他表面的摩擦音頻，得到“拖拽”的人機(jī)交互命令；以及通過采集到的運(yùn)動位置傳感器數(shù)據(jù)和計(jì)算出麥克風(fēng)采集到音頻的瞬時(shí)功率對于敲擊動作做出判斷，得到“敲擊”命令的人機(jī)交互命令；實(shí)現(xiàn)對相應(yīng)的設(shè)備或計(jì)算機(jī)進(jìn)行交互。
2.根據(jù)權(quán)利要求1所述的人機(jī)交互設(shè)備，其特征在于，所述人機(jī)交互設(shè)備通過無線的方式和其他設(shè)備進(jìn)行連接實(shí)現(xiàn)人機(jī)交互。
3.根據(jù)權(quán)利要求1所述的人機(jī)交互設(shè)備，其特征在于，所述處理模塊，包括拖拽命令模塊，用于根據(jù)采集的運(yùn)動軌跡，判斷在起點(diǎn)和終點(diǎn)之間的設(shè)備在運(yùn)動過程中人的手勢，以及根據(jù)與其他表面的摩擦音頻，來確定摩擦發(fā)生的起點(diǎn)和終點(diǎn)時(shí)間，得到一個(gè)拖拽動作；點(diǎn)擊命令模塊，用于通過計(jì)算麥克風(fēng)的采集音頻瞬時(shí)功率和所述運(yùn)動位置傳感器的一個(gè)軸向線加速度，得到相應(yīng)的數(shù)值，利用算法對該數(shù)值進(jìn)行處理判斷是否是一個(gè)點(diǎn)擊動作。
4.根據(jù)權(quán)利要求3所述的人機(jī)交互設(shè)備，其特征在于，所述拖拽命令模塊，包括 音頻處理子模塊，用于當(dāng)與其他表面發(fā)生滑動摩擦?xí)r，聲波傳導(dǎo)到設(shè)備的麥克風(fēng)中，通過算法來判斷是否是一個(gè)摩擦聲，從而得到摩擦的起始點(diǎn)；位移處理子模塊，用于通過對運(yùn)動位置傳感器進(jìn)行建模處理，計(jì)算所述設(shè)備的位移軌跡。
5.根據(jù)權(quán)利要求4所述的人機(jī)交互設(shè)備，其特征在于，所述音頻處理子模塊，通過計(jì)算聲音片段的MFCC參數(shù)、過零率和功率指標(biāo)作為特征，利用經(jīng)過訓(xùn)練的SVM分類器得到摩擦的起始點(diǎn)。
6.根據(jù)權(quán)利要求4所述的人機(jī)交互設(shè)備，其特征在于，所述人機(jī)交互設(shè)備，設(shè)計(jì)成一個(gè)戒指佩戴在手指上，在戒指的上方部署用于采集手指運(yùn)動與姿態(tài)的傳感器，在戒指的下方安裝一個(gè)音孔朝向手指皮膚的麥克風(fēng)，通過無線的方式和其他設(shè)備進(jìn)行連接。
7.根據(jù)權(quán)利要求6所述的人機(jī)交互設(shè)備，其特征在于，所述傳感器是加速度傳感器、陀螺儀中的一個(gè)或多個(gè)。
8.根據(jù)權(quán)利要求6所述的人機(jī)交互設(shè)備，其特征在于，所述音頻處理子模塊，用于當(dāng)手指與其他表面發(fā)生滑動摩擦?xí)r，聲波會通過手指骨傳導(dǎo)到設(shè)備的麥克風(fēng)中，通過算法來判斷是否是一個(gè)摩擦聲，從而得到摩擦的起始點(diǎn)。
9.根據(jù)權(quán)利要求1所述的人機(jī)交互設(shè)備，其特征在于，所述人機(jī)交互設(shè)備，設(shè)計(jì)成筆型，所述麥克風(fēng)和所述運(yùn)動位置傳感器是安裝在筆尖處。
10.根據(jù)權(quán)利要求5所述的人機(jī)交互設(shè)備，其特征在于，所述音頻處理子模塊，具體執(zhí)行下列操作通過麥克風(fēng)采集到音頻，將音頻變成數(shù)字化的信號也就是音頻文件； 通過截?cái)嗟姆椒?，把音頻切成片段；對獲得的片段進(jìn)行處理，加海明窗，計(jì)算片段的MFCC，計(jì)算片段的功率，計(jì)算片段的過零率作為特征向量；該特征為一個(gè)多維的向量由MFCC和片段功率過零率拼接而成；對獲得的片段的特征進(jìn)行標(biāo)注，并訓(xùn)練SVM模型；通過SVM對計(jì)算出來片段的特征進(jìn)行分類，分為摩擦和非摩擦。顯然的從非摩擦到摩擦就是一個(gè)摩擦的起點(diǎn)，而由摩擦到非摩擦就是終點(diǎn)。
全文摘要
本發(fā)明公開了一種人機(jī)交互設(shè)備，包括運(yùn)動位置傳感器，用于采集運(yùn)動軌跡與姿態(tài)；麥克風(fēng)，用于采集與其他表面的摩擦音頻；處理模塊，用于根據(jù)采集的運(yùn)動軌跡和與其他表面的摩擦音頻，得到“拖拽”的人機(jī)交互命令；以及通過采集到的運(yùn)動位置傳感器數(shù)據(jù)和計(jì)算出麥克風(fēng)采集到音頻的瞬時(shí)功率對于敲擊動作做出判斷，得到“敲擊”命令的人機(jī)交互命令；實(shí)現(xiàn)對相應(yīng)的設(shè)備或計(jì)算機(jī)進(jìn)行交互。所述設(shè)備能夠接任何固體表面作為觸摸平面，通過觸摸該表面完成各種手勢動作，并以該動作控制計(jì)算機(jī)或智能設(shè)備實(shí)現(xiàn)相關(guān)操作。
文檔編號G06F3/01GK102184011SQ20111011766
公開日2011年9月14日 申請日期2011年5月6日 優(yōu)先權(quán)日2011年5月6日
發(fā)明者張博寧, 王向東, 錢躍良 申請人:中國科學(xué)院計(jì)算技術(shù)研究所