本發(fā)明屬于人機(jī)交互領(lǐng)域，尤其是指三維筆式交互領(lǐng)域，具體涉及一種面向三維筆式交互平臺(tái)的多通道自適應(yīng)操作方法。

背景技術(shù)：

隨著可穿戴設(shè)備、智能家居、物聯(lián)網(wǎng)等領(lǐng)域的發(fā)展，全面打造智能化的生活已經(jīng)成為接下來的研究熱點(diǎn)，而如何使人機(jī)交互的方式更加自然、流暢就成為了實(shí)現(xiàn)這些技術(shù)的關(guān)鍵環(huán)節(jié)。筆式交互作為一種自然的交互方式越來越受到人們的重視，是人機(jī)交互領(lǐng)域的一個(gè)研究熱點(diǎn)。目前，基于紙筆隱喻的交互方式已經(jīng)在二維平面交互中取得了很好的發(fā)展，如果將傳統(tǒng)的二維筆式交互擴(kuò)展到三維空間下的筆式交互，不僅可以讓用戶體驗(yàn)更加豐富的交互方式，帶來更多的樂趣，而且還可以在教育、遠(yuǎn)程交互、會(huì)議等領(lǐng)域發(fā)揮出更大的價(jià)值。

為了使三維筆式或者手式交互更加自然，通常與其它交互方式進(jìn)行融合。其中，中國(guó)專利“一種面向觸控設(shè)備的多通道精確目標(biāo)定位方法”(申請(qǐng)?zhí)?01110445164.1)公開了一種面向觸控設(shè)備的精確目標(biāo)定位方法，利用觸控輸入和語(yǔ)音輸入的融合算法，得到準(zhǔn)確的目標(biāo)定位。但是這種方法只適用于平面交互，而不適合與三維操作。中國(guó)專利“基于語(yǔ)音和手勢(shì)識(shí)別的多模態(tài)非觸摸人機(jī)交互方法及系統(tǒng)”(申請(qǐng)?zhí)朿n201510396954.3)公開了一種語(yǔ)音和手勢(shì)融合的交互方式，在基本的語(yǔ)音識(shí)別、手勢(shì)識(shí)別的基礎(chǔ)上，通過定義語(yǔ)音和手勢(shì)的聯(lián)合語(yǔ)義來提高交互效率。但是這種方法限制了用戶自己選擇交互通道的權(quán)利，這樣在某些特定的交互場(chǎng)合下就存在一定的弊端。所以在交互過程中根據(jù)人的意愿實(shí)現(xiàn)交互通道的自然切換從而配合用戶完成更加精確的操作則顯得非常重要。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種面向三維筆式交互平臺(tái)的多通道自適應(yīng)操作方法，目的在于利用多通道輸入，從而利用不同通道的優(yōu)勢(shì)完成對(duì)虛擬目標(biāo)對(duì)象的精準(zhǔn)操控。

本發(fā)明采取的技術(shù)方案是，包括下列步驟：

(一)、用戶在使用筆式交互平臺(tái)與虛擬物體進(jìn)行交互時(shí)，集成在筆中的交互通道輸入單元以一定的頻率采集筆勢(shì)輸入信息和語(yǔ)音輸入信息，并將數(shù)據(jù)送到處理單元；

(二)、通過分析筆的空間位置信息(x,y,z)以及空間姿態(tài)信息(α,β)，利用多通道融合算法實(shí)現(xiàn)用戶意圖分析，完成筆式交互通道與語(yǔ)音交互通道的自然切換；

(三)、根據(jù)所選擇的交互通道，利用對(duì)應(yīng)的通道操作算法，執(zhí)行對(duì)虛擬目標(biāo)對(duì)象的操作變換。

本發(fā)明所述的筆式交互平臺(tái)包括三維書空模式的交互筆套件以及電子白板或者液晶屏幕等主機(jī)套件。用戶在使用筆與交互界面中虛擬目標(biāo)對(duì)象進(jìn)行交互時(shí)，筆的空間位置信息以及姿態(tài)信息可以分別通過筆式交互通道中的超聲波傳感器以及加速度計(jì)陀螺儀實(shí)時(shí)獲得，用戶的語(yǔ)音信息可以通過集成在筆上的麥克風(fēng)獲得。為了便于對(duì)交互數(shù)據(jù)的存儲(chǔ)、傳輸與處理，本發(fā)明將這兩個(gè)交互通道的數(shù)據(jù)進(jìn)行分時(shí)采樣，將其整合到一起進(jìn)行處理。

本發(fā)明所述步驟(二)中的多通道融合算法，包括下列步驟：

(1)、將筆式交互通道中采集的采樣點(diǎn)按先后順序存儲(chǔ)到長(zhǎng)度為n的存儲(chǔ)隊(duì)列中；

(2)、將這n個(gè)采樣點(diǎn)組成兩個(gè)集合，位置信息集合a＝{a0…ai…an-1}，姿態(tài)信息集合b＝{b0…bi…bn-1}，其中編號(hào)為n-1的采樣點(diǎn)為最近時(shí)刻的采樣點(diǎn)；

(3)、計(jì)算出位置集合中每一個(gè)點(diǎn)相對(duì)于a0的變化量△d，并求出其中的最大值△dmax；計(jì)算出姿態(tài)角集合中每一個(gè)姿態(tài)角相對(duì)于b0的變化量△θ，并求出其中的最大值△θmax；

(4)、判斷距離改變量△dmax與距離閾值△dth、角度改變量△θmax與角度閾值△θth的大小關(guān)系，若△dmax與△θmax分別小于各自的閾值，則判定用戶意圖為語(yǔ)音交互，自然切換到語(yǔ)音交互通道并對(duì)虛擬物體執(zhí)行語(yǔ)音交互所對(duì)應(yīng)的操作；否則判定用戶的交互意圖為筆式交互，自然切換到筆式交互通道并對(duì)虛擬物體執(zhí)行筆式交互所對(duì)應(yīng)的操作。

本發(fā)明所述步驟(二)中的多通道融合算法中，所述隊(duì)列分別存儲(chǔ)著交互過程中筆的位置和姿態(tài)信息，其中距離改變量的計(jì)算方法為：

姿態(tài)改變量的計(jì)算方法為：隨著交互的不斷進(jìn)行，隊(duì)列里的數(shù)據(jù)也不斷更新，這樣就可以實(shí)時(shí)的檢測(cè)用戶在交互過程中筆的狀態(tài)，從而確定用戶的交互意圖，并切換到相應(yīng)的交互通道執(zhí)行對(duì)應(yīng)的操作。

進(jìn)一步的，通過筆式輸入通道獲得筆的位置和姿態(tài)信息，包括坐標(biāo)數(shù)據(jù)(x,y,z)以及角度數(shù)據(jù)(α,β)，根據(jù)當(dāng)前時(shí)刻與上一時(shí)刻采樣點(diǎn)的狀態(tài)變化量或者是一系列采樣點(diǎn)的變化趨勢(shì)來映射成對(duì)目標(biāo)對(duì)象的操控方法；通過語(yǔ)音輸入通道得到語(yǔ)音數(shù)據(jù)信息，利用語(yǔ)音識(shí)別引擎來識(shí)別所述的語(yǔ)音數(shù)據(jù)信息，并映射成對(duì)目標(biāo)對(duì)象的操控方法。

在實(shí)際操作過程中，可以利用本發(fā)明專利實(shí)現(xiàn)對(duì)虛擬目標(biāo)對(duì)象某些屬性值的連續(xù)操控，比如通過筆式交互通道操控一個(gè)立方體，使其隨著筆的姿態(tài)變化而發(fā)生相應(yīng)的轉(zhuǎn)動(dòng)；也可以實(shí)現(xiàn)對(duì)虛擬目標(biāo)對(duì)象某些屬性值的離散操控，比如通過語(yǔ)音操控這個(gè)立方體使其向上旋轉(zhuǎn)1度，通過這種方法，就解決了筆式交互方式中手的自然抖動(dòng)、筆的定位誤差所產(chǎn)生的操作不精準(zhǔn)問題，以及語(yǔ)音交互方式中無法體現(xiàn)出操作過程的問題。

本發(fā)明利用了筆式交互方式以及語(yǔ)音交互方式：通過筆式交互實(shí)現(xiàn)對(duì)虛擬目標(biāo)對(duì)象某些屬性值的連續(xù)操控，通過語(yǔ)音交互實(shí)現(xiàn)對(duì)虛擬目標(biāo)對(duì)象某些屬性值的離散操控。利用多通道自然切換算法將這兩種交互方式結(jié)合，可以將這兩種優(yōu)勢(shì)結(jié)合，實(shí)現(xiàn)更加精準(zhǔn)的操控。

與現(xiàn)有的技術(shù)相比本發(fā)明具有的優(yōu)點(diǎn)和積極效果如下：

1)通過自適應(yīng)切換算法完成通道的自然切換，無需使用按鈕等硬件結(jié)構(gòu)控制，使得交互更加自然。

2)通過結(jié)合兩種通道的優(yōu)勢(shì)，完成對(duì)虛擬目標(biāo)對(duì)象某些屬性值的連續(xù)或者離散操控，使得交互效果更加精確。

附圖說明

圖1是本發(fā)明筆式交互平臺(tái)的結(jié)構(gòu)框圖；

圖2是本發(fā)明三維筆式交互平臺(tái)下利用多通道對(duì)虛擬目標(biāo)對(duì)象進(jìn)行精確操控的示意圖；

圖3是本發(fā)明多通道融合算法的示意圖；

圖4是本發(fā)明距離變化量的計(jì)算流程圖。

具體實(shí)施方式

包括下列步驟：

(一)、用戶在使用筆式交互平臺(tái)與虛擬物體進(jìn)行交互時(shí)，集成在筆中的交互通道輸入單元以一定的頻率采集筆勢(shì)輸入信息和語(yǔ)音輸入信息，并將數(shù)據(jù)送到處理單元；

(二)、通過分析筆的空間位置信息(x,y,z)以及空間姿態(tài)信息(α,β)，利用多通道融合算法實(shí)現(xiàn)用戶意圖分析，完成筆式交互通道與語(yǔ)音交互通道的自然切換；

(三)、根據(jù)所選擇的交互通道，利用對(duì)應(yīng)的通道操作算法，執(zhí)行對(duì)虛擬目標(biāo)對(duì)象的操作變換。

本發(fā)明所述的筆式交互平臺(tái)包括三維書空模式的交互筆套件以及電子白板或者液晶屏幕等主機(jī)套件。用戶在使用筆與交互界面中虛擬目標(biāo)對(duì)象進(jìn)行交互時(shí)，筆的空間位置信息以及姿態(tài)信息可以分別通過筆式交互通道中的超聲波傳感器以及加速度計(jì)陀螺儀實(shí)時(shí)獲得，用戶的語(yǔ)音信息可以通過集成在筆上的麥克風(fēng)獲得。為了便于對(duì)交互數(shù)據(jù)的存儲(chǔ)、傳輸與處理，本發(fā)明將這兩個(gè)交互通道的數(shù)據(jù)進(jìn)行分時(shí)采樣，將其整合到一起進(jìn)行處理。

本發(fā)明所述步驟(二)中的多通道融合算法，包括下列步驟：

(1)、將筆式交互通道中采集的采樣點(diǎn)按先后順序存儲(chǔ)到長(zhǎng)度為n的存儲(chǔ)隊(duì)列中；

(2)、將這n個(gè)采樣點(diǎn)組成兩個(gè)集合，位置信息集合a＝{a0…ai…an-1}，姿態(tài)信息集合b＝{b0…bi…bn-1}，其中編號(hào)為n-1的采樣點(diǎn)為最近時(shí)刻的采樣點(diǎn)；

(3)、計(jì)算出位置集合中每一個(gè)點(diǎn)相對(duì)于a0的變化量△d，并求出其中的最大值△dmax；計(jì)算出姿態(tài)角集合中每一個(gè)姿態(tài)角相對(duì)于b0的變化量△θ，并求出其中的最大值△θmax；

(4)、判斷距離改變量△dmax與距離閾值△dth、角度改變量△θmax與角度閾值△θth的大小關(guān)系，若△dmax與△θmax分別小于各自的閾值，則判定用戶意圖為語(yǔ)音交互，自然切換到語(yǔ)音交互通道并對(duì)虛擬物體執(zhí)行語(yǔ)音交互所對(duì)應(yīng)的操作；否則判定用戶的交互意圖為筆式交互，自然切換到筆式交互通道并對(duì)虛擬物體執(zhí)行筆式交互所對(duì)應(yīng)的操作。

本發(fā)明所述步驟(二)中的多通道融合算法中，所述隊(duì)列分別存儲(chǔ)著交互過程中筆的位置和姿態(tài)信息，其中距離改變量的計(jì)算方法為：

姿態(tài)改變量的計(jì)算方法為：隨著交互的不斷進(jìn)行，隊(duì)列里的數(shù)據(jù)也不斷更新，這樣就可以實(shí)時(shí)的檢測(cè)用戶在交互過程中筆的狀態(tài)，從而確定用戶的交互意圖，并切換到相應(yīng)的交互通道執(zhí)行對(duì)應(yīng)的操作。

進(jìn)一步的，通過筆式輸入通道獲得筆的位置和姿態(tài)信息，包括坐標(biāo)數(shù)據(jù)(x,y,z)以及角度數(shù)據(jù)(α,β)，根據(jù)當(dāng)前時(shí)刻與上一時(shí)刻采樣點(diǎn)的狀態(tài)變化量或者是一系列采樣點(diǎn)的變化趨勢(shì)來映射成對(duì)目標(biāo)對(duì)象的操控方法；通過語(yǔ)音輸入通道得到語(yǔ)音數(shù)據(jù)信息，利用語(yǔ)音識(shí)別引擎來識(shí)別所述的語(yǔ)音數(shù)據(jù)信息，并映射成對(duì)目標(biāo)對(duì)象的操控方法。

為使本發(fā)明的目的、特征和優(yōu)點(diǎn)能更明顯易懂，下邊通過具體實(shí)例，并結(jié)合附圖，對(duì)本發(fā)明做出更加詳細(xì)的說明。

1、該方法所述的筆式交互平臺(tái)包括電子白板等交互界面11以及三維書空筆10兩個(gè)部分，圖1為本發(fā)明所述的筆式交互系統(tǒng)結(jié)構(gòu)框圖，三維書空筆10由麥克風(fēng)101、藍(lán)牙通信模塊102、mems六軸加速度/陀螺儀103、按鍵104和pvdf超聲薄膜105組成，交互屏幕11由顯示界面110和超聲波傳感器111組成。交互筆10中麥克風(fēng)101主要收集語(yǔ)音交互的數(shù)據(jù)，mems六軸加速度/陀螺儀103用來獲取筆的俯仰角α和方位角β，按鍵104可以通過不同的組合形式實(shí)現(xiàn)不同的功能，pvdf超聲薄膜105發(fā)送超聲信號(hào)，與交互屏幕11超聲波傳感器111結(jié)合完成筆在三維空間的定位功能。交互系統(tǒng)通過一定的頻率對(duì)語(yǔ)音交互通道以及筆勢(shì)交互通道進(jìn)行采樣，得到的語(yǔ)音信息、筆的空間位置及姿態(tài)信息通過藍(lán)牙通信模塊102傳送給系統(tǒng)，完成進(jìn)一步的處理。

2、本發(fā)明利用多通道交互技術(shù)，提供了一種三維筆式交互平臺(tái)中利用筆對(duì)目標(biāo)對(duì)象進(jìn)行精確操控的方法，該方法的整體框圖如圖2所示20。利用筆式交互通道采集筆式輸入的信息201，根據(jù)筆的空間位置以及姿態(tài)信息的變化有連續(xù)性的特點(diǎn)，運(yùn)用筆式交互實(shí)現(xiàn)對(duì)目標(biāo)對(duì)象的連續(xù)操控，進(jìn)而實(shí)現(xiàn)目標(biāo)對(duì)象某些屬性值的連續(xù)變化，比如通過筆操控一個(gè)立方體，使其隨著筆的姿態(tài)變化而發(fā)生相應(yīng)的轉(zhuǎn)動(dòng)；利用語(yǔ)音交互通道采集語(yǔ)音輸入的信息202，根據(jù)語(yǔ)音實(shí)現(xiàn)的控制信息具有離散性、確定性的特點(diǎn)，雖然無法實(shí)現(xiàn)目標(biāo)對(duì)象的某些屬性值連續(xù)變化，但是可以使這個(gè)屬性值發(fā)生一個(gè)確定的變化，比如通過語(yǔ)音操控一個(gè)立方體使其向上旋轉(zhuǎn)1度。在實(shí)際操作過程中，由于手自然抖動(dòng)等誤差因素的存在使得單獨(dú)的筆式交互通道接收的數(shù)據(jù)存在一定的抖動(dòng)，而單獨(dú)的語(yǔ)音操控又無法實(shí)現(xiàn)對(duì)操控過程中具體步驟的展現(xiàn)，進(jìn)而難以達(dá)到用戶想要的操控效果。因此利用多通道融合算法205，將筆式交互與語(yǔ)音交互結(jié)合，利用筆式交互實(shí)現(xiàn)對(duì)目標(biāo)對(duì)象的連續(xù)操控，利用語(yǔ)音交互實(shí)現(xiàn)對(duì)目標(biāo)對(duì)象的精確操控，形成良好的優(yōu)勢(shì)互補(bǔ)效果，提高交互效率。

3、在上述多通道精準(zhǔn)操控方法中，所述的多通道自然切換算法如圖3所示30，其具體步驟為：

(1)將筆式交互通道中采集的采樣點(diǎn)按先后順序存儲(chǔ)到長(zhǎng)度為n的存儲(chǔ)隊(duì)列中；

(2)將這n個(gè)采樣點(diǎn)組成兩個(gè)集合，位置信息集合a＝{a0…ai…an-1}，姿態(tài)信息集合b＝{b0…bi…bn-1}，其中編號(hào)為n-1的采樣點(diǎn)為最近時(shí)刻的采樣點(diǎn)；

(3)計(jì)算出位置集合中每一個(gè)點(diǎn)相對(duì)于a0的位置變化量△d，并求出其中的最大值△dmax；計(jì)算出姿態(tài)角集合中每一個(gè)姿態(tài)角相對(duì)于b0的姿態(tài)變化量△θ，并求出其中的最大值△θmax；

(4)判斷距離改變量△dmax與距離閾值△dth、角度改變量△θmax與角度閾值△θth的大小關(guān)系，若△dmax與△θmax分別小于各自的閾值，則判定用戶意圖為語(yǔ)音交互，自然切換到語(yǔ)音交互通道并對(duì)虛擬物體執(zhí)行語(yǔ)音交互所對(duì)應(yīng)的操作；否則判定用戶的交互意圖為筆式交互，自然切換到筆式交互通道并對(duì)虛擬物體執(zhí)行筆式交互所對(duì)應(yīng)的操作；

在上述算法中，位置變化量的最大值△dmax303以及姿態(tài)變化量的最大值△θmax304的計(jì)算方法如下：

1)計(jì)算在規(guī)定采樣點(diǎn)n內(nèi)三維書空筆的最大距離變化量△dmax303，需要用到的參數(shù)有筆的初始坐標(biāo)(x0,y0,z0)，以及其它n-1個(gè)筆的運(yùn)動(dòng)軌跡坐標(biāo)(xi,yi,zi)，設(shè)定距離閾值△dth，具體計(jì)算過程如圖4所示40，其步驟如下：

計(jì)算x軸的相對(duì)變化值|xi-x0|²[401]，計(jì)算y軸的相對(duì)變化值|yi-y0|²[402]，計(jì)算z軸的相對(duì)變化值|zi-z0|²[403]；計(jì)算第i點(diǎn)相對(duì)于第0點(diǎn)的距離[408]；計(jì)算△di中最大值△dmax并與距離閾值△dth進(jìn)行對(duì)比，若大于△dth，則識(shí)別用戶意圖為筆式操作輸入，否則進(jìn)行姿態(tài)變化量的計(jì)算。

2)計(jì)算在規(guī)定采樣點(diǎn)n內(nèi)三維書空筆的最大姿態(tài)變化量△θmax，需要用到的參數(shù)有筆的初始姿態(tài)(α0,β0)，以及其它n-1個(gè)姿態(tài)(αi,βi)，其中α為俯仰角，β為方位角，設(shè)定角度閾值△θth；具體計(jì)算步驟如下：

計(jì)算俯仰角的相對(duì)變化值|αi-α0|²，計(jì)算方位角的相對(duì)變化值|βi-β0|²，計(jì)算第i點(diǎn)相對(duì)于第0點(diǎn)的姿態(tài)變化量計(jì)算△θi中最大值△θmax304并與角度閾值△θth進(jìn)行對(duì)比，若大于△θth，則識(shí)別用戶意圖為筆式操作輸入，否則判斷用戶意圖為語(yǔ)音輸入。

以上通過實(shí)例對(duì)本發(fā)明所述的多通道自然切換算法進(jìn)行了詳細(xì)說明，但本發(fā)明的具體實(shí)現(xiàn)形式并不局限于此。本領(lǐng)域的一般技術(shù)人員，可以在不背離本發(fā)明所述方法的精神和原則的情況下對(duì)其進(jìn)行各種顯而易見變化與修改。本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求書所述為準(zhǔn)。