本發(fā)明涉及人機(jī)交互領(lǐng)域,特別是一種手勢識別裝置、遠(yuǎn)程寫字系統(tǒng)及其應(yīng)用方法。
背景技術(shù):
大尺寸顯示屏的電腦、智能電視、投影儀的出現(xiàn),使得基于鼠標(biāo)、鍵盤的傳統(tǒng)人機(jī)交互的不便性日益凸顯,現(xiàn)有的觸摸屏及相關(guān)技術(shù)也因距離限制缺乏通用性,特別是大型場合,如會議、教室等一對多的平臺上,更是急需創(chuàng)新,如何使人與機(jī)器之間的交互能夠模擬人與人之間的自然交流變得越來越重要。
手勢識別作為一種新興技術(shù),目的就是為了解決隔空的人機(jī)交流不便的問題,但是目前大部分的關(guān)于手勢識別的研究都是采用基于攝像頭圖像處理的方法,若用戶的手在攝像頭中被遮擋,效果將會受到較大的影響。
現(xiàn)在的教學(xué)模式基本上都是教師在講臺講課,需要在ppt寫注釋、標(biāo)注的時候,都要走到講臺或者投影屏幕上用筆寫,在教學(xué)和演示過程中較為不便,影響了教學(xué)的互動性。
因此,針對上述技術(shù)問題,有必要提供一種新型的手勢識別裝置、遠(yuǎn)程寫字系統(tǒng)及其應(yīng)用方法。
技術(shù)實現(xiàn)要素:
為解決上述問題,本發(fā)明的目的在于提供一種手勢識別裝置、遠(yuǎn)程寫字系統(tǒng)及其應(yīng)用方法,旨在避免外部環(huán)境對手勢識別的干擾,加強(qiáng)教學(xué)、演示等場景的互動性。
本發(fā)明所采用的技術(shù)方案是:
一種手勢識別裝置,包括傳感裝置和從機(jī)設(shè)備;傳感裝置包括用于獲取手勢信息的傳感器和陀螺儀,所述傳感器和陀螺儀分別設(shè)置于手指和手腕上;所述從機(jī)設(shè)備包括信息處理模塊及無線傳輸模塊,所述信息處理模塊用于處理來自所述傳感裝置的手勢信息,所述無線傳輸模塊用于向主機(jī)設(shè)備發(fā)送手勢信息數(shù)據(jù)。
所述主機(jī)設(shè)備是指帶有顯示終端的設(shè)備,包括計算機(jī)、平板電腦、移動終端等設(shè)備。
進(jìn)一步,所述傳感器包括捕捉手指或手掌的運動數(shù)據(jù)的位置傳感器;所述位置傳感器安裝在用戶手指的第二指間關(guān)節(jié)和/或掌指關(guān)節(jié)上,用于獲取手指的點擊狀態(tài)量及位移狀態(tài)量;所述陀螺儀安裝在用戶手腕位置,用于獲取手掌位置變化的位移狀態(tài)量;具體地,所述傳感裝置獲取的手勢信息包含手指的點擊狀態(tài)量、位移狀態(tài)量和手掌的位移狀態(tài)量。通過安裝在用戶手指關(guān)節(jié)上的位置傳感器,可以獲取手指上下移動及左右移動時產(chǎn)生的運動數(shù)據(jù),手指上下移動時的運動數(shù)據(jù)對應(yīng)了手指的點擊狀態(tài)量,左右移動時的運動數(shù)據(jù)對應(yīng)了手指的位移狀態(tài)量;陀螺儀通過全格感測用戶手部移動的角速度,可以高精度、快速獲得手掌每一時刻的位移狀態(tài)量。
進(jìn)一步,所述信息處理模塊為單片機(jī),用于讀取所述手勢信息,并對所述手勢信息進(jìn)行濾波、誤差分析、補(bǔ)償和融合打包發(fā)送至所述無線傳輸模塊;所述無線傳輸模塊分別與信息處理模塊和主機(jī)設(shè)備連接,用于將信息處理模塊打包后的手勢信息數(shù)據(jù)通過無線傳輸至主機(jī)設(shè)備。單片機(jī)讀取的手勢信息為傳感器的電壓變化值和陀螺儀的角速度值,經(jīng)過一系列處理后由無線傳輸模塊,通過無線信號實時傳輸至主機(jī)設(shè)備,這種傳輸方式響應(yīng)快,傳輸距離長,且無線信號所在的頻段輻射性小。
一種應(yīng)用所述手勢識別裝置的遠(yuǎn)程寫字系統(tǒng),還包括設(shè)置在主機(jī)設(shè)備上的寫字板模塊,所述寫字板模塊與無線傳輸模塊相連,用于將用戶的手勢操作轉(zhuǎn)化為畫筆軌跡。
一種應(yīng)用所述手勢識別裝置的手勢識別方法,其特征在于,所述方法包括:
a、獲取安裝在用戶手指和手腕上的傳感器及陀螺儀記錄的手勢信息;
b、對手勢信息進(jìn)行處理;
c、傳輸手勢信息至主機(jī)設(shè)備;
d、解析手勢信息數(shù)據(jù),并將其轉(zhuǎn)化為對應(yīng)的圖像信息和鼠標(biāo)控制信號。
進(jìn)一步,所述步驟a獲取的手勢信息包括獲取用戶手指的點擊狀態(tài)量和位移狀態(tài)量,以及手掌的位移狀態(tài)量。用戶手指上下移動模擬的點擊操作,以及手指或手掌做出微小移動時的位移操作產(chǎn)生的狀態(tài)量都會被捕捉,記錄為手勢信息。
進(jìn)一步,所述步驟b對手勢信息的處理操作包括濾波、誤差分析、補(bǔ)償和融合打包。通過濾波過濾手勢信息中的干擾信息,然后對手勢信息中出現(xiàn)的誤差進(jìn)行分析和補(bǔ)償,再將每一項手勢信息融合在一起,進(jìn)行打包操作等待發(fā)送,經(jīng)過處理后的手勢信息數(shù)據(jù)占用空間小,便于進(jìn)行傳輸。
進(jìn)一步,所述步驟d中解析手勢信息數(shù)據(jù)的操作包括主機(jī)設(shè)備對接收到的手勢信息數(shù)據(jù)進(jìn)行解壓和分析處理。手勢信息數(shù)據(jù)在主機(jī)設(shè)備接收到時已被壓縮打包,主機(jī)設(shè)備需要對解壓手勢信息數(shù)據(jù),分析處理其中的每一項具體數(shù)據(jù),包括多組位移狀態(tài)量和點擊狀態(tài)量。
進(jìn)一步,所述步驟d中轉(zhuǎn)化手勢信息為對應(yīng)的圖像信息和鼠標(biāo)控制信號的操作包括:主機(jī)設(shè)備以坐標(biāo)點的形式記錄手勢信息中包含的傳感器和陀螺儀獲取的位移狀態(tài)量,主機(jī)設(shè)備顯示所述坐標(biāo)點,形成平面坐標(biāo)圖像;主機(jī)設(shè)備利用手勢信息中的點擊狀態(tài)量實現(xiàn)鼠標(biāo)點擊操作,利用位移狀態(tài)量實現(xiàn)鼠標(biāo)移動操作。平面坐標(biāo)圖像反應(yīng)了手勢操作在平面上的移動軌跡,而實體鼠標(biāo)的操作可以分為點擊和移動,手勢信息中的點擊狀態(tài)量對應(yīng)的是鼠標(biāo)是否進(jìn)行了點擊操作,位移狀態(tài)量則對應(yīng)了鼠標(biāo)指引移動的方向和距離。
一種應(yīng)用所述遠(yuǎn)程寫字系統(tǒng)的寫字方法,其特征在于,所述寫字板模塊對手勢信息進(jìn)行解析處理,形成對應(yīng)畫筆軌跡的平面坐標(biāo)圖像,并在顯示終端上以圖像方式實時顯示畫筆軌跡。
本發(fā)明的有益效果是:
一種手勢識別裝置,可以輕便地安裝在用戶手上,通過傳感裝置獲取用戶的手部操作對應(yīng)的手勢信息,可以避免傳統(tǒng)基于攝像頭圖像獲取手勢信息時被遮擋導(dǎo)致效果受影響的問題,同時通過無線傳輸?shù)姆绞?,無需使用數(shù)據(jù)線與主機(jī)設(shè)備進(jìn)行連接,令用戶可以在較大的空間內(nèi)自由移動,對手勢識別的效果不會造成影響,具有較高的便捷性和穩(wěn)定性。
一種應(yīng)用所述手勢識別裝置的遠(yuǎn)程寫字系統(tǒng),依靠手勢識別裝置使用戶可以通過無線傳輸?shù)姆绞?,實時將遠(yuǎn)程手勢操作顯示為主機(jī)設(shè)備屏幕上的畫筆軌跡,為教學(xué)、演示等場景提供便利,提高了互動性和自由度。
一種應(yīng)用所述手勢識別裝置的手勢識別方法,可以通過遠(yuǎn)程、無線的方式將用戶手勢信息轉(zhuǎn)化為主機(jī)設(shè)備上的圖像信息和鼠標(biāo)控制信號,用戶通過手勢操作即可在主機(jī)設(shè)備上遠(yuǎn)距離實時顯示手部移動圖像或者是控制鼠標(biāo),避免傳統(tǒng)基于攝像頭圖像獲取手勢信息時被遮擋導(dǎo)致效果受影響的問題,具有便捷性和穩(wěn)定性。
一種應(yīng)用所述遠(yuǎn)程寫字系統(tǒng)的寫字方法,使用戶模擬手寫、繪圖等手勢操作可以實時展現(xiàn)在顯示終端上,為教學(xué)、演示等場景提供便利,提高了互動性和自由度。
附圖說明
下面結(jié)合附圖和實例對本發(fā)明作進(jìn)一步說明。
圖1是本發(fā)明手勢識別裝置的模塊方框圖;
圖2是本發(fā)明應(yīng)用手勢識別裝置的手勢識別方法的步驟流程圖;
圖3是本發(fā)明應(yīng)用手勢識別裝置的遠(yuǎn)程寫字系統(tǒng)的模塊方框圖;
圖4是本發(fā)明應(yīng)用遠(yuǎn)程寫字系統(tǒng)的寫字方法的步驟流程圖。
具體實施方式
參照圖1的模塊方框圖,本發(fā)明的一種手勢識別裝置,包括傳感裝置和從機(jī)設(shè)備;所述傳感裝置包括用于獲取手勢信息的傳感器和陀螺儀,所述傳感器和陀螺儀分別設(shè)置于手指和手腕上;所述從機(jī)設(shè)備包括信息處理模塊及無線傳輸模塊,所述信息處理模塊用于處理來自所述傳感裝置的手勢信息,所述無線傳輸模塊用于向主機(jī)設(shè)備發(fā)送手勢信息數(shù)據(jù)。該手勢識別裝置可以輕便地安裝在用戶手上,通過傳感裝置獲取用戶的手部操作對應(yīng)的手勢信息,可以避免傳統(tǒng)基于攝像頭圖像獲取手勢信息時被遮擋導(dǎo)致效果受影響的問題,同時通過無線傳輸?shù)姆绞?,無需使用數(shù)據(jù)線與主機(jī)設(shè)備進(jìn)行連接,令用戶可以在較大的空間內(nèi)自由移動,對手勢識別的效果不會造成影響,具有較高的便捷性和穩(wěn)定性。
所述主機(jī)設(shè)備是指帶有顯示終端的設(shè)備,包括計算機(jī)、平板電腦、移動終端等設(shè)備。
具體地,所述傳感器包括捕捉手指或手掌的運動數(shù)據(jù)的位置傳感器;所述位置傳感器安裝在用戶手指的第二指間關(guān)節(jié)和/或掌指關(guān)節(jié)上,用于獲取手指的點擊狀態(tài)量及位移狀態(tài)量;所述陀螺儀安裝在用戶手腕位置,用于獲取手掌位置變化的位移狀態(tài)量;具體地,所述傳感裝置獲取的手勢信息包含手指的點擊狀態(tài)量、位移狀態(tài)量和手掌的位移狀態(tài)量。通過安裝在用戶手指關(guān)節(jié)上的位置傳感器,可以獲取手指上下移動及左右移動時產(chǎn)生的運動數(shù)據(jù),手指上下移動時的運動數(shù)據(jù)對應(yīng)了手指的點擊狀態(tài)量,左右移動時的運動數(shù)據(jù)對應(yīng)了手指的位移狀態(tài)量;陀螺儀通過全格感測用戶手部移動的角速度,可以高精度、快速獲得手掌每一時刻的位移狀態(tài)量。
具體地,所述信息處理模塊為單片機(jī),用于讀取所述手勢信息,并對所述手勢信息進(jìn)行濾波、誤差分析、補(bǔ)償和融合打包發(fā)送至所述無線傳輸模塊;所述無線傳輸模塊分別與信息處理模塊和主機(jī)設(shè)備連接,用于將信息處理模塊打包后的手勢信息數(shù)據(jù)通過無線傳輸至主機(jī)設(shè)備。單片機(jī)讀取的手勢信息為傳感器的電壓變化值和陀螺儀的角速度值,經(jīng)過一系列處理后由無線傳輸模塊,通過無線信號實時傳輸至主機(jī)設(shè)備,這種傳輸方式響應(yīng)快,傳輸距離長,且無線信號所在的頻段輻射性小。
參照圖3的模塊方框圖,本發(fā)明的一種應(yīng)用所述手勢識別裝置的遠(yuǎn)程寫字系統(tǒng),還包括設(shè)置在主機(jī)設(shè)備上的寫字板模塊,所述寫字板模塊與無線傳輸模塊相連,用于將用戶的手勢操作轉(zhuǎn)化為畫筆軌跡。所述遠(yuǎn)程寫字系統(tǒng)依靠手勢識別裝置使用戶可以通過無線傳輸?shù)姆绞?,實時將遠(yuǎn)程手勢操作顯示為主機(jī)設(shè)備屏幕上的畫筆軌跡,為教學(xué)、演示等場景提供便利,提高了互動性和自由度。
參照圖2的步驟流程圖,本發(fā)明的一種應(yīng)用所述手勢識別裝置的手勢識別方法,其特征在于,所述方法包括:
a、獲取安裝在用戶手指和手腕上的傳感器及陀螺儀記錄的手勢信息;
b、對手勢信息進(jìn)行處理;
c、傳輸手勢信息至主機(jī)設(shè)備;
d、解析手勢信息數(shù)據(jù),并將其轉(zhuǎn)化為對應(yīng)的圖像信息和鼠標(biāo)控制信號。
其中步驟a獲取的手勢信息包括獲取用戶手指的點擊狀態(tài)量和位移狀態(tài)量,以及手掌的位移狀態(tài)量。用戶手指上下移動模擬的點擊操作,以及手指或手掌做出微小移動時的位移操作產(chǎn)生的狀態(tài)量都會被捕捉,記錄為手勢信息。
步驟b對手勢信息的處理操作包括濾波、誤差分析、補(bǔ)償和融合打包。通過濾波過濾手勢信息中的干擾信息,然后對手勢信息中出現(xiàn)的誤差進(jìn)行分析和補(bǔ)償,再將每一項手勢信息融合在一起,進(jìn)行打包操作等待發(fā)送,經(jīng)過處理后的手勢信息數(shù)據(jù)占用空間小,便于進(jìn)行傳輸。
步驟d中解析手勢信息數(shù)據(jù)的操作包括主機(jī)設(shè)備對接收到的手勢信息數(shù)據(jù)進(jìn)行解壓和分析處理。手勢信息數(shù)據(jù)在主機(jī)設(shè)備接收到時已被壓縮打包,主機(jī)設(shè)備需要對解壓手勢信息數(shù)據(jù),分析處理其中的每一項具體數(shù)據(jù),包括多組位移狀態(tài)量和點擊狀態(tài)量。
進(jìn)一步,步驟d中轉(zhuǎn)化手勢信息為對應(yīng)的圖像信息和鼠標(biāo)控制信號的操作包括:主機(jī)設(shè)備以坐標(biāo)點的形式記錄手勢信息中包含的傳感器和陀螺儀獲取的位移狀態(tài)量,主機(jī)設(shè)備顯示所述坐標(biāo)點,形成平面坐標(biāo)圖像;主機(jī)設(shè)備利用手勢信息中的點擊狀態(tài)量實現(xiàn)鼠標(biāo)點擊操作,利用位移狀態(tài)量實現(xiàn)鼠標(biāo)移動操作。平面坐標(biāo)圖像反應(yīng)了手勢操作在平面上的移動軌跡,而實體鼠標(biāo)的操作可以分為點擊和移動,手勢信息中的點擊狀態(tài)量對應(yīng)的是鼠標(biāo)是否進(jìn)行了點擊操作,位移狀態(tài)量則對應(yīng)了鼠標(biāo)指引移動的方向和距離。
通過所述手勢識別方法,可以借助遠(yuǎn)程、無線的方式將用戶手勢信息轉(zhuǎn)化為主機(jī)設(shè)備上的圖像信息和鼠標(biāo)控制信號,用戶通過手勢操作即可在主機(jī)設(shè)備上遠(yuǎn)距離實時顯示手部移動圖像或者是控制鼠標(biāo),避免傳統(tǒng)基于攝像頭圖像獲取手勢信息時被遮擋導(dǎo)致效果受影響的問題,具有便捷性和穩(wěn)定性。
參照圖4的步驟流程圖,本發(fā)明的一種應(yīng)用所述遠(yuǎn)程寫字系統(tǒng)的寫字方法,其特征在于,所述寫字板模塊對手勢信息進(jìn)行解析處理,形成對應(yīng)畫筆軌跡的平面坐標(biāo)圖像,并在顯示終端上以圖像方式實時顯示畫筆軌跡。所述寫字方法使用戶模擬手寫、繪圖等的手勢操作可以實時展現(xiàn)在顯示終端上,為教學(xué)、演示等場景提供便利,提高了互動性和自由度。
以上所述,只是本發(fā)明的較佳實施例而已,本發(fā)明并不局限于上述實施方式,只要其以相同的手段達(dá)到本發(fā)明的技術(shù)效果,都應(yīng)屬于本發(fā)明的保護(hù)范圍。