專利名稱：一種遠程交互筆及書寫筆跡檢測方法
技術領域：
本發(fā)明涉及計算機輸入設備，尤其是一種遠程交互筆及書寫筆跡檢測方法。
背景技術：
在新聞發(fā)布會、產品展示會、報告會、授課等活動中，投影機的使用越來越頻繁而 且不可替代。然而目前使用投影機時有一個很大的缺憾，就是不能靈活地操作系統(tǒng)。有的 公司針對多媒體投影應用場合推出了基于電子感應原理的電子白板，利用白板和手寫筆之 間的電磁感應實現手寫筆的定位，實現用戶可以像普通黑板一樣在白板上進行書寫圈畫等 操作，但用戶在白板上進行書寫操作時，容易遮擋從背后投射過來的投影機光線，無法做到 遠距離書寫。在中國專利公開號為CN101071350的專利文獻中，公開了一種通過識別動態(tài)軌跡 操作光標、視窗的裝置，該裝置通過采用圖像攝取裝置檢測激光筆打在投影屏幕上的光點 的運動軌跡，經過圖像識別算法，實現對光點的定位及運動軌跡的判斷。市場上也有采用類 似技術的相關產品出現。利用該技術，用戶可以實現遠距離對任意投影屏幕的交互。但是 由于該技術方案需要在投影屏幕前架設圖像攝取裝置，增加了安裝使用的復雜度，此外該 技術的圖像識別效果還受周圍環(huán)境的較大影響。在中國專利公開號為CN101320297A的專利文獻中公開了一種無線空中鼠標，該 裝置包括手持端和接收端兩部分，通過在手持端上垂直安裝陀螺儀來檢測手腕在空間兩軸 向的轉動，用手腕在水平和垂直平面內轉動的角度表示光標的移動距離。在中國專利公開 號為CN101110001A的專利文獻中也公開了類似的方法，該方法實現了不依賴其它設備的 情況下與計算機的遠距離交互。但是由于人對投影屏幕書寫、標注等過程中，不僅是手腕空 間兩軸向的轉動，還有手臂的平動等，按照該技術方案形成的產品并不符合人的操作習慣。 此外由于低成本陀螺儀等慣性器件的精度限制，該方法還存在控制光標精度差、分辨率不 足的問題。另外，目前使用的鼠標、電子教鞭等輸入設備都只能反映光標的二維運動信息，對 虛擬現實等需要反映光標三維運動信息的場合只能用光標的二維運動來模擬，或者需要采 用三維數據手套等復雜設備，缺少一種反應人手空間三維運動信息的簡單有效的輸入方 式。

發(fā)明內容
為了克服現有技術控制光標精度差、分辨率不足以及無法做到遠距離書寫的不 足，本發(fā)明提出了一種遠程交互筆及書寫筆跡檢測方法。本發(fā)明解決其技術問題所采用的技術方案是包括手持端和接收端，手持端包括 慣性器件、超聲測距模塊、溫度傳感器、微處理器I和數據無線通訊模塊；接收端包括與微 處理器II和數據無線通訊模塊。其中，慣性器件測量獲得書寫運動過程中反映人手及手 臂運動的交互筆運動角速度和加速度信息，輸出電壓信號經濾波模塊低通濾波后傳輸至模數轉換模塊，轉換得到的數字信號送往微處理器I ；溫度傳感器測量環(huán)境溫度后輸出信號， 經模數轉換模塊轉換后得到數字信號送往微處理器I，用以對慣性器件的輸出信號進行溫 漂補償；超聲測距模塊測量交互筆相對于屏幕和地面兩個方向的距離變化的脈沖信號送往 微處理器I ；微處理器I對所獲得的上述信號解算包括筆桿姿態(tài)、平動分量和轉動分量的書 寫運動特征量，并將獲得的書寫運動特征量與交互筆相對于屏幕和地面兩個方向的距離變 化的脈沖信號進行融合和誤差修正；同時根據人手空中對投影屏幕的書寫運動模型進行運 動校正和書寫運動意圖的識別，將最終結果映射成為屏幕上的書寫筆跡信息或者光標的二 維或三維運動信息，通過數據無線通訊模塊發(fā)送給接收端。接收端通過數據無線通訊模塊 接收手持端解算的屏幕上的書寫筆跡信息或者光標的二維或三維運動信息，在微處理器II 的控制下發(fā)送給計算機主機。
所述的慣性傳感器件包括一個三軸陀螺儀和兩個三軸加速度計，兩個三軸加速度 計分別安裝于交互筆的筆桿兩端，并且這兩個三軸加速度計的三個敏感軸方向均分別與筆 桿慣性坐標系x、Y、z軸相平行；三軸陀螺儀的三個敏感軸方向分別與筆桿慣性坐標系x、Y、 Z軸相平行。所述的超聲測距模塊包括兩組超聲測距模塊，并且兩組超聲測距模塊相互垂直安 裝；其中一組超聲測距模塊的敏感方向與筆桿軸向相平行，另一組超聲測距模塊的敏感方 向與筆桿軸向垂直。所述的手持端還包括書寫控制模塊，書寫控制模塊采用一組按鍵，包括光標對準 鍵、書寫鍵、三維鼠標鍵以及與鼠標的左右鍵和滾輪的上下鍵對應的四個功能鍵。所述的微處理器II連接存儲器，用于存放交互筆的PC端驅動程序。當主機接收 端第一次與PC機連接時，主機接收端首先注冊為存儲設備，然后自動運行存儲器內的交互 筆驅動程序，免除了另外準備驅動安裝光盤的不便。本發(fā)明還提出了一種遠程交互筆實現書寫筆跡檢測的方法，包括以下步驟步驟一，基于人書寫運動特點的運動特征量檢測根據人對投影屏幕書寫運動的 特點，將手臂的書寫運動分解為在空間X軸和Y軸方向上手腕和手臂的轉動以及手臂的平 動，即體現為交互筆的書寫運動可以分解成為交互筆在X軸向和Y軸方向的轉動和平動。測 量交互筆筆桿在空間三軸向的轉動角速度信息、運動過程中筆桿頭部和尾部的三軸加速度 信息，同時測量筆桿相對于屏幕方向和地面方向的相對運動信息；對環(huán)境溫度信息進行測 量。步驟二，筆桿運動特征量的確定對傳感器測得的筆桿頭部加速度信息、筆桿尾部 加速度信息、筆桿轉動角速度信息和溫度信息進行書寫運動特征量的確定，具體過程包括 以下步驟a.數據預處理采用中值濾波算法對對傳感器測得的筆桿頭部的三軸加速度信 息、筆桿尾部的三軸加速度信息、筆桿三軸向的轉動角速度信息和溫度信息進行濾波；根據 環(huán)境溫度信息，采用最小二乘法對濾波后得到的各信息進行溫度補償，減小傳感器的零點 漂移；b.轉動特征量的確定分別對筆桿在X軸方向和Y軸方向的轉動角速度進行確 定；對筆桿兩端在X軸方向的運動加速度的差值進行積分運算，得到筆桿在該方向的轉動 角速度，并與該方向陀螺儀直接測得的筆桿轉動角速度值通過卡爾曼濾波進行數據融合；采用同樣方法實現對Y軸向轉動角速度的確定；c.筆桿姿態(tài)的確定1)通過四元數旋轉矢量法三子樣算法對筆桿的姿態(tài)角進行計算 q為筆桿任意時刻的姿態(tài)四元數，其中(g)表示四元數乘法，q(k+l)和q(k)分別 為tk+1和tk時刻筆桿的姿態(tài)四元數，θ ^、Ψ為筆桿任意時刻的俯仰角滾轉角和航向角；
Q(dt)為從tk到tk+1時刻筆桿的等效旋轉矢量，Q(dt)的計算公式如下 φη φ φη Δ (9= ω( ) + 3ω( + -) + 3ω( + -Η) + ω( + K)—
338其中沙(0，^^ + |)，^ + (t+h)分別為姿態(tài)更新周期h時間段內，轉動 傳感器件的三次角速率等間隔采樣值；2)根據公式(9)判斷筆桿是否處于加速運動，當公式(9)左邊部分小于閾值ε 時，可判定筆桿處于無加速運動，ε取三軸加速度計三軸靜態(tài)噪聲方差方均根的三倍；當 無加速運動時利用筆桿下端的加速度計的輸出，根據公式(10)對筆桿的俯仰角和滾轉角 進行計算。^ax2 +ay2 +az2 -g <ε(9)
其為A 0，A外A ^為三軸陀螺儀通過四元數算法估計的筆桿姿態(tài)角與筆桿真實 姿態(tài)角之間的姿態(tài)估計誤差，Abx，Aby，Abz分別為三軸陀螺儀在三軸方向上的靜態(tài)漂移，
為&的斜對稱陣，^^和\2分別為三軸陀螺儀的觀測噪聲和漂移噪
聲；觀測方程為
其中H為觀測陣，ea。。和Pm為利用筆桿下端三軸加速度計估計的筆桿姿態(tài)角， 和A為利用三軸陀螺儀通過四元數算法估計的筆桿姿態(tài)角；VK為零均值白噪聲；4)根據卡爾曼濾波器對姿態(tài)角計算誤差的估計，對姿態(tài)角經行修正，得到筆桿運 動的姿態(tài)角；d.筆桿平動特征量的確定；1)通過實時測量俯仰角 和滾轉角e，由公式(19)得到重力在加速度計各軸上 的分量fb，筆桿運動的動態(tài)加速度at為加速度計實時輸出值a與fb的差值，即
(19) 其中g為當地重力加速度，ax, ay, az為筆桿下端三軸加速度計的輸出值；3)當檢測到筆桿無加速運動時采用卡爾曼濾波器對轉動傳感器件計算的姿態(tài)角 誤差進行估計，其中卡爾曼濾波器的狀態(tài)方程為
對X、y和z方向的加速度積分，可以得到筆桿在垂直書寫平面上以及相對于屏幕 方向的運動速度和距離。為有效的抑制由于積分帶來的誤差累積現象，在積分過程中還加 入以下約束條件①當筆桿運動加速度大于閾值I連續(xù)4個采樣周期時才進行速度和位移的積分， I取三軸加速度計三軸靜態(tài)噪聲方差方均跟的三倍；②當筆桿運動加速度小于閾值I連續(xù)4個采樣周期時停止對速度和位移的積分， 并令速度和位移值等零。2)對相對于屏幕方向和相對于地面方向的超聲測距傳感器測得的距離信息進行 差分得到筆桿在這兩個方向上的運動速度，如果運動速度小于閾值S (閾值S為人手臂的 最大運動速度，取3m/s)，則將該運動速度和由加速度計積分得到的運動速度值利用卡爾曼 濾波器進行融合，得到交互筆在相對于屏幕和地面方向的運動速度的較為準確的值，對運 動速度積分后最終得到這兩個方向的運動距離；步驟三，根據手臂對投影屏幕書寫運動特點，把光標在屏幕上的運動分解為筆桿 在X軸向和Y軸向平動和轉動運動特征量的疊加；將步驟二中確定的運動特征量映射為 書寫筆跡和光標的移動信息，從而實現書寫運動意圖的識別。映射方法為將投影屏幕上光 標的移動距離分解為筆桿的轉動和平動兩部分的疊加，用筆桿劃過的弧長近似其移動的距 離，計算公式如下
(2 1)式中，1為用戶距離投影屏幕的距離，A W為單位時間內筆桿在X軸向的轉動分 量，A 為筆桿在Y軸向轉動分量即單位時間內筆桿的俯仰角變化量，AX、Ay分別為單 位時間內筆桿在X軸向和Y軸向的平動分量。八乂工和八^分別為單位時間內用戶沿筆桿X 軸和筆桿Y軸方向的書寫運動距離。交互筆處于空中三維鼠標模式時，步驟三中確定的筆桿相對于屏幕方向的平動距 離作為光標的第三維運動信息。
‘、.- 步驟四坐標的空間映射變換；根據筆桿姿態(tài)信息和筆桿軸向的轉動角速度f丨 息，完成書寫筆跡從筆桿慣性坐標系到屏幕坐標系的映射變換，確定出書寫筆跡和光標的 坐標信息。計算公式如下
'AX、A7,
COS0
sin0
-sin0 cos 9
AX,
cos 9 一 sin 汐
A^/x/ +Ax A(/>xl + Ay
(22)
sin 汐 cos0
\ xxv 1 y v式中e為筆桿軸向的滾轉角度；AX和AY分別為單位時間內光標在屏幕X軸和 Y軸向的移動距離。步驟五，接收端根據接收到的坐標信息和書寫筆跡信息，實現對光標運動的控制 和對視窗書寫標注的操作。所述的數據預處理中采用的中值濾波算法包括取數據窗口寬度為2m+l。當采樣頻 率為lKHz時，m為16，窗口內的數據序列為Xi，X2，...，Xm+1，...，X2m+1，對窗內的起始m個點 和末尾m個點分別進行均值濾波，得到的兩個值再和中間值Xm+1進行中值濾波。本發(fā)明的有益效果是由于采用多傳感器融合的人手及手臂書寫運動特征量檢測
10和跟蹤技術，通過對手臂運動特征進行跟蹤定位來控制光標運動、操作視窗并實現隔空書 寫功能，本發(fā)明實現了在不依托其他輔助設備的情況下，完成空中無依托對屏幕進行圈畫、 標注以及書寫，擺脫了以往手寫輸入設備需要依托其他輔助定位設備，便攜性差使用不便 的缺陷。本發(fā)明更符合人的書寫操作習慣，具有設備智能化，便攜性、通用性好的優(yōu)點。同 時，本發(fā)明增加了垂直于投影屏幕方向的運動檢測功能，使交互筆還可以作為三維空中鼠 標使用，用于虛擬現實等應用。解決了現有輸入設備不能反映光標三維運動信息的缺陷。下面結合附圖和實施例對本發(fā)明進一步說明。


附圖1是遠程交互筆外觀示意圖；附圖2是遠程交互筆內部結構示意圖；附圖3是遠程交互筆主機接收端的左視圖；附圖4是遠程交互筆的結構框圖；附圖5是遠程交互筆電路板坐標圖；附圖6是傳感器信號處理流程圖；附圖7是對投影屏幕書寫運動時筆桿運動特征示意圖；附圖8是遠程交互筆筆桿傾角示意圖。圖中，1.電源控制鎖，2.狀態(tài)指示燈I，3.三維鼠標功能開啟鍵，4.光標啟動對準 鍵，5.功能鍵B，6.功能鍵D，7.書寫鍵，8.功能鍵A，9.功能鍵C，10.手持端，11.狀態(tài)指 示燈II，12. USB接口，13.主機接收端，14. USB接口空腔，15.手持端電路板，16.電源模塊， 17.主機接收端電路板。
具體實施例方式本發(fā)明包括手持端10和主機接收端13兩部分。如圖1和圖2所示，手持端包括電源控制鎖1、狀態(tài)指示燈I、三維鼠標功能開啟鍵 3、光標啟動和對準鍵4、書寫鍵7、功能鍵A8、功能鍵B5、功能鍵C9、功能鍵D6、電路板15和 電源模塊16。主機接收端包括USB接口 12、電路板17和狀態(tài)指示燈11。其中主機接收端的USB接口 12可插入手持端的USB接口空腔14內，從而使手持 端10和主機接收端13扣在一起。當主機接收端13手持端10上時，電源控制鎖1處于按 下狀態(tài)，交互筆電源切斷；當主機接收端13與手持端10分離時，電源控制鎖1處于彈起狀 態(tài)，交互筆電源接通。三維鼠標功能開啟鍵3和光標啟動對準鍵4位于手持端10的側面，三維鼠標功能 鍵3用于開啟交互筆的三維鼠標功能鍵，光標對準及啟動鍵4用于交互筆空中對投影屏幕 操作和做為三維空中鼠標使用時啟動光標和調整光 標與筆桿指向的對準關系。書寫鍵7、以 和功能鍵A8、功能鍵B5、功能鍵C9、功能鍵D6位于手持端的另一端，書寫鍵7用于在空中對 投影屏幕操作時，開啟交互筆在屏幕任意位置的標注書寫功能。功能鍵A8對應鼠標左鍵， 功能鍵B5對應鼠標右鍵，功能鍵C9和功能鍵D6分別對應鼠標滾輪上下鍵。各按鍵通過信 號線和手持端電路板15上的微處理器I相連接。USB接口 12位于主機接收端13的一側，如圖3所示。USB接口 12和主機接收端內部的電路板17相連接，用于和計算機通信。如圖4所示主機接收端電路板17包括微處理器II，和與微處理器II相連接的數據無線傳輸模塊II、存儲器和USB接口模塊。USB接口模塊是基于串行通用接口配置芯 片pdiusbdl2的USB接口電路，在微處理器II的控制下向計算機主機進行串行設備描述， 從而成為計算機主機的外部設備，并實現跟計算機主機通訊。數據無線傳輸模塊II和數據 無線傳輸模塊I構成一對雙工無線通訊電路，該通訊電路同為基于CSR公司的bluecore系 列芯片。數據無線傳輸模塊II在微處理器II的控制下，用于接收手持端解算的書寫控制 信息、書寫筆跡信息和光標的三維運動信息。接收信息由微處理器II經USB接口電路發(fā)送 給計算機主機，實現書寫筆跡的顯示和對光標的控制。存儲器用于存放交互筆的PC端驅動程序。當主機接收端第一次與PC機連接時， 主機接收端首先注冊為存儲設備，然后自動運行存儲器內的交互筆驅動程序，免除了另外 準備驅動安裝光盤的不便。如圖4所示手持端電路板15包括慣性傳感器件、超聲測距模塊、溫度傳感器、信 號濾波模塊、信號轉換模塊、手寫筆控制模塊、微處理器I和數據無線傳輸模塊I。慣性傳 感器件測量獲得書寫運動過程中人手及手臂的運動角速度和加速度信息后輸出電壓信號， 經濾波模塊低通濾波后，將該電壓信號傳輸至模數轉換模塊進行模數轉換，轉換得到的數 字信號送往微處理器I。溫度傳感器測量并獲得當時環(huán)境溫度后輸出信號至模數轉換模塊 進行模數轉換，轉換后的數字信號亦送往微處理器I，用以對慣性器件輸出信號進行溫漂補 償。超聲測距模塊輸出的筆桿相對運動信息的脈沖信號送往微處理器I的計數器輸入端， 用于測量交互筆相對于屏幕和地面兩個方向的距離變化。微處理器I對獲得的書寫運動過程中的數字信號通過數據解算模塊進行筆桿姿 態(tài)、平動分量和轉動分量的書寫運動特征量的解算，并將獲得的書寫運動特征量與超聲測 距模塊測得的筆桿相對運動信息通過數據融合模塊進行融合和誤差修正。同時根據人手空 中對投影屏幕的書寫運動模型，通過運動校正模塊和空間映射模塊進行運動校正和書寫運 動意圖的識別，將解算結果映射成為屏幕上的書寫筆跡信息或者光標的二維或三維運動信 肩、ο控制模塊即前文所述的三維鼠標功能開啟鍵3、光標啟動對準鍵4、書寫鍵7、以及 功能鍵A8、功能鍵B5、功能鍵C9、功能鍵D6，各按鍵的開關量信號均與微處理器I的IO端 口相連接，用于控制交互筆的工作狀態(tài)和開啟相應功能。與微處理器I相連接的數據無線 發(fā)送模塊將微處理器I的解算結果發(fā)送給主機接收端。所述的慣性傳感器件包括三軸陀螺儀和兩個三軸加速度計。三軸陀螺儀采用MEMS 電子陀螺儀。安裝方式如圖5所示，三軸陀螺儀的安裝方式為三個敏感軸方向分別與電路 板X、Y、Z軸相平行，分別用于測量人手在空中對投影屏幕書寫運動時手腕和手臂在X軸和 Y軸方向的轉動，以及筆桿自身軸向的轉動。兩個三軸加速度計為MEMS三軸加速度計，采用 ADI公司的ADXRS330。兩個三軸加速度計分別安裝于筆桿兩端，并且該三軸加速度計的三 個敏感軸方向分別與電路板X、Y、Z軸相平行，用來測量筆桿靜態(tài)或動態(tài)時的加速度信息。所述的超聲測距模塊采用SRF05，包括兩組超聲測距模塊，并且兩組超聲測距模塊 相互垂直安裝。其中一組超聲測距模塊的敏感方向與筆桿軸向相平行，用于測量書寫、操作 運動過程中，筆桿相對于屏幕方向的距離變化，得出筆桿軸向的相對運動信息；另一組超聲測距模塊的敏感方向與電路板Y軸向相平行，用于測量書寫、操作運動過程中，筆桿相對于 地面或周圍墻壁等遮擋物方向的距離變化，得出筆桿在Y軸向或X軸向的相對運動信息。兩 組測距模塊所得信息和加速度計、陀螺儀解算的筆桿運動信息進行數據融合和誤差修正， 提高測量精度。溫度傳感器用于測量周圍環(huán)境溫度變化，所測得的溫度信息對三軸陀螺儀、三軸 加速度計的輸出數據進行溫度漂移補償，提高交互筆在不同使用環(huán)境中的適用性。信號濾波模塊為一有源低通濾波電路，用于濾除慣性傳感器件和溫度傳感器的輸 出噪聲和高頻分量。信號轉換模塊采用TI公司的ADS8365模數轉換芯片。信號轉換模塊的轉換精度 為16位。信號轉換模塊用于將慣性傳感器件和溫度傳感器輸出的模擬信號轉換成為處理 器能夠識別的數字信號。所述書寫控制模塊包括一組按鍵，該組按鍵分別是光標對準鍵、書寫鍵、三維鼠標 鍵以及與鼠標的左右鍵和滾輪的上下鍵對應的四個功能鍵，光標對準鍵用于實現筆桿指向 與光標位置的對準，書寫鍵用于控制用戶在屏幕任意位置進行書寫標注，三維鼠標鍵用于 開啟交互筆的三維鼠標功能。本實施例還提出了一種遠程交互筆的書寫筆跡檢測的方法。如圖6所示，遠程交 互筆的書寫筆跡檢測方法包括以下步驟步驟一，基于人書寫運動特點的運動特征量檢測；如圖7所示，根據人對投影屏幕書寫運動的特點，將手臂的書寫運動分解為在空 間X軸和Y軸方向上，手腕和手臂的轉動以及手臂的平動；將筆桿的書寫運動分解成為筆桿 在X軸向和Y軸方向的轉動和平動兩種運動模式。通過傳感器測量獲得筆桿在空間三軸向 的轉動角速度信息、筆桿運動過程中筆桿頭部和筆桿尾部的三軸加速度信息，同時測量筆 桿相對于屏幕方向和地面方向的相對運動信息。為了消除環(huán)境溫度對交互筆精度的影響， 還對環(huán)境溫度信息進行測量。步驟二，運動特征量的確定；對傳感器測得的筆桿頭部加速度信息、筆桿尾部加速 度信息、筆桿轉動角速度信息和溫度信息進行書寫運動特征量的確定，具體過程包括以下 步驟a.數據預處理；采用中值濾波算法對傳感器數字信號量進行濾波，以降低采樣噪 聲。中值濾波算法包括取數據窗口寬度為2m+l，其中，當采樣頻率為lKHz時，m為16，窗口 內的數據序列為X2，. . .，Xm+1，... , X2m+1，對窗內的起始和末尾m個點分別進行均值濾波， 再和中間值Xm+1三個值進行中值濾波。對經中值濾波后的傳感器數據，根據環(huán)境溫度信息， 采用最小二乘法進行溫度補償，減小傳感器的零點漂移。b.轉動特征量的確定；分別對筆桿在X軸方向和Y軸方向的轉動角速度進行確 定。對筆桿兩端在X軸方向的運動加速度的差值，進行積分運算得到筆桿在該方向的轉動 角速度，并與該方向陀螺儀直接測得的筆桿轉動角速度值通過卡爾曼濾波器進行數據融 合，以減小測量誤差，實現筆桿在該方向轉動角速度的確定。采用同樣方法實現對Y軸向轉 動角速度的確定。c.筆桿姿態(tài)的確定；如圖8所示，筆桿姿態(tài)的確定方法為
1)由筆桿三軸轉動傳感器件的輸出值通過四元數旋轉矢量法三子樣算法對筆桿 的姿態(tài)角進行計算 q為筆桿任意時刻的姿態(tài)四元數，其中 表示四元數乘法，q(k+l)和q(k)分別 為tk+1和tk時刻筆桿的姿態(tài)四元數，θ 1、Ψ為筆桿任意時刻的俯仰角滾轉角和航向角； Q(dt)為從tk到tk+1時刻筆桿的等效旋轉矢量，Q(dt)的計算公式如下 其中+ C^ + |/0，"(t+h)分別為姿態(tài)更新周期h時間段內，轉動 傳感器件的三次角速率等間隔采樣值；2)利用三軸加速度傳感器件的輸出值判斷筆桿是否處于加速運動，當無加速運動 時利用加速度計的輸出對筆桿的俯仰角和滾轉角進行計算，判斷和計算公式為 其中g為當地重力加速度，ax, ay, az為三軸加速度計輸出值；3)當檢測到筆桿無加速運動時采用卡爾曼濾波器對轉動傳感器件計算的姿態(tài)角 誤差進行估計，其中卡爾曼濾波器的狀態(tài)方程為 其為Δ θ ,Αφ, Δ Ψ為三軸轉動傳感器件姿態(tài)估計誤差，Abx，Aby，Abz分別為三 軸轉動傳感器件漂移，<5 = I^jc % ω2\,的斜對稱陣，分別為轉動傳感器
件的觀測噪聲和漂移噪聲；觀測方程為Zk = HXK+VK(16)
^K=Kc-Gi (PaccIi of(17)H= [I3X3 03X3](18)其中H為觀測陣，θ a。。和爐m為加速度傳感器件估計的姿態(tài)角，θ彳和％為轉動傳感 器件估計的姿態(tài)角。Vk為零均值白噪聲；4)根據卡爾曼濾波器對姿態(tài)角計算誤差的估計，對姿態(tài)角經行修正，得到筆桿運 動的姿態(tài)角；d.筆桿平動特征量的確定；1)通過實時測量俯仰角Φ和滾轉角θ，由公式(19)得到重力在加速度計各軸上 的分量fb，筆桿運動的動態(tài)加速度at為加速度計實時輸出值a與fb的差值，即
,COS Φ 0 -sin 沴 γο、fb = C* fn= sin<9sin 於 cos6 sin (9 cos ( ) 0(19)
、cos 沒 sin 沴-sin ^ cos ^ cos ^ Jygyat = a-fb(20)對X、y和ζ方向的加速度積分，可以得到筆桿在垂直書寫平面上以及相對于屏幕方向的運動速度和距離。為有效的抑制由于積分帶來的誤差累積現象，在積分過程中還加 入以下約束條件①當筆桿運動加速度大于閾值ξ連續(xù)4個采樣周期時才進行速度和位移的積 分；②當加速度小于閾值ξ連續(xù)4個采樣周期時停止對速度和位移的積分，并令速度 和位移值等零。
2)對相對于屏幕方向和相對于地面方向的超聲測距傳感器測得的距離信息進行 差分得到筆桿在這兩個方向上的運動速度，如果運動速度小于閾值S，則將該運動速度和 由加速度計積分得到的運動速度值利用卡爾曼濾波器進行融合，得到交互筆在相對于屏幕 和地面方向的運動速度的較為準確的值，對運動速度積分后最終得到這兩個方向的運動距 罔；步驟三，根據手臂對投影屏幕書寫運動特點，把光標在屏幕上的運動分解為筆桿 在X軸向和Y軸向平動和轉動運動特征量的疊加；將步驟二中確定的運動特征量映射為書 寫筆跡和光標的移動信息，從而實現書寫運動意圖的識別，映射方法為如圖7所示，將投影屏幕上光標的移動距離分解為筆桿的轉動和平動兩部分的疊 力口，用筆桿劃過的弧長近似其移動的距離，計算公式如下 式中，1為用戶距離投影屏幕的距離，ΔΨ為單位時間內筆桿在X軸向的轉動分 量，Δ φ為筆桿在Y軸向轉動分量即單位時間內筆桿的俯仰角變化量，ΔΧ、Ay分別為單 位時間內筆桿在X軸向和Y軸向的平動分量。AX1* AY1分別為單位時間內用戶沿筆桿X 軸和筆桿Y軸方向的書寫運動距離。交互筆處于空中三維鼠標模式時，步驟三中確定的筆桿相對于屏幕方向的平動距 離作為光標的第三維運動信息。步驟四坐標的空間映射變換；根據筆桿姿態(tài)信息和筆桿軸向的轉動角速度信 息，完成書寫筆跡從筆桿慣性坐標系到屏幕坐標系的映射變換，確定出書寫筆跡和光標的 坐標信息。計算公式如下 式中θ為筆桿軸向的滾轉角度。ΔΧ和ΔΥ分別為單位時間內光標在屏幕X軸 和Y軸向的移動距離。步驟五，接收端根據接收到的坐標信息和書寫筆跡信息，實現對光標運動的控制 和對視窗書寫標注等操作。交互筆所采用的慣性坐標系與屏幕的初始對準方法為，在屏幕上顯示特定圖形， 如正方向或者圓形，用戶控制對準功能鍵，用交互筆指向顯示圖形，并沿圖形曲線運動一 周，通過測量運動過程中傳感器的輸出值，利用屏幕顯示圖形本身的坐標信息，建立起筆桿 運動與光標屏幕運動距離的對應關系，實現交互筆與投影屏幕的初始對準。同時根據超聲 測距模塊測得的筆桿距離投影屏幕的距離，對公式(5)中1做實時調整，提高交互筆的對準 精度，和不同應用環(huán)境下交互筆的適用性。
權利要求
一種遠程交互筆，包括手持端和接收端，其特征在于手持端包括慣性器件、超聲測距模塊、溫度傳感器、微處理器I和數據無線通訊模塊；接收端包括與微處理器II和數據無線通訊模塊；其中，慣性器件測量獲得書寫運動過程中反映人手及手臂運動的交互筆運動角速度和加速度信息，輸出電壓信號經濾波模塊低通濾波后傳輸至模數轉換模塊，轉換得到的數字信號送往微處理器I；溫度傳感器測量環(huán)境溫度后輸出信號，經模數轉換模塊轉換后得到數字信號送往微處理器I，用以對慣性器件的輸出信號進行溫漂補償；超聲測距模塊測量交互筆相對于屏幕和地面兩個方向的距離變化的脈沖信號送往微處理器I；微處理器I對所獲得的上述信號解算包括筆桿姿態(tài)、平動分量和轉動分量的書寫運動特征量，并將獲得的書寫運動特征量與交互筆相對于屏幕和地面兩個方向的距離變化的脈沖信號進行融合和誤差修正；同時根據人手空中對投影屏幕的書寫運動模型進行運動校正和書寫運動意圖的識別，將最終結果映射成為屏幕上的書寫筆跡信息或者光標的二維或三維運動信息，通過數據無線通訊模塊發(fā)送給接收端；接收端通過數據無線通訊模塊接收手持端解算的屏幕上的書寫筆跡信息或者光標的二維或三維運動信息，在微處理器II的控制下發(fā)送給計算機主機。
2.根據權利要求1所述的一種遠程交互筆，其特征在于所述的慣性傳感器件包括三 軸陀螺儀和兩個三軸加速度計，兩個三軸加速度計分別安裝于交互筆的筆桿兩端，并且這 兩個三軸加速度計的三個敏感軸方向均分別與筆桿慣性坐標系X、Y、Z軸相平行；三軸陀螺 儀的三個敏感軸方向分別與筆桿慣性坐標系X、Y、Z軸相平行。
3.根據權利要求1所述的一種遠程交互筆，其特征在于所述的超聲測距模塊包括兩 組超聲測距模塊，其中一組超聲測距模塊的敏感方向與筆桿軸向相平行，另一組超聲測距 模塊的敏感方向與筆桿軸向垂直。
4.根據權利要求1所述的一種遠程交互筆，其特征在于所述的手持端的書寫控制模 塊中包括一組按鍵，該組按鍵分別是光標對準鍵、書寫鍵、三維鼠標鍵以及與鼠標的左右鍵 和滾輪的上下鍵對應的四個功能鍵。
5.根據權利要求1所述的一種遠程交互筆，其特征在于所述的微處理器II連接存儲 器，用于存放交互筆的PC端驅動程序。
6.一種利用權利要求1所述遠程交互筆實現書寫筆跡檢測的方法，其特征在于包括下 述步驟步驟一，測量交互筆筆桿在空間三軸向的轉動角速度信息、運動過程中筆桿頭部和尾 部的三軸加速度信息，同時測量筆桿相對于屏幕方向和地面方向的相對運動信息；對環(huán)境 溫度信息進行測量。步驟二，筆桿運動特征量的確定，具體包括以下步驟a.采用中值濾波算法對對傳感器測得的筆桿頭部的三軸加速度信息、筆桿尾部的三軸 加速度信息、筆桿三軸向的轉動角速度信息和溫度信息進行濾波；根據環(huán)境溫度信息，采用 最小二乘法對濾波后得到的各信息進行溫度補償，減小傳感器的零點漂移；b.分別對筆桿在X軸方向和Y軸方向的轉動角速度進行確定；對筆桿兩端在X軸方向 的運動加速度的差值進行積分運算，得到筆桿在該方向的轉動角速度，并與該方向陀螺儀 直接測得的筆桿轉動角速度值通過卡爾曼濾波進行數據融合；采用同樣方法實現對Y軸向 轉動角速度的確定；c.筆桿姿態(tài)的確定1)通過四元數旋轉矢量法三子樣算法對筆桿的姿態(tài)角進行計算 q為筆桿任意時刻的姿態(tài)四元數，其中 表示四元數乘法，q(k+l)和q(k)分別為、+1和 tk時刻筆桿的姿態(tài)四元數，9、口、▽為筆桿任意時刻的俯仰角滾轉角和航向角；Q(dt)為從 tk到tk+1時刻筆桿的等效旋轉矢量，Q(dt)的計算公式如下 其中ω(t)，ω(t+h/3)，ω(t+2/3h)，ω(t+h)分別為姿態(tài)更新周期h時間段內，轉動傳感器件的三次角速率等間隔采樣值；2)根據公式(9)判斷筆桿是否處于加速運動，當公式(9)左邊部分小于閾值￡時，可 判定筆桿處于無加速運動，￡取三軸加速度計三軸靜態(tài)噪聲方差方均根的三倍；當無加速 運動時利用筆桿下端的加速度計的輸出，根據公式(10)對筆桿的俯仰角和滾轉角進行計 算； 其中g為當地重力加速度，ax，ay, az為筆桿下端三軸加速度計的輸出值； 3)當檢測到筆桿無加速運動時采用卡爾曼濾波器對轉動傳感器件計算的姿態(tài)角誤差 進行估計，其中卡爾曼濾波器的狀態(tài)方程為 其為A 0，A外AW為三軸陀螺儀通過四元數算法估計的筆桿姿態(tài)角與筆桿真實姿 態(tài)角之間的姿態(tài)估計誤差，Abx，Aby，Abz分別為三軸陀螺儀在三軸方向上的靜態(tài)漂移， 為&的斜對稱陣 分別為三軸陀螺儀的觀測噪聲和漂移噪聲；觀測方程為 其中H為觀測陣，ea。。和Pm為利用筆桿下端三軸加速度計估計的筆桿姿態(tài)角，0」和 A為利用三軸陀螺儀通過四元數算法估計的筆桿姿態(tài)角；VK為零均值白噪聲；4)根據卡爾曼濾波器對姿態(tài)角計算誤差的估計，對姿態(tài)角經行修正，得到筆桿運動的 姿態(tài)角；d.筆桿平動特征量的確定；1)通過實時測量俯仰角 和滾轉角e，由公式(19)得到重力在加速度計各軸上的分 量fb，筆桿運動的動態(tài)加速度at為加速度計實時輸出值a與fb的差值，即 Y0、 對x、y和z方向的加速度積分，得到筆桿在垂直書寫平面上以及相對于屏幕方向的運 動速度和距離； 2)對相對于屏幕方向和相對于地面方向的超聲測距傳感器測得的距離信息進行差分 得到筆桿在這兩個方向上的運動速度，如果運動速度小于閾值δ ’ δ取3m/s，則將該運動 速度和由加速度計積分得到的運動速度值利用卡爾曼濾波器進行融合，得到交互筆在相對 于屏幕和地面方向的運動速度的較為準確的值，對運動速度積分后最終得到這兩個方向的 運動距離；步驟三，根據手臂對投影屏幕書寫運動特點，把光標在屏幕上的運動分解為筆桿在X 軸向和Y軸向平動和轉動運動特征量的疊加；將步驟二中確定的運動特征量映射為書寫筆 跡和光標的移動信息，從而實現書寫運動意圖的識別；映射方法為將投影屏幕上光標的移 動距離分解為筆桿的轉動和平動兩部分的疊加，用筆桿劃過的弧長近似其移動的距離，計 算公式如下 式中，1為用戶距離投影屏幕的距離，ΔΨ為單位時間內筆桿在X軸向的轉動分量， Δ Φ為筆桿在Y軸向轉動分量即單位時間內筆桿的俯仰角變化量，ΔΧ、Ay分別為單位時 間內筆桿在χ軸向和Y軸向的平動分量分別為單位時間內用戶沿筆桿X軸和 筆桿Y軸方向的書寫運動距離；步驟四根據筆桿姿態(tài)信息和筆桿軸向的轉動角速度信息，完成書寫筆跡從筆桿慣性 坐標系到屏幕坐標系的映射變換，確定出書寫筆跡和光標的坐標信息；公式如下 式中θ為筆桿軸向的滾轉角度；Δ X和Δ Y分別為單位時間內光標在屏幕X軸和Y軸 向的移動距離；步驟五，接收端根據接收到的坐標信息和書寫筆跡信息，實現對光標運動的控制和對 視窗書寫標注的操作。
7.根據權利要求6所述的一種書寫筆跡檢測方法，其特征在于所述的積分過程中當 筆桿運動加速度大于閾值ξ連續(xù)4個采樣周期時才進行速度和位移的積分，ξ取三軸加 速度計三軸靜態(tài)噪聲方差方均跟的三倍；當筆桿運動加速度小于閾值ξ連續(xù)4個采樣周期 時停止對速度和位移的積分，并令速度和位移值等零。
8.根據權利要求6所述的一種書寫筆跡檢測方法，其特征在于所述的交互筆處于空 中三維鼠標模式時，步驟三中確定的筆桿相對于屏幕方向的平動距離作為光標的第三維運 動信息。
全文摘要
一種遠程交互筆及書寫筆跡檢測方法，包括手持端和接收端。手持端采用三軸陀螺儀和兩個三軸加速度計檢測筆桿的書寫運動特征量，采用超聲測距測量筆桿相對與屏幕和地面的相對運動距離，測量信息根據人的書寫運動模型進行數據融合和書寫運動特征量的解算及書寫意圖的識別，實現書寫筆跡的檢測。接收端用于接收手持端解算的書寫控制信息、書寫筆跡信息和光標的三維運動信息。本發(fā)明通過對手臂運動特征的跟蹤定位以控制光標運動、操作視窗并實現隔空書寫功能，并增加了垂直于投影屏幕方向的運動檢測功能，作為三維空中鼠標用于虛擬現實等應用，克服了現有輸入設備不能反映光標三維運動信息的缺陷，具有結構簡單、使用方便的特點。
文檔編號G06F3/033GK101872260SQ20101019149
公開日2010年10月27日 申請日期2010年6月3日 優(yōu)先權日2010年6月3日
發(fā)明者張映鋒, 張玉祥, 張通達, 徐福后, 陳家照, 馬柳藝 申請人:張通達;張玉祥