專利名稱：基于三維力傳感器的二維圖像力觸覺再現(xiàn)控制方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于三維力傳感器的二維圖像力觸覺再現(xiàn)控制方法及系統(tǒng)，尤其 涉及一種用于虛擬現(xiàn)實人機交互的基于三維力傳感器的二維圖像力觸覺再現(xiàn)控制方法及 系統(tǒng)。
背景技術(shù)：
觸覺交互是人機交互領(lǐng)域的最新技術(shù)，在交互過程中有著不可替代的作用，人們 長期以來就在研究利用力觸感知來補償眼睛功能，借助一定的力觸覺再現(xiàn)裝置產(chǎn)生力反 饋，引導(dǎo)盲人去感知物體的輪廓，實現(xiàn)視覺的力觸覺表達。目前，國外很多研究者都是基于力反饋裝置進行圖形圖像表達的研究。Fritz和 Barner等人研究如何利用三維力反饋裝置如Phantom，對數(shù)學(xué)模型和復(fù)雜圖表進行表達。 Manusson等人正在研究如何利用Phantom裝置以及Vrml語言建立一個帶力反饋的人機交 互界面，幫助盲人感知3D表面。此類研究都是利用力反饋裝置，主動引導(dǎo)盲人，幫助盲人感 知物體邊緣信息。主要的力反饋裝置有Phantom系統(tǒng)、操縱桿、手控器和力反饋手套。①最常見的力反饋裝置就是SensAble科技公司的Phantom，它能夠使用戶接觸并 操作虛擬物體。目前，該公司有兩類產(chǎn)品一類是桌面Phantom系統(tǒng)，其工作空間較小，約為 15厘米見方的立方體；另一類是Premium Phantom系統(tǒng)，其工作空間較大。Phantom系統(tǒng)是 一個類似于小型機械手的裝置，對于三維虛擬模型或數(shù)據(jù)具有定位功能，當(dāng)Phantom的機 械臂在工作空間中運動時，就會在計算機屏幕上出現(xiàn)一個指示針，反映機械臂在工作空間 中的位置。通過碰撞檢測等技術(shù)探測指示針與虛擬模型接觸時，計算機會發(fā)出信號并將該 模型的物理性質(zhì)反饋給Phantom系統(tǒng)，并產(chǎn)生相應(yīng)的力傳遞給操作者，實現(xiàn)力反饋。②操縱桿，這種力反饋設(shè)備通常自由度比較小，且操作空間小，只適用于一些功能 要求不高的場合。例如，羅技公司的WingMan Strike Force 3D操縱桿，Cybernet System 公司的三自由度力反饋操縱桿PER-Force，卡內(nèi)基梅隆大學(xué)的磁懸浮式力反饋操縱桿等。③手控器，通常為六自由度兩桿開鏈機構(gòu)，在控制與其結(jié)構(gòu)相同的機械手時，它具 有各關(guān)節(jié)角度完全對應(yīng)的優(yōu)點。手控器中比較有代表性的就是Force Dimension公司的 Delta手控器和Omega手控器。Delta手控器能夠在很大的工作空間上傳達大范圍的力信 息；并行機械結(jié)構(gòu)連同裝在基座上的傳動裝置一起，可產(chǎn)生很高的剛度及很低的慣性。而 Omega手控器則采用了輕質(zhì)的鋁框和堅固的落地式傳動裝置。這種并行機構(gòu)能夠大大增加 機構(gòu)的剛度和耐用性。通過提供持續(xù)的12牛頓的力、14. 5牛頓/毫米的閉環(huán)剛度和大范圍 的工作空間，Omega裝置在性能上超越了其他同級別的觸感裝置。④力反饋手套，那些對于靈活性要求高的任務(wù)，可能需要獨立控制每個手指上模 擬的力，而不是像操縱桿和控制臂那樣只在手腕上產(chǎn)生模擬的力，這種情況通常要使用力 反饋手套。至今應(yīng)用最多的傳感手套是VPL公司的數(shù)據(jù)手套DataGlove，它也是第一個推向 市場的。這些力反饋輸出裝置大多都是開環(huán)系統(tǒng)，在圖像的力觸覺表達研究中，為保證能實時、準(zhǔn)確地實現(xiàn)圖像的力觸覺再現(xiàn)，除了借助一定的圖像采集、處理和識別系統(tǒng)，將圖像 信息轉(zhuǎn)換為力觸覺信息外，如何設(shè)計合理有效的控制算法，通過力觸覺再現(xiàn)裝置，實時、準(zhǔn) 確地反饋出圖像的力觸覺信息，以提高圖像的力觸覺再現(xiàn)的真實感，已是目前虛擬現(xiàn)實的 熱點研究問題之一。

發(fā)明內(nèi)容
本發(fā)明所解決的技術(shù)問題是，提出基于三維力傳感器的二維圖像力觸覺再現(xiàn)控制 方法及系統(tǒng)，并將其用于虛擬現(xiàn)實人機交互的二維圖片的力觸覺感知。本發(fā)明能夠提高圖 像接觸力的跟蹤精度和閉環(huán)控制系統(tǒng)的穩(wěn)定性，使得圖像的力觸覺表達更加真實、逼真、舒 適。為了實現(xiàn)上述所要解決的技術(shù)問題，本發(fā)明采用如下技術(shù)方案所述的一種基于三維力傳感器的二維圖像力觸覺再現(xiàn)控制方法，主要步驟如下操作者通過操作力觸覺交互設(shè)備端部的手柄控制虛擬手接近二維圖像，在虛擬手 碰撞到二維圖像之前，即在靠近二維圖像的過程中，虛擬手與圖像接觸力信號f為0 ；如果 發(fā)生碰撞，則根據(jù)虛擬手與圖像接觸力計算模塊中建立的接觸力模型，計算出碰撞點處虛 擬手與圖像接觸力信號f，虛擬手與圖像接觸力計算模塊包括圖像處理單元和力觸覺建模單元，圖像處理單 元用于借助一定的圖像采集、處理和識別系統(tǒng)，提取外界導(dǎo)入的虛擬物體圖片中有意義的 圖像信息，例如物體占有區(qū)，輪廓，紋理特征等等，力觸覺建模單元用于將圖像信息計算并 轉(zhuǎn)換成力觸覺信息，所述的虛擬手與圖像接觸力信號f輸至圖像接觸力反饋控制模塊，圖像接觸力反 饋控制模塊對虛擬手與圖像接觸力信號f與源自力觸覺交互設(shè)備的反饋力信號fd進行比 較運算后，以運算結(jié)果為圖像接觸力信號f'，最后，由力觸覺交互設(shè)備將圖像接觸力信號 轉(zhuǎn)化成圖像接觸力傳遞給操作者，所述的源自力觸覺交互設(shè)備的反饋力信號fd由以下方法得到采用圖像接觸力采集模塊，將圖像接觸力采集模塊中的三維力傳感器1通過法蘭 盤2固定在力觸覺交互設(shè)備端部的手柄3上并采集圖像接觸力，如圖3所示，所述圖像接觸 力經(jīng)圖像接觸力采集模塊處理后形成反饋力信號fd，圖像接觸力反饋控制模塊對虛擬手與圖像接觸力信號f與源自力觸覺交互設(shè)備 的反饋力信號fd進行比較運算如下①將虛擬手與圖像接觸力計算模塊計算出的虛擬手與圖像接觸力信號f與圖像 接觸力采集模塊所采集到反饋力信號fd作差，得到Af如下Af= f-fd,②對上述的Af采用比例控制，得到放大或縮小后的力信號差值A(chǔ)fk，艮P Afk = kX Af其中k為比例系數(shù)，k = 1. 5，③將比例控制后的力信號差值A(chǔ)fk與虛擬手與圖像接觸力計算模塊計算出的虛 擬手與圖像接觸力信號f 一起，共同作為力觸覺交互設(shè)備在圖像接觸點處的圖像接觸力信 號f'，即
f' = f + Δ f k ；所述基于三維力傳感器的二維圖像力觸覺再現(xiàn)控制方法的系統(tǒng)，包括力觸覺交 互設(shè)備、主手位置檢測模塊、虛擬手與主手位置映射模塊、用于判斷虛擬手是否觸及二維圖 像的碰撞檢測模塊、虛擬手與圖像接觸力計算模塊，力信息輸出模塊及圖像采集和顯示模 塊，所述力觸覺交互設(shè)備用于根據(jù)操作者的操作指示命令通過操縱主手即力觸覺交 互設(shè)備端部的手柄控制虛擬手接近二維圖像，所述主手位置檢測模塊用于實時檢測主手即力觸覺交互設(shè)備端部的手柄的位置 并獲取主手在三維空間中的位置信息，并通過虛擬手與主手位置映射模塊建立主手與虛擬 手之間的位置映射關(guān)系，具體映射關(guān)系可根據(jù)多個采樣點在主手坐標(biāo)系和虛擬手坐標(biāo)系中 的位置對應(yīng)關(guān)系，建立虛擬手位置與主手位置之間的坐標(biāo)映射，實現(xiàn)主手對虛擬手位置控 制的目的，所述碰撞檢測模塊用于判斷當(dāng)前力觸覺交互設(shè)備在虛擬環(huán)境里的虛擬手是否觸 及到虛擬物體的二維圖片，由于虛擬圖片所處的位置為虛擬環(huán)境坐標(biāo)系Oxyz下的區(qū)域Ω ={0 < χ < X，0 < y < Υ，ζ = 0}，其中X，Y分別為虛擬圖片在虛擬環(huán)境里的長度和寬度， 因此可以根據(jù)虛擬手移動的位置坐標(biāo)信息來判斷是否碰撞到虛擬物體圖片表面，所述虛擬手與圖像接觸力計算模塊包括圖像處理單元和力觸覺建模單元，圖像處 理單元用于借助一定的圖像采集、處理和識別系統(tǒng)，提取外界導(dǎo)入的虛擬物體圖片中有意 義的圖像信息，例如物體占有區(qū)，輪廓，紋理特征等等，力觸覺建模單元用于構(gòu)建圖像信息 與力觸覺信息的映射關(guān)系，將圖像信息計算并轉(zhuǎn)換成力觸覺信息，所述圖像采集和顯示模塊包括圖片保存單元和圖形刷新單元，如圖6所示，所述 圖片保存單元用于保存外界導(dǎo)入的虛擬物體圖片，以用于虛擬環(huán)境仿真，所述的圖形刷新 單元用于操作者在顯示器上實時觀察到虛擬手的移動位置；所述力信息輸出模塊通過PCI板卡及PCI板卡連接線將需要輸出的圖像接觸力信 號傳輸至力觸覺交互設(shè)備，所述系統(tǒng)還包括圖像接觸力反饋控制模塊和圖像接觸力采集模塊，所述圖像接觸力反饋控制模塊的一個輸入端與虛擬手與圖像接觸力計算模塊的 輸出端連接，用于接收圖像接觸力信號f，所述圖像接觸力反饋控制模塊的另一輸入端與圖 像接觸力采集模塊的輸出端連接，用于接收反饋力信號fd，所述圖像接觸力反饋控制模塊 的輸出端與力觸覺交互設(shè)備的一個輸入端連接且用于接收力觸覺交互設(shè)備在圖像接觸點 處的圖像接觸力信號f ‘，所述圖像接觸力反饋控制模塊用于計算圖像接觸點處的圖像接 觸力信號f'，即f' = f+kX (f-fd)其中，ke
，所述圖像接觸力采集模塊包括三維力傳感器1和處理電路，所述三維力傳感器1 通過法蘭盤2固定在力觸覺交互設(shè)備端部的手柄3上且用于采集三維力信號，如圖3所示， 所述處理電路包括單片機處理電路單元，A/D轉(zhuǎn)換電路單元，串口電路單元與信號接收和轉(zhuǎn) 換單元用于處理三維力信號并產(chǎn)生反饋力信號fd，如圖4所示，具體步驟如下①三維力傳感器受到三維力，利用電橋原理，將力信號轉(zhuǎn)換成電壓(電流)信號，
②經(jīng)A/D轉(zhuǎn)換電路單元，模擬電壓(電流)信號轉(zhuǎn)換成數(shù)字電壓(電流)信號，PC 機通過RS232串口接收傳輸?shù)娜S力傳感器測得的X，Y，Z三個力方向的電壓(電流)數(shù) 據(jù)，并載入到信號接收和轉(zhuǎn)換單元中，③在信號接收和轉(zhuǎn)換單元中，將接收到的三個力方向的電壓(電流)信號通過校 零，解耦轉(zhuǎn)換成力信號。與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(1)本發(fā)明增加了圖像接觸力采集模塊，通過法蘭盤將三維力傳感器固定在力觸 覺交互設(shè)備端部的手柄上，能夠?qū)崟r采集力觸覺交互設(shè)備所輸出的圖像接觸力，結(jié)構(gòu)簡單， 易于實現(xiàn)，同時在力信號輸出前加入圖像接觸力反饋控制模塊，對采集到的圖像接觸力信 號進行閉環(huán)控制，采用比例控制算法，能夠?qū)崟r跟蹤比較和調(diào)整圖像接觸力信號的輸出，大 大提高了圖像接觸力信號輸出的精度，有效的減小因機械裝置等原因?qū)е碌牧τ|覺交互設(shè) 備力信號輸出的誤差，同時使得人機交互系統(tǒng)運行更加穩(wěn)定，圖像的力觸覺表達更加真實、 逼真、舒適；(2)開放性、標(biāo)準(zhǔn)化軟件系統(tǒng)和模塊化結(jié)構(gòu)，可移植性強，使得該控制系統(tǒng)能擴展 出各種功能模塊，滿足不同環(huán)境下的應(yīng)用要求；(3)本發(fā)明的控制系統(tǒng)可用于遠(yuǎn)程操控或者在虛擬空間中進行機械設(shè)計，虛擬外 科手術(shù)仿真、遠(yuǎn)程醫(yī)療、盲人獲取圖像信息等領(lǐng)域。


圖1是系統(tǒng)框圖；圖2是系統(tǒng)電路原理圖；圖3是力觸覺再現(xiàn)設(shè)備手柄外接三維力觸覺傳感器結(jié)構(gòu)示意圖；圖4是圖像接觸力采集框圖；圖5是圖像接觸力反饋控制圖，圖5a是圖像接觸力反饋控制原理框圖，圖5b是圖 像接觸力反饋控制軟件流程圖；圖6是圖像采集和顯示框圖；圖7是石頭表面二維紋理圖片；
圖8是系統(tǒng)軟件流程圖；圖9是圖像接觸力采集電路圖，圖9a是單片機處理電路單元電路圖，圖9b是A/D 轉(zhuǎn)換單元電路圖，圖9c是串口接口電路單元電路圖。
具體實施例方式具體實施例1 一種基于三維力傳感器的石頭紋理圖像力觸覺再現(xiàn)控制方法，該方法的主要步驟 如下步驟1對虛擬場景進行初始化；步驟2操作者通過操縱力觸覺交互設(shè)備端部的手柄控制虛擬手接近石頭紋理圖 像，在虛擬手碰撞到紋理圖像之前，即在靠近紋理圖像的過程中，虛擬手與圖像接觸力信號 f為0 ；如果發(fā)生碰撞，則根據(jù)虛擬手與圖像接觸力計算模塊中建立的接觸力模型，計算出碰撞點處虛擬手與圖像接觸力信號f，該接觸力模型的建立是通過對采集到的石頭紋理圖像Gauss濾波，并將反映紋理 信息的高頻頻譜作為高度圖，應(yīng)用胡克定律和摩擦力公式計算虛擬手對石頭紋理表面作用 的法向力和切向力作為圖像接觸力；步驟3虛擬手與圖像接觸力信號f輸至圖像接觸力反饋控制模塊，圖像接觸力反 饋控制模塊對虛擬手與圖像接觸力信號f與源自力觸覺交互設(shè)備的反饋力信號fd進行運 算后，以運算結(jié)果f ‘為圖像接觸力信號；源自力觸覺交互設(shè)備的反饋力信號fd由以下方法得到采用圖像接觸力采集模塊，將圖像接觸力采集模塊中的三維力傳感器通過法蘭盤 固定在力觸覺交互設(shè)備的手柄上，用于采集圖像接觸力，如圖3所示，通過圖像接觸力采集 模塊中的三維力傳感器外接的單片機處理電路單元，A/D轉(zhuǎn)換電路單元，串口電路單元與信 號接收和轉(zhuǎn)換單元，將圖像接觸力轉(zhuǎn)換成PC機可識別的數(shù)據(jù)，即反饋力信號fd，如圖4所 示，具體步驟如下①三維力傳感器受到三維力，利用電橋原理，將力信號轉(zhuǎn)換成電壓(電流)信號；②經(jīng)A/D轉(zhuǎn)換電路單元，模擬電壓(電流)信號轉(zhuǎn)換成數(shù)字電壓(電流)信號，PC 機通過RS232串口接收傳輸?shù)娜S力傳感器測得的X，Y，Z三個力方向的電壓(電流)數(shù) 據(jù)，并載入到信號接收和轉(zhuǎn)換單元中；③在信號接收和轉(zhuǎn)換單元中，將接收到的三個力方向的電壓(電流)信號通過校 零，解耦轉(zhuǎn)換成力信號，圖像接觸力反饋控制模塊對虛擬手與圖像接觸力信號f與源自力觸覺交互設(shè)備 的反饋力信號fd進行運算如下，如圖5所示①將虛擬手與圖像接觸力計算模塊計算出的虛擬手與圖像接觸力信號f與圖像 接觸力采集單元模塊所采集到反饋力信號fd作差，得到Af如下Af= f-fd,②對上述的Af采用比例控制，得到放大或縮小后的力信號差值A(chǔ)fk，艮P Afk = kX Af其中k為比例系數(shù)，k = 1. 5，③將比例控制后的力信號差值A(chǔ)fk與虛擬手與圖像接觸力計算模塊計算出的虛 擬手與圖像接觸力信號f 一起，共同作為力觸覺交互設(shè)備在圖像接觸點處的圖像接觸力信 號f'，即f' = f + Δ fk ；具體實施例2 基于三維力傳感器的石頭紋理圖像力觸覺再現(xiàn)控制方法的系統(tǒng)是基于PC機的開 放式的閉環(huán)控制系統(tǒng)，該系統(tǒng)充分利用Windows豐富的軟件資源和PC機的多種通訊接口， 具有移植性強，模塊化設(shè)計等特點，如圖1是本發(fā)明控制系統(tǒng)的總體結(jié)構(gòu)方框圖，基于三維力傳感器的石頭紋理圖像力觸覺再現(xiàn)方法的控制系統(tǒng)，包括力觸覺交 互設(shè)備、主手位置檢測模塊、虛擬手與主手位置映射模塊、用于判斷虛擬手是否觸及二維圖 像的碰撞檢測模塊、虛擬手與圖像接觸力計算模塊，力信息輸出模塊及圖像采集和顯示模 塊，
8
本實例中力觸覺交互設(shè)備采用的為德國瑞士 Force Dimension公司生產(chǎn)的6自由 度的Delta手控器，它是一個應(yīng)用于計算機虛擬現(xiàn)實領(lǐng)域中的產(chǎn)品，其工作空間范圍為平 移0 360mmXL300mm和旋轉(zhuǎn)士20deg/axis，能夠?qū)崿F(xiàn)沿X，Y，Z軸的三維力重構(gòu)，通過Delta 手控器端部的手柄，可以觸摸、感知和控制虛擬手在虛擬石頭紋理表面滑動，并將產(chǎn)生的圖 像接觸力信息實時的反饋給操作者，本實例中圖像采集和顯示模塊包括圖片保存單元和圖形刷新單元，如圖6所示， 圖片保存單元用于保存外界導(dǎo)入的石頭紋理圖像以用于虛擬環(huán)境仿真，如圖7所示，圖形 刷新單元用于操作者在顯示器上實時觀察到虛擬手的移動位置，本實例中主手位置檢測模塊用于實時檢測主手即力觸覺交互設(shè)備Delta手控器 端部的手柄的位置并獲取主手在三維空間中的位置信息，其中主手坐標(biāo)位置的獲取通過調(diào) 用力觸覺交互設(shè)備即Delta手控器標(biāo)準(zhǔn)API函數(shù)庫中的dhdGetPosition ()函數(shù)實現(xiàn)，單位 是m,本實例中虛擬手與主手位置映射模塊用于實時將力觸覺交互設(shè)備即Delta手控 器輸入的位置信息轉(zhuǎn)化為虛擬環(huán)境下的虛擬手的坐標(biāo)，使主手與虛擬手在各自的坐標(biāo)系 下協(xié)作一致，具體坐標(biāo)轉(zhuǎn)化關(guān)系可根據(jù)主手與虛擬手在坐標(biāo)系下線性映射后位置相等的條 件，建立虛擬手與主手之間的對應(yīng)關(guān)系，從而實現(xiàn)主手對虛擬手位置的控制，具體映射關(guān)系 如下Mx = 9*Py，My = 14*Pz，Mz = Px*5_5，其中(Mx，My，Mz)為虛擬手位置坐標(biāo)，(Px，Py, Pz)為主手位置坐標(biāo)，本實例中碰撞檢測模塊用于判斷當(dāng)前力觸覺交互設(shè)備即Delta手控器在虛擬環(huán) 境里的虛擬手是否觸及到石頭紋理圖像，由于石頭紋理圖像所處的位置為虛擬環(huán)境坐標(biāo)系 Oxyz下的區(qū)域{0 < χ < 5，0 < y < 5，ζ = 0}，因此可以根據(jù)虛擬手移動的位置來判斷當(dāng) 前力觸覺交互設(shè)備即Delta手控器在虛擬環(huán)境里的虛擬手是否碰撞到虛擬石頭表面，如果 虛擬手位于區(qū)域S = {(x,y,z) Ix e
，且y e
且Z e
}內(nèi)，則碰撞，否 則沒有發(fā)生碰撞，本實例中虛擬手與圖像接觸力計算模塊采用公知的紋理的力觸覺表達方法，該方 法源于儀器儀表學(xué)報中第29卷第11期中論文《基于DELTA手控器的紋理的力觸覺表達方 法》(出版日期2008年11月)，在該模塊圖像處理單元中對采集到的石頭紋理圖像進行 Gauss濾波，將反映紋理信息的高頻頻譜作為高度圖，在該模塊力觸覺建模單元中，應(yīng)用胡 克定律和摩擦力公式分別計算虛擬手對石頭紋理表面作用的法向力和切向力，共同作為圖 像接觸力，完成力觸覺的建模，本實例中力信息輸出模塊通過PCI板卡及PCI板卡連接線將接觸力反饋控制模 塊產(chǎn)生的需要輸出的接觸力信息傳輸至力觸覺交互設(shè)備即Delta手控器，通過調(diào)用力觸覺 交互設(shè)備即Delta手控器標(biāo)準(zhǔn)API函數(shù)庫中的dhdSetForce ()來設(shè)定力觸覺交互設(shè)備即 Delta手控器需要輸出的作用力，基于三維力傳感器的石頭紋理圖像力觸覺再現(xiàn)方法的控制系統(tǒng)，還包括圖像接觸 力反饋控制模塊和圖像接觸力采集模塊，本實例中圖像接觸力采集模塊包括三維力傳感器和處理電路，三維力傳感器采用 的是公知的東南大學(xué)機器人傳感與控制技術(shù)實驗室自主研制的直接輸出型機器人四維力與力矩傳感器(授權(quán)號CN 1425903A)，使其輸出三維力信號，不輸出力矩信號，輸出電壓 范圍為-1. 4V +1. 4V，額定載荷范圍為-100N +100N，通過法蘭盤固定在力觸覺交互設(shè) 備即Delta手控器端部的手柄上，如圖3所示，用于檢測力觸覺交互設(shè)備Delta手控器反饋 輸出力的大小，通過外接的處理電路，包括單片機處理電路模塊，A/D轉(zhuǎn)換電路模塊，串口電 路模塊與信號接收和轉(zhuǎn)換模塊，轉(zhuǎn)換成PC機可識別的數(shù)據(jù)，即反饋力信號fd，經(jīng)接觸力反饋 控制模塊跟蹤補償后，通過力信息輸出模塊由Delta手控器反饋給操作者，如圖4所示，具 體步驟如下①三維力傳感器受到三維力，利用電橋原理，將力信號轉(zhuǎn)換成電壓信號，②經(jīng)A/D轉(zhuǎn)換電路單元，模擬電壓信號轉(zhuǎn)換成數(shù)字電壓信號，PC機通過RS232串 口接收傳輸?shù)娜S力傳感器測得的X，Y，Z三個力方向的電壓數(shù)據(jù)，并載入到信號接收和轉(zhuǎn) 換單元中，③在信號接收和轉(zhuǎn)換單元中，將接收到的三個力方向的電壓信號通過校零，解耦 轉(zhuǎn)換成力信號，本實例中圖像接觸力反饋控制模塊的一個輸入端與虛擬手與圖像接觸力計算模 塊的輸出端連接，用于接收圖像接觸力信號f，圖像接觸力反饋控制模塊的另一輸入端與圖 像接觸力采集模塊的輸出端連接，用于接收反饋力信號fd，圖像接觸力反饋控制模塊的輸 出端與力觸覺交互設(shè)備即Delta手控器的一個輸入端連接且用于接收力觸覺交互設(shè)備即 Delta手控器在圖像接觸點處的圖像接觸力信號f'，圖像接觸力反饋控制模塊用于計算 圖像接觸點處的圖像接觸力信號f'，即f' = f+kX (f-fd)其中，ke [ο. 5，10]，所述三維力傳感器還可以采用蛘埠傳感器系統(tǒng)工程有限公司生產(chǎn)的金諾JHSW-II 型號的三維力傳感器，輸出電壓范圍為-4V +4V，額定載荷范圍為-19. 6Ν +19. 6Ν。參照圖7，該系統(tǒng)的軟件流程如下步驟1對外部導(dǎo)入的虛擬物體圖片進行保存；步驟2在虛擬手與圖像接觸力計算模塊中，調(diào)用上述的虛擬物體的二維圖片，借 助一定的圖像采集、處理和識別系統(tǒng)，提取虛擬物體圖片中有意義的信息，例如物體占有 區(qū)，輪廓，紋理特征等等，并建立接觸力模型，將圖像信息轉(zhuǎn)換成力觸覺信息；步驟3對虛擬場景進行初始化，在虛擬環(huán)境坐標(biāo)系Oxyz中的區(qū)域{0≤χ≤Χ，0≤y≤Y，ζ = 0}中加載虛擬物體的二維圖片，二維圖片在虛擬空 間中的位置左右對齊，且上下對齊，在虛擬環(huán)境中初始化虛擬手，即力觸覺交互設(shè)備在虛擬 環(huán)境中的代理；步驟4初始化力觸覺交互設(shè)備；步驟5操作者通過力觸覺交互設(shè)備端部的操作柄及虛擬手與主手位置映射模塊 控制虛擬手接近二維圖片。虛擬手與主手位置映射模塊實時將力觸覺交互設(shè)備輸入的位置 信息(Px，Py，Pz)轉(zhuǎn)化為虛擬環(huán)境下的虛擬手的坐標(biāo)(Mx，My，Mz)。具體坐標(biāo)轉(zhuǎn)化關(guān)系可根 據(jù)多個采樣點在主手坐標(biāo)系和虛擬手坐標(biāo)系中的位置對應(yīng)關(guān)系，建立虛擬手位置與主手位 置之間的對應(yīng)坐標(biāo)映射關(guān)系，從而實現(xiàn)主手對虛擬手位置控制的目的，其中(Px，Py，Pz)坐 標(biāo)位置的獲取在主手位置檢測模塊獲得；
步驟6碰撞檢測模塊檢測當(dāng)前力觸覺交互設(shè)備在虛擬環(huán)境里的虛擬手是否碰撞 到虛擬物體的二維圖片，由于虛擬紋理圖片所處的位置為虛擬環(huán)境坐標(biāo)系Oxyz下的區(qū)域 Ω = {0<x<X，0<y<Y，z = 0}，其中Χ，Υ分別為虛擬圖片在虛擬環(huán)境里的長度和寬 度，因此可以根據(jù)虛擬手移動的位置信息來判斷是否碰撞到虛擬物體圖片；步驟7根據(jù)碰撞檢測的結(jié)果以及虛擬手當(dāng)前的坐標(biāo)，經(jīng)過虛擬手與圖像接觸力計 算模塊，計算出當(dāng)前位置需要輸出的虛擬手與圖像接觸力信號f。如果沒有碰撞到虛擬物體 圖片，則虛擬手與圖像接觸力信號f為0 ；如果發(fā)生碰撞，則根據(jù)虛擬手與圖像接觸力計算 模塊中建立的接觸力模型，計算出虛擬手與圖像接觸力信號f ；步驟8虛擬手與圖像接觸力信號f輸至圖像接觸力反饋控制模塊，圖像接觸力反 饋控制模塊對虛擬手與圖像接觸力信號f與源自力觸覺交互設(shè)備的反饋力信號fd進行運 算后，以運算結(jié)果f ‘為圖像接觸力信號；源自力觸覺交互設(shè)備的反饋力信號fd由以下方法得到采用圖像接觸力采集模塊，將圖像接觸力采集模塊中的三維力傳感器固定在力觸 覺交互設(shè)備的手柄上，用于采集圖像接觸力，通過圖像接觸力采集模塊中的三維力傳感器 外接的處理電路，包括單片機處理電路單元，A/D轉(zhuǎn)換電路單元，串口電路單元與信號接收 和轉(zhuǎn)換單元，將圖像接觸力轉(zhuǎn)換成PC機可識別的數(shù)據(jù)，即反饋力信號fd ；圖像接觸力反饋控制模塊對虛擬手與圖像接觸力信號f與源自力觸覺交互設(shè)備 的反饋力信號fd進行運算如下①將虛擬手與圖像接觸力計算模塊計算出的虛擬手與圖像接觸力信號f與圖像 接觸力采集單元模塊所采集到反饋力信號fd作差，得到Af如下Af= f-fd,②對上述的Δ f采用比例控制，得到放大或縮小后的力信號差值A(chǔ)fk，即Afk = kX Af其中k為比例系數(shù)，k e
，③將比例控制后的力信號差值A(chǔ)fk與虛擬手與圖像接觸力計算模塊計算出的虛 擬手與圖像接觸力信號f 一起，共同作為力觸覺交互設(shè)備在圖像接觸點處的圖像接觸力信 號f'，即f' = f + Δ f k ；步驟9力信息輸出模塊通過PCI板卡及PCI板卡連接線將圖像接觸力反饋控制模 塊產(chǎn)生的需要輸出的圖像接觸力信號傳輸至力觸覺交互設(shè)備；步驟10如果虛擬手碰撞到虛擬物體圖片，則虛擬手不再移動(考慮的是剛性接 觸)，仍在原位置繪制虛擬手，然后圖形刷新；如果虛擬手未碰撞到虛擬物體圖片，則應(yīng)該 在虛擬環(huán)境中更新虛擬手的位置，即在基于主手位置檢測模塊和虛擬手與主手位置映射模 塊得出新的位置繪制虛擬手，進行圖形刷新；步驟11通過力觸覺交互設(shè)備、顯示器把要求更新的圖像接觸力信息和視覺信息 反饋給操作者，使其不僅能夠看到且能感覺到圖像接觸力的變化，然后再回到步驟5。
權(quán)利要求
一種基于三維力傳感器的二維圖像力觸覺再現(xiàn)控制方法，步驟如下操作者通過操作力觸覺交互設(shè)備端部的手柄控制虛擬手接近二維圖像，在虛擬手碰撞到二維圖像之前，即在靠近二維圖像的過程中，虛擬手與圖像接觸力信號f為0；如果發(fā)生碰撞，則根據(jù)虛擬手與圖像接觸力計算模塊中建立的接觸力模型，計算出碰撞點處虛擬手與圖像接觸力信號f，其特征在于，所述的虛擬手與圖像接觸力信號f輸至圖像接觸力反饋控制模塊，圖像接觸力反饋控制模塊對虛擬手與圖像接觸力信號f與源自力觸覺交互設(shè)備的反饋力信號fd進行比較運算后，以運算結(jié)果為圖像接觸力信號f′，最后，由力觸覺交互設(shè)備將圖像接觸力信號轉(zhuǎn)化成圖像接觸力傳遞給操作者；所述的源自力觸覺交互設(shè)備的反饋力信號fd由以下方法得到采用圖像接觸力采集模塊，將圖像接觸力采集模塊中的三維力傳感器設(shè)在力觸覺交互設(shè)備端部的手柄上并采集圖像接觸力，所述圖像接觸力經(jīng)圖像接觸力采集模塊處理后形成反饋力信號fd；圖像接觸力反饋控制模塊對虛擬手與圖像接觸力信號f與源自力觸覺交互設(shè)備的反饋力信號fd進行運算如下①將虛擬手與圖像接觸力計算模塊計算出的虛擬手與圖像接觸力信號f與圖像接觸力采集模塊所采集到反饋力信號fd作差，得到Δf如下Δf＝f fd，②對上述的Δf采用比例控制，得到放大或縮小后的力信號差值Δfk，即Δfk＝k×Δf其中k為比例系數(shù)，k＝1.5，③將比例控制后的力信號差值Δfk與虛擬手與圖像接觸力計算模塊計算出的虛擬手與圖像接觸力信號f一起，共同作為力觸覺交互設(shè)備在圖像接觸點處的圖像接觸力信號f′，即f′＝f+Δfk。
2.一種實現(xiàn)權(quán)利要求1所述基于三維力傳感器的二維圖像力觸覺再現(xiàn)控制方法的系 統(tǒng)，包括力觸覺交互設(shè)備(1)、主手位置檢測模塊(2)、虛擬手與主手位置映射模塊(3)、用 于判斷虛擬手是否觸及二維圖像的碰撞檢測模塊(4)、虛擬手與圖像接觸力計算模塊(5)， 力信息輸出模塊(6)及圖像采集和顯示模塊(7)，所述力觸覺交互設(shè)備(1)用于根據(jù)操作者的操作指示命令控制虛擬手接近二維圖像， 所述主手位置檢測模塊(2)用于實時檢測主手的位置并獲取位置信息，并通過虛擬手 與主手位置映射模塊(3)建立主手與虛擬手之間的位置映射關(guān)系，所述虛擬手與圖像接觸力計算模塊(5)包括圖像處理單元和力觸覺建模單元，所述圖 像處理單元用于提取外界導(dǎo)入的虛擬物體圖片中有用的圖像信息，所述力觸覺建模單元用 于將圖像信息計算并轉(zhuǎn)換成力觸覺信息，所述力信息輸出模塊(6)通過PCI板卡及PCI板卡連接線將需要輸出的圖像接觸力信 號傳輸至力觸覺交互設(shè)備(1)，所述圖像采集和顯示模塊(7)包括圖片保存單元和圖形刷新單元，所述圖片保存單元用于保存外界導(dǎo)入的虛擬物體圖片，以用于虛擬環(huán)境仿真，所述的圖形刷新單元用于操作 者在顯示器上實時觀察到虛擬手的移動位置，其特征在于，所述系統(tǒng)還包括圖像接觸力反饋控制模塊(8)和圖像接觸力采集模塊(9)，所述圖像接觸力反饋控制模塊(8)的一個輸入端與虛擬手與圖像接觸力計算模塊(5) 的輸出端連接，用于接收圖像接觸力信號f，所述圖像接觸力反饋控制模塊(8)的另一輸入 端與圖像接觸力采集模塊(9)的輸出端連接，用于接收反饋力信號fd，所述圖像接觸力反饋 控制模塊(8)的輸出端與力信息輸出模塊的一個輸入端連接且用于接收力觸覺交互設(shè)備 在圖像接觸點處的圖像接觸力信號f'，所述圖像接觸力反饋控制模塊(8)用于計算圖像接觸點處的圖像接觸力信號f'，即 f' = f+kX (f-fd) 其中，k e
，所述圖像接觸力采集模塊(9)包括三維力傳感器和處理電路，所述三維力傳感器設(shè)在 力觸覺交互設(shè)備端部的手柄上且用于采集三維力信號，所述處理電路包括單片機處理電路 單元，A/D轉(zhuǎn)換電路單元，串口電路單元與信號接收和轉(zhuǎn)換單元，用于處理三維力信號并產(chǎn) 生反饋力信號fd。
全文摘要
本發(fā)明公開了基于三維力傳感器的二維圖像力觸覺再現(xiàn)控制方法及系統(tǒng)，其特征是將三維力傳感器固定在力觸覺交互設(shè)備端部的手柄上，實時采集力觸覺交互設(shè)備所輸出的圖像接觸力，同時對采集到的圖像接觸力信號進行閉環(huán)控制，采用比例控制算法，實時調(diào)整圖像接觸力信號的輸出。本發(fā)明采用了閉環(huán)反饋控制策略，提高了圖像接觸力的輸出精度和控制系統(tǒng)的穩(wěn)定性，增強了人機交互時的真實性，此外本發(fā)明采用模塊化的系統(tǒng)結(jié)構(gòu)，系統(tǒng)移植性強。
文檔編號G06F3/033GK101943946SQ20101027241
公開日2011年1月12日 申請日期2010年9月3日 優(yōu)先權(quán)日2010年9月3日
發(fā)明者吳涓, 宋愛國, 張小瑞, 李佳璐, 程盈盈 申請人:東南大學(xué)