專利名稱：一種高臨場感智能感知交互運(yùn)動(dòng)系統(tǒng)及實(shí)現(xiàn)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種高臨場感智能感知交互運(yùn)動(dòng)系統(tǒng)及實(shí)現(xiàn)方法，屬于 機(jī)器人應(yīng)用及分布式虛擬現(xiàn)實(shí)等技術(shù)領(lǐng)域。
背景技術(shù)：
中國專利"非行走型多維運(yùn)動(dòng)模擬健身馬"(專利號(hào) 200610048379.9)是一種六自由度仿生機(jī)器馬，上述專利采用3-2-l型的
六自由度結(jié)構(gòu)，其結(jié)構(gòu)如下底座上安裝中間支架、右前支架和右后支 架，中間支架上安裝3個(gè)直線運(yùn)動(dòng)驅(qū)動(dòng)支路，右前支架上安裝2個(gè)直線運(yùn) 動(dòng)驅(qū)動(dòng)支路，右后支架上安裝l個(gè)直線驅(qū)動(dòng)支路。通過6個(gè)直線運(yùn)動(dòng)驅(qū)動(dòng) 支路的直線驅(qū)動(dòng)，可實(shí)現(xiàn)模型的多維空間運(yùn)動(dòng)，可以真實(shí)的模擬馬運(yùn)動(dòng) 吋馬背的運(yùn)動(dòng)狀態(tài)。
其中6個(gè)直線驅(qū)動(dòng)支路上均安裝Panason1c M1nas A4系列AC伺服驅(qū)動(dòng)
器及適配電機(jī)。
與上述專利配套使用的控制系統(tǒng)"一種新型仿生機(jī)器馬的控制系統(tǒng) 設(shè)廿"(于2008年9月20日發(fā)表于第19屆中國過程控制會(huì)議論文集 voll. 1211-1214)，所述控制系統(tǒng)采用美國NI公司的運(yùn)動(dòng)控制卡PCI-7356 作為運(yùn)動(dòng)控制器，結(jié)合新型正交六自由度并聯(lián)機(jī)構(gòu)，根據(jù)LabVIEW簡單易 用的特點(diǎn)，設(shè)廿出了控制方便、多功能的仿生機(jī)器馬控制系統(tǒng)。上述運(yùn)動(dòng)平臺(tái)及控制系統(tǒng)雖然能夠模擬馬行走和奔跑的運(yùn)動(dòng)，參與 者可以根據(jù)自身的需求，調(diào)整運(yùn)動(dòng)方式，達(dá)到健身的效果，但是上述運(yùn) 動(dòng)平臺(tái)沒有建立對(duì)應(yīng)的運(yùn)動(dòng)虛擬環(huán)境，沒有進(jìn)行運(yùn)動(dòng)平臺(tái)的反饋控制。 考慮到鍵身活動(dòng)大多在室內(nèi)進(jìn)行，參與者沒有身臨其境的感受，缺乏鍛 煉的趣味性。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是針對(duì)上述現(xiàn)有技術(shù)中的缺點(diǎn)，而提供 一種讓參與者達(dá)到身臨其境的感受，提高健身樂趣，達(dá)到保健效果的高 臨場感的智能感知交互運(yùn)動(dòng)系統(tǒng)及其實(shí)現(xiàn)方法。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案 技術(shù)方案一
本發(fā)明所述系統(tǒng)由運(yùn)動(dòng)平臺(tái)子系統(tǒng)、虛擬現(xiàn)實(shí)子系統(tǒng)、投影顯示子 系統(tǒng)組成；所述運(yùn)動(dòng)平臺(tái)子系統(tǒng)由N自由度并聯(lián)運(yùn)動(dòng)平臺(tái)、伺服電機(jī)驅(qū) 動(dòng)器、運(yùn)動(dòng)控制器、傳感器組成，運(yùn)動(dòng)控制器的輸出端接伺服電機(jī)驅(qū)動(dòng) 器的輸入端，伺服電機(jī)驅(qū)動(dòng)器的輸出端接N自由度并聯(lián)運(yùn)動(dòng)平臺(tái)的輸入
端，所述傳感器由速度傳感器和方向傳感器組成；
所述虛擬現(xiàn)實(shí)子系統(tǒng)由運(yùn)動(dòng)控制端廿算機(jī)、網(wǎng)絡(luò)服務(wù)端廿算機(jī)、場 景渲染端廿算機(jī)組成，運(yùn)動(dòng)控制端計(jì)算機(jī)的輸出端接所述運(yùn)動(dòng)控制器的 輸入端，所述運(yùn)動(dòng)控制端計(jì)算機(jī)的相應(yīng)輸入端接所述傳感器的輸出端， 網(wǎng)絡(luò)服務(wù)端廿算機(jī)分別與運(yùn)動(dòng)控制端廿算機(jī)和場景渲染端廿算機(jī)雙向連
接；
所述投影顯示子系統(tǒng)由邊緣融合器、投影儀、音響設(shè)備、環(huán)幕組成；邊緣融合器的輸入端接所述場景渲染端廿算機(jī)的輸出端，邊緣融合器三 路輸出分別接相應(yīng)的投影儀的輸入端，所述投影儀的輸出投影至環(huán)幕上， 場景渲染端計(jì)算機(jī)的音頻輸出端接相應(yīng)的音響設(shè)備。 技術(shù)方案二
本發(fā)明所述方法的技術(shù)方案如下
(1) 運(yùn)動(dòng)平臺(tái)子系統(tǒng)的控制系統(tǒng)的實(shí)現(xiàn)方法
所述運(yùn)動(dòng)平臺(tái)子系統(tǒng)的控制系統(tǒng)是在圖形化編程語言LabVIEW環(huán)境 下輔以Motion運(yùn)動(dòng)控制模塊開發(fā)的(Motion運(yùn)動(dòng)控制模塊不是屬于運(yùn) 動(dòng)控制器部分的，它是LabVIEW這種軟件工具中所提供的一部分。就像 是word這種工具中提供畫圖模塊一個(gè)道理。LabVIEW是一種常用的控制 軟件工具。)，采用層次化體系結(jié)構(gòu)；
首先給出所述運(yùn)動(dòng)平臺(tái)的運(yùn)動(dòng)軌跡，通過對(duì)真實(shí)的馬在慢走、小跑、 快跑三種狀態(tài)下的運(yùn)動(dòng)進(jìn)行圖象或視頻采集，再根據(jù)圖像標(biāo)定及特征點(diǎn) 提取的軌跡得到三種典型的運(yùn)動(dòng)軌跡，再由上位機(jī)將所述三種典型的運(yùn) 動(dòng)軌跡寫入所述運(yùn)動(dòng)控制器的Butter緩存中，通過LabVIEW Notlfler 同步通信技術(shù)實(shí)現(xiàn)所述運(yùn)動(dòng)平臺(tái)的運(yùn)動(dòng)控制及其吋序同步，運(yùn)用所述運(yùn) 動(dòng)控制器的BreaKpolnts高速捕獲技術(shù)，實(shí)吋監(jiān)測(cè)各軸的給進(jìn)，控制所
述運(yùn)動(dòng)平臺(tái)完成運(yùn)動(dòng)過程；
(2) 虛擬現(xiàn)實(shí)子系統(tǒng)的控制部分的實(shí)現(xiàn)方法 虛擬現(xiàn)實(shí)子系統(tǒng)的控制部分采用基于開源的圖形渲染引擎構(gòu)建，集
成協(xié)同交互技術(shù)的包含運(yùn)動(dòng)控制端、網(wǎng)絡(luò)服務(wù)端、場景渲染端的分布式 架構(gòu)網(wǎng)絡(luò)服務(wù)端以網(wǎng)絡(luò)引擎RAKNET為基礎(chǔ)，定義基于XML的動(dòng)態(tài)數(shù)據(jù)結(jié) 構(gòu)及各層次之間的通信協(xié)議，利用IDENTIFY作為互聯(lián)標(biāo)識(shí)，完成對(duì)于多 運(yùn)動(dòng)控制端和多場景渲染端的對(duì)應(yīng)信號(hào)傳輸，以實(shí)現(xiàn)通訊的實(shí)時(shí)性和準(zhǔn) 確性；網(wǎng)絡(luò)服務(wù)端一方面接收運(yùn)動(dòng)控制端的控制信息送入互聯(lián)標(biāo)識(shí)相同
的場景渲染端，另一方面將場景渲染端的實(shí)吋信息反饋到運(yùn)動(dòng)控制端；
運(yùn)動(dòng)控制端通過串口與所述運(yùn)動(dòng)平臺(tái)相連，采用中斷觸發(fā)的方式實(shí)
時(shí)讀取串口數(shù)據(jù)，同吋將串口信息轉(zhuǎn)換為渲染場景的運(yùn)行信息，如速
度、方向、位置等，發(fā)送到網(wǎng)絡(luò)服務(wù)端；運(yùn)動(dòng)控制端接受由場景渲染端 經(jīng)網(wǎng)絡(luò)服務(wù)端發(fā)來的場景反饋信息，通過串口讀入所述運(yùn)動(dòng)控制器，完 成所述運(yùn)動(dòng)平臺(tái)的運(yùn)動(dòng)方式調(diào)整；
場景渲染端利用開源的面向?qū)ο蟮膱D形渲染引擎0GRE和三維圖形 工具3圖AX來完成高沉浸感的虛擬現(xiàn)實(shí)場景的開發(fā)，同吋引入物理引擎 PhysX實(shí)現(xiàn)物理特效，增強(qiáng)場景真實(shí)感；
(3)投影顯示子系統(tǒng)的實(shí)現(xiàn)方法
投影顯示子系統(tǒng)采用三通道環(huán)幕投影方法，利用邊緣融合器實(shí)現(xiàn)立 體視覺效果的投影顯示。
本發(fā)明能夠根據(jù)運(yùn)動(dòng)平臺(tái)的特征和運(yùn)動(dòng)狀態(tài)，設(shè)置對(duì)應(yīng)的虛擬現(xiàn)實(shí) 場景。在運(yùn)動(dòng)中，將運(yùn)動(dòng)平臺(tái)的運(yùn)動(dòng)狀態(tài)，如速度、方向等參數(shù)實(shí)吋傳
遞給虛擬環(huán)境，使環(huán)境與運(yùn)動(dòng)平臺(tái)同步變化，同吋:將環(huán)境中的反饋量, 如碰撞、地形變化等實(shí)時(shí)傳遞運(yùn)動(dòng)平臺(tái)，對(duì)于運(yùn)動(dòng)平臺(tái)的運(yùn)動(dòng)狀態(tài)進(jìn)行 調(diào)整，從而使參與者達(dá)到身臨其境的心理感受。
本發(fā)明還提供了分布式多交互的虛擬現(xiàn)實(shí)子系統(tǒng)。完成虛擬環(huán)境與被控對(duì)象以及同一環(huán)境中不同對(duì)象之間的智能感知和交互。
本發(fā)明的有益效果是由于將虛擬現(xiàn)實(shí)技術(shù)引入，為運(yùn)動(dòng)平臺(tái)提供了 身臨其境的虛擬現(xiàn)實(shí)環(huán)境，同時(shí)虛擬現(xiàn)實(shí)環(huán)境為運(yùn)動(dòng)平臺(tái)反饋控制信息 實(shí)現(xiàn)運(yùn)動(dòng)與環(huán)境的互動(dòng)，增強(qiáng)臨場感，使參與者具有高沉浸感；從而提 高健身樂趣，達(dá)到保健效果。


圖l本發(fā)明所述系統(tǒng)的原理框圖； 圖2虛擬現(xiàn)實(shí)子系統(tǒng)硬件配置示意圖； 圖3投影顯示子系統(tǒng)硬件配置示意圖； 圖4運(yùn)動(dòng)平臺(tái)子系統(tǒng)運(yùn)動(dòng)控制流程圖； 圖5虛擬現(xiàn)實(shí)子系統(tǒng)軟件結(jié)構(gòu)圖； 圖6虛擬場景渲染流程圖； 圖7碰撞檢測(cè)流程圖； 圖8交互控制流程圖。
在圖2-3中，1運(yùn)動(dòng)控制端廿算機(jī)、2網(wǎng)絡(luò)服務(wù)端廿算機(jī)、3場景渲 染端廿算機(jī)、4多模光纖局域網(wǎng)、5邊緣融合器、6投影儀、7音響設(shè)備、 8環(huán)幕。
具體實(shí)施例方式
本發(fā)明所述系統(tǒng)的實(shí)施例如下(見圖1-3):
本實(shí)施例由運(yùn)動(dòng)平臺(tái)子系統(tǒng)、虛擬現(xiàn)實(shí)子系統(tǒng)、投影顯示子系統(tǒng)組 成；所述運(yùn)動(dòng)平臺(tái)子系統(tǒng)由N自由度并聯(lián)運(yùn)動(dòng)平臺(tái)、伺服電機(jī)驅(qū)動(dòng)器、 運(yùn)動(dòng)控制器、傳感器組成，運(yùn)動(dòng)控制器的輸出端接伺服電機(jī)驅(qū)動(dòng)器的輸入端，伺服電機(jī)驅(qū)動(dòng)器的輸出端接N自由度并聯(lián)運(yùn)動(dòng)平臺(tái)的輸入端，所 述傳感器由速度傳感器和方向傳感器組成；
所述虛擬現(xiàn)實(shí)子系統(tǒng)由運(yùn)動(dòng)控制端廿算機(jī)、網(wǎng)絡(luò)服務(wù)端廿算機(jī)、場 景渲染端廿算機(jī)組成，運(yùn)動(dòng)控制端廿算機(jī)的輸出端接所述運(yùn)動(dòng)控制器的 輸入端，所述運(yùn)動(dòng)控制端廿算機(jī)的相應(yīng)輸入端接所述傳感器的輸出端， 網(wǎng)絡(luò)服務(wù)端廿算機(jī)分別與運(yùn)動(dòng)控制端廿算機(jī)和場景渲染端廿算機(jī)雙向連
接；
所述投影顯示子系統(tǒng)由邊緣融合器、投影儀、音響設(shè)備、環(huán)幕組成； 邊緣融合器的輸入端接所述場景渲染端廿算機(jī)的輸出端，邊緣融合器三 路輸出分別接相應(yīng)的投影儀的輸入端，所述投影儀的輸出投影至環(huán)幕上， 場景渲染端計(jì)算機(jī)的音頻輸出端接相應(yīng)的音響設(shè)備。
所述N自由度并聯(lián)運(yùn)動(dòng)平臺(tái)采用六自由度并聯(lián)機(jī)器馬(參見上述背
景技術(shù)部分中的ZL200610048379.9)。
所述N自由度并聯(lián)運(yùn)動(dòng)平臺(tái)也可采用跑步機(jī)、健身自行車等。
所述運(yùn)動(dòng)控制器采用美國NI公司的PCI-7356運(yùn)動(dòng)控制卡，其數(shù)控 系統(tǒng)為"上位機(jī)+運(yùn)動(dòng)控制卡"的開放式集散控制結(jié)構(gòu)。
所述伺服電機(jī)驅(qū)動(dòng)器的型號(hào)為MADDT1205。
所述速度傳感器的型號(hào)為霍爾JK80020,所述速度傳感器安裝在六 自由度并聯(lián)機(jī)器馬身體的前下方的運(yùn)動(dòng)平臺(tái)上；所述方向傳感器采用旋 轉(zhuǎn)扭矩傳感器，其型號(hào)為0RT-8036，所述方向傳感器安裝在六自由度并 聯(lián)機(jī)器馬頭部位置。所述場景渲染終端廿算機(jī)要作為圖形工作站，因此 需要處理大量的圖形信息，要求廿算機(jī)內(nèi)存配置比較高。以普通的惠普?qǐng)D形工作站為例
CPU頻率/主頻2000,z 處理器類型:AMD O口te「on 2212
CPU :雙核，64位廿算技術(shù)可提供卓越的計(jì)算及可視化功能
全雙工PCIe"6端口支持2個(gè)高端顯卡，可用于4個(gè)3D顯卡顯示器
顯卡型號(hào):NVIDIA Quadro FX1500
顯卡芯片:Q uadro FX1500
顯存容量256 (MB)
硬盤容量160G。
投影顯示子系統(tǒng)的硬件如下
環(huán)幕金屬幕，弧度210° ;高2200畫；直徑6000mm
投影儀3臺(tái)，高度4000流明；分辨率1280x768 ;鏡頭1 : 1.8
邊緣融合器對(duì)于來自廿算機(jī)的VGA圖像信號(hào)，必須采用外加的硬 件融合器來完成。融合器型號(hào)安恒AH640
音響設(shè)備:采用BOSE AM15的5.1聲道音箱。
2、本發(fā)明所述方法的實(shí)施例如下(見圖l-8): (1)運(yùn)動(dòng)平臺(tái)子系統(tǒng)的控制系統(tǒng)的實(shí)現(xiàn)方法(參見圖4):
所述運(yùn)動(dòng)平臺(tái)子系統(tǒng)的控制系統(tǒng)是在圖形化編程語言LabVIEW環(huán)境 下輔以Motion運(yùn)動(dòng)控制模塊開發(fā)的，采用層次化體系結(jié)構(gòu)(參見上述背
景技術(shù)中的"一種新型仿生機(jī)器馬的控制系統(tǒng)設(shè)廿")；
首先給出所述運(yùn)動(dòng)平臺(tái)的運(yùn)動(dòng)軌跡，通過對(duì)真實(shí)的馬在慢走、小跑、 快跑三種狀態(tài)下的運(yùn)動(dòng)進(jìn)行圖象或視頻采集，再根據(jù)圖像標(biāo)定及特征點(diǎn)
13提取的軌跡得到三種典型的運(yùn)動(dòng)軌跡，再由上位機(jī)將所述三種典型的運(yùn)
動(dòng)軌跡寫入所述運(yùn)動(dòng)控制器的Butter緩存中，通過LabVIEW Notlfler 同步通信技術(shù)實(shí)現(xiàn)所述運(yùn)動(dòng)平臺(tái)的高精度運(yùn)動(dòng)控制及其吋序同步，運(yùn)用 所述運(yùn)動(dòng)控制器的B「eaKpo1nts高速捕獲技術(shù)，實(shí)時(shí)監(jiān)測(cè)各軸的給進(jìn)， 控制所述運(yùn)動(dòng)平臺(tái)完成運(yùn)動(dòng)過程；
(2)虛擬現(xiàn)實(shí)子系統(tǒng)的控制部分的實(shí)現(xiàn)方法(參見圖5):
虛擬現(xiàn)實(shí)子系統(tǒng)的控制部分采用基于開源的圖形渲染引擎構(gòu)建，集 成協(xié)同交互技術(shù)的包含運(yùn)動(dòng)控制端、網(wǎng)絡(luò)服務(wù)端、場景渲染端的分布式 架構(gòu)
網(wǎng)絡(luò)服務(wù)端以網(wǎng)絡(luò)引擎RAKNET為基礎(chǔ)，定義基于XML的動(dòng)態(tài)數(shù)據(jù)結(jié) 構(gòu)及各層次之間的通信協(xié)議，利用IDENTIFY作為互聯(lián)標(biāo)識(shí)，完成對(duì)于多 運(yùn)動(dòng)控制端和多場景渲染端的對(duì)應(yīng)信號(hào)傳輸，以實(shí)現(xiàn)通訊的實(shí)吋性和準(zhǔn) 確性；網(wǎng)絡(luò)服務(wù)端一方面接收運(yùn)動(dòng)控制端的控制信息送入互聯(lián)標(biāo)識(shí)相同 的場景渲染端，另一方面將場景渲染端的實(shí)時(shí)信息反饋到運(yùn)動(dòng)控制端；
運(yùn)動(dòng)控制端通過串口與所述運(yùn)動(dòng)平臺(tái)相連，采用中斷觸發(fā)的方式實(shí) 吋讀取串口數(shù)據(jù)，同吋將串口信息轉(zhuǎn)換為渲染場景的運(yùn)行信息，如速 度、方向、位置等，發(fā)送到網(wǎng)絡(luò)服務(wù)端；運(yùn)動(dòng)控制端接受由場景渲染端 經(jīng)網(wǎng)絡(luò)服務(wù)端發(fā)來的場景反饋信息，通過串口讀入所述運(yùn)動(dòng)控制器，完 成所述運(yùn)動(dòng)平臺(tái)的運(yùn)動(dòng)方式調(diào)整；
場景渲染端位于圖形服務(wù)器上，可以與顯示器、投影系統(tǒng)以及頭盔 顯示器等顯示設(shè)備相連。場景渲染端利用開源的面向?qū)ο蟮膱D形渲染引 擎OGRE和三維圖形工具3圖AX來完成高沉浸感的虛擬現(xiàn)實(shí)場景的開發(fā)，同時(shí)引入物理引擎PhysX實(shí)現(xiàn)物理特效，增強(qiáng)場景真實(shí)感； 具體過程如圖6所示，初始化完成場景資源(XML)文件及第三方模型數(shù) 據(jù)(包括靜態(tài)模型、動(dòng)態(tài)實(shí)體對(duì)象及骨骼動(dòng)畫)的加載，設(shè)置光效并創(chuàng) 建攝像機(jī)，同吋創(chuàng)建幀監(jiān)聽類；循環(huán)監(jiān)聽過程中外部更新數(shù)據(jù)觸發(fā)幀響 應(yīng)處理；幀響應(yīng)處理主要實(shí)現(xiàn)碰撞檢測(cè)及渲染場景的更新。場景仿真首 先更新渲染目標(biāo)，然后更新與之關(guān)聯(lián)的視口并產(chǎn)生FPS統(tǒng)廿信息，視口調(diào) 用與之關(guān)聯(lián)的攝像機(jī)的「ende「 scene方法進(jìn)行渲染，最后更新的場景經(jīng) 渲染子系統(tǒng)類實(shí)現(xiàn)仿真。為保證視角范圍的立體化，創(chuàng)建上、下、左、 右、前、后六個(gè)攝像機(jī)視口。由于實(shí)體對(duì)象的運(yùn)動(dòng)具有很大的隨意性， 為達(dá)到實(shí)吋交互的目標(biāo)又要保證視覺上自然流暢，設(shè)定33毫秒的邏輯更 新定時(shí)器，每一次邏輯更新都會(huì)進(jìn)行渲染觸發(fā)。 (3)投影顯示子系統(tǒng)的實(shí)現(xiàn)方法 投影顯示子系統(tǒng)采用三通道環(huán)幕投影方法，利用邊緣融合器實(shí)現(xiàn)立 體視覺效果的投影顯示。
所述虛擬現(xiàn)實(shí)子系統(tǒng)中的場景變化的速度和方向的實(shí)現(xiàn)方法如下 首先，運(yùn)動(dòng)控制端通過串口程序讀取速度、方向等參數(shù)，然后通過 服務(wù)器邏輯將信息發(fā)給與運(yùn)動(dòng)控制端標(biāo)示端口相同的場景渲染端；場景 渲染端利用OGRE的渲染更新類，在每個(gè)更新幀的操作中，將速度信息按 勻速運(yùn)動(dòng)處理得到在當(dāng)前的速度下，下一幀可能的位置，根據(jù)得到的位 置信息渲染可見的場景信息；為了保證視覺上的自然流暢，設(shè)定33ms的 幀定時(shí)器，每一次邏輯更新都會(huì)進(jìn)行渲染觸發(fā)。
所述虛擬現(xiàn)實(shí)子系統(tǒng)中的碰撞及地形檢測(cè)的實(shí)現(xiàn)方法如下(參見圖7):
借助于物理引擎PhysX來實(shí)現(xiàn)碰撞檢測(cè)反饋和地形檢測(cè)反饋，以實(shí) 現(xiàn)場景的高沉浸感，即體現(xiàn)物體的碰撞效果及地形的凹凸效果；
采用面向?qū)ο蟮陌鼑信鲎采渚€檢測(cè)方法，采用沿坐標(biāo)軸的包圍盒 (AABB)描述靜態(tài)物體的碰撞模型，為了減少相交檢測(cè)的廿算量，降低
碰撞時(shí)間，將盒與盒間的相交檢測(cè)簡化為面向具有運(yùn)動(dòng)特性對(duì)象的射線
檢測(cè)；即用面向?qū)ο蟮姆椒ū硎咎摂M環(huán)境中的物體，但只將具有運(yùn)動(dòng)特 性的物體作為碰撞檢測(cè)主體對(duì)象，其他物體視作靜態(tài)盒子；只有當(dāng)運(yùn)動(dòng) 對(duì)象的位置或方向發(fā)生變化時(shí)才檢測(cè)是否與發(fā)生了碰撞，并做出相應(yīng)的 碰撞響應(yīng)；碰撞檢測(cè)的具體實(shí)現(xiàn)利用物理引擎PhysX ;在生成場景的同 時(shí)，創(chuàng)建相應(yīng)的物理世界，使虛擬場景中的每一個(gè)實(shí)體模型都有一個(gè)與 之對(duì)應(yīng)的物理世界對(duì)象，通過代碼指令獲得指向物理對(duì)象的指針，利用 指針調(diào)用PhysX引擎提供的碰撞射線檢測(cè)函數(shù)，實(shí)現(xiàn)碰撞檢測(cè)；然后利 用函數(shù)返回信息來更新場。
所述虛擬現(xiàn)實(shí)子系統(tǒng)和所述運(yùn)動(dòng)平臺(tái)的交互的實(shí)現(xiàn)方法如下(參見 圖8):
虛擬現(xiàn)實(shí)子系統(tǒng)和所述運(yùn)動(dòng)平臺(tái)的交互是指， 一方面虛擬現(xiàn)實(shí)子系 統(tǒng)要根據(jù)當(dāng)產(chǎn)所述運(yùn)動(dòng)平臺(tái)的運(yùn)動(dòng)速度、方向信息實(shí)時(shí)的調(diào)控要顯示的 場景畫面；另一方面虛擬現(xiàn)實(shí)系統(tǒng)還會(huì)根據(jù)場景反饋信息到運(yùn)動(dòng)平臺(tái)的 控制系統(tǒng)；
當(dāng)所述運(yùn)動(dòng)平臺(tái)以很快的速度運(yùn)動(dòng)時(shí)，相應(yīng)的呈現(xiàn)的場景的變化速 度也會(huì)很快，方向上也要和所述運(yùn)動(dòng)平臺(tái)保持一致；如果在運(yùn)動(dòng)過程中
16的場景中遇到障礙物，就要發(fā)生碰撞，虛擬現(xiàn)實(shí)子系統(tǒng)就會(huì)將碰撞信息 反饋給所述運(yùn)動(dòng)平臺(tái)，所述運(yùn)動(dòng)平臺(tái)就會(huì)依此產(chǎn)生制動(dòng)或減速；同樣， 如果在場景中遇到的是地形上的小坑或坡，所述運(yùn)動(dòng)平臺(tái)就會(huì)根據(jù)反饋 信息調(diào)整運(yùn)動(dòng)的位姿。
正向控制的實(shí)現(xiàn)通過速度、方向傳感器檢測(cè)所述運(yùn)動(dòng)平臺(tái)的速度、
方向等參數(shù)，檢測(cè)得到的數(shù)據(jù)經(jīng)過A/D轉(zhuǎn)換為數(shù)字信號(hào)，通過RS-232串口 送到運(yùn)動(dòng)控制端計(jì)算機(jī)；運(yùn)動(dòng)控制端廿算機(jī)讀取相關(guān)信息并進(jìn)行數(shù)據(jù)打 包按照傳輸協(xié)議發(fā)送到網(wǎng)絡(luò)服務(wù)端廿算機(jī)，網(wǎng)絡(luò)服務(wù)端廿算機(jī)根據(jù)多交 互的端口邏輯，將數(shù)據(jù)包發(fā)送到和運(yùn)動(dòng)控制端廿算機(jī)端口一致的場景渲 染端i十算機(jī)；場景渲染端廿算機(jī)接收到數(shù)據(jù)包后通過解壓操作得到相應(yīng) 的速度、方向參數(shù)信息，并根據(jù)此信息迸行相關(guān)場景的渲染；
反饋控制的實(shí)現(xiàn)基于虛擬場景的碰撞檢測(cè)，在場景渲染端廿算機(jī)中 利用面向?qū)ο蟮陌鼑信鲎采渚€檢測(cè)算法進(jìn)行實(shí)時(shí)地碰撞檢測(cè)，并在碰 撞反饋部分分析發(fā)生碰撞可能產(chǎn)生的信息及對(duì)應(yīng)操作同樣以數(shù)據(jù)包的形 式發(fā)送到網(wǎng)絡(luò)服務(wù)端廿算機(jī)，網(wǎng)絡(luò)服務(wù)端廿算機(jī)利用端口邏輯反饋給對(duì) 應(yīng)的運(yùn)動(dòng)控制端廿算機(jī)，在運(yùn)動(dòng)控制端計(jì)算機(jī)利用運(yùn)動(dòng)控制卡PCI-7356 實(shí)現(xiàn)所述運(yùn)動(dòng)平臺(tái)的中斷處理。
權(quán)利要求
1、高臨場感的智能感知交互運(yùn)動(dòng)系統(tǒng)，其特征在于它由運(yùn)動(dòng)平臺(tái)子系統(tǒng)、虛擬現(xiàn)實(shí)子系統(tǒng)、投影顯示子系統(tǒng)組成；所述運(yùn)動(dòng)平臺(tái)子系統(tǒng)由N自由度并聯(lián)運(yùn)動(dòng)平臺(tái)、伺服電機(jī)驅(qū)動(dòng)器、運(yùn)動(dòng)控制器、傳感器組成，運(yùn)動(dòng)控制器的輸出端接伺服電機(jī)驅(qū)動(dòng)器的輸入端，伺服電機(jī)驅(qū)動(dòng)器的輸出端接N自由度并聯(lián)運(yùn)動(dòng)平臺(tái)的輸入端，所述傳感器由速度傳感器和方向傳感器組成；所述虛擬現(xiàn)實(shí)子系統(tǒng)由運(yùn)動(dòng)控制端計(jì)算機(jī)、網(wǎng)絡(luò)服務(wù)端計(jì)算機(jī)、場景渲染端計(jì)算機(jī)組成，運(yùn)動(dòng)控制端計(jì)算機(jī)的輸出端接所述運(yùn)動(dòng)控制器的輸入端，所述運(yùn)動(dòng)控制端計(jì)算機(jī)的相應(yīng)輸入端接所述傳感器的輸出端，網(wǎng)絡(luò)服務(wù)端計(jì)算機(jī)分別與運(yùn)動(dòng)控制端計(jì)算機(jī)和場景渲染端計(jì)算機(jī)雙向連接；所述投影顯示子系統(tǒng)由邊緣融合器、投影儀、音響設(shè)備、環(huán)幕組成；邊緣融合器的輸入端接所述場景渲染端計(jì)算機(jī)的輸出端，邊緣融合器的三路輸出分別接相應(yīng)投影儀的輸入端，所述投影儀的輸出投影至環(huán)幕上，場景渲染端計(jì)算機(jī)的音頻輸出端接相應(yīng)的音響設(shè)備。
2、 根據(jù)杈利要求1所述的高臨場感的智能感知交互運(yùn)動(dòng)系統(tǒng)，其特 征在于所述N自由度并聯(lián)運(yùn)動(dòng)平臺(tái)采用六自由度并聯(lián)機(jī)器馬。
3、 根據(jù)杈利要求2所述的高臨場感的智能感知交互運(yùn)動(dòng)系統(tǒng)，其特 征在于所述運(yùn)動(dòng)控制器采用PCI-7356運(yùn)動(dòng)控制卡，其數(shù)控系統(tǒng)為"上位 機(jī)+運(yùn)動(dòng)控制卡"的開放式集散控制結(jié)構(gòu)。
4、 根據(jù)權(quán)利要求3所述的高臨場感的智能感知交互運(yùn)動(dòng)系統(tǒng)，其特征在于所述伺服電機(jī)驅(qū)動(dòng)器的型號(hào)為MADDT1205 。
5、 根據(jù)權(quán)利要求4所述的高臨場感的智能感知交互運(yùn)動(dòng)系統(tǒng)，其特 征在于所述速度傳感器的型號(hào)為霍爾JK80020,所述速度傳感器安裝在 六自由度并聯(lián)機(jī)器馬身體的前下方的運(yùn)動(dòng)平臺(tái)上；所述方向傳感器采用 旋轉(zhuǎn)扭矩傳感器，其型號(hào)為0RT-8036,所述方向傳感器安裝在六自由度 并聯(lián)機(jī)器馬頭部位置。
6、 根據(jù)權(quán)利要求1所述的高臨場感的智能感知交互運(yùn)動(dòng)系統(tǒng)的實(shí)現(xiàn) 方法，其特征在于(1) 運(yùn)動(dòng)平臺(tái)子系統(tǒng)的控制系統(tǒng)的實(shí)現(xiàn)方法 所述運(yùn)動(dòng)平臺(tái)子系統(tǒng)的控制系統(tǒng)是在圖形化編程語言LabVIEW環(huán)境下輔以Motion運(yùn)動(dòng)控制模塊開發(fā)的，采用層次化體系結(jié)構(gòu)；首先給出所述運(yùn)動(dòng)平臺(tái)的運(yùn)動(dòng)軌跡，通過對(duì)真實(shí)的馬在慢走、小跑、 快跑三種狀態(tài)下的運(yùn)動(dòng)進(jìn)行圖象或視頻采集，再根據(jù)圖像標(biāo)定及特征點(diǎn) 提取的軌跡得到三種典型的運(yùn)動(dòng)軌跡，再由上位機(jī)將所述三種典型的運(yùn) 動(dòng)軌跡寫入所述運(yùn)動(dòng)控制器的Butter緩存中，通過LabVIEW Notlfler 同步通信技術(shù)實(shí)現(xiàn)所述運(yùn)動(dòng)平臺(tái)的運(yùn)動(dòng)控制及其時(shí)序同步，運(yùn)用所述運(yùn) 動(dòng)控制器的B「e水。o1nts高速捕獲技術(shù)，實(shí)吋監(jiān)測(cè)各軸的給進(jìn)，控制所述運(yùn)動(dòng)平臺(tái)完成運(yùn)動(dòng)過程；(2) 虛擬現(xiàn)實(shí)子系統(tǒng)的控制部分的實(shí)現(xiàn)方法 虛擬現(xiàn)實(shí)子系統(tǒng)的控制部分采用基于開源的圖形渲染引擎構(gòu)建，集成協(xié)同交互技術(shù)的包含運(yùn)動(dòng)控制端、網(wǎng)絡(luò)服務(wù)端、場景渲染端的分布式架構(gòu)網(wǎng)絡(luò)服務(wù)端以網(wǎng)絡(luò)引擎RAKNET為基礎(chǔ)，定義基于XML的動(dòng)態(tài)數(shù)據(jù)結(jié) 構(gòu)及各層次之間的通信協(xié)議，利用IDENTIFY作為互聯(lián)標(biāo)識(shí)，完成對(duì)于多 運(yùn)動(dòng)控制端和多場景渲染端的對(duì)應(yīng)信號(hào)傳輸，以實(shí)現(xiàn)通訊的實(shí)吋性和準(zhǔn) 確性；網(wǎng)絡(luò)服務(wù)端一方面接收運(yùn)動(dòng)控制端的控制信息送入互聯(lián)標(biāo)識(shí)相同 的場景渲染端，另一方面將場景渲染端的實(shí)時(shí)信息反饋到運(yùn)動(dòng)控制端；運(yùn)動(dòng)控制端通過串口與所述運(yùn)動(dòng)平臺(tái)相連，采用中斷觸發(fā)的方式實(shí) 吋讀取串口數(shù)據(jù)，同吋將串口信息轉(zhuǎn)換為渲染場景的運(yùn)行信息，如速度、方向、位置等，發(fā)送到網(wǎng)絡(luò)服務(wù)端；運(yùn)動(dòng)控制端接受由場景渲染端經(jīng)網(wǎng)絡(luò)服務(wù)端發(fā)來的場景反饋信息，通過串口讀入所述運(yùn)動(dòng)控制器，完成所述運(yùn)動(dòng)平臺(tái)的運(yùn)動(dòng)方式調(diào)整；場景渲染端利用開源的面向?qū)ο蟮膱D形渲染引擎OGRE和三維圖形 工具3DMAX來完成高沉浸感的虛擬現(xiàn)實(shí)場景的開發(fā)，同吋引入物理引擎 PhysX來實(shí)現(xiàn)物理特效，增強(qiáng)場景真實(shí)感； (3)投影顯示子系統(tǒng)的實(shí)現(xiàn)方法投影顯示子系統(tǒng)采用三通道環(huán)幕投影方法，利用邊緣融合器實(shí)現(xiàn)立 體視覺效果的投影顯示。
7、根據(jù)杈利要求6所述的高臨場感的智能感知交互運(yùn)動(dòng)系統(tǒng)的實(shí)現(xiàn)方法，其特征在于所述虛擬現(xiàn)實(shí)子系統(tǒng)中的場景變化的速度和方向的實(shí) 現(xiàn)方法如下首先，運(yùn)動(dòng)控制端通過串口程序讀取速度、方向參數(shù)，然后通過服 務(wù)器邏輯將信息發(fā)給與運(yùn)動(dòng)控制端標(biāo)示端口相同的場景渲染端；場景渲染端利用OGRE的渲染更新類，在每個(gè)更新幀的操作中，將速度信息按勻 速運(yùn)動(dòng)處理得到在當(dāng)前的速度下，下一幀可能的位置，根據(jù)得到的位置 信息渲染可見的場景信息；為了保證視覺上的自然流暢，設(shè)定33ms的幀 定時(shí)器，每一次邏輯更新都會(huì)進(jìn)行渲染觸發(fā)。
8、 根據(jù)杈利要求7所述的高臨場感的智能感知交互運(yùn)動(dòng)系統(tǒng)的實(shí)現(xiàn)方法，其特征在于所述虛擬現(xiàn)實(shí)子系統(tǒng)中的碰撞及地形檢測(cè)的實(shí)現(xiàn)方法 如下借助于物理引擎PhysX來實(shí)現(xiàn)碰撞檢測(cè)反饋和地形檢測(cè)反饋，以實(shí) 現(xiàn)場景的高沉浸感，即體現(xiàn)物體的碰撞效果及地形的凹凸效果；采用面向?qū)ο蟮陌鼑信鲎采渚€檢測(cè)方法，采用沿坐標(biāo)軸的包圍盒 (AABB)描述靜態(tài)物體的碰撞模型，將盒與盒間的相交檢測(cè)簡化為面向 具有運(yùn)動(dòng)特性對(duì)象的射線檢測(cè)；即用面向?qū)ο蟮姆椒ū硎咎摂M環(huán)境中的 物體，但只將具有運(yùn)動(dòng)特性的物體作為碰撞檢測(cè)主體對(duì)象，其他物體視 作靜態(tài)盒子；只有當(dāng)運(yùn)動(dòng)對(duì)象的位置或方向發(fā)生變化時(shí)才檢測(cè)是否與發(fā) 生了碰撞，并做出相應(yīng)的碰撞響應(yīng)；碰撞檢測(cè)的具體實(shí)現(xiàn)利用物理引擎 PhysX ;在生成場景的同吋，創(chuàng)建相應(yīng)的物理世界，使虛擬場景中的每一 個(gè)實(shí)體模型都有一個(gè)與之對(duì)應(yīng)的物理世界對(duì)象，通過代碼指令獲得指向 物理對(duì)象的指針，利用指針調(diào)用PhysX引擎提供的碰撞射線檢測(cè)函數(shù)， 實(shí)現(xiàn)碰撞檢測(cè)；然后利用函數(shù)返回信息來更新場。
9、 根據(jù)權(quán)利要求8所述的高臨場感的智能感知交互運(yùn)動(dòng)系統(tǒng)的實(shí)現(xiàn) 方法，其特征在于所述虛擬現(xiàn)實(shí)子系統(tǒng)和所述運(yùn)動(dòng)平臺(tái)的交互的實(shí)現(xiàn)方 法如下正向控制的實(shí)現(xiàn)通過速度、方向傳感器檢測(cè)所述運(yùn)動(dòng)平臺(tái)的速度、方向參數(shù)，檢測(cè)得到的數(shù)據(jù)經(jīng)過A/D轉(zhuǎn)換為數(shù)字信號(hào)，通過RS-232串口送 到運(yùn)動(dòng)控制端計(jì)算機(jī)；運(yùn)動(dòng)控制端廿算機(jī)讀取相關(guān)信息并進(jìn)行數(shù)據(jù)打包 按照傳輔協(xié)議發(fā)送到網(wǎng)絡(luò)服務(wù)端廿算機(jī)，網(wǎng)絡(luò)服務(wù)端廿算機(jī)根據(jù)多交互 的端口邏輯，將數(shù)據(jù)包發(fā)送到和運(yùn)動(dòng)控制端廿算機(jī)端口一致的場景渲染 端廿算機(jī)；場景渲染端廿算機(jī)接收到數(shù)據(jù)包后通過解壓操作得到相應(yīng)的 速度、方向參數(shù)，并根據(jù)此信息進(jìn)行相關(guān)場景的渲染；反饋控制的實(shí)現(xiàn)基于虛擬場景的碰撞檢測(cè)，在場景渲染端廿算機(jī)中 利用面向?qū)ο蟮陌鼑信鲎采渚€檢測(cè)算法進(jìn)行實(shí)吋地碰撞檢測(cè)，并在碰 撞反饋部分分析發(fā)生碰撞可能產(chǎn)生的信息及對(duì)應(yīng)操作同樣以數(shù)據(jù)包的形 式發(fā)送到網(wǎng)絡(luò)服務(wù)端廿算機(jī)，網(wǎng)絡(luò)服務(wù)端廿算機(jī)利用端口邏輯反饋給對(duì)應(yīng)的運(yùn)動(dòng)控制端廿算機(jī)，在運(yùn)動(dòng)控制端廿算機(jī)利用運(yùn)動(dòng)控制卡PCI-7356實(shí)現(xiàn)所述運(yùn)動(dòng)平臺(tái)的中斷處理。
全文摘要
本發(fā)明涉及一種高臨場感的智能感知交互運(yùn)動(dòng)系統(tǒng)及其實(shí)現(xiàn)方法，本發(fā)明所述系統(tǒng)由運(yùn)動(dòng)平臺(tái)子系統(tǒng)、虛擬現(xiàn)實(shí)子系統(tǒng)、投影顯示子系統(tǒng)組成；所述運(yùn)動(dòng)平臺(tái)子系統(tǒng)由N自由度并聯(lián)運(yùn)動(dòng)平臺(tái)、伺服電機(jī)驅(qū)動(dòng)器、運(yùn)動(dòng)控制器、傳感器組成；所述虛擬現(xiàn)實(shí)子系統(tǒng)由運(yùn)動(dòng)控制端計(jì)算機(jī)、網(wǎng)絡(luò)服務(wù)端計(jì)算機(jī)、場景渲染端計(jì)算機(jī)組成。所述投影顯示子系統(tǒng)由邊緣融合器、投影儀、音響設(shè)備、環(huán)幕組成。本發(fā)明的有益效果是為運(yùn)動(dòng)平臺(tái)提供了身臨其境的虛擬現(xiàn)實(shí)環(huán)境，同時(shí)虛擬現(xiàn)實(shí)環(huán)境為運(yùn)動(dòng)平臺(tái)反饋控制信息實(shí)現(xiàn)運(yùn)動(dòng)與環(huán)境的互動(dòng)，增強(qiáng)臨場感，使參與者具有高沉浸感；從而提高健身樂趣，達(dá)到保健效果。
文檔編號(hào)G06F3/01GK101510074SQ200910073829
公開日2009年8月19日 申請(qǐng)日期2009年2月27日 優(yōu)先權(quán)日2009年2月27日
發(fā)明者劉秀玲, 楊國杰, 王洪瑞, 肖金壯 申請(qǐng)人:河北大學(xué)