專利名稱：一種信息物理圖像融合裝置的制作方法
技術(shù)領(lǐng)域：
本實(shí)用新型涉及CPS (Cyber-Physical Systems信息物理融合系統(tǒng))和圖像處理技術(shù)的3D顯示技術(shù)領(lǐng)域，具體為ー種信息物理圖像融合裝置，實(shí)現(xiàn)三維模型與實(shí)物多角度融合顯示。
背景技術(shù)：
信息物理融合系統(tǒng)(Cyber-Physical Systems, CPS)是ー種通過計(jì)算、通信和控制等相關(guān)技術(shù)的相互協(xié)作，實(shí)現(xiàn)信息世界和物理世界深度融合的新型嵌入式系統(tǒng)。CPS能依據(jù)物理環(huán)境中的各個(gè)特征點(diǎn)信息對各物理實(shí)體進(jìn)行實(shí)時(shí)高效的調(diào)整和控制，促進(jìn)了虛擬裝配技術(shù)發(fā)展。 建立一個(gè)與實(shí)際裝配生產(chǎn)環(huán)境相一致的虛擬裝配環(huán)境，通過信息物理圖像的交互進(jìn)行產(chǎn)品的裝配、拆卸等操作是虛擬裝配的重要過程。目前虛擬裝配環(huán)境的建模方式主要涉及到CAD三維軟件建模和虛擬顯示建模語言；交互方式主要涉及到數(shù)據(jù)手套、位置跟蹤器、菜單以及對話框方式。數(shù)據(jù)手套和位置跟蹤器通過內(nèi)置的傳感器捕捉手指的動(dòng)作，從而進(jìn)行手勢識別將手勢映射為相應(yīng)的命令和操作，完成裝配過程的仿真；菜單和對話框均采用鍵盤和鼠標(biāo)操作，實(shí)現(xiàn)對裝配場景的控制，完成虛擬產(chǎn)品的裝配過程。如《組合機(jī)床與自動(dòng)化加工技木》2011年08期上的魏園園等發(fā)表的題為《網(wǎng)絡(luò)環(huán)境下組合夾具虛擬裝配平臺(tái)的構(gòu)建》介紹了ー種基于虛擬顯示建模語言構(gòu)建的虛擬裝配環(huán)境，其采用菜單以及對話框的交互方式，并通過Java語言實(shí)現(xiàn)對場景的控制。根據(jù)目前的研究，主要的建模方法和交互方式均沒有實(shí)現(xiàn)對裝配環(huán)境的三維模擬，在構(gòu)建虛擬裝配環(huán)境時(shí)存在著以下不足I)零件的裝配過程通常受裝配工具、組合夾具以及其他裝配環(huán)境信息的影響，而目前裝配環(huán)境的構(gòu)建技術(shù)僅僅涉及到零件的三維模型構(gòu)建過程，并未考慮到裝配工具及組合夾具等其他裝配環(huán)境的影響；2)目前虛擬裝配涉及的交互技術(shù)完全依靠傳感器和對話框菜單實(shí)現(xiàn)裝配的仿真過程，并沒有實(shí)現(xiàn)信息世界與物理世界的融合。同時(shí)在ニ維平面環(huán)境下的裝配仿真忽視了人機(jī)交互過程，很難實(shí)現(xiàn)真正意義上的三維虛擬裝配過程。
發(fā)明內(nèi)容要解決的技術(shù)問題為解決目前虛擬裝配技術(shù)的不足，本實(shí)用新型提出一種信息物理圖像融合裝置，基于立體顯示方式實(shí)現(xiàn)裝配環(huán)境的立體仿真，使操作者有身臨其境的感覺，并通過雙目視覺感知場景中實(shí)物裝配單元的位置，建立虛擬裝配單元模型，完成虛擬裝配單元與實(shí)物裝配単元的融合，實(shí)現(xiàn)信息世界與物理世界的聯(lián)合。技術(shù)方案本實(shí)用新型的技術(shù)方案為[0011]所述ー種信息物理圖像融合裝置，其特征在于包括眼鏡式立體顯示器、雙目相機(jī)、圖像處理裝置和特征立方體；眼鏡式立體顯示器包括左眼顯示器和右眼顯示器；所述雙目相機(jī)為兩個(gè)微型CXD攝像頭，每個(gè)攝像頭的分辨率應(yīng)不低于640*480，用于模擬人雙眼采集圖像；攝像頭安裝在相機(jī)固定裝置中，相機(jī)固定裝置包括矩形支架和球形轉(zhuǎn)動(dòng)塊；矩形支架一端面上有梯形滑塊，矩形支架另一端面上開有球形凹槽，球形轉(zhuǎn)動(dòng)塊安裝在球形凹槽內(nèi)，且球形轉(zhuǎn)動(dòng)塊與矩形支架通過轉(zhuǎn)軸連接，轉(zhuǎn)軸過球形轉(zhuǎn)動(dòng)塊球心，轉(zhuǎn)軸平行于矩形支架端面且垂直于矩形支架上梯形滑塊的滑動(dòng)方向；在球形轉(zhuǎn)動(dòng)塊朝外的方向上有相機(jī)安裝孔，且相機(jī)安裝孔中心軸線與球形轉(zhuǎn)動(dòng)塊中心軸線垂直相交；攝像頭固定在相機(jī)安裝孔中，且攝像頭的中心軸線與相機(jī)安裝孔中心軸線重合；相機(jī)固定裝置安裝在相機(jī)定位板上，相機(jī)定位板邊緣有卡扣，用于將相機(jī)定位板卡接在眼鏡式立體顯示器上；相機(jī)定位板外側(cè)面上有與梯形滑塊配合的梯形滑槽；特征立方體起到圖像配準(zhǔn)作用，特征立方體整體外表面為單ー顏色，特征立方體中一個(gè)頂點(diǎn)的三條棱邊分別為紅、綠、藍(lán)三種顏色，且三條棱邊的顏色不同于特征立方體整體的顔色；所述三條棱邊為特征立方體的特征邊；雙目相機(jī)同步采集的雙路圖像信號經(jīng)過圖像處理裝置轉(zhuǎn)化為數(shù)字圖像信號，并經(jīng)過信息物理圖像融合，輸出至眼鏡式立體顯示器，實(shí)現(xiàn)左右模式立體圖像的播放顯示。有益效果本實(shí)用新型中采用裝置一體化設(shè)計(jì)，實(shí)現(xiàn)了 I)雙目相機(jī)通過相機(jī)定位裝置和相機(jī)固定裝置固定連接于眼鏡式立體顯示器上，組成了集圖像采集、處理、顯示為一體的信息物理圖像融合系統(tǒng)，使裝置的設(shè)計(jì)更加符合人體工學(xué)原理，方便使用；2)視頻采集卡采集的雙路圖像對直接送入緩沖區(qū)，進(jìn)行圖像配準(zhǔn)融合，系統(tǒng)將配準(zhǔn)之后的圖像對實(shí)時(shí)地送入顯卡的顯存中輸出供視頻眼鏡顯示，整個(gè)過程快速高效，充分體現(xiàn)了信息物理融合系統(tǒng)的高效性和實(shí)時(shí)性的特點(diǎn)；綜上所述，該實(shí)用新型可以快速地尋找物理世界中的特征物體，且視頻采集卡可以控制相機(jī)同步采集具有視角差的雙路圖像。雙路圖像采集的同時(shí)，根據(jù)物理世界的特征立方體與模型特征立方體的配準(zhǔn)關(guān)系，進(jìn)行圖像融合。融合之后的雙路圖像按左右對準(zhǔn)拼接在一起，輸出到視頻眼鏡中，通過視頻眼鏡的立體轉(zhuǎn)換功能進(jìn)行立體顯示。根據(jù)實(shí)驗(yàn)驗(yàn)證，通過采集合適視角差的雙路圖像與建立準(zhǔn)確的三維模型，該系統(tǒng)可以實(shí)現(xiàn)實(shí)物圖像與虛擬模型的快速配準(zhǔn)，實(shí)時(shí)立體顯示的功能，最終實(shí)現(xiàn)物理世界和虛擬世界的聯(lián)合。

圖I :本實(shí)用新型中裝置的立體圖；圖2 :相機(jī)固定裝置的結(jié)構(gòu)示意圖；圖3 :本實(shí)用新型中裝置的結(jié)構(gòu)示意圖；圖4 :相機(jī)定位裝置的結(jié)構(gòu)示意圖；圖5 :特征立方體示意圖；[0028]其中1、雙目相機(jī)；3、相機(jī)固定裝置；6、眼鏡式立體顯示器；7、相機(jī)定位板；8、梯形滑槽；9、矩形支架；10、球形轉(zhuǎn)動(dòng)塊；11、特征立方體。
具體實(shí)施方式
下面根據(jù)實(shí)施例具體描述本實(shí)用新型參照附圖I和附圖3，本實(shí)用新型中信息物理圖像融合系統(tǒng)的裝置包括眼鏡式立體顯示器6、雙目相機(jī)I、圖像處理裝置和特征立方體11。眼鏡式立體顯示器包括左眼顯示器和右眼顯示器，本實(shí)施例中，眼鏡式立體顯示器采用的是眾觀博覽公司的Wrap 9000視頻眼鏡，支持左右模式立體影片的顯示播放，并通過VGA接ロ與顯卡連接。雙目相機(jī)為兩個(gè)微型CXD攝像頭，每個(gè)攝像頭的分辨率應(yīng)不低于640*480，用于模擬人雙眼采集圖像。本實(shí)施例中，攝像頭采用卡默萊電子科技公司提供的3. 6_鏡頭超微型CXD攝像頭，分辨率為640X480，視場角大小為73°，尺寸為16mmX 16mmX 12mm。 攝像頭安裝在相機(jī)固定裝置3中，參照附圖4，相機(jī)固定裝置3包括矩形支架9和球形轉(zhuǎn)動(dòng)塊10。矩形支架一端面上有梯形滑塊，矩形支架另一端面上開有球形凹槽，球形轉(zhuǎn)動(dòng)塊安裝在球形凹槽內(nèi)，且球形轉(zhuǎn)動(dòng)塊與矩形支架通過轉(zhuǎn)軸連接，轉(zhuǎn)軸過球形轉(zhuǎn)動(dòng)塊球心，轉(zhuǎn)軸平行于矩形支架端面且垂直于矩形支架上梯形滑塊的滑動(dòng)方向。本實(shí)施例中，矩形支架9大小為35mmX 35mmX 20mm,球形凹槽的半徑為15mm ;球形轉(zhuǎn)動(dòng)塊10的半徑為13mm。在球形轉(zhuǎn)動(dòng)塊朝外的方向上有相機(jī)安裝孔，且相機(jī)安裝孔中心軸線與球形轉(zhuǎn)動(dòng)塊中心軸線垂直相交；攝像頭固定在相機(jī)安裝孔中，且攝像頭的中心軸線與相機(jī)安裝孔中心軸線重合。相機(jī)固定裝置安裝在相機(jī)定位板7上，參照附圖2，相機(jī)定位板邊緣有卡扣，用于將相機(jī)定位板卡接在眼鏡式立體顯示器上；相機(jī)定位板外側(cè)面上有與梯形滑塊配合的梯形滑槽8。特征立方體起到圖像配準(zhǔn)作用，大小為55mmX55mmX55mm,特征立方體整體外表面為單ー顔色，特征立方體中一個(gè)頂點(diǎn)的三條棱邊分別為紅、綠、藍(lán)三種顏色，且三條棱邊的顏色不同于特征立方體整體的顏色；所述三條棱邊為特征立方體的特征邊。雙目相機(jī)同步采集的雙路圖像信號經(jīng)過圖像處理裝置轉(zhuǎn)化為數(shù)字圖像信號，圖像處理裝置包括有圖像采集卡和雙路輸出顯卡。數(shù)字圖像信號經(jīng)過信息物理圖像融合，輸出至眼鏡式立體顯示器，實(shí)現(xiàn)左右模式立體圖像的播放顯示。圖像采集卡采用的是維視公司的MV-8002雙路圖像采集卡，通過視頻信號接ロ與攝像頭連接，將雙目相機(jī)采集的視頻信號轉(zhuǎn)換為數(shù)字圖像信號，二次開發(fā)圖像采集卡，使其可以同步雙路采集圖像，采集頻率為20幀/s，同時(shí)提供處理采集圖像的接ロ ；雙路輸出顯卡為NVIDIAGT210M芯片的雙路VGA輸出顯卡，雙VGA接ロ用于連接電腦顯示器和眼鏡式立體顯示器。本實(shí)施例中采用的信息物理圖像融合方法，包括以下步驟步驟I :基于OpenGL圖形軟件接ロ在模型空間中建立特征立方體三維模型，并設(shè)置透視投影所需的錐形視域體步驟I. I :在模型空間中設(shè)置模型坐標(biāo)系與世界坐標(biāo)系重合，并建立與實(shí)物空間中特征立方體外形尺寸相同的特征立方體三維模型，設(shè)置特征立方體三維模型同一頂點(diǎn)上的三條棱邊VtlVx, V0Vy, V0Vz的顏色屬性與實(shí)物空間中特征立方體的特征邊顏色相同；步驟1.2 :根據(jù)雙目相機(jī)的物理參數(shù)，在模型空間中設(shè)置透視投影變換所需的錐形視域體的相關(guān)參數(shù)錐形視域體的近裁剪面距視點(diǎn)的距離為攝像頭的焦距3. 6mm,近裁剪面設(shè)置為投影平面，投影面大小為攝像頭物理感光元件的大小9. 7mmX 7. 9mm，錐形視域體的后裁剪面距視點(diǎn)的距離為3. 6+500mm,同時(shí)錐形視域體中對象的顯示窗ロ為640X480，大小與攝像頭采集到的圖像大小一致；步驟2 :調(diào)節(jié)雙目相機(jī)，使雙目相機(jī)中兩個(gè)攝像頭的距離為眼鏡式立體顯示器佩戴者雙眼瞳距63mm ;將實(shí)物空間中特征立方體放置在攝像頭的視角范圍內(nèi)，并使兩個(gè)攝像頭都能拍攝到實(shí)物空間中特征立方體的特征邊；步驟3 :雙目相機(jī)的兩個(gè)攝像頭同步連續(xù)米集實(shí)物空間的左圖像和右圖像，左圖像和右圖像的分辨率為640X480 ;采用下列步驟分別提取實(shí)物空間左圖像和右圖像中特征立方體的特征邊步驟3. I :將實(shí)物空間圖像濾波灰度處理檢測實(shí)物空間圖像中各像素點(diǎn)的紅色分量，將圖像中紅色分量大于綠色分量與藍(lán)色分量之和的像素點(diǎn)的灰度值置為255，其余 像素點(diǎn)灰度值置為0，得到實(shí)物空間圖像的紅色濾波灰度圖像；檢測實(shí)物空間圖像中各像素點(diǎn)的藍(lán)色分量，將圖像中藍(lán)色分量大于綠色分量和紅色分量之和的像素點(diǎn)的灰度值置為255，其余像素點(diǎn)灰度值置為0，得到實(shí)物空間圖像的藍(lán)色濾波灰度圖像；檢測實(shí)物空間圖像中各像素點(diǎn)的緑色分量，將圖像中緑色分量大于紅色分量和藍(lán)色分量之和的像素點(diǎn)的灰度值置為255，其余像素點(diǎn)灰度值置為0，得到實(shí)物空間圖像的綠色濾波灰度圖像；步驟3. 2 :采用數(shù)學(xué)形態(tài)學(xué)腐蝕和膨脹算法分別求出實(shí)物空間圖像的三幅濾波灰度圖像的邊緣；步驟3. 3 :參考尚振宏提出的《運(yùn)用Freeman準(zhǔn)則的直線檢測算法》分別檢測實(shí)物空間圖像的三幅濾波灰度圖像中的直線段，并保留長度不小于32個(gè)像素點(diǎn)的直線段，在每條直線段上均勻取6個(gè)像素點(diǎn)擬合出直線方程，得到三幅濾波灰度圖像的直線段集合紅色濾波灰度圖像中直線段集合綠色濾波灰度圖像中直線段集合G = U8, y = kc x+b^ 藍(lán)色濾波灰度圖像中直線段集合5 = Ii^ :y = kB^x+hk)；步驟3. 4 :計(jì)算集合J = : J = ‘ JT+為}中各直線與集合G = = + 中各直線的交點(diǎn)如記交點(diǎn)屮以及交點(diǎn)屮在R和G中對應(yīng)直線的集合為M =<[(/^,4 , )};計(jì)算集合l = =中各直線與集合/！ = ·J =中各直線的交點(diǎn)Si，記交點(diǎn)Si以及交點(diǎn)Si在R和B內(nèi)的對應(yīng)直線的集合為；步驟3. 5 :對于集合M和N中的任意一條直線I，計(jì)算在M = |(Lr,4 ,q,中對應(yīng)的點(diǎn)屮和、在1 = パ,)}中對應(yīng)的點(diǎn)Si之間的距離Li ；步驟3. 6 :重復(fù)步驟3. 5遍歷集合M和N中的所有直線，得到Li取到最小值Hiin(Li)時(shí)對應(yīng)集合R、G和B中的三條直線/ヶ,_，ら,_，4,,, 1分別為特征立方體的紅、綠、藍(lán)三條特征邊，紅、綠、藍(lán)三條特征邊的斜率分別對應(yīng)為ん為；,_，も*s_, ^min(Li)對應(yīng)的交點(diǎn)Qi min和交點(diǎn)Si min之間連線的中點(diǎn)為三條特征邊的頂點(diǎn)4(氣,步驟4 :根據(jù)步驟3提取的實(shí)物圖像中特征立方體的特征邊與步驟I建立的模型空間投影圖像中特征立方體三維模型的特征邊的對應(yīng)關(guān)系分別確定模型空間中的左視點(diǎn)和右視點(diǎn)的坐標(biāo)及視點(diǎn)觀察方向向量，包括以下步驟步驟4. I :設(shè)置視點(diǎn)位置為V1(Xpy1J1),以及視點(diǎn)觀察方向向量爲(wèi)=( ,,ν/51) 得到視點(diǎn)在投影面上的投影點(diǎn)坐標(biāo)為V' i(Xl+3. 6 · U1)，(Υι+3. 6 · V1)，(Zl+3. 6))，以及投影面方程為
權(quán)利要求1.一種信息物理圖像融合裝置，其特征在于包括眼鏡式立體顯示器、雙目相機(jī)、 圖像處理裝置和特征立方體； 所述眼鏡式立體顯示器包括左眼顯示器和右眼顯示器； 所述雙目相機(jī)為兩個(gè)微型CCD攝像頭，每個(gè)攝像頭的分辨率應(yīng)不低于640*480，用于模擬人雙眼采集圖像； 所述攝像頭安裝在相機(jī)固定裝置中，相機(jī)固定裝置包括矩形支架和球形轉(zhuǎn)動(dòng)塊；矩形支架一端面上有梯形滑塊，矩形支架另一端面上開有球形凹槽，球形轉(zhuǎn)動(dòng)塊安裝在球形凹槽內(nèi)，且球形轉(zhuǎn)動(dòng)塊與矩形支架通過轉(zhuǎn)軸連接，轉(zhuǎn)軸過球形轉(zhuǎn)動(dòng)塊球心，轉(zhuǎn)軸平行于矩形支架端面且垂直于矩形支架上梯形滑塊的滑動(dòng)方向；在球形轉(zhuǎn)動(dòng)塊朝外的方向上有相機(jī)安裝孔，且相機(jī)安裝孔中心軸線與球形轉(zhuǎn)動(dòng)塊中心軸線垂直相交；攝像頭固定在相機(jī)安裝孔中，且攝像頭的中心軸線與相機(jī)安裝孔中心軸線重合； 所述相機(jī)固定裝置安裝在相機(jī)定位板上，相機(jī)定位板邊緣有卡扣，用于將相機(jī)定位板卡接在眼鏡式立體顯示器上；相機(jī)定位板外側(cè)面上有與梯形滑塊配合的梯形滑槽； 所述特征立方體起到圖像配準(zhǔn)作用，特征立方體整體外表面為單ー顔色，特征立方體中一個(gè)頂點(diǎn)的三條棱邊分別為紅、綠、藍(lán)三種顏色，且三條棱邊的顏色不同于特征立方體整體的顔色；所述三條棱邊為特征立方體的特征邊； 所述雙目相機(jī)同步采集的雙路圖像信號經(jīng)過圖像處理裝置轉(zhuǎn)化為數(shù)字圖像信號，并經(jīng)過信息物理圖像融合，輸出至眼鏡式立體顯示器，實(shí)現(xiàn)左右模式立體圖像的播放顯示。
專利摘要本實(shí)用新型提出一種信息物理圖像融合裝置，包括眼鏡式立體顯示器、雙目相機(jī)、圖像處理裝置和特征立方體。眼鏡式立體顯示器包括左眼顯示器和右眼顯示器，雙目相機(jī)為兩個(gè)微型CCD攝像頭，攝像頭安裝在相機(jī)固定裝置中，相機(jī)固定裝置包括矩形支架和球形轉(zhuǎn)動(dòng)塊，相機(jī)固定裝置安裝在相機(jī)定位板上，相機(jī)定位板卡接在眼鏡式立體顯示器上；相機(jī)定位板外側(cè)面上有與梯形滑塊配合的梯形滑槽；雙目相機(jī)同步采集的雙路圖像信號經(jīng)過圖像處理裝置轉(zhuǎn)化為數(shù)字圖像信號，并經(jīng)過信息物理圖像融合，輸出至眼鏡式立體顯示器，實(shí)現(xiàn)左右模式立體圖像的播放顯示。本實(shí)用新型基于立體顯示方式實(shí)現(xiàn)裝配環(huán)境的立體仿真，使操作者有身臨其境的感覺。
文檔編號H04N13/00GK202634612SQ20122028929
公開日2012年12月26日 申請日期2012年6月19日 優(yōu)先權(quán)日2012年6月19日
發(fā)明者何衛(wèi)平, 張衡, 林清松, 雷蕾, 王偉 申請人:西北工業(yè)大學(xué)