本發(fā)明涉及復(fù)雜機(jī)電產(chǎn)品的虛擬裝配設(shè)計(jì)領(lǐng)域,尤其涉及一種剛?cè)峄旌舷到y(tǒng)虛擬裝配系統(tǒng)及其虛擬裝配方法。
背景技術(shù):
:復(fù)雜的精密機(jī)電產(chǎn)品中零部件的設(shè)計(jì)制造裝配難度很高,尤其是內(nèi)部剛性機(jī)械結(jié)構(gòu)件與諸如電纜之類的柔性結(jié)構(gòu)件之間的接口匹配要求非常嚴(yán)格,設(shè)計(jì)過(guò)程中的毫厘之差便可導(dǎo)致整個(gè)產(chǎn)品返工。目前復(fù)雜機(jī)電產(chǎn)品設(shè)計(jì)過(guò)程中,暴露出的諸如電纜之類的柔性零部件由于設(shè)計(jì)時(shí)未考慮最終的裝配,造成設(shè)計(jì)長(zhǎng)度不足等問(wèn)題,以致返工導(dǎo)致產(chǎn)品研發(fā)周期和成本大幅增加。大部分企業(yè)解決剛?cè)峄旌舷到y(tǒng)的設(shè)計(jì)制造裝配問(wèn)題,仍然通過(guò)在制造環(huán)節(jié)進(jìn)行反復(fù)的樣件試制和試安裝來(lái)保證工藝指標(biāo)達(dá)到設(shè)計(jì)要求,這一過(guò)程存在成本高、周期長(zhǎng)、易反復(fù)等缺陷。因此,有必要將剛?cè)峄旌舷到y(tǒng)的設(shè)計(jì)試錯(cuò)過(guò)程從制造環(huán)節(jié)前移至設(shè)計(jì)階段,急需提供一種虛擬裝配系統(tǒng)來(lái)滿足設(shè)計(jì)階段的虛擬裝配要求。技術(shù)實(shí)現(xiàn)要素:本發(fā)明提供一種剛?cè)峄旌舷到y(tǒng)虛擬裝配系統(tǒng)及其虛擬裝配方法,在設(shè)計(jì)端建立虛擬裝配環(huán)境,利用計(jì)算機(jī)視覺(jué)技術(shù)實(shí)現(xiàn)自然方式下的人機(jī)交互,在構(gòu)建的虛擬裝配仿真環(huán)境中,逼真地再現(xiàn)復(fù)雜機(jī)電產(chǎn)品的實(shí)際裝配過(guò)程,為操作員提供了設(shè)計(jì)方案預(yù)先驗(yàn)證的條件,對(duì)于設(shè)計(jì)方案中可能存在影響產(chǎn)品最終裝配的缺陷做到及早發(fā)現(xiàn)并更改,從而提高工藝及制造環(huán)節(jié)的效率。為了達(dá)到上述目的,本發(fā)明提供一種剛?cè)峄旌舷到y(tǒng)虛擬裝配系統(tǒng),包含:支架,以及設(shè)置在支架上的動(dòng)作跟蹤系統(tǒng)和裝配環(huán)境虛擬系統(tǒng);所述的支架用于固定虛擬裝配系統(tǒng)中的其他器件,該支架具有操作面;所述的動(dòng)作跟蹤系統(tǒng)包含可見(jiàn)光視覺(jué)交互子系統(tǒng)、紅外光視覺(jué)交互子系統(tǒng)和視覺(jué)處理器;所述的可見(jiàn)光視覺(jué)交互子系統(tǒng)包含可見(jiàn)光攝像機(jī)組和多個(gè)可見(jiàn)光標(biāo)記;所述的可見(jiàn)光標(biāo)記設(shè)置在操作員的各個(gè)手指處;所述的可見(jiàn)光攝像機(jī)組用于捕獲可見(jiàn)光標(biāo)記進(jìn)行視覺(jué)定位,可見(jiàn)光攝像機(jī)組的安裝位置需要保證可見(jiàn)光攝像機(jī)的可視范圍覆蓋整個(gè)支架操作面;所述的紅外光視覺(jué)交互子系統(tǒng)包含紅外攝像機(jī)組和多個(gè)紅外標(biāo)記;所述的紅外標(biāo)記設(shè)置在操作員的各個(gè)手指處;所述的紅外攝像機(jī)組用于捕獲紅外標(biāo)記進(jìn)行視覺(jué)定位,紅外攝像機(jī)組的安裝位置需要保證紅外攝像機(jī)的可視范圍覆蓋整個(gè)支架操作面;所述的視覺(jué)處理器設(shè)置在支架上,電性連接光攝像機(jī)組和紅外攝像機(jī)組,該視覺(jué)處理器中裝載定位信息融合子系統(tǒng),用于處理可見(jiàn)光定位信息和紅外光定位信息,并將兩種定位信息進(jìn)行融合;所述的裝配環(huán)境虛擬系統(tǒng)包含裝配環(huán)境顯示處理器和沉浸式虛擬現(xiàn)實(shí)頭盔;所述的裝配環(huán)境顯示處理器設(shè)置在支架上,電性連接視覺(jué)處理器,用于根據(jù)融合的定位信息生成剛?cè)峄旌舷到y(tǒng)的虛擬裝配環(huán)境;所述的沉浸式虛擬現(xiàn)實(shí)頭盔電性連接裝配環(huán)境顯示處理器,用于為操作員三維立體顯示剛?cè)峄旌舷到y(tǒng)的虛擬裝配環(huán)境。所述的可見(jiàn)光攝像機(jī)組包含三個(gè)可見(jiàn)光攝像機(jī),該三個(gè)可見(jiàn)光攝像機(jī)按照三軸兩兩垂直的方式固定設(shè)置在支架上。所述的紅外攝像機(jī)組包含兩個(gè)紅外攝像機(jī),兩個(gè)紅外攝像機(jī)對(duì)稱固定設(shè)置在支架上。所述的裝配環(huán)境虛擬系統(tǒng)還包含顯示裝置,其電性連接裝配環(huán)境顯示處理器,用于為其他未佩戴沉浸式虛擬現(xiàn)實(shí)頭盔的人員顯示虛擬裝配過(guò)程。本發(fā)明還提供一種剛?cè)峄旌舷到y(tǒng)虛擬裝配方法,包含以下步驟:步驟S1、紅外光視覺(jué)交互子系統(tǒng)采集紅外標(biāo)記的空間位置,獲得紅外定位信息;采用兩個(gè)對(duì)稱設(shè)置的紅外攝像機(jī)作為圖像捕獲設(shè)備,對(duì)紅外標(biāo)記進(jìn)行檢測(cè),利用雙目定位算法計(jì)算紅外標(biāo)記的空間位置;步驟S2、可見(jiàn)光視覺(jué)交互子系統(tǒng)采集可見(jiàn)光標(biāo)記的空間位置,獲得可見(jiàn)光定位信息;采用三個(gè)三軸兩兩垂直設(shè)置的可見(jiàn)光攝像機(jī)作為圖像捕獲設(shè)備,對(duì)可見(jiàn)光標(biāo)記進(jìn)行檢測(cè),利用三軸定位算法計(jì)算可見(jiàn)光標(biāo)記的空間位置;步驟S3、視覺(jué)處理器中的定位信息融合子系統(tǒng)對(duì)紅外定位信息和可見(jiàn)光定位信息進(jìn)行融合,生成操作員各個(gè)手指的空間位置,獲得手部定位信息;步驟S4、裝配環(huán)境顯示處理器根據(jù)融合的手部定位信息生成剛?cè)峄旌舷到y(tǒng)的虛擬裝配環(huán)境,以人機(jī)交互的形式在剛?cè)峄旌舷到y(tǒng)的虛擬裝配環(huán)境中完成對(duì)剛性零部件以及柔性電纜的安裝。所述的步驟S2中,可見(jiàn)光視覺(jué)交互子系統(tǒng)采集可見(jiàn)光標(biāo)記的空間位置的方法包含以下步驟:步驟S2.1、選擇可見(jiàn)光標(biāo)記的顏色;選定亮度色度空間YCrCb作為標(biāo)記檢測(cè)的顏色空間,在此顏色空間中在膚色范圍之外選取顏色作為可見(jiàn)光標(biāo)記;步驟S2.2、利用三軸位置循環(huán)迭代定位算法計(jì)算可見(jiàn)光標(biāo)記的空間位置。所述的步驟S2.2中,利用三軸位置循環(huán)迭代定位算法計(jì)算可見(jiàn)光標(biāo)記的空間位置的方法具體包含以下步驟:分別將三個(gè)可見(jiàn)光攝像機(jī)記為C1、C2、C3,分別沿X、Y、Z軸以兩兩垂直的方式進(jìn)行布置,且三臺(tái)攝像機(jī)至原點(diǎn)的距離分別為S1、S2、S3,可見(jiàn)光目標(biāo)在C1、C2、C3的成像平面中的坐標(biāo)分別為目標(biāo)在三臺(tái)攝像機(jī)中進(jìn)行第t次迭代計(jì)算所得到的空間位置值分別為t次迭代后輸出的目標(biāo)坐標(biāo)值為(xt,yt,zt);步驟S2.2.1、給定迭代初值,可見(jiàn)光攝像機(jī)準(zhǔn)備捕獲可見(jiàn)光標(biāo)記;給定循環(huán)迭代算法的迭代初值(x0,y0,z0);令步驟S2.2.2、判斷是否有可見(jiàn)光攝像機(jī)捕獲到可見(jiàn)光標(biāo)記的圖像,若至少一臺(tái)可見(jiàn)光攝像機(jī)捕獲到可見(jiàn)光標(biāo)記,則記錄可見(jiàn)光標(biāo)記的圖像坐標(biāo),然后進(jìn)行步驟S2.2.3,沒(méi)有捕獲到可見(jiàn)光標(biāo)記的可見(jiàn)光攝像機(jī)則繼續(xù)等待捕獲下一幀圖像以判斷是否捕獲到可見(jiàn)光標(biāo)記的圖像;步驟S2.2.3、根據(jù)可見(jiàn)光攝像機(jī)捕獲的可見(jiàn)光標(biāo)記的圖像坐標(biāo),進(jìn)行坐標(biāo)循環(huán)迭代,逼近可見(jiàn)光標(biāo)記在三維空間中的真實(shí)位置值;假設(shè)第t-1次迭代得到目標(biāo)坐標(biāo)值為(xt-1,yt-1,zt-1),則對(duì)第t次跌代,有:①C1攝像機(jī)中,由沿X軸的坐標(biāo)值xt-1以及目標(biāo)的圖像坐標(biāo)根據(jù)攝像機(jī)成像原理得到:ytC1=(S1-xt-1)·yimgC1/fyC1ztC1=(S1-xt-1)·zimgC1/fzC1---(1)]]>其中,和是攝像機(jī)C1的焦距;若C1未檢測(cè)到目標(biāo),則保持和的值不變,有:ytC1=yt-1C1ztC1=zt-1C1---(2)]]>②C2攝像機(jī)中,應(yīng)用以及目標(biāo)的圖像坐標(biāo)得到:ztC2=(S2-ytC1)·zimgC2/fzC2xtC2=(S2-ytC1)·ximgC2/fxC2---(3)]]>其中,和是攝像機(jī)C2的焦距;若C2未檢測(cè)到目標(biāo),則保持和的值不變,有:ztC2=zt-1C2xtC2=xt-1C2---(4)]]>③C3攝像機(jī)中,應(yīng)用以及目標(biāo)的圖像坐標(biāo)得到:xtC3=(P3-ztC2)·ximgC3/fxC3ytC3=(P3-ztC2)·yimgC3/fyC3---(5)]]>其中,和是攝像機(jī)C3的焦距;若C3未檢測(cè)到目標(biāo),保持和的值不變,xtC3=xt-1C3ytC3=yt-1C3---(6)]]>④將由C1攝像機(jī)、C2攝像機(jī)、C3攝像機(jī)所得到的三維位置值取平均,有:xt=(xtC2+xtC3)/2yt=(ytC1+ytC3)/2zt=(ztC1+ztC2)/2---(7)]]>持續(xù)迭代,直至(xt,yt,zt)滿足:則將(xt,yt,zt)作為位置循環(huán)迭代的輸出值,并結(jié)束迭代,進(jìn)行下一幀圖像中可見(jiàn)光標(biāo)記的定位。所述的步驟S3中,視覺(jué)處理器中的定位信息融合子系統(tǒng)對(duì)紅外定位信息和可見(jiàn)光定位信息進(jìn)行融合的方法包含:當(dāng)僅有紅外攝像機(jī)檢測(cè)到紅外標(biāo)記時(shí),以紅外定位信息作為定位信息融合子系統(tǒng)的輸出;當(dāng)僅有可見(jiàn)光攝像機(jī)檢測(cè)到可見(jiàn)光標(biāo)記時(shí),以可見(jiàn)光定位信息作為定位信息融合子系統(tǒng)的輸出;當(dāng)紅外攝像機(jī)與可見(jiàn)光攝像機(jī)均檢測(cè)到標(biāo)記時(shí),以紅外定位信息和可見(jiàn)光定位信息的均值作為定位信息融合子系統(tǒng)的輸出。本發(fā)明建立剛?cè)峄旌舷到y(tǒng)的虛擬裝配環(huán)境,搭建基于計(jì)算機(jī)視覺(jué)技術(shù)的動(dòng)作跟蹤系統(tǒng),在操作員的手部佩戴相應(yīng)的標(biāo)記,通過(guò)捕獲標(biāo)記獲取操作員的手部動(dòng)作,實(shí)現(xiàn)基于手勢(shì)的柔性電纜拖動(dòng)以及剛性結(jié)構(gòu)件移動(dòng)等操作。本發(fā)明在設(shè)計(jì)端建立虛擬裝配環(huán)境,利用計(jì)算機(jī)視覺(jué)技術(shù)實(shí)現(xiàn)自然方式下的人機(jī)交互,在構(gòu)建的虛擬裝配仿真環(huán)境中,逼真地再現(xiàn)復(fù)雜機(jī)電產(chǎn)品的實(shí)際裝配過(guò)程,為操作員提供了設(shè)計(jì)方案預(yù)先驗(yàn)證的條件,對(duì)于設(shè)計(jì)方案中可能存在影響產(chǎn)品最終裝配的缺陷做到及早發(fā)現(xiàn)并更改,從而提高工藝及制造環(huán)節(jié)的效率。附圖說(shuō)明圖1是本發(fā)明提供的剛?cè)峄旌舷到y(tǒng)虛擬裝配系統(tǒng)的結(jié)構(gòu)示意圖。圖2是本發(fā)明提供的一種剛?cè)峄旌舷到y(tǒng)虛擬裝配方法的流程圖。圖3是基于紅外標(biāo)記的視覺(jué)交互子系統(tǒng)工作原理圖。圖4是可見(jiàn)光標(biāo)記顏色圖。圖5是可見(jiàn)光攝像機(jī)組布置方式圖。圖6是三軸位置循環(huán)迭代定位算法的坐標(biāo)系示意圖。具體實(shí)施方式以下根據(jù)圖1~圖6,具體說(shuō)明本發(fā)明的較佳實(shí)施例。如圖1所示,本發(fā)明提供一種剛?cè)峄旌舷到y(tǒng)虛擬裝配系統(tǒng),包含:支架1,以及設(shè)置在支架1上的動(dòng)作跟蹤系統(tǒng)和裝配環(huán)境虛擬系統(tǒng)。所述的支架1用于固定虛擬裝配系統(tǒng)中的其他器件,該支架1具有操作面101;該支架1上可以設(shè)置滾輪等移動(dòng)組件,便于支架1的整體移動(dòng)。所述的動(dòng)作跟蹤系統(tǒng)包含可見(jiàn)光視覺(jué)交互子系統(tǒng)、紅外光視覺(jué)交互子系統(tǒng)和視覺(jué)處理器4。所述的可見(jiàn)光視覺(jué)交互子系統(tǒng)包含多個(gè)可見(jiàn)光標(biāo)記和可見(jiàn)光攝像機(jī)組2。所述的可見(jiàn)光標(biāo)記(圖中未顯示)設(shè)置在操作員的各個(gè)手指處。所述的可見(jiàn)光攝像機(jī)組2用于捕獲可見(jiàn)光標(biāo)記進(jìn)行視覺(jué)定位,該可見(jiàn)光攝像機(jī)組2包含三個(gè)可見(jiàn)光攝像機(jī),該三個(gè)可見(jiàn)光攝像機(jī)按照三軸兩兩垂直的方式固定設(shè)置在支架1上,可見(jiàn)光攝像機(jī)組的安裝位置需要保證可見(jiàn)光攝像機(jī)的可視范圍覆蓋整個(gè)支架操作面。所述的紅外光視覺(jué)交互子系統(tǒng)包含多個(gè)紅外標(biāo)記和紅外攝像機(jī)組3。所述的紅外標(biāo)記(圖中未顯示)設(shè)置在操作員的各個(gè)手指處。所述的紅外攝像機(jī)組3用于捕獲紅外標(biāo)記進(jìn)行視覺(jué)定位,該紅外攝像機(jī)組3包含兩個(gè)紅外攝像機(jī),兩個(gè)紅外攝像機(jī)對(duì)稱固定設(shè)置在支架1上,紅外攝像機(jī)組3的安裝位置需要保證紅外攝像機(jī)的可視范圍覆蓋整個(gè)支架操作面。所述的視覺(jué)處理器4設(shè)置在支架1上,電性連接光攝像機(jī)組2和紅外攝像機(jī)組3,該視覺(jué)處理器4中裝載定位信息融合子系統(tǒng),用于處理可見(jiàn)光定位信息和紅外光定位信息,并將兩種定位信息進(jìn)行融合。所述的裝配環(huán)境虛擬系統(tǒng)包含裝配環(huán)境顯示處理器5、沉浸式虛擬現(xiàn)實(shí)頭盔6和顯示裝置7。所述的裝配環(huán)境顯示處理器5設(shè)置在支架1上,電性連接視覺(jué)處理器4,用于根據(jù)融合的定位信息生成剛?cè)峄旌舷到y(tǒng)的虛擬裝配環(huán)境。所述的沉浸式虛擬現(xiàn)實(shí)頭盔6電性連接裝配環(huán)境顯示處理器5,用于為操作員三維立體顯示剛?cè)峄旌舷到y(tǒng)的虛擬裝配環(huán)境。所述的顯示裝置7電性連接裝配環(huán)境顯示處理器5,用于為其他未佩戴沉浸式虛擬現(xiàn)實(shí)頭盔6的人員顯示虛擬裝配過(guò)程。如圖2所示,本發(fā)明提供一種剛?cè)峄旌舷到y(tǒng)虛擬裝配方法,包含以下步驟:步驟S1、紅外光視覺(jué)交互子系統(tǒng)采集紅外標(biāo)記的空間位置,獲得紅外定位信息;采用兩個(gè)對(duì)稱設(shè)置的紅外攝像機(jī)作為圖像捕獲設(shè)備,對(duì)紅外標(biāo)記進(jìn)行檢測(cè),利用雙目定位算法計(jì)算紅外標(biāo)記的空間位置;步驟S2、可見(jiàn)光視覺(jué)交互子系統(tǒng)采集可見(jiàn)光標(biāo)記的空間位置,獲得可見(jiàn)光定位信息;采用三個(gè)三軸兩兩垂直設(shè)置的可見(jiàn)光攝像機(jī)作為圖像捕獲設(shè)備,對(duì)可見(jiàn)光標(biāo)記進(jìn)行檢測(cè),利用三軸定位算法計(jì)算可見(jiàn)光標(biāo)記的空間位置;步驟S3、視覺(jué)處理器中的定位信息融合子系統(tǒng)對(duì)紅外定位信息和可見(jiàn)光定位信息進(jìn)行融合,生成操作員各個(gè)手指的空間位置,獲得手部定位信息;步驟S4、裝配環(huán)境顯示處理器根據(jù)融合的手部定位信息生成剛?cè)峄旌舷到y(tǒng)的虛擬裝配環(huán)境,以人機(jī)交互的形式在剛?cè)峄旌舷到y(tǒng)的虛擬裝配環(huán)境中完成對(duì)剛性零部件以及柔性電纜的安裝。如圖3所示,所述的步驟S1中,紅外攝像機(jī)發(fā)出880納米波長(zhǎng)的紅外光,涂有特殊涂層的紅外標(biāo)記反射紅外光,在紅外攝像機(jī)成像平面上呈現(xiàn)成一系列小點(diǎn),根據(jù)雙目視覺(jué)成像原理,可以分別計(jì)算出每個(gè)小點(diǎn)在三維空間中的位置。所述的步驟S2中,由于可見(jiàn)光攝像機(jī)無(wú)法直接從背景環(huán)境中提取可見(jiàn)光標(biāo)記,因此需要選擇合適的顏色空間,設(shè)計(jì)可區(qū)分的可見(jiàn)光標(biāo)記,并使用顏色特征對(duì)可見(jiàn)光標(biāo)記進(jìn)行檢測(cè),最后利用三軸位置循環(huán)迭代定位算法計(jì)算可見(jiàn)光標(biāo)記的空間位置。所述的可見(jiàn)光視覺(jué)交互子系統(tǒng)采集可見(jiàn)光標(biāo)記的空間位置的方法包含以下步驟:步驟S2.1、選擇可見(jiàn)光標(biāo)記的顏色;可見(jiàn)光標(biāo)記粘貼于操作員的五個(gè)手指處,為了區(qū)分可見(jiàn)光標(biāo)記與人手膚色,選定亮度色度空間YCrCb作為標(biāo)記檢測(cè)的顏色空間,在此顏色空間中,膚色分布在相對(duì)集中的范圍內(nèi),可在膚色范圍之外選取合適的顏色作為可見(jiàn)光標(biāo)記,同時(shí),為避免檢測(cè)過(guò)程中相互干擾,要求所選顏色標(biāo)記的色度分量(Cr或Cb)相互之間且色度分量與膚色之間的差別盡量大;如圖4所述,經(jīng)檢測(cè),得到1號(hào)標(biāo)記對(duì)應(yīng)的品紅(Cr=241,Cb=131)、2號(hào)標(biāo)記對(duì)應(yīng)的深綠(Cr=59,Cb=106)和3號(hào)標(biāo)記對(duì)應(yīng)的藏青(Cr=98,Cb=167)三種顏色在存在膚色的情況下具有較好的區(qū)分度,而若再加入其余顏色,容易導(dǎo)致顏色之間的相互干擾,因此再引入4號(hào)(2、3號(hào)標(biāo)記以四分之一圓交替形成)和5號(hào)標(biāo)記(1、3號(hào)標(biāo)記以四分之一圓交替形成);步驟S2.2、利用三軸位置循環(huán)迭代定位算法計(jì)算可見(jiàn)光標(biāo)記的空間位置;如圖5所示,分別將三個(gè)可見(jiàn)光攝像機(jī)記為C1、C2、C3,分別沿X、Y、Z軸以兩兩垂直的方式進(jìn)行布置,且三臺(tái)攝像機(jī)至原點(diǎn)的距離分別為S1、S2、S3;如圖6所示,可見(jiàn)光目標(biāo)在C1、C2、C3的成像平面中的坐標(biāo)分別為目標(biāo)在三臺(tái)攝像機(jī)中進(jìn)行第t次迭代計(jì)算所得到的空間位置值分別為t次迭代后輸出的目標(biāo)坐標(biāo)值為(xt,yt,zt)。所述的利用三軸位置循環(huán)迭代定位算法計(jì)算可見(jiàn)光標(biāo)記的空間位置的方法具體包含以下步驟:步驟S2.2.1、給定迭代初值,可見(jiàn)光攝像機(jī)準(zhǔn)備捕獲可見(jiàn)光標(biāo)記;給定循環(huán)迭代算法的迭代初值(x0,y0,z0),迭代初值可以設(shè)置為x0=y(tǒng)0=z0=0,也可以根據(jù)三個(gè)可見(jiàn)光攝像機(jī)的可視空間范圍確定,從而減少迭代次數(shù);令步驟S2.2.2、判斷是否有可見(jiàn)光攝像機(jī)捕獲到可見(jiàn)光標(biāo)記的圖像,若至少一臺(tái)可見(jiàn)光攝像機(jī)捕獲到可見(jiàn)光標(biāo)記,則記錄可見(jiàn)光標(biāo)記的圖像坐標(biāo),然后進(jìn)行步驟S2.2.3,沒(méi)有捕獲到可見(jiàn)光標(biāo)記的可見(jiàn)光攝像機(jī)則繼續(xù)等待捕獲下一幀圖像以判斷是否捕獲到可見(jiàn)光標(biāo)記的圖像;例如:C1攝像機(jī)捕獲目標(biāo),則確定目標(biāo)的圖像坐標(biāo)為C2攝像機(jī)捕獲目標(biāo),則確定目標(biāo)的圖像坐標(biāo)為C3攝像機(jī)捕獲目標(biāo),則確定目標(biāo)的圖像坐標(biāo)為步驟S2.2.3、根據(jù)可見(jiàn)光攝像機(jī)捕獲的可見(jiàn)光標(biāo)記的圖像坐標(biāo),進(jìn)行坐標(biāo)循環(huán)迭代,逼近可見(jiàn)光標(biāo)記在三維空間中的真實(shí)位置值;假設(shè)第t-1次迭代得到目標(biāo)坐標(biāo)值為(xt-1,yt-1,zt-1),則對(duì)第t次跌代,有:①C1攝像機(jī)中,由沿X軸的坐標(biāo)值xt-1以及目標(biāo)的圖像坐標(biāo)根據(jù)攝像機(jī)成像原理得到:ytC1=(S1-xt-1)·yimgC1/fyC1ztC1=(S1-xt-1)·zimgC1/fzC1---(1)]]>其中,和是攝像機(jī)C1的焦距;若C1未檢測(cè)到目標(biāo),則保持和的值不變,有:ytC1=yt-1C1ztC1=zt-1C1---(2)]]>②C2攝像機(jī)中,應(yīng)用以及目標(biāo)的圖像坐標(biāo)得到:ztC2=(S2-ytC1)·zimgC2/fzC2xtC2=(S2-ytC1)·ximgC2/fxC2---(3)]]>其中,和是攝像機(jī)C2的焦距;若C2未檢測(cè)到目標(biāo),則保持和的值不變,有:ztC2=zt-1C2xtC2=xt-1C2---(4)]]>③C3攝像機(jī)中,應(yīng)用以及目標(biāo)的圖像坐標(biāo)得到:xtC3=(P3-ztC2)·ximgC3/fxC3ytC3=(P3-ztC2)·yimgC3/fyC3---(5)]]>其中,和是攝像機(jī)C3的焦距;若C3未檢測(cè)到目標(biāo),保持和的值不變,xtC3=xt-1C3ytC3=yt-1C3---(6)]]>④將由C1攝像機(jī)、C2攝像機(jī)、C3攝像機(jī)所得到的三維位置值取平均,有:xt=(xtC2+xtC3)/2yt=(ytC1+ytC3)/2zt=(ztC1+ztC2)/2---(7)]]>持續(xù)迭代,直至(xt,yt,zt)滿足:則將(xt,yt,zt)作為位置循環(huán)迭代的輸出值,并結(jié)束迭代,進(jìn)行下一幀圖像中可見(jiàn)光標(biāo)記的定位;由此,得到的(xt,yt,zt)即為基于可見(jiàn)光標(biāo)記的視覺(jué)交互子系統(tǒng)對(duì)目標(biāo)的空間定位輸出。所述的步驟S3中,視覺(jué)處理器中的定位信息融合子系統(tǒng)對(duì)紅外定位信息和可見(jiàn)光定位信息進(jìn)行融合的方法包含:由于標(biāo)記未必在攝像機(jī)的視場(chǎng)范圍內(nèi),當(dāng)僅有紅外攝像機(jī)檢測(cè)到紅外標(biāo)記時(shí),以紅外定位信息作為定位信息融合子系統(tǒng)的輸出;當(dāng)僅有可見(jiàn)光攝像機(jī)檢測(cè)到可見(jiàn)光標(biāo)記時(shí),以可見(jiàn)光定位信息作為定位信息融合子系統(tǒng)的輸出;當(dāng)紅外攝像機(jī)與可見(jiàn)光攝像機(jī)均檢測(cè)到標(biāo)記時(shí),以紅外定位信息和可見(jiàn)光定位信息的均值作為定位信息融合子系統(tǒng)的輸出。所述的步驟S4中,在進(jìn)行虛擬裝配時(shí),操作員可以通過(guò)手指抓取沉浸式虛擬現(xiàn)實(shí)頭盔中顯示的虛擬電纜的電連接器進(jìn)行安裝,當(dāng)抓取電連接器到安裝位置附近時(shí),會(huì)自動(dòng)吸附,也同樣可以用相同方法對(duì)剛性結(jié)構(gòu)件進(jìn)行安裝,通過(guò)虛擬試安裝可以反饋得到設(shè)計(jì)的不足之處。本發(fā)明建立剛?cè)峄旌舷到y(tǒng)的虛擬裝配環(huán)境,搭建基于計(jì)算機(jī)視覺(jué)技術(shù)的動(dòng)作跟蹤系統(tǒng),在操作員的手部佩戴相應(yīng)的標(biāo)記,通過(guò)捕獲標(biāo)記獲取操作員的手部動(dòng)作,實(shí)現(xiàn)基于手勢(shì)的柔性電纜拖動(dòng)以及剛性結(jié)構(gòu)件移動(dòng)等操作。本發(fā)明在設(shè)計(jì)端建立虛擬裝配環(huán)境,利用計(jì)算機(jī)視覺(jué)技術(shù)實(shí)現(xiàn)自然方式下的人機(jī)交互,在構(gòu)建的虛擬裝配仿真環(huán)境中,逼真地再現(xiàn)復(fù)雜機(jī)電產(chǎn)品的實(shí)際裝配過(guò)程,為操作員提供了設(shè)計(jì)方案預(yù)先驗(yàn)證的條件,對(duì)于設(shè)計(jì)方案中可能存在影響產(chǎn)品最終裝配的缺陷做到及早發(fā)現(xiàn)并更改,從而提高工藝及制造環(huán)節(jié)的效率。盡管本發(fā)明的內(nèi)容已經(jīng)通過(guò)上述優(yōu)選實(shí)施例作了詳細(xì)介紹,但應(yīng)當(dāng)認(rèn)識(shí)到上述的描述不應(yīng)被認(rèn)為是對(duì)本發(fā)明的限制。在本領(lǐng)域技術(shù)人員閱讀了上述內(nèi)容后,對(duì)于本發(fā)明的多種修改和替代都將是顯而易見(jiàn)的。因此,本發(fā)明的保護(hù)范圍應(yīng)由所附的權(quán)利要求來(lái)限定。當(dāng)前第1頁(yè)1 2 3