一種基于增強現(xiàn)實的焊接操作訓練模擬方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于增強現(xiàn)實的焊接操作訓練模擬方法及系統(tǒng)，其中，焊接操作訓練模擬方法包括：采用單目視覺定位方法捕捉AR焊槍的空間運動軌跡；將所述AR焊槍的空間運動軌跡顯示在顯示屏幕上；采用有限差分法建立焊件的溫度場和模擬焊縫，并將所述建立的模擬焊縫顯示在顯示屏幕上；將虛擬圖像顯示于具有視覺立體顯示功能的增強現(xiàn)實顯示器中，所述虛擬圖像至少包括所述AR焊槍的空間運動軌跡和所述模擬焊縫。
【專利說明】一種基于增強現(xiàn)實的焊接操作訓練模擬方法及系統(tǒng)【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及焊接制造【技術(shù)領(lǐng)域】，具體涉及一種基于增強現(xiàn)實的焊接操作訓練模擬方法及系統(tǒng)。
【背景技術(shù)】
[0002]隨著虛擬現(xiàn)實技術(shù)的快速發(fā)展，經(jīng)過眾多學者和實際應(yīng)用者的共同努力，焊接培訓模擬器取得了長足的發(fā)展。
[0003]目前，西安交通大學和中油一建在中國石油天然氣集團公司的資助下，針對焊工培訓開發(fā)了一款焊接模擬器，該系統(tǒng)通過手持模擬焊槍對模擬焊板進行虛擬焊接，并通過傳感技術(shù)、CCD (Charge Coupled Device,電荷稱合器件)攝像機對虛擬焊接過程進行監(jiān)控，將監(jiān)控圖像傳送至計算機，計算機對監(jiān)控圖像進行處理和三維合成，在虛擬環(huán)境中模擬焊接過程，并建立相應(yīng)的評判機制，操作者可以通過焊后評判系統(tǒng)給出的評價來判定自己操作的好壞。
[0004]加拿大蒙特利爾123認證公司在20世紀90年代研發(fā)了一款用于培訓焊工的仿真儀器，可以同時模擬鎢極氣體保護焊、氣體保護金屬極弧焊和二氧化碳氣體保護焊。焊接模擬器具有一套帶有跟蹤系統(tǒng)的真實焊槍、一個3D顯示器和一個頭戴式顯示器(HMD)，跟蹤系統(tǒng)在焊接者的手和頭部之間互動，外音喇叭能模擬真實的焊接聲音，焊槍、頭戴式顯示器和3D顯示器同時在線交互。
[0005]林肯環(huán)球股份有限公司也提供了一款焊接仿真器，可以在虛擬環(huán)境中模擬焊接操作過程，并可以將虛擬焊接的過程顯示在顯示裝置上，例如將模擬焊縫、熔池等顯示在顯示裝置上，可模擬不同位置的焊件和不同工作狀態(tài)的焊件的模擬焊接過程。另外，鄭州捷安高科股份有限公司也研發(fā)了一款虛擬焊接仿真訓練系統(tǒng)，運用磁場定位技術(shù)對焊槍的運動軌跡進行定位。
[0006]采用前兩種焊接模擬方法,在進行AR(Augmented Reality,增強現(xiàn)實)焊槍的空間定位時，采用的是雙目視覺測量方法，雙目視覺測量設(shè)備受到視場范圍限制，測量范圍小，測量距離短，對焊接訓練適用性不強。
[0007]另外，采用上述林肯環(huán)球股份有限公司提出的焊接模擬方法，只是將模擬焊接過程顯示在顯示裝置上，沒有將虛擬畫面與真實場景相融合，對于焊接操作者而言，焊接過程視覺效果不夠理想，動態(tài)模擬效果不夠真實。
[0008]最后，采用鄭州捷安高科提供的模擬仿真器，運用磁場定位技術(shù)對焊槍的運動軌跡進行定位，容易受到電磁干擾的影響，對模擬焊槍的空間運動軌跡的捕捉不夠精確。

【發(fā)明內(nèi)容】

[0009]鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的一種基于增強現(xiàn)實的焊接操作訓練模擬方法及系統(tǒng)。
[0010] 依據(jù)本發(fā)明的一個方面，提供了一種基于增強現(xiàn)實的焊接操作訓練模擬方法，包括:
[0011]采用單目視覺定位方法捕捉AR焊槍的空間運動軌跡；
[0012]將所述AR焊槍的空間運動軌跡顯示在顯示屏幕上；
[0013]采用有限差分法建立焊件的溫度場和模擬焊縫，并將所述建立的模擬焊縫顯示在顯示屏幕上；
[0014]將虛擬圖像顯示于具有視覺立體顯示功能的增強現(xiàn)實顯示器中，所述虛擬圖像至少包括所述AR焊槍的空間運動軌跡和所述模擬焊縫。
[0015]依據(jù)本發(fā)明的另一方面，提供了一種基于增強現(xiàn)實的焊接操作訓練模擬系統(tǒng)，包括:
[0016]軌跡捕捉模塊，用于采用單目視覺定位方法捕捉AR焊槍的空間運動軌跡；
[0017]軌跡顯示模塊，用于將所述AR焊槍的空間運動軌跡顯示在顯示屏幕上建立模塊，用于采用有限差分法建立焊件的溫度場和模擬焊縫，并將所述建立的模擬焊縫顯示在顯示屏眷上；
[0018]增強現(xiàn)實顯示模塊，用于將虛擬圖像顯示于具有視覺立體顯示功能的增強現(xiàn)實顯示器中，所述虛擬圖像至少包括所述AR焊槍的空間運動軌跡和所述模擬焊縫。
[0019]本發(fā)明提供的一種基于增強現(xiàn)實的焊接操作訓練模擬方法及系統(tǒng)，通過單目視覺定位方法捕捉AR焊槍的空間運動軌跡，并將AR焊槍的空間運動軌跡顯示在增強現(xiàn)實畫面上，用來模擬現(xiàn)實環(huán)境中的焊接操作過程，采用有限差分法快速建立焊件的溫度場和模擬焊縫，并將建立的的模擬焊縫顯示在增強現(xiàn)實畫面上，將虛擬畫面上的圖像傳輸至增強現(xiàn)實顯示器中。通過本發(fā)明提供的方法，采用計算機單目視覺法對AR焊槍進行空間定位，相比于現(xiàn)有技術(shù)的雙目視覺定位方法的位姿測量方法，不受視場范圍限制，同時也避免了多傳感器全局標定過程復雜等不足；相比現(xiàn)有技術(shù)的磁場定位，單目視覺定位方法不受電磁場的影響，對AR焊槍的空間運動軌跡的定位更精確；利用有限差分法快速建立焊件的溫度場和模擬焊縫，快速計算在虛擬焊接過程中形成的焊縫的形狀，相比其它的方法，在滿足精度的同時，能更快速地建立模擬焊縫；另外，將虛擬圖像顯示于具有視覺立體顯示功能的增強現(xiàn)實顯示器中，使視覺更加逼真，動態(tài)模擬效果更真實，學員的沉浸感更強。
【專利附圖】

【附圖說明】
[0020]圖1為本發(fā)明實施例一的一種基于增強現(xiàn)實的焊接操作訓練模擬方法流程圖；
[0021]圖2為本發(fā)明實施例一的一種基于增強現(xiàn)實的焊接操作訓練模擬方法中視覺定位系統(tǒng)架構(gòu)圖；
[0022]圖3為圖2的視覺定位系統(tǒng)中的光學傳感器的投影成像示意圖；
[0023]圖4為圖3中的光學傳感器的投影成像后的坐標投影平面剖視圖；
[0024]圖5為本發(fā)明實施例一的一種基于增強現(xiàn)實的焊接操作訓練模擬方法建立溫度場的過程中焊件離散化處理示意圖；
[0025]圖6為本發(fā)明實施例一的一種基于增強現(xiàn)實的焊接操作訓練模擬方法中建立的模擬焊縫橫截面剖視圖；
[0026]圖7為本發(fā)明實施例一的一種基于增強現(xiàn)實的焊接操作訓練模擬方法形成的熔池底部的形狀示意圖；[0027]圖8為本發(fā)明實施例二的一種基于增強現(xiàn)實的焊接操作訓練模擬系統(tǒng)示意圖?！揪唧w實施方式】
[0028]以下結(jié)合附圖對本發(fā)明的原理和特征進行描述，所舉實例只用于解釋本發(fā)明，并非用于限定本發(fā)明的范圍。
[0029]實施例一、一種基于增強現(xiàn)實的焊接操作訓練模擬方法。下面結(jié)合圖1-圖7對本發(fā)明提供的方法進行詳細說明。
[0030]圖1中，S101、采用單目視覺定位方法捕捉AR焊槍的空間運動軌跡。
[0031]具體的，在現(xiàn)實環(huán)境中，焊接操作者手持AR焊槍，對模擬焊件進行焊接操作，此時可以對AR焊槍進行空間定位，以便捕捉到AR焊槍的空間運動軌跡。
[0032]本實施例應(yīng)用的空間定位系統(tǒng)為主動單目視覺定位系統(tǒng)，該系統(tǒng)由安置在AR焊槍外表的發(fā)光球、安裝在固定支架上攝像機、加速度計、陀螺儀及計算機組成。
[0033]計算機視覺模擬生物視覺原理，由圖像傳感器件和計算機分別代替人的眼睛和大腦，獲取并分析世界的二維圖像，從而具有認知三維世界的能力。
[0034]相比基于磁場的位姿測量方法，計算機視覺不受電磁場的干擾被廣泛的研究應(yīng)用。其中，單目視覺測量由于具有非接觸、結(jié)構(gòu)簡單、標定步驟少等優(yōu)點而受到關(guān)注。另外，雖然單目視覺測量與雙目視覺測量均具有測量物體位姿的功能，但雙目視覺測量設(shè)備受到視場范圍限制，測量范圍小，測量距離短。而單目視覺測量系統(tǒng)不受視場范圍限制，同時該技術(shù)還避免了多傳感器全局標定過程復雜等不足，因此在本實施例中采用單目視覺測量方法進行空間定位。
[0035]在具體實施時，運用光學傳感器(即安置在AR焊槍外表的發(fā)光球)和攝像機來確定AR焊槍的三維空間坐標，并利用安裝在AR焊槍里面的加速度計和陀螺儀來確定AR焊槍的位姿。具體的，在運用光學傳感器和攝像頭確定AR焊槍的三維空間坐標時，本實施例采用中心透視投影模型。其中，中心透視投影模型也稱為針孔模型，中心透視投影成像關(guān)系即所有的成像光線都通過光心，物點、像點和光心三點共線。
[0036]參見圖2中的視覺定位系統(tǒng)架構(gòu)圖，系統(tǒng)中攝像機捕捉到有發(fā)光球(安置在AR焊槍外表)信息的圖像，將圖像傳送至計算機，最后計算機中的圖像處理軟件對圖像進行分析和計算，可以得到發(fā)光球的具體三維坐標和姿態(tài)，并將發(fā)光球的三維坐標和姿態(tài)顯示在顯示畫面上。
[0037]運用中心透視投影模型的具體工作原理如下:
[0038]發(fā)光球與攝像機之間的距離不同，發(fā)光球在攝像機采集圖像中的大小是不同的，進行多次試驗，即可建立發(fā)光球與攝像機之間的距離和攝像機捕捉到的發(fā)光球大小的函數(shù)關(guān)系。本實施例標定攝像機所捕捉到的發(fā)光球平面影像的圓的圓心即為定位系統(tǒng)所需定位的點，然后攝像機將捕捉到的發(fā)光球的平面影像發(fā)送至計算中，計算機中的圖像處理軟件對發(fā)光球影像進行形態(tài)學腐蝕處理，可得到發(fā)光球圓形影像外圍的邊緣線，并根據(jù)邊緣線所構(gòu)成的遠的大小計算出發(fā)光球與攝像機之間的距離和發(fā)光球的圓心。
[0039]參見圖3建立的中心透視投影成像模型，圖中OC為攝像機光心，雙點畫線為光軸，Π'平面為反片位置，Π平面為正片位置。為了表達直觀，一般都取正片做研究，O為圖像主點，P為物點，P為P的像點，虛線為P點成像的光線。[0040]當AR焊槍在進行虛擬焊接的過程中，安置在其外表面的發(fā)光球也在空間范圍內(nèi)進行移動，將發(fā)光球的二維平面坐標投影到X軸平面和I軸平面。如圖4中所示，圖4為建立的發(fā)光球的X-Z平面坐標方程，在X-Z平面中，P’為P的像點。其中，OA為攝像機與發(fā)光球之間的距離，通過上述的方法可以得知，而OB和BP’可以通過發(fā)光球在攝像機中的圖像中測量出來，因而可以通過相似比關(guān)系得到P點的X坐標。同理，可以建立發(fā)光球的Y-Z平面坐標方程，通過同樣的方法得到P點的Y坐標，從而可以確定P點在空間的三維坐標。[0041 ] 通過確定發(fā)光球在空間移動時的每個位置的空間三維坐標就可以捕捉到發(fā)光球的空間運動軌跡，即可捕捉到AR焊槍的空間運動軌跡。
[0042]另外，安裝在AR焊槍里面的三軸加速度計、三軸陀螺儀以及地磁場傳感器，可以用來捕捉發(fā)光球的姿態(tài)信息(即AR焊槍的姿態(tài)信息)，從而可以完成對發(fā)光球的姿態(tài)定位，該方法可以通過現(xiàn)有技術(shù)來實現(xiàn)，在此不再重復說明。
[0043]S102、將步驟SlOl捕捉到的AR焊槍的空間運動軌跡顯示在顯示屏幕上。
[0044]具體的，通過步驟SlOl捕捉到AR焊槍的空間運動軌跡，將捕捉到的AR焊槍的空間運動軌跡顯示在顯示屏幕上，在顯示屏幕上形成焊接動作，實現(xiàn)在虛擬的環(huán)境中模擬現(xiàn)實環(huán)境中的焊接操作過程。
[0045]S103、采用有限差分法建立焊件的溫度場和模擬焊縫，并將建立的模擬焊縫顯示在顯示屏幕上。
[0046]具體的，上述步驟將AR焊槍的空間運動軌跡顯示在顯示屏幕上，實現(xiàn)了在虛擬環(huán)境中的模擬焊接過程，該步驟將采用有限差分法建立焊件的三維非穩(wěn)態(tài)溫度場，其函數(shù)模型為T= (x，y，z，t);其中，T為瞬時溫度，x，y，z為三維坐標，t為時間。建立了焊件的溫度場后，并建立焊件的模擬焊縫，并將該模擬焊縫顯示在顯示屏幕上。
[0047]在焊接的過程中，熱量通過電弧傳到到焊件上，使焊件各個位置產(chǎn)生溫度差。在本實施例建立的溫度場模型中，把焊件假設(shè)為一個沒有內(nèi)熱源且處在內(nèi)部溫度場不隨時間而變化的穩(wěn)態(tài)導熱狀態(tài)，通過對連續(xù)位置和連續(xù)時間的離散化，計算出每個位置點上和時間點上焊件的溫度，從而模擬出焊件溫度場的變化模型。
[0048]當假設(shè)焊件處于穩(wěn)態(tài)導熱且無內(nèi)熱源時，其導熱的微分方程為:
【權(quán)利要求】
1.一種基于增強現(xiàn)實的焊接操作訓練模擬方法，其特征在于，包括: 步驟S101、采用單目視覺定位方法捕捉AR焊槍的空間運動軌跡； 步驟S102、將所述AR焊槍的空間運動軌跡顯示在顯示屏幕上； 步驟S103、采用有限差分法建立焊件的溫度場和模擬焊縫，并將所述建立的模擬焊縫顯示在顯示屏幕上； 步驟S104、將虛擬圖像顯示于具有視覺立體顯示功能的增強現(xiàn)實顯示器中，所述虛擬圖像至少包括所述AR焊槍的空間運動軌跡和所述模擬焊縫。
2.如權(quán)利要求1所述的焊接操作訓練模擬方法，其特征在于，所述步驟SlOl包括: 運用光學傳感器和攝像機確定AR焊槍的空間三維坐標，運用陀螺儀確定所述焊槍的姿態(tài)，從而捕捉到模擬焊槍的空間運動軌跡。
3.如權(quán)利要求1所述的焊接操作訓練模擬方法，其特征在于，所述采用有限差分法建立焊件的溫度場包括: 采用有限差分法建立焊件的三維溫度場，其函數(shù)模型為T= (x, y, z, t)； 其中，T為溫度，X, y, z為空間三維坐標，t為時間。
4.如權(quán)利要求1所述的焊接操作訓練模擬方法，其特征在于，模擬焊縫為拋物線形狀，能通過預(yù)設(shè)的計算模型計算得到，其中，預(yù)設(shè)的計算模型如下:
5.如權(quán)利要求1所述的焊接操作訓練模擬方法，其特征在于，在步驟S104之后還包括: 設(shè)置在增強現(xiàn)實顯示器外延處的攝像機將拍攝的焊接操作者觀看視野范圍內(nèi)的真實場景視頻發(fā)送至計算機進行畫面處理，并將焊接操作者進行焊接操作時產(chǎn)生的特有畫面呈現(xiàn)于增強現(xiàn)實顯示器的光學透視眼鏡中。
6.一種基于增強現(xiàn)實的焊接操作訓練模擬系統(tǒng)，其特征在于，包括: 軌跡捕捉模塊，用于采用單目視覺定位方法捕捉AR焊槍的空間運動軌跡； 軌跡顯示模塊，用于將所述AR焊槍的空間運動軌跡顯示在顯示屏幕上建立模塊，用于采用有限差分法建立焊件的溫度場和模擬焊縫，并將所述建立的模擬焊縫顯示在顯示屏幕上； 增強現(xiàn)實顯示模塊，用于將虛擬圖像顯示于具有視覺立體顯示功能的增強現(xiàn)實顯示器中，所述虛擬圖像至少包括所述AR焊槍的空間運動軌跡和所述模擬焊縫。
7.如權(quán)利要求6所述的焊接操作訓練模擬系統(tǒng)，其特征在于，所述軌跡捕捉模塊用于采用單目視覺定位方法捕捉AR焊槍的空間運動軌跡具體包括: 運用光學傳感器和攝像機確定AR焊槍的空間三維坐標，運用陀螺儀確定所述焊槍的姿態(tài)，從而捕捉到AR焊槍的空間運動軌跡。
8.如權(quán)利要求6所述的焊接操作訓練模擬系統(tǒng)，其特征在于，所述建立模塊采用有限差分法建立溫度場具體包括: 采用有限差分法建立焊件的三維溫度場，其函數(shù)模型為T = (x, y, z, t)；其中，T為溫度，X, y, z為空間三維坐標，t為時間。
9.如權(quán)利要求6所述的焊接操作訓練模擬系統(tǒng)，其特征在于，模擬焊縫為拋物線形狀，能通過預(yù)設(shè)的計算模型計算得到，其中，預(yù)設(shè)的計算模型如下:
10.如權(quán)利要求6所述的焊接操作訓練模擬系統(tǒng)，其特征在于，還包括: 特有畫面呈現(xiàn)模塊，用于當設(shè)置在增強現(xiàn)實顯示器外延處的攝像機將拍攝的焊接操作者在視野范圍內(nèi)的真實場景視頻發(fā)送至計算機進行畫面處理時，并將焊接操作者進行焊接操作時產(chǎn)生的特有畫面呈現(xiàn)于增強現(xiàn)實顯示器的光學透視眼鏡中。
【文檔編號】G09B9/00GK103996322SQ201410216055
【公開日】2014年8月20日 申請日期:2014年5月21日 優(yōu)先權(quán)日:2014年5月21日
【發(fā)明者】周暉, 余亮 申請人:武漢灣流新技術(shù)有限公司