本實用新型涉及工業(yè)機器人智能操作技術(shù)領(lǐng)域，尤其涉及一種基于機器視覺的智能示教系統(tǒng)。

背景技術(shù)：

現(xiàn)有示教模式包括：直接示教、離線示教和虛擬示教。目前在國內(nèi)外生產(chǎn)中應用的機器人大多為示教再現(xiàn)型，即在機器人現(xiàn)場由操作者將機器人的終端移動至目標位置，并將此位置對應的機器人關(guān)節(jié)角度信息記錄進存儲器，然后當要求復現(xiàn)這些動作時，順序控制器從內(nèi)存讀出相應的位置，機器人就可重復示教時的軌跡和操作，由于其面向作業(yè)環(huán)境，機器人在線示教編程簡單方便，適用于大批量生產(chǎn)，所完成的任務簡單單一此即所謂的直接示教，就是指由人直接搬動機器人的手臂對機器人進行示教，如示教盒示教或操作桿示教等。在這種示教中，為了示教方便以及獲取信息的快捷而準確，操作者可以選擇在不同坐標系下示教，例如，可以選擇在關(guān)節(jié)坐標系(Joint Coordinates)、直角坐標系(Rectangular Co2ordinates)以及工具坐標系(Tool Coordinates)或用戶坐標系(Us2er Coordinates)下進行示教。這需要具備一定工程能力的人員才可以操作，且切換模式控制時耗費時間長?？偨Y(jié)直接示教編程的缺點為：1、占用機器人的作業(yè)時間；2、很難規(guī)劃復雜的運動軌跡以及準確的直線運動；3、編程質(zhì)量取決于編程員的經(jīng)驗，且編程員處于機器人工作空間的危險環(huán)境中；4、機器人系統(tǒng)是一個相對獨立的單元，難與其它系統(tǒng)或生產(chǎn)過程實現(xiàn)無縫集成。

機器人離線編程是機器人編程語言的拓廣，它利用計算機圖形學，建立機器人及其工作環(huán)境的幾何模型，然后對機器人所完成的任務進行離線規(guī)劃和編程，并對編程的結(jié)果進行動態(tài)圖形仿真，最后將滿足要求的編程結(jié)果傳給機器人控制柜，使機器人完成指定的任務；離線示教時，操作者不對實際作業(yè)的機器人直接進行示教，而是脫離實際作業(yè)環(huán)境生成示教數(shù)據(jù)，間接地對機器人進行示教。在離線示教法(離線編程)中，通過使用計算機內(nèi)存儲的機器人模型(CAD模型)，不要求機器人實際產(chǎn)生運動，便能在示教結(jié)果的基礎(chǔ)上對機器人的運動進行仿真，從而確定示教內(nèi)容是否恰當及機器人是否按人們期望的方式運動。此種示教模式對于操作者的計算機水平有一定要求，特別是對計算機圖形學有一定研究，且要能有充足的經(jīng)驗可以保證實際運行時誤差小，在作業(yè)描述上不能簡單直接，對使用者來說要求較高，所需的能補償機器人系統(tǒng)誤差的功能、坐標系數(shù)據(jù)仍難以得到。

虛擬示教編程充分利用了上述兩種示教方法的優(yōu)點，也就是借助于虛擬現(xiàn)實系統(tǒng)中的人機交互裝置(例如：數(shù)據(jù)手套、游戲操縱桿、力覺筆桿等)操作計算機屏幕上的虛擬機器人動作，利用應用程序界面記錄示教點位姿、動作指令并生成作業(yè)文件，最后下載到機器人控制器后，完成機器人的示教。機器人虛擬示教編程是新一代機器人編程技術(shù)的一個很有應用潛力的發(fā)展方向。

技術(shù)實現(xiàn)要素：

本實用新型要解決的技術(shù)問題在于，提供一種基于機器視覺的智能示教系統(tǒng)，運用了虛擬示教控制技術(shù)，不需要額外的示教裝置，即可直接由人體控制機械臂的運動。

為解決上述技術(shù)問題，本實用新型提供如下技術(shù)方案：一種基于機器視覺的智能示教系統(tǒng)，包括體感設(shè)備、機械臂控制設(shè)備、雙目視覺設(shè)備以及PC客戶端，所述體感設(shè)備、機械臂控制設(shè)備和雙目視覺設(shè)備均與所述PC客戶端連接，其中

所述體感設(shè)備用于檢測操作者的手部動作，并將手部動作信息反饋至所述PC客戶端處理；

所述PC客戶端處理用于根據(jù)手部動作信息對機械臂控制設(shè)備作出相關(guān)操作指令；

所述機械臂控制設(shè)備用于操作機械臂的運動；

所述雙目視覺設(shè)備用于跟蹤機械臂的運動軌跡，以及為后期機械臂獲取運動指令后監(jiān)測其運動狀態(tài)。

進一步地，所述體感設(shè)備包括立體攝像機和紅外LED，所述立體攝像機和紅外LED結(jié)合使用用于檢測操作者的手部動作及位置。

進一步地，所述立體攝像機的數(shù)量為2，所述紅外LED的數(shù)量為3。

進一步地，所述體感設(shè)備采用Leap motion體感控制器。

進一步地，所述雙目視覺設(shè)備包括雙目攝像頭和圖像采集卡，所述雙目攝像頭用于采集機械設(shè)備的動作及位置圖像信息并反饋至所述圖像采集卡，所述圖像采集卡用于將動作及位置圖像信息發(fā)送至所述PC客戶端處理。

采用上述技術(shù)方案后，本實用新型至少具有如下有益效果：

1、本實用新型基于虛擬示教控制技術(shù)，不需要額外的示教裝置，完全由手部控制，節(jié)省材料費用，并且控制過程簡單快速；

2、本實用新型對于操作者的知識水平大大降低，可充分利用人才資源對控制方式進行深入研究，獲取更大的利益；

3、本實用新型工作空間與操作空間分離，減少事故發(fā)生，同時又能保證在遠程控制情況下，精確度沒有降低，達到最佳效果。

附圖說明

圖1為本實用新型一種基于機器視覺的智能示教系統(tǒng)的結(jié)構(gòu)框圖；

圖2為本實用新型一種基于機器視覺的智能示教系統(tǒng)的雙目視覺設(shè)備的控制流程圖。

具體實施方式

需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實施例對本申請作進一步詳細說明。

如圖1所示，本實用新型的目的是為了克服直接示教與離線示教產(chǎn)生的缺點而提供的一種基于機器視覺的智能示教系統(tǒng)，包括體感設(shè)備、機械臂控制設(shè)備、雙目視覺設(shè)備以及PC客戶端，體感設(shè)備、機械臂控制設(shè)備和雙目視覺設(shè)備均與所述PC客戶端連接。

機械臂控制設(shè)備包括：

動力系統(tǒng)：伺服驅(qū)動電機及其驅(qū)動器；傳動系統(tǒng)：各軸減速器及同步傳動裝置(如同步帶)；執(zhí)行系統(tǒng)：對作業(yè)對象進行檢測、度量等以進行生產(chǎn)或達到其它預定要求的裝置(如編碼器)；支撐系統(tǒng)：包括基礎(chǔ)件(如床身、底座、立柱等)和支承構(gòu)件(如軸、軸承、支架箱體等)，用于安裝和支承動力系統(tǒng)、傳動系統(tǒng)、執(zhí)行系統(tǒng)、操縱控制系統(tǒng)等；操縱控制系統(tǒng)：為了使動力系統(tǒng)，傳動系統(tǒng)、執(zhí)行系統(tǒng)彼此協(xié)調(diào)運行，并準確可靠地完成整機功能的裝置(如控制器、I/O轉(zhuǎn)接板、機器人專用端子板、安全模塊等)。

雙目視覺系統(tǒng)包括：擁有成像鏡頭的雙目攝像頭；用于采集雙目攝像頭圖像的圖像采集卡；用于處理圖像采集卡采集的圖像的PC端圖像處理軟件，PC端圖像處理軟件也屬于PC客戶端的一部分。

雙目攝像頭基于立體視覺原理與仿生學原理，通過標定后的雙攝像頭得到同步曝光圖像，然后計算獲取的二維圖像像素點的第三維深度信息，即可獲取三維場景距離信息，再運用雙目視覺的三維重構(gòu)及空間三維立體跟蹤，對世界坐標系和圖像坐標系進行標定，動態(tài)跟蹤目標物體的運動軌跡，以及為后期機械臂獲取運動指令后監(jiān)測其運動狀態(tài)。

圖像采集卡是將雙目攝像頭同步曝光得到的圖像信息、二維圖像像素點的第三維深度信息、運動物體動態(tài)跟蹤軌跡信息、機械臂坐標變換結(jié)果這些信息匯集在一起，通過機械臂的控制器讀取后傳回PC端圖像處理軟件進行綜合處理。

PC端圖像處理軟件基于opencv和opengl庫分別對傳回信息進行處理，得到機械臂運動中的三維重建或運動物體坐標變動情況、工作目標位置及加工區(qū)域的圖像識別、完成目標機械臂的運動方式及最優(yōu)路徑規(guī)劃。

體感設(shè)備采用Leap motion體感控制器，其包括：所述2個立體攝像機和3個紅外LED，用于檢測手部動作及位置，通過設(shè)備處理完成后得出手部動態(tài)變化及位置變化的信息，再將其傳輸?shù)絇C客戶端監(jiān)測Leap motion體感控制器的軟件，并將其轉(zhuǎn)化成點在空間坐標系的位置坐標。

本實用新型所述基于機器視覺的智能示教系統(tǒng)構(gòu)成為：

機械臂控制設(shè)備負責最終執(zhí)行命令；雙目視覺設(shè)備負責檢測機械臂控制設(shè)備的運動情況、目標運動情況和作業(yè)對象的同步曝光圖像，經(jīng)由圖像處理系統(tǒng)處理完畢后反饋出機械臂的運動規(guī)劃路徑，同時輸送數(shù)據(jù)至機械臂以完成目標動作；Leap motion體感控制器負責在操作者示教時，檢測操作者的手部動作并記錄手部坐標的變化，反饋給PC端控制軟件，實時顯示三維模型手臂的運動狀態(tài)。

如圖2所示，本實用新型的雙目視覺設(shè)備的控制流程圖，過程包括：雙目攝像機獲取機械臂各關(guān)節(jié)位置坐標的變化、目標物體的靜態(tài)或動態(tài)圖像信息；圖像采集卡將雙目攝像頭同步曝光的圖像信息傳輸?shù)絇C端圖像處理軟件進行處理；PC端圖像處理軟件負責將接受到的圖像信息進行處理并實時監(jiān)測機械臂的運動狀態(tài)。

如圖1所示，本實用新型智能系統(tǒng)的使用步驟流程為：操作者在示教時提供手的位置坐標變化，模擬機械臂的運動，這些信息則發(fā)送至Leap motion體感控制器；Leap motion體感控制器將人手部動作捕捉后，處理為一系列點的位置坐標，并將這些信息傳遞給PC端控制軟件；PC端控制軟件在Leap motion將手部動作傳換成系列點坐標后，控制軟件對這些信息進行處理，自動規(guī)劃最優(yōu)路徑并仿真機械臂的運動，同時可控制機械臂一起運動；雙目視覺設(shè)備對機械臂及作業(yè)對象進行視覺監(jiān)測，實現(xiàn)監(jiān)測數(shù)據(jù)傳送至PC端處理。

盡管已經(jīng)示出和描述了本實用新型的實施例，對于本領(lǐng)域的普通技術(shù)人員而言，可以理解的是，在不脫離本實用新型的原理和精神的情況下可以對這些實施例進行多種等效的變化、修改、替換和變型，本實用新型的范圍由所附權(quán)利要求及其等同范圍限定。