本發(fā)明屬于機(jī)器人技術(shù)和機(jī)器視覺領(lǐng)域,尤其涉及視覺識(shí)別、視覺定位以及視覺伺服等技術(shù),具體為一種基于視覺主動(dòng)導(dǎo)引的加工刀具自動(dòng)送檢機(jī)器人。
背景技術(shù):
1、隨著我國不斷發(fā)展,航空航天領(lǐng)域作為科技創(chuàng)新的前沿陣地愈發(fā)重要,大型飛機(jī)、戰(zhàn)略武器等高端裝備處于產(chǎn)業(yè)鏈核心環(huán)節(jié),是大國間經(jīng)濟(jì)和國防競爭的主戰(zhàn)場和制高點(diǎn)。航空航天領(lǐng)域所需的零件通常具有復(fù)雜幾何形狀、大型薄壁結(jié)構(gòu)和微小精密組件。上述復(fù)雜零件的加工不僅要求極高的精度,還需要應(yīng)對(duì)材料硬度高、加工路徑復(fù)雜等一系列挑戰(zhàn)。而加工刀具的工作狀態(tài)直接影響零件的加工質(zhì)量,因此,針對(duì)加工刀具的全生命周期管理是保證加工刀具健康工作狀態(tài)的關(guān)鍵。
2、在刀具全生命周期管理過程中,需在加工前后均對(duì)刀具的幾何參數(shù)、磨損狀態(tài)進(jìn)行測量。目前,人工刀具送檢存在效率低、流程不規(guī)范的問題,嚴(yán)重拖緩生產(chǎn)節(jié)拍。為提高檢測效率和智能化程度,基于移動(dòng)機(jī)器人的刀具自動(dòng)化送檢技術(shù)成為智能制造的熱門研究方向。
3、“加工刀具的視覺檢測管理系統(tǒng)及方法”(專利號(hào)cn201810906007.8)能夠獲取每個(gè)刀具在每次出庫離開刀具載板和入庫安置于刀具載板上的時(shí)間間隔,并將該時(shí)間間隔的數(shù)值存入每個(gè)刀具對(duì)應(yīng)的管理記錄信息中;利用視覺檢測識(shí)別對(duì)應(yīng)刀具的身份識(shí)別碼,并獲取該對(duì)應(yīng)刀具的管理記錄信息;最后實(shí)現(xiàn)預(yù)測刀具壽命范圍,但上述技術(shù)沒有考慮加工刀具從加工場所至檢測設(shè)備的送檢流程自動(dòng)化。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明要解決的技術(shù)難題是針對(duì)加工現(xiàn)場中刀具的使用工位與檢測工位分離,依賴人工取刀、送檢,自動(dòng)化程度低,嚴(yán)重減緩生產(chǎn)節(jié)拍的問題,發(fā)明基于隨位機(jī)器人的刀具自動(dòng)識(shí)別與夾取系統(tǒng)。該系統(tǒng)通過制作加工刀具訓(xùn)練集并使用yolov8算法進(jìn)行訓(xùn)練,以實(shí)現(xiàn)對(duì)待測刀具實(shí)時(shí)識(shí)別;通過雙目視覺測距,實(shí)現(xiàn)待測刀具空間在位感知;通過規(guī)劃夾取送檢流程,實(shí)現(xiàn)加工刀具高效檢測。
2、本發(fā)明的技術(shù)方案如下:
3、一種基于視覺主動(dòng)導(dǎo)引的加工刀具自動(dòng)送檢機(jī)器人,制作高質(zhì)量加工刀具圖像數(shù)據(jù)集,訓(xùn)練基于yolo算法的刀具識(shí)別深度學(xué)習(xí)模型,并通過雙目相機(jī)完成待測加工刀具的自主識(shí)別與實(shí)時(shí)空間定位;通過結(jié)合agv小車的隨位夾取機(jī)器人送檢路徑規(guī)劃,實(shí)現(xiàn)加工刀具的自動(dòng)送檢。具體步驟如下:
4、第一步,設(shè)計(jì)搭建視覺主動(dòng)導(dǎo)引的加工刀具自動(dòng)送檢機(jī)器人;
5、搭建加工刀具自動(dòng)送檢機(jī)器人,包括agv小車1、工控機(jī)2、5g傳輸模組3、電動(dòng)夾爪4、末端夾具5、雙目相機(jī)6以及機(jī)械臂7;雙目相機(jī)6與電動(dòng)夾爪4通過機(jī)械連接固連在末端夾具5上,再由末端夾具5與機(jī)械臂7的末端相連,雙目相機(jī)6通過usb連接在工控機(jī)2上,電動(dòng)夾爪4通過機(jī)械臂7的i/o進(jìn)行控制,機(jī)械臂7與工控機(jī)2通過5g?tcp/ip方式進(jìn)行無線通訊,形成視覺導(dǎo)引與夾取單元;機(jī)械臂7的基座與agv小車1機(jī)械固連,agv小車1與工控機(jī)1通過5gtcp/ip方式進(jìn)行遠(yuǎn)程通訊,組成送檢系統(tǒng);
6、送檢過程中,視覺導(dǎo)引與夾取單元隨agv小車1移動(dòng);夾取過程中,雙目相機(jī)6與電動(dòng)夾爪4隨機(jī)械臂7移動(dòng);送檢指令發(fā)出后,agv小車1自動(dòng)移動(dòng)至夾取目標(biāo)區(qū)域,再由雙目相機(jī)6識(shí)別待測刀具并返回其空間位置至工控機(jī)2,工控機(jī)2將該空間位置由相機(jī)坐標(biāo)系轉(zhuǎn)換至機(jī)械臂基座坐標(biāo)系,并控制機(jī)械臂7運(yùn)動(dòng)使電動(dòng)夾爪4到達(dá)夾取位置,電動(dòng)夾爪4確認(rèn)夾緊后返回信號(hào)至工控機(jī)2,工控機(jī)2控制agv小車1運(yùn)動(dòng)至放置目標(biāo)區(qū)域,完成刀具實(shí)時(shí)自主識(shí)別、在位空間感知與自動(dòng)夾取送檢過程;
7、第二步,構(gòu)建基于深度學(xué)習(xí)的復(fù)雜結(jié)構(gòu)刀具識(shí)別模型;
8、采集1500張高質(zhì)量圖像的數(shù)據(jù)集,數(shù)據(jù)集滿足以下條件:(1)為保證數(shù)據(jù)集圖像分辨率多樣性,分別采集720p、1080p、2k、4k四種分辨率圖像;(2)為保證數(shù)據(jù)集圖像視角多樣性,以2°為梯度,以水平視角為基準(zhǔn),圖像采集范圍從俯視45°到仰視45°;(3)為保證距離的多樣性,以0.1m為梯度,以0.2m為基準(zhǔn),圖像采集范圍從0.2m到4m;數(shù)據(jù)集中分辨率為720p的圖像比例為21%,分辨率為1080p的圖像比例為27%,分辨率為2k的圖像比例為27%,分辨率為4k的圖像比例為25%,各角度梯度以及距離梯度圖像數(shù)量均相等,最后采用labelimg插件將圖像中的刀具及刀柄類型進(jìn)行標(biāo)記與分類;按照3:1:1的比例將采集的圖像以及標(biāo)記信息分為訓(xùn)練集、測試集以及驗(yàn)證集,其中訓(xùn)練集需保證其涵蓋最大的樣本量且具有多樣性,驗(yàn)證集和測試集需保證其圖像背景復(fù)雜、識(shí)別難度較大;
9、為保證刀具識(shí)別模型實(shí)時(shí)、準(zhǔn)確的識(shí)別表現(xiàn),在cuda?12.1環(huán)境下采用yolo?v8x預(yù)訓(xùn)練模型對(duì)數(shù)據(jù)集進(jìn)行深度學(xué)習(xí)訓(xùn)練,通過設(shè)置預(yù)訓(xùn)練的訓(xùn)練次數(shù)(epochs)、每個(gè)批次處理圖像數(shù)量(batch)、工作線程數(shù)(workers)等訓(xùn)練參數(shù),平衡識(shí)別效果與訓(xùn)練時(shí)間,獲得刀具識(shí)別模型;訓(xùn)練完成后生成“best.pt”和“l(fā)ast.pt”兩個(gè)刀具識(shí)別模型的權(quán)重文件,后者為在模型訓(xùn)練過程中最后一個(gè)保存的文件,其用于從上一次訓(xùn)練的斷點(diǎn)繼續(xù)訓(xùn)練,或用于刀具識(shí)別模型的推理和評(píng)估;前者為在訓(xùn)練集或測試集上表現(xiàn)最好的模型權(quán)重文件,其用于后續(xù)的視覺識(shí)別,輸入待識(shí)別圖像,其將對(duì)圖像以網(wǎng)格形式劃分,通過概率計(jì)算輸出識(shí)別到的刀柄、刀具的中心位置,并給出當(dāng)前預(yù)測結(jié)果的置信度水平:
10、
11、其中,class表示分類結(jié)果,i為類別,object為檢測到的物體,truth為真值,pred為預(yù)測值,iou為預(yù)測結(jié)果與真值間的重合度水平;p(classi|object)為目標(biāo)物體屬于某個(gè)特定類別的概率;p(object)為目標(biāo)物體出現(xiàn)在圖像中的概率,具體表示為模型檢測到某個(gè)區(qū)域內(nèi)存在物體的置信度;p(classi)為特定類別出現(xiàn)在圖像中的概率;
12、第三步,構(gòu)建基于雙目視覺的目標(biāo)刀具空間位置感知與刀具準(zhǔn)確夾取算法;
13、在搭建的加工刀具自動(dòng)送檢機(jī)器人中,雙目相機(jī)6是主要視覺信息感知元件,其由左、右兩個(gè)具有不同視角的相機(jī)構(gòu)成,兩坐標(biāo)系間相對(duì)關(guān)系如下:
14、
15、其中,xr、yr、zr為物體在右相機(jī)坐標(biāo)系中的坐標(biāo),x、y、z為物體在左相機(jī)坐標(biāo)系中的位置,ri分別表示左相機(jī)坐標(biāo)系映射到右相機(jī)坐標(biāo)系的各軸方向,ti左相機(jī)坐標(biāo)系在右相機(jī)坐標(biāo)系各軸的平移量,矩陣r和矩陣t分別是表示左鏡頭坐標(biāo)系o-xyz和右相機(jī)坐標(biāo)系or-xryrzr之間的變換關(guān)系的旋轉(zhuǎn)矩陣和平移向量,通過相機(jī)標(biāo)定過程直接獲得;
16、識(shí)別過程中,雙目相機(jī)6同時(shí)采集圖像,通過刀具識(shí)別模型分別獲得兩組圖像刀具、刀柄的像素空間位置,通過相機(jī)標(biāo)定結(jié)果與兩組圖像視差對(duì)比,再通過光三角法進(jìn)一步解算目標(biāo)刀具在相機(jī)坐標(biāo)系下的真實(shí)三維坐標(biāo)(xcam,ycam,zcam):
17、
18、其中,x、y為物體在左相機(jī)圖像平面中的像素坐標(biāo),z為物體在左相機(jī)坐標(biāo)系中的深度,fl、fr分別表示左右相機(jī)的焦距,xl、yl為物體在左相機(jī)坐標(biāo)系中的坐標(biāo),xr、yr為物體在右相機(jī)坐標(biāo)系中的坐標(biāo);
19、由于夾取過程需在機(jī)械臂基座坐標(biāo)系下進(jìn)行逆運(yùn)動(dòng)學(xué)計(jì)算,因此還需通過手眼標(biāo)定獲得相機(jī)坐標(biāo)系與機(jī)械臂末端坐標(biāo)系的固定相對(duì)關(guān)系t,并通過d-h表解算獲得機(jī)械臂末端坐標(biāo)系與機(jī)械臂基座坐標(biāo)系的轉(zhuǎn)換關(guān)系t,即將相機(jī)坐標(biāo)系下的目標(biāo)刀具空間位置(xcam,ycam,zcam)轉(zhuǎn)換至機(jī)械臂基座坐標(biāo)系下:
20、
21、其中,rpg(i)為各姿態(tài)下末端夾爪中心點(diǎn)在機(jī)械臂基坐標(biāo)系下的坐標(biāo);為各姿態(tài)下機(jī)械臂末端坐標(biāo)系與機(jī)械臂末端坐標(biāo)系與基坐標(biāo)系的轉(zhuǎn)換矩陣,由機(jī)械臂的d-h表給出;為相機(jī)坐標(biāo)系與機(jī)械臂末端坐標(biāo)系與末端坐標(biāo)系的轉(zhuǎn)換矩陣,因采用“眼在手上”的安裝方式,故各姿態(tài)下相機(jī)與機(jī)械臂末端保持相對(duì)固定,其通過手眼標(biāo)定獲??;cpg為相機(jī)坐標(biāo)系下末端夾爪中心點(diǎn)坐標(biāo),其通過雙目測量獲??;
22、為實(shí)現(xiàn)目標(biāo)刀具準(zhǔn)確夾取,僅需移動(dòng)機(jī)械臂7使得電動(dòng)夾爪4中心坐標(biāo)rpg(i)與目標(biāo)刀具坐標(biāo)rpobj(i)重合即可;
23、第四步,設(shè)定機(jī)器人自動(dòng)送檢流程;
24、加工刀具自動(dòng)送檢流程分為調(diào)度、移位、搜尋、夾取、送檢、歸位六個(gè)部分;首先,機(jī)器人停泊在初始站點(diǎn),用戶在控制軟件中下達(dá)調(diào)度指令后,指令通過5g傳輸模組3遠(yuǎn)程傳遞至agv小車1與機(jī)械臂7,控制機(jī)械臂7移動(dòng)至移位保護(hù)位姿,并控制agv小車1移位至夾取搜尋站點(diǎn);然后,在搜尋站點(diǎn)機(jī)械臂7末端進(jìn)行360°目標(biāo)搜尋動(dòng)作,雙目相機(jī)6發(fā)現(xiàn)視野里存在加工刀具后中止機(jī)械臂7運(yùn)動(dòng),根據(jù)粗定位結(jié)果控制機(jī)械臂7運(yùn)動(dòng)至精定位位姿;在精定位位姿下,獲得目標(biāo)加工刀具空間位置,并控制機(jī)械臂7末端中心到達(dá)夾取位置,通過io控制電動(dòng)夾爪4握持、實(shí)現(xiàn)刀具夾??;電動(dòng)夾爪4返回確認(rèn)夾取完畢信號(hào)后,機(jī)械臂7再次回到移位保護(hù)位姿,并控制agv小車1移位至檢測展位,機(jī)械臂7將夾取的刀具放置在待檢刀具庫中,完成送檢流程;最后,確認(rèn)放置完畢后,agv小車1返回初始站點(diǎn),若電量低于設(shè)定標(biāo)準(zhǔn)值,則自動(dòng)到充電樁位置進(jìn)行充電;通過上述流程,實(shí)現(xiàn)目標(biāo)加工刀具從入庫位置至刀具檢測中心、刀具存儲(chǔ)中心的自動(dòng)、準(zhǔn)確、高效隨位送檢過程。
25、本發(fā)明的有益效果:本發(fā)明提出的方法結(jié)合yolo視覺識(shí)別技術(shù)與雙目測量技術(shù),可快速、精確、穩(wěn)定地實(shí)現(xiàn)待測刀具自主識(shí)別、目標(biāo)位置實(shí)時(shí)感知功能,通過自動(dòng)送檢機(jī)器人可進(jìn)一步提升刀具送檢流程自動(dòng)化、無人化程度,提高加工、檢測效率。