基于雙目視覺的插件元件針腳視覺定位裝置的制造方法
【專利摘要】本實用新型提供了基于雙目視覺的插件元件針腳視覺定位裝置。該定位裝置配合直線運動裝置和旋轉(zhuǎn)運動裝置，通過兩個相機分別獲取元件其中兩個針腳的圖像，把兩個相機采集的針腳投影圖像傳到計算機分析，然后通過坐標(biāo)轉(zhuǎn)換計算確定針腳在垂直于針腳平面的位置，即水平平面中針腳的位置。本實用新型所涉及的基于雙目視覺的插件元件針腳視覺定位裝置，其中包括兩個方向不同的相機、一個光源、氣缸夾持裝置、運動裝置。通過兩個方向的相機和一個光源組成的圖像采集裝置，配合直線運動裝置，采集元件針腳的圖像，通過兩個相機采集的針腳圖像對針腳進(jìn)行定位，以及確定針腳姿態(tài)。
【專利說明】
基于雙目視覺的插件元件針腳視覺定位裝置
技術(shù)領(lǐng)域
[0001 ]本實用新型設(shè)及利用雙目視覺的非接觸方法對插件元件的針腳進(jìn)行定位，從而對 插件元件進(jìn)行定位，具體是一種基于雙目視覺的插件元件針腳視覺定位裝置。
【背景技術(shù)】
[0002] 隨著電子產(chǎn)品的市場不斷發(fā)展，電子產(chǎn)品的生產(chǎn)效率需要不斷提高，生產(chǎn)的自動 化程度需要不斷提高。目前市場上的一部分電子產(chǎn)品，因為對體積的要求沒那么嚴(yán)格，為了 控制成本，廣泛應(yīng)用插件元件。隨著電子產(chǎn)品需求量的不斷提高，人工插件的效率和質(zhì)量已 經(jīng)無法滿足目前的生產(chǎn)需要，需要通過自動化插件設(shè)備代替人工插件的過程，自動化插件 設(shè)備的核屯、技術(shù)是一種準(zhǔn)確和快速的元件定位方法。
[0003] 目前利用機器視覺定位插件電子元件，有通過側(cè)面激光給針腳打光，利用底部相 機100采集針腳端部對光線的折射來定位針腳，如圖1所示。運種方法機械手101夾持待檢測 元件102,激光線光源103從待檢測元件的側(cè)面打光，線光源的光照到針腳底端部，經(jīng)過針腳 底端部倒角反射光線進(jìn)入鏡頭，在底部相機中成像。但是如果待檢測元件本體是白色，本體 反光和透光嚴(yán)重干擾針腳的定位，受本體顏色W及環(huán)境光線的限制較大；除此之外由于針 腳端部倒角工藝的不一致性，運些倒角的質(zhì)量差異會影響定位的準(zhǔn)確性。
[0004] 目前利用機器視覺定位電子元件，還有通過側(cè)面平行光103打光利用另一側(cè)的相 機100采集元件本體各方向的投影來確定元件的位置和姿態(tài)，如圖2、3所示。運種方法是用 吸盤101吸住電子元件102,經(jīng)過元件側(cè)面平行光103打光，待檢測元件本體遮擋住一部分光 線，其他部位的光線進(jìn)入在待檢測元件的另一側(cè)的鏡頭，在相機形成元件本體的投影圖像。 但是該方法只能通過吸盤吸取元件，因為需要通過元件本體的投影確定元件的位置和姿 態(tài)，所W不能通過機械手夾持待定位元件，所W無法應(yīng)用于一些上表面不光滑的電子元件； 而且需要配合旋轉(zhuǎn)運動采集元件本體多個方向的投影圖像，不但計算量大，而且該定位方 法需要待檢測元件在檢測位停頓一定的時間配合旋轉(zhuǎn)運動采集多個方向的投影圖像，如果 使用到自動化插件設(shè)備，運種定位方法會使插件效率大大降低。對于一部分本體形狀不規(guī) 則或其針腳相對本體位置精度不高的插件元件，運種通過本體的定位方法，針腳定位的誤 差比較大，可能造成針腳無法插入電路板。

【發(fā)明內(nèi)容】

[0005] 本實用新型的目的在于克服上述現(xiàn)有技術(shù)的缺點，提供基于雙目視覺的插件元件 針腳視覺定位裝置，通過采集元件針腳的投影圖像，可W有效穩(wěn)定地檢測所有針腳，不受待 檢測元件本體顏色和針腳端部倒角質(zhì)量的影響；而通過對針腳直接進(jìn)行定位，克服了本體 投影定位的精度缺點，W及需要通過旋轉(zhuǎn)元件采集不同方向圖像的效率低的缺點。
[0006] 為實現(xiàn)上述目的，本實用新型采用如下技術(shù)方案：
[0007] 基于雙目視覺的插件元件針腳視覺定位裝置，該裝置包括兩個相機，一個光源，一 個直線運動裝置，一個夾持待定位元件的氣缸夾持機構(gòu);其中：
[0008] 兩個相機位于待定位元件的針腳的一側(cè)，光源位于待定位元件的另一側(cè)，光線通 過待定位元件的針腳區(qū)域，目標(biāo)針腳的輪廓投影在相機成像，兩個相機采集的針腳投影圖 像可W確定針腳在兩個相機光軸所在平面的位置；
[0009] 氣缸夾持機構(gòu)夾持待定位元件，由直線運動裝置控制待定位元件通過兩個相機和 光源之間的區(qū)域，通過控制直線運動裝置的速度使兩個相機都可W采集到目標(biāo)針腳投影圖 像，由直線運動裝置的位移傳感器確定待定位元件的位置，返回信號給控制電腦控制相機 拍照和光源開關(guān)。
[0010] 上述方案進(jìn)一步是:所述氣缸夾持機構(gòu)與直線運動裝置通過旋轉(zhuǎn)運動機構(gòu)橋接。
[0011] 上述方案進(jìn)一步是:所述直線運動裝置為電機-絲桿直線運動機構(gòu)，包括有伺服電 機、絲桿、絲桿螺母，絲桿螺母套裝在絲桿上，伺服電機驅(qū)動絲桿旋轉(zhuǎn)，絲桿螺母沿絲桿軸向 往復(fù)移動，絲桿螺母連接旋轉(zhuǎn)運動機構(gòu)，旋轉(zhuǎn)運動機構(gòu)再連接氣缸夾持機構(gòu)。
[0012] 上述方案進(jìn)一步是:所述電腦通過總線進(jìn)行通信連接運動控制器、圖像采集卡、攝 像控制器、光源控制器，電腦設(shè)有圖像處理模塊、CPU、存儲器、人機接口，
[0013] 所述的運動控制器與所述直線運動裝置相連接;所述兩個相機與所述攝像控制器 連接，光源與光源控制器連接，所述攝像控制器用于實現(xiàn)所述兩個相機的圖像采集，所述光 源控制器用于實現(xiàn)所述光源的開關(guān)控制，用于配合相機采集圖像;所述兩個相機的信號輸 出端與所述圖像采集卡分別連接，所述圖像采集卡用于將相機采集的數(shù)字圖像信號送給所 述CPU處理或到所述存儲器保存;所述直線運動裝置的位移傳感器與I/O 口連接，反饋待檢 測元件的位置給CPU,用于控制相機和光源工作。
[0014] 本實用新型與現(xiàn)有技術(shù)相比，具有W下優(yōu)點和有益效果：
[0015] (1)本視覺定位方法通過兩個光軸與針腳垂直的相機可W檢測出待檢測元件針腳 在水平面中的位置W及元件的姿態(tài)。
[0016] (2)本視覺定位方法結(jié)合直線運動機構(gòu)，使得相機可W在機械手抓取電子元件運 動的過程中采集元件針腳的投影圖像，不需要通過旋轉(zhuǎn)獲得各個角度的圖像信息，可W大 大節(jié)省插件元件的定位檢測時間。
[0017] (3)本視覺定位方法通過背光打光的方式，利用針腳的投影圖像對待檢測元件的 針腳進(jìn)行定位，避免了待檢測元件本體透光和反光W及針腳端部倒角質(zhì)量對針腳定位效果 的影響。
[0018] (4)本視覺定位方法通過直接采集元件針腳的圖像來定位元件，有效消除了通過 元件本體的圖像來定位元件位置的誤差，大大提高了元件定位的精準(zhǔn)度。
[0019] 巧)本實用新型可用于插件技術(shù)行業(yè)的高速高精度自動光學(xué)檢測。
【附圖說明】 [0020] ：
[0021] 下面結(jié)合附圖及實施案例對本實用新型作進(jìn)一步描述：
[0022] 圖1為現(xiàn)有側(cè)面激光打光針腳定位裝置簡圖；
[0023] 圖2為現(xiàn)有電子元件本體定位裝置簡圖；
[0024] 圖3為圖2的仰視簡圖；
[0025] 圖4為本實用新型元件定位裝置正視圖；
[0026] 圖5為本實用新型元件定位裝置上視圖；
[0027] 圖6為普通鏡頭針孔成像模型；
[00%]圖7為雙普通鏡頭相機坐標(biāo)系；
[00巧]圖8為雙相機坐標(biāo)系W及垂直坐標(biāo)系；
[0030]圖9為垂直坐標(biāo)系W及世界坐標(biāo)系；
[0031 ]圖10為兩個針腳定位示意圖；
[0032] 圖11為雙遠(yuǎn)屯、鏡頭相機坐標(biāo)系；
[0033] 圖12本實用新型檢測系統(tǒng)構(gòu)框圖。
【具體實施方式】 [0034] ：
[0035] 下面結(jié)合實施例及附圖對本實用新型作進(jìn)一步詳細(xì)的描述，但本實用新型的實施 方式不限于此。
[0036] 參閱圖4~12所示，本實用新型針對上述方法提供的基于雙目視覺的插件元件針腳 視覺定位裝置包括兩個相機6、7，一個光源8，一個直線運動裝置，一個夾持待定位元件的氣 缸夾持機構(gòu)4;其中：
[0037] 兩個相機6、7位于待定位元件5的針腳的一側(cè)，光源8位于待定位元件5的另一側(cè)， 光線通過待定位元件的針腳區(qū)域，目標(biāo)針腳51的輪廓投影在相機成像，兩個相機采集的針 腳投影圖像可W確定針腳在兩個相機光軸所在平面的位置；
[0038] 氣缸夾持機構(gòu)4夾持待定位元件，由直線運動裝置控制待定位元件通過兩個相機 和光源之間的區(qū)域，通過控制直線運動裝置的速度使兩個相機都可W采集到目標(biāo)針腳51投 影圖像，由直線運動裝置的位移傳感器確定待定位元件的位置，返回信號給控制電腦控制 相機拍照和光源開關(guān)。
[0039] 實施例1:
[0040] 如圖4、5所示，本裝置包括相機6、相機7,光源8,氣缸夾持機構(gòu)4及直線運動裝置。 氣缸夾持機構(gòu)4與直線運動裝置通過旋轉(zhuǎn)運動機構(gòu)3橋接。所述直線運動裝置為電機-絲桿 直線運動機構(gòu)，包括有伺服電機11、絲桿9、絲桿螺母2,絲桿9通過滾動軸承10安裝在支架1 上，絲桿螺母2套裝在絲桿9上，伺服電機U驅(qū)動絲桿9旋轉(zhuǎn)，絲桿螺母2沿絲桿軸向往復(fù)移 動，絲桿螺母2連接旋轉(zhuǎn)運動機構(gòu)3,旋轉(zhuǎn)運動機構(gòu)3再連接氣缸夾持機構(gòu)4。如圖12所示，所 述電腦通過總線進(jìn)行通信連接運動控制器、圖像采集卡、攝像控制器、光源控制器，電腦設(shè) 有圖像處理模塊、CPU、存儲器、人機接口，所述的運動控制器與所述直線運動裝置相連接； 所述兩個相機與所述攝像控制器連接，光源與光源控制器連接，所述攝像控制器用于實現(xiàn) 所述兩個方向相機的圖像采集，所述光源控制器用于實現(xiàn)所述光源的開關(guān)控制，用于配合 相機采集圖像;所述兩個方向相機的信號輸出端與所述圖像采集卡分別連接，所述圖像采 集卡用于將相機采集的數(shù)字圖像信號送給所述CPU處理或到所述存儲器保存;所述直線運 動裝置上的伺服電機11的位移傳感器與I/O口連接，反饋待檢測元件的位置給CPU,用于控 制相機和光源工作。
[0041] 相機和光源分別位于待定位元件的兩側(cè)，光線垂直于待檢測元件的運動方向，相 機6和相機7成一定角度分布。相機6和相機7的鏡頭的光軸都垂直于待定位元件針腳的方 向，且相機6和相機7的鏡頭的光軸位于同一水平面，如圖7所示的s-0-t平面。
[0042] 氣缸夾持機構(gòu)4夾持待檢測元件，先控制旋轉(zhuǎn)運動機構(gòu)3旋轉(zhuǎn)一定角度，使得相機6 和相機7采集的目標(biāo)針腳無其他針腳的重疊。然后由電機-絲桿直線運動機構(gòu)驅(qū)動待檢測元 件直線通過相機和光源之間的區(qū)域。由伺服電機的位移傳感器獲取直線運動機構(gòu)的位置， 將該位置信號反饋給工控電腦，用該位置信號控制相機6和相機巧白照，W及作為光源8開關(guān) 的信號源，即當(dāng)待定位原件運動到指定位置時，光源8打開，相機6和相機7拍照，然后電機- 絲桿直線運動機構(gòu)繼續(xù)向前運動，運動一定距離后，待定位元件的第二個目標(biāo)針腳到達(dá)兩 個相機的拍照區(qū)域后，由伺服電機的位移傳感器的信號反饋給工控電腦控制相機6和相機7 拍照，然后關(guān)閉光源8。
[0043] 本圖像采集裝置采集圖像的原理:光線從待檢測元件的一側(cè)穿過針腳區(qū)域，針腳 遮擋住一部分光線，在相機上成黑色投影區(qū)域，其余透光部位在相機上成白色區(qū)域，結(jié)合相 機6和相機7中針腳的投影圖像可W對元件針腳進(jìn)行定位。
[0044] 如圖12所示，采用上述基于雙目視覺的插件元件針腳視覺定位裝置。電腦通過總 線進(jìn)行通信連接運動控制器、圖像采集卡、攝像控制器、光源控制器，其中：攝像控制器分別 與相機6和相機7連接，控制相機6和相機7圖像采集;光源控制器與光源8連接，控制光源8。 圖像采集卡與相機6和相機7的信號輸出連接，將相機采集的數(shù)字圖像信號送給CPU處理或 保存到存儲器。運動控制器與所述直線運動裝置相連接，用于控制直線運動。直線運動裝置 的伺服電機位移傳感器與I/O 口連接，反饋待檢測元件的位置給CPU,相機6、相機7和光源8 根據(jù)傳感器的信號采集圖像，圖像采集過程由程序自動控制完成，采集的圖像和處理結(jié)果 保存在存儲器內(nèi)，用于確定兩個針腳的位置關(guān)系。
[0045] 電腦對采集的圖像進(jìn)行二值化，然后對二值圖像進(jìn)行分析，找出需要定位的針腳， 然后對坐標(biāo)系進(jìn)行轉(zhuǎn)換，最終得到元件針腳在世界坐標(biāo)系中的位置W及元件的姿態(tài)。
[0046] 實施例2:
[0047] 基于實施例1，本雙目視覺元件定位系統(tǒng)還包括針腳定位和坐標(biāo)轉(zhuǎn)換方法，W及元 件姿態(tài)的確定方法：
[0048] 因為每個相機和鏡頭的參數(shù)都不一樣，所W在定位針腳前需要標(biāo)定相機的內(nèi)和外 參數(shù)，本實用新型的元件針腳定位方法需要標(biāo)定的內(nèi)參數(shù)包括鏡頭相機焦距W及相機的忍 片單位像素的尺寸。除了相機內(nèi)參數(shù)的標(biāo)定，還需要標(biāo)定相機的外參數(shù)，確定兩個相機光軸 的夾角，W及通過標(biāo)定確定鏡頭光學(xué)中屯、在世界坐標(biāo)系中的位置，然后再確定兩個相機的 光學(xué)中屯、距離雙相機坐標(biāo)系s-0-t的原點0的距離。
[0049] 如圖6所示，普通鏡頭是小孔成像模型，結(jié)合相機6的鏡頭和相機7的鏡頭兩個小孔 成像模型，確定針腳的投影在圖像中的位置，即針腳投影圖像在圖像坐標(biāo)系中的位置。通過 小孔成像模型可W換算出待定位針腳在兩個相機構(gòu)成的相機坐標(biāo)系中的位置坐標(biāo)P(s，t)。
[0050] 然后將針腳位置轉(zhuǎn)換到如圖8所示坐標(biāo)軸相互垂直的坐標(biāo)系x-0-y中，假設(shè)該坐標(biāo) 系的X軸與相機坐標(biāo)系的S軸平行，原點與s-0-t坐標(biāo)系重合。由相機坐標(biāo)系（s，t)轉(zhuǎn)換到X- 0-y坐標(biāo)系的公式為：
[0化1 ]
[0052]假設(shè)世界坐標(biāo)系k-O'-w的k軸與元件運動方向平行，然后將P點在x-0-y坐標(biāo)系轉(zhuǎn) 換到的坐標(biāo)系k-O'-w中，如圖9所示，轉(zhuǎn)換后得到針腳P在k-O'-w坐標(biāo)系中的表示P(k，w)，轉(zhuǎn) 換公式天
[0053]目前為止，只確定了一個針腳在世界坐標(biāo)系中的位置，記第一個定位的針腳在世 界坐標(biāo)系下的位置坐標(biāo)為化l，wl)，下一步要通過兩個針腳的位置確定元件幾何中屯、的位 置和元件的姿態(tài)。機械手繼續(xù)夾持待定位元件運動，記錄該距離為d，第一個針腳運動到位 置P'化l-d，wl)，如圖10所示，然后再對第二個針腳進(jìn)行拍照，然后再通過前面的方法確定 第二個針腳的位置Q化2，w2)。然后通過運兩個針腳的位置計算出元件幾何中屯、的位置W及 元件的姿態(tài)。
[0化4] 實施例3:
[0055] 圖11所示基于實施例1的遠(yuǎn)屯、鏡頭雙目視覺插件元件定位方法：
[0056] 普通鏡頭成像原理是基于圖6的小孔成像模型，需要通過相機的內(nèi)外參數(shù)用小孔 成像模型經(jīng)過較復(fù)雜的計算才可W得到針腳在雙相機坐標(biāo)s-0-t中的坐標(biāo)。如果在該雙目 視覺插件元件定位系統(tǒng)中使用兩個遠(yuǎn)屯、鏡頭，遠(yuǎn)屯、鏡頭是一種平行光的成像模型，通過遠(yuǎn) 屯、鏡頭獲得針腳的投影圖像，遠(yuǎn)屯、鏡頭成像模型的計算更加簡單，可W進(jìn)一步簡化圖像坐 標(biāo)系轉(zhuǎn)換到雙相機坐標(biāo)系s-0-t的過程。而且遠(yuǎn)屯、鏡頭可W有效減少鏡頭成像的崎變，可W 進(jìn)一步簡化計算過程W及提高雙目視覺插件元件定位系統(tǒng)的定位精度。
[0化7] 實施例4:
[005引基于實施例1，本圖像采集裝置需要保證兩個針腳都可W檢測到：
[0059] 在機械手抓取待定位元件后需要旋轉(zhuǎn)一定的角度，使得兩個相機獲取的元件兩個 目標(biāo)針腳的投影圖像沒有其他針腳重疊，具體角度需要根據(jù)待定位元件的針腳分布和針腳 寬度確定。旋轉(zhuǎn)運動機構(gòu)就是為了保證兩個目標(biāo)針腳沒有其他針腳重疊，從而保證定位精 度。
[0060] 氣缸夾持機構(gòu)夾持元件旋轉(zhuǎn)一定角度后，接著做直線運動，目標(biāo)針腳運動至可檢 測區(qū)域，即兩個相機都可W拍到的區(qū)域，如圖5中的綠色陰影區(qū)域所示，然后光源打開，兩個 相機給第一個目標(biāo)針腳拍照。接著電機-絲桿直線運動機構(gòu)控制機械手繼續(xù)做直線運動，直 到待定位元件的第二個目標(biāo)針腳到達(dá)可檢測區(qū)域，兩個相機分別給第二個目標(biāo)針腳拍照， 保證兩個目標(biāo)針腳都可W檢測得到。
【主權(quán)項】
1. 基于雙目視覺的插件元件針腳視覺定位裝置，其特征在于:該裝置包括兩個相機，一 個光源，一個直線運動裝置，一個夾持待定位元件的氣缸夾持機構(gòu);其中： 兩個相機位于待定位元件的針腳的一側(cè)，光源位于待定位元件的另一側(cè)，光線通過待 定位元件的針腳區(qū)域，目標(biāo)針腳的輪廓投影在相機成像，兩個相機采集的針腳投影圖像可 以確定針腳在兩個相機光軸所在平面的位置； 氣缸夾持機構(gòu)夾持待定位元件，由直線運動裝置控制待定位元件通過兩個相機和光源 之間的區(qū)域，通過控制直線運動裝置的速度使兩個相機都可以采集到目標(biāo)針腳投影圖像， 由直線運動裝置的位移傳感器確定待定位元件的位置，返回信號給控制電腦控制相機拍照 和光源開關(guān)。2. 根據(jù)權(quán)利要求1所述的基于雙目視覺的插件元件針腳視覺定位裝置，其特征在于:所 述氣缸夾持機構(gòu)與直線運動裝置通過旋轉(zhuǎn)運動機構(gòu)橋接。3. 根據(jù)權(quán)利要求2所述的基于雙目視覺的插件元件針腳視覺定位裝置，其特征在于:所 述直線運動裝置為電機-絲桿直線運動機構(gòu)，包括有伺服電機、絲桿、絲桿螺母，絲桿螺母套 裝在絲桿上，伺服電機驅(qū)動絲桿旋轉(zhuǎn)，絲桿螺母沿絲桿軸向往復(fù)移動，絲桿螺母連接旋轉(zhuǎn)運 動機構(gòu)，旋轉(zhuǎn)運動機構(gòu)再連接氣缸夾持機構(gòu)。4. 根據(jù)權(quán)利要求1所述的基于雙目視覺的插件元件針腳視覺定位裝置，其特征在于:所 述電腦分別通過總線進(jìn)行通信連接運動控制器、圖像采集卡、攝像控制器、光源控制器，電 腦設(shè)有圖像處理模塊、CPU、存儲器、人機接口； 所述的運動控制器與所述直線運動裝置相連接;所述兩個相機與所述攝像控制器連 接，光源與光源控制器連接，所述攝像控制器用于實現(xiàn)所述兩個相機的圖像采集，所述光源 控制器用于實現(xiàn)所述光源的開關(guān)控制，用于配合相機采集圖像;所述兩個相機的信號輸出 端與所述圖像采集卡連接，所述圖像采集卡用于將相機采集的數(shù)字圖像信號送給所述CPU 處理或到所述存儲器保存;所述直線運動裝置的位移傳感器與I/O 口連接，反饋待檢測元件 的位置給CPU，用于控制相機和光源工作。
【文檔編號】G01B11/00GK205482791SQ201620048726
【公開日】2016年8月17日
【申請日】2016年1月19日
【發(fā)明人】屠國權(quán), 鄺泳聰, 歐陽高飛, 梁經(jīng)倫, 李家裕
【申請人】東莞市德速達(dá)精密設(shè)備有限公司, 華南理工大學(xué), 東莞理工學(xué)院