專利名稱：一種單目顯微視覺引導(dǎo)下微管插入微孔的控制裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明屬于微裝配領(lǐng)域中的基于顯微視覺的測(cè)量和控制，尤其是一種單目視覺引導(dǎo)下微管插入微孔的控制裝置及方法。
背景技術(shù)：
目前，3D微裝配操作中常常利用顯微視覺測(cè)量目標(biāo)在三維空間的位置和姿態(tài)。由于顯微視覺景深小、視場(chǎng)小，單目顯微視覺一般只能提供二維的位置信息，要得到微裝配零件的三維位置信息，通常會(huì)采用兩路相互垂直的顯微視覺(可參見文獻(xiàn):X.Zeng, X.Huang,M.Wang, Micro-assembly of micro parts using uncalibrated microscopes visualservoing method, Information Technology Journal, 7 (3):497-503, 2008.)。兩路或者更多路的顯微視覺會(huì)大大限制微裝配的操作空間，甚至在某些裝配中無(wú)法應(yīng)用。若使用單目顯微視覺，則其引導(dǎo)的三維微裝配首先會(huì)在χ-y平面對(duì)準(zhǔn)，然后再結(jié)合具體微裝配的特點(diǎn)進(jìn)行 z 軸對(duì)準(zhǔn)(可參見文獻(xiàn):Lidai Wang, James K.Mills, William L.Cleghorn.AutomaticMicroassembly Using Visual Servo Control.1EEE Transactions on ElectronicsPackaging Manufacturing, 2008, 31 (4):316-325)。這種分步進(jìn)行三維操作的方法比較耗時(shí)，而且z軸的對(duì)準(zhǔn)限制較多，精度不容易保證。

發(fā)明內(nèi)容
為了解決多路顯微視覺系統(tǒng)操作空間小和單目視覺通常只能測(cè)量?jī)删S位置坐標(biāo)的缺點(diǎn)，本發(fā)明的目的在于提供一種單目顯微視覺引導(dǎo)下微管插入微孔的控制裝置及方法。為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一方面，提出一種單目顯微視覺引導(dǎo)下微管插入微孔的控制裝置，該裝置包括:隔振平臺(tái)1、顯微視覺系統(tǒng)7、平移平臺(tái)8、微管6、操作器2、夾持器5、姿態(tài)調(diào)整平臺(tái)3、位置調(diào)整平臺(tái)9、帶有微孔4的零件，其中:所述顯微視覺系統(tǒng)7安裝于所述平移平臺(tái)8上，所述顯微視覺系統(tǒng)7指向所述微管6和微孔4 ；所述平移平臺(tái)8安裝在所述位置調(diào)整平臺(tái)9上；所述夾持器5安裝在所述操作器2的末端；所述微管6安裝于所述夾持器5的末端，隨著操作器2 —起運(yùn)動(dòng)；所述位置調(diào)整平臺(tái)9、操作器2安裝在所述隔振平臺(tái)I上；所述姿態(tài)調(diào)整平臺(tái)3用于放置帶有微孔4的零件，所述操作器2和所述顯微視覺系統(tǒng)7位于所述姿態(tài)調(diào)整平臺(tái)3的兩側(cè)。根據(jù)本發(fā)明的另一方面，提出一種單目顯微視覺引導(dǎo)下微管插入微孔的控制方法，該方法包括以下步驟:步驟S1:通過(guò)調(diào)整位置調(diào)整平臺(tái)9帶動(dòng)顯微視覺系統(tǒng)7運(yùn)動(dòng)，改變顯微視覺系統(tǒng)7的位置，使得微孔4能夠在顯微視覺系統(tǒng)7的視野內(nèi)；
步驟S2:調(diào)節(jié)操作器2帶動(dòng)微管6進(jìn)入顯微視覺系統(tǒng)7的視野，調(diào)整操作器2的坐標(biāo)使得顯微視覺系統(tǒng)7能夠采集到微管6末端的圖像；步驟S3:通過(guò)圖像分割確定微孔4的圖像區(qū)域和微管6的圖像區(qū)域，然后根據(jù)聚焦評(píng)價(jià)函數(shù)，通過(guò)控制平移平臺(tái)8帶動(dòng)顯微視覺系統(tǒng)7沿其光軸前后運(yùn)動(dòng)以實(shí)現(xiàn)對(duì)微孔4的聚焦，之后，固定顯微視覺系統(tǒng)7的位置不再調(diào)整，調(diào)節(jié)操作器2帶動(dòng)微管6沿顯微視覺系統(tǒng)光軸進(jìn)行前后運(yùn)動(dòng)實(shí)現(xiàn)微管6末端的聚焦；步驟S4:對(duì)微孔4進(jìn)行圖像特征點(diǎn)的提??；步驟S5:對(duì)微管6進(jìn)行圖像特征點(diǎn)的提??；步驟S6:計(jì)算微管6的圖像特征點(diǎn)到微孔4的圖像特征點(diǎn)的圖像距離，根據(jù)顯微視覺系統(tǒng)7的標(biāo)定信息計(jì)算二者的三維空間相對(duì)位置，并將微管6的末端對(duì)準(zhǔn)到微孔4的上方；步驟S7:再次對(duì)微管6的末端進(jìn)行自動(dòng)聚焦并重新定位，同樣根據(jù)顯微視覺系統(tǒng)7的標(biāo)定信息，確定二者的三維空間相對(duì)位置，控制操作器2將微管6插入微孔4。本發(fā)明的特點(diǎn)是能夠在單目顯微視覺引導(dǎo)下控制微管在X，y, z軸同時(shí)對(duì)準(zhǔn)微孔，從而大大簡(jiǎn)化了裝配過(guò)程。


圖1為本發(fā)明單目顯微視覺引導(dǎo)下微管插入微孔的控制裝置結(jié)構(gòu)示意圖。圖2為本發(fā)明單目顯微視覺引導(dǎo)下微管插入微孔的控制方法流程圖。圖3為微管和微孔對(duì)準(zhǔn)和插入過(guò)程的軌跡圖。圖4為微管和微孔對(duì)準(zhǔn)和插入的過(guò)程圖像。
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。圖1為本發(fā)明單目顯微視覺引導(dǎo)下微管插入微孔的控制裝置結(jié)構(gòu)示意圖，如圖1所示，所述單目顯微視覺引導(dǎo)下微管插入微孔的控制裝置包括:隔振平臺(tái)1、顯微視覺系統(tǒng)
7、平移平臺(tái)8、微管6、操作器2、夾持器5、姿態(tài)調(diào)整平臺(tái)3、位置調(diào)整平臺(tái)9、帶有微孔4的零件，其中:所述顯微視覺系統(tǒng)7安裝于所述平移平臺(tái)8上，所述顯微視覺系統(tǒng)7指向所述微管6和微孔4 ；所述平移平臺(tái)8安裝在所述位置調(diào)整平臺(tái)9上，在本發(fā)明一實(shí)施例中，所述位置調(diào)整平臺(tái)9的上表面是傾斜的，以使所述顯微視覺系統(tǒng)7與所述隔振平臺(tái)I的平面之間具有傾角；所述夾持器5安裝在所述操作器2的末端；所述微管6安裝于所述夾持器5的末端，隨著操作器2 —起運(yùn)動(dòng)；所述位置調(diào)整平臺(tái)9、操作器2安裝在所述隔振平臺(tái)I上；所述姿態(tài)調(diào)整平臺(tái)3用于放置帶有微孔4的零件，所述操作器2和所述顯微視覺系統(tǒng)7位于所述姿態(tài)調(diào)整平臺(tái)3的兩側(cè)；
所述裝置還包括計(jì)算機(jī)10，用于控制所述平移平臺(tái)8和所述操作器2的運(yùn)動(dòng)，所述顯微視覺系統(tǒng)7通過(guò)視覺連接線11連接至計(jì)算機(jī)10 ;所述平移平臺(tái)8通過(guò)控制連接線12連接至計(jì)算機(jī)10 ;所述操作器2通過(guò)控制線13連接至計(jì)算機(jī)10。所述裝置工作時(shí)，通過(guò)位置調(diào)整平臺(tái)9帶動(dòng)顯微視覺系統(tǒng)7運(yùn)動(dòng)，改變顯微視覺系統(tǒng)7的位置，使得微孔4的圖像出現(xiàn)在顯微視覺系統(tǒng)7的視野中。隨著操作器2的運(yùn)動(dòng)，操作器2帶動(dòng)微管6進(jìn)入顯微視覺系統(tǒng)7的視野。對(duì)同時(shí)含有微孔4和微管6的圖像進(jìn)行圖像分割確定二者的區(qū)域，并對(duì)其各自進(jìn)行自動(dòng)聚焦和準(zhǔn)確定位。根據(jù)對(duì)微管6和微孔4的特征提取(在本發(fā)明一實(shí)施例中，所述特征指的是微管6末端的中心點(diǎn)和微孔4的中心點(diǎn))和顯微視覺系統(tǒng)的標(biāo)定信息，按照PI (PI, proportional-1ntegral,比例-積分)控制策略控制操作器2帶動(dòng)微管6在清晰成像平面上運(yùn)動(dòng)，對(duì)準(zhǔn)到微孔4的上方。重新對(duì)微管6的末端進(jìn)行聚焦和定位，計(jì)算其與微孔4的三維相對(duì)距離，控制操作器2帶動(dòng)微管6插入微孔4。在本發(fā)明一實(shí)施例中，所述操作器2采用運(yùn)動(dòng)平臺(tái)，具有三個(gè)平移自由度，可分別沿垂直方向和水平面橫向、縱向進(jìn)行平移運(yùn)動(dòng)；所述平移平臺(tái)8采用單軸運(yùn)動(dòng)平臺(tái)，可沿所述平移平臺(tái)8的軸線方向運(yùn)動(dòng)；顯微視覺系統(tǒng)7由PointGrey攝像機(jī)和Navitar鏡頭構(gòu)成；計(jì)算機(jī)10采用Dell Inspiron545S ;微管6為空心玻璃圓柱體拉伸而成,末端外圓直徑為10 μ m。圖2為本發(fā)明單目顯微視覺引導(dǎo)下微管插入微孔的控制方法流程圖，如圖2所示，該方法包括以下步驟:步驟S1:通過(guò)調(diào)整位置調(diào)整平臺(tái)9帶動(dòng)顯微視覺系統(tǒng)7運(yùn)動(dòng)，改變顯微視覺系統(tǒng)7的位置，使得微孔4能夠在顯微視覺系統(tǒng)7的視野內(nèi)；步驟S2:調(diào)節(jié)操作器2帶動(dòng)微管6進(jìn)入顯微視覺系統(tǒng)7的視野，調(diào)整操作器2的坐標(biāo)使得顯微視覺系統(tǒng)7能夠采集到微管6末端的圖像；步驟S3:通過(guò)圖像分割確定微孔4的圖像區(qū)域和微管6的圖像區(qū)域，然后按照一定的聚焦評(píng)價(jià)函數(shù)(在本發(fā)明一實(shí)施例中，所述聚焦評(píng)價(jià)函數(shù)為像素sobel值的平方和累加值)，通過(guò)控制平移平臺(tái)8帶動(dòng)顯微視覺系統(tǒng)7沿其光軸前后運(yùn)動(dòng)以實(shí)現(xiàn)對(duì)微孔4的聚焦，之后，固定顯微視覺系統(tǒng)7的位置不再調(diào)整，調(diào)節(jié)操作器2帶動(dòng)微管6沿顯微視覺系統(tǒng)光軸進(jìn)行前后運(yùn)動(dòng)實(shí)現(xiàn)微管6末端的聚焦；步驟S4:對(duì)微孔4進(jìn)行圖像特征點(diǎn)的提取；該步驟中對(duì)微孔4進(jìn)行圖像特征點(diǎn)的提取包括以下步驟:步驟S41:對(duì)微孔4的ROI (region of interest,感興趣區(qū)域)進(jìn)行二值化處理，在本發(fā)明一實(shí)施例中，采用OTSU(大津法，日本人命名的一種自動(dòng)閾值二值化方法)進(jìn)行所述二值化處理；步驟S42:掃描得到邊緣點(diǎn)；步驟S43:將所述邊緣點(diǎn)進(jìn)行橢圓擬合求其中心作為微孔4的圖像特征點(diǎn)；步驟S5:對(duì)微管6進(jìn)行圖像特征點(diǎn)的提取；該步驟中對(duì)微管6進(jìn)行圖像特征點(diǎn)的提取包括以下步驟:步驟S51:對(duì)微管6的ROI進(jìn)行二值化處理；所述二值化處理可表示為:
權(quán)利要求
1.一種單目顯微視覺引導(dǎo)下微管插入微孔的控制裝置，其特征在于，該裝置包括:隔振平臺(tái)(I)、顯微視覺系統(tǒng)(7)、平移平臺(tái)(8)、微管￠)、操作器(2)、夾持器(5)、姿態(tài)調(diào)整平臺(tái)(3)、位置調(diào)整平臺(tái)(9)、帶有微孔(4)的零件，其中: 所述顯微視覺系統(tǒng)(7)安裝于所述平移平臺(tái)(8)上，所述顯微視覺系統(tǒng)(7)指向所述微管(6)和微孔⑷； 所述平移平臺(tái)(8)安裝在所述位置調(diào)整平臺(tái)(9)上； 所述夾持器(5)安裝在所述操作器(2)的末端； 所述微管(6)安裝于所述夾持器(5)的末端，隨著操作器(2) —起運(yùn)動(dòng)； 所述位置調(diào)整平臺(tái)(9)、操作器(2)安裝在所述隔振平臺(tái)(I)上； 所述姿態(tài)調(diào)整平臺(tái)(3)用于放置帶有微孔(4)的零件，所述操作器(2)和所述顯微視覺系統(tǒng)(7)位于所述姿態(tài)調(diào)整平臺(tái)(3)的兩側(cè)。
2.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述位置調(diào)整平臺(tái)(9)的上表面是傾斜的，以使所述顯微視覺系統(tǒng)(7)與所述隔振平臺(tái)(I)的平面之間具有傾角。
3.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述裝置還包括計(jì)算機(jī)(10)，用于控制所述平移平臺(tái)(8)和所述操作器(2)的運(yùn)動(dòng)，所述顯微視覺系統(tǒng)(7)通過(guò)視覺連接線(11)連接至計(jì)算機(jī)(10);所述平移平臺(tái)(8)通過(guò)控制連接線(12)連接至計(jì)算機(jī)(10);所述操作器(2)通過(guò)控制線(13)連接至計(jì)算機(jī)(10)。
4.根據(jù)權(quán)利要求1所述的 裝置，其特征在于，所述操作器(2)采用運(yùn)動(dòng)平臺(tái)，具有三個(gè)平移自由度，可分別沿垂直方向和水平面橫向、縱向進(jìn)行平移運(yùn)動(dòng)；所述平移平臺(tái)(8)采用單軸運(yùn)動(dòng)平臺(tái)，可沿所述平 移平臺(tái)(8)的軸線方向運(yùn)動(dòng)。
5.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述微管(6)為空心玻璃圓柱體拉伸而成，末端外圓直徑為10 μ m。
6.一種單目顯微視覺引導(dǎo)下微管插入微孔的控制方法，其特征在于，該方法包括以下步驟: 步驟S1:通過(guò)調(diào)整位置調(diào)整平臺(tái)(9)帶動(dòng)顯微視覺系統(tǒng)(7)運(yùn)動(dòng)，改變顯微視覺系統(tǒng)(7)的位置，使得微孔⑷能夠在顯微視覺系統(tǒng)(7)的視野內(nèi)； 步驟S2:調(diào)節(jié)操作器(2)帶動(dòng)微管(6)進(jìn)入顯微視覺系統(tǒng)(7)的視野，調(diào)整操作器(2)的坐標(biāo)使得顯微視覺系統(tǒng)(7)能夠采集到微管(6)末端的圖像； 步驟S3:通過(guò)圖像分割確定微孔(4)的圖像區(qū)域和微管￠)的圖像區(qū)域，然后根據(jù)聚焦評(píng)價(jià)函數(shù)，通過(guò)控制平移平臺(tái)(8)帶動(dòng)顯微視覺系統(tǒng)(7)沿其光軸前后運(yùn)動(dòng)以實(shí)現(xiàn)對(duì)微孔(4)的聚焦，之后，固定顯微視覺系統(tǒng)(7)的位置不再調(diào)整，調(diào)節(jié)操作器(2)帶動(dòng)微管(6)沿顯微視覺系統(tǒng)光軸進(jìn)行前后運(yùn)動(dòng)實(shí)現(xiàn)微管(6)末端的聚焦； 步驟S4:對(duì)微孔(4)進(jìn)行圖像特征點(diǎn)的提取； 步驟S5:對(duì)微管(6)進(jìn)行圖像特征點(diǎn)的提?。? 步驟S6:計(jì)算微管￠)的圖像特征點(diǎn)到微孔(4)的圖像特征點(diǎn)的圖像距離，根據(jù)顯微視覺系統(tǒng)(7)的標(biāo)定信息計(jì)算二者的三維空間相對(duì)位移量，并基于所述相對(duì)位移量使用PI控制策略移動(dòng)微管出)的末端使其對(duì)準(zhǔn)到微孔(4)的上方； 步驟S7:再次對(duì)微管￠)的末端進(jìn)行自動(dòng)聚焦并重新定位，與所述步驟6相似，根據(jù)顯微視覺系統(tǒng)(7)的標(biāo)定信息，確定二者的三維空間位移量，基于所述相對(duì)位移量控制操作器⑵將微管(6)插入微孔⑷中。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述聚焦評(píng)價(jià)函數(shù)為像素sobel值的平方和累加值。
8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述步驟4進(jìn)一步包括以下步驟: 步驟S41:對(duì)微孔(4)的感興趣區(qū)域ROI進(jìn)行二值化處理； 步驟S42:掃描得到邊緣點(diǎn)； 步驟S43:將所述邊緣點(diǎn)進(jìn)行橢圓擬合求其中心作為微孔(4)的圖像特征點(diǎn)。
9.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述步驟5進(jìn)一步包括以下步驟: 步驟S51:對(duì) 微管￠)的感興趣區(qū)域ROI進(jìn)行二值化處理； 步驟S52:掃描得到左右邊緣點(diǎn)； 步驟S53:將所述左右邊緣點(diǎn)分別進(jìn)行直線擬合，得到的兩側(cè)直線的角平分線與微管(6)的ROI的下邊緣交點(diǎn)取為微管(6)的末端中心點(diǎn)作為微管(6)的圖像特征點(diǎn)。
10.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述使用PI控制策略移動(dòng)微管(6)的末端使其對(duì)準(zhǔn)到微孔(4)的上方的步驟進(jìn)一步包括以下步驟: 步驟S61:利用下式來(lái)計(jì)算微管￠)的圖像特征點(diǎn)與微孔(4)的圖像特征點(diǎn)在三維空間上的初始相對(duì)位移量:
全文摘要
本發(fā)明公開了一種單目視覺引導(dǎo)下微管插入微孔的控制裝置及方法，該裝置包括隔振平臺(tái)、顯微視覺系統(tǒng)、平移平臺(tái)、微管、操作器、夾持器、姿態(tài)調(diào)整平臺(tái)、位置調(diào)整平臺(tái)、帶微孔的零件。該方法包括調(diào)節(jié)顯微視覺系統(tǒng)位置、姿態(tài)調(diào)節(jié)平臺(tái)和操作器，使微孔和微管末端在顯微視覺系統(tǒng)成像；對(duì)微孔和微管進(jìn)行聚焦，使其同時(shí)處于顯微視覺系統(tǒng)的聚焦平面上；對(duì)微孔進(jìn)行橢圓擬合求其中心點(diǎn)，對(duì)微管進(jìn)行邊緣直線擬合求取微管末端中心點(diǎn)；結(jié)合顯微視覺系統(tǒng)的標(biāo)定信息，控制微管末端對(duì)準(zhǔn)到微孔上方；對(duì)微管末端進(jìn)行聚焦和定位，控制微管插入微孔。本發(fā)明實(shí)施簡(jiǎn)單，可實(shí)現(xiàn)在單目視覺引導(dǎo)下的三維空間中微管和微孔的插入裝配，能夠大幅度提高微裝配的自動(dòng)化程度。
文檔編號(hào)B23P19/00GK103170823SQ201310108798
公開日2013年6月26日 申請(qǐng)日期2013年3月29日 優(yōu)先權(quán)日2013年3月29日
發(fā)明者李福東, 徐德, 張正濤, 史亞莉 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所