基于虛擬機(jī)器人與真實(shí)機(jī)器人集成的采摘系統(tǒng)及方法
【專利摘要】本發(fā)明公開了基于虛擬機(jī)器人與真實(shí)機(jī)器人集成的采摘系統(tǒng)，包括視覺定位系統(tǒng)、真實(shí)機(jī)器人和虛擬機(jī)器人仿真系統(tǒng)，所述視覺定位系統(tǒng)完成采摘目標(biāo)的定位，獲得采摘目標(biāo)的三維空間坐標(biāo)信息后，指導(dǎo)真實(shí)機(jī)器人實(shí)時(shí)采摘，同時(shí)將獲取的三維空間坐標(biāo)信息通過(guò)數(shù)據(jù)傳輸線傳遞給虛擬機(jī)器人仿真系統(tǒng)，虛擬機(jī)器人實(shí)時(shí)模擬采摘過(guò)程。本發(fā)明的系統(tǒng)及方法，利用虛擬仿真技術(shù)與機(jī)器視覺技術(shù)相結(jié)合，基于雙目視覺系統(tǒng)的計(jì)算數(shù)據(jù)，驅(qū)動(dòng)虛擬環(huán)境下的機(jī)器人與真實(shí)機(jī)器人同時(shí)進(jìn)行視覺定位與采摘行為，從而實(shí)現(xiàn)視覺定位精度的對(duì)比和采摘行為的有效性驗(yàn)證。
【專利說(shuō)明】基于虛擬機(jī)器人與真實(shí)機(jī)器人集成的采摘系統(tǒng)及方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及智能機(jī)器人領(lǐng)域，特別涉及基于虛擬機(jī)器人與真實(shí)機(jī)器人集成的采摘系統(tǒng)及方法。

【背景技術(shù)】
[0002]智能機(jī)器人的發(fā)展是近年來(lái)研究的熱點(diǎn)，通過(guò)智能機(jī)器人的應(yīng)用，在工業(yè)、農(nóng)業(yè)生產(chǎn)中能有效提高作業(yè)效率、降低生產(chǎn)的勞動(dòng)強(qiáng)度和成本。在農(nóng)業(yè)機(jī)器人方面，果蔬收獲機(jī)器人是發(fā)展現(xiàn)代化農(nóng)業(yè)生產(chǎn)的主要手段之一，而采摘機(jī)器人的視覺定位系統(tǒng)是采摘作業(yè)能成功完成的關(guān)鍵技術(shù)之一。因此，采摘機(jī)器人的視覺定位系統(tǒng)必須能精確、有效地實(shí)現(xiàn)采摘目標(biāo)的識(shí)別、定位，包括利用視覺系統(tǒng)進(jìn)行機(jī)器人的行走導(dǎo)航等。
[0003]然而，相對(duì)于當(dāng)前國(guó)內(nèi)外農(nóng)業(yè)生產(chǎn)的發(fā)展，農(nóng)業(yè)機(jī)器人的研究所取得的成果仍然比較少，因農(nóng)業(yè)環(huán)境的復(fù)雜性，存在采摘機(jī)器人的研究成果還只能在單一的實(shí)驗(yàn)室環(huán)境中進(jìn)行采摘試驗(yàn)，而且存在采摘成功率不高，視覺定位精度低等問(wèn)題。這不僅成為了制約采摘機(jī)器人走向應(yīng)用的瓶頸問(wèn)題，也對(duì)采摘機(jī)器人自動(dòng)化技術(shù)以及其視覺定位系統(tǒng)的研究提出了更高的要求。
[0004]故提出了基于實(shí)時(shí)數(shù)據(jù)驅(qū)動(dòng)的虛擬機(jī)器人與真實(shí)機(jī)器人多目視覺定位系統(tǒng)，為機(jī)器人視覺精確定位技術(shù)提供一種研究手段和思路，也從多領(lǐng)域角度去解決智能機(jī)器人實(shí)際應(yīng)用的關(guān)鍵技術(shù)。


【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供基于虛擬機(jī)器人與真實(shí)機(jī)器人集成的采摘系統(tǒng)及方法。
[0006]本發(fā)明的另一目的在于提供基于虛擬機(jī)器人與真實(shí)機(jī)器人集成的采摘方法。
[0007]本發(fā)明的目的通過(guò)以下的技術(shù)方案實(shí)現(xiàn):
[0008]基于虛擬機(jī)器人與真實(shí)機(jī)器人集成的采摘系統(tǒng)，包括視覺定位系統(tǒng)、真實(shí)機(jī)器人和虛擬機(jī)器人仿真系統(tǒng)，所述視覺定位系統(tǒng)完成采摘目標(biāo)的定位，獲得采摘目標(biāo)的三維空間坐標(biāo)信息后，指導(dǎo)真實(shí)機(jī)器人實(shí)時(shí)采摘，同時(shí)將獲取的三維空間坐標(biāo)信息通過(guò)數(shù)據(jù)傳輸線傳遞給虛擬機(jī)器人仿真系統(tǒng)，虛擬機(jī)器人實(shí)時(shí)模擬采摘過(guò)程。
[0009] 所述的虛擬機(jī)器人仿真系統(tǒng)，包括機(jī)械手的結(jié)構(gòu)設(shè)計(jì)模塊、誤差分析模塊、機(jī)械手知識(shí)手冊(cè)模塊、雙目立體視覺模塊和機(jī)械手的運(yùn)動(dòng)仿真模塊，所述的機(jī)械手的機(jī)構(gòu)設(shè)計(jì)模塊設(shè)計(jì)底座、手臂和末端執(zhí)行器，用戶可以對(duì)機(jī)械手的各個(gè)零部件進(jìn)行參數(shù)化設(shè)計(jì)，通過(guò)類型的選擇和尺寸的確定，在該系統(tǒng)中應(yīng)用VC與SolidWorks的相互通信，將SolidWorks中的模型轉(zhuǎn)換成三維坐標(biāo)，實(shí)現(xiàn)對(duì)設(shè)計(jì)圖紙和設(shè)計(jì)方案進(jìn)行實(shí)時(shí)修改并更新；誤差分析模塊從機(jī)構(gòu)誤差、視覺誤差和關(guān)聯(lián)誤差三方面對(duì)采摘點(diǎn)的三維位置誤差進(jìn)行分析；機(jī)械手知識(shí)手冊(cè)模塊采用樹形結(jié)構(gòu)，用于用戶查看公式的推導(dǎo)、數(shù)據(jù)分析結(jié)果的比較信息；雙目立體視覺模塊用來(lái)采集采摘水果的圖像，通過(guò)圖像分割、腐蝕與膨脹、立體匹配圖像處理算法對(duì)果實(shí)進(jìn)行三維重建和定位，從而為機(jī)械手提供果實(shí)空間位置坐標(biāo)參數(shù)；機(jī)械手的運(yùn)動(dòng)仿真模塊通過(guò)EON進(jìn)行三維視景虛擬仿真，包括正運(yùn)動(dòng)和逆運(yùn)動(dòng)仿真:正運(yùn)動(dòng)仿真是根據(jù)用戶所輸入的參數(shù)來(lái)驅(qū)動(dòng)機(jī)械手按照預(yù)定的參數(shù)值運(yùn)動(dòng)；逆運(yùn)動(dòng)仿真是根據(jù)用戶所給定的待采摘果實(shí)空間位置坐標(biāo)值，反求解各關(guān)節(jié)具體值來(lái)驅(qū)動(dòng)機(jī)械手按照計(jì)算的參數(shù)值運(yùn)動(dòng)，系統(tǒng)通過(guò)VC與SolidWorks的通信接口，將模型轉(zhuǎn)換為三維坐標(biāo)，再將坐標(biāo)導(dǎo)入EON工作平臺(tái)，來(lái)實(shí)現(xiàn)對(duì)機(jī)械手的運(yùn)動(dòng)控制，從而完成虛擬的采摘過(guò)程。
[0010]所述的真實(shí)機(jī)器人包括機(jī)械手、安裝機(jī)械手的底座以及安裝底座的托運(yùn)小車。
[0011]所述的機(jī)械手包括關(guān)節(jié)一、關(guān)節(jié)二、關(guān)節(jié)三、關(guān)節(jié)四、小臂、末端執(zhí)行器，設(shè)定托運(yùn)小車的前進(jìn)方向?yàn)閄方向，Y方向與X方向垂直構(gòu)成水平面，Z方向垂直水平面向上，關(guān)節(jié)一與底座的軸連接，使得整個(gè)機(jī)械手可以在Z軸上的旋轉(zhuǎn)；關(guān)節(jié)二與關(guān)節(jié)一之間通過(guò)軸連接，實(shí)現(xiàn)機(jī)器人手臂繞Y軸上的旋轉(zhuǎn)；機(jī)械臂繞Y軸旋轉(zhuǎn)的同時(shí)，也可實(shí)現(xiàn)機(jī)械臂在Z軸方向上和X方向上的移動(dòng)；關(guān)節(jié)三與關(guān)節(jié)二通過(guò)軸連接，擴(kuò)大整個(gè)機(jī)械臂在Z軸方向上的移動(dòng)范圍；小臂與關(guān)節(jié)三通過(guò)軸連接，實(shí)現(xiàn)了機(jī)器人在X軸上的旋轉(zhuǎn)；關(guān)節(jié)四與小臂通過(guò)軸連接，配合關(guān)節(jié)一繞底座旋轉(zhuǎn)的同時(shí)，實(shí)現(xiàn)了整個(gè)機(jī)械臂X方向上的移動(dòng)。
[0012]所述的視覺定位系統(tǒng)包括雙目攝像頭一、雙目攝像頭二以及安裝雙目攝像頭一的支架，支架安裝在關(guān)節(jié)三的頂部，雙目攝像頭安裝在托運(yùn)小車上。
[0013]本發(fā)明的另一目的通過(guò)以下的技術(shù)方案實(shí)現(xiàn):
[0014]基于虛擬機(jī)器人與真實(shí)機(jī)器人集成的采摘方法，包含以下順序的步驟:
[0015]S1.雙目攝像頭獲取采摘目標(biāo)的圖像信息，并通過(guò)數(shù)據(jù)線把圖像傳入電腦進(jìn)行處理，視覺處理系統(tǒng)通過(guò)對(duì)采摘目標(biāo)圖像進(jìn)行預(yù)處理，轉(zhuǎn)化為灰度圖像，再進(jìn)行高斯濾波處理，通過(guò)圖像匹配算法，利用無(wú)畸變對(duì)準(zhǔn)的雙目攝像頭和圖像預(yù)處理得到特征對(duì)應(yīng)點(diǎn)，通過(guò)相似三角形計(jì)算出目標(biāo)的深度信息z的坐標(biāo)值，通過(guò)計(jì)算目標(biāo)的中心點(diǎn)與兩個(gè)主光軸的位移量來(lái)計(jì)算出目標(biāo)的X，y坐標(biāo)值，得到采摘目標(biāo)的三維空間坐標(biāo)信息；
[0016]S2.控制總線然后把處理后的目標(biāo)位置信息發(fā)給電腦中的控制系統(tǒng)以及虛擬仿真系統(tǒng)，所述虛擬仿真系統(tǒng)即虛擬機(jī)器人；
[0017]S3.虛擬仿真系統(tǒng)對(duì)周圍環(huán)境以及目標(biāo)進(jìn)行三維重建，虛擬仿真系統(tǒng)中的機(jī)械臂對(duì)目標(biāo)施行預(yù)切割:
[0018]若虛擬系統(tǒng)中的機(jī)械臂采摘路徑和姿態(tài)可行，則虛擬系統(tǒng)把采摘路徑和姿態(tài)通過(guò)傳輸總線傳輸給真實(shí)機(jī)器人的控制系統(tǒng)，控制系統(tǒng)發(fā)出動(dòng)作指令給機(jī)械臂，控制關(guān)節(jié)一、關(guān)節(jié)二、關(guān)節(jié)三和關(guān)節(jié)四的旋轉(zhuǎn)，機(jī)械手運(yùn)動(dòng)動(dòng)作完成后，末端執(zhí)行器夾住采摘目標(biāo)并進(jìn)行切割；同時(shí)虛擬仿真系統(tǒng)中的虛擬機(jī)器人同步對(duì)目標(biāo)進(jìn)行虛擬采摘；
[0019] 若采摘路徑和姿態(tài)不可行，則由虛擬采摘系統(tǒng)重新進(jìn)行計(jì)算，直到迭代到最佳采摘路徑和姿態(tài)；虛擬采摘和真實(shí)采摘同步進(jìn)行，兩者的動(dòng)作通過(guò)總線相互反饋:虛擬仿真系統(tǒng)把機(jī)械臂C-空間建模的仿真信息傳遞到真實(shí)系統(tǒng)中，指導(dǎo)真實(shí)機(jī)器人的姿態(tài)和軌跡，真實(shí)機(jī)器人的機(jī)械臂到達(dá)虛擬仿真系統(tǒng)所要求的姿態(tài)和軌跡后，若真實(shí)系統(tǒng)沒有達(dá)到虛擬系統(tǒng)所要求的位置，則真實(shí)系統(tǒng)把此時(shí)的真實(shí)機(jī)器人的位置和姿態(tài)信息發(fā)送給虛擬系統(tǒng)，虛擬系統(tǒng)通過(guò)神經(jīng)網(wǎng)絡(luò)補(bǔ)償算法，計(jì)算出補(bǔ)償信息，進(jìn)而再指導(dǎo)真實(shí)系統(tǒng)到達(dá)所要求的位置，通過(guò)這種互相反饋?zhàn)罱K使虛擬系統(tǒng)機(jī)械臂和真實(shí)機(jī)器人機(jī)械臂同時(shí)達(dá)到所要求的位置和姿態(tài)
[0020]步驟S3中，所述的虛擬系統(tǒng)中的機(jī)械臂采摘路徑和姿態(tài)是否可行是通過(guò)以下的方法判斷的:利用C-空間建模，通過(guò)坐標(biāo)變換簡(jiǎn)化障礙物空間的計(jì)算，把C-空間三維搜索轉(zhuǎn)化為二維搜索，在路徑規(guī)劃的基礎(chǔ)上提出基于拋物線的梯形加減速規(guī)劃，應(yīng)用局部軌跡規(guī)劃方式通過(guò)仿真驗(yàn)證其是否路徑和姿態(tài)可行。
[0021]所述的基于虛擬機(jī)器人與真實(shí)機(jī)器人集成的采摘方法，還包括步驟S4:若外界環(huán)境有突然變動(dòng)，則雙目視覺系統(tǒng)獲取周圍環(huán)境的圖像信息，虛擬系統(tǒng)通過(guò)場(chǎng)景建模幀差法來(lái)察覺此變動(dòng)，視覺系統(tǒng)把變動(dòng)傳輸給虛擬仿真系統(tǒng)，仿真系統(tǒng)再對(duì)環(huán)境進(jìn)行三維重建，把重建后的信息以及采摘路徑發(fā)給實(shí)際采摘控制系統(tǒng)進(jìn)行動(dòng)作調(diào)整。
[0022]本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點(diǎn)和有益效果:
[0023]1、本發(fā)明利用虛擬仿真技術(shù)與機(jī)器視覺技術(shù)相結(jié)合，基于雙目視覺系統(tǒng)的計(jì)算數(shù)據(jù)，驅(qū)動(dòng)虛擬環(huán)境下的機(jī)器人與真實(shí)機(jī)器人同時(shí)進(jìn)行視覺定位與采摘行為，從而實(shí)現(xiàn)視覺定位精度的對(duì)比和采摘行為的有效性驗(yàn)證。該方法通過(guò)虛擬環(huán)境模擬機(jī)器人的視覺定位與采摘作業(yè)，對(duì)真實(shí)機(jī)器人的視覺定位與采摘過(guò)程進(jìn)行對(duì)比驗(yàn)證，能修正、引導(dǎo)機(jī)器人的視覺技術(shù)達(dá)到精確性、合理性。
[0024]2、本發(fā)明的思路能在降低開發(fā)成本的同時(shí)，利用多領(lǐng)域知識(shí)融合實(shí)現(xiàn)機(jī)器人視覺定位系統(tǒng)的設(shè)計(jì)與開發(fā)，為機(jī)器人的視覺精確定位提供一種研究手段與技術(shù)方法。
[0025]3、本發(fā)明在機(jī)器人的視覺定位精度、機(jī)器人采摘行為合理性、機(jī)器人行走的正確性等方面都能進(jìn)行數(shù)據(jù)的對(duì)比驗(yàn)證，能有效實(shí)現(xiàn)采摘機(jī)器人的技術(shù)開發(fā)與指導(dǎo)，同時(shí)能有效降低開發(fā)成本，加快開發(fā)進(jìn)程，從多角度去研究機(jī)器人的關(guān)鍵技術(shù)。

【專利附圖】

【附圖說(shuō)明】
[0026]圖1為本發(fā)明所述的基于虛擬機(jī)器人與真實(shí)機(jī)器人集成的采摘系統(tǒng)的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0027]下面結(jié)合實(shí)施例及附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)的描述，但本發(fā)明的實(shí)施方式不限于此。
[0028]如圖1，基于虛擬機(jī)器人與真實(shí)機(jī)器人集成的采摘系統(tǒng)包括真實(shí)機(jī)器人和虛擬機(jī)器人采摘仿真系統(tǒng)兩部分，這兩部分進(jìn)行實(shí)時(shí)數(shù)據(jù)通訊和反饋，兩者相互輔助相互矯正。真實(shí)機(jī)器人定位視覺系統(tǒng)包括托運(yùn)小車8、雙目攝像頭2、機(jī)器人及其機(jī)械手以及位于計(jì)算機(jī)10中的視覺定位軟件系統(tǒng)。機(jī)器人的機(jī)械手包括底座6、關(guān)節(jié)一 11、關(guān)節(jié)二 12、關(guān)節(jié)三13、關(guān)節(jié)4、末端執(zhí)行器5。其中，機(jī)器人底座6與托運(yùn)小車固定連接，該機(jī)器人為6自由度機(jī)器人。雙目攝像機(jī)定位系統(tǒng)由Opencv軟件開發(fā)而成。虛擬機(jī)器人系統(tǒng)位于計(jì)算機(jī)10中，由EON Stud1與Solid Works軟件結(jié)合開發(fā)而成，可獨(dú)立實(shí)現(xiàn)機(jī)器人采摘目標(biāo)過(guò)程的模擬，也可以在獲得真實(shí)目標(biāo)的位置信息后，模擬真實(shí)機(jī)器人的采摘過(guò)程。
[0029] 虛擬機(jī)器人采摘系統(tǒng)主要包括機(jī)械手的機(jī)構(gòu)設(shè)計(jì)、誤差分析、機(jī)械手知識(shí)手冊(cè)、雙目立體視覺和機(jī)械手的運(yùn)動(dòng)仿真五個(gè)模塊。其中:機(jī)械手的機(jī)構(gòu)設(shè)計(jì)主要分為底座、手臂和末端執(zhí)行器的設(shè)計(jì)。用戶可以對(duì)機(jī)械手的各個(gè)零部件進(jìn)行參數(shù)化設(shè)計(jì)，通過(guò)類型的選擇和尺寸的確定，在該系統(tǒng)中應(yīng)用VC與SolidWorks的相互通信，將SolidWorks中的模型轉(zhuǎn)換成三維坐標(biāo)，實(shí)現(xiàn)對(duì)設(shè)計(jì)圖紙和設(shè)計(jì)方案進(jìn)行實(shí)時(shí)修改并更新；誤差分析主要從機(jī)構(gòu)誤差、視覺誤差和關(guān)聯(lián)誤差三方面進(jìn)行分析；知識(shí)手冊(cè)則采用樹形結(jié)構(gòu)，主要是對(duì)一些公式的推導(dǎo)，結(jié)果的對(duì)比分析等信息，例如:機(jī)械手各關(guān)節(jié)之間位移及旋轉(zhuǎn)角的坐標(biāo)轉(zhuǎn)換公式等；雙目立體視覺用來(lái)采集采摘水果的圖像，通過(guò)圖像分割、腐蝕與膨脹、立體匹配等圖像處理算法對(duì)果實(shí)進(jìn)行三維重建和定位，從而為機(jī)械手提供果實(shí)空間位置坐標(biāo)參數(shù)；機(jī)械手仿真通過(guò)EON進(jìn)行三維視景虛擬仿真，主要有正運(yùn)動(dòng)和逆運(yùn)動(dòng)仿真。正運(yùn)動(dòng)仿真是根據(jù)用戶所輸入的參數(shù)(各關(guān)節(jié)的移動(dòng)、旋轉(zhuǎn)參數(shù)值)來(lái)驅(qū)動(dòng)機(jī)械手按照預(yù)定的參數(shù)值運(yùn)動(dòng)。逆運(yùn)動(dòng)仿真是根據(jù)用戶所給定的待采摘果實(shí)空間位置坐標(biāo)值，反求解各關(guān)節(jié)具體值來(lái)驅(qū)動(dòng)機(jī)械手按照計(jì)算的參數(shù)值運(yùn)動(dòng)。系統(tǒng)通過(guò)VC與SolidWorks的通信接口，將模型轉(zhuǎn)換為三維坐標(biāo)，再將坐標(biāo)導(dǎo)入EON工作平臺(tái)，來(lái)實(shí)現(xiàn)對(duì)機(jī)械手的運(yùn)動(dòng)控制，從而完成虛擬的采摘過(guò)程。
[0030]基于虛擬機(jī)器人與真實(shí)機(jī)器人集成的采摘方法，包含以下順序的步驟:
[0031]攝像頭2獲取采摘目標(biāo)的圖像信息，并通過(guò)數(shù)據(jù)線9把圖像傳入電腦10進(jìn)行處理，視覺處理系統(tǒng)通過(guò)對(duì)目標(biāo)圖像進(jìn)行預(yù)處理，轉(zhuǎn)化為灰度圖像，再進(jìn)行高斯濾波處理，通過(guò)圖像匹配算法，利用無(wú)畸變對(duì)準(zhǔn)的雙目攝像機(jī)和圖像預(yù)處理得到特征對(duì)應(yīng)點(diǎn)，通過(guò)相似三角形計(jì)算出目標(biāo)的深度信息z的坐標(biāo)值，通過(guò)計(jì)算目標(biāo)的中心點(diǎn)與兩個(gè)主光軸的位移量來(lái)計(jì)算出目標(biāo)的X，y坐標(biāo)值。控制總線然后把處理后的目標(biāo)位置信息發(fā)給電腦10中的控制系統(tǒng)以及虛擬仿真系統(tǒng)，虛擬仿真系統(tǒng)對(duì)周圍環(huán)境以及目標(biāo)進(jìn)行三維重建，虛擬仿真系統(tǒng)中的機(jī)械臂對(duì)目標(biāo)施行預(yù)切割，若虛擬系統(tǒng)中的機(jī)械臂采摘路徑和姿態(tài)可行(利用C-空間建模，通過(guò)坐標(biāo)變換簡(jiǎn)化障礙物空間的計(jì)算，把C-空間三維搜索轉(zhuǎn)化為二維搜索，在路徑規(guī)劃的基礎(chǔ)上提出基于拋物線的梯形加減速規(guī)劃，應(yīng)用局部軌跡規(guī)劃方式通過(guò)仿真驗(yàn)證其是否路徑和姿態(tài)可行)，則虛擬系統(tǒng)把采摘路徑和姿態(tài)通過(guò)傳輸總線傳輸給真實(shí)采摘系統(tǒng)的控制系統(tǒng)?？刂葡到y(tǒng)發(fā)出動(dòng)作指令給機(jī)械臂，控制關(guān)節(jié)一 11、關(guān)節(jié)而12、關(guān)節(jié)三13和關(guān)節(jié)四4的旋轉(zhuǎn)，機(jī)械手運(yùn)動(dòng)動(dòng)作完成后，末端執(zhí)行器5夾住目標(biāo)并進(jìn)行切割。與此同時(shí)，電腦10中的虛擬仿真系統(tǒng)中的虛擬機(jī)器人同步對(duì)目標(biāo)進(jìn)行虛擬采摘，若采摘路徑和姿態(tài)不可行，則由虛擬采摘系統(tǒng)重新進(jìn)行計(jì)算，知道迭代到最佳采摘路徑和姿態(tài)。虛擬采摘和真實(shí)采摘同步進(jìn)行，兩者的動(dòng)作通過(guò)總線相互反饋，虛擬仿真系統(tǒng)把機(jī)械臂C-空間建模的仿真信息傳遞到真實(shí)系統(tǒng)中，指導(dǎo)真實(shí)采摘系統(tǒng)的姿態(tài)和軌跡，真實(shí)采摘系統(tǒng)的機(jī)械臂到達(dá)虛擬仿真系統(tǒng)所要求的姿態(tài)和軌跡后，若真實(shí)系統(tǒng)沒有達(dá)到虛擬系統(tǒng)所要求的位置，則真實(shí)系統(tǒng)把此時(shí)的真實(shí)采摘系統(tǒng)的位置和姿態(tài)信息發(fā)送給虛擬系統(tǒng)，虛擬系統(tǒng)通過(guò)神經(jīng)網(wǎng)絡(luò)補(bǔ)償算法，計(jì)算出補(bǔ)償信息，進(jìn)而再指導(dǎo)真實(shí)系統(tǒng)到達(dá)所要求的位置，通過(guò)這種互相反饋?zhàn)罱K使虛擬系統(tǒng)機(jī)械臂和真實(shí)采摘系統(tǒng)機(jī)械臂同時(shí)達(dá)到所要求的位置和姿態(tài)，，如若外界環(huán)境有突然變動(dòng)，則雙目視覺系統(tǒng)獲取周圍環(huán)境的圖像信息，虛擬系統(tǒng)通過(guò)場(chǎng)景建模幀差法來(lái)察覺此變動(dòng)，視覺系統(tǒng)把變動(dòng)傳輸給虛擬仿真系統(tǒng)，仿真系統(tǒng)再對(duì)環(huán)境進(jìn)行三維重建，把重建后的信息以及采摘路徑發(fā)給實(shí)際采摘控制系統(tǒng)進(jìn)行動(dòng)作調(diào)整。二者相互反饋，相輔相成。
[0032]所述的采摘系統(tǒng)進(jìn)行行走導(dǎo)航的工作原理為:雙目攝像頭二 7獲取前方道路信息，把道路信息傳入電腦10中，電腦10中的虛擬仿真軟件通過(guò)所獲得的道路信息構(gòu)建道路地圖。通過(guò)雙目攝像頭2發(fā)現(xiàn)目標(biāo)的位置，并通過(guò)雙目攝像頭二 7搜索前進(jìn)道路，使該系統(tǒng)到達(dá)目標(biāo)所在的平面的具體位置，并由虛擬仿真系統(tǒng)記憶目標(biāo)的位置信息。具體空間采摘目標(biāo)定位及采摘如實(shí)施實(shí)例一所述。該基于實(shí)時(shí)數(shù)據(jù)驅(qū)動(dòng)的虛擬機(jī)器人與真實(shí)機(jī)器人多目視覺定位系統(tǒng)在自然環(huán)境下可大大提高目標(biāo)定位精度，并記憶目標(biāo)所在位置，大大提高下次采摘的目標(biāo)搜索速度。
[0033]上述實(shí)施例為本發(fā)明較佳的實(shí)施方式，但本發(fā)明的實(shí)施方式并不受上述實(shí)施例的限制，其他的任何未背離本發(fā)明的精神實(shí)質(zhì)與原理下所作的改變、修飾、替代、組合、簡(jiǎn)化，均應(yīng)為等效的置換方式 ，都包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.基于虛擬機(jī)器人與真實(shí)機(jī)器人集成的采摘系統(tǒng)，其特征在于:包括視覺定位系統(tǒng)、真實(shí)機(jī)器人和虛擬機(jī)器人仿真系統(tǒng)，所述視覺定位系統(tǒng)完成采摘目標(biāo)的定位，獲得采摘目標(biāo)的三維空間坐標(biāo)信息后，指導(dǎo)真實(shí)機(jī)器人實(shí)時(shí)采摘，同時(shí)將獲取的三維空間坐標(biāo)信息通過(guò)數(shù)據(jù)傳輸線傳遞給虛擬機(jī)器人仿真系統(tǒng)，虛擬機(jī)器人實(shí)時(shí)模擬采摘過(guò)程。
2.根據(jù)權(quán)利要求1所述的基于虛擬機(jī)器人與真實(shí)機(jī)器人集成的采摘系統(tǒng)，其特征在于:所述的虛擬機(jī)器人仿真系統(tǒng)，包括機(jī)械手的結(jié)構(gòu)設(shè)計(jì)模塊、誤差分析模塊、機(jī)械手知識(shí)手冊(cè)模塊、雙目立體視覺模塊和機(jī)械手的運(yùn)動(dòng)仿真模塊，所述的機(jī)械手的機(jī)構(gòu)設(shè)計(jì)模塊設(shè)計(jì)底座、手臂和末端執(zhí)行器，用戶可以對(duì)機(jī)械手的各個(gè)零部件進(jìn)行參數(shù)化設(shè)計(jì)，通過(guò)類型的選擇和尺寸的確定，在該系統(tǒng)中應(yīng)用VC與SolidWorks的相互通信，將SolidWorks中的模型轉(zhuǎn)換成三維坐標(biāo)，實(shí)現(xiàn)對(duì)設(shè)計(jì)圖紙和設(shè)計(jì)方案進(jìn)行實(shí)時(shí)修改并更新；誤差分析模塊從機(jī)構(gòu)誤差、視覺誤差和關(guān)聯(lián)誤差三方面對(duì)采摘點(diǎn)的三維位置誤差進(jìn)行分析；機(jī)械手知識(shí)手冊(cè)模塊采用樹形結(jié)構(gòu)，用于用戶查看公式的推導(dǎo)、數(shù)據(jù)分析結(jié)果的比較信息；雙目立體視覺模塊用來(lái)采集采摘水果的圖像，通過(guò)圖像分割、腐蝕與膨脹、立體匹配圖像處理算法對(duì)果實(shí)進(jìn)行三維重建和定位，從而為機(jī)械手提供果實(shí)空間位置坐標(biāo)參數(shù)；機(jī)械手的運(yùn)動(dòng)仿真模塊通過(guò)EON進(jìn)行三維視景虛擬仿真，包括正運(yùn)動(dòng)和逆運(yùn)動(dòng)仿真:正運(yùn)動(dòng)仿真是根據(jù)用戶所輸入的參數(shù)來(lái)驅(qū)動(dòng)機(jī)械手按照預(yù)定的參數(shù)值運(yùn)動(dòng)；逆運(yùn)動(dòng)仿真是根據(jù)用戶所給定的待采摘果實(shí)空間位置坐標(biāo)值，反求解各關(guān)節(jié)具體值來(lái)驅(qū)動(dòng)機(jī)械手按照計(jì)算的參數(shù)值運(yùn)動(dòng)，系統(tǒng)通過(guò)VC與SolidWorks的通信接口，將模型轉(zhuǎn)換為三維坐標(biāo)，再將坐標(biāo)導(dǎo)入EON工作平臺(tái)，來(lái)實(shí)現(xiàn)對(duì)機(jī)械手的運(yùn)動(dòng)控制，從而完成虛擬的采摘過(guò)程。
3.根據(jù)權(quán)利要求1所述的基于虛擬機(jī)器人與真實(shí)機(jī)器人集成的采摘系統(tǒng)，其特征在于:所述的真實(shí)機(jī)器人包括機(jī)械手、安裝機(jī)械手的底座以及安裝底座的托運(yùn)小車。
4.根據(jù)權(quán)利要求3所述的基于虛擬機(jī)器人與真實(shí)機(jī)器人集成的采摘系統(tǒng)，其特征在于:所述的機(jī)械手包括關(guān)節(jié) 一、關(guān)節(jié)二、關(guān)節(jié)三、關(guān)節(jié)四、小臂、末端執(zhí)行器，設(shè)定托運(yùn)小車的前進(jìn)方向?yàn)閄方向，Y方向與X方向垂直構(gòu)成水平面，Z方向垂直水平面向上，關(guān)節(jié)一與底座的軸連接，使得整個(gè)機(jī)械手可以在Z軸上的旋轉(zhuǎn)；關(guān)節(jié)二與關(guān)節(jié)一之間通過(guò)軸連接，實(shí)現(xiàn)機(jī)器人手臂繞Y軸上的旋轉(zhuǎn)；機(jī)械臂繞Y軸旋轉(zhuǎn)的同時(shí)，也可實(shí)現(xiàn)機(jī)械臂在Z軸方向上和X方向上的移動(dòng)；關(guān)節(jié)三與關(guān)節(jié)二通過(guò)軸連接，擴(kuò)大整個(gè)機(jī)械臂在Z軸方向上的移動(dòng)范圍；小臂與關(guān)節(jié)三通過(guò)軸連接，實(shí)現(xiàn)了機(jī)器人在X軸上的旋轉(zhuǎn)；關(guān)節(jié)四與小臂通過(guò)軸連接，配合關(guān)節(jié)一繞底座旋轉(zhuǎn)的同時(shí)，實(shí)現(xiàn)了整個(gè)機(jī)械臂X方向上的移動(dòng)。
5.根據(jù)權(quán)利要求4所述的基于虛擬機(jī)器人與真實(shí)機(jī)器人集成的采摘系統(tǒng)，其特征在于:所述的視覺定位系統(tǒng)包括雙目攝像頭一、雙目攝像頭二以及安裝雙目攝像頭一的支架，支架安裝在關(guān)節(jié)三的頂部，雙目攝像頭安裝在托運(yùn)小車上。
6.基于虛擬機(jī)器人與真實(shí)機(jī)器人集成的采摘方法，其特征在于，包含以下順序的步驟: S1.雙目攝像頭獲取采摘目標(biāo)的圖像信息，并通過(guò)數(shù)據(jù)線把圖像傳入電腦進(jìn)行處理，視覺處理系統(tǒng)通過(guò)對(duì)采摘目標(biāo)圖像進(jìn)行預(yù)處理，轉(zhuǎn)化為灰度圖像，再進(jìn)行高斯濾波處理，通過(guò)圖像匹配算法，利用無(wú)畸變對(duì)準(zhǔn)的雙目攝像頭和圖像預(yù)處理得到特征對(duì)應(yīng)點(diǎn)，通過(guò)相似三角形計(jì)算出目標(biāo)的深度信息z的坐標(biāo)值，通過(guò)計(jì)算目標(biāo)的中心點(diǎn)與兩個(gè)主光軸的位移量來(lái)計(jì)算出目標(biāo)的X，I坐標(biāo)值，得到采摘目標(biāo)的三維空間坐標(biāo)信息；S2.控制總線然后把處理后的目標(biāo)位置信息發(fā)給電腦中的控制系統(tǒng)以及虛擬仿真系統(tǒng)，所述虛擬仿真系統(tǒng)即虛擬機(jī)器人；S3.虛擬仿真系統(tǒng)對(duì)周圍環(huán)境以及目標(biāo)進(jìn)行三維重建，虛擬仿真系統(tǒng)中的機(jī)械臂對(duì)目標(biāo)施行預(yù)切割: 若虛擬系統(tǒng)中的機(jī)械臂采摘路徑和姿態(tài)可行，則虛擬系統(tǒng)把采摘路徑和姿態(tài)通過(guò)傳輸總線傳輸給真實(shí)機(jī)器人的控制系統(tǒng)，控制系統(tǒng)發(fā)出動(dòng)作指令給機(jī)械臂，控制關(guān)節(jié)一、關(guān)節(jié)二、關(guān)節(jié)三和關(guān)節(jié)四的旋轉(zhuǎn)，機(jī)械手運(yùn)動(dòng)動(dòng)作完成后，末端執(zhí)行器夾住采摘目標(biāo)并進(jìn)行切割；同時(shí)虛擬仿真系統(tǒng)中的虛擬機(jī)器人同步對(duì)目標(biāo)進(jìn)行虛擬采摘； 若采摘路徑和姿態(tài)不可行，則由虛擬采摘系統(tǒng)重新進(jìn)行計(jì)算，直到迭代到最佳采摘路徑和姿態(tài)；虛擬采摘和真實(shí)采摘同步進(jìn)行，兩者的動(dòng)作通過(guò)總線相互反饋:虛擬仿真系統(tǒng)把機(jī)械臂C-空間建模的仿真信息傳遞到真實(shí)系統(tǒng)中，指導(dǎo)真實(shí)機(jī)器人的姿態(tài)和軌跡，真實(shí)機(jī)器人的機(jī)械臂到達(dá)虛擬仿真系統(tǒng)所要求的姿態(tài)和軌跡后，若真實(shí)系統(tǒng)沒有達(dá)到虛擬系統(tǒng)所要求的位置，則真實(shí)系統(tǒng)把此時(shí)的真實(shí)機(jī)器人的位置和姿態(tài)信息發(fā)送給虛擬系統(tǒng)，虛擬系統(tǒng)通過(guò)神經(jīng)網(wǎng)絡(luò)補(bǔ)償算法，計(jì)算出補(bǔ)償信息，進(jìn)而再指導(dǎo)真實(shí)系統(tǒng)到達(dá)所要求的位置，通過(guò)這種互相反饋?zhàn)罱K使虛擬系統(tǒng)機(jī)械臂和真實(shí)機(jī)器人機(jī)械臂同時(shí)達(dá)到所要求的位置和姿態(tài)。
7.根據(jù)權(quán)利要求6所述的基于虛擬機(jī)器人與真實(shí)機(jī)器人集成的采摘方法，其特征在于:步驟S3中，所述的虛擬系統(tǒng)中的機(jī)械臂采摘路徑和姿態(tài)是否可行是通過(guò)以下的方法判斷的:利用C-空間建模，通過(guò)坐標(biāo)變換簡(jiǎn)化障礙物空間的計(jì)算，把C-空間三維搜索轉(zhuǎn)化為二維搜索，在路徑規(guī)劃的基礎(chǔ)上提出基于拋物線的梯形加減速規(guī)劃，應(yīng)用局部軌跡規(guī)劃方式通過(guò)仿真驗(yàn)證其是否路徑和姿態(tài)可行。
8.根據(jù)權(quán)利要求6所述的基于虛擬機(jī)器人與真實(shí)機(jī)器人集成的采摘方法，其特征在于，還包括步驟S4:若外 界環(huán)境有突然變動(dòng)，則雙目視覺系統(tǒng)獲取周圍環(huán)境的圖像信息，虛擬系統(tǒng)通過(guò)場(chǎng)景建模幀差法來(lái)察覺此變動(dòng)，視覺系統(tǒng)把變動(dòng)傳輸給虛擬仿真系統(tǒng)，仿真系統(tǒng)再對(duì)環(huán)境進(jìn)行三維重建，把重建后的信息以及采摘路徑發(fā)給實(shí)際采摘控制系統(tǒng)進(jìn)行動(dòng)作調(diào)整。
【文檔編號(hào)】A01D46/30GK104067781SQ201410268374
【公開日】2014年10月1日 申請(qǐng)日期:2014年6月16日 優(yōu)先權(quán)日:2014年6月16日
【發(fā)明者】熊俊濤, 鄒湘軍, 劉念, 李博, 林桂潮, 孫寶霞 申請(qǐng)人:華南農(nóng)業(yè)大學(xué)