本發(fā)明涉及農(nóng)業(yè)機(jī)器人領(lǐng)域，特別涉及一種基于近景深度傳感器的機(jī)器人實(shí)時(shí)逼近定位采摘方法。

背景技術(shù)：

目前機(jī)器人采摘作業(yè)過程中常用的手眼協(xié)調(diào)方法具有明顯不足：

（1）通常由視覺系統(tǒng)先完成對果實(shí)的識別和定位，進(jìn)而引導(dǎo)機(jī)械臂和末端執(zhí)行器趨近被定位的目標(biāo)果實(shí)并完成摘取。遠(yuǎn)景視覺系統(tǒng)在較遠(yuǎn)位置實(shí)施探測，造成視場范圍內(nèi)對象信息過多，處理過程過于復(fù)雜，且定位精度受到影響；視覺系統(tǒng)的識別定位和機(jī)械系統(tǒng)的運(yùn)動(dòng)執(zhí)行分別順序間歇進(jìn)行，存在“果實(shí)識別—果實(shí)定位—坐標(biāo)信息傳遞—機(jī)械臂運(yùn)動(dòng)規(guī)劃—機(jī)械臂逼近—末端執(zhí)行器摘取”的復(fù)雜環(huán)節(jié)，作業(yè)效率受到嚴(yán)重影響。

（2）部分由固定于機(jī)器人本體的遠(yuǎn)景相機(jī)和安裝于末端執(zhí)行器內(nèi)的近景相機(jī)結(jié)合，實(shí)現(xiàn)對目標(biāo)果實(shí)的識別定位和引導(dǎo)機(jī)械手完成采摘作業(yè)。通常先由遠(yuǎn)景相機(jī)探測植株方位并引導(dǎo)機(jī)械手伸展靠近植株，進(jìn)而利用安裝于末端執(zhí)行器內(nèi)的相機(jī)進(jìn)行近景的識別定位。其過程不僅存在遠(yuǎn)、近景相機(jī)的匹配問題，并需由遠(yuǎn)景相機(jī)、機(jī)械手和近景相機(jī)的多環(huán)節(jié)間歇性動(dòng)作來實(shí)現(xiàn)。同時(shí)，需要利用機(jī)械手?jǐn)y帶近景相機(jī)相對目標(biāo)對象的橫向運(yùn)動(dòng)來實(shí)現(xiàn)獲取目標(biāo)對象的空間位置，定位過程繁瑣耗時(shí)，更無法保證作業(yè)效率。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種基于近景深度傳感器的機(jī)器人實(shí)時(shí)逼近定位采摘方法，實(shí)現(xiàn)采摘機(jī)器人作業(yè)中的實(shí)時(shí)連續(xù)定位采摘作業(yè)。

為了解決以上技術(shù)問題，本發(fā)明采用的具體技術(shù)方案如下：

一種基于近景深度傳感器的機(jī)器人實(shí)時(shí)逼近定位采摘方法，其特征在于：采摘機(jī)器人的機(jī)械臂（2）、末端執(zhí)行器（1）和近景深度傳感器（3）從距離植株的冠層（4）較遠(yuǎn)位置開始趨近果實(shí)（6）并完成采摘的連續(xù)動(dòng)作行程分為樹冠搜索區(qū)間（s1）、子區(qū)域定位區(qū)間（s2）、子區(qū)域趨近動(dòng)作區(qū)間(s3)、單果識別定位區(qū)間（s4）、果實(shí)摘取動(dòng)作區(qū)間（s5）。

一種基于近景深度傳感器的機(jī)器人實(shí)時(shí)逼近定位采摘方法，其特征在于包括以下步驟：

步驟一，樹冠搜索區(qū)間（s1）：采摘機(jī)器人的機(jī)械臂（2）腕部轉(zhuǎn)動(dòng)使近景深度傳感器（3）獲得整個(gè)冠層（4）的深度信息并由深度信息確定冠層（4）的整個(gè)輪廓的相對方位；

步驟二，子區(qū)域定位區(qū)間（s2）：此時(shí)機(jī)械臂（2）開始帶動(dòng)末端執(zhí)行器（1）和近景深度傳感器（3）向整個(gè)冠層（4）的方位迫近，在機(jī)械臂（2）運(yùn)動(dòng)的同時(shí)，采摘機(jī)器人的控制系統(tǒng)根據(jù)近景識別的需要，利用近景深度傳感器（3）獲得的整個(gè)冠層（4）的深度信息將冠層4劃分為多個(gè)子區(qū)域5并確定實(shí)施采摘的子區(qū)域5的順序；

步驟三，子區(qū)域趨近動(dòng)作區(qū)間（s3）：在趨近動(dòng)作切換深度閾值[d1]位置，根據(jù)首先實(shí)施采摘作業(yè)的子區(qū)域（5）的方位，機(jī)械臂（2）帶動(dòng)末端執(zhí)行器（1）和近景深度傳感器（3）切換動(dòng)作向首先實(shí)施采摘作業(yè)的子區(qū)域（5）迫近；

步驟四，單果識別定位區(qū)間（s4）：當(dāng)近景深度傳感器（3）到達(dá)近景識別定位深度閾值[d2]位置，機(jī)械臂（2）帶動(dòng)末端執(zhí)行器（1）和近景深度傳感器（3）繼續(xù)向首先實(shí)施采摘作業(yè)的子區(qū)域（5）迫近的同時(shí)，近景深度傳感器（3）對首先實(shí)施采摘作業(yè)的子區(qū)域（5）進(jìn)行各果實(shí)（6）的近景識別定位，并確定進(jìn)行果實(shí)（6）的摘取順序；

步驟五，果實(shí)摘取動(dòng)作區(qū)間（s5）：在摘取動(dòng)作切換閾值[d3]位置，根據(jù)首先實(shí)施摘取作業(yè)的果實(shí)（6）空間位置，機(jī)械臂（2）帶動(dòng)末端執(zhí)行器（1）和近景深度傳感器（3）切換動(dòng)作向首先實(shí)施摘取作業(yè)的果實(shí)（6）迫近并到達(dá)后完成摘?。?/p>

步驟六，機(jī)械臂（2）繼續(xù)帶動(dòng)末端執(zhí)行器（1）和近景深度傳感器（3）按果實(shí)（6）的摘取順序完成對首先實(shí)施采摘作業(yè)的子區(qū)域（5）內(nèi)其它果實(shí)（6）的摘??；

步驟七，機(jī)械臂（2）繼續(xù)帶動(dòng)末端執(zhí)行器（1）和近景深度傳感器（3）根據(jù)子區(qū)域定位區(qū)間（s2）中確定的實(shí)施采摘的子區(qū)域（5）的順序和各子區(qū)域（5）方位，將末端執(zhí)行器（1）和近景深度傳感器（3）定位于下一子區(qū)域（5）的定位深度閾值[d2]處，并重復(fù)步驟五、步驟六，完成對該子區(qū)域（5）內(nèi)果實(shí)（6）的識別定位和摘?。?/p>

步驟八，重復(fù)步驟七，直至該植株冠層（4）內(nèi)的果實(shí)（6）采摘完成。

所述近景深度傳感器為realsense等能夠在冠層附近時(shí)獲得冠層輪廓、并在人工采摘的視覺距離范圍內(nèi)對果實(shí)進(jìn)行識別定位的深度傳感器。

本發(fā)明具有有益效果。本發(fā)明通過變機(jī)器人采摘中視覺系統(tǒng)的識別定位和機(jī)械系統(tǒng)的運(yùn)動(dòng)執(zhí)行的多個(gè)環(huán)節(jié)間歇性流程為視覺系統(tǒng)與機(jī)械系統(tǒng)的連續(xù)并行流程，從而能夠?qū)⑦h(yuǎn)景輪廓導(dǎo)引和分區(qū)域近景識別定位結(jié)合，實(shí)現(xiàn)遠(yuǎn)近景的快速連續(xù)逐次迫近，大大提高了機(jī)器人采摘作業(yè)的實(shí)時(shí)性和精度。

附圖說明

圖1為本發(fā)明基于近景深度傳感器的機(jī)器人實(shí)時(shí)逼近定位采摘過程示意圖。

圖2為本發(fā)明冠層的子區(qū)域劃分示意圖。

圖3為本發(fā)明實(shí)時(shí)連續(xù)逼近的近景深度傳感器與機(jī)械臂并行時(shí)序示意圖。

圖中：1.末端執(zhí)行器，2.機(jī)械臂，3.近景深度傳感器，4.樹冠，5.子區(qū)域，6.果實(shí)，[d1].趨近動(dòng)作切換深度閾值，[d2].近景識別定位深度閾值，[d3].摘取動(dòng)作切換深度閾值，d1.樹冠搜索區(qū)間,s2.子區(qū)域定位區(qū)間，s3.子區(qū)域趨近動(dòng)作區(qū)間，s4.單果識別定位區(qū)間，s5.果實(shí)摘取動(dòng)作區(qū)間。

具體實(shí)施方式

如圖1所示，近景深度傳感器3安裝在機(jī)械臂2的腕部。采摘機(jī)器人作業(yè)時(shí)，采摘機(jī)器人的底盤行駛到植株附近并停止前進(jìn)，采摘機(jī)器人開始對該植株的采摘作業(yè)。采摘機(jī)器人的機(jī)械臂2、末端執(zhí)行器1和近景深度傳感器3從距離植株的冠層4較遠(yuǎn)位置開始趨近果實(shí)6并完成采摘的連續(xù)動(dòng)作行程分為樹冠搜索區(qū)間s1、子區(qū)域定位區(qū)間s2、子區(qū)域趨近動(dòng)作區(qū)間s3、單果識別定位區(qū)間s4、果實(shí)摘取動(dòng)作區(qū)間s5。如圖1和圖3所示，由遠(yuǎn)及近完成采摘的過程如下：

（1）樹冠搜索區(qū)間s1：采摘機(jī)器人的機(jī)械臂2腕部轉(zhuǎn)動(dòng)使近景深度傳感器3獲得整個(gè)冠層4的深度信息并由深度信息確定冠層4的整個(gè)輪廓的相對方位；

（2）子區(qū)域定位區(qū)間s2：此時(shí)機(jī)械臂2開始帶動(dòng)末端執(zhí)行器1和近景深度傳感器3向整個(gè)冠層4的方位迫近，在機(jī)械臂2運(yùn)動(dòng)的同時(shí)，采摘機(jī)器人的控制系統(tǒng)根據(jù)近景識別的需要，利用近景深度傳感器3獲得的整個(gè)冠層4的深度信息將冠層4劃分為多個(gè)子區(qū)域5并確定實(shí)施采摘的子區(qū)域5的順序，如圖2所示；

（3）子區(qū)域趨近動(dòng)作區(qū)間s3：在趨近動(dòng)作切換深度閾值[d1]位置，根據(jù)首先實(shí)施采摘作業(yè)的子區(qū)域5的方位，機(jī)械臂2帶動(dòng)末端執(zhí)行器1和近景深度傳感器3切換動(dòng)作向首先實(shí)施采摘作業(yè)的子區(qū)域5迫近；

（4）單果識別定位區(qū)間s4：當(dāng)近景深度傳感器3到達(dá)近景識別定位深度閾值[d2]位置，機(jī)械臂2帶動(dòng)末端執(zhí)行器1和近景深度傳感器3繼續(xù)向首先實(shí)施采摘作業(yè)的子區(qū)域5迫近的同時(shí)，近景深度傳感器3對首先實(shí)施采摘作業(yè)的子區(qū)域5進(jìn)行各果實(shí)6的近景識別定位，并確定進(jìn)行果實(shí)6的摘取順序；

（5）果實(shí)摘取動(dòng)作區(qū)間s5：在摘取動(dòng)作切換閾值[d3]位置，根據(jù)首先實(shí)施摘取作業(yè)的果實(shí)6空間位置，機(jī)械臂2帶動(dòng)末端執(zhí)行器1和近景深度傳感器3切換動(dòng)作向首先實(shí)施摘取作業(yè)的果實(shí)6迫近并到達(dá)后完成摘取；

（6）機(jī)械臂2繼續(xù)帶動(dòng)末端執(zhí)行器1和近景深度傳感器3按果實(shí)6的摘取順序完成對首先實(shí)施采摘作業(yè)的子區(qū)域5內(nèi)其它果實(shí)6的摘??；

（7）機(jī)械臂2繼續(xù)帶動(dòng)末端執(zhí)行器1和近景深度傳感器3根據(jù)子區(qū)域定位區(qū)間s2中確定的實(shí)施采摘的子區(qū)域5的順序和各子區(qū)域5方位，將末端執(zhí)行器1和近景深度傳感器3定位于下一子區(qū)域5的定位深度閾值[d2]處，并重復(fù)步驟（5）、（6），完成對該子區(qū)域5內(nèi)果實(shí)6的識別定位和摘??；

（8）重復(fù)步驟（7），直至該植株冠層4內(nèi)的果實(shí)6采摘完成。