本發(fā)明涉及堅果青皮果實(shí)時定位，尤其涉及一種基于多傳感器融合的堅果青皮果實(shí)時定位方法。

背景技術(shù)：

1、澳洲堅果的采收一般有人工手動采收和機(jī)械震動采收法。人工采收是在果實(shí)成熟時，采用果鉤逐個將總苞剝落。使用機(jī)械采收時，采收前兩周對果樹噴施乙烯利催熟，然后用機(jī)械震動枝干，使熟果掉落，用乙烯利會導(dǎo)致葉片早期脫落，會影響果樹的生長，并影響次年的產(chǎn)量。目前國內(nèi)多是采用機(jī)械震動的方法，或者用機(jī)械手進(jìn)行輔助采收，但是機(jī)械手采摘都不具備對堅果青皮果進(jìn)行自動定位和識別的功能，采摘效率低，速度慢，效果不好。

2、由于堅果青皮果的顏色與樹葉的顏色非常像，在使用圖像識別時，很難進(jìn)行識別，由于果實(shí)和樹葉顏色相近，加大了識別的難度，無法精準(zhǔn)的識別出堅果青皮果的位置，使得使用機(jī)械手采摘帶來很大的困難，效率低。

3、同時在采摘時，不單單要提前對堅果青皮果識別，在采摘過程中也要對需要采摘的堅果青皮果進(jìn)行實(shí)時的定位，通過實(shí)時定位才能夠提升采摘的效率，同時使得采摘有序進(jìn)行，不會出現(xiàn)漏摘和來回定位的情況。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于多傳感器融合的堅果青皮果實(shí)時定位方法，解決現(xiàn)有堅果青皮果機(jī)械手采摘過程無法對需要采摘的堅果進(jìn)行實(shí)時定位，使得采摘下來較低的技術(shù)問題。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：

3、一種基于多傳感器融合的堅果青皮果實(shí)時定位方法，所述方法包括如下步驟：

4、步驟1：使用激光雷達(dá)對堅果青皮果初始成像定位；

5、步驟2：根據(jù)堅果青皮果的位置進(jìn)行構(gòu)建堅果青皮果三維空間位置模型；

6、步驟3：在采摘機(jī)械手上安裝距離傳感器，用于實(shí)時測量機(jī)械手與前端物體的距離；

7、步驟4：根據(jù)采摘機(jī)械手固定位置、收集堅果箱體位置和堅果青皮果三維空間位置模型構(gòu)建采摘立體空間模型；

8、步驟5：使用攝像頭進(jìn)行實(shí)時的觀察采摘立體空間模型中的機(jī)械手狀態(tài)、堅果收集箱的狀態(tài)和采摘環(huán)境狀況數(shù)據(jù)；

9、步驟6：根據(jù)機(jī)械手的狀態(tài)、位置，計算下一個需要采摘的堅果的實(shí)時位置，方便機(jī)械手采摘。

10、進(jìn)一步地，步驟1的具體過程為：

11、步驟1.1：設(shè)置激光雷達(dá)的縱向與橫向移動裝置；

12、步驟1.2：激光雷達(dá)安裝在采摘機(jī)上來到堅果樹前，激光雷達(dá)初次獲取堅果范圍的初始三維圖像；

13、步驟1.3：對初始三維圖像進(jìn)行框定，然后標(biāo)注若干個特征點(diǎn)作為識別點(diǎn)；

14、步驟1.4：將框定區(qū)域構(gòu)建三維立體坐標(biāo)系，設(shè)定識別中心點(diǎn)，然后為堅果樹所有的點(diǎn)進(jìn)行坐標(biāo)標(biāo)注；

15、步驟1.5：激光雷達(dá)在縱向與橫向移動裝置上移動，每移動一個點(diǎn)后進(jìn)行暫停，激光雷達(dá)掃描得到一個方向立體圖像，然后獲取所有的三維圖像進(jìn)行匯總得到堅果樹不同方向的三維立體圖像集；

16、步驟1.6：將所有的三維立體圖像集進(jìn)行融合得到不同方向的堅果樹三維立體坐標(biāo)數(shù)據(jù)集；

17、步驟1.7：然后從堅果樹三維立體坐標(biāo)數(shù)據(jù)集找出所有堅果形狀的位置，并將堅果的三維位置點(diǎn)輸出，實(shí)現(xiàn)對堅果的成像定位。

18、進(jìn)一步地，步驟2中，根據(jù)獲得每個堅果青皮果的位置，構(gòu)建立體的位置空間，同時在立體的空間上進(jìn)行標(biāo)注出堅果所處的三維位置坐標(biāo)，然后把所有的堅果青皮果三維立體位置坐標(biāo)進(jìn)行匯總得到堅果青皮果三維空間位置模型。

19、進(jìn)一步地，步驟3中，采摘機(jī)械手上上安裝有三個距離傳感器，一個距離傳感器安裝在采摘機(jī)械的正前端，用于實(shí)時檢測機(jī)械手前端的正前方的物體位置，另外兩個傳感器安裝在采摘機(jī)械手的兩側(cè)，并傾斜設(shè)置，用于檢測采摘機(jī)械手兩側(cè)前端的物體位置。

20、進(jìn)一步地，步驟4中，以收集堅果箱體的最后端作為最后的邊緣，然后將采摘機(jī)械手的最低端安裝位置為作為底端邊緣，把堅果青皮果三維空間位置模型中位置最高的堅果位置的水平面作為空間頂端，把堅果青皮果三維空間位置模型中位置最前端的豎直平面為前端，根據(jù)最后的邊緣、底端邊緣、頂端和前端構(gòu)成立體空間箱體結(jié)構(gòu)，然后標(biāo)注采摘機(jī)械手運(yùn)動過程中所處立體空間箱體結(jié)構(gòu)的位置，形成采摘立體空間模型。

21、進(jìn)一步地，步驟5中，攝像頭用于采集堅果收集箱是否已經(jīng)滿，然后通知相關(guān)人員進(jìn)行更換堅果收集箱，同時通過圖像檢測采摘機(jī)械手的動作范圍內(nèi)是否出現(xiàn)有人員，避免機(jī)械手誤傷人，攝像頭實(shí)時根據(jù)采摘機(jī)械手的位置，在采摘機(jī)械手來到堅果串前時，通過圖像識別進(jìn)行識別串堅果串的位置，實(shí)現(xiàn)對采摘機(jī)械手夾取的位置進(jìn)行校準(zhǔn)，提高采摘的效率，同時當(dāng)采摘機(jī)械手穿過樹葉，將原來的樹葉推開后，攝像頭實(shí)時識別內(nèi)部是否還有堅果沒有被定位識別，實(shí)現(xiàn)采摘過程補(bǔ)充識別，避免有堅果漏摘的情況。

22、進(jìn)一步地，步驟6中，通過攝像頭判斷采摘機(jī)械手是張開的狀態(tài)還是閉合狀態(tài)，并且識別摘取堅果是否成功，當(dāng)摘取沒有成功時，對剛采摘的位置進(jìn)行二次采摘，同時計算采摘立體空間模型中每處堅果與收集堅果箱體的直線距離，然后將距離進(jìn)行排序，得到堅果的采摘順序，當(dāng)采摘機(jī)械手采摘堅果放回收集堅果箱體時，雷達(dá)距離檢測把下一個需要采摘的堅果的位置傳給機(jī)械手控制裝置，同時生成機(jī)械手的控制旋轉(zhuǎn)維度，實(shí)現(xiàn)對堅果的實(shí)時定位，提高采摘的效率。

23、本發(fā)明由于采用了上述技術(shù)方案，具有以下有益效果：

24、本發(fā)明首先使用激光雷達(dá)對堅果青皮果進(jìn)行多方位定位，避免了樹葉綠色對圖像識別帶來的困擾，并且將采摘機(jī)械手的運(yùn)動空間與堅果青皮果的位置空間構(gòu)建成為一個立體結(jié)構(gòu)空間，實(shí)現(xiàn)收集存放點(diǎn)到各個堅果之間的距離，實(shí)現(xiàn)在一邊采摘一邊計算每個堅果需要的機(jī)械手控制程序，節(jié)省了數(shù)據(jù)處理時間，提高采摘的效率。

技術(shù)特征：

1.一種基于多傳感器融合的堅果青皮果實(shí)時定位方法，其特征在于：所述方法包括如下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于多傳感器融合的堅果青皮果實(shí)時定位方法，其特征在于：步驟1的具體過程為：

3.根據(jù)權(quán)利要求1所述的一種基于多傳感器融合的堅果青皮果實(shí)時定位方法，其特征在于：步驟2中，根據(jù)獲得每個堅果青皮果的位置，構(gòu)建立體的位置空間，同時在立體的空間上進(jìn)行標(biāo)注出堅果所處的三維位置坐標(biāo)，然后把所有的堅果青皮果三維立體位置坐標(biāo)進(jìn)行匯總得到堅果青皮果三維空間位置模型。

4.根據(jù)權(quán)利要求1所述的一種基于多傳感器融合的堅果青皮果實(shí)時定位方法，其特征在于：步驟3中，采摘機(jī)械手上上安裝有三個距離傳感器，一個距離傳感器安裝在采摘機(jī)械的正前端，用于實(shí)時檢測機(jī)械手前端的正前方的物體位置，另外兩個傳感器安裝在采摘機(jī)械手的兩側(cè)，并傾斜設(shè)置，用于檢測采摘機(jī)械手兩側(cè)前端的物體位置。

5.根據(jù)權(quán)利要求1所述的一種基于多傳感器融合的堅果青皮果實(shí)時定位方法，其特征在于：步驟4中，以收集堅果箱體的最后端作為最后的邊緣，然后將采摘機(jī)械手的最低端安裝位置為作為底端邊緣，把堅果青皮果三維空間位置模型中位置最高的堅果位置的水平面作為空間頂端，把堅果青皮果三維空間位置模型中位置最前端的豎直平面為前端，根據(jù)最后的邊緣、底端邊緣、頂端和前端構(gòu)成立體空間箱體結(jié)構(gòu)，然后標(biāo)注采摘機(jī)械手運(yùn)動過程中所處立體空間箱體結(jié)構(gòu)的位置，形成采摘立體空間模型。

6.根據(jù)權(quán)利要求1所述的一種基于多傳感器融合的堅果青皮果實(shí)時定位方法，其特征在于：步驟5中，攝像頭用于采集堅果收集箱是否已經(jīng)滿，然后通知相關(guān)人員進(jìn)行更換堅果收集箱，同時通過圖像檢測采摘機(jī)械手的動作范圍內(nèi)是否出現(xiàn)有人員，避免機(jī)械手誤傷人，攝像頭實(shí)時根據(jù)采摘機(jī)械手的位置，在采摘機(jī)械手來到堅果串前時，通過圖像識別進(jìn)行識別串堅果串的位置，實(shí)現(xiàn)對采摘機(jī)械手夾取的位置進(jìn)行校準(zhǔn)，提高采摘的效率，同時當(dāng)采摘機(jī)械手穿過樹葉，將原來的樹葉推開后，攝像頭實(shí)時識別內(nèi)部是否還有堅果沒有被定位識別，實(shí)現(xiàn)采摘過程補(bǔ)充識別，避免有堅果漏摘的情況。

7.根據(jù)權(quán)利要求1所述的一種基于多傳感器融合的堅果青皮果實(shí)時定位方法，其特征在于：步驟6中，通過攝像頭判斷采摘機(jī)械手是張開的狀態(tài)還是閉合狀態(tài)，并且識別摘取堅果是否成功，當(dāng)摘取沒有成功時，對剛采摘的位置進(jìn)行二次采摘，同時計算采摘立體空間模型中每處堅果與收集堅果箱體的直線距離，然后將距離進(jìn)行排序，得到堅果的采摘順序，當(dāng)采摘機(jī)械手采摘堅果放回收集堅果箱體時，雷達(dá)距離檢測把下一個需要采摘的堅果的位置傳給機(jī)械手控制裝置，同時生成機(jī)械手的控制旋轉(zhuǎn)維度，實(shí)現(xiàn)對堅果的實(shí)時定位，提高采摘的效率。

技術(shù)總結(jié)
本發(fā)明提供一種基于多傳感器融合的堅果青皮果實(shí)時定位方法，屬于堅果青皮果實(shí)時定位技術(shù)領(lǐng)域，方法包括如下，使用激光雷達(dá)對堅果青皮果初始成像定位，根據(jù)堅果青皮果的位置進(jìn)行構(gòu)建堅果青皮果三維空間位置模型，在采摘機(jī)械手上安裝距離傳感器，用于實(shí)時測量機(jī)械手與前端物體的距離，根據(jù)采摘機(jī)械手固定位置、收集堅果箱體位置和堅果青皮果三維空間位置模型構(gòu)建采摘立體空間模型，使用攝像頭進(jìn)行實(shí)時的觀察采摘立體空間模型中的機(jī)械手狀態(tài)、堅果收集箱的狀態(tài)和采摘環(huán)境狀況數(shù)據(jù)，根據(jù)機(jī)械手的狀態(tài)、位置，計算下一個需要采摘的堅果的實(shí)時位置。首先使用激光雷達(dá)對堅果青皮果進(jìn)行多方位定位，避免了樹葉綠色對圖像識別帶來的困擾。

技術(shù)研發(fā)人員：黃孝平,黃文哲,吳世貴,顏森,江文鋒
受保護(hù)的技術(shù)使用者：桂林理工大學(xué)南寧分校
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/28