本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)和農(nóng)業(yè)種植環(huán)境地圖構(gòu)建領(lǐng)域，具體涉及一種番茄生長(zhǎng)環(huán)境認(rèn)知評(píng)估方法。

背景技術(shù)：

1、番茄是當(dāng)今最受喜愛的溫室農(nóng)產(chǎn)品之一，具有促進(jìn)消化、延緩衰老等功效，其全球產(chǎn)量在過(guò)去四十年中增長(zhǎng)了兩倍。為實(shí)現(xiàn)高效生產(chǎn)和規(guī)范管理，露天種植逐漸被溫室生產(chǎn)取代，溫室番茄種植產(chǎn)業(yè)在我國(guó)果蔬市場(chǎng)中占有重要份額。然而，隨著近年勞動(dòng)力成本上升，人工投入占比達(dá)30％以上的溫室種植行業(yè)，迫切渴求農(nóng)業(yè)種植任務(wù)機(jī)械化和自動(dòng)化的進(jìn)一步發(fā)展。溫室番茄自動(dòng)化精準(zhǔn)采摘是推動(dòng)溫室番茄種植產(chǎn)業(yè)發(fā)展的重要技術(shù)，采摘工作在難以獲得全貌的非結(jié)構(gòu)環(huán)境中穩(wěn)定性不高，對(duì)環(huán)境理解程度低，無(wú)法充分利用植株信息進(jìn)行精準(zhǔn)采集。因此，正確全面地認(rèn)知環(huán)境是實(shí)現(xiàn)溫室番茄自動(dòng)化精準(zhǔn)采集的關(guān)鍵步驟之一。

2、在經(jīng)典溫室采摘環(huán)境中，人工打理使植株莖葉等遮擋待采摘果實(shí)的情況大大減少。多數(shù)采摘任務(wù)無(wú)需專門考慮避障等問(wèn)題，更側(cè)重于獲取番茄果實(shí)的成熟度、遮擋程度和空間位置等信息。但要將采摘成功率提高到一定水準(zhǔn)，能夠處理多樣的采摘情況是必要前提。因此，如何采摘遮擋程度高的番茄是必須解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、為了滿足目前農(nóng)業(yè)機(jī)器人對(duì)溫室番茄種植任務(wù)的信息需求，本發(fā)明提供了一種面向溫室番茄種植場(chǎng)景的，基于語(yǔ)義分割和八叉樹地圖的，番茄生長(zhǎng)環(huán)境認(rèn)知評(píng)估方法，能夠在溫室采摘作業(yè)時(shí)實(shí)時(shí)構(gòu)建三維語(yǔ)義地圖，指導(dǎo)采摘機(jī)器人路徑規(guī)劃。能夠?qū)崟r(shí)維護(hù)性能良好，有效應(yīng)對(duì)溫室中光線變化、背景噪聲和植株輕幅晃動(dòng)等，實(shí)現(xiàn)番茄采摘作業(yè)場(chǎng)景三維語(yǔ)義信息的全面實(shí)時(shí)獲取。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明提供了如下技術(shù)方案：

3、一種番茄生長(zhǎng)環(huán)境認(rèn)知評(píng)估方法，包括以下步驟：

4、步驟1、制定基于深度學(xué)習(xí)語(yǔ)義分割神經(jīng)網(wǎng)絡(luò)的三維語(yǔ)義點(diǎn)云數(shù)據(jù)生成策略，所述三維語(yǔ)義點(diǎn)云數(shù)據(jù)生成策略包括：針對(duì)番茄生長(zhǎng)環(huán)境的語(yǔ)義分割模型和深度圖像點(diǎn)云化處理；

5、步驟1.1、采集多幅溫室番茄生長(zhǎng)環(huán)境圖像，以番茄果實(shí)、番茄主莖、番茄花梗和其他物體為語(yǔ)義類別對(duì)所述溫室番茄生長(zhǎng)環(huán)境圖像進(jìn)行標(biāo)注，得到含有標(biāo)注框的所述溫室番茄生長(zhǎng)環(huán)境圖像，所述標(biāo)注框即對(duì)應(yīng)的所述語(yǔ)義類別的像素區(qū)域；將所述含有標(biāo)注框的所述溫室番茄生長(zhǎng)環(huán)境圖像按照預(yù)設(shè)格式，生成番茄生長(zhǎng)環(huán)境語(yǔ)義分割數(shù)據(jù)集；

6、步驟1.2、建立語(yǔ)義分割神經(jīng)網(wǎng)絡(luò)模型，基于所述番茄生長(zhǎng)環(huán)境語(yǔ)義分割數(shù)據(jù)集，對(duì)所述語(yǔ)義分割神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到應(yīng)用于溫室番茄生長(zhǎng)環(huán)境語(yǔ)義分割神經(jīng)網(wǎng)絡(luò)模型；

7、步驟1.3、將記錄溫室番茄生長(zhǎng)環(huán)境的待檢測(cè)二維rgb圖像輸入所述應(yīng)用于溫室番茄生長(zhǎng)環(huán)境語(yǔ)義分割神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行處理，得到所述待檢測(cè)二維rgb圖像中所有像素點(diǎn)的語(yǔ)義類別信息s：

8、s＝{sx，y|sx，y＝ki，x∈[0，w-1]，y∈[0,h-1],i＝1,2,...}

9、其中，sx，y為所述待檢測(cè)二維rgb圖像中像素坐標(biāo)為(x，y)的像素點(diǎn)的語(yǔ)義類別信息，ki為所述溫室番茄生長(zhǎng)環(huán)境的第i個(gè)語(yǔ)義類別，w為所述待檢測(cè)二維rgb圖像的像素寬度，h為所述待檢測(cè)圖像的像素高度；

10、步驟1.4、對(duì)所述待檢測(cè)二維rgb圖像對(duì)應(yīng)的深度圖像，進(jìn)行所述深度圖像點(diǎn)云化處理，得到所述待檢測(cè)二維rgb圖像對(duì)應(yīng)的所述溫室番茄生長(zhǎng)環(huán)境的三維點(diǎn)云數(shù)據(jù)p：

11、

12、其中,pj為所述待檢測(cè)二維rgb圖像中第j個(gè)像素點(diǎn)的三維位置信息，d(x，y)為所述像素點(diǎn)在深度圖像中的深度信息，(cx，cy)為拍攝所述待檢測(cè)二維rgb圖像的相機(jī)的主點(diǎn)，f為拍攝所述待檢測(cè)二維rgb圖像的深度相機(jī)的焦距；

13、步驟2、根據(jù)所述語(yǔ)義類別信息s，對(duì)所述三維點(diǎn)云數(shù)據(jù)p進(jìn)行可視化處理；

14、步驟2.1、根據(jù)所述語(yǔ)義類別信息s，使用一組視覺對(duì)比效果顯著的配色方案，將所述三維點(diǎn)云數(shù)據(jù)p調(diào)整為與所述配色方案反映的語(yǔ)義類別信息對(duì)應(yīng)的三維點(diǎn)云數(shù)據(jù)p′；

15、步驟2.2、基于統(tǒng)計(jì)學(xué)方法，對(duì)所述三維點(diǎn)云數(shù)據(jù)p′進(jìn)行離群濾波處理，得到降低噪聲的三維點(diǎn)云數(shù)據(jù)p″；

16、步驟3、將所述三維語(yǔ)義點(diǎn)云數(shù)據(jù)p″輸入到地圖構(gòu)建節(jié)點(diǎn)，所述地圖建立節(jié)點(diǎn)根據(jù)所述三維語(yǔ)義點(diǎn)云數(shù)據(jù)p″和當(dāng)前時(shí)刻其坐標(biāo)系在世界坐標(biāo)系下的空間姿態(tài)，對(duì)基于八叉樹的柵格地圖子節(jié)點(diǎn)進(jìn)行更新與維護(hù)，生成三維占有率地圖；

17、步驟4、根據(jù)所述語(yǔ)義類別信息s，定義并計(jì)算當(dāng)前觀測(cè)已知程度ρ：

18、

19、其中，為所述待檢測(cè)二維rgb圖像第j個(gè)像素點(diǎn)信息的權(quán)重，對(duì)不具備語(yǔ)義信息的像素點(diǎn)取0，對(duì)具備語(yǔ)義信息的像素點(diǎn)取具備語(yǔ)義信息的像素總數(shù)量的倒數(shù)，d(x，y)為所述待檢測(cè)二維rgb圖像第j個(gè)像素點(diǎn)在深度圖像中的深度信息，dmax為所述具備語(yǔ)義信息的像素中深度信息的最大值。

20、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：

21、1.本發(fā)明提出的番茄生長(zhǎng)環(huán)境認(rèn)知評(píng)估方法，對(duì)記錄溫室番茄生長(zhǎng)環(huán)境的二維rgb-d圖像進(jìn)行處理，得到以rgb顏色反映語(yǔ)義類別的三維點(diǎn)云數(shù)據(jù)。使用深度學(xué)習(xí)對(duì)大量番茄生長(zhǎng)環(huán)境語(yǔ)義分割數(shù)據(jù)集訓(xùn)練得到語(yǔ)義分割模型，訓(xùn)練中僅使用二維rgb圖片作為輸入，以語(yǔ)義分割結(jié)果和深度圖像生成三維點(diǎn)云信息，降低程序計(jì)算量，具有準(zhǔn)確率高、實(shí)時(shí)性好、后處理便捷的特點(diǎn)。面對(duì)溫室中光線變化、背景噪聲和植株輕幅晃動(dòng)的實(shí)地環(huán)境具有良好的抗干擾能力，做到實(shí)時(shí)維護(hù)溫室番茄生長(zhǎng)環(huán)境全景語(yǔ)義地圖，能夠在rgb-d圖像受干擾較大的情況下發(fā)揮作用。

22、2.本發(fā)明基于八叉樹地圖和深度相機(jī)成像原理，解決作業(yè)環(huán)境已知程度評(píng)估問(wèn)題。本發(fā)明的八叉樹地圖累計(jì)多幀圖像處理結(jié)果，用于指導(dǎo)采摘機(jī)器人在未完全觀測(cè)的溫室環(huán)境中進(jìn)行任務(wù)路徑規(guī)劃，利用深度相機(jī)成像原理定義并計(jì)算單幀圖像已獲得信息所占比重，為解決農(nóng)業(yè)作業(yè)環(huán)境已知程度評(píng)估問(wèn)題做出了嘗試。

23、3.本發(fā)明為實(shí)現(xiàn)自動(dòng)化采摘作業(yè)提供了更全面的環(huán)境信息，有利于指導(dǎo)采摘機(jī)器人進(jìn)行更合理的路徑規(guī)劃，為實(shí)現(xiàn)精準(zhǔn)采摘提供了可能。

技術(shù)特征：

1.一種番茄生長(zhǎng)環(huán)境認(rèn)知評(píng)估方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的番茄生長(zhǎng)環(huán)境認(rèn)知評(píng)估方法，其特征在于，所述步驟2包括：

3.根據(jù)權(quán)利要求1所述的番茄生長(zhǎng)環(huán)境認(rèn)知評(píng)估方法，其特征在于，所述步驟3還包括：將多幀所述三維語(yǔ)義點(diǎn)云數(shù)據(jù)p″融合，構(gòu)建并維護(hù)番茄生長(zhǎng)環(huán)境的三維語(yǔ)義地圖。

4.根據(jù)權(quán)利要求1所述的番茄生長(zhǎng)環(huán)境認(rèn)知評(píng)估方法，其特征在于，步驟4包括：基于雙目測(cè)距原理，對(duì)當(dāng)前番茄生長(zhǎng)環(huán)境進(jìn)行已知程度估算。

技術(shù)總結(jié)
本發(fā)明涉及一種番茄生長(zhǎng)環(huán)境認(rèn)知評(píng)估方法，該方法包括：制定基于深度學(xué)習(xí)和八叉樹地圖的三維語(yǔ)義地圖生成策略，包括應(yīng)用于番茄生長(zhǎng)環(huán)境的語(yǔ)義分割神經(jīng)網(wǎng)絡(luò)模型和以三維點(diǎn)云為輸入的地圖構(gòu)建節(jié)點(diǎn)；將番茄生長(zhǎng)環(huán)境中的物體劃分語(yǔ)義類別；獲取語(yǔ)義分割模型的最后一層輸出的包含所有像素點(diǎn)的語(yǔ)義分類結(jié)果的輸出信息；根據(jù)語(yǔ)義分類結(jié)果信息和深度圖像信息生成攜帶語(yǔ)義信息的三維點(diǎn)云數(shù)據(jù)；根據(jù)統(tǒng)計(jì)學(xué)方法對(duì)三維點(diǎn)云數(shù)據(jù)進(jìn)行離群濾波；將濾波后的三維語(yǔ)義點(diǎn)云數(shù)據(jù)輸入到地圖構(gòu)建節(jié)點(diǎn)以生成三維占有率地圖；根據(jù)農(nóng)業(yè)任務(wù)需求對(duì)語(yǔ)義信息和點(diǎn)云數(shù)據(jù)進(jìn)行處理以計(jì)算番茄生長(zhǎng)環(huán)境已知程度，本發(fā)明能有效實(shí)現(xiàn)番茄生長(zhǎng)環(huán)境三維語(yǔ)義地圖構(gòu)建和已知程度評(píng)估。

技術(shù)研發(fā)人員：張俊雄,張宇,鄭夏俊,咼佳揚(yáng)
受保護(hù)的技術(shù)使用者：中國(guó)農(nóng)業(yè)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2