本公開的實(shí)施例總體上涉及用于基于視覺的植物檢測(cè)和偵察應(yīng)用技術(shù)的系統(tǒng)和方法。

背景技術(shù)：

1、作物顧問、農(nóng)民和種子經(jīng)銷商使用田地偵察應(yīng)用程序來(lái)確定作物狀況。偵察應(yīng)用程序允許用戶手動(dòng)地、在步行時(shí)或在車輛內(nèi)記錄感興趣區(qū)域或點(diǎn)。用戶可以用移動(dòng)裝置拍攝照片并且接收雜草侵?jǐn)_、氮狀態(tài)、葉片損傷、疾病辨識(shí)、害蟲監(jiān)測(cè)和出苗分析的結(jié)果。

技術(shù)實(shí)現(xiàn)思路

1、本文公開了用于基于視覺的植物檢測(cè)和偵察應(yīng)用技術(shù)的系統(tǒng)和方法。在本公開的一方面，提供了一種用于對(duì)農(nóng)田中的植物進(jìn)行偵察的計(jì)算機(jī)實(shí)現(xiàn)的方法，所述計(jì)算機(jī)實(shí)現(xiàn)的方法包括：響應(yīng)于用于啟動(dòng)對(duì)植物的偵察的連續(xù)過(guò)程的輸入，從裝置的一個(gè)或多個(gè)傳感器獲得圖像數(shù)據(jù)；分析來(lái)自所述圖像數(shù)據(jù)的一個(gè)或多個(gè)輸入圖像；生成投影到地平面上的二維（2d）參考點(diǎn)的網(wǎng)格以使用增強(qiáng)現(xiàn)實(shí)（ar）框架來(lái)創(chuàng)建一組匹配的三維（3d）錨點(diǎn)及其在所述農(nóng)田的3d空間中的位置。所述計(jì)算機(jī)實(shí)現(xiàn)的方法還包括：將所述一個(gè)或多個(gè)輸入圖像、網(wǎng)格和在所述農(nóng)田的所述3d空間中的所述位置提供給具有卷積神經(jīng)網(wǎng)絡(luò)（cnn）的機(jī)器學(xué)習(xí)（ml）模型；以及用所述ml模型生成包括檢測(cè)到的對(duì)象陣列的推理結(jié)果并且針對(duì)所述檢測(cè)到的對(duì)象陣列選擇最可能推理的植物位置和分類。

2、該方法包括機(jī)器學(xué)習(xí)模型、增強(qiáng)現(xiàn)實(shí)以及可選地計(jì)算機(jī)視覺生物檢測(cè)來(lái)在三維空間中檢測(cè)和繪制植物，以用于增強(qiáng)的作物偵察工具。

3、本公開的又一方面包括使用對(duì)象跟蹤錨點(diǎn)來(lái)生成經(jīng)校正的推理結(jié)果位置以補(bǔ)償所述裝置在圖像捕獲期間的移動(dòng)。

4、本公開的又一方面包括使用所述增強(qiáng)現(xiàn)實(shí)（ar）框架將經(jīng)校正的推理結(jié)果位置投影到所述3d空間中。

5、本公開的又一方面包括基于所述經(jīng)校正的推理位置的位置在所述3d空間中創(chuàng)建植物標(biāo)記，以及將所述植物標(biāo)記分為要識(shí)別的目標(biāo)植物和其他非目標(biāo)植物。

6、本公開的又一方面包括：將所述目標(biāo)植物的位置輸入到行檢測(cè)和跟蹤算法中，以檢測(cè)所述農(nóng)田中的所述目標(biāo)植物的線性行并且將所述目標(biāo)植物的所述位置分組到所述線性行；基于行跟蹤結(jié)果的移動(dòng)窗口來(lái)確定預(yù)測(cè)的行方向向量和在相鄰行之間等距的中央位置；使用所述預(yù)測(cè)的行方向向量來(lái)投影所述相鄰行之間的估計(jì)的中央位置；將所述目標(biāo)植物的位置轉(zhuǎn)換為是相對(duì)于所述預(yù)測(cè)的中央位置并且投影到與在一定角度范圍內(nèi)的所述預(yù)測(cè)的行方向向量正交的軸線上；以及使用核密度估計(jì)來(lái)分析每個(gè)角度的投影以確定每個(gè)相鄰行的方向和間隔。

7、本公開的又一方面包括使用模糊邏輯規(guī)則集來(lái)處理所有植物以確定是將目標(biāo)植物或行添加到現(xiàn)有行還是基于所述模糊邏輯規(guī)則集和過(guò)濾來(lái)丟棄推理結(jié)果，其中如果檢測(cè)到的植物定位成與所述裝置相距超過(guò)設(shè)定的距離，則丟棄檢測(cè)到的植物。

8、本公開的又一方面包括在針對(duì)植物的推理結(jié)果的植物位置確定新檢測(cè)后，向所述ar框架的所述3d空間添加標(biāo)簽和標(biāo)記，其中所述標(biāo)簽和所述標(biāo)記在所述裝置的顯示器上對(duì)用戶可見。

9、本公開的又一方面包括所述標(biāo)簽指示所述植物的生長(zhǎng)階段，并且還將所述植物與鄰近植物之間的間隔添加到所述ar框架的所述3d空間以指示對(duì)種植的評(píng)估。

10、本公開的又一方面包括在檢測(cè)到新的行或植物后，經(jīng)由最短的可能路徑來(lái)連接所述行中的植物，以及將所述連接和在鄰近植物之間的間隔距離顯示到所述裝置的所述顯示器。

11、本公開的又一方面包括所述裝置為邊緣裝置以確定作物出苗水平和行中的鄰近植物之間的間隔。

12、在本公開的一方面，提供了一種計(jì)算裝置，所述計(jì)算裝置包括：顯示裝置，所述顯示裝置用于顯示用戶界面以展示存在于農(nóng)田中的植物，所述植物用計(jì)算機(jī)生成的感知信息進(jìn)行增強(qiáng)以用于對(duì)所述植物的偵察；以及處理器，所述處理器耦合到所述顯示裝置。所述處理器被配置為：從一個(gè)或多個(gè)傳感器獲得圖像數(shù)據(jù)；分析來(lái)自所述圖像數(shù)據(jù)的一個(gè)或多個(gè)輸入圖像；使用增強(qiáng)現(xiàn)實(shí)（ar）框架來(lái)生成三維（3d）錨點(diǎn)及其在所述農(nóng)田的3d空間中的位置；將所述一個(gè)或多個(gè)輸入圖像和在所述農(nóng)田的所述3d空間中的所述位置提供給具有卷積神經(jīng)網(wǎng)絡(luò)（cnn）的機(jī)器學(xué)習(xí)（ml）模型；以及用所述ml模型生成包括檢測(cè)到的對(duì)象陣列的推理結(jié)果并且針對(duì)所述檢測(cè)到的對(duì)象陣列選擇最可能推理的植物位置和分類。

13、本公開的又一方面包括所述處理器被配置為使用對(duì)象跟蹤錨點(diǎn)來(lái)生成經(jīng)校正的推理結(jié)果位置以補(bǔ)償所述裝置在圖像捕獲期間的移動(dòng)。

14、本公開的又一方面包括所述處理器被配置為使用所述增強(qiáng)現(xiàn)實(shí)（ar）框架將經(jīng)校正的推理結(jié)果位置投影到所述3d空間中。

15、本公開的又一方面包括所述處理器被配置為基于所述經(jīng)校正的推理結(jié)果位置的位置在所述3d空間中創(chuàng)建植物標(biāo)記，以及將所述植物標(biāo)記分為要識(shí)別的目標(biāo)植物和其他非目標(biāo)植物。

16、本公開的又一方面包括所述處理器被配置為：將所述目標(biāo)植物的輸入位置提供到行檢測(cè)和跟蹤算法中，以檢測(cè)所述農(nóng)田中的所述目標(biāo)植物的線性行并且將所述目標(biāo)植物的所述位置分組到所述線性行；基于行跟蹤結(jié)果的移動(dòng)窗口來(lái)確定預(yù)測(cè)的行方向向量和在相鄰行之間等距的中央位置；使用所述預(yù)測(cè)的行方向向量來(lái)投影所述相鄰行之間的估計(jì)的中央位置；將所述目標(biāo)植物的位置轉(zhuǎn)換為是相對(duì)于所述預(yù)測(cè)的中央位置并且投影到與在一定角度范圍內(nèi)的所述預(yù)測(cè)的行方向向量正交的軸線上；以及使用核密度估計(jì)來(lái)分析每個(gè)角度的投影以確定每個(gè)相鄰行的方向和間隔。

17、本公開的又一方面包括所述處理器被配置為使用模糊邏輯規(guī)則集來(lái)處理所有植物以確定是將目標(biāo)植物或行添加到現(xiàn)有行還是基于所述模糊邏輯規(guī)則集和過(guò)濾來(lái)丟棄推理結(jié)果。

18、本公開的又一方面包括所述處理器被配置為在針對(duì)植物的推理結(jié)果的植物位置確定新檢測(cè)后，向所述ar框架的所述3d空間添加標(biāo)簽和標(biāo)記，其中所述標(biāo)簽和所述標(biāo)記在所述裝置的顯示器上對(duì)用戶可見。

19、本公開的又一方面包括所述標(biāo)簽指示所述植物的生長(zhǎng)階段，并且還將所述植物與鄰近植物之間的間隔添加到所述ar框架的所述3d空間以指示對(duì)種植的評(píng)估。

20、本公開的又一方面包括所述標(biāo)簽將所述間隔表征為良好間隔、放錯(cuò)的種子間隔和跳過(guò)的種子間隔中的一者。

21、本公開的又一方面包括所述處理器被配置為在檢測(cè)到新的行或植物后，經(jīng)由最短的可能路徑來(lái)連接所述行中的植物。所述顯示裝置被配置為顯示所述連接和在鄰近植物之間的間隔距離。

22、在本申請(qǐng)的范圍內(nèi)，應(yīng)當(dāng)理解，本文闡述的各個(gè)方面、實(shí)施例、示例和替代方案及其各個(gè)特征可以獨(dú)立地或以任何可能和兼容的組合采用。在參考單個(gè)方面或?qū)嵤├枋鎏卣鞯那闆r下，應(yīng)當(dāng)理解，除非另有說(shuō)明或此類特征不兼容，否則此類特征適用于所有方面和實(shí)施例。

技術(shù)特征：

1.一種用于對(duì)農(nóng)田中的植物進(jìn)行偵察的計(jì)算機(jī)實(shí)現(xiàn)的方法，包括：

2.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，還包括：

3.根據(jù)權(quán)利要求2所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，還包括：

4.根據(jù)權(quán)利要求3所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，還包括：

5.根據(jù)權(quán)利要求4所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，還包括：

6.根據(jù)權(quán)利要求5所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，還包括：

7.根據(jù)權(quán)利要求6所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，還包括：

8.根據(jù)權(quán)利要求7所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述標(biāo)簽指示所述植物的生長(zhǎng)階段，并且還將所述植物與鄰近植物之間的間隔添加到所述ar框架的所述3d空間以指示對(duì)種植的評(píng)估。

9.根據(jù)權(quán)利要求8所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，還包括：

10.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述裝置包括邊緣裝置以確定作物出苗水平和行中的鄰近植物之間的間隔。

11.一種計(jì)算機(jī)裝置，包括：

12.根據(jù)權(quán)利要求11所述的計(jì)算裝置，其中所述處理器被配置為使用對(duì)象跟蹤錨點(diǎn)來(lái)生成經(jīng)校正的推理結(jié)果位置以補(bǔ)償所述計(jì)算裝置在圖像捕獲期間的移動(dòng)。

13.根據(jù)權(quán)利要求12所述的計(jì)算裝置，其中所述處理器被配置為使用所述增強(qiáng)現(xiàn)實(shí)（ar）框架將經(jīng)校正的推理結(jié)果位置投影到所述3d空間中。

14.根據(jù)權(quán)利要求13所述的計(jì)算裝置，其中所述處理器被配置為基于所述經(jīng)校正的推理結(jié)果位置的位置在所述3d空間中創(chuàng)建植物標(biāo)記，以及將所述植物標(biāo)記分為要識(shí)別的目標(biāo)植物和其他非目標(biāo)植物。

15.根據(jù)權(quán)利要求14所述的計(jì)算裝置，其中所述處理器被配置為：

16.根據(jù)權(quán)利要求15所述的計(jì)算裝置，其中所述處理器被配置為使用模糊邏輯規(guī)則集來(lái)處理所有植物以確定是將目標(biāo)植物或行添加到現(xiàn)有行還是基于所述模糊邏輯規(guī)則集和過(guò)濾來(lái)丟棄推理結(jié)果。

17.根據(jù)權(quán)利要求16所述的計(jì)算裝置，其中所述處理器被配置為在針對(duì)植物的推理結(jié)果的植物位置確定新檢測(cè)后，向所述ar框架的所述3d空間添加標(biāo)簽和標(biāo)記，其中所述標(biāo)簽和所述標(biāo)記在所述裝置的顯示器上對(duì)用戶可見。

18.根據(jù)權(quán)利要求17所述的計(jì)算裝置，其中所述標(biāo)簽指示所述植物的生長(zhǎng)階段，并且還將所述植物與鄰近植物之間的間隔添加到所述ar框架的所述3d空間以指示對(duì)種植的評(píng)估。

19.根據(jù)權(quán)利要求18所述的計(jì)算裝置，其中所述標(biāo)簽將所述間隔表征為良好間隔、放錯(cuò)的種子間隔和跳過(guò)的種子間隔中的一者。

20.根據(jù)權(quán)利要求18所述的計(jì)算裝置，其中所述處理器被配置為在檢測(cè)到新的行或植物后，經(jīng)由最短的可能路徑來(lái)連接所述行中的植物，其中所述顯示裝置被配置為顯示所述連接和在鄰近植物之間的間隔距離。

技術(shù)總結(jié)
在一個(gè)實(shí)施例中，一種方法包括：響應(yīng)于用于啟動(dòng)用于偵察的連續(xù)過(guò)程的輸入，從裝置的一個(gè)或多個(gè)傳感器獲得圖像數(shù)據(jù)；分析來(lái)自所述圖像數(shù)據(jù)的一個(gè)或多個(gè)輸入圖像，生成投影到地平面上的二維（2D）參考點(diǎn)的網(wǎng)格以使用增強(qiáng)現(xiàn)實(shí)（AR）來(lái)創(chuàng)建一組匹配的三維（3D）錨點(diǎn)及其在農(nóng)田的3D空間中的位置；將所述一個(gè)或多個(gè)輸入圖像、跟蹤網(wǎng)格和在所述農(nóng)田的所述3D空間中的所述位置提供給具有卷積神經(jīng)網(wǎng)絡(luò)（CNN）的機(jī)器學(xué)習(xí)（ML）模型；以及用所述ML模型生成包括檢測(cè)到的對(duì)象陣列的推理結(jié)果并且針對(duì)所述檢測(cè)到的對(duì)象陣列選擇最可能推理的植物位置和分類。

技術(shù)研發(fā)人員：R·P·達(dá)維多維奇,B·郭,M·A·洛克特
受保護(hù)的技術(shù)使用者：精密種植有限責(zé)任公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6