本發(fā)明涉及人工智能，具體涉及一種機(jī)器人草莓采摘擬人操作數(shù)據(jù)收集設(shè)備及其數(shù)據(jù)處理方法。

背景技術(shù)：

1、雖然自1998年以來，許多研究人員已經(jīng)研究了草莓的機(jī)器人收獲，設(shè)計(jì)了多種根據(jù)程序來進(jìn)行自動化草莓采摘的機(jī)器人，但目前還沒有商業(yè)化的草莓收獲機(jī)器人系統(tǒng)。其中很重要的原因是農(nóng)業(yè)機(jī)器人在進(jìn)行草莓采摘時(shí)面臨在復(fù)雜的非結(jié)構(gòu)化生物環(huán)境下操作可形變操作對象，在這樣充滿剛?cè)峄旌险系K物并無法精準(zhǔn)的操作空間下安全操作的是非常困難的。不僅要感知目標(biāo)果實(shí)，還要感知整個(gè)復(fù)雜場景，充分理解葉子、蒸汽、果實(shí)、障礙物以及它們之間的空間關(guān)系，所有物體的物理性質(zhì)也需要最終計(jì)算出一種策略，避免障礙物，推開雜亂的軟物體，并到達(dá)目標(biāo)果實(shí)莖上正上方花萼的精確采摘點(diǎn)。這在機(jī)器人各個(gè)方面都提出了巨大的挑戰(zhàn)，包括場景理解、深度估計(jì)、軌跡規(guī)劃和控制，這些都處于或超越了當(dāng)前最先進(jìn)的機(jī)器人系統(tǒng)的水平。然而，最近出現(xiàn)的新一代模仿學(xué)習(xí)方法，包括動作分塊transformer(act)和擴(kuò)散策略方法(dp)革命性地解決了機(jī)器人操縱的長期難題，該難題需要與非標(biāo)準(zhǔn)非剛性物體進(jìn)行細(xì)粒度的視覺閉環(huán)交互。以前非常困難的機(jī)器人技能，如折疊衣服、穿線束、倒醬汁和在披薩面團(tuán)上涂抹，現(xiàn)在可以通過學(xué)習(xí)人的示教操作來讓機(jī)器人掌握復(fù)雜的技能，這也為通過模仿人類操作來讓機(jī)器人學(xué)會草莓采摘提供了新的可能。

2、但是在這一類模仿學(xué)習(xí)的中，人的示教數(shù)據(jù)的獲取至為關(guān)鍵，當(dāng)前的業(yè)界和學(xué)術(shù)界一般通過孿生的機(jī)械臂進(jìn)行數(shù)據(jù)收集，這樣的數(shù)據(jù)收集裝置具有和機(jī)械臂相同的尺寸和自由度，由人直接在現(xiàn)場進(jìn)行遙操作來進(jìn)行機(jī)器人操作的數(shù)據(jù)收集，好處在于這套系統(tǒng)能夠完全復(fù)刻機(jī)器人操作并且獲取每一個(gè)關(guān)節(jié)的角度信息以利于之后的模仿學(xué)習(xí)過程，但是這樣的系統(tǒng)受限于成本、提及和數(shù)據(jù)采集的方便性，只能進(jìn)行小范圍小規(guī)模的數(shù)據(jù)采集，并且這樣的系統(tǒng)很難走出實(shí)驗(yàn)室空間到狹小逼仄且復(fù)雜的農(nóng)業(yè)場景進(jìn)行使用。

3、另一類的數(shù)據(jù)收集方法是通過vr設(shè)備進(jìn)行遙操作，機(jī)器人示教員佩戴vr頭顯，通過vr設(shè)備識別人的手臂及手指(或者vr手柄)位姿并且映射到機(jī)器人的執(zhí)行器姿態(tài)來收集機(jī)器人操作數(shù)據(jù)。這一類的遙操作數(shù)據(jù)收集系統(tǒng)具備體積小且可商品化的優(yōu)點(diǎn)，但是其也存在著力反饋缺失、操作員空間感受與實(shí)際存在差距、只適配人形機(jī)器人的缺點(diǎn)，并且目前精度足夠的vr設(shè)備價(jià)格依然很高(一般為apple?vision?pro)。

4、因此目前需要一套能夠?qū)崿F(xiàn)低成本、輕便且能夠大規(guī)模在農(nóng)業(yè)場景中收集能夠提供給機(jī)器人學(xué)習(xí)的人工操作數(shù)據(jù)的收集裝置。這套裝置的目標(biāo)是能夠不與具體的機(jī)器人綁定，能夠通過大批量的分發(fā)給草莓采摘工人，大量草莓采摘工人通過該設(shè)備實(shí)際的進(jìn)行草莓采摘，采摘的操作數(shù)據(jù)在這個(gè)過程中被記錄下來并且通過一系列的數(shù)據(jù)處理方法恢復(fù)成三維空間的機(jī)械臂執(zhí)行器末端軌跡數(shù)據(jù)及執(zhí)行器開度數(shù)據(jù)，從而使得這樣的數(shù)據(jù)能夠作為機(jī)器人模仿學(xué)習(xí)草莓采摘的可用數(shù)據(jù)，通過這種設(shè)備能夠構(gòu)建一個(gè)遠(yuǎn)大于當(dāng)前模仿學(xué)習(xí)數(shù)據(jù)集所擁有數(shù)據(jù)數(shù)量級的機(jī)器人草莓采摘?jiǎng)幼鲾?shù)據(jù)集，從而通過數(shù)據(jù)驅(qū)動讓機(jī)器人學(xué)會草莓采摘操作。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明目的在于通過創(chuàng)新的硬件和算法方案構(gòu)建一套用于訓(xùn)練機(jī)器人進(jìn)行草莓采摘作業(yè)的擬人模仿學(xué)習(xí)數(shù)據(jù)采集裝置，該裝置和對應(yīng)算法的目標(biāo)是能夠低成本大規(guī)模的通過實(shí)際人工草莓采摘的工作收集并且處理產(chǎn)生大量三維空間的機(jī)械臂執(zhí)行器末端軌跡數(shù)據(jù)及執(zhí)行器開度數(shù)據(jù)作為機(jī)器人模仿學(xué)習(xí)草莓采摘的可用數(shù)據(jù)，從而驅(qū)動機(jī)器人具身智能算法訓(xùn)練。

2、基于上述的目的，本發(fā)明提供了一種機(jī)器人草莓采摘擬人操作數(shù)據(jù)收集設(shè)備，包括：安裝平臺；手持握把，設(shè)于所述安裝平臺的下方；

3、采摘執(zhí)行器結(jié)構(gòu)，設(shè)于所述安裝平臺的上方前端，包括一對伸出所述安裝平臺的采摘指，每個(gè)采摘指通過一個(gè)安裝座與所述安裝平臺滑動連接，所述安裝平臺上設(shè)有兩組滑軌，兩個(gè)安裝座上分別設(shè)有與其中一組滑軌配合的滑塊；兩個(gè)安裝座各設(shè)有一個(gè)向下伸過所述安裝平臺的操作桿；每個(gè)安裝座上還設(shè)有一個(gè)執(zhí)行器開度定位輔助標(biāo)簽；

4、雙目相機(jī)，設(shè)于所述安裝平臺上，所述雙目相機(jī)的視場角度能夠看到所述采摘指和執(zhí)行器開度定位輔助標(biāo)簽；所述雙目相機(jī)中內(nèi)置慣性測量單元(imu)，用于采集慣性測量單元數(shù)據(jù)；

5、使用時(shí)，操作者手持所述手持握把，并通過操作桿控制兩個(gè)采摘指移動，再由所述雙目相機(jī)采集所述采摘指的開度和空間姿態(tài)信息。

6、本設(shè)備裝備空間姿態(tài)傳感器：1、雙目相機(jī)；2、imu。imu內(nèi)置在雙目相機(jī)的內(nèi)部，所以采集的初級數(shù)據(jù)為雙目視頻+imu數(shù)據(jù)，經(jīng)過處理后獲得的次級信息為：1.開度信息；2.空間位姿信息。

7、優(yōu)選的，所述雙目相機(jī)設(shè)于所述安裝平臺的上方后端?？梢源_保相機(jī)具有更好的視野來捕捉采摘指和執(zhí)行器開度定位輔助標(biāo)簽的動態(tài)變化。這種布局有助于減少視野盲區(qū)，提高數(shù)據(jù)采集的準(zhǔn)確性和完整性。

8、進(jìn)一步地，所述雙目相機(jī)通過雙目相機(jī)安裝座安裝在所述安裝平臺上，所述雙目相機(jī)安裝座包括水平安裝板和豎直安裝板；

9、所述安裝平臺上設(shè)有第一固定螺孔，所述水平安裝板上設(shè)有沿前后方向延伸的第一腰型孔，所述雙目相機(jī)安裝座通過穿過所述第一腰型孔并與所述第一固定螺孔配合的第一螺栓固定；

10、所述雙目相機(jī)背面設(shè)有第二固定螺孔，所述豎直安裝板上設(shè)有沿豎直方向延伸的第二腰型孔，所述雙目相機(jī)安裝座通過穿過所述第二腰型孔并與所述第二固定螺孔配合的第二螺栓固定。

11、上述設(shè)置提供了更大的靈活性和可調(diào)節(jié)性，通過腰型孔和螺栓的配合，可以方便地固定和調(diào)整雙目相機(jī)的位置，同時(shí)保證安裝的牢固性。這種設(shè)計(jì)既提供了靈活性，又確保了采集過程中的穩(wěn)定性。

12、優(yōu)選的，每組所述滑軌為一條，兩條所述滑軌成線性排列成一排，并且兩條所述滑軌相連在一起或兩條之間具有間隔；

13、所述安裝平臺上還設(shè)有擋塊，所述擋塊位于兩個(gè)安裝座中間、用于對兩個(gè)安裝座在相互靠近方向進(jìn)行限位，限制了采摘指過度靠近，防止了潛在的損壞或干擾。

14、優(yōu)選的，兩個(gè)所述操作桿位于所述手持握把的上前方，使用時(shí)，操作者單手手持所述手持握把并操作兩個(gè)所述操作桿移動，提高了操作的便捷性和效率，使得數(shù)據(jù)采集過程更加流暢。

15、優(yōu)選的，在本發(fā)明中所述安裝平臺上還設(shè)有用于將兩個(gè)所述操作桿自動復(fù)位到相互遠(yuǎn)離位置的復(fù)位牛筋或復(fù)位彈簧，減少人工干預(yù)，提高了數(shù)據(jù)采集的連續(xù)性和效率。

16、優(yōu)選的，每個(gè)所述安裝座上具有一個(gè)向上伸出的標(biāo)簽設(shè)置板，所述標(biāo)簽設(shè)置板朝向所述雙目相機(jī)一側(cè)設(shè)有執(zhí)行器開度定位輔助標(biāo)簽。

17、本發(fā)明所述機(jī)器人草莓采摘擬人操作數(shù)據(jù)收集設(shè)備還包括數(shù)據(jù)處理儀，所述數(shù)據(jù)處理儀通過數(shù)據(jù)線連接所述雙目相機(jī)并存儲雙目相機(jī)采集到的信息。

18、本發(fā)明還提供了一種機(jī)器人草莓采摘擬人操作數(shù)據(jù)處理方法，使用所述機(jī)器人草莓采摘擬人操作數(shù)據(jù)收集設(shè)備來采集草莓采摘擬人操作數(shù)據(jù)，收集的數(shù)據(jù)處理獲得兩個(gè)所述采摘指的開度信息以及空間位姿信息，再加上所述雙目相機(jī)采集的視頻信息、imu數(shù)據(jù)信息，四方面數(shù)據(jù)信息均打上對應(yīng)的時(shí)間戳后組成草莓采摘機(jī)器人訓(xùn)練所需要的數(shù)據(jù)。

19、本發(fā)明的有益效果：

20、采用本發(fā)明套機(jī)器人草莓采摘擬人操作數(shù)據(jù)收集設(shè)備及其數(shù)據(jù)處理方法可以極大的提高機(jī)器人擬人數(shù)據(jù)的采集效率，與孿生臂相比，單人采集數(shù)據(jù)的效率提升十倍以上，并且可以低成本復(fù)制該采集設(shè)計(jì)并分發(fā)多人眾包采集數(shù)據(jù)而無需機(jī)器人實(shí)體。該設(shè)備的實(shí)時(shí)性也滿足實(shí)時(shí)同步遙控機(jī)器人?？偟膩碚f該擬人操作數(shù)據(jù)收集設(shè)備及其數(shù)據(jù)處理方法對構(gòu)建大規(guī)模的農(nóng)業(yè)草莓采摘機(jī)器人訓(xùn)練數(shù)據(jù)以及獲取具身智能機(jī)器人具有重要效率提升意義。