本公開涉及機器人，具體而言，涉及一種定位方法、裝置、計算設(shè)備和程序產(chǎn)品。

背景技術(shù)：

1、智能倉儲作為物流管理中的重要過程，通過合理地使用智能倉儲能夠有效提高貨物管理效率。在智能倉儲中，貨物盤點作為一個重要的任務(wù)，通過需要使用各種盤點機器人執(zhí)行該任務(wù)。但是，當前在使用機器人執(zhí)行盤點任務(wù)時，通過存在機器人定位不準的問題，影響了貨物盤點的效率和準確性。

技術(shù)實現(xiàn)思路

1、本公開實施例至少提供一種定位方法、裝置、計算設(shè)備和程序產(chǎn)品。

2、第一方面，本公開實施例提供了一種定位方法，包括：

3、在機器人在貨倉中移動的過程中，按照定位頻率，獲取每次定位所需使用的目標圖像、目標點云數(shù)據(jù)和目標慣性測試單元imu數(shù)據(jù)；

4、從所述目標圖像中提取出圖像特征點，并將所述目標點云數(shù)據(jù)中的點云點的深度值賦值至所述圖像特征點，得到深度特征點，以及從所述目標點云數(shù)據(jù)中提取出點云特征點；

5、根據(jù)目標imu數(shù)據(jù)確定imu里程計因子，并根據(jù)所述深度特征點和所述imu里程計因子，確定在imu約束下的相機imu里程計因子，以及根據(jù)所述點云特征點和所述imu里程計因子，確定在imu約束下的雷達imu里程計因子；

6、根據(jù)所述imu里程計因子、所述相機imu里程計因子和所述雷達imu里程計因子，確定所述機器人在世界坐標系下的目標位姿。

7、該實施方式，通過融合多種傳感器下的數(shù)據(jù)對機器人在貨倉中的位置進行定位，且在定位時通過構(gòu)建相機-imu子系統(tǒng)、雷達-imu子系統(tǒng)，結(jié)合imu數(shù)據(jù)對相機位姿和雷達位姿進行優(yōu)化和約束，可以提高得到的相機里程計因子和雷達里程計因子的準確性。然后再利用雷達里程計因子、相機里程計因子和imu里程計因子機器人位姿的確定，可以實現(xiàn)將機器人在imu坐標系下的位姿，準確轉(zhuǎn)換至世界坐標系下，得到機器人在世界坐標系下的準確位姿。整個定位過程，通過結(jié)合多傳感器下的數(shù)據(jù)并使用這些數(shù)據(jù)進行相互約束來實現(xiàn)定位，可以有效提高機器人的定位精度。

8、在一種可能的實施方式中，所述按照定位頻率，獲取每次定位所需使用的目標圖像、目標點云數(shù)據(jù)和目標慣性測試單元imu數(shù)據(jù)，包括：

9、當機器人在貨倉中移動時，獲取所述機器人上的相機按照圖像采集頻率采集的各幀初始圖像、所述機器人上的imu設(shè)備按照imu采集頻率采集的各條初始imu數(shù)據(jù)，以及所述機器人上的激光雷達按照點云采集頻率采集的各幀初始點云數(shù)據(jù)；所述圖像采集頻率低于所述imu采集頻率，所述點云采集頻率低于所述圖像采集頻率；所述定位頻率高于所述點云采集頻率且低于所述圖像采集頻率；

10、在根據(jù)定位頻率確定出非首次定位時，從所述初始圖像中，確定在該次定位和上一次定位之間的各幀目標圖像，以及從所述初始imu數(shù)據(jù)中，確定在該次定位和上一次定位之間的各條目標imu數(shù)據(jù)，以及從所述初始點云數(shù)據(jù)中，確定在該次定位之前采集的目標點云數(shù)據(jù)。

11、在一種可能的實施方式中，所述方法還包括：

12、在根據(jù)定位頻率確定出首次定位時，從所述初始imu數(shù)據(jù)中，獲取首次定位所需使用的目標imu數(shù)據(jù)；

13、根據(jù)所述目標imu數(shù)據(jù)確定首次定位對應(yīng)的imu里程計因子，并將首次定位對應(yīng)的imu里程計因子，作為首次定位的相機imu里程計因子和雷達imu里程計因子。

14、在一種可能的實施方式中，所述從所述目標圖像中提取出圖像特征點，并將所述目標點云數(shù)據(jù)中的點云點的深度值賦值至所述圖像特征點，得到深度特征點，包括：

15、從各幀所述目標圖像中，確定采集時間與所述目標點云數(shù)據(jù)最接近的待投影圖像，并從所述待投影圖像中提取出圖像特征點；

16、將所述目標點云數(shù)據(jù)中的各個點云點重投影至所述待投影圖像，得到各個投影特征點；

17、根據(jù)各個投影特征點的深度信息和位置，為所述待投影圖像中的各個圖像特征點賦值深度值，得到各個深度特征點。

18、在一種可能的實施方式中，所述imu里程計因子包括對待使用imu數(shù)據(jù)進行預(yù)積分處理得到的第一imu里程計因子；所述待使用imu數(shù)據(jù)為采集時間位于所述待投影圖像的采集時間和所述待投影圖像的相鄰目標圖像的采集時間之間的目標imu數(shù)據(jù)；

19、根據(jù)所述深度特征點和所述imu里程計因子，確定在imu約束下的相機imu里程計因子，包括：

20、從所述待投影圖像的相鄰目標圖像中提取圖像特征點，并根據(jù)所述待投影圖像的深度特征點、以及所述相鄰目標圖像的圖像特征點，確定所述相機在當前次定位下的相機里程計因子；

21、根據(jù)所述第一imu里程計因子和所述相機里程計因子，確定在imu約束下的相機imu里程計因子。

22、在一種可能的實施方式中，所述根據(jù)所述第一imu里程計因子和所述相機里程計因子，確定在imu約束下的相機imu里程計因子，包括：

23、根據(jù)當前次定位對應(yīng)的待投影圖像的圖像特征點，以及在當前次定位以前的各次定位對應(yīng)的待投影圖像的圖像特征點，確定是否存在與當前次定位對應(yīng)的待投影圖像相似的目標待投影圖像；

24、若是，則根據(jù)所述目標待投影圖像對應(yīng)的相機imu里程計因子、當前次定位下的相機里程計因子、以及所述第一imu里程計因子，確定所述相機在當前次定位下的相機imu里程計因子。

25、在一種可能的實施方式中，所述根據(jù)所述待投影圖像的深度特征點、以及所述相鄰目標圖像的圖像特征點，確定所述相機在當前次定位下的相機里程計因子，包括：

26、在所述目標圖像中，存在除所述待投影圖像和所述相鄰目標圖像以外的其他圖像的情況下，確定所述其他圖像的圖像特征點和所述待投影圖像的圖像特征點之間的相似度；

27、在所述相似度滿足預(yù)設(shè)相似度的情況下，根據(jù)所述其他圖像的圖像特征點和所述待投影圖像的深度特征點、以及所述相鄰目標圖像的圖像特征點，確定所述相機在當前次定位下的相機里程計因子。

28、在一種可能的實施方式中，所述根據(jù)所述第一imu里程計因子和所述相機里程計因子，確定在imu約束下的相機imu里程計因子，包括：

29、根據(jù)當前次定位對應(yīng)的第一imu里程計因子，以及在當前次定位以外的各次定位對應(yīng)的第一imu里程計因子，確定當前次定位對應(yīng)的第一預(yù)積分誤差；

30、根據(jù)所述待投影圖像中的各個圖像特征點和所述相機里程計因子，確定當前次定位對應(yīng)的重投影誤差；

31、以所述第一預(yù)積分誤差和所述重投影誤差的和最小為目標，確定在imu約束下的相機imu里程計因子。

32、在一種可能的實施方式中，所述imu里程計因子包括對所述目標imu數(shù)據(jù)進行預(yù)積分處理得到的第二imu里程計因子；

33、所述根據(jù)所述點云特征點和所述imu里程計因子，確定在imu約束下的雷達imu里程計因子，包括：

34、根據(jù)當前次定位對應(yīng)的點云特征點、以及當前次定位對應(yīng)已構(gòu)建的貨倉點云地圖，確定所述激光雷達的雷達里程計因子；

35、根據(jù)所述雷達里程計因子和所述第二imu里程計因子，確定在imu約束下的雷達imu里程計因子。

36、在一種可能的實施方式中，所述根據(jù)所述雷達里程計因子和所述第二imu里程計因子，確定在imu約束下的雷達imu里程計因子，包括：

37、根據(jù)當前次定位對應(yīng)的點云特征點，以及在當前次定位以前的各次定位對應(yīng)的點云特征點，確定是否存在與當前次定位對應(yīng)的目標點云數(shù)據(jù)相似的匹配點云數(shù)據(jù)；

38、若是，則根據(jù)當前次定位對應(yīng)的雷達里程計因子、所述匹配點云數(shù)據(jù)對應(yīng)的雷達imu里程計因子和所述第二imu里程計因子，確定在imu約束下的雷達imu里程計因子。

39、在一種可能的實施方式中，所述根據(jù)所述雷達里程計因子和所述第二imu里程計因子，確定在imu約束下的雷達imu里程計因子，包括：

40、根據(jù)當前次定位對應(yīng)的第二imu里程計因子，以及在當前次定位以外的各次定位對應(yīng)的第二imu里程計因子，確定當前次定位對應(yīng)的第二預(yù)積分誤差；

41、根據(jù)當前次定位對應(yīng)的雷達里程計因子和當前次定位對應(yīng)的點云特征點，確定當前次定位對應(yīng)的匹配誤差；

42、以所述第二預(yù)積分誤差和所述匹配誤差的和最小為目標，確定在imu約束下的雷達imu里程計因子。

43、在一種可能的實施方式中，在確定在imu約束下的雷達imu里程計因子之后，還包括：

44、根據(jù)當前次定位對應(yīng)的雷達imu里程計因子，對當前次定位對應(yīng)的點云特征點進行篩選，得到當前次定位對應(yīng)的篩選特征點；

45、根據(jù)當前次定位的篩選特征點，對已構(gòu)建的貨倉點云地圖進行補充，得到補充后的貨倉點云地圖；

46、響應(yīng)于定位結(jié)束，將最后一次定位對應(yīng)的補充后的貨倉點云地圖，作為所述貨倉的全局點云地圖。

47、在一種可能的實施方式中，所述從所述目標點云數(shù)據(jù)中提取出點云特征點，包括：

48、確定所述目標點云數(shù)據(jù)包括各條點云線和各條所述點云線中的點云點；

49、針對每條所述點云線，根據(jù)所述點云線中的每個點云點在雷達坐標系的坐標，確定所述點云線中的每個點云點的光滑度，并根據(jù)所述光滑度，確定所述點云線中的邊點和面點；

50、將各條所述點云線中的邊點和面點，作為所述點云特征點。

51、在一種可能的實施方式中，在確定點云特征點包括各條點云線和各條所述點云線中的點云點之前，還包括：

52、利用當前次定位對應(yīng)的目標imu數(shù)據(jù)，確定激光雷達在采集所述目標點云數(shù)據(jù)時的運動軌跡；

53、根據(jù)所述運動軌跡，對所述目標點云數(shù)據(jù)中的各個點云點的坐標進行去畸變處理。

54、在一種可能的實施方式中，在確定所述機器人在世界坐標系下的目標位姿之后，還包括：

55、根據(jù)每次定位得到的目標位姿，繪制所述機器人在所述貨倉中的移動軌跡。

56、第二方面，本公開實施例還提供一種定位裝置，包括：

57、獲取模塊，用于在機器人在貨倉中移動的過程中，按照定位頻率，獲取每次定位所需使用的目標圖像、目標點云數(shù)據(jù)和目標慣性測試單元imu數(shù)據(jù)；

58、提取模塊，用于從所述目標圖像中提取出圖像特征點，并將所述目標點云數(shù)據(jù)中的點云點的深度值賦值至所述圖像特征點，得到深度特征點，以及從所述目標點云數(shù)據(jù)中提取出點云特征點；

59、第一確定模塊，用于根據(jù)目標imu數(shù)據(jù)確定imu里程計因子，并根據(jù)所述深度特征點和所述imu里程計因子，確定在imu約束下的相機imu里程計因子，以及根據(jù)所述點云特征點和所述imu里程計因子，確定在imu約束下的雷達imu里程計因子；

60、第二確定模塊，用于根據(jù)所述imu里程計因子、所述相機imu里程計因子和所述雷達imu里程計因子，確定所述機器人在世界坐標系下的目標位姿。

61、第三方面，本公開可選實現(xiàn)方式還提供一種計算機設(shè)備，處理器、存儲器，所述存儲器存儲有所述處理器可執(zhí)行的機器可讀指令，所述處理器用于執(zhí)行所述存儲器中存儲的機器可讀指令，所述機器可讀指令被所述處理器執(zhí)行時執(zhí)行上述第一方面，或第一方面中任一種可能的實施方式中的步驟。

62、第四方面，本公開可選實現(xiàn)方式還提供一種計算機程序產(chǎn)品，該計算機可讀存儲介質(zhì)上存儲有計算機程序產(chǎn)品，該計算機程序產(chǎn)品被運行時執(zhí)行上述第一方面，或第一方面中任一種可能的實施方式中的步驟。

63、關(guān)于上述定位裝置、計算機設(shè)備、及計算機程序產(chǎn)品的效果描述參見上述定位方法的說明，這里不再贅述。

64、為使本公開的上述目的、特征和優(yōu)點能更明顯易懂，下文特舉較佳實施例，并配合所附附圖，作詳細說明如下。