本發(fā)明涉及堆垛機(jī)控制，特別是涉及一種堆垛機(jī)控制方法、裝置、電子設(shè)備及介質(zhì)。

背景技術(shù)：

1、高精度集成定位系統(tǒng)（high-precision?integrated?positioning?system,hpips）是一種集成了多種高精度傳感器的系統(tǒng)，旨在通過(guò)多傳感器數(shù)據(jù)融合技術(shù)，提供穩(wěn)定且高精度的定位與姿態(tài)信息。該系統(tǒng)廣泛應(yīng)用于自動(dòng)駕駛、車載測(cè)繪、無(wú)人機(jī)導(dǎo)航等領(lǐng)域，是保障復(fù)雜環(huán)境下精確定位的關(guān)鍵技術(shù)之一。

2、近年，傳統(tǒng)的制造行業(yè)和物流行業(yè)正經(jīng)歷著巨大變革，傳統(tǒng)生產(chǎn)系統(tǒng)向網(wǎng)絡(luò)化、數(shù)字化的方向發(fā)展，物流系統(tǒng)向智能化、自動(dòng)化的方向發(fā)展。數(shù)字化生產(chǎn)制造是指制造領(lǐng)域的數(shù)字化，它是制造技術(shù)、計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)與管理科學(xué)的交叉、融和、發(fā)展與應(yīng)用的結(jié)果，也是制造企業(yè)、制造系統(tǒng)與生產(chǎn)過(guò)程、生產(chǎn)系統(tǒng)不斷實(shí)現(xiàn)數(shù)字化的必然趨勢(shì)。在數(shù)字化生產(chǎn)物流系統(tǒng)中，堆垛機(jī)扮演著至關(guān)重要的角色，堆垛機(jī)能夠自動(dòng)完成貨物的裝卸、搬運(yùn)、堆垛等作業(yè)，無(wú)需人工干預(yù)，從而大大降低了人工成本。此外，堆垛機(jī)的自動(dòng)化作業(yè)還能夠減少工人的勞動(dòng)強(qiáng)度，提高工作安全性；隨著堆垛機(jī)的廣泛應(yīng)用，傳統(tǒng)倉(cāng)儲(chǔ)作業(yè)中需要大量的人工搬運(yùn)和堆垛工作得到了有效替代，企業(yè)可以相應(yīng)減少人員需求，降低人力成本。

3、現(xiàn)有的堆垛機(jī)一般采用紅外線傳感器、超聲波傳感器等進(jìn)行距離測(cè)量，采用光學(xué)測(cè)距傳感器、條碼定位系統(tǒng)等進(jìn)行定位，傳統(tǒng)堆垛機(jī)主要使用于簡(jiǎn)單工況中，然而，在復(fù)雜工況下，堆垛機(jī)倉(cāng)庫(kù)巷道每層貨位數(shù)通常都在上百個(gè)，巷道長(zhǎng)度通常都在數(shù)十米以上，巷道環(huán)境復(fù)雜，傳統(tǒng)堆垛機(jī)在自動(dòng)運(yùn)行時(shí)會(huì)出現(xiàn)如下問(wèn)題：

4、1、存取和搬運(yùn)時(shí)間增加：精度差的堆垛機(jī)在自動(dòng)工作時(shí)，由于定位不準(zhǔn)確，需要更多時(shí)間來(lái)調(diào)整位置，從而導(dǎo)致存取和搬運(yùn)單個(gè)貨物的時(shí)間增加；

5、2、錯(cuò)誤率上升：精度不足可能導(dǎo)致堆垛機(jī)在存取和搬運(yùn)過(guò)程中發(fā)生錯(cuò)誤，如貨物放錯(cuò)位置、貨物損壞等，這些都需要額外的時(shí)間來(lái)處理；

6、3、碰撞風(fēng)險(xiǎn)：精度差的堆垛機(jī)在移動(dòng)過(guò)程中，可能因定位不準(zhǔn)確而與貨架、其他設(shè)備或障礙物發(fā)生碰撞，造成設(shè)備損壞或人員傷亡；

7、4、貨物掉落風(fēng)險(xiǎn)：由于精度不足，堆垛機(jī)在搬運(yùn)貨物時(shí)可能無(wú)法穩(wěn)定抓取或放置貨物，導(dǎo)致貨物掉落，造成安全隱患。

技術(shù)實(shí)現(xiàn)思路

1、鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種堆垛機(jī)控制方法，用于解決現(xiàn)有技術(shù)中對(duì)堆垛機(jī)在復(fù)雜且龐大的環(huán)境中工作時(shí)，不能精準(zhǔn)定位，導(dǎo)致行走路線不精準(zhǔn)、無(wú)法對(duì)正貨物等問(wèn)題。

2、為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種堆垛機(jī)控制方法，堆垛機(jī)上設(shè)置有雙目相機(jī)和工作相機(jī)，所述雙目相機(jī)包括左相機(jī)和右相機(jī)，所述堆垛機(jī)內(nèi)設(shè)置有高精度集成定位系統(tǒng)，所述堆垛機(jī)在工作區(qū)域內(nèi)移動(dòng)和工作，所述工作區(qū)域內(nèi)設(shè)置有多個(gè)路標(biāo)，包括：

3、所述堆垛機(jī)在所述工作環(huán)境中預(yù)先游歷，利用所述高精度集成定位系統(tǒng)計(jì)算雙目相機(jī)的位姿，通過(guò)所述雙目相機(jī)觀測(cè)所述路標(biāo)，形成視覺(jué)點(diǎn)云地圖；

4、在堆垛機(jī)進(jìn)行工作時(shí)，利用所述雙目相機(jī)獲取當(dāng)前環(huán)境中待搬運(yùn)物料的空間位置分布，利用空間位置變換，將所述空間位置分布投影到所述視覺(jué)點(diǎn)云地圖，生成包含待搬運(yùn)物料信息的語(yǔ)義地圖；

5、所述堆垛機(jī)根據(jù)所述語(yǔ)義地圖進(jìn)行路徑規(guī)劃，自主到達(dá)目標(biāo)位置進(jìn)行工作；通過(guò)所述雙目相機(jī)對(duì)待搬運(yùn)物料進(jìn)行識(shí)別，對(duì)所述待搬運(yùn)物料進(jìn)行搬運(yùn)。

6、可選地，利用所述雙目相機(jī)和所述高精度集成定位系統(tǒng)計(jì)算相機(jī)的位姿，具體包括：

7、通過(guò)所述高精度集成定位系統(tǒng)計(jì)算慣導(dǎo)在世界坐標(biāo)系的位姿，標(biāo)定慣導(dǎo)與單目相機(jī)之間的空間關(guān)系，通過(guò)世界坐標(biāo)系、相機(jī)坐標(biāo)系和像素坐標(biāo)系的映射關(guān)系計(jì)算單目相機(jī)在世界坐標(biāo)系的位姿，三者映射關(guān)系如下式：

8、?

9、式中，某空間點(diǎn)的世界坐標(biāo)系為，對(duì)應(yīng)相機(jī)坐標(biāo)系為，像素坐標(biāo)系為；通過(guò)焦距除以各自方向上的像元長(zhǎng)度計(jì)算得到；、主點(diǎn)坐標(biāo)，單位是像素，矩陣稱為相機(jī)內(nèi)參矩陣，為地球坐標(biāo)系到相機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣，為平移量；

10、對(duì)雙目相機(jī)進(jìn)行雙目校正并基于所述單目相機(jī)在世界坐標(biāo)系的位姿添加深度信息，得到雙目相機(jī)在世界坐標(biāo)系的位姿：

11、

12、其中，為雙目相機(jī)中左右相機(jī)的視差，為雙目相機(jī)的基線長(zhǎng)度；

13、所述雙目相機(jī)光心在相機(jī)坐標(biāo)系下為零，通過(guò)旋轉(zhuǎn)矩陣和平移量，得到雙目相機(jī)在世界坐標(biāo)系下的位姿，所述雙目相機(jī)光心在相機(jī)坐標(biāo)系與其在世界坐標(biāo)系映射關(guān)系如下：

14、

15、

16、即所述雙目相機(jī)在世界坐標(biāo)系的位姿為。

17、可選地，通過(guò)所述雙目相機(jī)觀測(cè)路標(biāo)，形成視覺(jué)點(diǎn)云地圖，具體步驟包括：

18、所述雙目相機(jī)采集游歷數(shù)據(jù)，采用深度學(xué)習(xí)的方法對(duì)所述游歷數(shù)據(jù)進(jìn)行語(yǔ)義分割和目標(biāo)識(shí)別，將識(shí)別出來(lái)的工作人員、工作設(shè)備的像素值設(shè)置為掩碼進(jìn)行去除，余留靜態(tài)場(chǎng)景；

19、采用sift算子提取所述靜態(tài)場(chǎng)景圖片的特征點(diǎn)，通過(guò)特征點(diǎn)坐標(biāo)及其描述子，進(jìn)行特征點(diǎn)匹配，對(duì)于每一個(gè)所述路標(biāo)，在特征匹配后，獲得多個(gè)像素觀測(cè)值，所述像素觀測(cè)值為雙目相機(jī)的像素坐標(biāo)和視差；

20、將觀測(cè)正常的特征點(diǎn)與對(duì)應(yīng)的多個(gè)特征描述子進(jìn)行關(guān)聯(lián)，生成視覺(jué)點(diǎn)云地圖。

21、可選地，所述特征點(diǎn)匹配包括同一幀左右影像的匹配和左影像的多幀匹配，其中，

22、對(duì)于同一幀左右影像的同名點(diǎn)，左右同名點(diǎn)的行坐標(biāo)相差超過(guò)1個(gè)像素，則不匹配；

23、對(duì)于左影像的多幀匹配，相鄰幀的同名點(diǎn)需要滿足極線約束條件為匹配點(diǎn)，即滿足下式：

24、

25、

26、式中，為像素坐標(biāo)，為基本矩陣，通過(guò)相機(jī)內(nèi)參矩陣以及相鄰兩幀之間空間關(guān)系得到，通過(guò)所述雙目相機(jī)在世界坐標(biāo)系的位姿計(jì)算得到相鄰影像的位姿，由所述相鄰影像的位姿得到，具體如下式：

27、。

28、可選地，所述堆垛機(jī)根據(jù)所述語(yǔ)義地圖進(jìn)行移動(dòng)，到達(dá)目標(biāo)位置進(jìn)行工作，具體包括：

29、根據(jù)語(yǔ)義地圖確定搬運(yùn)位置的目標(biāo)位置；

30、融合所述堆垛機(jī)當(dāng)前所有待搬運(yùn)位置的可搬運(yùn)信息，結(jié)合所述堆垛機(jī)的當(dāng)前位置，基于所述語(yǔ)義地圖，規(guī)劃搬運(yùn)路線；

31、根據(jù)所述搬運(yùn)路線進(jìn)行移動(dòng)。

32、可選地，通過(guò)所述雙目相機(jī)對(duì)待搬運(yùn)物料進(jìn)行識(shí)別，對(duì)所述待搬運(yùn)物料進(jìn)行搬運(yùn)，具體包括：

33、所述工作相機(jī)設(shè)置于堆垛機(jī)起升機(jī)構(gòu)的末端，預(yù)先根據(jù)語(yǔ)義地圖中待搬運(yùn)物料的位置，計(jì)算所述工作相機(jī)與待搬運(yùn)物料的最佳相對(duì)位姿關(guān)系；

34、到達(dá)目標(biāo)位置后，根據(jù)所述最佳點(diǎn)對(duì)位姿關(guān)系，控制所述起升機(jī)構(gòu)調(diào)整位姿，搬運(yùn)物料。

35、可選地，所述起升機(jī)構(gòu)對(duì)物料進(jìn)行搬運(yùn)時(shí)，所述雙目相機(jī)實(shí)時(shí)采集圖像數(shù)據(jù)，基于深度學(xué)習(xí)方法對(duì)圖像數(shù)據(jù)中的物料進(jìn)行識(shí)別，并對(duì)起升機(jī)構(gòu)機(jī)構(gòu)進(jìn)行微調(diào)，保證物料位于圖像中央?yún)^(qū)域。

36、本發(fā)明的第二個(gè)方面還提供了一種堆垛機(jī)控制裝置，堆垛機(jī)上設(shè)置有雙目相機(jī)和工作相機(jī)，所述雙目相機(jī)包括左相機(jī)和右相機(jī)，所述堆垛機(jī)內(nèi)設(shè)置有高精度集成定位系統(tǒng)，所述堆垛機(jī)在工作區(qū)域內(nèi)移動(dòng)和工作，所述工作區(qū)域內(nèi)設(shè)置有多個(gè)路標(biāo)，裝置包括：

37、視覺(jué)點(diǎn)云地圖生成模塊：用于所述堆垛機(jī)在所述工作環(huán)境中預(yù)先游歷，利用所述高精度集成定位系統(tǒng)計(jì)算雙目相機(jī)的位姿，通過(guò)所述雙目相機(jī)觀測(cè)所述路標(biāo)，形成視覺(jué)點(diǎn)云地圖；

38、語(yǔ)義地圖生成模塊：用于在堆垛機(jī)進(jìn)行工作時(shí)，利用所述雙目相機(jī)獲取當(dāng)前環(huán)境中待搬運(yùn)物料的空間位置分布，利用空間位置變換，將所述空間位置分布投影到所述視覺(jué)點(diǎn)云地圖，生成包含待搬運(yùn)物料信息的語(yǔ)義地圖；

39、堆垛機(jī)工作模塊：用于所述堆垛機(jī)根據(jù)所述語(yǔ)義地圖進(jìn)行路徑規(guī)劃，自主到達(dá)目標(biāo)位置進(jìn)行工作；通過(guò)所述雙目相機(jī)對(duì)待搬運(yùn)物料進(jìn)行識(shí)別，對(duì)所述待搬運(yùn)物料進(jìn)行搬運(yùn)。

40、本發(fā)明的第三個(gè)方面還提供了一種電子設(shè)備，包括：處理器、存儲(chǔ)介質(zhì)和總線，所述存儲(chǔ)介質(zhì)存儲(chǔ)有所述處理器可執(zhí)行的機(jī)器可讀指令，當(dāng)電子設(shè)備運(yùn)行時(shí)，所述處理器與所述存儲(chǔ)介質(zhì)之間通過(guò)總線通信，所述處理器執(zhí)行所述機(jī)器可讀指令，以執(zhí)行如權(quán)利要求1至8中任一項(xiàng)所述的堆垛機(jī)控制方法的步驟。

41、本發(fā)明的第四個(gè)方面還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行如權(quán)利要求1至8中任一項(xiàng)所述的堆垛機(jī)控制方法的步驟。

42、如上所述，本發(fā)明提出的一種堆垛機(jī)控制方法、裝置、電子設(shè)備及介質(zhì)，具有以下有益效果：本發(fā)明通過(guò)高精度集成定位系統(tǒng)和雙目相機(jī)進(jìn)行數(shù)據(jù)融合，得到視覺(jué)點(diǎn)云地圖，為生成語(yǔ)義地圖提供了高精度的背景場(chǎng)數(shù)據(jù)，以輔助復(fù)雜環(huán)境下的多源融合定位，可得到精準(zhǔn)的堆垛機(jī)位姿；基于視覺(jué)點(diǎn)云地圖生成的語(yǔ)義地圖，為堆垛機(jī)在移動(dòng)和搬運(yùn)過(guò)程中，提供精準(zhǔn)的導(dǎo)航數(shù)據(jù)，提高了堆垛機(jī)的實(shí)用化水平。