本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，尤其涉及一種基于雙目視覺(jué)的弱紋理物體的三維重建與定位方法、一種基于雙目視覺(jué)的弱紋理物體的三維重建與定位系統(tǒng)，以及一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在計(jì)算機(jī)視覺(jué)領(lǐng)域中，精確的物體定位可以為缺陷檢測(cè)、目標(biāo)物體抓取、打磨及其他下游任務(wù)提供準(zhǔn)確的位置信息。

2、現(xiàn)有的物體定位技術(shù)可以實(shí)現(xiàn)對(duì)紋理豐富、規(guī)則物體的精確定位，但是傳統(tǒng)方案依賴(lài)于多組相機(jī)以保證視野覆蓋物體全貌，或是依賴(lài)于在物體表面貼多個(gè)標(biāo)簽等技術(shù)手段來(lái)實(shí)現(xiàn)物體的精確定位。因此，現(xiàn)有技術(shù)中缺少通過(guò)少量視角圖像來(lái)實(shí)現(xiàn)對(duì)弱紋理、不規(guī)則物體的精確定位的技術(shù)手段。

3、為了克服現(xiàn)有技術(shù)所存在的上述缺陷，本領(lǐng)域亟需一種基于雙目視覺(jué)的弱紋理物體的三維重建與定位技術(shù)，能夠?qū)崿F(xiàn)在少量相機(jī)視角下對(duì)弱紋理、不規(guī)則物體的三維重建與精確定位。

技術(shù)實(shí)現(xiàn)思路

1、以下給出一個(gè)或多個(gè)方面的簡(jiǎn)要概述以提供對(duì)這些方面的基本理解。此概述不是所有構(gòu)想到的方面的詳盡綜覽，并且既非旨在指認(rèn)出所有方面的關(guān)鍵性或決定性要素亦非試圖界定任何或所有方面的范圍。其唯一的目的是要以簡(jiǎn)化形式給出一個(gè)或多個(gè)方面的一些概念以為稍后給出的更加詳細(xì)的描述之序。

2、為了克服現(xiàn)有技術(shù)所存在的上述缺陷，本發(fā)明提供了一種基于雙目視覺(jué)的弱紋理物體的三維重建與定位方法、一種基于雙目視覺(jué)的弱紋理物體的三維重建與定位系統(tǒng)，以及一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，能夠?qū)崿F(xiàn)在少量相機(jī)視角下對(duì)弱紋理、不規(guī)則物體的三維重建與精確定位。

3、具體來(lái)說(shuō)，根據(jù)本發(fā)明的第一方面提供的上述基于雙目視覺(jué)的弱紋理物體的三維重建與定位方法，包括步驟：s1：根據(jù)相機(jī)畸變參數(shù)，結(jié)合圖像去畸變方法處理所獲取的物體的圖像以形成去畸變圖像；s2：通過(guò)雙目立體校正處理所述去畸變圖像以確定校正圖像，所述校正圖像包括左相機(jī)校正圖像和右相機(jī)校正圖像；s3：根據(jù)crestereo深度學(xué)習(xí)網(wǎng)絡(luò)，將所述左相機(jī)校正圖像和所述右相機(jī)校正圖像進(jìn)行立體匹配，以確定視差圖；s4：基于unet網(wǎng)絡(luò)將所述左相機(jī)校正圖像或所述右相機(jī)校正圖像進(jìn)行語(yǔ)義分割得到語(yǔ)義信息，并根據(jù)所述雙目相機(jī)的光心間距、所述雙目相機(jī)的焦距與所述視差圖確定深度圖，將所述語(yǔ)義信息與所述深度圖結(jié)合確定物體的稠密點(diǎn)云模型；以及s5：將所述稠密點(diǎn)云模型與物體的標(biāo)準(zhǔn)點(diǎn)云模型進(jìn)行點(diǎn)云匹配，獲取完整物體點(diǎn)云的深度信息，以確定物體的三維重建與定位。

4、優(yōu)選地，在本發(fā)明的一實(shí)施例中，所述物體的圖像通過(guò)所述雙目相機(jī)采集，所述雙目相機(jī)的相機(jī)相關(guān)數(shù)據(jù)通過(guò)相機(jī)內(nèi)外參標(biāo)定獲取，所述圖像包括通過(guò)所述雙目相機(jī)的左相機(jī)采集的左相機(jī)圖像與通過(guò)所述雙目相機(jī)的右相機(jī)采集的右相機(jī)圖像。

5、優(yōu)選地，在本發(fā)明的一實(shí)施例中，所述雙目相機(jī)的相機(jī)畸變參數(shù)包括徑向畸變系數(shù)和切向畸變系數(shù)。

6、優(yōu)選地，在本發(fā)明的一實(shí)施例中，所述步驟s1包括：通過(guò)所述圖像去畸變方法處理前與所述圖像去畸變方法處理后的映射關(guān)系，并利用畸變變換和插值法，確定所述去畸變圖像的像素值。

7、優(yōu)選地，在本發(fā)明的一實(shí)施例中，所述步驟s2包括：共同變換所述左相機(jī)與所述右相機(jī)的相機(jī)坐標(biāo)系，以使得所述左相機(jī)校正圖像與所述右相機(jī)校正圖像的成像在同一平面上、所述左相機(jī)校正圖像與所述右相機(jī)校正圖像的視角平行以及所述左相機(jī)校正圖像與所述右相機(jī)校正圖像的同一極線上的所有點(diǎn)的縱坐標(biāo)一致。

8、優(yōu)選地，在本發(fā)明的一實(shí)施例中，所述步驟s5包括：獲取所述稠密點(diǎn)云模型的局部特征描述子與所述標(biāo)準(zhǔn)點(diǎn)云模型的局部特征描述子；利用kdtree和哈希表處理所述稠密點(diǎn)云模型的局部特征描述子與所述標(biāo)準(zhǔn)點(diǎn)云模型的局部特征描述子，以確定初始變化矩陣；以及根據(jù)所述初始變換矩陣，以所述標(biāo)準(zhǔn)點(diǎn)云模型為源點(diǎn)云、所述稠密點(diǎn)云模型為目標(biāo)點(diǎn)云，通過(guò)fast-gicp算法進(jìn)行二次匹配獲取完整物體點(diǎn)云的深度信息。

9、優(yōu)選地，在本發(fā)明的一實(shí)施例中，所述獲取所述稠密點(diǎn)云模型的局部特征描述子與所述標(biāo)準(zhǔn)點(diǎn)云模型的局部特征描述子的步驟包括：依次對(duì)所述稠密點(diǎn)云模型和所述標(biāo)準(zhǔn)點(diǎn)云模型的各個(gè)點(diǎn)構(gòu)建球型坐標(biāo)并劃分不同扇區(qū)；以及統(tǒng)計(jì)所述不同扇區(qū)中的鄰居點(diǎn)信息，以確定所述稠密點(diǎn)云模型的局部特征描述子與所述標(biāo)準(zhǔn)點(diǎn)云模型的局部特征描述子。

10、優(yōu)選地，在本發(fā)明的一實(shí)施例中，所述利用kdtree和哈希表處理所述稠密點(diǎn)云模型的局部特征描述子與所述標(biāo)準(zhǔn)點(diǎn)云模型的局部特征描述子，以確定初始變化矩陣的步驟包括：利用kdtree和哈希表處理所述稠密點(diǎn)云模型的局部特征描述子與所述標(biāo)準(zhǔn)點(diǎn)云模型的局部特征描述子，確定匹配的點(diǎn)云對(duì)；利用dbscan進(jìn)行聚類(lèi)，根據(jù)預(yù)設(shè)距離閾值范圍內(nèi)的鄰居點(diǎn)與點(diǎn)簇的構(gòu)成條件，確定多個(gè)所述點(diǎn)簇；以及根據(jù)兩個(gè)所述點(diǎn)簇的外包圍框中心的偏移量，確定初始變化矩陣。

11、此外，根據(jù)本發(fā)明的第二方面提供的上述基于雙目視覺(jué)的弱紋理物體的三維重建與定位系統(tǒng)包括存儲(chǔ)器及處理器。所述存儲(chǔ)器上存儲(chǔ)有計(jì)算機(jī)指令。所述處理器連接所述存儲(chǔ)器，并被配置用于執(zhí)行所述存儲(chǔ)器上存儲(chǔ)的計(jì)算機(jī)指令，以實(shí)施上述任意一個(gè)實(shí)施例所提供的基于雙目視覺(jué)的弱紋理物體的三維重建與定位方法。

12、此外，根據(jù)本發(fā)明的第三方面提供的上述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)指令。所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)，實(shí)施上述任意一個(gè)實(shí)施例所提供的基于雙目視覺(jué)的弱紋理物體的三維重建與定位方法。

技術(shù)特征：

1.一種基于雙目視覺(jué)的弱紋理物體的三維重建與定位方法，其特征在于，包括步驟：

2.如權(quán)利要求1所述的三維重建與定位方法，其特征在于，所述物體的圖像通過(guò)所述雙目相機(jī)采集，所述雙目相機(jī)的相機(jī)相關(guān)數(shù)據(jù)通過(guò)相機(jī)內(nèi)外參標(biāo)定獲取，所述圖像包括通過(guò)所述雙目相機(jī)的左相機(jī)采集的左相機(jī)圖像與通過(guò)所述雙目相機(jī)的右相機(jī)采集的右相機(jī)圖像。

3.如權(quán)利要求1所述的三維重建與定位方法，其特征在于，所述雙目相機(jī)的相機(jī)畸變參數(shù)包括徑向畸變系數(shù)和切向畸變系數(shù)。

4.如權(quán)利要求1所述的三維重建與定位方法，其特征在于，所述步驟s1包括：

5.如權(quán)利要求1所述的三維重建與定位方法，其特征在于，所述步驟s2包括：

6.如權(quán)利要求1所述的三維重建與定位方法，其特征在于，所述步驟s5包括：

7.如權(quán)利要求6所述的三維重建與定位方法，其特征在于，所述獲取所述稠密點(diǎn)云模型的局部特征描述子與所述標(biāo)準(zhǔn)點(diǎn)云模型的局部特征描述子的步驟包括：

8.如權(quán)利要求6所述的三維重建與定位方法，其特征在于，所述利用kdtree和哈希表處理所述稠密點(diǎn)云模型的局部特征描述子與所述標(biāo)準(zhǔn)點(diǎn)云模型的局部特征描述子，以確定初始變化矩陣的步驟包括：

9.一種基于雙目視覺(jué)的弱紋理物體的三維重建與定位系統(tǒng)，其特征在于，包括：

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)指令，其特征在于，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)，實(shí)施如權(quán)利要求1～8中任一項(xiàng)所述的基于雙目視覺(jué)的弱紋理物體的三維重建與定位方法。

技術(shù)總結(jié)
本發(fā)明提供了一種基于雙目視覺(jué)的弱紋理物體的三維重建與定位方法，包括步驟：根據(jù)相機(jī)畸變參數(shù)，結(jié)合圖像去畸變方法處理所獲取的物體的圖像以形成去畸變圖像；通過(guò)雙目立體校正處理去畸變圖像以確定校正圖像；根據(jù)CRESTereo深度學(xué)習(xí)網(wǎng)絡(luò)，將左相機(jī)校正圖像和右相機(jī)校正圖像進(jìn)行立體匹配，以確定視差圖；基于Unet網(wǎng)絡(luò)將左相機(jī)校正圖像或右相機(jī)校正圖像進(jìn)行語(yǔ)義分割得到語(yǔ)義信息，并根據(jù)雙目相機(jī)的光心間距、雙目相機(jī)的焦距與視差圖確定深度圖，將語(yǔ)義信息與深度圖結(jié)合確定物體的稠密點(diǎn)云模型；以及將稠密點(diǎn)云模型與物體的標(biāo)準(zhǔn)點(diǎn)云模型進(jìn)行點(diǎn)云匹配，獲取完整物體點(diǎn)云的深度信息，以確定物體的三維重建與定位。

技術(shù)研發(fā)人員：和望利,杜文莉,錢(qián)鋒
受保護(hù)的技術(shù)使用者：華東理工大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6