本發(fā)明涉及多視圖立體幾何和目標(biāo)定位，更具體地說，涉及一種基于apriltag標(biāo)簽與點(diǎn)云匹配的工件定位方法。

背景技術(shù)：

1、在工業(yè)檢測(cè)、機(jī)器人導(dǎo)航和三維重建等領(lǐng)域，高精度的工件定位技術(shù)發(fā)揮著至關(guān)重要的作用。特別是在智能制造和自動(dòng)化生產(chǎn)過程中，精確的工件定位是實(shí)現(xiàn)高效率和精確操作的核心要素。

2、傳統(tǒng)的定位方法通常依賴單一的視覺傳感器或激光掃描技術(shù)，然而，這些方法在處理大范圍環(huán)境或目標(biāo)表面紋理較弱時(shí)，往往存在局限性。例如，當(dāng)視覺傳感器的視角受限或光線條件不佳時(shí)，其定位準(zhǔn)確性和可靠性大幅下降。

3、apriltag是一種廣泛使用的視覺標(biāo)記系統(tǒng)，包括一系列具有復(fù)雜黑白圖案的二維碼，這些圖案經(jīng)過精心設(shè)計(jì)，能夠被計(jì)算機(jī)視覺算法快速而準(zhǔn)確地識(shí)別和解碼。通過在不同環(huán)境中部署多臺(tái)相機(jī)來捕捉包含apriltag的圖像，可以利用多視圖幾何技術(shù)從不同角度計(jì)算出標(biāo)簽的三維坐標(biāo)。這種方法不僅提高了定位的全面性和精度，也克服了單一視覺系統(tǒng)的視角和距離限制。盡管如此，多視圖幾何方法仍然需要面對(duì)圖像畸變和環(huán)境噪聲等技術(shù)挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種基于apriltag標(biāo)簽與點(diǎn)云匹配的工件定位方法及系統(tǒng)，解決現(xiàn)有技術(shù)中對(duì)于復(fù)雜環(huán)境下工件定位精度差的問題。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于apriltag標(biāo)簽與點(diǎn)云匹配的工件定位方法，包括以下步驟：

3、步驟s1，對(duì)多臺(tái)相機(jī)的內(nèi)參與外參進(jìn)行標(biāo)定，以獲取相機(jī)內(nèi)參和外參數(shù)據(jù)；

4、步驟s2，對(duì)圖像進(jìn)行畸變?nèi)コ幚恚鰣D像保留所有像素信息；

5、步驟s3，對(duì)圖像進(jìn)行apriltag識(shí)別并提取關(guān)鍵點(diǎn)，所述關(guān)鍵點(diǎn)包括每個(gè)tag標(biāo)簽的中心點(diǎn)和四個(gè)角點(diǎn)；

6、步驟s4，利用多視圖立體幾何原理，對(duì)提取的關(guān)鍵點(diǎn)進(jìn)行解算，以確定所述關(guān)鍵點(diǎn)在世界坐標(biāo)系下的坐標(biāo)；

7、步驟s5，采用非線性優(yōu)化方法對(duì)關(guān)鍵點(diǎn)的定位精度進(jìn)行優(yōu)化提升，并基于優(yōu)化結(jié)果生成最終的源點(diǎn)云；

8、步驟s6，讀取標(biāo)準(zhǔn)目標(biāo)點(diǎn)云，并進(jìn)行旋轉(zhuǎn)與平移操作，以獲取所述標(biāo)準(zhǔn)目標(biāo)點(diǎn)云的幾何中心作為工件坐標(biāo)系的原點(diǎn)；

9、步驟s7，使用點(diǎn)面icp算法對(duì)源點(diǎn)云與目標(biāo)點(diǎn)云進(jìn)行第一次點(diǎn)云配準(zhǔn)，獲得第一次配準(zhǔn)結(jié)果；

10、步驟s8，對(duì)第一次配準(zhǔn)結(jié)果添加一定的擾動(dòng)，并與目標(biāo)點(diǎn)云進(jìn)行第二次點(diǎn)云配準(zhǔn)，獲得第二次配準(zhǔn)結(jié)果；

11、步驟s9，計(jì)算工件坐標(biāo)系的原點(diǎn)與世界坐標(biāo)系的轉(zhuǎn)換關(guān)系，從而得出最終的工件定位結(jié)果。

12、在一實(shí)施例中，所述步驟s1，進(jìn)一步包括：

13、步驟s11，對(duì)于每個(gè)相機(jī)，使用棋盤格標(biāo)定板分別放置于相機(jī)的不同視角下，采集多幅圖像數(shù)據(jù)，計(jì)算出每張圖像中棋盤格的特征點(diǎn)，并利用棋盤格的單應(yīng)性，計(jì)算出每幅圖像的單應(yīng)矩陣hi，解出對(duì)應(yīng)的對(duì)稱矩陣b，進(jìn)而求解出相機(jī)的內(nèi)參矩陣a；

14、步驟s12，利用棋盤格標(biāo)定板采集多幅圖像數(shù)據(jù)，將標(biāo)定板原點(diǎn)作為世界坐標(biāo)系的原點(diǎn)，得到世界坐標(biāo)系到每路相機(jī)的相對(duì)位姿變換關(guān)系，即相機(jī)的外參ti；

15、步驟s13，將步驟s11求得的特征點(diǎn)3d坐標(biāo)反投影到像素平面上，與每張圖像中實(shí)際識(shí)別的特征點(diǎn)位置進(jìn)行比較并計(jì)算差值，從而獲得特征點(diǎn)在對(duì)應(yīng)相機(jī)中的重投影誤差，利用非線性優(yōu)化中的列文伯格-馬夸爾特算法構(gòu)建誤差函數(shù)，通過最小化重投影誤差，求得最終的相機(jī)內(nèi)外參數(shù)。

16、在一實(shí)施例中，所述步驟s2，進(jìn)一步包括：

17、步驟s21，根據(jù)步驟s1獲得的內(nèi)參矩陣，結(jié)合畸變系數(shù)計(jì)算上畸變校正后圖像的理論邊界，基于所述理論邊界估算出新的視場(chǎng)，根據(jù)新的視場(chǎng)調(diào)整焦距和主點(diǎn)位置，從而生成新的相機(jī)內(nèi)參矩陣；

18、步驟s22，基于新的內(nèi)參矩陣，結(jié)合畸變系數(shù)為每個(gè)像素點(diǎn)構(gòu)建畸變映射，使用所述畸變映射對(duì)原始圖像進(jìn)行重新采樣，以最終生成校正后的圖像。

19、在一實(shí)施例中，所述步驟s3，進(jìn)一步包括：

20、步驟s31，對(duì)圖像執(zhí)行二值化處理；

21、步驟s32，對(duì)二值化后的圖像中的連通域進(jìn)行識(shí)別和編號(hào)；

22、步驟s33，檢測(cè)整個(gè)圖像中的四邊形，并獲取每個(gè)對(duì)應(yīng)tag標(biāo)簽的四個(gè)角點(diǎn)及中心點(diǎn)在圖像中的具體坐標(biāo)；

23、步驟s34，對(duì)四邊形區(qū)域內(nèi)的二維碼進(jìn)行解碼處理，得出所述tag標(biāo)簽所包含的編碼信息。

24、在一實(shí)施例中，所述步驟s31，進(jìn)一步包括：

25、使用自適應(yīng)閾值分割算法對(duì)圖像執(zhí)行二值化處理。

26、在一實(shí)施例中，所述步驟s32，進(jìn)一步包括：

27、通過union-find算法對(duì)二值化后的圖像中的連通域進(jìn)行識(shí)別和編號(hào)。

28、在一實(shí)施例中，所述步驟s4，進(jìn)一步包括：

29、步驟s41，針對(duì)每個(gè)關(guān)鍵點(diǎn)，收集所有觀測(cè)到所述關(guān)鍵點(diǎn)的相機(jī)，并將所收集的相機(jī)信息存入容器中；

30、步驟s42，從容器中去除重投影誤差大于一定范圍的相機(jī)信息；

31、步驟s43，利用多相機(jī)三角測(cè)量的方法，對(duì)所有關(guān)鍵點(diǎn)進(jìn)行測(cè)量并解算，獲得關(guān)鍵點(diǎn)在世界坐標(biāo)系下的坐標(biāo)。

32、在一實(shí)施例中，所述步驟s5，進(jìn)一步包括：

33、按照相機(jī)與關(guān)鍵點(diǎn)的距離遠(yuǎn)近，為各個(gè)相機(jī)賦予不同的權(quán)重，利用關(guān)鍵點(diǎn)在像素屏幕上的重投影誤差，構(gòu)建一個(gè)非線性優(yōu)化問題，通過對(duì)所述非線性優(yōu)化問題的求解，實(shí)現(xiàn)對(duì)關(guān)鍵點(diǎn)坐標(biāo)的優(yōu)化。

34、在一實(shí)施例中，所述步驟s7，進(jìn)一步包括：

35、步驟s71，采用最近鄰算法來匹配源點(diǎn)云中的參考點(diǎn)和目標(biāo)點(diǎn)云中的數(shù)據(jù)點(diǎn)；

36、步驟s72，通過平面擬合算法，對(duì)目標(biāo)點(diǎn)云中的數(shù)據(jù)點(diǎn)進(jìn)行分析以構(gòu)建平面模型；

37、步驟s73，使用優(yōu)化算法，求解得出源點(diǎn)云與目標(biāo)點(diǎn)云之間的剛體變換參數(shù)，獲得第一次配準(zhǔn)結(jié)果。

38、在一實(shí)施例中，所述步驟s73，進(jìn)一步包括：

39、使用列文伯格-馬夸爾特非線性優(yōu)化算法，求解得出源點(diǎn)云與目標(biāo)點(diǎn)云之間的剛體變換參數(shù)。

40、在一實(shí)施例中，所述步驟s8，進(jìn)一步包括：

41、步驟s81，在第一步配準(zhǔn)后的源點(diǎn)云上添加擾動(dòng)；

42、步驟s82，使用點(diǎn)面icp算法，進(jìn)行源點(diǎn)云與目標(biāo)點(diǎn)云之間的匹配；

43、步驟s83，從所有匹配結(jié)果中，選擇配準(zhǔn)誤差最小的匹配作為最終的第二次配準(zhǔn)結(jié)果。

44、在一實(shí)施例中，所述步驟s9中，最終的工件定位結(jié)果t通過以下公式實(shí)現(xiàn)：

45、t＝(t3t2t1)-1；

46、其中，t1為步驟s7的第一次配準(zhǔn)結(jié)果，t2為步驟s8第二次匹配時(shí)添加的剛體變換擾動(dòng)，t3為步驟s8第二次配準(zhǔn)結(jié)果。

47、為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于apriltag標(biāo)簽與點(diǎn)云匹配的工件定位系統(tǒng)，包括：

48、存儲(chǔ)器，用于存儲(chǔ)可由處理器執(zhí)行的指令；

49、處理器，用于執(zhí)行所述指令以實(shí)現(xiàn)如上述任一項(xiàng)所述的方法。

50、為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)指令，其中當(dāng)計(jì)算機(jī)指令被處理器執(zhí)行時(shí)，執(zhí)行如上述任一項(xiàng)所述的方法。

51、本發(fā)明提出了一種基于apriltag標(biāo)簽與點(diǎn)云匹配的工件定位方法及系統(tǒng)，通過結(jié)合多視圖立體幾何技術(shù)、非線性優(yōu)化算法以及點(diǎn)云配準(zhǔn)技術(shù)，實(shí)現(xiàn)了高精度且穩(wěn)定的工件定位，在處理大范圍、紋理較弱的工件時(shí)展現(xiàn)出了更高的魯棒性和適用性，尤其適合于復(fù)雜的工業(yè)環(huán)境，對(duì)提高工業(yè)自動(dòng)化水平和機(jī)器人自主操作能力具有重要推動(dòng)作用。