本發(fā)明涉及機(jī)器人觸覺感知，尤其涉及一種基于色塊標(biāo)記點(diǎn)陣列的雙目視觸覺傳感器及實(shí)時(shí)高精度三維重建方法。

背景技術(shù)：

1、觸覺是人類感知世界和與環(huán)境互動的關(guān)鍵感覺之一，幫助人類完成各種精細(xì)任務(wù)。為了模擬觸覺機(jī)制，研究人員通常采用電子觸覺傳感器，如電阻式傳感器、電容式傳感器和纖維傳感器。然而，這些傳感器在觸覺反饋和高分辨率觸覺信息方面存在局限性，從而限制了機(jī)器人的感知和操作性能。

2、由于圖像包含大量易于自動處理的信息，基于視覺的觸覺傳感器可以提高觸覺信息的質(zhì)量。視觸覺傳感器已開發(fā)出紋理識別、多維力檢測、摩擦系數(shù)測量、滑移檢測、硬度測量、三維重建和溫度檢測等多種功能。它們還被應(yīng)用于機(jī)器人、工業(yè)檢測和人機(jī)交互等多個(gè)領(lǐng)域。

3、獲取接觸物體準(zhǔn)確且精細(xì)的三維形貌可以幫助機(jī)器人在執(zhí)行操作任務(wù)時(shí)調(diào)整抓取姿勢、力度。然而標(biāo)記的密度是視觸覺傳感器重建精度的關(guān)鍵決定因素?，F(xiàn)有視觸覺傳感器的標(biāo)記點(diǎn)密度通常較低，約為每平方厘米90個(gè)左右。這主要是因?yàn)楫?dāng)高密度標(biāo)記點(diǎn)的彈性體在與物體接觸時(shí)發(fā)生大變形，標(biāo)記點(diǎn)容易丟失。并且當(dāng)前的大多數(shù)標(biāo)記點(diǎn)匹配算法通常假設(shè)每幀的標(biāo)記點(diǎn)數(shù)量一致，這對處理高密度且未編碼的標(biāo)記帶來了巨大挑戰(zhàn)，從而難以實(shí)現(xiàn)實(shí)時(shí)的高精度三維重建。

技術(shù)實(shí)現(xiàn)思路

1、針對現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于色塊標(biāo)記點(diǎn)陣列的雙目視觸覺傳感器及實(shí)時(shí)高精度三維重建方法，解決了現(xiàn)有視觸覺傳感器在三維重建時(shí)存在精度低、實(shí)時(shí)性差、不能適應(yīng)大變形的技術(shù)問題。

2、為解決上述技術(shù)問題，本發(fā)明提供了如下技術(shù)方案：一種基于色塊標(biāo)記點(diǎn)陣列的實(shí)時(shí)高精度三維重建方法，，該方法包括以下步驟：

3、s1、選取不少于n種差異明顯顏色的色塊作為色塊標(biāo)記點(diǎn)，并根據(jù)色塊標(biāo)記點(diǎn)構(gòu)建用以實(shí)現(xiàn)雙目視觸覺傳感器實(shí)時(shí)高精度三維重建的色塊標(biāo)記點(diǎn)陣列；

4、s2、采用標(biāo)定圖片對圖像采集模塊中的雙目視覺相機(jī)進(jìn)行標(biāo)定和校正；

5、s3、計(jì)算色塊標(biāo)記點(diǎn)陣列中每個(gè)位置色塊對應(yīng)的編碼信息，并將其存儲在矩陣cells?codes?ground?truth對應(yīng)位置中，編碼信息包括1串標(biāo)準(zhǔn)編碼和4串旋碼；

6、s4、獲取雙目視觸覺傳感器未接觸物體時(shí)的第一左、右圖像，并以每個(gè)色塊中心在第一左、右圖像中的像素坐標(biāo)和對應(yīng)色塊在色塊標(biāo)記點(diǎn)陣列中的位置，作為第一幀的前一幀圖像；

7、s5、利用雙目視覺相機(jī)獲取當(dāng)前幀的第二左、右圖像，并根據(jù)色塊標(biāo)記點(diǎn)陣列賦予當(dāng)前幀檢測到對應(yīng)第二左、右圖像中的每個(gè)色塊一個(gè)索引；

8、s6、利用在前一幀圖像中色塊在色塊標(biāo)記點(diǎn)陣列中的初始信息和編碼信息，共同確定當(dāng)前幀圖像中色塊在色塊標(biāo)記點(diǎn)陣列中的位置并添加索引，同時(shí)將其存儲在統(tǒng)計(jì)矩陣statistics中；

9、s7、遍歷統(tǒng)計(jì)矩陣statistics中的每個(gè)位置，找到每個(gè)位置出現(xiàn)次數(shù)最多的索引作為當(dāng)前位置的色塊，并將其存入矩陣cells?codes?cur中；

10、s8、遍歷第二左、右圖像對應(yīng)的矩陣cells?codes?cur，根據(jù)兩個(gè)位于相同位置上的色塊計(jì)算視差dp，并通過三角測量法得到色塊中心點(diǎn)在空間中的三維坐標(biāo)從而生成點(diǎn)云數(shù)據(jù)；

11、s9、對生成的點(diǎn)云數(shù)據(jù)預(yù)處理后計(jì)算其法線，并根據(jù)法線進(jìn)行泊松重建生成光滑的三維表面。

12、進(jìn)一步地，在步驟s1中，構(gòu)建色塊標(biāo)記點(diǎn)陣列的過程包括：

13、s11、定義色塊標(biāo)記點(diǎn)陣列的設(shè)計(jì)要求，包括：

14、在矩形數(shù)字陣列中任意選取一個(gè)色塊，以該色塊為中心，鄰近的12個(gè)色塊不會出現(xiàn)與中心色塊相同顏色的色塊；

15、每個(gè)色塊對應(yīng)的標(biāo)準(zhǔn)編碼，以及該標(biāo)準(zhǔn)編碼的4種旋碼，與以當(dāng)前色塊為中心一個(gè)擴(kuò)大窗口內(nèi)其他色塊的5串編碼的漢明距離均大于等于2，同時(shí)，每個(gè)色塊對應(yīng)的標(biāo)準(zhǔn)編碼和4串旋碼兩兩之間的漢明距離也大于等于2；

16、s12、定義每種顏色的色塊用一個(gè)數(shù)字表示，且若干色塊共同組成一個(gè)n×n大小的矩形數(shù)字陣列；

17、s13、在矩形數(shù)字陣列中任一選取一個(gè)非邊緣位置的色塊，并結(jié)合環(huán)繞其一周的最鄰近的8個(gè)色塊，從最右側(cè)色塊開始，按照逆時(shí)針的方向，將8個(gè)最鄰近色塊的數(shù)字表示寫成一串8位的數(shù)字，作為該色塊的標(biāo)準(zhǔn)編碼；

18、分別對標(biāo)準(zhǔn)編碼進(jìn)行前移一位、后移一位、前移二位以及后移二位的四種情況構(gòu)成標(biāo)準(zhǔn)編碼的4種旋碼；

19、s14、以選定的n種顏色對矩形數(shù)字陣列進(jìn)行隨機(jī)顏色填充；

20、s15、對隨機(jī)顏色填充后的矩形數(shù)字陣列進(jìn)行優(yōu)化得到色塊標(biāo)記點(diǎn)陣列，具體為：

21、按從上到下，從左到右的順序遍歷矩形數(shù)字陣列，計(jì)算非邊緣位置每個(gè)色塊的1串標(biāo)準(zhǔn)編碼以及4串旋碼，并將每個(gè)色塊的5串編碼按照色塊在矩形數(shù)字陣列中的位置存入矩陣cells?codes?ground?truth中相應(yīng)位置；

22、按從上到下，從左到右的順序遍歷cells?codes?ground?truth中的位置，以當(dāng)前遍歷位置為中心，將13*13大小窗口內(nèi)的所有標(biāo)準(zhǔn)編碼與當(dāng)前遍歷位置的5串編碼都計(jì)算一次漢明距離，若出現(xiàn)了漢明距離小于2的情況，則從當(dāng)前遍歷位置周圍的八個(gè)鄰近位置中隨機(jī)挑選一個(gè)作為修改位置，更改矩形數(shù)字陣列中修改位置的顏色，并確保更改后的顏色與其鄰近12個(gè)位置不同，同時(shí)更新cells?codes?ground?truth；若無法找到與其鄰近12個(gè)位置不同的顏色，則不更改顏色。

23、遍歷完cells?codes?ground?truth后，再次遍歷cells?codes?ground?truth，統(tǒng)計(jì)出現(xiàn)漢明距離小于2的次數(shù)，若次數(shù)不等于0，則重復(fù)執(zhí)行優(yōu)化步驟s14。

24、進(jìn)一步地，在步驟s14中，具體為：

25、填充矩形數(shù)字陣列的第一行：給定第一行前3個(gè)色塊不同的顏色，后續(xù)色塊使用均勻分布生成隨機(jī)顏色，如果生成的色塊與前3個(gè)色塊中的某1個(gè)色塊顏色相同，則重新生成，直到顏色不同；

26、填充矩形數(shù)字陣列的第一列：給定第一列前3個(gè)色塊不同的顏色，且這3個(gè)色塊顏色不一樣且不同于第一行前3個(gè)色塊，后續(xù)色塊使用均勻分布生成隨機(jī)顏色，如果生成的顏色與第一列前3個(gè)色塊中的某1個(gè)色塊相同，則重新生成，直到顏色不同；

27、填充矩形數(shù)字陣列中的其余位置：給定第二行第二列的色塊顏色，且該顏色與第一行和第一列的前三個(gè)色塊顏色均不同，從上到下、從左到右遍歷每個(gè)位置：若在第二列，確保其顏色與上上、左上、上、右上、左、左下六個(gè)鄰近色塊顏色不同，其他位置需控制與上上、左上、上、右上、左左、左六個(gè)鄰近色塊不同。

28、該技術(shù)方案還提供了一種雙目視觸覺傳感器，包括以套筒作為視觸覺傳感器框架的支撐結(jié)構(gòu)模塊，以及與雙目視觸覺傳感器建立通訊連接的信息處理模塊，所述支撐結(jié)構(gòu)模塊上安裝有分別位于其前、后端的接觸模塊和圖像采集模塊，以及與接觸模塊和圖像采集模塊相對應(yīng)配合使用的照明模塊；

29、所述接觸模塊包括位于套筒前端上的支撐板，在支撐板上層疊設(shè)置一彈性體，所述彈性體上依次層疊設(shè)置標(biāo)記層、反射層以及保護(hù)層，所述彈性體通過固定蓋板可拆卸安裝在套筒上，且固定蓋板上設(shè)置有使彈性體的接觸部位延伸至其外部的窗口。

30、進(jìn)一步地，所述照明模塊采用可編程控制包括亮度以及顏色的led燈條，所述led燈條沿彈性體的周邊環(huán)繞布置構(gòu)成全內(nèi)反射光路。

31、進(jìn)一步地，所述圖像采集模塊采用兩臺微型相機(jī)模組以固定的基線距離排列構(gòu)成雙目視覺相機(jī)，還包括與套筒后端可拆卸連接的底座固定件，所述微型相機(jī)模組位于底座固定件上的安裝槽位，且微型相機(jī)模組通過相機(jī)固定板可拆卸固定在底座固定件上。

32、進(jìn)一步地，所述彈性體為硅膠、tpu/tpr或乳膠任一種或多種組成的復(fù)合硅膠結(jié)構(gòu)，所述彈性體的制作方法包括以下步驟：

33、s01、將模具放入超聲波清洗機(jī)，設(shè)定清洗時(shí)間2～3分鐘，取出模具后用氮?dú)鈽尨蹈?，用含有乙醇的紙巾擦拭后靜置干燥；

34、s02、制作第一層硅膠：取第一款硅膠a、b組分各1.5±0.2g倒入容器，繞同一方向攪拌3～5分鐘，使a、b溶液充分混合得到第一款硅膠溶液；

35、將充分混合的第一款硅膠溶液放置真空桶內(nèi)，抽真空至-0.1mpa，并保持一段時(shí)間，待所有氣泡完全炸裂以后取出，倒入清潔好的模具內(nèi)，將模具水平放置，靜置至第一款硅膠溶液自然流平后放入干燥箱內(nèi)，70℃以上高溫加熱40分鐘；

36、s03、制作第二層硅膠：將模具從干燥箱中取出，靜置，待模具溫度降下來輕輕取出上層模具；

37、取第二款硅膠a、b組分各7±0.5g倒入容器，繞同一方向攪拌3～5分鐘使a、b溶液充分混合得到第二款硅膠溶液；

38、將充分混合的第二款硅膠溶液放置真空桶內(nèi)，抽真空至-0.1mpa，并保持一段時(shí)間，待所有氣泡完全炸裂以后取出，倒在第一層硅膠上，靜置，放入干燥箱內(nèi)，70℃以上高溫加熱；

39、s04、制作第三層硅膠：取第一款硅膠a、b組分各1.5±0.2g倒入容器，繞同一方向攪拌3～5分鐘，使ab溶液充分混合得到第一款硅膠溶液；

40、將充分混合的第一款硅膠溶液放置真空桶內(nèi)，抽真空至-0.1mpa，并保持一段時(shí)間，待所有氣泡完全炸裂以后取出，倒在第二層硅膠上，靜置，放入干燥箱內(nèi)，70℃以上高溫加熱35-40分鐘。

41、進(jìn)一步地，所述標(biāo)記層為在硅膠表面打印標(biāo)記圖案的硅膠層，所述支撐板為3mm厚的高透明亞克力板。

42、進(jìn)一步地，所述反射層的制作方法為：

43、使用銀粉和第一款硅膠，按照1：1的比例各1.5g混合，充分?jǐn)嚢韬蟪檎婵?，得到硅膠銀粉混合物，將已制作好的標(biāo)記層放在勻膠機(jī)上，將硅膠銀粉混合物倒在標(biāo)記層上面，初始轉(zhuǎn)速700r/min，保持30s，然后1100r/min，保持15s，可得厚度為0.3mm的反射層。

44、進(jìn)一步地，所述保護(hù)層的制作方法為：

45、使用黑色顏料和第一款硅膠，按照1：5的比例混合，充分?jǐn)嚢韬蟪檎婵?，得到硅膠黑色顏料混合物，將已制作好反射層的標(biāo)記層放在勻膠機(jī)上，將硅膠黑色顏料混合物倒在反射層上面，初始轉(zhuǎn)速700r/min，保持30s，然后1100r/min，保持15s，可得厚度為0.3mm的保護(hù)層。

46、借由上述技術(shù)方案，本發(fā)明提供了一種基于色塊標(biāo)記點(diǎn)陣列的雙目視觸覺傳感器及實(shí)時(shí)高精度三維重建方法，至少具備以下有益效果：

47、1、本發(fā)明所提出的雙目視觸覺傳感器能夠?qū)崿F(xiàn)實(shí)時(shí)高精度三維重建，以克服現(xiàn)有技術(shù)的精度低、實(shí)時(shí)性差的限制，提升機(jī)器人在各種復(fù)雜任務(wù)中的性能和安全性。

48、2、本發(fā)明所設(shè)計(jì)的色塊標(biāo)記點(diǎn)陣列整體尺寸3cm*3cm，色塊間距只有0.5mm，色塊數(shù)量高達(dá)3600個(gè)，標(biāo)記點(diǎn)密度高達(dá)400個(gè)/cm2，可實(shí)現(xiàn)高精度三維重建。

49、3、本發(fā)明在標(biāo)記點(diǎn)匹配時(shí)引入了4種旋碼，相當(dāng)于考慮了鄰近標(biāo)記點(diǎn)繞中心標(biāo)記點(diǎn)旋轉(zhuǎn)-90°至90°的情況，能夠適應(yīng)于大變形的情況，同時(shí)，在發(fā)生大變形的時(shí)候可能存在部分色塊丟失和顏色判定錯(cuò)誤的情況，只使用鄰近8個(gè)色塊編碼完成雙目匹配，也只會這個(gè)色塊周圍一圈的色塊的匹配造成影響，并不會對全局造成影響，可實(shí)現(xiàn)較大接觸變形的三維重建，同時(shí)具有較強(qiáng)的魯棒性，并且在匹配的同時(shí)綜合考慮了跟蹤的結(jié)果，使得到的匹配結(jié)果更加精確和穩(wěn)定。

50、4、本發(fā)明所制作的彈性體具有合適的硬度值以及光學(xué)透明度，在保持足夠柔軟的同時(shí)還消除了硅膠本身的黏性，避免彈性體在接觸物體時(shí)出現(xiàn)粘連灰塵以及破損的現(xiàn)象，使彈性體能夠準(zhǔn)確且精細(xì)獲取接觸物體的三維形貌。

51、5、本發(fā)明在制作的反射層中添加銀粉，在全內(nèi)反射的燈光條件下，圖案和背景區(qū)域會形成強(qiáng)烈的亮度差異，使用傳統(tǒng)的圖像處理算法即可完成圖案的分離，加上匹配算法花費(fèi)的時(shí)間一般也在10ms左右，可實(shí)現(xiàn)實(shí)時(shí)的三維重建工作。