本技術(shù)涉及一種單標尺現(xiàn)場標定方法,屬于相機標定。
背景技術(shù):
1、相機標定是通過確定相機的內(nèi)外參數(shù),從而能夠準確地將三維世界中的物體映射到二維圖像平面上。傳統(tǒng)的相機標定方法是利用標定板(通常是一張?zhí)囟ǖ暮诎灼灞P圖案)進行標定,通過在不同姿態(tài)下拍攝標定板的圖像,計算相機的內(nèi)參(如焦距、主點位置等)和外參(如相機在世界坐標系中的位姿),并進行相應(yīng)的優(yōu)化。相機標定目前已經(jīng)有多種不同的算法和方法。例如,最常用的r.y.tsai提出的兩步法和張正友提出的棋盤網(wǎng)格平面標定法需要制作較高精度的靶標來保證最終的標定精度;并且,算法模塊可以通過opencv或matlab等視覺算法庫免費提供,是當前視覺測量領(lǐng)域應(yīng)用最廣泛的標定方式。而fanugeras等提出的相機自標定思想,不需要已知靶標歐式空間結(jié)構(gòu)和其他空間三維信息,僅利用多次成像之間的約束關(guān)系來計算相機參數(shù),同時將相機的內(nèi)參數(shù)、外參數(shù)和靶標三維信息都作為未知量進行整體光束平差解算,目前在工業(yè)測量中最為常用。此外,還有基于深度學(xué)習(xí)的相機標定方法,可以通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)來直接預(yù)測相機的內(nèi)外參數(shù)。
2、現(xiàn)存常用的相機標定辦法如下存在技術(shù)難點:
3、(1)標定板存在局限性:為保證相機系統(tǒng)的標定精度,通常需要使用與實際測量場景等大或者大小接近的標定板進行標定,即各個場景下的標定板無法通用。隨著場景的擴大,標定板的整體尺寸會隨之增大;同時,因使用材料不同,標定板出現(xiàn)不同程度的增重,往往需要多人協(xié)同標定。此外,標定板尺寸大且厚度薄的特性,導(dǎo)致實際使用過程中更容易發(fā)生表面變形問題,故對實際標定板的使用環(huán)境、存儲條件以及運輸過程要求更高。
4、(2)圖像采集復(fù)雜:相機標定過程需要采集多組標定板圖像,要求圖像采集位置準確且標定板在視野范圍內(nèi)的所有位置都有圖像。對于大場景而言,無疑增加了標定工作的復(fù)雜度和難度。
5、(3)時間和資源消耗大:大視野條件下,需要使用大尺寸的標定板,大尺寸標定板重量大,往往需要多人協(xié)同操作。為保證連續(xù)采集多幅標定板圖像,對操作人員的體力無疑是一項巨大的考驗。另外,現(xiàn)有的材料、加工工藝限制,巨大的財力投入也很難完全解決現(xiàn)有標定板的局限性。
6、(4)標定圖像解算速率低:對于雙目及多目相機而言,標定過程不僅是單個相機內(nèi)外參數(shù)的求解,還需確定并建立兩兩相機之間相對位置關(guān)系。以標定板當作拍攝目標,需要不斷對板上的標志點三維坐標及像點坐標進行調(diào)整。較多的標定未知數(shù),加大了計算數(shù)據(jù)量和計算復(fù)雜度,整體解算速率很低。
7、因此,由于標定板的使用環(huán)境的限制和圖像采集的復(fù)雜程度等原因,現(xiàn)有方法不適用于大場景下現(xiàn)場標定的情況。
技術(shù)實現(xiàn)思路
1、根據(jù)本技術(shù)的一個方面,提供了一種單標尺現(xiàn)場標定方法,該方法解決了大視場包括部分超大視場的現(xiàn)場標定困難的問題。
2、一種單標尺現(xiàn)場標定方法,其特征在于,包括:
3、使用一字標尺并利用雙目相機獲取標定圖像;
4、對每個相機進行相對定向并獲取相機的內(nèi)外參數(shù)初值:通過相對定向,確定所述雙目相機中各個相機之間的相對位置和姿態(tài)關(guān)系,建立以基準相機為參考的局部坐標系,利用相機間的共平面條件,得到相機內(nèi)外參數(shù)初值;
5、對每個相機進行絕對定向并解算每個相機獲取的標定圖像的外參數(shù):通過絕對定向,確定所述雙目相機在世界坐標系中的位置和姿態(tài),獲取所述標定圖像所有標定點的世界坐標,結(jié)合絕對定向后在各張圖像上標志點的局部坐標系的三維坐標,求解各張所述標定圖像相對世界坐標系的外部參數(shù)值;
6、對相機參數(shù)進行參數(shù)優(yōu)化調(diào)整:以共線方程作為觀測方程,進行全參數(shù)捆綁調(diào)整,以各相機的內(nèi)參數(shù)以及非基準相機的相對外參數(shù)不再發(fā)生變化為約束條件,求解并輸出相機系統(tǒng)的內(nèi)外參數(shù)值。
7、進一步的,使用一字標尺并利用雙目相機獲取標定圖像,包括:
8、1.1設(shè)計標記點:采用點陣編碼點為標志點,所述標志點由8個直徑相同的圓點組成,其中a、b、c、d、e五個位置上的點作為模板點,利用交比不變性原理,定位編碼區(qū)域,其他三個標記點根據(jù)所在設(shè)計坐標系的位置不同,賦予唯一數(shù)字編號對應(yīng),用于區(qū)分整體點陣編碼;
9、根據(jù)透視幾何,圖像目標從三維空間世界坐標系投射到圖片的二維測量坐標系遵從非線性透視投影變換;交比不變量是透視投影下的不變量,即:
10、;
11、其中,a、b、c三點共線得到直線bc,直線bc與e、d連線的交點為f,且cr=1.5112;
12、1.2標記點檢測:
13、1.2.1橢圓識別:對獲取到的圖像依次進行降噪處理、亞像素邊緣提取和橢圓擬合,獲取橢圓中心點坐標與長半軸長度參數(shù);
14、1.2.2聚類生成點簇:將獲取到的橢圓中心點隨機分為多個點簇,每個點簇中點個數(shù)不少于8個;
15、1.2.3識別模板點:設(shè)定距離點簇重心位置最近的點為模板點a;設(shè)定距離模板點a最遠的點為模板點b;模板點c與ab兩點共線,且位于ab連線的反向延長線上;d、e位于c點兩側(cè)且和兩向量夾角不小于20°;
16、1.2.4計算交比:識別五個模板點帶入交比公式,輸出對應(yīng)的交比值;如交比值為1.5112,則是點陣編碼,進入下一步;反之,返回重新識別模板點b;
17、1.2.5計算仿射變換參數(shù):根據(jù)5個模板點二維圖像坐標與給定的二維設(shè)計坐標,求解兩個坐標系之間的仿射變換參數(shù);
18、1.2.6標記點匹配:根據(jù)得到的仿射變換參數(shù),以及除模板點以外其他三個點圖像坐標,求解得到這三個點對應(yīng)的設(shè)計坐標;
19、1.2.7求解最終編碼:根據(jù)編碼原則,設(shè)計坐標查找相應(yīng)的編碼id,并輸出點塊中所有標記點的最終id;
20、1.2.8圖像標定:使用一字標尺采集所述雙目相機的標定圖像。
21、進一步的,對每個相機進行相對定向,包括:
22、滿足共面條件方程:
23、;
24、其中,第一行表示攝影基線相對于像空間輔助坐標系的三個分量,即右像坐標系的原點在像空間輔助坐標系的坐標;
25、第二行表示左像點在左面坐標系的坐標;
26、第三行表示右像點在像空間輔助坐標系的坐標;
27、根據(jù)行列式性質(zhì),可得:;
28、左右像點坐標量測結(jié)果分別表示如下形式:;;
29、將表達為如下形式:;
30、最終共面條件方程轉(zhuǎn)化為非線性方程的形式,即:
31、;
32、根據(jù)后方交會法可知,若要得到相對定向結(jié)果,首先對共面條件方程進行泰勒展開,即:
33、;
34、偏導(dǎo)數(shù)求解:;
35、兩邊同時除以,則得到:
36、;
37、同時,引入視差q:;
38、其中,;
39、則:;
40、由于,;
41、則:;
42、得到視差誤差方程:;
43、其中,每一對同源像點都存在一組視差,量測7對以上的同名像點并令視差為零,完成相機相對定向;按照最小二乘平差法求解相對定向參數(shù)及內(nèi)參數(shù)初值。
44、進一步的,按照最小二乘平差法求解相對定向參數(shù)及內(nèi)參數(shù)初值,包括:
45、獲取已知圖像數(shù)據(jù):確定相機出廠的焦距參數(shù)以及左像點坐標和右像點坐標;
46、假定攝影基線:假定攝影基線為;
47、設(shè)定各項參數(shù)零值:假定所有相對定向參數(shù)的初值為零;兩相機的主點距離;
48、解算像空間輔助坐標:計算像空間輔助坐標以及;
49、解算誤差方程:逐點計算誤差方程的系數(shù)和常數(shù)項,并方程化;
50、迭代確定元素初值:根據(jù)同面約束關(guān)系,要求視差方程為零,不斷迭代求解,確定最終迭代收斂后,輸出最終的相對定向參數(shù)值和兩相機的內(nèi)參數(shù)值。
51、進一步的,對每個相機進行絕對定向前還包括:
52、通過比例尺修正相對外參數(shù)初值;以局部坐標軸向量為單位向量,引入比例因子,利用標志點到其質(zhì)心的距離之和不變的幾何關(guān)系,建立局部坐標距離與實際物理距離之間的對應(yīng)關(guān)系,求解得到非基準相機的相對外參數(shù)初值。
53、進一步的,通過比例尺修正相對外參數(shù)初值,包括:
54、確定在像空間輔助坐標系下,第張右側(cè)圖像中第組標志點在像空間輔助坐標系的坐標,可知該張圖像中質(zhì)心坐標可表示為:
55、;
56、求解第i張圖像中第j組標志點到質(zhì)心的距離之和:
57、;
58、;
59、其中,表示第i張圖像中第j組標志點到質(zhì)心的距離;i表示拍攝的圖像數(shù),;j代表第i張圖像中拍攝到的標志點組數(shù),;表示第i張圖像中各組標志點到質(zhì)心的距離之和;
60、各張圖像上標記點到質(zhì)心的距離之和保持不變:
61、;
62、式中,表示在像空間輔助坐標系下,拍攝的所有張圖像中各組標志點到質(zhì)心的距離之和的均值,其中,其和恒定,保持不變;
63、根據(jù)dp近景工業(yè)攝影測量系統(tǒng),得到標尺上所有標志點的全局點坐標集,假定其中某點在物方空間坐標為,解算全局點的質(zhì)心坐標并求解出各點到質(zhì)心的距離之和;
64、根據(jù)全局點坐標求解得到質(zhì)心坐標為:
65、;
66、求解圖像中各組標志點到質(zhì)心的距離:
67、;
68、并對各組標志點到質(zhì)心的距離進行求和,得到:
69、;
70、確定兩組距離比例關(guān)系為:
71、;
72、式中:s表示在世界坐標系下,各組標志點到質(zhì)心的距離之和與像空間輔助坐標系下,拍攝的所有張圖象中各組標志點到質(zhì)心的距離之和的均值的比值;
73、所述比例關(guān)系s,除是距離比值外,也代表了像空間輔助坐標系到識別坐標系的比例關(guān)系,將該比例關(guān)系應(yīng)用到攝影基線相對于像空間輔助坐標系的三個分量,結(jié)合求得的三個角元素,確定當前相機系統(tǒng)的相對外部參數(shù)初值。
74、進一步的,對每個相機進行絕對定向并解算每個相機獲取的標定圖像的外參數(shù),包括:
75、確定質(zhì)心位置;
76、根據(jù)任意一張圖像中已確定的三維坐標點集,其中,任意一點三維坐標,則質(zhì)心位置如下:;
77、計算各點到質(zhì)心距離;
78、根據(jù)三維坐標點集及質(zhì)心的位置坐標,確定各點到質(zhì)心的距離及距離之和為:
79、;
80、;
81、式中:表示三維坐標點集中的某一點到質(zhì)心的距離之和;
82、表示三維坐標點集中的所有點到質(zhì)心的距離之和;
83、確定各張圖像的比例關(guān)系;
84、結(jié)合全局點到質(zhì)心距離之和,確定左圖像的像空間輔助坐標系與世界坐標系的比例關(guān)系:
85、;
86、式中:表示在世界坐標系下,各組標志點到質(zhì)心的距離之和;
87、將比例關(guān)系應(yīng)用到三維坐標點集,修正左像空間與世界坐標系大小一致,故存在一組旋轉(zhuǎn)、平移矩陣關(guān)系滿足:
88、;
89、;
90、其中,表示世界坐標系到像空間輔助坐標系的旋轉(zhuǎn)矩陣關(guān)系,t表示世界坐標系到像空間輔助坐標系的平移矩陣關(guān)系;
91、兩坐標集滿足svd奇異值分解法,故求解兩坐標集的矩陣轉(zhuǎn)換關(guān)系:
92、求解矩陣質(zhì)心;
93、設(shè)矩陣各自的質(zhì)心分別為,則:
94、;
95、平移矩陣;
96、將矩陣、分別相對于各自質(zhì)心位置做平移,新矩陣分別為、,則:;
97、svd分解;利用矩陣、構(gòu)造矩陣,并對其進行svd分解:;
98、解算;;利用svd奇異值分解法,求解得到,確定每張圖像相對世界坐標系的外部參數(shù)。
99、進一步的,對相機參數(shù)進行參數(shù)優(yōu)化調(diào)整,包括:
100、對左右相機的所有圖像分別使用誤差方程作為觀測方程;
101、對于基準相機而言:;
102、其中:表示像點坐標的殘差;分別為基準相機的內(nèi)參數(shù)、外參數(shù)和物體點三維坐標的改正數(shù);分別為基準相機的內(nèi)參數(shù)、外參數(shù)和物體點坐標對應(yīng)的偏導(dǎo)數(shù)矩陣;為觀察真實值與初值偏差;
103、其中:;
104、同樣對于非基準相機而言,存在誤差方程:;
105、其中:表示非基準相機的內(nèi)參數(shù)偏導(dǎo)數(shù)矩陣;表示非基準相機的內(nèi)參數(shù);表示物體點三維坐標;表示非基準相機的圖像點坐標相對基準相機外參數(shù)偏導(dǎo)數(shù)矩陣,
106、;表示非基準相機的圖像點對其相對外參數(shù)的偏導(dǎo)數(shù)矩陣,;表示相對外參數(shù)的改正數(shù),;表示非基準相機的物體點坐標對應(yīng)的偏導(dǎo)數(shù)矩陣,
107、;確定標記點的全局點坐標,即標記點的世界坐標;
108、待相機的內(nèi)參數(shù)以及非基準相機的相對外參數(shù)不發(fā)生變化時,輸出最終的相機內(nèi)外參數(shù)及非基準相機的相對外參數(shù)值,完成了相機系統(tǒng)的內(nèi)外參數(shù)標定工作。
109、進一步的,所述一字標尺為碳纖維一字標尺;
110、所述標記點采用金屬底片配合反光微珠圓點的結(jié)構(gòu),每個所述標記點的反光度為300目~400目;
111、水平及垂直方向使用所述一字標尺時,所述一字標尺在固定平面內(nèi)上下左右移動;標定景深方向時,同時拍攝前景深和后景深位置,所述一字標尺在景深方向上的標志點與所述一字標尺的尺身呈45°夾角傾斜。
112、本技術(shù)能產(chǎn)生的有益效果包括:
113、1)本技術(shù)所提供的一種單標尺現(xiàn)場標定方法,通過相對定向,初步確定相機的位置關(guān)系,繼續(xù)使用同面性約束條件,最小二乘優(yōu)化迭代求得相機的內(nèi)外參數(shù)及右相機相對外部參數(shù)初值;通過絕對定向解算各圖像外參數(shù):通過點云配準結(jié)合svd(奇異值分解法)實現(xiàn)了絕對定向,相機參數(shù)統(tǒng)一坐標系。左像空間相對世界坐標系的關(guān)系即為左相機的外參數(shù),同時也是相對外參數(shù)模型下的相機系統(tǒng)外參數(shù)。由于該外參數(shù)關(guān)系會隨著圖像位置的不同會發(fā)生變化,故絕對定向之前進行比例尺矯正,即建立左像空間與世界坐標系之間的比例關(guān)系;再使用點云配準結(jié)合svd(奇異值分解法)的方式,確定各張圖像與世界坐標系之間的矩陣轉(zhuǎn)換關(guān)系;對相機相對外參數(shù)模型下的全參數(shù)調(diào)整,以相機誤差方程為觀測方程,相機內(nèi)參數(shù)以及相對外參數(shù)收斂為約束條件,實際最終標定結(jié)果精準、高效。其調(diào)整過程中,未大批量增加標定參數(shù)且各項參數(shù)都賦予了相應(yīng)的初值或?qū)嶋H參數(shù)值,因此方程解算可以迅速實現(xiàn)收斂,得到標定參數(shù)結(jié)果,解決了大視場包括部分超大視場的現(xiàn)場標定困難的問題。
114、2)本技術(shù)所提供的一種單標尺現(xiàn)場標定方法,采用碳纖維一字標尺,經(jīng)調(diào)整后的標尺,降低了操作技術(shù)難度,縮短了標定時間。尺身使用碳纖維結(jié)構(gòu),大大降低了標尺自重;而金屬底片配合玻璃微珠的反光圓點設(shè)計標志點,降低了技術(shù)操作難度,保證了標志點的識別效果。