本發(fā)明涉及一種機器視覺技術(shù)領(lǐng)域，尤其涉及一種立體視覺映射模型建立方法。

背景技術(shù)：

目前的視覺系統(tǒng)類型主要包括單目視覺系統(tǒng)和立體視覺系統(tǒng)，簡單的單目視覺系統(tǒng)成像方式是基于線性的透鏡成像，在考慮了視覺系統(tǒng)的結(jié)構(gòu)之后，擴展其成像到空間成像坐標系，并分別構(gòu)建了全局坐標系，攝像機坐標系，成像平面坐標系以及像素坐標系。目標物空間點轉(zhuǎn)換的目的是從成像圖片中提取出目標物的三維空間坐標值，立體視覺系統(tǒng)在單目成像原理的基礎(chǔ)上增加了目標點的景深信息，這使得移動機器人能夠很好的識別目標的姿態(tài)及空間方位朝向信息。但是攝像機透鏡加工時的畸變因素，將不可避免的影響視覺系統(tǒng)對空間坐標點成像位置的判斷，因此利用數(shù)學(xué)算法合理求解畸變因子也是提高移動機器人視覺系統(tǒng)認知信息精度的關(guān)鍵。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的就在于為了解決上述問題而提供一種立體視覺映射模型建立方法。

本發(fā)明通過以下技術(shù)方案來實現(xiàn)上述目的：

1、本發(fā)明包括以下步驟：

步驟1：粒子采樣；對通過改進tsai算法標定的立體視覺內(nèi)外參數(shù)共28個進行采樣，因此采樣粒子共有28維，采用隨機采樣法進行粒子采樣，重要性密度函數(shù)為高斯分布，方差可以通過經(jīng)驗獲得；在空間內(nèi)產(chǎn)生規(guī)模為n的粒子群h＝{h1,h2,…,hn}，h為每個粒子在空間內(nèi)的28維矢量，h＝(αx1,αy1,u0l,v0l,k1l,k2l,p1l,p2l,αl,βl,γl,txl,tyl,tzl,αxr,αyr,u0r,v0r,k1r,k2r,p1r,p2r,αr,βr,γr,txrtyr,tzr)

步驟2：利用采樣粒子的畸變參數(shù)對圖像進行校正，利用采樣粒子的其他參數(shù)生成投影矩陣，這樣每個粒子空間(28維矢量)生成了對應(yīng)的2幅畸變校正圖像和2個投影矩陣；

步驟3：確定適應(yīng)度函數(shù)；

pi為k空間點實際投影的像素坐標，表示當前粒子h作為立體視覺非線性模型參數(shù)估計的像素坐標值，利用每個粒子生成的投影矩陣求解；

步驟4：粒子群更新；

為了有效地控制粒子遷移速度，使算法具有精細搜索能力，借鑒模擬退火算法思想在粒子群更新策略中引入慣性因子；在每次遷移中，每個粒子根據(jù)以下準則更新位置和速度

式(2)中，為第i個粒子在第k次遷移時第d維速度；c1為認知因子，c2為社會因子，分別調(diào)節(jié)粒子向個體極值和全局極值方向遷移的步長；r1和r2為(0,1)之間分布的隨機數(shù)；為第i個粒子在第d維的個體極值位置，為粒子群在第d維的全局極值位置，和在迭代過程中根據(jù)粒子適應(yīng)度實時更新；慣性因子ω＝b–k(b–a)/k，b＝0.9，a＝0.4，k為最大遷移次數(shù)；

步驟5：粒子群更新結(jié)束；

當粒子群達到設(shè)定的截止遷移次數(shù)k或粒子適應(yīng)值達到期望值ζ，粒子群停止優(yōu)化；將更新結(jié)束后的粒子進行粒子濾波，粒子濾波以棋盤格特征點的3d坐標作為優(yōu)化條件，也是符合立體視覺實際應(yīng)用；

步驟6：獲取特征點觀測值

以棋盤格第一個位置作為世界坐標系，求取棋盤格各特征點的坐標值作為觀測值，棋盤格采用的30cm*30cm的黑白方格，很容易獲取個特征點的觀測值；

步驟7：特征點預(yù)測值求解；提取特征點在左右攝像機圖像的像素坐標，以當前粒子h作為立體視覺的非線性參數(shù)計算對應(yīng)特征點的預(yù)測值；計算方法如下；

其中，(xw，yw，zw，1)為點p在世界坐標系下的齊次坐標，(u1，v1，1)與(u2，v2，1)分別為點p在左右像機的圖像坐標系投影的齊次坐標；由式(3)和(4)可以得到關(guān)于xw，yw，zw的四個線性方程：

式(5)3個未知數(shù)4個方程，為了提高計算精度減少噪聲影響，采用最小二乘法求解；

步驟8：粒子權(quán)重計算,并做歸一化處理；

粒子權(quán)重計算就是計算每個粒子hi的概率大?。?/p>

由于每個標定特征點pi之間誤差分布是獨立,標定參數(shù)采樣粒子的概率大小計算公式如下：

由式(6)可知，如果能夠求出每個特征點pi對標定參數(shù)采樣粒子的影響，也即求出p(pi|hi)，通過式(6)很容易求取標定參數(shù)采樣粒子在所有特征點影響下的概率大小；設(shè)每個特征點的觀測值預(yù)測值為為了計算簡單，設(shè)p(pi|hi)服從高斯分布，其中均值u為和的差值，方差為觀察值方差和預(yù)測值的方差之和；

其中觀測值通過棋盤格獲取，誤差可以忽略不計，預(yù)測值由立體視覺獲得；

路標誤差計算如下：

式(8)中r,c是特征點在左圖像的投影坐標，r0,c0是左圖像的中心坐標.變量c,r,d被認為均值為零的高斯隨機分布，根據(jù)協(xié)方差前向傳播定理，

j為式(9)的雅克比矩陣，分別為對應(yīng)變量的協(xié)方差，一般取式(9)經(jīng)計算得到：

歸一化權(quán)重：

步驟9：求標定參數(shù)精確估計值及其協(xié)方差，標定參數(shù)精確估計值是將每組采樣粒子乘以歸一化權(quán)重然后求和如式(12)，其標定參數(shù)精確估計值的協(xié)方差如式(13)：

采用的粒子濾波進行立體視覺標定優(yōu)化算法，更好的結(jié)合了立體視覺導(dǎo)航的具體應(yīng)用，對所有參數(shù)進行整體優(yōu)化使3維坐標重投影誤差最小化。

本發(fā)明的有益效果在于：

本發(fā)明是一種立體視覺映射模型建立方法，與現(xiàn)有技術(shù)相比，本發(fā)明對關(guān)鍵畸變因子的標定提出了基于tsai改進算法。詳細介紹了基于opencv的實現(xiàn)方法，算法充分考慮了opencv函數(shù)庫最小二乘法的特性，對圖像分步進行畸變校正，避免透鏡非線性映射導(dǎo)致的計算量增加，降低了算法迭代次數(shù)，是一種高效，簡便的算法。為了進一步提高標定精度，采用了粒子群優(yōu)化粒子濾波的非線性優(yōu)化算法，通過粒子群優(yōu)化使粒子集朝后驗概率密度分布取值較大的區(qū)域運動,從而克服了粒子貧乏問題,并極大地降低了精確預(yù)估所需的粒子數(shù)，提高估計精度。同時粒子群優(yōu)化時以投影像素誤差作為約束條件，而粒子濾波求取粒子權(quán)重時以棋盤格的特征點3d坐標誤差進行計算，充分考慮了2維和3維誤差，大大提高標定的精度和魯棒性。最后進行了實驗分析，以標定板特征點3d投影誤差作為精度評價指標，結(jié)果表明本算法精度高、魯棒性好，在立體視覺導(dǎo)航中有很好的應(yīng)用前景。

附圖說明

圖1是本發(fā)明的3d路標不確定性圖；

圖2是本發(fā)明棋盤格平面標定模；

圖3是本發(fā)明成功檢測特征點對比圖；

圖4是本發(fā)明畸變矯正標靶。

具體實施方式

下面結(jié)合附圖對本發(fā)明作進一步說明：

本發(fā)明包括以下步驟：

步驟1：粒子采樣；對通過改進tsai算法標定的立體視覺內(nèi)外參數(shù)共28個進行采樣，因此采樣粒子共有28維，采用隨機采樣法進行粒子采樣，重要性密度函數(shù)為高斯分布，方差可以通過經(jīng)驗獲得；在空間內(nèi)產(chǎn)生規(guī)模為n的粒子群h＝{h1,h2,…,hn}，h為每個粒子在空間內(nèi)的28維矢量，h＝(αx1,αy1,u0l,v0l,k1l,k2l,p1l,p2l,αl,βl,γl,txl,tyl,tzl,αxr,αyr,u0r,v0r,k1r,k2r,p1r,p2r,αr,βr,γr,txrtyr,tzr)

步驟2：利用采樣粒子的畸變參數(shù)對圖像進行校正，利用采樣粒子的其他參數(shù)生成投影矩陣，這樣每個粒子空間(28維矢量)生成了對應(yīng)的2幅畸變校正圖像和2個投影矩陣；

步驟3：確定適應(yīng)度函數(shù)；

pi為k空間點實際投影的像素坐標，表示當前粒子h作為立體視覺非線性模型參數(shù)估計的像素坐標值，利用每個粒子生成的投影矩陣求解；

步驟4：粒子群更新；

為了有效地控制粒子遷移速度，使算法具有精細搜索能力，借鑒模擬退火算法思想在粒子群更新策略中引入慣性因子；在每次遷移中，每個粒子根據(jù)以下準則更新位置和速度

式(2)中，為第i個粒子在第k次遷移時第d維速度；c1為認知因子，c2為社會因子，分別調(diào)節(jié)粒子向個體極值和全局極值方向遷移的步長；r1和r2為(0,1)之間分布的隨機數(shù)；為第i個粒子在第d維的個體極值位置，為粒子群在第d維的全局極值位置，和在迭代過程中根據(jù)粒子適應(yīng)度實時更新；慣性因子ω＝b–k(b–a)/k，b＝0.9，a＝0.4，k為最大遷移次數(shù)；

步驟5：粒子群更新結(jié)束；

當粒子群達到設(shè)定的截止遷移次數(shù)k或粒子適應(yīng)值達到期望值ζ，粒子群停止優(yōu)化；將更新結(jié)束后的粒子進行粒子濾波，粒子濾波以棋盤格特征點的3d坐標作為優(yōu)化條件，也是符合立體視覺實際應(yīng)用；

步驟6：獲取特征點觀測值

以棋盤格第一個位置作為世界坐標系，求取棋盤格各特征點的坐標值作為觀測值，棋盤格采用的30cm*30cm的黑白方格，很容易獲取個特征點的觀測值；

步驟7：特征點預(yù)測值求解；提取特征點在左右攝像機圖像的像素坐標，以當前粒子h作為立體視覺的非線性參數(shù)計算對應(yīng)特征點的預(yù)測值；計算方法如下；

其中，(xw，yw，zw，1)為點p在世界坐標系下的齊次坐標，(u1，v1，1)與(u2，v2，1)分別為點p在左右像機的圖像坐標系投影的齊次坐標；由式(3)和(4)可以得到關(guān)于xw，yw，zw的四個線性方程：

式(5)3個未知數(shù)4個方程，為了提高計算精度減少噪聲影響，采用最小二乘法求解；

步驟8：粒子權(quán)重計算,并做歸一化處理；

粒子權(quán)重計算就是計算每個粒子hi的概率大小；

由于每個標定特征點pi之間誤差分布是獨立,標定參數(shù)采樣粒子的概率大小計算公式如下：

由式(6)可知，如果能夠求出每個特征點pi對標定參數(shù)采樣粒子的影響，也即求出p(pi|hi)，通過式(6)很容易求取標定參數(shù)采樣粒子在所有特征點影響下的概率大小；設(shè)每個特征點的觀測值預(yù)測值為為了計算簡單，設(shè)p(pi|hi)服從高斯分布，其中均值u為和的差值，方差為觀察值方差和預(yù)測值的方差之和；

其中觀測值通過棋盤格獲取，誤差可以忽略不計，預(yù)測值由立體視覺獲得；

路標誤差形成如圖1，計算如下：

式(8)中r,c是特征點在左圖像的投影坐標，r0,c0是左圖像的中心坐標.變量c,r,d被認為均值為零的高斯隨機分布，根據(jù)協(xié)方差前向傳播定理，

j為式(9)的雅克比矩陣，分別為對應(yīng)變量的協(xié)方差，一般取式(9)經(jīng)計算得到：

歸一化權(quán)重：

步驟9：求標定參數(shù)精確估計值及其協(xié)方差，標定參數(shù)精確估計值是將每組采樣粒子乘以歸一化權(quán)重然后求和如式(12)，其標定參數(shù)精確估計值的協(xié)方差如式(13)：

采用的粒子濾波進行立體視覺標定優(yōu)化算法，更好的結(jié)合了立體視覺導(dǎo)航的具體應(yīng)用，對所有參數(shù)進行整體優(yōu)化使3維坐標重投影誤差最小化。

實驗與結(jié)果分析

如圖2所示：由于3d標定物的精度難以保證，這里采用多個空間方位角度不同黑白交替排列的棋盤格平面標定模板。使用pointgreyresearch公司生產(chǎn)的bumblebee2camera作為圖像采集設(shè)備。雙目視覺系統(tǒng)基線長120mm，最大分辨率為1024×768，像素面積為4.65um×4.65um，幀數(shù)為30fps，70°水平視角下的焦距為3.8mm，50°水平視角下的焦距為6mm，數(shù)字圖像位深由支持的數(shù)據(jù)格式定為24bit，圖像信號噪聲比率在0db的時候增益大于60db。

目標棋盤格標定板尺寸270mm×210mm，每個棋盤格尺寸為30mm×30mm，中心距30mm，陣列9×7，每幅圖像像素比均為640×480，位深8bit，標定面的平整度誤差范圍在-0.05mm以內(nèi)，透鏡成像平面與標定靶面的夾角保持在50°以內(nèi)。

實驗時，雙目攝像頭一共采集3組共10副不同空間方位的圖像，應(yīng)保證獲取的棋盤格占據(jù)成像平面大部分區(qū)域。算法進行特征點提取時，首先在圖像中心點區(qū)域范圍內(nèi)繪制特征點圖像，以避免圖像邊緣過畸變導(dǎo)致的標定實際誤差，特征點位置用圖中圓圈內(nèi)兩直徑的交點表示，然后標定平板上特征點的行列數(shù)。提取成功的圖像，前一行的最后一個特征點與后一行的第一個特征點由彩色直線相連，以判斷是否找到所有特征點，每一行特征點都用不同顏色的圓圈區(qū)別。圖中第一行的三幅棋盤格圖像為左攝像機特征點提取結(jié)果，第二行的三幅圖像是在相同空間成像映射下，右攝像機的特征點提取結(jié)果。

如圖3所示：為了驗證本文標定方法的可行性，將本文提出的粒子群優(yōu)化粒子濾波優(yōu)化算法(方法1)分別與遺傳算法非線性優(yōu)化標定的立體視覺兩步標定法^[81](方法2)和僅使用粒子群算法非線性優(yōu)化標定的立體視覺兩步標定法^[77](方法3)進行了比較，方法1中粒子數(shù)位500，截止遷移次數(shù)500，方法2中遺傳截止進化代數(shù)為10000，方法3中粒子群截止遷移次數(shù)為3000，優(yōu)化后具體參數(shù)如表3.2所示。

表3.2參數(shù)對比

通過粒子群優(yōu)化粒子濾波優(yōu)化算法后更接近真實值，為了進一步評價算法的優(yōu)劣，結(jié)合立體視覺導(dǎo)航應(yīng)用環(huán)境，采用了空間真實坐標點與重建后對應(yīng)的坐標值的均方根作為評價指標，如式(3-30)，其參數(shù)如表3.3。

表3.3性能評價結(jié)果

三種算法標定的立體視覺的相互位置參數(shù)如表3.4，粒子群優(yōu)化粒子濾波的參數(shù)更接近廠家出廠的參數(shù)。

表3.4左右相機相互位置參數(shù)比較

最后用標定的畸變參數(shù)對圖像進行了畸變矯正，圖3棋盤標定格圖像經(jīng)過畸變矯正后結(jié)果如圖4，可以看出，算法可以顯著糾正透鏡成像時發(fā)生在圖像邊緣的徑向畸變和切向畸變。

小結(jié)

本發(fā)明內(nèi)容介紹了立體視覺標定，通過對目前常用的幾種視覺系統(tǒng)的標定方法的分析，提出了一種基于2d平面靶標的多項畸變模型立體攝像機標定方法，算法線性求解了尺度焦距因子、像素平面中心點坐標、旋轉(zhuǎn)矩陣參數(shù)、平移矩陣參數(shù)在內(nèi)的十項攝像機參數(shù)。對關(guān)鍵畸變因子的標定提出了基于tsai改進算法。詳細介紹了基于opencv的實現(xiàn)方法，算法充分考慮了opencv函數(shù)庫最小二乘法的特性，對圖像分步進行畸變校正，避免透鏡非線性映射導(dǎo)致的計算量增加，降低了算法迭代次數(shù)，是一種高效，簡便的算法。為了進一步提高標定精度，采用了粒子群優(yōu)化粒子濾波的非線性優(yōu)化算法，通過粒子群優(yōu)化使粒子集朝后驗概率密度分布取值較大的區(qū)域運動,從而克服了粒子貧乏問題,并極大地降低了精確預(yù)估所需的粒子數(shù)，提高估計精度。同時粒子群優(yōu)化時以投影像素誤差作為約束條件，而粒子濾波求取粒子權(quán)重時以棋盤格的特征點3d坐標誤差進行計算，充分考慮了2維和3維誤差，大大提高標定的精度和魯棒性。最后進行了實驗分析，以標定板特征點3d投影誤差作為精度評價指標，結(jié)果表明本算法精度高、魯棒性好，在立體視覺導(dǎo)航中有很好的應(yīng)用前景。

以上顯示和描述了本發(fā)明的基本原理和主要特征及本發(fā)明的優(yōu)點。本行業(yè)的技術(shù)人員應(yīng)該了解，本發(fā)明不受上述實施例的限制，上述實施例和說明書中描述的只是說明本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會有各種變化和改進，這些變化和改進都落入要求保護的本發(fā)明范圍內(nèi)。本發(fā)明要求保護范圍由所附的權(quán)利要求書及其等效物界定。