專利名稱：一種車載攝像機外部參數(shù)三線標定方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計算機視覺領(lǐng)域，涉及計算機視覺中攝像機標定，特別涉及一種車載攝像機外部參數(shù)三線標定方法。
背景技術(shù)：
隨著城市化的發(fā)展和汽車的普及，交通運輸問題日益嚴重，智能車輛導航的概念應運而生。基于視覺的道路跟蹤最受重視，根據(jù)申請人進行的資料檢索，查出以下文獻[1]Bertozzi M，Broggi A，Cellario M，et al.ArtificialVision in road vehicles[C].InProceedings of the IEEE on IntelligentTransmission System，2002，90(7)1258-1271[2]楊明，陸建業(yè)，王宏，張鈸等.基于視覺的道路跟蹤[J].《模式識別與人工智能》，2001，14(2)186-193[3]邱茂林，馬頌德，李毅.計算機視覺中攝像機定標綜述.《自動化學報》，2000，26(1)43-55[4]Bertozzi M，Broggi A.GOLDa parallel real-time stereovision system for generic obstacle and lane detection[J].IEEEtransactions on image processing，1998，7(1)62-81[5]Bertozzi M，Broggi A，F(xiàn)ascioli A.Self-calibration of astereo vision system for automotive applications[C].InProceedingsof IEEE International Conference on Robotics and Automation，2001，43698-3703[6]Southall B，Taylor C J.Stochastic road shapeestimation[C].InProceedings of Eighth IEEE InternationalConference on Computer Vision，2001，1205-212[7]宋雪峰，楊明，王宏.基于網(wǎng)格狀紋理的簡易攝像機標定方法.《計算機工程與應用[J]》.2002，772-74在智能車輛導航諸多復雜且具有挑戰(zhàn)性的任務中，最受重視的是基于視覺的道路跟蹤[1][2]。在這個過程中通常需要根據(jù)攝像機獲取的圖像信息計算三維空間中物體的幾何信息，并由此重建或識別物體，因而攝像機標定是必不可少的[3]。對于車載攝像機的標定問題，有很多人進行了研究意大利帕爾馬大學的ARGO系統(tǒng)假定攝像機的內(nèi)部參數(shù)已知，在地面上畫上已知尺寸的網(wǎng)格，利用網(wǎng)格的交點來標定外部參數(shù)[4]；此外他們還采用了一種所謂的自標定方法[5]，使用發(fā)動機蓋上的標記點作為標定目標，這些標定點相對于車體坐標系的位置是已知的；賓夕法尼亞大學GRASP實驗室的研究人員使用了南加利福尼亞大學開發(fā)的標定工具箱進行內(nèi)部參數(shù)的標定，利用代表車道的直線進行外部參數(shù)的標定[6]；清華大學的研究人員利用地面上的網(wǎng)格進行標定[7]。還有其他研究人員使用Intel的函數(shù)庫進行攝像機內(nèi)部參數(shù)的標定，使用類似于ARGO系統(tǒng)的方法標定外部參數(shù)。雖然上述標定方法能夠較好地解決問題，但都存在不足之處操作過程復雜，對環(huán)境的要求較高，或標定的參數(shù)較少。
目前對智能車輛的研究，主要集中在路面較平整的區(qū)域，因此可作地面平坦性假設。由于車輛是在路面上行駛，一定范圍內(nèi)的偏差不會引起太大的問題，故標定的精度可以大大低于機器人手眼標定、三維重建等應用領(lǐng)域內(nèi)的精度。

發(fā)明內(nèi)容
針對上述車載攝像機標定的這些特點，本發(fā)明的目的在于，提供一種車載攝像機外部參數(shù)三線標定的方法。
實現(xiàn)上述發(fā)明目的技術(shù)解決方案是，車載攝像機外部參數(shù)三線標定方法，其特點是，在平坦地面上畫三條互相平行的直線，或利用已有的平行線，或找一段有三條標志線的平直道路，使使載有攝像機汽車的縱軸平行于這些直線，測得它們與車體縱軸的距離；建立以像素為單位的攝像機外部參數(shù)表達式來確定車載攝像機外部參數(shù)，經(jīng)過數(shù)學推導和坐標變換，得到攝像機相對車體的側(cè)傾角ψ、俯仰角θ、方向角、攝像機在車體中離地面的高度h和攝像機光心距車體縱軸的橫向距離d。
本發(fā)明的方法只需平坦地面上三條平行的直線，就可以進行攝像機外部參數(shù)標定，無需專用場地，甚至可以在車輛的行駛過程中完成。


圖1是本發(fā)明的車體與攝像機之間的關(guān)系示意圖，也是本發(fā)明的一個實施例；其中(a)為側(cè)視圖，(b)為俯視圖，(c)為后視圖；圖2是攝像機坐標系、圖像平面坐標系和像素坐標系的關(guān)系示意圖；圖3是標定用的平直公路及手工疊加在上面的直線圖片；圖4是標定用的運動場跑道及手工疊加在上面的直線圖片。
具體實施例方式
以下結(jié)合附圖和發(fā)明人給出的實施例對本發(fā)明作進一步的詳細說明。
依照上述技術(shù)方案，車載攝像機外部參數(shù)三線標定方法包括以下步驟1)在平坦地面上畫三條互相平行的直線，或利用已有的平行線，或找一段有三條標志線的平直道路，使載有攝像機汽車的縱軸平行于這些直線，測得它們與車體縱軸的距離；2)車載攝像機外部參數(shù)的確定車載攝像機外部參數(shù)包括攝像機相對車體的側(cè)傾角ψ、俯仰角θ、方向角、攝像機在車體中離地面的高度h和攝像機距車中心距離d；3)建立以像素為單位的攝像機外部參數(shù)表達式如圖1所示，采用左手坐標系，設車體坐標系中某一點的坐標為pv＝(xv，yv，zv)，其在攝像機坐標系的坐標為pc＝(xc，yc，zc)。攝像機相對車體的側(cè)傾角為ψ(沿車輛行駛方向觀察順時針傾斜為正)，俯仰角為θ(指向上方為正)，方向角為(指向車身軸線左方為正)，攝像機的光心在車體坐標系中的位置是t＝(l，d，h)，則pv＝R·pc+tpc＝R-1·pv-R-1·t＝RT·pv-RT·t(1)其中 =r11r12r13r21r22r23r31r32r33]]>其中假設地面平坦，光軸o在平面zv＝0上的投影形成的矢量是η，η與Xv軸形成的夾角是，光軸o與η形成的夾角是θ，攝像機相對車體的側(cè)傾角(或稱攝像機的滾轉(zhuǎn)角)為ψ，l1、l2、l3為平坦地面上三條平行于車身縱軸的直線，距Xv的距離分別為a、b、c；對于平坦地面上一條平行于車身縱軸Xv，且到其距離為k的直線l，其參數(shù)方程為 根據(jù)式(1)，l在攝像機坐標系中的參數(shù)方程為
xcyczc=r11r21r31r12r22r32r13r23r33·sk0-r11r21r31r12r22r32r13r23r33·ldh]]>=s·r11+k·r21-l·r11-d·r21-h·r31s·r12+k·r22-l·r12-d·r22-h·r32s·r13+k·r23-l·r13-d·r23-h·r33---(3)]]>根據(jù)本文定義的攝像機坐標系、圖像平面坐標系和像素坐標系之間的相互關(guān)系(圖2)，有u＝y(tǒng)c，v＝-zc，u＝(i-ci)·dx，v＝(j-cj)·dy(4)其中dx、dy和ci、cj分別為橫向、縱向的比例系數(shù)和主點位置。
根據(jù)小孔成像模型，結(jié)合式(3)、式(4)，l在圖像平面坐標系上的參數(shù)方程為(焦距以像素為單位表示) 由于s是任意實數(shù)，且和l在同一個方向上，式(5)改寫成 當s→∞時，直線l延伸到無窮遠處，其在圖像平面坐標系上的消失點為uh=limus→∞]]>=lims→∞fi·dx·s·r12+k·r22-d·r22-h·r32s·r11+k·r21-d·r21-h·r31---(7a)]]>=fi·dx·r12r11]]>
vh=lims→∞v]]>=lims→∞-fj·dy·s·r13+k·r23-d·r23-h·r33s·r11+k·r21-d·r21-h·r31---(7b)]]>=-fj·dy·r13r11]]> 因為空間中相互平行的直線族在視平面有相同的消失點，故直線l1、l2、l3成像的消失點為uh1＝uh2＝uh3＝uhvh1＝vh2＝vh3＝vhg=dudv=dudsdvds---(8)]]>=-fi·dxfj·dy·k·r12·r21-d·r12·r21-h·r12·r31-k·r11·r22+d·r11·r22+h·r11r32k·r13·r21-d·r13·r21-h·r13·r31-k·r11·r23+d·r11·r23+h·r11r33]]>對于3條平行線l1、l2、l3，分別有g(shù)1=-fi·dxfj·dy·a·r12·r21-d·r12·r21-h·r12·r31-a·r11·r22+d·r11·r22+h·r11r32a·r13·r21-d·r13·r21-h·r13·r31-a·r11·r23+d·r11·r23+h·r11r33]]>g2=-fi·dxfj·dy·b·r12·r21-d·r12·r21-h·r12·r31-b·r11·r22+d·r11·r22+h·r11r32b·r13·r21-d·r13·r21-h·r13·r31-b·r11·r23+d·r11·r23+h·r11r33---(9)]]>g3=-fi·dxfj·dy·c·r12·r21-d·r12·r21-h·r12·r31-c·r11·r22+d·r11·r22+h·r11r32c·r13·r21-d·r13·r21-h·r13·r31-c·r11·r23+d·r11·r23+h·r11r33]]>根據(jù)式(9)，解得tgψ=(r1-r3)(a-b)-(r1-r2)(a-c)(r1-r3)(r1a-r2b)-(r1-r2)(r1a-r3c)---(10)]]>根據(jù)式(7a)、(7b)tgθ=uh·sinψfi·dx+vh·cosψfj·dy---(11)]]>
根據(jù)式(9)，解得h=(b-a)ACBC-AD---(13)]]>d=BA·(b-a)ACBC-AD+a]]>其中A＝r1·sinψ·cosθ-cosθcosψB＝-(cossinψ+sincosψsinθ)-r1(coscosψ-sinsinψsinθ)C＝r2·sinψcosθ-cosθcosψD＝-(cossinψ+sincosψsinθ)-r2(coscosψ-sinsinψsinθ)rn=-gnfifj·dxdy,]]>n＝1，2，34)參數(shù)標定攝像機的內(nèi)部參數(shù)使用南加利福尼亞大學開發(fā)的標定工具箱進行標定(J.Y.Bouget.Matlab camera calibration toolbox.http//www.vision.caltech.edu/bougetj/calib_doc/index.html)，從一組標定物不同方位的圖像中提取出已知幾何信息的特征點，然后將其送入優(yōu)化過程，就可以得到攝像機的主點和有效焦距。
利用本發(fā)明在平坦地面上畫三條互相平行的直線，或利用已有的平行線(如運動場的百米賽道)，或找一段有三條車道線的平直道路，使汽車的縱軸平行于這些直線，測得它們與車體縱軸的距離(即a、b、c)就可方便地進行攝像機外部參數(shù)標定。
實施例該方法以不同的形式在吉林大學和西安交通大學的試驗車上進行了測試。首先選用的是一段具有三條車道線的平直公路。圖3是實驗車采集的視頻中的一幀，相機是美國PULNIX公司的TMC-9700，采集卡和處理卡分別是加拿大CORECO公司的Viper RGB和Python，鏡頭選用Computar 8mm，圖像分辨率設定為256×240，攝像機安裝在副駕駛位置的前上方。將該幀圖片存成bmp格式的文件，然后利用Windows的畫筆進行處理，用畫筆的直線工具畫出l1c、l2c、l3c三條直線，疊加在車道線上，代表標志線成像的中心線。H(ih，jh)表示三條平行線的交點，P1(i1，j1)為l1c上除H(ih，jh)外的任意一點，P2(i2，j2)為l2c上除H(ih，jh)外的任意一點，P3(i3，j3)為l3c上除H(ih，jh)外的任意一點。利用畫筆的圖像坐標定位功能，找出四個選定點的像素坐標，此外測得a＝-3.2m，b＝0.3m，c＝3.8m。在像素坐標系中，gn=dxdy·ih-injh-jn,n=1,2,3---(14)]]>將式(14)代入式(10)、(11)、(12)、(13)中，即可求得ψ，θ，，d，h的值。
表1 PULNIX攝像機內(nèi)部參數(shù)和外部參數(shù)標定結(jié)果參 fifjcicjψ θd h數(shù)值 599 605 89 150 0.034rad -0.219rad 0.053rad 0.29m 1.70m像 像 像 像素 素 素 素上述實驗方法只是該標定方法的一種實現(xiàn)方式，還能以另外一種方式進行。如圖4所示，場地選用塑膠運動場的百米跑道(這樣可以直接利用賽道標志線的已知幾何信息而不必重新畫線，且滿足地面平坦性假設)，使汽車的縱向軸平行于跑道標志線。所用的像機為SONY DSR-PD150P，將變焦設定為望遠方式的最大值，手動聚焦，分辨率設定為640×480，測得a＝-1.25m，b＝0m，c＝1.25m，標定的結(jié)果見表2。
表2 SONY攝像機內(nèi)部參數(shù)和外部參數(shù)標定結(jié)果參 fifjcicjψ θ  d h數(shù)值 789 806 322 218 0.039rad -0.026rad -0.028rad 0.25m 1.37m像 像 像 像素 素 素 素此外還可以在車輛行駛過程中進行標定。例如在行駛中，司機使車體上某一事先定好的標志對準中間車道線，行進方向與車道線平行，就可以確定a、b、c的值，從而完成標定。
本發(fā)明的車載攝像機外部參數(shù)三線標定方法中的平行線成像定位是手工實現(xiàn)的，如果在標定過程中引入圖像處理技術(shù)，就可以實現(xiàn)車載攝像機外部參數(shù)的自動標定。這樣車輛即使在行駛中，只要遇到合適的路段，就可以隨時進行標定。
顯然，本發(fā)明的三線標定方法不能對攝像機光心相對車體坐標系的縱向位移l進行標定，需要額外測量這個參數(shù)，使得l引入測量誤差，但一般不會太大。在一般情況下，汽車的預瞄距離為30m～70m，因此測量引入的誤差是可以忽略的，且幸運的是其它參數(shù)的計算不依賴于該參數(shù)。
另外，標定過程不可避免地會產(chǎn)生誤差，其主要原因可歸結(jié)如下●不能滿足地面平坦性假設；●三條直線存在彎曲或相互之間不平行；●車身的縱軸線方向沒有與直線平行；●手工疊加的直線不是標志線的中心線；●三條直線相對于車身縱軸線的距離測量誤差較大；●內(nèi)部參數(shù)的標定不準確。
理論分析和實驗結(jié)果表明，三線法僅需三條平行線，就可以完成車載攝像機的外部參數(shù)標定，相對已有的一些方法，具有原理簡單，操作方便，通用性強，實現(xiàn)方式多樣，易集成在車載機器視覺系統(tǒng)中等優(yōu)點。引入圖像處理技術(shù)后，整個標定過程可以完全自動化，甚至能夠在車輛行駛中進行，從而在一定程度上解決了車載攝像機參數(shù)的漂移問題。另外，三線法還可以簡化成六點法，即用呈矩形分布的六個點代替三條平行線。六點法特別適合于在固定場地上標定，只需要畫六個點，但不適合于在公路上標定。附《車載攝像機外部參數(shù)標定三線法》中一些公式的證明1.文中式(8)的推導duds=fi·dx·r12(s·r11+k·r21-d·r21-h·r31)-(s·r12+k·r22-d·r22-h·r32)(s·r11+k·r21-d·r21-h·r31)2]]>=fi·dx·k·r12·r21-d·r12·r21-h·r12·r31-k·r11·r22+d·r11·r22+h·r11·r32(s·r11+k·r21-d·r21-h·r31)2r11]]>dvds=-fi·dy·r13·(s·r11+k·r21-d·r21-h·r31)-(s·r13+k·r23-d·r23-h·r32)·r11(s·r11+k·r21-d·r21-h·r31)2r11]]>=-fi·dy·k·r13·r21-d·r13·r21-h·r13·r31-k·r11·r23+h·r11r33(s·r11+k·r21-d·r21-h·r31)2·r11]]>然后有g(shù)=dudv=dudsdvds]]>=-fi·dxfj·dy·k·r12·r21-d·r12·r21-h·r12·r31-k·r11·r22+d·r11·r22+h·r11r32k·r13·r21-d·r13·r21-h·r13·r31-k·r11·r23+d·r11·r23+h·r11r33]]>
2.文中式(10)的推導根據(jù)文中式(9)g1=-fi·dxfj·dy·a·r12·r21-d·r12·r21-h·r12·r31-a·r11·r22+d·r11·r22+h·r11r32a·r13·r21-d·r13·r21-h·r13·r31-a·r11·r23+d·r11·r23+h·r11r33]]>g2=-fi·dxfj·dy·b·r12·r21-d·r12·r21-h·r12·r31-b·r11·r22+d·r11·r22+h·r11r32b·r13·r21-d·r13·r21-h·r13·r31-b·r11·r23+d·r11·r23+h·r11r33]]>g3=-fi·dxfj·dy·c·r12·r21-d·r12·r21-h·r12·r31-c·r11·r22+d·r11·r22+h·r11r32c·r13·r21-d·r13·r21-h·r13·r31-c·r11·r23+d·r11·r23+h·r11r33]]>令rn=-gnfifj·dxdy,]]>n＝1，2，3則r1=a(r12·r21-r11·r22)+d(r11·r22-r12·r21)+h(r11·r32-r12·r31)a·(r13·r21-r11·r23)+d(r11·r23-r13·r21)+h(r11·r33-r13·r31)]]>展開得r1·a·(r13·r21-r11·r23)+r1·d·(r11·r23-r13·r21)+r1·h·(r11r33-r13·r31)＝a·(r12·r21-r11·r22)+d·(r11·r22-r12·r21)+h·(r11r32-r12·r31)(A1)同理可得r2·b·(r13·r21-r11·r23)+r2·d·(r11·r23-r13·r21)+r2·h·(r11r33-r13·r31)＝b·(r12·r21-r11·r22)+d·(r11·r22-r12·r21)+h·(r11r32-r12·r31) (A2)r3·c·(r13·r21-r11·r23)+r3·d·(r11·r23-r13·r21)+r3·h·(r11r33-r13·r31)＝c·(r12·r21-r11·r22)+d·(r11·r22-r12·r21)+h·(r11r32-r12·r31) (A3)式(A1)減去式(A2)得(r1·a-r2·b)·(r13·r21-r11·r23)+d·(r1-r2)·(r11·r23-r13·r21)+h·(r1-r2)·(r11·r33-r13·r31)＝(a-b)·(r12·r21-r11·r22) (A4)式(A1)減去式(A3)得(r1·a-r3·c)·(r13·r21-r11·r23)+d·(r1-r3)·(r11·r23-r13·r21)+h·(r1-r3)·(r11·r33-r13·r31)＝(a-c)·(r12·r21-r11·r22) (A5)式(A2)減去式(A3)得(r2·b-r3·c)·(r13·r21-r11·r23)+d·(r2-r3)·(r11·r23-r13·r21)+h·(r2-r3)·(r11·r33-r13·r31)＝(b-c)·(r12·r21-r11·r22) (A6)由(A4)得d·(r1-r2)·(r11·r23-r13·r21)＝(a-b)·(r12·r21-r11·r22)-(r1·a-r2·b)·(r13·r21-r11·r23)-h·(r1-r2)·(r11·r33-r13·r31) (A7)由(A5)得d·(r1-r3)·(r11·r23-r13·r21)＝(a-c)·(r12·r21-r11·r22)-(r1·a-r3·c)·(r13·r21-r11·r23)-h·(r1-r3)·(r11·r33-r13·r31) (A8)由(A6)得d·(r2-r3)·(r11·r23-r13·r21)＝(b-c)·(r12·r21-r11·r22)-(r2·b-r3·c)·(r13·r21-r11·r23)-h·(r2-r3)·(r11·r33-r13·r31) (A9)(A7)除以(A8)，得
r1-r2r1-r3=(a-b)·(r12·r21-r11·r22)-(r1·a-r2·b)(r13·r23-r11·r23)-h·(r1-r2)·(r11·r33-r13·r31)(a-b)·(r12·r21-r11·r22)-(r1·a-r3·c)-(r13·r21-r11·r23)-h·(r1-r3)·(r11·r33-r13·r31)---(A10)]]>整理得(r1-r2)·(a-c)·(r12·r21-r11·r22)-(r1-r2)·(r1·a-r3·c)·(r13·r21-r11·r23)(A11)＝(r1-r3)·(a-b)·(r12·r21-r11·r22)-(r1-r3)·(r1·a-r2·b)·(r13·r21-r11-r23)因為r12·r21-r11·r22＝(sincosψ+cossinψsinθ)·(-sincosθ)-cosθcos·(coscosψ-sinsinψsinθ)＝-cosψcosθr13·r21-r11·r23＝(sinsinψ-coscosψsinθ)·(-sincosθ)-cosθcos·(cossinψ+sincosψsinθ)＝-sinψcosθ式(A11)改寫為(r1-r2)·(a-c)·(-cosψcosθ)-(r1-r2)·(r1·a-r3·c)·(-sinψcosθ)(A12)＝(r1-r3)·(a-b)·(-cosψcosθ)-(r1-r3)·(r1·a-r2·b)·(-sinψcosθ)等式兩邊約去cosθ，有-(r1-r2)·(a-c)·cosψ+(r1-r3)·(a-b)·cosψ＝(r1-r3)·(r1·a-r2·b)·sinψ-(r1-r2)·(r1·a-r3·c)·sinψ故有tgψ=(r1-r3)(a-b)-(r1-r2)(a-b)(r1-r3)(r1a-r2b)-(r1-r2)(r1a-r3c)---(A13)]]>
3.文中式(11)的推導根據(jù)文中式(7a)和(7b)，有 式(A14)除以式(A15)，最后解得tgθ=uh·sinψfi·dx+vh·cosψfj·dy---(A16)]]>4.文中式(12)的推導根據(jù)式(A14)，解得
5.文中式(13)的推導由式(A1)得d·[r1·(r11·r23-r13·r21)-(r11·r22-r12·r21)]＝h·[(r11·r32-r12·r31)-r1·(r11r33-r13·r31)]+a·(r12·r21-r11·r22)-r1·α·(r13·r21-r11·r23) (A18)由式(A2)得d·[r2·(r11·r23-r13·r21)-(r11·r22-r12·r21)]＝h·[(r11·r32-r12·r31)-r2·(r11r33-r13·r31)]+b·(r12·r21-r11·r22)-r2·b·(r13·r21-r11·r23) (A19)其中r11·r22-r12·r21＝cosθcos·(coscosψ-sinsinψsinθ)-(sincosψ+cossinψsinθ)·(-sincosθ)＝cosθcosψr11·r23-r13·r21＝cosθcos·(cossinψ+sincosψsinθ)-(sinsinψ-coscosψsinθ)·(-sincosθ)＝sinψcosθr11·r32-r12·r31＝cosθcos·(-cosθsinψ)-(sinsinψ-coscosψsinθ)·sinθ＝-cos·sinψ-sin·cosψ·sinθr11·r33-r13·r31＝cosθcos·cosθcosψ-(sinsinψ-coscosψsinθ)·sinθ＝cos·cosψ-sin·sin·sinθ令A＝r1·(r11·r23-r13·r21)-(r11·r22-r12·r21)＝r1·sinψ·cosθ-cosθcosψB＝[(r11·r32-r12·r31)-r1·(r11r33-r13·r31)]＝-(cossinψ+sincosψsinθ)-r1(coscosψ-sinsinψsinθ)C＝r2·(r11·r23-r13·r21)-(r11·r22-r12·r21)＝r2·sinψcosθ-cosθcosψD＝(r11·r32-r12·r31)-r2·(r11r33-r13·r31)＝-(cossinψ+sincosψsinθ)-r2(coscosψ-sinsinψsinθ)式(A18)除以(A19)，得AC=hB+aAhD+bC]]>所以h=(b-a)ACBC-AD]]>再由式(A18)，得d=BA·(b-a)ACBC-AD+a]]>
權(quán)利要求
1.車載攝像機外部參數(shù)三線標定方法，其特征在于，包括以下步驟1)在平坦地面上畫三條互相平行的直線，或利用已有的平行線，或找一段有三條標志線的平直道路，使載有攝像機汽車的縱軸平行于這些直線，測得這些直線與車體縱軸的距離；2)車載攝像機外部參數(shù)的確定車載攝像機外部參數(shù)包括攝像機相對車體的側(cè)傾角ψ、俯仰角θ、方向角、攝像機在車體中離地面的高度h和攝像機光心距車體縱軸的橫向距離d；(1)建立以像素為單位的攝像機外部參數(shù)表達式，采用左手坐標系，設車體坐標系中某一點的坐標為pv＝(xv，yv，zv)，其在攝像機坐標系的坐標為pc＝(xc，yc，zc)；攝像機相對車體的側(cè)傾角為ψ，該側(cè)傾角沿車輛行駛方向觀察順時針傾斜為正；俯仰角為θ，該俯仰角指向上方為正；方向角為，該方向角指向車身軸線左方為正；攝像機的光心在車體坐標系中的位置是t＝(l，d，h)，則pv＝R·pc+tpc＝R-1·pv-R-1·t＝RT·pv-RT·t (1)其中 =r11r12r13r21r22r23r31r32r33]]>(2)假設地面平坦，光軸o在平面zv＝0上的投影形成的矢量是η，η與Xv軸形成的夾角是，光軸o與η形成的夾角是θ，攝像機的側(cè)傾角為ψ，l1、l2、l3為平坦地面上三條平行于車身縱軸的直線，距Xv的距離分別為a、b、c；對于平坦地面上一條平行于車身縱軸Xv，且到其距離為k的直線l，其參數(shù)方程為 (3)根據(jù)式(1)，l在攝像機坐標系中的參數(shù)方程為xcyczc=r11r21r31r12r22r32r13r23r33sk0-r11r21r31r12r22r32r13r23r33·ldh]]>=s·r11+k·r21-l·r11-d·r21-h·r31s·r12+k·r22-l·r12-d·r22-h·r32s·r13+k·r23-l·r13-d·r23-h·r33---(3)]]>(4)根據(jù)上述定義的攝像機坐標系、圖像平面坐標系和像素坐標系之間的相互關(guān)系，有u＝y(tǒng)c，v＝-zc，u＝(i-ci).dx，v＝(j-cj)·dy (4)其中dx、dy和ci、cj分別為橫向、縱向的比例系數(shù)和主點位置；(5)根據(jù)小孔成像模型，結(jié)合式(3)、式(4)，l在圖像平面坐標系上的參數(shù)方程為 式中焦距以像素為單位表示；由于s是任意實數(shù)，且和l在同一個方向上，式(5)改寫成 (6)當s→∞時，直線l延伸到無窮遠處，其在圖像平面坐標系上的消失點為uh=lims→∞u]]>=lims→∞fi·dx·s·r12+k·r22-d·r22-h·r32s·r11+k·r21-d·r21-h·r31]]>=fi·dx·r12r11---(7a)]]> vh=lims→∞v]]>=lims→∞-fj·dy·s·r13+k·r23-d·r23-h·r23s·r11+k·r21-d·r21-h·r31]]>=-fj·dy·r13r11---(7b)]]> 因為空間中相互平行的直線族在視平面有相同的消失點，故直線l1、l2、l3成像的消失點為uh1＝uh2＝uh3＝uhvh1＝vh2＝vh3＝vh(7)根據(jù)圖象平面中直線的斜率得g=dudv=dudsdvds---(8)]]>=-fi·dxfj·dy·k·r12·r21-d·r12·r21-h·r12·r31-k·r11·r22+d·r11·r22+h·r11r32k·r13·r21-d·r13·r21-h·r13·r31-k·r11·r23+d·r11·r23+h·r11r33]]>對于3條平行線l1、l2、l3，分別有g(shù)1=-fi·dxfj·dy·a·r12·r21-d·r12·r21-h·r12·r31-a·r11·r22+d·r11·r22+h·r11r32a·r13·r21-d·r13·r21-h·r13·r31-a·r11·r23+d·r11·r23+h·r11r33]]>g2=-fi·dxfj·dy·b·r12·r21-d·r12·r21-h·r12·r31-b·r11·r22+d·r11·r22+h·r11r32b·r13·r21-d·r13·r21-h·r13·r31-b·r11·r23+d·r11·r23+h·r11r33---(9)]]>g3=-fi·dxfj·dy·c·r12·r21-d·r12·r21-h·r12·r31-c·r11·r22+d·r11·r22+h·r11r32c·r13·r21-d·r13·r21-h·r13·r31-c·r11·r23+d·r11·r23+h·r11r33]]>(8)根據(jù)式(9)，解得tgψ=(r1-r3)(a-b)-(r1-r2)(a-c)(r1-r3)(r1a-r2b)-(r1-r2)(r1a-r3c)---(10)]]>(9)根據(jù)式(7a)、(7b)，得到俯仰角的表達式tgθ=uh·sinψfi·dx+vh·cosψfj·dy---(11)]]>(10)根據(jù)式(7a)、(7b)，還能得到方向角的表達式 (11)根據(jù)式(9)，可以解得h=(b-a)ACBC-AD]]>d=BA·(b-a)ACBC-AD+a---(13)]]>其中A＝r1·sinψ·cosθ-cosθcosψB＝-(cossinψ+sincosψsinθ)-r1(coscosψ-sinsinψsinθ)C＝r2·sinψcosθ-cosθcosψD＝-(cossinψ+sincosψsinθ)-r2(coscosψ-sinsinψsinθ)rn=-gnfifj·dxdy,n=1,2,3]]>在像素坐標系內(nèi)，以手工或自動的方式確定平行線交點和另外三點后的坐標后，即可直接計算出所需參數(shù)；3)經(jīng)過上述數(shù)學推導和坐標變換，得到攝像機相對車體的側(cè)傾角ψ、俯仰角θ、方向角、攝像機在車體中離地面的高度h和攝像機光心距車體縱軸的橫向距離d，即可完成攝像機外部參數(shù)標定。
全文摘要
本發(fā)明公開了車載攝像機外部參數(shù)三線標定方法，該方法針對基于視覺導航的智能車輛車載攝像機標定問題，利用現(xiàn)成的工具箱進行內(nèi)部參數(shù)標定，根據(jù)透視投影原理，三條平行線在圖像平面上具有相同的消失點和不同的斜率，而攝像機的外部參數(shù)與消失點和斜率有著內(nèi)在的聯(lián)系，經(jīng)過數(shù)學推導和坐標變換，能夠建立以像素為單位的攝像機外部參數(shù)表達式。在像素坐標系內(nèi)，以手工或自動的方式確定平行線交點和另外三點的坐標后，即可直接計算出所需參數(shù)。此過程可以在多種環(huán)境下實現(xiàn)，如公路、運動場跑道或?qū)ｉT畫的平行線。實驗結(jié)果驗證了該方法的可行性和正確性。
文檔編號G01C5/00GK1537749SQ20031010584
公開日2004年10月20日 申請日期2003年10月22日 優(yōu)先權(quán)日2003年10月22日
發(fā)明者李青, 鄭南寧, 張雪濤, 程洪, 李 青 申請人:西安交通大學