專利名稱：攝像機(jī)標(biāo)定的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種攝像機(jī)標(biāo)定的方法及裝置。

背景技術(shù)：
在攝像機(jī)的立體視覺系統(tǒng)中，為了得到場(chǎng)景物體的深度或視差信息等，需要知道物體某一點(diǎn)在世界坐標(biāo)系下的坐標(biāo)和其在成像平面上成像點(diǎn)的坐標(biāo)之間的投影關(guān)系，攝像機(jī)標(biāo)定技術(shù)就是為了記錄這些信息而出現(xiàn)的。
攝像機(jī)標(biāo)定的目的就是要獲得攝像機(jī)的內(nèi)部參數(shù)、及外部參數(shù)。攝像機(jī)內(nèi)部的幾何和光學(xué)特性，即為內(nèi)部參數(shù)；攝像機(jī)坐標(biāo)系相對(duì)于空間坐標(biāo)系的位置關(guān)系，即為外部參數(shù)。
通常攝像機(jī)標(biāo)定的方法可分為三種傳統(tǒng)標(biāo)定方法、基于主動(dòng)視覺的標(biāo)定方法和自標(biāo)定方法。
傳統(tǒng)標(biāo)定方法使用經(jīng)過精密加工的標(biāo)定塊作為參照模板，通過建立標(biāo)定塊上三維坐標(biāo)已知的點(diǎn)與其圖像點(diǎn)間的對(duì)應(yīng)，來計(jì)算攝像機(jī)的內(nèi)部參數(shù)、及外部參數(shù)。
基于主動(dòng)視覺的標(biāo)定方法要控制攝像機(jī)做某些特殊運(yùn)動(dòng)，如繞廣心旋轉(zhuǎn)或純平移等，利用這種運(yùn)動(dòng)的特殊性計(jì)算出內(nèi)部參數(shù)。
自標(biāo)定方法通常假定在拍攝不同圖像時(shí)，攝像機(jī)的內(nèi)部參數(shù)沒有發(fā)生變化，且圖像點(diǎn)之間的對(duì)應(yīng)關(guān)系已經(jīng)確定，依據(jù)多幅圖像中成像點(diǎn)間存在的特殊約束關(guān)系，通過圖像點(diǎn)之間的對(duì)應(yīng)關(guān)系對(duì)攝像機(jī)進(jìn)行標(biāo)定。
在對(duì)現(xiàn)有技術(shù)的研究和實(shí)踐過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)存在以下問題 1、使用傳統(tǒng)標(biāo)定方法時(shí)，攝像機(jī)每次改變角度，或移動(dòng)位置都需要再次使用標(biāo)定塊進(jìn)行標(biāo)定，而長(zhǎng)時(shí)間將標(biāo)定塊擺放在需拍攝的場(chǎng)景中會(huì)帶來不協(xié)調(diào)的感覺，且有些拍攝場(chǎng)景在拍攝時(shí)會(huì)不允許出現(xiàn)標(biāo)定塊，若攝像機(jī)每次改變角度，或移動(dòng)位置都重新擺放標(biāo)定塊，操作會(huì)非常繁瑣不方便。
2、使用基于主動(dòng)視覺的標(biāo)定方法時(shí)，必須控制攝像機(jī)做某些特殊運(yùn)動(dòng)，但是在很多時(shí)候無法得知攝像機(jī)的運(yùn)動(dòng)狀態(tài)、或者攝像機(jī)的運(yùn)動(dòng)是無法控制的，在這些情況下，就不能使用基于主動(dòng)視覺的標(biāo)定方法。
3、使用自標(biāo)定方法時(shí)由于是在假定內(nèi)部參數(shù)沒有發(fā)生變化，且圖像點(diǎn)之間的對(duì)應(yīng)關(guān)系已經(jīng)確定的前提下進(jìn)行標(biāo)定，標(biāo)定精度較差，穩(wěn)定性不太好，且在內(nèi)部參數(shù)發(fā)生變化時(shí)不能使用。


發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是提供一種攝像機(jī)標(biāo)定的方法及裝置，該攝像機(jī)標(biāo)定的方法及裝置適用于多種場(chǎng)景，操作較簡(jiǎn)單，且有很高的精度。
為解決上述技術(shù)問題，本發(fā)明一方面，提供了一種攝像機(jī)標(biāo)定的方法，包括 根據(jù)參考模板獲得攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)，并記錄處于拍攝環(huán)境中參考實(shí)物的數(shù)據(jù)； 在需要對(duì)所述攝像機(jī)進(jìn)行標(biāo)定時(shí)，從至少兩個(gè)角度獲取所述參考實(shí)物的圖像，利用所述記錄下的所述參考實(shí)物的數(shù)據(jù)獲得所述攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)，完成對(duì)所述攝像機(jī)的標(biāo)定。
另一方面，提供了一種攝像機(jī)標(biāo)定的裝置，其特征在于，包括 初次標(biāo)定單元，用于根據(jù)參考模板獲得攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)，并記錄處于拍攝環(huán)境中參考實(shí)物的數(shù)據(jù)； 重標(biāo)定單元，用于在需要對(duì)所述攝像機(jī)進(jìn)行標(biāo)定時(shí)，從至少兩個(gè)角度獲取所述參考實(shí)物的圖像，利用所述記錄下的所述參考實(shí)物的數(shù)據(jù)獲得所述攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)，完成對(duì)所述攝像機(jī)的標(biāo)定。
由以上技術(shù)方案可以看出，由于在對(duì)攝像機(jī)進(jìn)行標(biāo)定時(shí)，只需要在攝像機(jī)第一次拍攝一個(gè)全新的環(huán)境時(shí)使用參考模板進(jìn)行標(biāo)定，在初次標(biāo)定的同時(shí)記錄下一個(gè)參考實(shí)物的信息，之后只要該參考實(shí)物還位于被拍攝的場(chǎng)景中，攝像機(jī)都可以使用該參考實(shí)物進(jìn)行標(biāo)定，不再需要每次改變攝像機(jī)的位置或拍攝角度，都重新拿出參考模板進(jìn)行標(biāo)定，操作更加方便，且適用多種場(chǎng)景；在無法得知攝像機(jī)的運(yùn)動(dòng)狀態(tài)、或者攝像機(jī)的運(yùn)動(dòng)是無法控制的情況下也都可以應(yīng)用；且由于初次標(biāo)定是使用數(shù)據(jù)已知、加工精密的參考模板完成的，初次標(biāo)定時(shí)記錄的參考實(shí)物的數(shù)據(jù)也是比較準(zhǔn)確的，依據(jù)該數(shù)據(jù)進(jìn)行的標(biāo)定也具有較高的精度。



圖1、本發(fā)明實(shí)施例提供的攝像機(jī)標(biāo)定的方法實(shí)施例一流程圖； 圖2、棋盤格的示意圖； 圖3、圓內(nèi)結(jié)矩形的示意圖； 圖4、本發(fā)明實(shí)施例提供的攝像機(jī)標(biāo)定的方法實(shí)施例二流程圖； 圖5、本發(fā)明實(shí)施例提供的棋盤格、參考實(shí)物與圖像平面及攝像機(jī)坐標(biāo)系的關(guān)系示意圖； 圖6、本發(fā)明實(shí)施例提供的攝像機(jī)標(biāo)定的方法實(shí)施例三流程圖； 圖7、本發(fā)明實(shí)施例提供的圓內(nèi)接矩形、圖像平面、與攝像機(jī)坐標(biāo)系的關(guān)系示意圖； 圖8、本發(fā)明實(shí)施例提供的攝像機(jī)標(biāo)定的裝置實(shí)施例結(jié)構(gòu)圖。

具體實(shí)施例方式 本發(fā)明實(shí)施例提供了一種攝像機(jī)標(biāo)定的方法及裝置，該攝像機(jī)標(biāo)定的方法及裝置適用于多種場(chǎng)景，操作較簡(jiǎn)單，且有較高的精度。
本發(fā)明實(shí)施例提供的攝像機(jī)標(biāo)定的方法實(shí)施例一流程如圖1所示 步驟101、拍攝參考模板及參考實(shí)物。
在攝像機(jī)第一次拍攝一個(gè)全新的環(huán)境時(shí)，首先在該環(huán)境中放置參考模板，并在該參考模板附近選擇一個(gè)屬于該環(huán)境的實(shí)物作為參考實(shí)物。
本步驟中使用的參考模板可以是制作精密的標(biāo)定塊，或其他已知數(shù)據(jù)的物體，其形狀可以是棋盤格、或圓內(nèi)結(jié)矩形等等。其中棋盤格的示意圖如圖2所示，圓內(nèi)結(jié)矩形的示意圖如圖3所示 本步驟中選擇的參考實(shí)物可以是環(huán)境中的任何一個(gè)物體，其與參考模板的距離滿足可以同時(shí)被攝像機(jī)拍攝入畫面即可，在有多種物體可供選擇時(shí)，可優(yōu)先選擇具有幾何圖形特征的物體，例如 1、類似矩形或具有矩形的物體，如姓名牌、筆記本、記事本、地板磚、名牌中有矩形方口的字等。這些物體中姓名牌、筆記本、記事本、地板磚均為矩形，包含有直角、直線；而名牌中的字則具有矩形形狀。
2、圓形或具有圓形的物體，如圓口杯子、圓形的電話9個(gè)按鍵等。
3、直線形物體如記事本邊緣的直線、筆、日光燈管、墻面相接的線等。
選擇好參考實(shí)物后，攝像機(jī)從不同角度拍攝參考模板及參考實(shí)物。
步驟102、初次標(biāo)定攝像機(jī)，并記錄參考實(shí)物上的特征點(diǎn)的位置。
由于參考模板的數(shù)據(jù)是已知的，可以利用參考模板獲得攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)，標(biāo)定攝像機(jī)，并記錄參考實(shí)物上的特征點(diǎn)的位置。
步驟103、移走參考模板。
此時(shí)就可以移走參考模板，以利于進(jìn)一步的拍攝工作。
步驟104、依據(jù)參考實(shí)物再次標(biāo)定攝像機(jī)。
當(dāng)由于某種原因攝像機(jī)改變了位置、或改變了拍攝角度，需要重新對(duì)攝像機(jī)進(jìn)行標(biāo)定時(shí)，就可以依據(jù)初次標(biāo)定時(shí)選擇的參考實(shí)物再次標(biāo)定攝像機(jī)。
這是由于，在步驟102時(shí)，依據(jù)參考模板記錄下了參考實(shí)物上的特征點(diǎn)的位置，參考模板的數(shù)據(jù)是已知的，依據(jù)參考模板做出的記錄也是準(zhǔn)確，此時(shí)對(duì)于攝像機(jī)來說，參考實(shí)物的數(shù)據(jù)已經(jīng)是已知的，所以可以根據(jù)該參考實(shí)物再次標(biāo)定攝像機(jī)，且由于初次標(biāo)定時(shí)，依據(jù)的參考模板記錄的該參考實(shí)物的數(shù)據(jù)是非常精密的，因此依據(jù)該參考實(shí)物對(duì)攝像機(jī)再次標(biāo)定的精度也是較高的。
現(xiàn)以實(shí)例來詳細(xì)描述本發(fā)明實(shí)施例提供的攝像機(jī)標(biāo)定的方法。
本發(fā)明實(shí)施例提供的攝像機(jī)標(biāo)定的方法實(shí)施例二采用棋盤格作為參考模板，流程如圖4所示 步驟401、拍攝作為參考模板的棋盤格及參考實(shí)物。
在攝像機(jī)第一次拍攝一個(gè)全新的環(huán)境時(shí)，首先在該環(huán)境中放置作為參考模板的棋盤格，并在棋盤格附近選擇一個(gè)屬于該環(huán)境的實(shí)物作為參考實(shí)物，盡量選擇不會(huì)隨便被移走的物體。
選擇好參考實(shí)物后，攝像機(jī)從至少三個(gè)不同角度拍攝作為參考模板的棋盤格及參考實(shí)物。
步驟402、根據(jù)已知的棋盤格數(shù)據(jù)對(duì)攝像機(jī)進(jìn)行標(biāo)定。
棋盤格、參考實(shí)物與圖像平面及攝像機(jī)坐標(biāo)系的關(guān)系如圖5所示 圖5中，坐標(biāo)XCYCZC為攝像機(jī)坐標(biāo)系，坐標(biāo)XWYWZW為世界坐標(biāo)系。
圖像平面503上的圖像點(diǎn)m(u，v)與棋盤格501上的空間物點(diǎn)M(X，Y，0)的成像幾何關(guān)系可使用公式表述為 sm＝K[R t]M 由于作為參考模板的棋盤格501為精確定制的平面模板，其全部數(shù)據(jù)均為已知，例如每個(gè)格子的大小、格子的數(shù)目、格子的排列方式等等，因此棋盤格501上空間物點(diǎn)M(X，Y，0)的數(shù)據(jù)為已知數(shù)據(jù)，假定棋盤格501的平面在世界坐標(biāo)系Z＝0的平面上，在齊次坐標(biāo)下將上式寫成透視投影矩陣的形式，即可推得 其中K為攝像機(jī)的內(nèi)部參數(shù)矩陣，為棋盤格501上的空間物點(diǎn)M(X，Y，0)的齊次坐標(biāo)，為棋盤格501上點(diǎn)投影到圖像平面503上對(duì)應(yīng)點(diǎn)m(u，v)的齊次坐標(biāo)，R和t分別是攝像機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量。
其中λ是尺度因子。
根據(jù)旋轉(zhuǎn)矩陣的性質(zhì)，r1和r2單位正交，即和‖r1‖＝‖r2‖＝1，拍攝獲得的每幅圖像可以獲得以下兩個(gè)對(duì)內(nèi)參數(shù)矩陣的基本約束 和 因攝像機(jī)有5個(gè)未知內(nèi)部參數(shù)，故當(dāng)所攝取的圖像數(shù)≥3時(shí)，就可線性唯一求解出。
由和可得內(nèi)部參數(shù)K，進(jìn)而可求得攝像機(jī)外部參數(shù)旋轉(zhuǎn)矩陣R和平移向量t，如下 r1＝λK-1h1，r2＝λK-1h2，r3＝r1×r2，t＝λK-1h3 其中λ＝1/‖K-1h1‖＝1/‖K-1h2‖ 此時(shí)完成了對(duì)攝像機(jī)的標(biāo)定。
步驟403、記錄參考實(shí)物上的特征點(diǎn)的位置。
利用所獲得的攝像機(jī)內(nèi)部參數(shù)及外部參數(shù)確定棋盤格附近物體特征點(diǎn)位置信息，即特征點(diǎn)在三維空間、或世界坐標(biāo)系下的坐標(biāo)。
記錄的過程實(shí)施例如下文所述 通常，由兩視投影幾何，可得 其中，mi、

分別為空間點(diǎn)Mi在兩個(gè)攝像機(jī)投影平面上的圖像點(diǎn)；λ、λ′i分別為對(duì)應(yīng)的兩個(gè)攝像機(jī)的投影空間點(diǎn)到圖像平面的尺度因子；P、P′分別為空間點(diǎn)投影到對(duì)應(yīng)圖像平面的攝像機(jī)投影矩陣；K為攝像機(jī)內(nèi)參矩陣，[R，t]為攝像機(jī)外參矩陣，即旋轉(zhuǎn)矩陣和平移向量。
在已知攝像機(jī)內(nèi)部參數(shù)及外部參數(shù)的情況下，可由圖像點(diǎn)反推出空間點(diǎn)坐標(biāo)，即有 其中，P+＝PT(PPT)-1、(P′)+＝＝P′T(P′PT)-1分別為P、P′的偽逆矩陣；P＝K[I，0]，P′＝K[R，t]；Mi、

分別為圖像點(diǎn)mi、

反投影到3D空間的空間點(diǎn)；＂≈＂表示式子中只相差一個(gè)尺度因子。
此時(shí)即記錄下了參考實(shí)物上的特征點(diǎn)的位置。
步驟404、移走作為參考模板的棋盤格。
此時(shí)就可以移走作為參考模板的棋盤格，以利于進(jìn)一步的拍攝工作。
步驟405、依據(jù)參考實(shí)物再次標(biāo)定攝像機(jī)。
當(dāng)由于某種原因攝像機(jī)改變了位置、或改變了拍攝角度，需要重新對(duì)攝像機(jī)進(jìn)行標(biāo)定時(shí)，就可以依據(jù)初次標(biāo)定時(shí)選擇的參考實(shí)物再次標(biāo)定攝像機(jī)。
假定選擇的參考實(shí)物是一個(gè)姓名牌，則此時(shí)將以步驟403中記錄下的作為參考實(shí)物的姓名牌上的特征點(diǎn)的位置再次標(biāo)定攝像機(jī)，相當(dāng)于把已經(jīng)被標(biāo)定的姓名牌替代棋盤格，作為新的參考模板，重新標(biāo)定攝像機(jī)。
首先，從至少三個(gè)不同角度拍攝該姓名牌，獲取該姓名牌的圖像； 接著使用哈夫(Hough)變換檢測(cè)姓名牌的直線邊，例如，寫姓名那面的四條邊、及支撐的三角邊、及名字中的直線； 擬合各個(gè)邊并建立坐標(biāo)方程，求得各個(gè)頂點(diǎn)、對(duì)角線交點(diǎn)位置； 求得姓名牌中姓名的圖像點(diǎn)的位置坐標(biāo)以及對(duì)應(yīng)的姓名牌在世界坐標(biāo)系下的坐標(biāo)；利用各個(gè)特征點(diǎn)的圖像坐標(biāo)以及對(duì)應(yīng)的世界坐標(biāo)系下的坐標(biāo)及直線方程計(jì)算得到攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)。
此時(shí)完成了對(duì)攝像機(jī)的再次標(biāo)定，由上可知，使用本實(shí)施例對(duì)攝像機(jī)進(jìn)行標(biāo)定，只需要在攝像機(jī)第一次拍攝一個(gè)全新的環(huán)境時(shí)使用參考模板進(jìn)行標(biāo)定，在初次標(biāo)定的同時(shí)記錄下一個(gè)參考實(shí)物的信息，之后只要該參考實(shí)物還位于被拍攝的場(chǎng)景中，攝像機(jī)都可以使用該參考實(shí)物進(jìn)行標(biāo)定，不再需要每次改變攝像機(jī)的位置或拍攝角度，都重新拿出參考模板進(jìn)行標(biāo)定，操作更加方便，且適用多種場(chǎng)景；在無法得知攝像機(jī)的運(yùn)動(dòng)狀態(tài)、或者攝像機(jī)的運(yùn)動(dòng)是無法控制的情況下也都可以應(yīng)用；且由于初次標(biāo)定是使用數(shù)據(jù)已知、加工精密的參考模板完成的，初次標(biāo)定時(shí)記錄的參考實(shí)物的數(shù)據(jù)也是比較準(zhǔn)確的，依據(jù)該數(shù)據(jù)進(jìn)行的標(biāo)定也具有較高的精度。
本發(fā)明實(shí)施例提供的攝像機(jī)標(biāo)定的方法實(shí)施例三采用圓內(nèi)接矩形作為參考模板，流程如圖6所示 步驟601、拍攝作為參考模板的圓內(nèi)接矩形及參考實(shí)物。
在攝像機(jī)第一次拍攝一個(gè)全新的環(huán)境時(shí)，首先在該環(huán)境中放置作為參考模板的圓內(nèi)接矩形，并在圓內(nèi)接矩形附近選擇一個(gè)屬于該環(huán)境的實(shí)物作為參考實(shí)物，盡量選擇不會(huì)隨便被移走的物體。
選擇好參考實(shí)物后，攝像機(jī)從至少三個(gè)不同角度拍攝作為參考模板的圓內(nèi)接矩形及參考實(shí)物。
步驟602、根據(jù)已知的圓內(nèi)接矩形數(shù)據(jù)對(duì)攝像機(jī)進(jìn)行標(biāo)定。
圓內(nèi)接矩形、圖像平面、與攝像機(jī)坐標(biāo)系的關(guān)系如圖7所示 圖7中，701為攝像機(jī)坐標(biāo)系，702為圖像平面，703為作為參考模板的圓內(nèi)接矩形，坐標(biāo)XWYWZW為世界坐標(biāo)系。
首先，攝像機(jī)標(biāo)定模型。
令世界坐標(biāo)系的原點(diǎn)位于圓內(nèi)接矩形703中心，Z軸垂直于圓內(nèi)接矩形所在平面，則該圓上點(diǎn)[XwYw0]T的對(duì)應(yīng)齊次坐標(biāo)表示為 M＝[XwYw0 1]T 并記圓與矩形的四個(gè)交點(diǎn)VMi為 則圓的圖像點(diǎn)(u，v)的對(duì)應(yīng)的齊次坐標(biāo)表示為 m＝[u v 1]T 圖像點(diǎn)和世界坐標(biāo)點(diǎn)間的透視投影變換為 sm＝PM 其中 P＝K[R T]＝(pij)3×4 P是投影變換矩陣，λ是尺度因子； K是攝像機(jī)內(nèi)部參數(shù)矩陣； R是攝像機(jī)外部參數(shù)的單位旋轉(zhuǎn)矩陣； T＝(tx，ty，tz)T T是攝像機(jī)外部參數(shù)的平移向量。
此時(shí)獲得內(nèi)部參數(shù)及外部參數(shù)，完成了對(duì)攝像機(jī)的初次標(biāo)定。
步驟603、記錄參考實(shí)物上的特征點(diǎn)的位置。
記錄參考實(shí)物上的特征點(diǎn)的位置包括三步獲得攝像機(jī)閉合解、進(jìn)行非線性優(yōu)化、利用所獲得的攝像機(jī)內(nèi)部參數(shù)及外部參數(shù)確定參考模板附近物體特征點(diǎn)位置信息。
其中，獲得攝像機(jī)閉合解包括 由方程sm＝PM，可推出 即 其中a1，b1，c1，d1，e1，f1依賴于攝像機(jī)內(nèi)、外參數(shù)。
在世界坐標(biāo)系下，圓上的點(diǎn)[Xw Yw 0 1]T的坐標(biāo)滿足坐標(biāo)方程 其中r為圓內(nèi)接矩形703的圓的半徑，為已知量，進(jìn)一步可推出 通過Hough變換檢測(cè)出圖像平面702中被投影矩形四條邊，并線性擬合出四條邊所在直線 li＝(li1 li2)T 其中，i＝1，2，3，4；lij，j＝1，2，不同時(shí)為0 四條邊所在直線在圖像平面702中的方程 li1x+li2y＝0(i＝1，2，3，4) 和對(duì)角線所在直線lj＝(lj1 lj2 )T(j＝1，2)方程 lj1x+lj2y＝0(j＝1，2) 可推出，圖像平面702中被投影矩形在圖像中四個(gè)頂點(diǎn)Vmi的坐標(biāo) 該四個(gè)頂點(diǎn)Vmi也在二次曲線上，即圖像平面702中被投影圓的圖像曲線上； 由投影不變特性，圖像平面702中被投影矩形對(duì)角線的交點(diǎn)O’坐標(biāo)，也就是被投影圓圓心O在投影平面702中的圖像點(diǎn)的坐標(biāo)； 圓的圖像點(diǎn)(u，v)滿足橢圓二次曲線方程，該方程可由被投影矩形的4個(gè)頂點(diǎn)及對(duì)角線交點(diǎn)這五個(gè)坐標(biāo)確定，或通過二次曲線擬合法得出曲線系數(shù) au2+buv+cv2+du+ev+g＝0 由高等代數(shù)二次型表示法，可得mTQm＝0，Q由參數(shù)a，b，c，d，e，g對(duì)稱表示 至此，我們建立了五個(gè)點(diǎn)對(duì)的關(guān)系，即空間中圓內(nèi)接矩形703四個(gè)頂點(diǎn)與圖像平面702對(duì)應(yīng)四個(gè)點(diǎn)、空間中圓內(nèi)接矩形703圓心與圖像平面702中對(duì)應(yīng)點(diǎn)，且均滿足式m＝[u v 1]T，其中四對(duì)頂點(diǎn)滿足方程 au2+buv+cv2+du+ev+g＝0 結(jié)果如下 進(jìn)一步 λC＝PTQP 其中，λ為比例因子 由式λC＝PTQP、(3)、(4)可得攝像機(jī)參數(shù)閉合解。
進(jìn)行非線性優(yōu)化包括 把上述閉合解作為下列式子初始值，非線性優(yōu)化攝像機(jī)參數(shù)，最小化函數(shù)為 其中，g(Mc)為空間圓上的點(diǎn)Mc到圖像平面702的投影；h(plMj)為圓的內(nèi)接矩形四個(gè)邊上的點(diǎn)plMj到圖像平面702的投影。
利用所獲得的攝像機(jī)內(nèi)部參數(shù)及外部參數(shù)確定參考模板附近物體特征點(diǎn)位置信息包括 假設(shè)選取的參照物為姓名牌，可在用Hough變換檢測(cè)圖像平面702中被投影矩形四條邊時(shí)，同時(shí)也檢測(cè)姓名牌所有的直線邊，例如，寫姓名那面的四條邊、及支撐的三角邊、及名字中的直線。若參考實(shí)物具有弧線邊，此時(shí)也可檢測(cè)弧線邊。
接著使用同樣的方法線性擬合各個(gè)直線邊的坐標(biāo)方程，并通過這些直線的交集可容易計(jì)算得到各個(gè)頂點(diǎn)坐標(biāo)以及姓名牌正面名字上各個(gè)角點(diǎn)、端點(diǎn)坐標(biāo)； 利用式sm＝PM，并且由于g(Mc)為空間圓上的點(diǎn)Mc到圖像平面702的投影；h(plMj)為圓的內(nèi)接矩形四個(gè)邊上的點(diǎn)plMj到圖像平面702的投影，知道了圖像點(diǎn)，且知道攝像機(jī)參數(shù)矩陣P，進(jìn)而可計(jì)算得到姓名牌各個(gè)特征點(diǎn)在三維空間中的坐標(biāo)，此時(shí)也就獲取并記錄了各個(gè)特征點(diǎn)之間的相對(duì)位置特征，如矩形邊兩個(gè)端點(diǎn)所確定的直線邊，點(diǎn)點(diǎn)之間距離、名字上的角點(diǎn)、端點(diǎn)到矩形邊的距離。
步驟604、移走作為參考模板的圓內(nèi)接矩形。
此時(shí)就可以移走作為參考模板的圓內(nèi)接矩形，以利于進(jìn)一步的拍攝工作。
步驟605、依據(jù)參考實(shí)物再次標(biāo)定攝像機(jī)。
當(dāng)由于某種原因攝像機(jī)改變了位置、或改變了拍攝角度，需要重新對(duì)攝像機(jī)進(jìn)行標(biāo)定時(shí)，就可以依據(jù)初次標(biāo)定時(shí)選擇的參考實(shí)物再次標(biāo)定攝像機(jī)。
仍以選擇的參考實(shí)物為姓名牌為例，則此時(shí)將以步驟603中記錄下的作為參考實(shí)物的姓名牌上的特征點(diǎn)的位置再次標(biāo)定攝像機(jī)，相當(dāng)于把已經(jīng)被標(biāo)定的姓名牌替代棋盤格，作為新的參考模板，重新標(biāo)定攝像機(jī)。
首先，從至少三個(gè)不同角度拍攝該姓名牌，獲取該姓名牌的圖像； 接著使用Hough變換檢測(cè)姓名牌的直線邊，例如，寫姓名那面的四條邊、及支撐的三角邊、及名字中的直線； 擬合各個(gè)邊并建立坐標(biāo)方程，求得各個(gè)頂點(diǎn)、對(duì)角線交點(diǎn)位置； 進(jìn)而求得姓名牌中姓名的圖像點(diǎn)的位置坐標(biāo)； 利用各個(gè)點(diǎn)的坐標(biāo)及直線方程可計(jì)算得到攝像機(jī)各個(gè)參數(shù)，方法同步驟603描述的使用圓內(nèi)接矩形攝像機(jī)標(biāo)定獲得攝像機(jī)閉合解； 進(jìn)而使用步驟603描述的圓內(nèi)接矩形攝像機(jī)標(biāo)定獲得非線性最優(yōu)解方法，獲取最終的攝像機(jī)各個(gè)參數(shù)。
此時(shí)完成了對(duì)攝像機(jī)的再次標(biāo)定，由上可知，使用本實(shí)施例對(duì)攝像機(jī)進(jìn)行標(biāo)定，只需要在攝像機(jī)第一次拍攝一個(gè)全新的環(huán)境時(shí)使用參考模板進(jìn)行標(biāo)定，在初次標(biāo)定的同時(shí)記錄下一個(gè)參考實(shí)物的信息，之后只要該參考實(shí)物還位于被拍攝的場(chǎng)景中，攝像機(jī)都可以使用該參考實(shí)物進(jìn)行標(biāo)定，不再需要每次改變攝像機(jī)的位置或拍攝角度，都重新拿出參考模板進(jìn)行標(biāo)定，操作更加方便，且適用多種場(chǎng)景；在無法得知攝像機(jī)的運(yùn)動(dòng)狀態(tài)、或者攝像機(jī)的運(yùn)動(dòng)是無法控制的情況下也都可以應(yīng)用；且由于初次標(biāo)定是使用數(shù)據(jù)已知、加工精密的參考模板完成的，初次標(biāo)定時(shí)記錄的參考實(shí)物的數(shù)據(jù)也是比較準(zhǔn)確的，依據(jù)該數(shù)據(jù)進(jìn)行的標(biāo)定也具有較高的精度。
本發(fā)明實(shí)施例提供的攝像機(jī)標(biāo)定的裝置實(shí)施例結(jié)構(gòu)如圖8所示，包括 初次標(biāo)定單元810，用于根據(jù)參考模板獲得攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)，并記錄處于拍攝環(huán)境中參考實(shí)物的數(shù)據(jù)； 重標(biāo)定單元820，用于在需要對(duì)所述攝像機(jī)進(jìn)行標(biāo)定時(shí)，從至少三個(gè)角度獲取所述參考實(shí)物的圖像，利用所述記錄下的所述參考實(shí)物的數(shù)據(jù)獲得所述攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)，完成對(duì)所述攝像機(jī)的標(biāo)定。
所述初次標(biāo)定單元810包括 參數(shù)獲取單元811，用于根據(jù)參考模板獲得攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)； 記錄單元812，用于記錄處于拍攝環(huán)境中參考實(shí)物的數(shù)據(jù)。
在所述參考模板為棋盤格時(shí)，所述記錄單元812包括 第一記錄單元812a，用于利用所述根據(jù)參考模板獲得攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)，確定并記錄處于拍攝環(huán)境中棋盤格附近參考實(shí)物特征點(diǎn)位置信息。
在所述參考模板為圓內(nèi)接矩形時(shí)，所述記錄單元包括 第二記錄單元812b，用于在為所述圓內(nèi)接矩形檢測(cè)直線時(shí)，檢測(cè)所述參考實(shí)物上具有的直線、和/或弧線，記錄所述參考實(shí)物上特征點(diǎn)的位置數(shù)據(jù)。
其中所述重標(biāo)定單元820包括 圖像獲取單元821，用于在需要對(duì)所述攝像機(jī)進(jìn)行標(biāo)定時(shí)，從至少三個(gè)角度獲取所述參考實(shí)物的圖像； 運(yùn)算單元821，用于檢測(cè)所述參考實(shí)物的特征信息，求得各個(gè)特征點(diǎn)、線的圖象位置信息；求得各個(gè)特征點(diǎn)、線的圖象位置坐標(biāo)以及對(duì)應(yīng)的參考實(shí)物在世界坐標(biāo)系下的坐標(biāo)；利用各個(gè)特征點(diǎn)的圖像坐標(biāo)以及對(duì)應(yīng)的世界坐標(biāo)系下的坐標(biāo)及參數(shù)方程計(jì)算得到攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)。
在所述參考實(shí)物為姓名牌時(shí)，所述運(yùn)算單元821還包括 姓名牌運(yùn)算單元，用于檢測(cè)姓名牌的直線邊；擬合各個(gè)邊并建立坐標(biāo)方程，求得各個(gè)頂點(diǎn)、對(duì)角線交點(diǎn)位置；求得姓名牌中姓名的圖像點(diǎn)的位置坐標(biāo)以及對(duì)應(yīng)的姓名牌在世界坐標(biāo)系下的坐標(biāo)；利用各個(gè)特征點(diǎn)的圖像坐標(biāo)以及對(duì)應(yīng)的世界坐標(biāo)系下的坐標(biāo)及直線方程計(jì)算得到攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)。
本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器，磁盤或光盤等。
以上對(duì)本發(fā)明所提供的一種攝像機(jī)標(biāo)定的方法及裝置進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式
及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
權(quán)利要求
1、一種攝像機(jī)標(biāo)定的方法，其特征在于，包括
根據(jù)參考模板獲得攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)，并記錄處于拍攝環(huán)境中參考實(shí)物的數(shù)據(jù)；
在需要對(duì)所述攝像機(jī)進(jìn)行標(biāo)定時(shí)，從至少三個(gè)角度獲取所述參考實(shí)物的圖像，利用所述記錄下的所述參考實(shí)物的數(shù)據(jù)獲得所述攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)，完成對(duì)所述攝像機(jī)的標(biāo)定。
2、如權(quán)利要求1所述的攝像機(jī)標(biāo)定的方法，其特征在于，所述參考模板為棋盤格；
所述記錄處于拍攝環(huán)境中參考實(shí)物的數(shù)據(jù)為，利用所述根據(jù)參考模板獲得攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)，確定并記錄處于拍攝環(huán)境中棋盤格附近參考實(shí)物特征點(diǎn)位置信息。
3、如權(quán)利要求1所述的攝像機(jī)標(biāo)定的方法，其特征在于，所述參考模板為圓內(nèi)接矩形；
所述記錄處于拍攝環(huán)境中參考實(shí)物的數(shù)據(jù)為，在為所述圓內(nèi)接矩形檢測(cè)直線時(shí)，檢測(cè)所述參考實(shí)物上具有的直線、和/或弧線，記錄所述參考實(shí)物上特征點(diǎn)的位置數(shù)據(jù)。
4、如權(quán)利要求1、2或3所述的攝像機(jī)標(biāo)定的方法，其特征在于，所述參考實(shí)物為姓名牌；
所述利用所述記錄下的所述參考實(shí)物的數(shù)據(jù)獲得所述攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)包括
檢測(cè)姓名牌的直線邊；擬合各個(gè)邊并建立坐標(biāo)方程，求得各個(gè)頂點(diǎn)、對(duì)角線交點(diǎn)位置；求得姓名牌中姓名的圖像點(diǎn)的位置坐標(biāo)以及對(duì)應(yīng)的姓名牌在世界坐標(biāo)系下的坐標(biāo)；利用各個(gè)特征點(diǎn)的圖像坐標(biāo)以及對(duì)應(yīng)的世界坐標(biāo)系下的坐標(biāo)及直線方程計(jì)算得到攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)。
5、一種攝像機(jī)標(biāo)定的裝置，其特征在于，包括
初次標(biāo)定單元，用于根據(jù)參考模板獲得攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)，并記錄處于拍攝環(huán)境中參考實(shí)物的數(shù)據(jù)；
重標(biāo)定單元，用于在需要對(duì)所述攝像機(jī)進(jìn)行標(biāo)定時(shí)，從至少三個(gè)角度獲取所述參考實(shí)物的圖像，利用所述記錄下的所述參考實(shí)物的數(shù)據(jù)獲得所述攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)，完成對(duì)所述攝像機(jī)的標(biāo)定。
6、如權(quán)利要求5所述的攝像機(jī)標(biāo)定的裝置，其特征在于，所述初次標(biāo)定單元包括
參數(shù)獲取單元，用于根據(jù)參考模板獲得攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)；
記錄單元，用于記錄處于拍攝環(huán)境中參考實(shí)物的數(shù)據(jù)。
7、如權(quán)利要求6所述的攝像機(jī)標(biāo)定的裝置，其特征在于，所述參考模板為棋盤格；
所述記錄單元包括
第一記錄單元，用于利用所述根據(jù)參考模板獲得攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)，確定并記錄處于拍攝環(huán)境中棋盤格附近參考實(shí)物特征點(diǎn)位置信息。
8、如權(quán)利要求6所述的攝像機(jī)標(biāo)定的裝置，其特征在于，所述參考模板為圓內(nèi)接矩形；
所述記錄單元包括
第二記錄單元，用于在為所述圓內(nèi)接矩形檢測(cè)直線時(shí)，檢測(cè)所述參考實(shí)物上具有的直線、和/或弧線，記錄所述參考實(shí)物上特征點(diǎn)的位置數(shù)據(jù)。
9、如權(quán)利要求5、6、7或8所述的攝像機(jī)標(biāo)定的裝置，其特征在于，所述重標(biāo)定單元包括
圖像獲取單元，用于在需要對(duì)所述攝像機(jī)進(jìn)行標(biāo)定時(shí)，從至少三個(gè)角度獲取所述參考實(shí)物的圖像；
運(yùn)算單元，用于檢測(cè)所述參考實(shí)物的特征信息，求得各個(gè)特征點(diǎn)、線的圖象位置信息；求得各個(gè)特征點(diǎn)、線的圖象位置坐標(biāo)以及對(duì)應(yīng)的參考實(shí)物在世界坐標(biāo)系下的坐標(biāo)；利用各個(gè)特征點(diǎn)的圖像坐標(biāo)以及對(duì)應(yīng)的世界坐標(biāo)系下的坐標(biāo)及參數(shù)方程計(jì)算得到攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)。
10、如權(quán)利要求9所述的攝像機(jī)標(biāo)定的裝置，其特征在于，所述參考實(shí)物為姓名牌；
所述運(yùn)算單元包括
姓名牌運(yùn)算單元，用于檢測(cè)姓名牌的直線邊；擬合各個(gè)邊并建立坐標(biāo)方程，求得各個(gè)頂點(diǎn)、對(duì)角線交點(diǎn)位置；求得姓名牌中姓名的圖像點(diǎn)的位置坐標(biāo)以及對(duì)應(yīng)的姓名牌在世界坐標(biāo)系下的坐標(biāo)；利用各個(gè)特征點(diǎn)的圖像坐標(biāo)以及對(duì)應(yīng)的世界坐標(biāo)系下的坐標(biāo)及直線方程計(jì)算得到攝像機(jī)的內(nèi)部參數(shù)及外部參數(shù)。
全文摘要
本發(fā)明公開了一種攝像機(jī)標(biāo)定的方法，包括根據(jù)參考模板獲得攝像機(jī)的內(nèi)部及外部參數(shù)，并記錄處于拍攝環(huán)境中參考實(shí)物的數(shù)據(jù)；在需要對(duì)所述攝像機(jī)進(jìn)行標(biāo)定時(shí)，從至少三個(gè)角度獲取所述參考實(shí)物的圖像，利用所述記錄下的所述參考實(shí)物的數(shù)據(jù)獲得所述攝像機(jī)的內(nèi)部及外部參數(shù)。本發(fā)明還公開了一種攝像機(jī)標(biāo)定的裝置，其特征在于，包括初次標(biāo)定單元，用于根據(jù)參考模板獲得攝像機(jī)的內(nèi)部及外部參數(shù)，并記錄處于拍攝環(huán)境中參考實(shí)物的數(shù)據(jù)；重標(biāo)定單元，用于在需要對(duì)所述攝像機(jī)進(jìn)行標(biāo)定時(shí)，從至少三個(gè)角度獲取所述參考實(shí)物的圖像，利用所述記錄下的所述參考實(shí)物的數(shù)據(jù)獲得所述攝像機(jī)的內(nèi)部及外部參數(shù)。本發(fā)明適用于多種場(chǎng)景，操作較簡(jiǎn)單，且有很高的精度。
文檔編號(hào)G06T7/00GK101419705SQ20071018204
公開日2009年4月29日 申請(qǐng)日期2007年10月24日 優(yōu)先權(quán)日2007年10月24日
發(fā)明者凱 李, 靜 王, 源 劉, 平 方 申請(qǐng)人:深圳華為通信技術(shù)有限公司