專利名稱：攝像機的標定方法及攝像機標定裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像與視頻技術(shù)領(lǐng)域，尤其涉及攝像機的標定方法及攝像機 標定裝置。
背景技術(shù)：
在計算機視覺和攝影測量領(lǐng)域中，為了獲取計算機圖像象素點到實際物 理空間點的對應(yīng)關(guān)系，必須進行攝像機標定。攝像機標定是指在一定的攝像 機模型下，經(jīng)過對其圖像進行處理，利用一系列數(shù)學變換和計算方法，求取 攝像機模型的內(nèi)部和外部參數(shù)的過程。目前已有大量的攝像機標定方法，其 中包括基于特定的實驗條件如形狀、尺寸已知的標定參照物求取攝像機模型 參數(shù)的傳統(tǒng)的攝像機標定方法，也有不依賴于標定參照物，僅利用攝像機在 運動過程中周圍環(huán)境的圖像與圖像之間的對應(yīng)關(guān)系對攝像機進行標定的攝像 機自標定方法。傳統(tǒng)的使用標定參照物如標定模板的方法獲得了較廣泛的應(yīng)
用，其中典型的有Tsai的兩步法，這些傳統(tǒng)的方法由于在拍攝和標定過程中 一直需要使用標定參照物，因而給拍攝操作及標定方法使用帶來了很大的不 方便。
在自由視點視頻應(yīng)用中，獲取多攝像機的內(nèi)外參是非常必要的，圖像的 極線校正、深度/視差圖的獲取、自由視頻的插值生成等幾乎都要用到攝像機 內(nèi)外參。如果采用傳統(tǒng)的攝像機標定方法對多臺攝像機標定，需要對每臺攝 像機逐個利用標定參照物來進行標定，實現(xiàn)起來較為復(fù)雜和繁瑣，特別是在 攝像機模型參數(shù)發(fā)生變化時，如何快速、有效對各臺攝像機進行重新標定是 一個必須解決的問題。
現(xiàn)有技術(shù)中提供一種不使用標定模板而通過圖像間單應(yīng)性矩陣標定多 攝像機的方案，該方案對多攝像機進行標定時包括 一組攝像機中的每個攝 像機同步地捕獲一幅圖像，其中一臺攝像機為主攝像機，其它攝像機為從攝 像機；從每個攝像機捕獲到的每幅圖像中提取特征點；使用提取到的特征點， 估計一組圖像間的單應(yīng)性矩陣；使用所述單應(yīng)性矩陣，得到每個攝像機的外 部參數(shù)的一個線性解。在實現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)上述現(xiàn)有技術(shù)的攝像機的標定方案
至少存在以下問題上述通過圖像間單應(yīng)性矩陣標定多攝像機的方案需要估
計主從攝像機間的單應(yīng)性矩陣才能求得攝像機的外部參數(shù)，由于單應(yīng)性矩陣 的估計過程的穩(wěn)定性和可靠性均較差，因此依此所求得的攝像機的外部參數(shù)
也較差；另外，采用標定物標定方法，需要對標定物在固定方向進行移動，
其可操作性也較差以及標定過程的復(fù)雜度較高。

發(fā)明內(nèi)容
本發(fā)明實施例提供攝像機的標定方法及攝像機標定裝置，采用本發(fā)明的 攝像機的標定方法可以獲取較準確的攝像機的參數(shù)，提高了攝像機標定的可 操作性。
本發(fā)明實施例提供的一種攝像機的標定方法，包括
對深度獲取裝置拍攝的圖像和所述深度獲取裝置鄰近的攝像機拍攝的圖 像分別進行特征點檢測；
將所述檢測的深度獲取裝置拍攝的圖像的特征點與所述深度獲取裝置鄰 近的攝像機拍攝的圖像的特征點進行匹配，確定所述深度獲取裝置拍攝的圖 像與所述深度獲取裝置鄰近的攝像機拍攝的圖像之間的可匹配特征點；
基于所述深度獲取裝置，獲得所述可匹配特征點的三維世界坐標；
根據(jù)所述可匹配特征點的三維世界坐標及所述可匹配特征點在所述深度 獲取裝置鄰近的攝像機拍攝的圖像中的圖像坐標的對應(yīng)關(guān)系，確定所述深度 獲取裝置鄰近的攝像機的參數(shù)。
本發(fā)明提供的一種攝像機的標定方法，包括
對深度獲取裝置鄰近的攝像機拍攝的圖像和所述深度獲取裝置非鄰近的 攝像機拍攝的圖像分別進行特征點檢測；
將所述檢測的深度獲取裝置鄰近的攝像機拍攝的圖像和所述深度獲取裝 置非鄰近的攝像機拍攝的圖像特征點進行匹配，確定所述深度獲取裝置鄰近 的攝像機拍攝的圖像和所述深度獲取裝置非鄰近的攝像機拍攝的圖像之間的 可匹配特;f正點；
根據(jù)預(yù)先確定的所述深度獲取裝置鄰近的攝像機的參數(shù)，獲得所述可匹 配特征點的三維世界坐標；根據(jù)所述可匹配特征點的三維世界坐標及所述可匹配特征點在所述不鄰 近的攝像機拍攝的圖像中的圖像坐標的對應(yīng)關(guān)系，獲得所述深度獲取裝置非 鄰近的攝像機的參數(shù)。
本發(fā)明實施例提供的一種攝像機標定裝置，包括
特征點檢測單元，用于對深度獲取裝置拍攝的圖像和所述深度獲取裝置
鄰近的攝像機拍攝的圖像分別進行特征點檢測；
特征點匹配單元，用于將所述特征點檢測單元檢測的深度獲取裝置拍攝 的圖像的特征點與所述深度獲取裝置鄰近的攝像機拍攝的圖像的特征點進行 匹配，確定所述深度獲取裝置拍攝的圖像與所述深度獲取裝置鄰近的攝像機 拍攝的圖像之間的可匹配特征點；
特征點三維坐標獲取單元，用于基于所述深度獲取裝置，獲得所述可匹 配特征點的三維世界坐標；
標定單元，用于根據(jù)所述可匹配特征點的三維世界坐標及所述可匹配特 征點在所述深度獲取裝置鄰近的攝像機拍攝的圖像中的圖像坐標的對應(yīng)關(guān) 系，獲得所述鄰近的攝像機的參數(shù)。
從以上技術(shù)方案可以看出，本發(fā)明實施例中，主要通過深度獲取裝置獲 得特征點的三維世界坐標，并利用所述特征點的三維世界坐標及其在待標定 的攝像機拍攝的圖像中的圖像坐標的對應(yīng)關(guān)系，實現(xiàn)對待標定攝像機的標定， 與現(xiàn)有技術(shù)通過圖像間單應(yīng)性矩陣標定多攝像機的方案相比，由于不需要估 計主從攝像機間的單應(yīng)性矩陣，因此獲取的攝像機的參數(shù)比較穩(wěn)定而準確； 且本發(fā)明能準確的獲得特征點的三維世界坐標，在標定時，標定物的移動可 以不在固定的方向，提高了攝像機標定的可操作性；另外本發(fā)明的攝像機的 標定方法可以對多臺鄰近攝像機采用相同的標定方法，簡化攝像機的標定過 程。


圖1是本發(fā)明攝像機的標定方法實施例一的流程圖； 圖2是本發(fā)明攝像機的標定方法實施例二中深度攝像機及其鄰近的攝像 機構(gòu)成的2D/3D多視點視頻會議系統(tǒng)的結(jié)構(gòu)示意圖； 圖3是本發(fā)明攝像機的標定方法實施例二的流程9圖4是本發(fā)明攝像機的標定方法實施例三中雙目攝像機及其鄰近的攝像
機構(gòu)成的2D/3D多視點視頻會議系統(tǒng)的結(jié)構(gòu)示意圖； 圖5是本發(fā)明攝像機的標定方法實施例三的流程圖； 圖6是是本發(fā)明攝像機的標定方法實施例五中多個深度獲取裝置構(gòu)成的
2D/3D多視點視頻會議系統(tǒng)的結(jié)構(gòu)示意圖7是本發(fā)明攝像機的標定方法實施例六的流程圖； 圖8是本發(fā)明攝像機標定裝置實施例一的結(jié)構(gòu)示意圖； 圖9是本發(fā)明攝像機標定裝置實施例二的結(jié)構(gòu)示意圖； 圖10是本發(fā)明攝像機標定裝置實施例三的結(jié)構(gòu)示意圖； 圖11是本發(fā)明攝像機標定裝置實施例四的結(jié)構(gòu)示意圖。
具體實施例方式
下面結(jié)合附,，對本發(fā)明提供的攝像機的標定方法與裝置的推薦實施例 進^f于"i舉細4苗述。
參考圖1,本發(fā)明攝像機的標定方法實施例一包括
Al 、對深度獲取裝置拍攝的圖像和所述深度獲取裝置鄰近的攝像機拍攝 的圖像分別進行特征點檢測。
可以理解，本實施例中的深度獲取裝置是指，通過物理方式如深度攝像 機或通過軟件方式如傳統(tǒng)的立體匹配方法獲取深度信息的裝置。而深度是攝 像機距離所拍攝物體的距離，是和視差相關(guān)的一個量。 一般，深度大，則視 差??；深度小，則視差大。根據(jù)視差深度模型，可以求出視差P和深度、的 關(guān)系
<formula>formula see original document page 10</formula>
可以看出，視差為深度的一個非線性函數(shù)。在很多應(yīng)用中，"相比^要大很
多，可以適用線性模型P~ O、。因此可以將上述非線性函數(shù)簡化為線 性函數(shù)，從而提高計算效率。在本發(fā)明實施例中，所述深度獲取裝置可以是單臺或者至少兩臺深度攝 像機，也可以是包括至少兩臺普通攝像機即雙目攝像機。其中深度獲取裝置 包括深度攝像機時，以一種能夠直接獲取深度信息的攝像機為例，該攝像機 是通過物理的方法直接測量獲取到景物距離攝像機的距離，如通過雷達、紅
外等方式，并以灰度圖像的形式表示?；叶燃壴礁弑硎旧疃仍叫。暡钤酱?； 灰度級越小表示深度越大，視差越小。當深度獲取裝置包括至少兩臺普通攝 像機時，是利用雙目攝像機間的一系列約束關(guān)系，對左右攝像機拍攝圖像進 行立體匹配，求出視差，進而利用視差與深度的模型關(guān)系，求解出深度圖。
所述深度獲取裝置鄰近的攝像機主要是指該攝像機可以拍攝到深度獲取 裝置所拍攝場景的至少一部分。
所述檢測到的特征點是用二維坐標表示的圖像的特征信息，在檢測的過 程中要保證檢測的特征點對圖像縮放、平移、旋轉(zhuǎn)等變換保持不變性，即為 穩(wěn)定的特征點。
A2、將所述檢測的深度獲取裝置拍攝的圖像的特征點與所述深度獲取裝 置鄰近的攝像機拍攝的圖像的特征點進行匹配，確定所述深度獲取裝置拍攝 的圖像與所述深度獲取裝置鄰近的攝像機拍攝的圖像之間的可匹配特征點。
所述可匹配特征點是指深度獲取裝置拍攝的圖像和與所述深度獲取裝置 鄰近的攝像機拍攝的圖像的特征信息相同的點。
A3、基于所述深度獲取裝置，獲得所述可匹配特征點的三維世界坐標。
在本實施例中，根據(jù)深度獲取裝置獲取的深度信息或者視差信息即可確 定所述可匹配特征點的三維世界坐標。
A4、根據(jù)所述可匹配特征點的三維世界坐標，及所述可匹配特征點在所 述深度獲取裝置鄰近的攝像機拍攝的圖像中的圖像坐標的對應(yīng)關(guān)系，確定所 述深度獲取裝置鄰近的攝像機的參數(shù)。
其中，可以采用已有的攝像機標定方法(如Tsai標定法、平面標定法 等)通過步驟A4獲得鄰近攝像機的參數(shù)，在此不再贅述。
從以上技術(shù)方案可以看出，本發(fā)明實施例中，主要通過深度獲取裝置獲 得特征點的三維世界坐標，并利用所述特征點的三維世界坐標及其在待標定 的攝像機拍攝的圖像中的圖像坐標的對應(yīng)關(guān)系，實現(xiàn)對待標定攝像機的標定，與現(xiàn)有技術(shù)通過圖像間單應(yīng)性矩陣標定多攝像機的方案相比，由于不需要估
計主從攝像機間的單應(yīng)性矩陣，因此獲取的攝像機的參數(shù)比較穩(wěn)定而準確；
且本發(fā)明能準確的獲得特征點的三維世界坐標，在標定時，標定物的移動可
以不在固定的方向，提高了攝像機標定的可操作性；另外本發(fā)明的攝像機的 標定方法可以對多臺鄰近攝像機采用相同的標定方法，簡化攝像機的標定過 程。
本發(fā)明攝像機的標定方法實施例二中以深度攝像機作為深度獲取裝置， 參照圖2為一個深度攝像機和鄰近攝像機構(gòu)成的2D/3D多視點視頻會議系 統(tǒng)，本實施例的攝像機的標定方法的流程圖如圖3所示，包括
Bl、對深度攝像機拍攝的二維圖像和該深度攝像機鄰近的攝像機拍攝的 圖像分別進行特征點檢測。
深度攝像機進行拍攝可以獲得普通的RGB 二維圖像及其對應(yīng)的深度圖。
B2、對所述檢測特征點進行匹配，確定所述深度攝像機拍攝的二維圖像 和該深度攝像機鄰近的攝像機拍攝的圖像之間的可匹配特征點。
在本實施例中，深度攝像機可以只在一組參數(shù)條件下拍攝獲得單幅二維 圖像，也可以在至少兩組不同參數(shù)條件下拍攝獲取至少兩幅二維圖像。對于 后者，可以采用以下兩種不同的匹配方式
方式一、在對所述的至少兩幅二維圖像分別進行特征點檢測后，對所述 的至少兩幅二維圖像的各自的特征點和深度攝像機鄰近的攝像機拍攝的圖像 的特征點進行匹配，這樣，所確定的可匹配特征點是所述至少兩幅二維圖像 與深度攝像機鄰近的攝像機拍攝的圖像的特征點的交集。
方式二、在對所述的至少兩幅二維圖像分別進行特征點檢測后，對所述 的至少兩幅二維圖像分別與所述鄰近的攝像機拍攝的圖像進行匹配，這樣， 所確定的可匹配特征點是所述至少兩幅二維圖像分別與所述鄰近的攝像^L拍 攝的圖像相匹配的特征點的并集。
B3、根據(jù)深度攝像機拍攝獲得的深度圖，獲得所述可匹配特征點的三維 世界坐標。
其中，對于所述B2中的匹配方式一，由于所述可匹配特征點在深度攝 像機在不同參數(shù)條件下拍攝的各幅圖像中均存在，因此可以根據(jù)深度攝像機拍攝的任一深度圖都可獲得可匹配特征點的三維世界坐標；而對于所述B2 中的匹配方式二，由于可匹配特征點可能只在深度攝像機在不同參數(shù)條件下 拍攝的部分圖像中存在，因此，需要根據(jù)存在可匹配特征點的深度圖來獲得 可匹配點的三維世界坐標。
B4 、根據(jù)所述可匹配特征點的三維世界坐標及所述可匹配特征點在所述 鄰近的攝像機拍攝的圖像中的圖像坐標的對應(yīng)關(guān)系，獲得所述鄰近的攝像機 的參數(shù)。
其中，可以采用已有的攝像機標定方法(例如Tsai標定法、棋盤格標 定法和平面標定法等)獲得鄰近攝像機的參數(shù)，在此不再贅述。
本實施例是實施例一的具體應(yīng)用，在本實施例中以深度攝像機作為深度 獲取裝置，這樣在獲取可匹配特征點的三維世界坐標時，通過物理的直觀的 方法獲得深度圖，再結(jié)合所述可匹配特征點的信息來獲得三維世界坐標。這 種方法比較簡單且直觀，且獲得的三維世界坐標比較準備。
本發(fā)明攝像機的標定方法實施例三中以至少兩臺普通的攝像機作為深度 獲取裝置，參照圖4為雙目攝像機即兩臺普通攝像機和鄰近攝像機構(gòu)成的 2D/3D多視點視頻會議系統(tǒng)，本實施例以兩臺攝像機的標定方法為例，流程 圖如圖5所示，包括
Cl 、對雙目攝像機拍攝的圖像和所述雙目攝像機鄰近的攝像機拍攝的圖 像分別進行特征點檢測。
其中，雙目攝像機拍攝的圖像可以是所述雙目攝像機在不同參數(shù)條件下，
拍攝包含標定模板的場景所得到的至少兩組圖像中分別選取的至少兩幅圖 像。如果在拍攝多組圖像時，實驗的光照等環(huán)境條件以及所拍圖像清晰程度 相同，選取其中哪一幅圖像對結(jié)果影響并不大。 一般而言，可以直接選取各 組的第一幅圖像。
C2、對所述檢測的特征點進行匹配，確定所述雙目攝像機拍攝的圖像和 所述雙目攝像機鄰近的攝像機拍攝的圖像之間的可匹配特征點。
在本實施例中，可以對所選擇的至少兩幅圖像各自的特征點和深度4聶像 機鄰近的攝像機拍攝的圖像的特征點進行匹配，如實施例二中的匹配方式一 所述，這樣，所確定的可匹配特征點是所述至少兩幅二維圖像與雙目攝像機鄰近的攝像機拍攝的圖像的特征點的交集。
C3、根據(jù)所述雙目攝像機的至少兩組不同參數(shù)，以及所述可匹配特征點 在所述雙目攝像機拍攝的圖像中的圖像坐標，獲得所述可匹配特征點的三維 世界坐標。
其中，所述雙目攝像機的至少兩組不同參數(shù)是根據(jù)現(xiàn)有標定法標定的雙 目攝像機的參數(shù)，可以通過雙目攝像機在不同參數(shù)條件下，對同一場景拍攝 的至少兩組包含標定模板的圖像(步驟Cl中所述的至少兩幅圖像是在這里 所述的至少兩組圖像中分別選取的)，并對所述至少兩組圖像分別執(zhí)行下面步
驟C31至C34所獲得的。其中，參數(shù)條件的變化不需要太大，以保證在不同 參數(shù)條件下所拍攝的圖像中的相同場景部分不會太少，為方便描述，以下以 兩組不同參數(shù)的情況為例進行描述
C31 、檢測所述雙目攝像機在同 一組參數(shù)條件下拍攝的一組圖像棋盤格 的非共面的角點即特征點。這里可以通過標定模板在攝像機的光軸方向的移 動來檢測圖像棋盤格非共面的角點。
C32、獲得所述角點的圖像坐標(x,，y,)，可以理解，根據(jù)圖像的不同層 次的坐標系之間的變換公式，可以獲得所述角點的圖像象素坐標。
C33、確定所述角點三維世界坐標(、,uJ，由于在步驟C31中是通過 標定模板在攝像機的光軸方向移動來檢測圖像棋盤個非共面的角點，所述角 點的三維世界坐標是固定的。
C34、根據(jù)所述角點的圖像坐標和所述角點的三維世界坐標，對所述雙 目攝像機進行標定，確定雙目攝像機參數(shù)。
通過上述方法，可以分別獲取兩組攝像機參數(shù)/1、 (O)、塒、《、《、
4、《、4、 4、 4、《、4、 4、《、"、/2、 (c，,c;)、《、《、d
《、《、《、《、r223 、《、《、《、t;2、 "、 7;2。其中上標l、 2分別表示 第I組參數(shù)和第II組參數(shù)。其中f是內(nèi)參焦距(mm), &,^分別是光心的象素 坐標，^是鏡頭徑向畸變的一階系數(shù)，^是非確定性標度尺寸因子。外部參 數(shù)R、 T分別是三維空間世界坐標系與攝像機坐標系之間的旋轉(zhuǎn)矩陣和平移
向量。其中7;,7;,7;是從世界坐標系到相機坐標系變換的沿三個坐標軸的平移量。
14若相機坐標系在世界坐標系下的方向繞X軸逆時針旋轉(zhuǎn)角度a,繞Y 軸逆時針旋轉(zhuǎn)角度p，繞Z軸逆時針旋轉(zhuǎn)角度Y,則旋轉(zhuǎn)矩陣為及=&&^。
在經(jīng)過特征點4企測和匹配之后，可以獲取到可匹配特4正點在所選擇的雙 目攝像機拍攝的兩幅圖像(以下稱為圖像1和圖像2 )中的圖像坐標(x〉,》)和 其中，上標1和2分別表示圖像1和圖像2。
在本實施例中，還可以對(JC〉,力)和(X〗,《)進行畸變消除處理，具體而言，
可以對每個可匹配特征點在圖像1和圖像2中的圖像坐標(4,》)和(《,《)， 分別通過以下的公式(1 )到(6)求出經(jīng)過畸變消除處理的理想圖像坐標(乂，乂)
和(")
;c,《(x廣(1)
h"々/-。 (2)
A=^(1 + v2) (3)
凡二凡(1 + v2) (4)
(5)

其中(x^h)是可匹配特征點的實際圖像坐標，《,A分別是x方向(掃描 線方向)和y方向相鄰CCD感光單元中心之間的距離(mm )， A^是X方向 感光單元的數(shù)目(由攝像機廠家提供)，7、是計算機每行采樣的象素數(shù)目， 即圖像的X方向尺寸(象素pix個數(shù))。
由于已經(jīng)求出圖像1與圖像2的對應(yīng)的攝像機參數(shù)，以及可匹配特征點 在圖像1與圖像2中的理想的圖像坐標，就可以對每個可匹配特征點計算它 的三維世界坐標(、UJ了，可以通過求解下面的超定線性方程組(7)求 出三維世界坐標的近似最優(yōu)解，該方程組可以通過最小二乘法擬合求解。
(/X —x^i)、—乂4k—乂4k = 乂" —/X1 (/K《)、-幼^+(a23 -說、=《t;2 -/2t;2
(尸《-凡2《)xw+(/V222 - 乂《)凡+(/V223 -々323 k = jft2 - /X2
(7)C4、根據(jù)所述可匹配特征點的三維世界坐標及所述可匹配特征點在所述 鄰近的攝像機拍攝的圖像中的圖像坐標的對應(yīng)關(guān)系，獲得所述鄰近的攝像機 的參數(shù)。在經(jīng)過特征點檢測和匹配之后，可以獲取到可匹配特征點在鄰近的攝像 機拍攝的圖像中的圖像坐標?？梢圆捎靡延械臄z像機標定方法(如Tsai標定法、平面標定法等)獲得 鄰近攝像機的參數(shù)，在此不再贅述。本實施例是實施例 一的具體應(yīng)用，在本實施例中以雙目攝像機作為深度 獲取裝置，這樣在獲取可匹配特征點的三維世界坐標時，預(yù)先獲得的雙目攝 像機的參數(shù)，再結(jié)合所述可匹配特征點的信息來獲得三維世界坐標。這種方 法比較容易實現(xiàn)，需要至少兩臺普通攝像機就可以達到深度攝像機獲得深度 信息的功能。本發(fā)明攝像機的標定方法實施例四中，可以對于單個深度獲取裝置在至 少兩組不同參數(shù)條件下分別拍攝的圖像，分別執(zhí)行本發(fā)明攝像機的標定方法 實施例二或?qū)嵤├我凰龅姆椒ǎ@得鄰近的攝像機的至少兩組參數(shù)； 之后對所獲得的至少兩組參數(shù)進行加權(quán)平均，獲得所述鄰近的攝像機的參數(shù)?？梢岳斫膺@里的單個深度獲取裝置可以是單臺深度攝像機，如實施例二 所述；也可以是至少兩臺普通攝像機，如實施例三所述。本發(fā)明攝像機的標定方法實施例五中，可以通過如圖6所示的多個深度 獲取裝置構(gòu)成的2D/3D多視點視頻會議系統(tǒng)進行標定，對于至少兩個深度獲 取裝置分別拍攝的圖像，分別執(zhí)行本發(fā)明攝像機的標定方法實施例二或?qū)嵤?例三任一所述的方法，獲得鄰近的攝像機的至少兩組參數(shù)；之后對所獲得的 至少兩組參數(shù)進行加權(quán)平均，獲得所述鄰近的攝像機的參數(shù)?？梢岳斫膺@里的多個深度獲取裝置可以是至少兩臺深度攝像機，而每臺 深度攝像機對其鄰近的攝像機標定的方法如實施例二所述；也可以是至少兩 臺普通攝像機與至少一臺深度攝像機的組合，至少兩臺普通攝像機對其鄰近 的攝像機標定的方法如實施例三所述。是可以通過程序來指令相關(guān)的硬件來完成，所述的程序可以存儲于計算機可讀取存儲介質(zhì)中，該程序在執(zhí)行時可以包括對深度獲取裝置拍攝的圖像和 所述深度獲取裝置鄰近的攝像機拍攝的圖像分別進行特征點檢測；對所述檢測的特征點進行匹配，確定所述深度獲取裝置拍攝的圖像和該裝置鄰近的攝像機拍攝的圖像之間的可匹配特征點；基于所述深度獲取裝置，獲得所述可 匹配特征點的三維世界坐標；根據(jù)所述可匹配特征點的三維世界坐標、所述可匹配特征點在所述鄰近的攝像機拍攝的圖像中的圖像坐標以及所述兩種坐 標之間的對應(yīng)關(guān)系，獲得所述鄰近的攝像機的參數(shù)。這里所稱的存儲介質(zhì)，如ROM/RAM 、磁碟、光盤等。本發(fā)明攝像機的標定方法實施例六提供對深度獲取裝置非鄰近的攝像機 的標定方法，參考圖7，本實施例方法包括Dl、對深度獲取裝置鄰近的攝像機拍攝的圖像和所述深度獲取裝置非鄰 近的攝像機拍攝的圖像分別進行特征點檢測。其中，所述與深度獲取裝置非鄰近的攝像機與所述深度獲取裝置鄰近的 攝像機是鄰近的。所述深度獲取裝置非鄰近的攝像機可以拍攝到深度獲取裝 置鄰近的攝像機所拍攝場景的至少一部分。D2、將所述檢測的深度獲取裝置鄰近的攝像機拍攝的圖像的特征點與所 述深度獲取裝置非鄰近的攝像機拍攝的圖像的特征點進行匹配，確定所述深 度獲取裝置鄰近的攝像機拍攝的圖像和所述深度獲取裝置非鄰近的攝像機拍 攝的圖像之間的可匹配特征點。D3、根據(jù)預(yù)先確定的所述深度裝置鄰近的攝像機的參數(shù)，獲得所述可匹 配特征點的三維世界坐標。在本實施例中，所述深度裝置鄰近的攝像機的參數(shù)可以采用本發(fā)明攝像 機的標定方法實施例 一至實施例五任一所述方法獲取。D4、根據(jù)所述可匹配特征點的三維世界坐標及所述可匹配特征點在所述 非鄰近的攝像機拍攝的圖像中的圖像坐標的對應(yīng)關(guān)系，獲得所述非鄰近的攝 像機的參數(shù)。其中，可以采用已有的攝像機標定方法(如Tsai標定法、平面標定法等) 獲得所述不鄰近攝像機的參數(shù)，在此不再贅述。本實施例中提供了 一種簡單的獲取較遠的待標定攝像機的參數(shù)，是通過 深度獲取裝置鄰近的攝像機的參數(shù)，結(jié)合參考圖8，本發(fā)明攝像機標定裝置實施例一包括特征點檢測單元110、特征點匹配單元120、特征點三維坐標獲取單元130和標定單元140:特征點檢測單元110,用于對深度獲取裝置拍攝的圖像和所述深度獲取裝置鄰近的攝像機拍攝的圖像分別進行特征點檢測。在本發(fā)明實施例中，所述深度獲取裝置可以是單臺或者至少兩臺深度攝像機，也可以是包括至少兩臺普通攝像機，還可以是至少一臺深度攝像機與至少 一 臺普通攝像機的組合。所述深度獲取裝置拍攝的圖像可以是單幅圖像，也可以是兩幅以上圖像。 特征點匹配單元120,用于將特征點檢測單元110檢測的深度獲取裝置拍攝的圖像的特征點與所述深度獲取裝置鄰近的攝像機拍攝的圖像的特征點進行匹配，確定所述深度獲取裝置拍攝的圖像與所述深度獲取裝置鄰近的攝像機拍攝的圖像之間的可匹配特征點。特征點三維坐標獲取單元130,用于基于所述深度獲取裝置，獲得所述特征點匹配單元120匹配得到的可匹配特征點的三維世界坐標。標定單元140,用于根據(jù)所述特征點三維坐標獲取單元130獲得的可匹配特征點的三維世界坐標及所述特征點匹配單元匹配120得到的可匹配特征點在所述鄰近的攝像機拍攝的圖像中的圖像坐標的對應(yīng)關(guān)系，獲得所述鄰近的攝像機的參數(shù)。本實施例中的深度獲取裝置是通過特征點三維坐標獲取單元130獲取可 匹配特征點的三維世界坐標，這樣標定單元140通過所述可匹配特征點的三 維世界坐標及可匹配特征點在待標定攝像機拍攝的圖像中的二維坐標獲得的 參數(shù)比較準確，且克服了現(xiàn)有技術(shù)的可操作性差的缺陷。如圖9所示，本發(fā)明攝像機標定裝置實施例二與本發(fā)明攝像機標定裝置 實施例一類似，區(qū)別之處在于，在本實施例中，所述深度獲取裝置具體是雙 目攝像機；所述特征點三維坐標獲取單元130進一步包括參數(shù)獲取單元131，用于獲得雙目攝像機的至少兩組不同參數(shù)。三維坐標獲取單元132,用于根據(jù)所述參數(shù)獲取單元131獲得的雙目攝 像機的至少兩組不同參數(shù)，以及所述特征點匹配單元匹配120得到的可匹配 特征點在所述雙目攝像機拍攝的圖像中的圖像坐標，獲得所述可匹配特征點 的三維世界坐標。此時標定單元140是用于根據(jù)所述特征點三維坐標獲^^單元130中的三 維坐標獲取單元132獲得的可匹配特征點的三維世界坐標及所述可匹配特征 點在所述鄰近的攝像機拍攝的圖像中的圖像坐標的對應(yīng)關(guān)系，獲得所述鄰近 的攝像機的參數(shù)。其中，所述深度獲取裝置拍攝的圖像具體是指從所述雙目攝像機在所 述至少兩組不同參數(shù)條件下，拍攝包含標定模板的場景所得到的至少兩組圖 像中分別選取的至少兩幅圖像。如圖10所示，本發(fā)明攝像機標定裝置實施例三與本發(fā)明攝像機標定裝置 實施例二類似，區(qū)別之處在于，在本實施例中，所述參數(shù)獲取單元131進一 步包括角點檢測單元141,用于檢測所述雙目^t聶像機在同一組參數(shù)條件下，拍 攝包含標定模板的場景所得到的一組圖像中各幅圖像的棋盤格的非共面角 點。角點坐標獲取單元151,用于獲得所述角點檢測單元141檢測的角點的 圖像坐標，并為所述角點指定三維世界坐標。雙目攝像機參數(shù)獲取單元161,用于根據(jù)所述角點坐標獲取單元151獲 取的角點的圖像坐標和三維世界坐標，對所述雙目攝像機進行標定，確定雙 目攝像機與該組圖像對應(yīng)的參數(shù)。此時三維坐標獲取單元132是根據(jù)所述參數(shù)獲取單元131中的雙目攝像 機參數(shù)獲取單元161獲得的雙目攝像機的至少兩組不同參數(shù)，以及所述特征 點匹配單元匹配120得到的可匹配特征點在所述雙目攝像機拍攝的圖像中的 圖像坐標，獲得所述可匹配特征點的三維世界坐標。在本發(fā)明攝像機標定裝置的上述實施例中，若所述特征點檢測單元110 檢測的是所述深度獲取裝置拍攝的兩幅以上圖像的特征點，所述特征點匹配 單元120還用于將所述深度獲取裝置拍攝的兩幅以上圖像的特征點與所述深度獲取裝置鄰近的攝像機拍攝的圖像的特征點進行匹配，所確定的可匹配特 征點是所述兩幅以上圖像與所述深度獲取裝置鄰近的攝像機拍攝的圖像的特 征點的交集；或者，所述特征點匹配單元120還用于對所述深度獲取裝置拍攝的兩幅以上圖像分別與所述深度獲取裝置鄰近的攝像機拍攝的圖像進行匹配，所確定的可 匹配特征點是所述兩幅以上圖像分別與所述深度獲取裝置鄰近的攝像機拍攝 的圖像相匹配的特征點的并集。如圖11所示，本發(fā)明攝像機標定裝置實施例四可以對與深度獲取裝置非鄰近的攝像機進行標定，該裝置包括特征點檢測單元410、特征點匹配單元 420、特征點三維坐標獲取單元430和標定單元440:特征點檢測單元410，用于對深度獲取裝置鄰近的攝像機拍攝的圖像和 所述深度獲取裝置非鄰近的攝像機拍攝的圖像分別進行特征點檢測。特征點匹配單元420,用于將所述特征點檢測單元410檢測的深度獲取 裝置鄰近的攝像機拍攝的圖像和所述深度獲取裝置非鄰近的攝像機拍攝的圖 像特征點進行匹配，確定所述深度獲取裝置鄰近的攝像機拍攝的圖像和所述 深度獲取裝置非鄰近的攝像機拍攝的圖像之間的可匹配特征點。特征點三維坐標獲取單元430,用于根據(jù)預(yù)先確定的所述鄰近的攝像機 的參數(shù)，獲得所述特征點匹配單元420匹配的可匹配特征點的三維世界坐標。標定單元440，用于根據(jù)所述特征點三維坐標獲取單元430獲得的可匹 配特征點的三維世界坐標及所述可匹配特征點在所述深度獲取裝置非鄰近的 攝像機拍攝的圖像中的圖像坐標的對應(yīng)關(guān)系，獲得所述鄰近的攝像機的參數(shù)。在本實施例中，攝像機標定裝置還可以包括鄰近參數(shù)獲取單元450，用 于采用本發(fā)明攝像機的標定方法實施例 一至實施例六任一所述攝像機標定方 法獲得所述深度獲取裝置鄰近的攝像機的參數(shù)。綜上可以看出，本發(fā)明實施例中，主要通過深度獲取裝置獲得特征點的 三維世界坐標，并利用所述特征點的三維世界坐標及其在待標定的攝像機拍 攝的圖像中的圖像坐標的對應(yīng)關(guān)系，實現(xiàn)對待標定攝像機的標定，與現(xiàn)有技 術(shù)通過圖像間單應(yīng)性矩陣標定多攝像機的方案相比，由于不需要估計主從攝 像機間的單應(yīng)性矩陣，因此獲取的攝像機的參數(shù)比較穩(wěn)定而準確；且本發(fā)明能準確的獲得特征點的三維世界坐標，在標定時，標定物的移動可以不在固定的方向，提高了攝像機標定的可操作性；另外本發(fā)明的攝像機的標定方法可以對多臺鄰近攝像機采用相同的標定方法，簡化攝像機的標定過程。 以上對本發(fā)明實施例所提供的攝像機的標定方法與裝置進行了詳細介域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實施方式
及應(yīng)用范圍上均會 有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。
權(quán)利要求
1、一種攝像機的標定方法，其特征在于，包括對深度獲取裝置拍攝的圖像和所述深度獲取裝置鄰近的攝像機拍攝的圖像分別進行特征點檢測；將所述檢測的深度獲取裝置拍攝的圖像的特征點與所述深度獲取裝置鄰近的攝像機拍攝的圖像的特征點進行匹配，確定所述深度獲取裝置拍攝的圖像與所述深度獲取裝置鄰近的攝像機拍攝的圖像之間的可匹配特征點；基于所述深度獲取裝置，獲得所述可匹配特征點的三維世界坐標；根據(jù)所述可匹配特征點的三維世界坐標及所述可匹配特征點在所述深度獲取裝置鄰近的攝像機拍攝的圖像中的圖像坐標的對應(yīng)關(guān)系，確定所述深度獲取裝置鄰近的攝像機的參數(shù)。
2、 如權(quán)利要求l所述的方法，其特征在于，所述深度獲取裝置是由單臺 深度攝像機；或者是至少兩臺深度攝像機；或者是至少兩臺普通攝像機。
3、 如權(quán)利要求l所述的方法，其特征在于，若所述深度獲取裝置拍攝兩 幅以上圖像，將所述檢測的深度獲取裝置拍攝的圖像的特征點與所述深度獲 取裝置鄰近的攝像機拍攝的圖像的特征點進行匹配包括將所述深度獲取裝置拍攝的兩幅以上圖像的特征點與所述深度獲取裝置 鄰近的攝像機拍攝的圖像的特征點進行匹配，所確定的可匹配特征點是所述 深度獲取裝置拍攝的兩幅以上圖像與所述深度獲取裝置鄰近的攝像機拍^:的 圖像的特征點的交集；或者，對所述深度獲取裝置拍攝的兩幅以上圖像分別與所述深度獲取裝置鄰近 的攝像機拍攝的圖像進行匹配，所確定的可匹配特征點是所述深度獲取裝置 拍攝的兩幅以上圖像分別與所述深度獲取裝置鄰近的攝像機拍攝的圖像相匹 配的特征點的并集。
4、 如權(quán)利要求l所述的方法，其特征在于，基于所述深度獲取裝置，獲 得所述可匹配特征點的三維世界坐標包括根據(jù)雙目攝像機的至少兩組不同參數(shù)，以及所述可匹配特征點在所述雙 目攝像機拍攝的圖像中的圖像坐標，獲得所述可匹配特征點的三維世界坐標；所述深度獲取裝置拍攝的圖像具體是指從所述雙目攝像機在所述至少 兩組不同參數(shù)條件下，拍攝包含標定模板的場景所得到的至少兩組圖像中分別選取的至少兩幅圖像。
5、 如權(quán)利要求4所述的方法，其特征在于，所述雙目攝像機的至少兩組 不同參數(shù)是通過對雙目攝像機在至少兩組不同參數(shù)條件下，拍攝包含標定模板的場景所得到的至少兩組圖像并分別執(zhí)行如下步驟所獲得的檢測所述雙目攝像機在同一組參數(shù)條件下，拍攝包含標定模板的場景所得到的 一組圖像的棋盤格的非共面角點； 獲得所述角點的圖像坐標； 為所述角點確定三維世界坐標；根據(jù)所述角點的圖像坐標和三維世界坐標，對所述雙目攝像機進行標定， 確定所述雙目攝像機的參數(shù)。
6、 如權(quán)利要求4所述的方法，其特征在于，所述可匹配特征點在雙目攝 像機拍攝的圖像中的圖像坐標是經(jīng)過畸變消除處理的圖像坐標。
7、 一種攝像機的標定方法，其特征在于，包括對于單個深度獲取裝置在至少兩組不同參數(shù)條件下分別拍攝的圖像，分 別執(zhí)行如權(quán)利要求1至6任一項所述的方法，獲得鄰近的攝像機的至少兩組 參數(shù)；對所獲得的至少兩組參數(shù)進行加權(quán)平均，獲得所述鄰近的攝像機的參數(shù)。
8、 一種攝像機的標定方法，其特征在于，包括對于至少兩個深度獲取裝置分別拍攝的圖像，分別執(zhí)行如權(quán)利要求1至 6任一項所述的方法，獲得鄰近的攝像機的至少兩組參數(shù)；對所獲得的至少兩組參數(shù)進行加權(quán)平均，獲得所述鄰近的攝像機的參數(shù)。
9、 一種攝像機的標定方法，其特征在于，包括對深度獲取裝置鄰近的攝像機拍攝的圖像和所述深度獲取裝置非鄰近的 攝像機拍攝的圖像分別進行特征點檢測；將所述檢測的深度獲取裝置鄰近的攝像機拍攝的圖像和所述深度獲取裝 置非鄰近的攝像機拍攝的圖像特征點進行匹配，確定所述深度獲取裝置鄰近 的攝像機拍攝的圖像和所述深度獲取裝置非鄰近的攝像機拍攝的圖像之間的 可匹配特4iL點；根據(jù)預(yù)先確定的所述深度獲取裝置鄰近的攝像機的參數(shù)，獲得所述可匹配特征點的三維世界坐標；根據(jù)所述可匹配特征點的三維世界坐標及所述可匹配特征點在所述不鄰 近的攝像機拍攝的圖像中的圖像坐標的對應(yīng)關(guān)系，獲得所述深度獲取裝置非 鄰近的攝像機的參數(shù)。
10、 如權(quán)利要求9所述的攝像機的標定方法，其特征在于，所述深度獲 取裝置鄰近的攝像機的參數(shù)是采用如權(quán)利要求1至8任一項所述的方法獲得 的。
11、 一種攝像機標定裝置，其特征在于，包括特征點檢測單元，用于對深度獲取裝置拍攝的圖像和所述深度獲取裝置 鄰近的攝像機拍攝的圖像分別進行特征點檢測；特征點匹配單元，用于將所述特征點檢測單元檢測的深度獲取裝置拍攝 的圖像的特征點與所述深度獲取裝置鄰近的攝像機拍攝的圖像的特征點進行 匹配，確定所述深度獲取裝置拍攝的圖像與所述深度獲取裝置鄰近的攝像機 拍攝的圖像之間的可匹配特征點；特征點三維坐標獲取單元，用于基于所述深度獲取裝置，獲得所述可匹 配特征點的三維世界坐標；標定單元，用于根據(jù)所述可匹配特征點的三維世界坐標及所述可匹配特 征點在所述深度獲取裝置鄰近的攝像機拍攝的圖像中的圖像坐標的對應(yīng)關(guān) 系，獲得所述鄰近的攝像機的參數(shù)。
12、 如權(quán)利要求11所述的攝像機標定裝置，其特征在于，所述深度獲取 裝置是單臺深度攝像機；或者是至少兩臺深度攝像機；或者是至少兩臺普通 攝像機。
13、 如權(quán)利要求11所述的攝像機標定裝置，其特征在于，若所述特征點 檢測單元檢測的是所述深度獲取裝置拍攝的兩幅以上圖像的特征點，所述特 征點匹配單元用于將所述深度獲取裝置拍攝的兩幅以上圖像的特征點與所述 深度獲取裝置鄰近的攝像機拍攝的圖像的特征點進行匹配，所確定的可匹配 特征點是所述兩幅以上圖像與所述深度獲取裝置鄰近的攝像機拍攝的圖像的 特征點的交集；或者，所述特征點匹配單元用于對所述深度獲取裝置拍攝的兩幅以上圖像分別與所述深度獲取裝置鄰近的攝像機拍攝的圖像進行匹配，所確定的可匹配特 征點是所述兩幅以上圖像分別與所述深度獲取裝置鄰近的攝像機拍攝的圖像相匹配的特;f正點的并集。
14、 如權(quán)利要求11所述的攝像機標定裝置，其特征在于，所述深度獲取 裝置具體是雙目攝像機；所述特征點三維坐標獲取單元包括參數(shù)獲取單元，用于獲得雙目攝像機的至少兩組不同參數(shù)； 三維坐標獲取單元，用于根據(jù)所述參數(shù)獲取單元獲得的至少兩組不同參數(shù)，以及所述特征點匹配單元匹配得到的可匹配特征點在所述雙目攝像才幾拍攝的圖像中的圖像坐標，獲得所述可匹配特征點的三維世界坐標；所述深度獲取裝置拍攝的圖像具體是指從所述雙目攝像機在所述至少兩組不同參數(shù)條件下，拍攝包含標定模板的場景所得到的至少兩組圖像中分別選取的至少兩幅圖像。
15、 如權(quán)利要求14所述的攝像機標定裝置，其特征在于，所述參數(shù)獲取 單元具體包括角點檢測單元，用于檢測所述雙目攝像機在同一組參數(shù)條件下，拍攝包 含標定模板的場景所得到的 一組圖像的棋盤格的非共面角點；角點坐標獲取單元，用于獲得所述角點檢測單元檢測的角點的圖像坐標， 并為所述角點指定三維世界坐標；雙目攝像機參數(shù)獲取單元，用于根據(jù)所述角點坐標獲取單元獲取的角點 的圖像坐標和三維世界坐標，對所述雙目攝像機進行標定，確定所述雙目攝 像機的參數(shù)。
16、 一種攝像機標定裝置，其特征在于，包括特征點檢測單元，用于對深度獲取裝置鄰近的攝像機拍攝的圖像和所述 裝置非鄰近的攝像機拍攝的圖像分別進行特征點檢測；特征點匹配單元，用于將所述特征點檢測單元檢測的深度獲取裝置鄰近 的攝像機拍攝的圖像和所述深度獲取裝置非鄰近的攝像機拍攝的圖像特征點 進行匹配，確定所述深度獲取裝置鄰近的攝像機拍攝的圖像和所述深度獲取 裝置非鄰近的攝像機拍攝的圖像之間的可匹配特征點；特征點三維坐標獲取單元，用于根據(jù)預(yù)先確定的所述深度獲取裝置鄰近的攝像機的參數(shù)，獲得所述可匹配特征點的三維世界坐標；標定單元，用于根據(jù)所述可匹配特征點的三維世界坐標及所述可匹配特 征點在所述深度獲取裝置非鄰近的攝像機拍攝的圖像中的圖像坐標的對應(yīng)關(guān) 系，獲得所述鄰近的攝像機的參數(shù)。
17、如權(quán)利要求16所述的攝像機標定裝置，其特征在于，還包括鄰近 參數(shù)獲取單元，用于采用如權(quán)利要求1至8任一項所述的攝像機標定方法獲 得所述深度獲取裝置鄰近的攝像機的參數(shù)。
全文摘要
本發(fā)明提供攝像機的標定方法及攝像機標定裝置，應(yīng)用于圖像與視頻技術(shù)領(lǐng)域。本發(fā)明實施例中，主要通過深度獲取裝置獲得特征點的三維世界坐標，并利用所述特征點的三維世界坐標及其在待標定的攝像機拍攝的圖像中的圖像坐標的對應(yīng)關(guān)系，實現(xiàn)對待標定攝像機的標定，與現(xiàn)有技術(shù)通過圖像間單應(yīng)性矩陣標定多攝像機的方案相比，由于不需要估計主從攝像機間的單應(yīng)性矩陣，因此獲取的攝像機的參數(shù)比較穩(wěn)定而準確；且本發(fā)明能準確的獲得特征點的三維世界坐標，在標定時，標定物的移動可以不在固定的方向，提高了攝像機標定的可操作性；另外本發(fā)明的攝像機的標定方法可以對多臺鄰近攝像機采用相同的標定方法，簡化攝像機的標定過程。
文檔編號G06T7/00GK101630406SQ20081013073
公開日2010年1月20日 申請日期2008年7月14日 優(yōu)先權(quán)日2008年7月14日
發(fā)明者源 劉, 凱 李 申請人:深圳華為通信技術(shù)有限公司