專利名稱：多攝像機系統(tǒng)以及用于所述多攝像機系統(tǒng)的校準的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于多攝像機系統(tǒng)的校準的方法，所述多攝像機系統(tǒng)具有至少兩 個彼此間隔開的、具有電子圖像傳感器的攝像機，其中，使這些攝像機在校準時關(guān)于其光軸 彼此對齊，并且這些攝像機尤其用于提供三維的圖像信息，此外所述多攝像機系統(tǒng)優(yōu)選設(shè) 置在車輛上。本發(fā)明還涉及一種這樣的多攝像機系統(tǒng)。
背景技術(shù)：
在使用多攝像機系統(tǒng)、尤其是立體攝像機系統(tǒng)時，為了準確地獲得圖像信息需要 兩個攝像機的校準。在此區(qū)分內(nèi)部校準與外部校準，其中，通過外部校準考慮至少兩個攝像 機的對齊，尤其是它們彼此的相對位置。在現(xiàn)有技術(shù)中，為此通常將攝像機置于具有已知目 標(Target)的、定義的環(huán)境中，并且關(guān)于兩個攝像機圖像的匹配或者在考慮其基于所期望 的三維顯示偏差的圖像信息的情況下補償如此獲得的圖像信息，以及相應地調(diào)節(jié)這些攝像 機或者在其相對于至少一個另外的攝像機的機械位置方面調(diào)節(jié)這些攝像機中的至少一個 攝像機。在此，以定義的環(huán)境、即至少一個目標為先決條件。特別地，為此經(jīng)常需要將攝像 機系統(tǒng)置于定義的環(huán)境中，這與顯著的時間耗費和成本耗費聯(lián)系在一起。在制造這樣的多 攝像機系統(tǒng)中，進行相應的初始校準，其中，這尤其在供應時要求顯著的時間耗費和成本耗 費，并且以如下條件為前提遵守多攝像機系統(tǒng)的非常小的安裝公差，尤其是在用于車輛中 時。

發(fā)明內(nèi)容
本發(fā)明的任務(wù)在于，提供一種簡化地并且價格更低廉地校準多攝像機系統(tǒng)的方 法，所述方法尤其被如此設(shè)計，使得可以省去定義的環(huán)境和/或目標。尤其應當能夠?qū)崿F(xiàn)在 任意時刻的在線校準。為此，提出一種用于校準多攝像機系統(tǒng)的方法，所述多攝像機系統(tǒng)具有至少兩個 彼此間隔開的、具有電子圖像傳感器的攝像機，其中，使這些攝像機在校準時關(guān)于其光軸彼 此對齊并且這些攝像機尤其用于提供三維的圖像信息，并且此外所述多攝像機系統(tǒng)優(yōu)選設(shè) 置在車輛上。在此提出，這些攝像機彼此的位置、尤其是其光軸彼此的對齊在校準之前、期 間和之后保持不變，并且通過這些攝像機中的至少一個攝像機的圖像信息的電子處理進行 這些攝像機的校準。因此，與在現(xiàn)有技術(shù)中不同，為了多攝像機系統(tǒng)的校準，不改變至少一 個攝像機相對于其他攝像機中的至少一個攝像機的位置；尤其是不相對彼此改變這些攝像 機的光軸。更確切地說，通過電子處理修改這些攝像機中的至少一個攝像機的圖像信息，從 而進行這些攝像機的校準，即導致準確地獲得整個多攝像機系統(tǒng)的圖像信息。這尤其是通 過在計算單元中執(zhí)行的計算規(guī)則實現(xiàn)，其中，所述計算單元可以是所述多攝像機系統(tǒng)的組 成部分或者也可以設(shè)置在外部，例如設(shè)置在車輛計算機或車輛控制設(shè)備中。在一種方法構(gòu)型中提出，為了校準，這些攝像機中的至少一個攝像機的圖像 信息設(shè)有至少一個偏移(Offset)。在此，偏移是在垂直或水平方向上關(guān)于圖像信息在圖像傳感器上的位置的偏差，其中，所述偏移引起攝像機的圖像在偏移方向上的平移 (Verschiebung) 0在另一個方法構(gòu)型中，為了校準，使這些攝像機中的至少一個攝像機的圖像信息 圍繞至少一個已定義的軸翻轉(zhuǎn)(kippen)。這意味著，使通過圖像信息獲得的圖像置于關(guān) 于如由圖像傳感器獲得的圖像的原始位置發(fā)生改變的、尤其是發(fā)生翻轉(zhuǎn)的相對位置中。因 此在實施所述步驟之后，所述圖像具有相對于由攝像機的傳感器原始獲得的圖像發(fā)生改變 的、即發(fā)生翻轉(zhuǎn)的位置。在另一個方法構(gòu)型中，為了校準，使這些攝像機中的至少一個攝像機的圖像信息 圍繞至少一個已定義的軸傾斜(neigen)。這意味著，與翻轉(zhuǎn)類似，使如由攝像機的圖像傳感 器獲得的圖像尤其是圍繞光軸傾斜(旋轉(zhuǎn))一個確定的角度。優(yōu)選地，為了校準，使用由至少一個攝像機提供的圖像的部分圖像。使用部分圖像 允許大距離地應用X偏移和Y偏移以及翻轉(zhuǎn)和傾斜(旋轉(zhuǎn))的，而邊緣上的圖像信息不會 丟失。優(yōu)選地，為了校準，使用視差表(Disparitats-Tabelle)。視差表記錄攝像機圖像
在二維場上找到的對應性。這意味著，記錄存在多少各個攝像機的圖像/圖像信息的匹配 (Obereinstimmung)并且將這些匹配按照數(shù)目記錄在視差表中。特別優(yōu)選地，視差表相對于垂直偏移(Y偏移)示出奇數(shù)個列。因此例如在第一 列中記錄攝像機的圖像或部分圖像的Y偏移，所述攝像機的圖像信息為了校準被電子地改 變。在其他列中，即在奇數(shù)個其他列中示出如此比較的圖像或部分圖像的匹配，從而對于 每個偏移和每一列而言得到確定數(shù)目的圖像匹配。例如，偏移列可以看上去設(shè)有_2、-1、0、 +1、+2的偏移，并且隨后設(shè)有關(guān)于圖像信息的五列。那么，在每一列中針對每個偏移(如從 第一列中可見)得到確定數(shù)目的圖像匹配。特別優(yōu)選地，通過分別以另一 Y偏移和/或另一翻轉(zhuǎn)和/或另一傾斜重復地遍歷 視差表來進行校準。因此，以另一偏移重新遍歷所述視差表，其中，存在這些攝像機中的至 少一個攝像機的圖像或部分圖像的另一翻轉(zhuǎn)和/或另一傾斜。在一個特別優(yōu)選的方法構(gòu)型中，根據(jù)在視差表中示出的對應性(圖像匹配)的最 大值進行圖像/部分圖像之一的Y偏移和/或翻轉(zhuǎn)和/或傾斜。這意味著，選擇在哪一列 和哪個偏移處存在圖像匹配的最大值。在此，迭代地實施所述方法，使得例如在偏移0處 在列3中找到匹配的最大值。在偏移-1處在列4中并且在偏移-2處在列5中找到匹配 的最大值。相應地，在偏移+1處在列2中并且在偏移+2處在列1中找到最大值。由此得 出，多攝像機系統(tǒng)的待校準的攝像機的圖像必須經(jīng)歷相對于其光軸的傾斜，因此應用“傾斜 (Tilt) ”，即所述圖像的電子旋轉(zhuǎn)。然后，重新遍歷偏移調(diào)整，以便確定是否需要另一傾斜， 或者是否已經(jīng)找到最優(yōu)的匹配。在一個方法構(gòu)型中，總是校準兩個攝像機中右邊的攝像機。 這允許通過簡單的計算實現(xiàn)給定的、標準化的處理方式。當然，校準左邊的攝像機也是可能 的，這僅僅取決于始終相同地實施所述方法；應用于一個攝像機是足夠的。此外，提出一種尤其用于如以上所描述的那樣實施所述方法的多攝像機系統(tǒng)，具 有至少兩個彼此間隔開的、具有電子圖像傳感器的攝像機。在此提出，所述多攝像機系統(tǒng)為 了攝像機關(guān)于其光軸彼此校準而具有計算單元。在現(xiàn)有技術(shù)中，多攝像機系統(tǒng)的攝像機的 校準是借助于這些攝像機中的至少一個攝像機相對于各個其他攝像機的機械調(diào)整進行的。相反，在此提出的多攝像機系統(tǒng)中提出，校準不是通過機械調(diào)整而是通過計算單元進行。在 此，計算單元處理由多攝像機系統(tǒng)的攝像機獲得的圖像信息。此外優(yōu)選地提出，攝像機的光軸和/或機械布置彼此間在校準之前、期間和之后 是不變的。純計算地、在不存在攝像機相對彼此的任何改變的情況下校準所述多攝像機系 統(tǒng)。這意味著，對于校準而言完全不需要如現(xiàn)有技術(shù)中為了校準所需的(即對于多攝像機 系統(tǒng)的攝像機中的至少一個攝像機而言)機械調(diào)節(jié)裝置，尤其是3D傾斜器。由從屬權(quán)利要求及其組合得出其他有利的實施方式。


以下根據(jù)實施例來詳細地描述本發(fā)明，但本發(fā)明并不限于此。附圖示出圖1 具有兩個攝像機的多攝像機系統(tǒng)(立體攝像機系統(tǒng))的示意圖；以及圖2 用于所述多攝像機系統(tǒng)的校準的視差表。
具體實施例方式圖1示意性地示出車輛3、即機動車4上的多攝像機系統(tǒng)1、即立體攝像機系統(tǒng)2。 多攝像機系統(tǒng)1具有兩個攝像機5，所述兩個攝像機以間距d彼此間隔開地設(shè)置并且分別 具有光軸6，所述光軸6沿著設(shè)置在攝像機5中的電子圖像傳感器7的檢測方向并且垂直 于所述電子圖像傳感器7地延伸。攝像機5通過合適的電子連接(此處未示出)與計算單 元8連接，所述計算單元分析并且進一步處理由攝像機5獲得的圖像信息，尤其是以便校準 多攝像機系統(tǒng)1。多攝像機系統(tǒng)1的兩個攝像機5的光軸6在此彼此具有定向9。在子圖 1. 1中示出了具有圖像區(qū)10的電子圖像傳感器7，所述圖像區(qū)10對應于由圖像傳感器7獲 得的圖像11。在所述圖像11中，僅僅部分圖像12用于通過在圖1示出的計算單元8進一 步處理在部分圖像12中存在的圖像信息13。在多攝像機系統(tǒng)1的校準的過程中，例如圍繞 圖像傳感器7的光軸6旋轉(zhuǎn)部分圖像12，從而得到經(jīng)旋轉(zhuǎn)的部分圖像14。此外可以在X方 向和Y方向上平移部分圖像12，從而得到相對于部分圖像12的初始位置的偏移。電子地、 例如通過圖像傳感器7的其他的行和列的選擇進行旋轉(zhuǎn)和平移。(由圖2.1和圖2. 2構(gòu)成的)圖2示例性地示出根據(jù)視差表15對圖1中描述的多 攝像機系統(tǒng)1進行電子校準的方法流程，其中，光軸6彼此的相對位置(尤其是其定向9) 以及攝像機5彼此的位置保持不變。所述視差表15具有四個列16，其中，在第一列16. 1中 記錄了部分圖像12相對于圖像傳感器7的圖像11 (或者圖像區(qū)10)的垂直偏移(Y偏移)， 而在其他三列16. 2、16. 3和16. 4中記錄了兩個攝像機5的部分圖像12的所找到的對應性 (圖像匹配)；因此，為了校準而進行兩個攝像機5的部分圖像12的比較，其中檢驗兩個 攝像機的兩個部分圖像12的匹配的數(shù)目分別是多少。通過這些匹配可以為了運行多攝像 機系統(tǒng)1而評價兩個攝像機5彼此的對齊和相對位置。為此，在圖像區(qū)10內(nèi)以所示的Y偏 移平移兩個部分圖像12中的一個，即攝像機5中的一個、例如右邊的攝像機5的部分圖像； 相反，不改變另一個攝像機的部分圖像12。在此，每個攝像機5的部分圖像12被劃分成三 個垂直區(qū)段，在圖像匹配(對應性)方面檢查所述三個垂直區(qū)段；三個垂直區(qū)段中的每一個 垂直區(qū)段對應于視差表15的列16. 2、16. 3或16. 4中的一列。在當前示例中，分別對于兩個攝像機的部分圖像12的三個垂直區(qū)段分別對于7個不同的偏移檢查匹配。在此構(gòu)成塊 17。在第一塊17. 1中記錄了偏移+29到+35。在列16. 2到16. 4中示出的數(shù)值示例性地代 表在部分圖像12的相應垂直區(qū)段中找到的兩個部分圖像12的匹配。因此在列16. 2中對 于第一垂直區(qū)段在偏移+34處關(guān)于6585個點得到匹配，在列16. 3中對于第二垂直區(qū)段在Y 偏移+33處關(guān)于6780個點得到匹配，并且在列16. 4中對于第三垂直區(qū)段在Y偏移+31處 得到6905個點的匹配。現(xiàn)在討論中間的垂直區(qū)段，其在列16. 3中示出。在此，如上所述， 在Y偏移+33處得到6780個點的最大匹配。因此，在校準的下一步驟中使用的、新的Y偏 移是+33。在第二塊17. 2中，新的Y偏移+33位于偏移序列的中間，從而得到Y(jié)偏移+30到 +36，其中，+33位于中間。在第一垂直區(qū)段(列16.2)中對于Y偏移+34得到6564個點的 匹配，在第三列16. 3中對于第二垂直區(qū)段在Y偏移+33處得到6714個點的匹配，并且在第 四列16. 4中對于第三垂直區(qū)段在Y偏移+31處得到6923個點的匹配。由此得出因為圖 像匹配的最大數(shù)目現(xiàn)在位于中間——即在Y偏移+33處并且在第二垂直部分中，具有6714 個對應性，所以由此得出必須使部分圖像12相對于圖像區(qū)傾斜。因此，對部分圖像12應用 傾斜，即圍繞光軸6 (參加圖1. 1)略微旋轉(zhuǎn)部分圖像12?，F(xiàn)在，遍歷其他的塊17. 3到17. 7， 直到在塊17. 7中確定在Y偏移+34處在列16. 2到16. 4中對于部分圖像12的三個垂直 區(qū)段所有圖像匹配的最大數(shù)目位于所述的Y偏移+34處，即都在一個Y位置上。然而具有 Y偏移+34的所述Y位置不在塊17. 7的中間；在步驟17. 8中使偏移+34在垂直定向上位 于中心，從而既在垂直定向上也在水平定向上找到最大可能的匹配。在此，多攝像機系統(tǒng)1 的校準通過由攝像機5獲得的圖像信息的純電子處理完成——即平移部分圖像12以及圍 繞光軸6旋轉(zhuǎn)部分圖像12，而不必改變攝像機5彼此的相對位置并且尤其是不必(在其定 向9上)改變它們光軸6彼此的相對位置。這尤其允許攝像機系統(tǒng)1的快速的在線校準和 重新校準，并且不再需要還易受各種類型的機械影響的高成本的機械構(gòu)造。在所述計算單 元8中建立和管理上述視差表15 ；計算單元8負責所獲得的圖像信息13的相應處理。
權(quán)利要求
1.用于一多攝像機系統(tǒng)的校準的方法，所述多攝像機系統(tǒng)具有至少兩個彼此間隔開 的、具有電子圖像傳感器的攝像機，其中，使所述攝像機在校準時關(guān)于其光軸彼此對齊，并 且所述攝像機尤其用于提供三維的圖像信息，并且此外所述多攝像機系統(tǒng)優(yōu)選設(shè)置在車輛 上，其特征在于，在所述校準之前、期間和之后，所述攝像機彼此的位置，尤其是其光軸彼此的對齊保持 不變，并且通過所述攝像機中的至少一個攝像機的圖像信息的電子處理進行所述攝像機的校準。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，為了所述校準，所述攝像機中的至少一個 攝像機的圖像信息設(shè)有至少一個偏移。
3.根據(jù)以上權(quán)利要求中任一項所述的方法，其特征在于，為了所述校準，使所述攝像機 中的至少一個攝像機的圖像信息圍繞至少一個已定義的軸翻轉(zhuǎn)。
4.根據(jù)以上權(quán)利要求中任一項所述的方法，其特征在于，為了所述校準，使所述攝像機 中的至少一個攝像機的圖像信息圍繞至少一個已定義的軸傾斜。
5.根據(jù)以上權(quán)利要求中任一項所述的方法，其特征在于，為了所述校準，使用由所述至 少一個攝像機提供的圖像的一個部分圖像。
6.根據(jù)以上權(quán)利要求中任一項所述的方法，其特征在于，為了所述校準，使用一視差表。
7.根據(jù)以上權(quán)利要求中任一項所述的方法，其特征在于，所述視差表表示相對于垂直 偏移(Y偏移)和/或其他翻轉(zhuǎn)和/或傾斜的奇數(shù)個列。
8.根據(jù)以上權(quán)利要求中任一項所述的方法，其特征在于，通過分別以另一Y偏移重復 地遍歷所述視差表來進行所述校準。
9.根據(jù)以上權(quán)利要求中任一項所述的方法，其特征在于，在進行所述校準時，根據(jù)所述 視差表中表示的對應性(圖像匹配)的最大值進行所述攝像機中的至少一個攝像機的圖像 和/或部分圖像中的一個的Y偏移和/或翻轉(zhuǎn)和/或傾斜。
10.根據(jù)以上權(quán)利要求中任一項所述的方法，其特征在于，校準兩個攝像機中右邊的攝 像機。
11.多攝像機系統(tǒng)，具有至少兩個彼此間隔開的、具有電子圖像傳感器的攝像機，尤其 用于實施根據(jù)以上權(quán)利要求中的一項或多項所述的方法，其特征在于，所述多攝像機系統(tǒng) (1)為了所述攝像機(5)的光軸(6)的彼此校準具有一計算單元(8)。
12.根據(jù)權(quán)利要求11所述的多攝像機系統(tǒng)，其特征在于，所述攝像機( 的光軸(6)和 /或機械布置彼此間在所述校準之前、期間和之后是不變的。
全文摘要
本發(fā)明涉及一種用于多攝像機系統(tǒng)的校準的方法，所述多攝像機系統(tǒng)具有至少兩個彼此間隔開的、具有電子圖像傳感器的攝像機，其中，使所述攝像機在校準時關(guān)于其光軸彼此對齊，并且所述攝像機尤其用于提供三維的圖像信息，并且此外所述多攝像機系統(tǒng)優(yōu)選設(shè)置在車輛上。提出在所述校準之前、期間和之后，所述攝像機彼此的位置，尤其是其光軸彼此的對齊保持不變，并且通過所述攝像機中的至少一個攝像機的圖像信息的電子處理進行所述攝像機的校準。此外，本發(fā)明還涉及一種多攝像機系統(tǒng)(1)。
文檔編號G01C25/00GK102119317SQ200980130988
公開日2011年7月6日 申請日期2009年7月17日 優(yōu)先權(quán)日2008年8月5日
發(fā)明者F·施泰因, R·倫德爾, T·斯頓伯 申請人:羅伯特·博世有限公司