專利名稱：用于照相機(jī)系統(tǒng)的圖像校正方法
技術(shù)領(lǐng)域：
本發(fā)明總的來(lái)說(shuō)涉及一種用于照相機(jī)系統(tǒng)的圖像校正方法，其能夠校正照相機(jī)因未以預(yù)期姿勢(shì)被正確定位到目標(biāo)位置而引起的照相機(jī)安裝誤差。
背景技術(shù)：
在照相機(jī)系統(tǒng)中，特別是使用一臺(tái)或多臺(tái)照相機(jī)來(lái)產(chǎn)生全景影像的照相機(jī)系統(tǒng)中，照相機(jī)或多臺(tái)照相機(jī)的安裝誤差將引起全景影像的缺陷，例如各照相機(jī)所捕獲的圖像未對(duì)準(zhǔn)(misalignment)。在一些車輛中，安裝這種照相機(jī)系統(tǒng)以產(chǎn)生全景影像。這種照相機(jī)系統(tǒng)的一個(gè)例子是全景式監(jiān)控影像(Around View Monitor, AVM)系統(tǒng)。典型地，假設(shè)照相機(jī)將以預(yù)定位置和預(yù)定姿勢(shì)(以下簡(jiǎn)稱為“預(yù)定位置”)精確布置來(lái)調(diào)整AVM系統(tǒng)。在經(jīng)過(guò)車輛的大規(guī)模生產(chǎn)線之后，這種調(diào)整狀態(tài)不能保持其原有品質(zhì)。這是因?yàn)樵谡障鄼C(jī)被安裝到車輛時(shí)，安裝誤差會(huì)超出公差。圖1示出由于照相機(jī)的安裝誤差而在AVM系統(tǒng)中的全景影像產(chǎn)生缺陷的例子。這種AVM系統(tǒng)產(chǎn)生包括由安裝在車輛的前、后、左和右側(cè)的四臺(tái)照相機(jī)捕獲的四張圖像的全景影像6。由于安裝誤差，每臺(tái)照相機(jī)的光軸偏離了它們的預(yù)定位置，因而在各照相機(jī)所捕獲圖像之間產(chǎn)生未對(duì)準(zhǔn)部分2。為消除上述缺陷已提出許多方法。其中一種方法是基于軟件來(lái)消除缺陷，如美國(guó)專利申請(qǐng)公開號(hào)2009/0010630公開的。參考圖2和圖3簡(jiǎn)單地描述這種方法。如圖2所示，在車輛的大規(guī)模生產(chǎn)線中，在車輛1的前、后、左和右側(cè)裝備有用于 AVM系統(tǒng)的四臺(tái)照相機(jī)，車輛1位于校準(zhǔn)區(qū)域3中，在該校準(zhǔn)區(qū)域3中，在參考地面4上畫有四個(gè)“ + ”形狀的地面標(biāo)記5。AVM系統(tǒng)將各臺(tái)照相機(jī)捕獲的圖像相互匹配，然后將來(lái)自各照相機(jī)的圖像或合成的全景影像6輸出給屏幕。四個(gè)地面標(biāo)記5被布置在當(dāng)四臺(tái)照相機(jī)被精確安裝到預(yù)定位置時(shí)與每臺(tái)照相機(jī)的光軸相對(duì)應(yīng)的位置上。例如，當(dāng)將前側(cè)照相機(jī)從其預(yù)定位置移動(dòng)到右側(cè)并由于安裝誤差而順時(shí)針偏移時(shí)，由前側(cè)照相機(jī)捕獲到的圖像也以與前側(cè)照相機(jī)同樣的方式偏移，如圖3 所示。在圖3中，屏幕上顯示由前側(cè)照相機(jī)所捕獲的地面標(biāo)記即捕獲標(biāo)記7向右偏移。根據(jù)上述參考，照相機(jī)安裝誤差所致缺陷的校正以此方式進(jìn)行，即測(cè)量光軸的水平誤差(ΔΧ)、垂直誤差(ΔΥ)和回轉(zhuǎn)誤差(Δ θ )，校正光軸的垂直誤差和水平誤差，以及校正光軸的回轉(zhuǎn)誤差。在此，特別地，通過(guò)從多個(gè)預(yù)先設(shè)置的取決于光軸各回轉(zhuǎn)誤差的映射表中選擇最適用于校正所測(cè)量的回轉(zhuǎn)誤差(△ Θ)的映射表來(lái)執(zhí)行回轉(zhuǎn)誤差的校正。然而，這種方法需要對(duì)應(yīng)于如上所述各種情形的多個(gè)映射表。因此，AVM系統(tǒng)必需存儲(chǔ)的數(shù)據(jù)量可能過(guò)大。本發(fā)明背景技術(shù)部分公開的信息僅用于加強(qiáng)對(duì)本發(fā)明一般背景技術(shù)的理解，因此，可能包含不構(gòu)成對(duì)本國(guó)本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

發(fā)明內(nèi)容
因此，考慮到現(xiàn)有技術(shù)的上述問(wèn)題做出本發(fā)明，本發(fā)明的目的在于提供一種用于照相機(jī)系統(tǒng)的圖像校正方法，其能夠最大程度地減少照相機(jī)系統(tǒng)必須存儲(chǔ)的數(shù)據(jù)量并能夠方便地校正照相機(jī)的安裝誤差。為達(dá)到上述目的，本發(fā)明提供一種用于照相機(jī)系統(tǒng)的圖像校正方法，包括a)獲取與通過(guò)照相機(jī)捕獲并且其上標(biāo)示至少一個(gè)地面標(biāo)記的參考地面有關(guān)的圖像數(shù)據(jù)；b)基于在a)中獲取的圖像數(shù)據(jù)，得到捕獲的地面標(biāo)記的坐標(biāo)；以及c)利用在b)中得到的所捕獲的地面標(biāo)記的坐標(biāo)與預(yù)設(shè)的參考標(biāo)記的坐標(biāo)之間的誤差，來(lái)校正預(yù)設(shè)的查閱表(Look-Up Table, LUT)。優(yōu)選地，地面標(biāo)記和參考標(biāo)記可以分別具有四個(gè)或者更多對(duì)應(yīng)的校正點(diǎn)。優(yōu)選地，地面標(biāo)記和參考標(biāo)記可以分別具有被布置成與正方形或長(zhǎng)方形的頂點(diǎn)相對(duì)應(yīng)的四個(gè)校正點(diǎn)。優(yōu)選地，所捕獲的地面標(biāo)記和參考標(biāo)記可一同被顯示在屏幕上，并且所捕獲的地面標(biāo)記的校正點(diǎn)坐標(biāo)的相關(guān)信息可以通過(guò)外部輸入得到。優(yōu)選地，地面標(biāo)記的校正點(diǎn)可被顯示為具有預(yù)定半徑的圓。應(yīng)當(dāng)理解本文使用的術(shù)語(yǔ)“車輛”或“車輛的”或其它類似的術(shù)語(yǔ)包括，諸如包括運(yùn)動(dòng)用途車輛(SUV)、公共汽車、卡車、各種商用車輛的載客汽車的機(jī)動(dòng)車輛；包括各種船和艇的水運(yùn)工具；航行器等，并且包括混合動(dòng)力車輛、電動(dòng)車輛、插入式混合電動(dòng)車輛、氫動(dòng)力車輛和其它可選的燃料車輛(例如從除了石油以外的資源中獲得的燃料)。如本文所提及的，混合動(dòng)力車是指具有兩種或者多種動(dòng)力源的車輛，例如既有汽油動(dòng)力又有電動(dòng)力的車輛。


通過(guò)下面的詳細(xì)描述并結(jié)合附圖，本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)將會(huì)更加易于理解，其中圖1是示出因照相機(jī)安裝誤差所致的全景影像缺陷的一個(gè)例子的圖示；圖2是示出測(cè)量照相機(jī)安裝誤差的常規(guī)方法的圖示；圖3是示出圖2所示的車輛的全景影像一個(gè)例子的圖示，其中示出因照相機(jī)安裝誤差而在屏幕上出現(xiàn)失衡；圖4是示出根據(jù)本發(fā)明一個(gè)實(shí)施方式的由照相機(jī)系統(tǒng)進(jìn)行圖像校正的流程圖；圖5是示出根據(jù)本發(fā)明一個(gè)實(shí)施方式的用于測(cè)量照相機(jī)安裝誤差的方法的圖示；圖6是示出根據(jù)本發(fā)明另一個(gè)實(shí)施方式的用于測(cè)量照相機(jī)安裝誤差的方法的圖示；圖7是示出照相機(jī)的地面凝視角的圖示；圖8A和8B是示出取決于照相機(jī)地面凝視角的圖像失真度的圖示，其中θ 1 < θ 2 ；圖9是示出圖6的全景影像一個(gè)例子的圖示；圖10是示出由圖6所示由前側(cè)照相機(jī)所捕獲的前側(cè)圖像的圖示；圖11是示出根據(jù)本發(fā)明一個(gè)實(shí)施方式的照相機(jī)安裝誤差的校正范圍的圖示。
具體實(shí)施例方式下面參考附圖詳細(xì)描述根據(jù)本發(fā)明的用于照相機(jī)系統(tǒng)的圖像校正方法的實(shí)施方式。圖4示出根據(jù)本發(fā)明的照相機(jī)系統(tǒng)和圖像校正方法。該照相機(jī)系統(tǒng)包括照相機(jī)單元10，控制單元11，以及屏幕12。照相機(jī)單元10能夠通過(guò)能提供全景影像的任何類型的照相機(jī)(例如廣角照相機(jī))來(lái)實(shí)現(xiàn)。照相機(jī)單元10可以包括安裝在車輛前側(cè)、后側(cè)、左側(cè)和右側(cè)的四臺(tái)照相機(jī)。當(dāng)從四臺(tái)照相機(jī)接收原始圖像信號(hào)數(shù)據(jù)時(shí)，控制單元11校正由各臺(tái)照相機(jī)10捕獲的圖像的失真，從失真的圖像生成平面圖像，將生成的平面圖像相互匹配，以及將匹配好的圖像輸出給屏幕12。顯然，不僅各個(gè)平面圖像，由平面圖像相互結(jié)合在一起的全景圖像也能夠被輸出給屏幕12。根據(jù)本實(shí)施方式的圖像校正方法的一個(gè)特征在于當(dāng)存在照相機(jī)的安裝誤差時(shí)，使用新的查閱表替換預(yù)設(shè)的查閱表(LUT)或者對(duì)預(yù)設(shè)的查閱表進(jìn)行更新，以便將每臺(tái)照相機(jī)得到的原始圖像的三維坐標(biāo)轉(zhuǎn)換為二維坐標(biāo)，即以便校正來(lái)自由各照相機(jī)得到的原始圖像的失真，并將平面圖像輸出到屏幕12。換言之，控制單元11計(jì)算取決于每個(gè)光軸的移動(dòng)和轉(zhuǎn)動(dòng)量的校正量，并且隨后產(chǎn)生新的存儲(chǔ)在控制單元11中的照相機(jī)10的光軸檢測(cè)值。在一些常規(guī)系統(tǒng)中，從多個(gè)預(yù)設(shè)映射表中選擇任何單個(gè)的適宜的映射表，并且基于所選擇的映射表校正照相機(jī)的安裝誤差。在此情況下，由于預(yù)設(shè)了可能的單元校正量，因而對(duì)照相機(jī)安裝誤差的校正是不精確的，并且不必要地存儲(chǔ)了大量數(shù)據(jù)。為了簡(jiǎn)單，假定盡管所需的誤差校正是2°，但使用預(yù)設(shè)的映射表，必須無(wú)法避免地以每次5°地進(jìn)行校正 (即，使用映射表的單元校正量是5°的情況)。在此情況下，存在誤差校正不精確和必須不必要地存儲(chǔ)多個(gè)映射表的問(wèn)題。如下面詳述的，本發(fā)明并不存在這些問(wèn)題。下面參考圖4-11詳細(xì)描述根據(jù)本發(fā)明一個(gè)實(shí)施方式的圖像校正方法。首先，參考圖5-9具體描述用于測(cè)量照相機(jī)的安裝誤差的步驟。參考圖5，在大規(guī)模生產(chǎn)線中嶄新地裝備有四臺(tái)照相機(jī)10的車輛13被放置在校準(zhǔn)區(qū)域20中。在與長(zhǎng)方形四個(gè)頂點(diǎn)位置相對(duì)應(yīng)的點(diǎn)上放置而形成的地面標(biāo)記22(下文中稱作“校正點(diǎn)”)被畫在校準(zhǔn)區(qū)域20的參考地面21上。在車輛的前側(cè)、后側(cè)、左側(cè)和右側(cè)方向上布置四組地面標(biāo)記22以便與四臺(tái)照相機(jī)10相對(duì)應(yīng)。附圖標(biāo)記14表示停車線。根據(jù)另一個(gè)實(shí)施方式，如圖6所示，還可以使用均具有頂點(diǎn)和線條的長(zhǎng)方形地面標(biāo)記23。這些地面標(biāo)記23與如圖5所示的地面標(biāo)記22基本相同，與地面標(biāo)記22相比，每個(gè)地面標(biāo)記23具有四個(gè)校正點(diǎn)。即，每個(gè)長(zhǎng)方形地面標(biāo)記23的各個(gè)頂點(diǎn)對(duì)應(yīng)于四個(gè)校正點(diǎn)ο使用四個(gè)校正點(diǎn)來(lái)校正照相機(jī)安裝誤差的原因之一是必須考慮圖像轉(zhuǎn)換所需的時(shí)間和數(shù)據(jù)量。隨著校正點(diǎn)數(shù)量的增加，失真校正的程度提高。然而，隨著校正點(diǎn)數(shù)量的增加，圖像校正所需的空間變大，所需的時(shí)間也增加。因此需要選取優(yōu)化的用于圖像校正的校正點(diǎn)的數(shù)量。根據(jù)本實(shí)施方式，需要四個(gè)或更多的校正點(diǎn)，優(yōu)選地為四個(gè)校正點(diǎn)。參考圖7，使用四個(gè)或更多校正點(diǎn)的另一原因是對(duì)應(yīng)每個(gè)照相機(jī)的光軸相對(duì)于地面的斜度的每個(gè)照相機(jī)的地面凝視角θ。作為一個(gè)例子，如圖8Α和8Β所示，當(dāng)在地面凝視角Θ1< θ 2的情況下，地面凝視角θ 1的失真度大于地面凝視角θ 2的失真度。為了校正取決于這種地面凝視角的失真，需要布置與正方形或長(zhǎng)方形的頂點(diǎn)相對(duì)應(yīng)的四個(gè)或更多校正點(diǎn)，優(yōu)選地四個(gè)校正點(diǎn)。同時(shí)，根據(jù)本實(shí)施方式，通過(guò)透視變換來(lái)執(zhí)行照相機(jī)圖像的處理。在下文中，為方便描述，將詳細(xì)描述使用圖6的長(zhǎng)方形地面標(biāo)記23的圖像校正方法。參考圖4和圖9，當(dāng)設(shè)有照相機(jī)的車輛被定位在校準(zhǔn)區(qū)域20的適當(dāng)位置時(shí)，鑒別人(evaluator)開啟照相機(jī)系統(tǒng)。當(dāng)照相機(jī)系統(tǒng)被開啟時(shí)，原始圖像信號(hào)數(shù)據(jù)從照相機(jī)轉(zhuǎn)移到控制單元11?？刂茊卧?1通過(guò)原始圖像信號(hào)數(shù)據(jù)校正圖像失真，使用預(yù)設(shè)的查閱表將由各照相機(jī)捕獲的圖像相互匹配，然后將所需的捕獲圖像30輸出到屏幕12。所捕獲的圖像包括通過(guò)捕獲地面標(biāo)記23得到的捕獲標(biāo)記31和預(yù)設(shè)并顯示在屏幕 12上的參考標(biāo)記32這二者。將這些參考標(biāo)記32預(yù)設(shè)成與在照相機(jī)被正常調(diào)整的情況下所捕獲的標(biāo)記相對(duì)應(yīng)。當(dāng)照相機(jī)以正確的姿勢(shì)被正常定位到其設(shè)計(jì)位置上時(shí)，捕獲標(biāo)記31與參考標(biāo)記 32精確對(duì)準(zhǔn)。然而，當(dāng)由于照相機(jī)的安裝誤差而導(dǎo)致照相機(jī)的光軸偏移其預(yù)定位置時(shí)，捕獲標(biāo)記31不能與參考標(biāo)記32精確對(duì)準(zhǔn)，如圖9所示。接著，參考圖4-10詳細(xì)描述校正前側(cè)照相機(jī)的安裝誤差的過(guò)程。如圖4-10所示，當(dāng)在由前側(cè)照相機(jī)捕獲的圖像中，在捕獲標(biāo)記31和參考標(biāo)記32 之間未對(duì)準(zhǔn)時(shí)，如果鑒別人接觸四個(gè)校正點(diǎn)，則捕獲標(biāo)記31的四個(gè)校正點(diǎn)中每一個(gè)的坐標(biāo)被傳送到控制單元11?？刂茊卧?1利用這些坐標(biāo)來(lái)校正未對(duì)準(zhǔn)，并將校正后的圖像輸出到屏幕12。在這種情況下，屏幕12可由觸摸屏幕來(lái)實(shí)現(xiàn)。利用新的查閱表替代預(yù)先存儲(chǔ)在控制單元11中的查閱表來(lái)執(zhí)行校正圖像的生成。這種替代能夠基于捕獲標(biāo)記31的校正點(diǎn)的坐標(biāo)和參考標(biāo)記32的校正點(diǎn)的坐標(biāo)，通過(guò)計(jì)算取決于照相機(jī)的轉(zhuǎn)動(dòng)和移動(dòng)的校正量來(lái)實(shí)現(xiàn)。可以使用最初設(shè)置用于這種計(jì)算的查閱表時(shí)所使用的兩種公式，和各種其它公式。將參考圖11描述根據(jù)本實(shí)施方式的照相機(jī)安裝誤差的最大校正范圍。由于根據(jù)本發(fā)明的用于照相機(jī)系統(tǒng)的圖像校正方法基于軟件來(lái)校正照相機(jī)的安裝誤差，因而存在這種校正范圍的限制。當(dāng)照相機(jī)的安裝誤差大于這種限制時(shí)，優(yōu)選地是物理地調(diào)整照相機(jī)的位置和/或姿勢(shì)。根據(jù)本發(fā)明的一個(gè)實(shí)施方式，照相機(jī)系統(tǒng)被配置成以便能夠在屏幕12上核對(duì)最大誤差校正范圍。如圖11中，捕獲標(biāo)記31的校正點(diǎn)PT1’，PT2’，PT3’和PT4’ (即地面標(biāo)記的校正點(diǎn))以具有預(yù)定半徑的圓被顯示在照相機(jī)系統(tǒng)的屏幕12上，而參考標(biāo)記32的校正點(diǎn)PT1， PT2，PT3和PT4被顯示為小于圓33的點(diǎn)。當(dāng)參考標(biāo)記32的校正點(diǎn)PT1，PT2，PT3和ΡΤ4分別呈現(xiàn)在圓33內(nèi)與之對(duì)應(yīng)的位置時(shí)，基于軟件的誤差校正的可靠性高；否則則需要物理地校正誤差。圓33表示照相機(jī)安裝誤差的最大可靠的校正范圍。與上述實(shí)施方式不同，參考標(biāo)記32的校正點(diǎn)ΡΤ1，ΡΤ2，ΡΤ3和ΡΤ4可被顯示為具有預(yù)定半徑的圓，而捕獲標(biāo)記31的校正點(diǎn)PT1，，PT2，，PT3，和ΡΤ4’可被顯示為點(diǎn)。如上所述，每個(gè)地面標(biāo)記22或23的各個(gè)校正點(diǎn)被顯示為具有預(yù)定半徑的圓，使得鑒別人能夠人為地核對(duì)基于軟件的誤差校正的限制，因而不但提高便利性還保證校正照相機(jī)的安裝誤差的可靠性。根據(jù)上述用于照相機(jī)系統(tǒng)的圖像校正方法，不需要獨(dú)立的映射表數(shù)據(jù)，因而將由照相機(jī)系統(tǒng)存儲(chǔ)的所需數(shù)據(jù)量能夠減少到最低程度，并且能夠方便地校正照相機(jī)的安裝誤差。盡管已出于說(shuō)明的目的，公開了本發(fā)明的優(yōu)選實(shí)施方式，然而本領(lǐng)域技術(shù)人員應(yīng)該理解，在不偏離所附的權(quán)利要求公開的本發(fā)明的實(shí)質(zhì)精神和范圍的情況下，還可以進(jìn)行各種修改，增加和替換。
權(quán)利要求
1.一種用于照相機(jī)系統(tǒng)的圖像校正方法，包括a)獲取與通過(guò)照相機(jī)捕獲并且其上標(biāo)示至少一個(gè)地面標(biāo)記的參考地面有關(guān)的圖像數(shù)據(jù)；b)基于在a)中獲取的所述圖像數(shù)據(jù)，得到所捕獲的地面標(biāo)記的坐標(biāo)；以及c)利用在b)中得到的所述捕獲的地面標(biāo)記的坐標(biāo)與預(yù)設(shè)的參考標(biāo)記的坐標(biāo)之間的誤差，來(lái)校正預(yù)設(shè)的查閱表。
2.根據(jù)權(quán)利要求1所述的圖像校正方法，其中所述地面標(biāo)記和所述參考標(biāo)記分別具有四個(gè)或更多對(duì)應(yīng)的校正點(diǎn)。
3.根據(jù)權(quán)利要求1所述的圖像校正方法，其中所述地面標(biāo)記和所述參考標(biāo)記分別具有被布置成與正方形或長(zhǎng)方形的頂點(diǎn)相對(duì)應(yīng)的四個(gè)校正點(diǎn)。
4.根據(jù)權(quán)利要求2所述的圖像校正方法，其中所述捕獲的地面標(biāo)記和所述參考標(biāo)記被一同顯示在屏幕上，并且從外部輸入得到所述捕獲的地面標(biāo)記的校正點(diǎn)坐標(biāo)的有關(guān)信息。
5.根據(jù)權(quán)利要求3所述的圖像校正方法，其中所述捕獲的地面標(biāo)記和所述參考標(biāo)記被一同顯示在屏幕上，并且從外部輸入得到所述捕獲的地面標(biāo)記的校正點(diǎn)坐標(biāo)的有關(guān)信息。
6.根據(jù)權(quán)利要求3所述的圖像校正方法，其中所述地面標(biāo)記的校正點(diǎn)被顯示為具有預(yù)定半徑的圓。
全文摘要
本發(fā)明公開一種用于照相機(jī)系統(tǒng)的圖像校正方法，其最大程度地減少必須由照相機(jī)系統(tǒng)存儲(chǔ)的數(shù)據(jù)量并且能夠方便地校正照相機(jī)的安裝誤差。在用于照相機(jī)系統(tǒng)的圖像校正方法中，需要由照相機(jī)捕獲且其上標(biāo)示至少一個(gè)地面標(biāo)記的參考地面有關(guān)的圖像數(shù)據(jù)。基于圖像數(shù)據(jù)獲取所捕獲的地面標(biāo)記的坐標(biāo)。利用所捕獲的地面標(biāo)記的坐標(biāo)與預(yù)設(shè)參考標(biāo)記坐標(biāo)之間的誤差來(lái)校正預(yù)設(shè)查閱表(LUT)。地面標(biāo)記和參考標(biāo)記可分別具有四個(gè)或更多對(duì)應(yīng)的校正點(diǎn)。
文檔編號(hào)G06T7/00GK102262780SQ20101056094
公開日2011年11月30日 申請(qǐng)日期2010年11月26日 優(yōu)先權(quán)日2010年5月24日
發(fā)明者鄭雄澈 申請(qǐng)人:現(xiàn)代自動(dòng)車株式會(huì)社, 起亞自動(dòng)車株式會(huì)社