專利名稱：駕駛輔助裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及駕駛輔助裝置。
背景技術(shù)：
1. 車載攝像機(jī)
在汽車中，通常具有消除自駕駛?cè)说乃澜?，提高辨識性的攝像機(jī)的裝
備。據(jù)說在2006年度辨識用攝像機(jī)的出廠臺數(shù)超過200萬臺。包括卡車 的國內(nèi)的新車銷售臺數(shù)在一年略少于600萬輛，因此，可以計算出大概三 輛安裝有一臺辨識用攝像機(jī)。
辨識用攝像機(jī)包括(1)在后退時顯示車輛后方影像的后側(cè)攝像機(jī)、 (2)顯示與駕駛?cè)说南喾磦?cè)的前輪部分的前側(cè)攝像機(jī)、(3)辨識車輛正 前方的死角的前攝像機(jī)、(4)顯示在從狹窄胡同等出發(fā)時產(chǎn)生的側(cè)方的死 角的影像的側(cè)面盲區(qū)攝像機(jī)等。當(dāng)前，后側(cè)攝像機(jī)占據(jù)辨識用攝像機(jī)的 77%,并成為了主流。
在辨識用車載攝像機(jī)中，為了盡量減小死角，通常使用廣角的光學(xué)系。 在后側(cè)攝像機(jī)中，水平面超過100度。在由具備這樣的光學(xué)系的車載攝像 機(jī)拍攝的圖像中，產(chǎn)生大的"木桶"狀歪曲像散。由于該像散，對駕駛?cè)?來說，存在拍攝為圖像的障礙物的位置或距離感難以直觀分辨的問題。
2. 畸變修正
2.1利用光學(xué)處理的透鏡畸變修正方法
作為修正木桶型畸變的方法，大致有兩種。其一是通過對光學(xué)系的結(jié) 構(gòu)進(jìn)行研究，抑制畸變的方法，其二是在圖像攝影后利用數(shù)字方法來修正 圖像的方法。
光學(xué)畸變修正如非專利文獻(xiàn)1、 2中所示，通過使用非球面透鏡等對 光學(xué)系的結(jié)構(gòu)進(jìn)行研究而實現(xiàn)修正。
非專利文獻(xiàn)1:免費(fèi)百科事典"維基菲爾德(Wikipedia)"攝像透鏡項。
非專利文獻(xiàn)2:數(shù)碼相機(jī)的最尖端技術(shù)第四章透鏡魂學(xué)系設(shè)計(株) 技術(shù)信息研究會
但是，畸變像差與角度的大致三次冪成正比地增大，在用于車載攝像 機(jī)的成為廣角的光學(xué)系的情況下，難以通過僅對光學(xué)系進(jìn)行研究來完全修 正畸變。另外，修正的程度在光學(xué)系的設(shè)計階段中已確定，導(dǎo)致在用戶使 用的階段，難以調(diào)節(jié)畸變的程度。進(jìn)而，使用金屬模來生產(chǎn)非球面透鏡， 因此，初始投資成為大的問題。
2.2利用圖像處理的透鏡畸變修正方法
作為利用圖像處理，修正攝像機(jī)的透鏡畸變的方法，經(jīng)常使用Tsai 的方法(參照非專利文獻(xiàn)3、 4)或Zhengyou zhang建議的算法(參照非 專利文獻(xiàn)5、 6)。本方法已作為計算機(jī)程序安裝的程序庫提出(參照非專 利文獻(xiàn)7)，也可以利用于本發(fā)明的畸變修正中。
一卩專禾ll文獻(xiàn)3: R.Y.Tsai:A Versastile camera calibration technique for hightg-accuracy 3D machine vision metrology using off-the-shelf TV camera and lenses; Ieee Journal of Robotics and Automation,Ra-3,4,pp.323-344(1987).
非專利文獻(xiàn)4:計算機(jī)圖像技術(shù)評論和未來展望1998年6月淺田
尚紀(jì)
非專利文獻(xiàn)5: Z.Zhang . "Flexible Camera Calibration By Viewing a Plane From Unknown Orientations" ,Proc.ofICCV，99，pp666-673，1999,
非專禾U文獻(xiàn)6: Z.Zhang. "A Flexible New Technique for Camera Calibration"正EE，PAMI 22(1 l)，ppl 130-1134,2000.
非專利文獻(xiàn)7: OpenCV Reference Manual,6 3D Reconstruction [Camera Calibration] ,pp6—1-6—3.
在提供的程序庫中，對于在圖1所示的平面上的規(guī)則性的已知圖案， 改變攝像機(jī)和平面的相對關(guān)系的同時，使用拍攝的多個圖像，算出用于進(jìn) 行攝像機(jī)的畸變修正的四個參數(shù)(k,， k2， Pl， p2)。這些參數(shù)是用于控制 畸變修正強(qiáng)度的參數(shù)。這些參數(shù)的值越大，畸變修正強(qiáng)度越大。
使用這些參數(shù)，使用以下式(1)，可以求出獲得圖像的坐標(biāo)位置(x，， y，)和畸變修正后的坐標(biāo)值(x， y)的對應(yīng)關(guān)系。但是，坐標(biāo)位置由以圖像的中心為原點，水平方向設(shè)為x坐標(biāo)，垂直方向設(shè)為y坐標(biāo)的坐標(biāo)系來 表示。在式(1)中，<formula>formula see original document page 5</formula>使用上述方法，圖2 (a)、圖2 (b)及圖2 (c)表示進(jìn)行了畸變修正 的圖像的例子的示意圖。圖2 (a)表示拍攝了圖1的已知參數(shù)的原圖像， 圖2 (b)表示畸變修正整體圖像，圖2 (c)表示畸變修正切出圖像。在 使用廣角攝像機(jī)的情況下，如原圖像一樣產(chǎn)生木桶型的畸變的情況居多， 當(dāng)修正畸變時，成為如矩形的角的四處擴(kuò)大的"畸變修正整體圖像"的圖 像。另外，基本上進(jìn)行將畸變部分?jǐn)U大的轉(zhuǎn)換，因此，圖像尺寸變得比原 圖像大。通常，這些圖像通過判斷辨識性降低，將從"畸變修正整體圖像"內(nèi) 切出的矩形區(qū)域(在圖2 (b)中由虛線的矩形框包圍的區(qū)域)的"畸變修 正切出圖像"用于顯示的情況居多。在從"畸變修正整體圖像"切出內(nèi)部 的矩形區(qū)域時，舍棄畸變修正時擴(kuò)大的圖像的角的四處部分，因此，不顯 示由原圖像獲得的信息的一部分。因此，可能提高閱覽人的辨識性，但圖 像整體的信息量降低。還有，在畸變修正或切出時，根據(jù)顯示系的圖像解 析度，有時伴隨擴(kuò)大或縮小的處理。作為利用硬件進(jìn)行畸變修正的方法，考慮如下方法，S卩預(yù)先準(zhǔn)備與 修正前后的地址對應(yīng)的修正表格(查詢表格)，按照該查詢表格，轉(zhuǎn)換像 素的地址。畸變由于具有二維形狀，修正后的像素地址未必與修正前的整 數(shù)地址對應(yīng)，由此，需要存儲一個圖像的量的輸入圖像的幀存儲器和插補(bǔ) 像素的插補(bǔ)運(yùn)算電路，存在電路規(guī)模變大的問題。在專利文獻(xiàn)l中，提出了通過將畸變修正在水平方向上進(jìn)行，利用線 路存儲器和兩個像素的插補(bǔ)電路進(jìn)行畸變修正的技術(shù)。另外，在專利文獻(xiàn) 2中，出于簡略化插補(bǔ)電路的結(jié)構(gòu)，避免由畸變修正產(chǎn)生的圖像四角的欠 缺的目的，提出了將圖像的X軸、Y軸分為兩個階段，依次進(jìn)行處理的方 法。在這些專利文獻(xiàn)1、 2中，電路的簡單化為主要目的，為了提高用戶的可觀測性，不考慮控制畸變修正的強(qiáng)度。專利文獻(xiàn)1:特許第3047581號公報"圖像畸變修正方法及裝置"、使用了線路存儲器的畸變修正。專利文獻(xiàn)2:特許第3451017號公報"圖像處理方法及裝置"水平、 垂直的兩階段畸變修正。出于修正數(shù)碼相機(jī)的畸變的目的，也提出了數(shù)字畸變修正(參照非專 利文獻(xiàn)8)。在數(shù)字畸變修正中，通過變換畸變修正的參數(shù)，能夠變更畸變 的強(qiáng)度的情況下，提高畸變修正的精度等。但是，在此，使以光軸為中心 點對稱地分布的畸變同樣地減少。非專利文獻(xiàn)8:"數(shù)碼相機(jī)中的圖像修正技術(shù)"Ricoh Technical Report No,31(Dec.,2005)http:〃www.ricoh.co.jp/about/businessoverview/report/31/pdf/A3114.pdf 3.車載攝像機(jī)的畸變修正/圖像轉(zhuǎn)換在車載攝像機(jī)中，也為了容易進(jìn)行駕駛?cè)说谋孀R，提出了各種建議。在專利文獻(xiàn)3中，認(rèn)為完全修正畸變未必有利于駕駛?cè)说恼J(rèn)知性(尤 其距離感)的提高，并提出了通過在縱向及橫向上賦予平緩的畸變而保存 距離感的畸變修正。在該建議中，主要著眼于認(rèn)知性的提高，并沒有考慮 保存像角的情況。另外，僅記載了平緩地轉(zhuǎn)換畸變的情況，沒有將圖像分 為區(qū)域而變更畸變修正的強(qiáng)度的概念。專利文獻(xiàn)3:特開2003 — 123064號公報"圖像轉(zhuǎn)換裝置及將其裝入 的攝像及/或顯示裝置"。在專利文獻(xiàn)4中，提出了在具有用于牽引拖車的結(jié)的車輛中，抽出結(jié) 部分，將其放大表面的方法。在該建議中，建議將結(jié)部分和廣范圍圖像同 時作為各自的圖像來顯示，沒有控制畸變修正的強(qiáng)度的概念。專利文獻(xiàn)4:特許第3483143號公報"駕駛輔助裝置"在專利文獻(xiàn)5中，提出了在拍攝90度以上的廣角的攝像機(jī)中，將觀 測區(qū)域的圖像部分地抽出的同時，修正畸變的方法。在建議中，與一律進(jìn) 行畸變修正后，抽出圖像的情況等同，沒有控制畸變修正的強(qiáng)度的概念。專利文獻(xiàn)5:特許第3446277號公報"車輛用周圍狀況顯示裝置"在專利文獻(xiàn)6中，提出了通過使用棱鏡之類的光學(xué)部件來賦予光學(xué)性 平緩的畸變修正的技術(shù)。在該建議中，僅記載了使畸變平緩地變化的情況， 沒有將圖像分為區(qū)域，曝光畸變修正的強(qiáng)度的概念。另外，由于是光學(xué)式 畸變修正，因此，在設(shè)計光學(xué)系后，不能變更畸變修正的強(qiáng)度，沒有根據(jù) 車輛上的搭載狀態(tài)，調(diào)節(jié)修正強(qiáng)度的概念。專利文獻(xiàn)6:特許第3446991號公報"監(jiān)視裝置"出于容易掌握車輛的姿勢或周圍的狀況，提出了假想轉(zhuǎn)換攝像機(jī)的位 置或角度的方法。在專利文獻(xiàn)7中，提出了通過假想轉(zhuǎn)換車輛后攝像機(jī)的 安裝高度，減小靠近車輛的區(qū)域、和遠(yuǎn)的區(qū)域的觀測的差異，或通過假想 轉(zhuǎn)換攝像機(jī)的前后方向的安裝位置，減小成為視野的無用區(qū)域的緩沖器的 映射的方法。專利文獻(xiàn)7:特許第3624769號公報"車輛后方監(jiān)視裝置用圖像轉(zhuǎn)換 裝置"在國內(nèi)汽車廠家的選折中釆用的后側(cè)攝像機(jī)(參照非專利文獻(xiàn)9)或 專利文獻(xiàn)8中，通過將攝像機(jī)假想地朝向鉛垂方向，容易理解地顯示道路 的停車線和自車的位置關(guān)系。在這些建議中，著眼于認(rèn)知性的提高，而犧 牲了圖像角度。非專利文獻(xiàn)9: 7X、年工7、、!； 一 7rf、y用7夕ir步U— ir^夕卜匕、、 二一〃^夕7一力乂 ，http:〃www.suzuki-accessory.ip/every/navi/99020—b 14.html 專利文獻(xiàn)8:特許第3286306號公報"圖像生成裝置、圖像生成方法" 為了正確表示車寬延長線或前進(jìn)路預(yù)想線，尋求對車體的攝像機(jī)安裝 的精度。另外，在進(jìn)行如上所述的圖像的坐標(biāo)轉(zhuǎn)換的高功能的攝像機(jī)中， 攝像機(jī)安裝的精度也是重要的。調(diào)節(jié)檢査攝像機(jī)的安裝的方法也變得重 要。在專利文獻(xiàn)9中，提出了為了向作業(yè)人員顯示安裝的攝像機(jī)的角度是 否為基于圖像轉(zhuǎn)換引起的能夠微調(diào)的范圍，或角度的調(diào)節(jié)方法，而對位于 車輛前方的規(guī)定位置的基準(zhǔn)測試圖案、和在拍攝圖像的規(guī)定位置顯示的判 斷參數(shù)進(jìn)行比較的方法。在該專利中，僅著眼于攝像機(jī)的角度調(diào)節(jié)，沒有 調(diào)節(jié)畸變系數(shù)的概念。專利文獻(xiàn)9:特許第3565749號公報"車載攝像機(jī)的攝像方向的檢查 方法及其檢査裝置"在專利文獻(xiàn)10中，出于修正攝像機(jī)的安裝位置、角度、透鏡光軸的 偏移的目的，提出了對在攝像機(jī)前的規(guī)定位置設(shè)置的測試圖案、和由作為 對車輛的設(shè)計值確定的基準(zhǔn)位置算出的測試圖案的理想拍攝位置進(jìn)行比 較的方法。在該專利中，提出了由測試圖案的實際攝像位置和理想攝像位 置的偏離來算出含有畸變系數(shù)的攝像機(jī)參數(shù)，但沒有調(diào)節(jié)畸變系數(shù)的建 議。專利文獻(xiàn)10:特許第3632563號公報"影像位置關(guān)系修正裝置、具 備該影像位置關(guān)系修正裝置的操縱輔助裝置、及影像位置關(guān)系修正方法"如上所述，通常，車載攝像機(jī)使用廣角的光學(xué)系，因此，具有大的透 鏡畸變。為了能夠同時掌握車體附近的障礙物和自車，如圖3所示，通常 將攝像機(jī)位置設(shè)定為車體映射于圖像內(nèi)的一部分中。圖3的例子中拍攝了 停車場，但作為車體的一部分，映射了后保險桿(圖3中用100表示)。 車體需要一部分映射，但如果透鏡畸變大，則車體占據(jù)圖像大部分區(qū)域。 除了透鏡畸變之外，攝像機(jī)的安裝位置從車的中央偏離的情況居多，還難 以查找最佳攝像機(jī)位置。在數(shù)字式的畸變修正中，能夠大致完全修正透鏡畸變。圖4中示出畸 變修正后的圖像。在這種情況下，幾乎沒有車體端的畸變，沒有消除過大 映射車體的難點。但是，另一方面，通過解決畸變，會缺欠對角的信息。對角的信息是指攝像機(jī)的上側(cè)視野的兩側(cè)的區(qū)域的信息，相對于圖3的右 上及左上的部分的信息。例如，如圖4虛線所示，缺欠圖3的右上的車輛 的信息。對角圖像角度是否重要通過攝像機(jī)對車體的設(shè)置來變化。在攝像機(jī)的 俯角大的情況下，攝像機(jī)的上側(cè)視野拍攝道路面。在這種情況下，在道路 面可能存在人或車等干擾自車的障礙物，是重要的區(qū)域。通過畸變修正， 不優(yōu)選由于畸變修正，導(dǎo)致對角信息缺欠的情況。在攝像機(jī)的俯角小的情 況下，攝像機(jī)的上側(cè)視野成為道路面之上。在這種情況下，干擾自車的障 礙物存在的可能性降低，另外，通常能夠由駕駛?cè)酥苯颖孀R。在成為這樣 的攝像機(jī)設(shè)定的情況下，能夠比對角信息更重視畸變，進(jìn)行畸變修正。發(fā)明內(nèi)容本發(fā)明的目的在于提供在對輸入圖像進(jìn)行透鏡畸變修正的情況下，能 夠?qū)⑤斎雸D像分為多個區(qū)域，對各區(qū)域單獨(dú)改變畸變修正強(qiáng)度的駕駛輔助 裝置。本發(fā)明的駕駛輔助裝置是一種駕駛輔助裝置，其特征在于，具備攝 像裝置，其搭載于車體，且拍攝車體的周邊區(qū)域；透鏡畸變修正機(jī)構(gòu)，其 對利用攝像裝置拍攝的輸入圖像進(jìn)行透鏡畸變修正；及顯示器，其用于顯 示利用透鏡畸變修正機(jī)構(gòu)得到的圖像，透鏡畸變修正機(jī)構(gòu)將輸入圖像分為 多個區(qū)域，以在每個區(qū)域不同的畸變修正強(qiáng)度進(jìn)行透鏡畸變修正。作為上述透鏡畸變修正機(jī)構(gòu)例如使用以下的機(jī)構(gòu)也可，S卩根據(jù)距車 體的距離及/或攝像機(jī)的俯角，將輸入圖像分為多個區(qū)域，以在每個區(qū)域不 同的畸變修正強(qiáng)度進(jìn)行透鏡畸變修正。也可設(shè)置區(qū)域設(shè)定機(jī)構(gòu)，其用于設(shè)定多個區(qū)域；及畸變修正強(qiáng)度確 定機(jī)構(gòu)，其對利用區(qū)域設(shè)定機(jī)構(gòu)設(shè)定的區(qū)域每一個確定畸變修正強(qiáng)度，上 述透鏡畸變修正機(jī)構(gòu)對輸入圖像進(jìn)行與利用畸變修正強(qiáng)度確定機(jī)構(gòu)確定 的區(qū)域每一個的畸變修正強(qiáng)度對應(yīng)的透鏡畸變修正。也可設(shè)置區(qū)域臨時設(shè)定機(jī)構(gòu)，其用于臨時設(shè)定多個區(qū)域；畸變修正 強(qiáng)度臨時確定機(jī)構(gòu)，其對利用區(qū)域臨時設(shè)定機(jī)構(gòu)臨時設(shè)定的區(qū)域每一個， 臨時確定畸變修正強(qiáng)度；利用網(wǎng)格線，在顯示器上顯示與利用畸變修正強(qiáng) 度臨時確定機(jī)構(gòu)臨時確定的區(qū)域每一個的畸變修正強(qiáng)度對應(yīng)的畸變修正 的效果的機(jī)構(gòu)；及正式設(shè)定機(jī)構(gòu)，其將利用畸變修正強(qiáng)度臨時確定機(jī)構(gòu)臨 時設(shè)定的區(qū)域每一個的畸變修正強(qiáng)度，正式設(shè)定為原本的區(qū)域每一個的畸 變修正強(qiáng)度，上述透鏡畸變修正機(jī)構(gòu)對輸入圖像，進(jìn)行與利用正式設(shè)定機(jī) 構(gòu)正式設(shè)定的區(qū)域每一個的畸變修正強(qiáng)度對應(yīng)的透鏡畸變修正。


圖1是用于通過圖像處理修正攝像機(jī)的透鏡畸變的方法的說明圖。 圖2 (a)、圖2 (b)及圖2 (c)是表示進(jìn)行了透鏡畸變修正的圖像的 例子的示意圖。圖3是表示利用車載攝像機(jī)攝像的圖像的一例的示意圖。圖4是表示對圖3的圖像進(jìn)行透鏡畸變修正后的圖像的示意圖。圖5是表示對車體部及車體附近部進(jìn)行強(qiáng)的畸變修正，在遠(yuǎn)方部進(jìn)行 透鏡畸變修正為從車體越遠(yuǎn)離而修正的強(qiáng)度越弱的例子的示意圖。圖6是表示在車體部中進(jìn)行強(qiáng)的透鏡畸變修正，在車體附近部進(jìn)行修 正為從車體越遠(yuǎn)離而修正的強(qiáng)度越弱，在遠(yuǎn)方部不進(jìn)行透鏡畸變修正的例 子的示意圖。圖7是表示駕駛輔助裝置的結(jié)構(gòu)的方框圖。圖8是用于說明利用LUT21的透鏡畸變修正方法的概要的示意圖。 圖9 (a)及圖9 (b)是表示LUT21的結(jié)構(gòu)例的示意圖。 圖IO是用于說明插補(bǔ)運(yùn)算方法的示意圖。圖11是表示在起動了畸變修正強(qiáng)度調(diào)節(jié)軟件的情況下，在PC50顯示 的畸變修正強(qiáng)度調(diào)節(jié)畫面的例子的示意圖。圖12是表示邊界位置u、s、和控制畸變修正強(qiáng)度參數(shù)的系數(shù)a(050^1) 的關(guān)系的示意圖。圖13 (a)、圖13 (b)及圖13 (c)是分別表示輸入圖像、進(jìn)行本實 施例的畸變修正的結(jié)構(gòu)的整體的圖像、及顯示用而切出的圖像的示意圖。 圖14是表示用于簡易顯示畸變修正強(qiáng)度的分配的網(wǎng)格的例子的示意圖。圖15是用于由對圖像整體設(shè)定a=l的情況下的網(wǎng)格上的坐標(biāo)值，根 據(jù)ct的設(shè)定值，計算相當(dāng)于各自的對應(yīng)點的坐標(biāo)值的方法的示意圖。圖16 (a)及圖16 (b)是分別表示沒有畸變修正的情況((x=0)的情 況下的網(wǎng)格的一例、基于設(shè)定的u、 s制作的畸變強(qiáng)度的分配所示的網(wǎng)格 的一例的示意圖。
具體實施方式
首先，對本申請發(fā)明的基本的想法進(jìn)行說明。在本申請發(fā)明中，將圖 像區(qū)域分為車體部、車體附近部及遠(yuǎn)方部的區(qū)域，使用在每個區(qū)域預(yù)先設(shè) 定的畸變修正強(qiáng)度參數(shù)，進(jìn)行透鏡畸變修正。鏡畸變修正為從車體越遠(yuǎn)離而修正的強(qiáng)度越弱的例子。在車體部及車體附 近部進(jìn)行了強(qiáng)的透鏡畸變修正，因此，將車體端正確表示為直線。在遠(yuǎn)方 部中，透鏡畸變修正變?nèi)?，因此，透鏡畸變殘留，但是保存對角的信息量。 圖5所示的透鏡畸變修正使用于攝像機(jī)的俯角小等，對角信息并不那么重 要的情況中。還有，如圖6所示，對車體部中進(jìn)行強(qiáng)的透鏡畸變修正，在車體附近 部進(jìn)行透鏡畸變修正為從車體越遠(yuǎn)離而修正的強(qiáng)度越弱，在遠(yuǎn)方部不進(jìn)行透鏡畸變修正也可。圖6所示的透鏡畸變修正使用于攝像機(jī)的俯角大等，對角信息重要的情況中。以下，對通過圖6所示的畸變修正強(qiáng)度的分配，對輸入圖像進(jìn)行透鏡畸變修正的情況的實施例進(jìn)行說明。 [1]實施例1圖7表示駕駛輔助裝置的結(jié)構(gòu)。駕駛輔助裝置具備輸入圖像的攝像機(jī)l、透鏡畸變修正部2及顯示圖像的監(jiān)視器3。在該例中，透鏡畸變修正部2形成為獨(dú)立于攝像機(jī)1或 監(jiān)視器3的結(jié)構(gòu)，但形成為與攝像機(jī)1成一體的結(jié)構(gòu)也可，形成為與監(jiān)視 器3成一體的結(jié)構(gòu)也可。在該例子中，作為攝像機(jī)l，使用拍攝車輛的后 方影像的后側(cè)攝像機(jī)。在本實施例中，作為調(diào)節(jié)透鏡畸變修正的強(qiáng)度的工 具，使用校準(zhǔn)用PC50。透鏡畸變修正部2具備存儲輸入圖像和輸出圖像的坐標(biāo)的對應(yīng)關(guān)系 的LUT (査詢表格)21及基于LUT21計算透鏡畸變修正圖像的CPU22。 另外，如后述的實施例中說明所述，具備用于將畸變修正強(qiáng)度的分配(透 鏡畸變修正的效果)在圖像上容易辨認(rèn)地顯示的OSD(在屏顯示，on screen display)回路23。透鏡畸變修正部2還擔(dān)當(dāng)向OSD電路23的顯示指示、 與PC50的接口的作用。圖8表示利用LUT21的畸變修正方法的概要。圖8的左側(cè)表示輸入圖像(畸變圖像)101，圖8的右側(cè)表示輸出圖 像(畸變修正圖像)102。對于輸入圖像，將原點(0， 0)設(shè)在輸入圖像 的左下方，橫軸設(shè)定為x坐標(biāo)，縱軸設(shè)定為y坐標(biāo)。對于輸出圖像，將原 點(0， 0)設(shè)定在輸出圖像的左下方，橫軸設(shè)定為i坐標(biāo)，縱軸設(shè)定為j坐標(biāo)。用査詢表格的形式保存用于獲得位于輸出圖像102的像素位置P(i，
j)中的像素值而參照的原圖像的像素位置P' (Xij， Yij)。 圖9 (a)及圖9 (b)表示LUT21的結(jié)構(gòu)例。
在圖9 (a)及圖9 (b)中，對于輸出圖像中的各像素位置，分別對x 坐標(biāo)和y坐標(biāo)保持LUT。圖9 (a)表示存儲了與輸出圖像中的各像素位 置(i， j)對應(yīng)的輸入圖像的x坐標(biāo)的LUT，圖9 (b)表示存儲了與輸出 圖像對應(yīng)的各像素位置(i， j)對應(yīng)的輸入圖像的y坐標(biāo)的LUT。
例如，在輸出圖像中位于(0， 0)位置的像素的像素值為輸入圖像的 (22.5， 43.7)的位置的像素值。另外，在輸出圖像中位于(2， 1)的位 置的像素的像素值為輸入圖像的(23.5， 44.2)的位置的像素值。
與輸出圖像中的各像素位置對應(yīng)的輸入圖像的像素位置通過后述的 畸變修正轉(zhuǎn)換式來求出。但是，輸入圖像的像素位置為整數(shù)值，因此，實 際上，x坐標(biāo)為22.5的像素不存在。因此，通過使用其小數(shù)部分，進(jìn)行加 權(quán)平均而算出轉(zhuǎn)換后的像素值(Bi—Linear插補(bǔ)運(yùn)算)。使用圖10說明插 補(bǔ)運(yùn)算。
在此，對求出在輸出圖像中位于(2， 1)的位置的像素的像素值的情 況進(jìn)行說明。如詳述，在輸出圖像中位于(2， 1)的位置的像素的像素值 為輸入圖像的(23.5， 44.2)的位置的像素值。
在圖10中，X表示與輸入圖像內(nèi)的位置(23.5， 44.2)對應(yīng)的假想的 像素。圖IO的A、 B、 C、 D表示與假想的像素位置(23.5， 44.2)鄰接的 四個像素。A、 B、 C、 D的像素的位置分別為(23， 45)、 (24， 45)、 (23， 44)、 (23， 44)。
在圖10中，p表示像素D和假想像素X的x坐標(biāo)的差分的絕對值，q 表示像素D和假想像素X的y坐標(biāo)的差分的絕對值。在該例中，p=0.5， q=0.2。如果用A、 B、 C、 D表示像素A、 B、 C、 D的像素值，則通過以 下式(2)來算出假想像素X的像素值。<formula>formula see original document page 12</formula> …(2)還有，畸變修正強(qiáng)度的分配需要根據(jù)攝像機(jī)1的向車體的設(shè)置來變更。 在該實施例中，畸變修正強(qiáng)度的分配的設(shè)定是使用校準(zhǔn)用PC50來進(jìn)行。
在校準(zhǔn)用PC50中安裝有用于進(jìn)行畸變修正強(qiáng)度的分配的設(shè)定的畸變 修正強(qiáng)度調(diào)節(jié)軟件。校準(zhǔn)用PC50和駕駛輔助裝置的CPU22經(jīng)由通信電纜 連接。
圖11表示在起動了畸變修正強(qiáng)度調(diào)節(jié)軟件的情況下，在PC50顯示的 畸變修正強(qiáng)度調(diào)節(jié)畫面的例子。
在圖11中，201表示圖像顯示區(qū)域，202表示圖像取入按鈕，203表 示LUT數(shù)據(jù)轉(zhuǎn)送按鈕，204表示結(jié)束按鈕，205、 206表示滑動鍵。滑動 鍵205是用于設(shè)定車體部和車體附近部的邊界位置u的鍵?；瑒渔I206是 用于設(shè)定車體附近部和遠(yuǎn)方部的邊界位置s的鍵。
圖12表示邊界位置u、 s、和控制畸變修正強(qiáng)度參數(shù)的系數(shù)a (0《a 《1)的關(guān)系。
在該實施例中，在從圖面下側(cè)到邊界位置u為止的區(qū)域(車體部)中 畸變修正強(qiáng)度變強(qiáng)。即，a=l。 .
在u和s的區(qū)域(車體附近部的區(qū)域)中，隨著從u的距離遠(yuǎn)離，畸 變修正強(qiáng)度變?nèi)?。艮卩，在將從u的距離設(shè)為t的情況下，a=|s—t|/|si|。
在從s到圖面上側(cè)為止的區(qū)域(遠(yuǎn)方部)中，不進(jìn)行畸變修正。即，a=0。
若按動圖像取入按鈕202，則由攝像機(jī)1拍攝的圖像被轉(zhuǎn)送到校準(zhǔn)用 PC50，顯示于圖像顯示區(qū)域201上。PC50基于利用滑動鍵205、 206設(shè)定 的邊界位置u、 s、和后述的畸變修正轉(zhuǎn)換式，制作用于將輸入圖像轉(zhuǎn)換為 畸變修正后的圖像的LUT數(shù)據(jù)，基于制成的LUT數(shù)據(jù)，對輸入圖像進(jìn)行 畸變修正，將畸變修正后的圖像顯示于圖像顯示區(qū)域201上。
操作人確認(rèn)圖像轉(zhuǎn)換的效果的同時，設(shè)定邊界位置u、 s。在設(shè)定了最 佳邊界位置u、 s的情況下，操作人按動LUT數(shù)據(jù)轉(zhuǎn)送按鈕203。由此， 利用PC50制作的LUT數(shù)據(jù)被送往駕駛輔助裝置的CPU22。 CPU22將從 PC50送過來的LUT數(shù)據(jù)設(shè)置于透鏡畸變修正部2的LUT21。透鏡畸變修 正部2使用在LUT21設(shè)置的坐標(biāo)對應(yīng)關(guān)系，將輸入圖像轉(zhuǎn)換為畸變修正 圖像，將得到的圖像顯示于監(jiān)視器3。
對在制作LUT數(shù)據(jù)的情況下使用的透鏡畸變轉(zhuǎn)換式進(jìn)行說明。如在"背景技術(shù)"欄中的說明，輸入圖像的坐標(biāo)位置(x'， y')和透鏡畸變修
正后的坐標(biāo)值(x， y)由下述式(3)表示。在式(3)中，r2=x2+y2。其 中，xy坐標(biāo)系是將圖像的中心作為原點的坐標(biāo)系。
x， =x + x (Id r2 + k2 ") +2pji xy + p2 (r2+2x2) y， =y + y (ki r2+k2 r4) + 2pi xy + p2 (r2+2y2)
…(3)
為了調(diào)節(jié)畸變修正強(qiáng)度，通過在四個參數(shù)k2、 Pl、 p2上乘以系數(shù)a， 如式(4)、 (5)所示地修正上述式(3)。
k ' i = a; k i
k' 2= a
p ， 1= a p i
p ， 2= a p 2 … (4 )
x ， = x + x (k y ， = y + y (k
k，,、 k'2、 p、及p'2是修正后的畸變修正參數(shù)，其大小根據(jù)a的值而變化。
在本實施例中使用的坐標(biāo)系如圖8及圖9中的說明，是將圖像的左下 方作為原點的xy坐標(biāo)系，因此，將輸入圖像的水平像素數(shù)設(shè)為M，將垂 直像素數(shù)設(shè)為N，貝lJX『x，+M/2、 Yij=y，+N/2、 i=x+M/2、 j=y+N/2。
從而，上述式(5)如下述式(6)所示地表現(xiàn)。在式(6)中，r2= (i —M/2) 2+ (j—N/2) 2。
,r2 + k，2:M ) + 2p、xy + p，2 (r2 + 2x2) ir2 + k，2r4 ) + 2p，'xy + p'2 (r2 + 2y2)
…(5)Xi產(chǎn)(i一M/2) + (i—M/2)(k' ^ r 2 .+k ' 2 r 4 ) + 2 p, :i ( i -M/2)(j-N/2) +p'2 + 2 (i —M/2) 2 }
+ M/2
Yu= (j —N/2) + (j —N/2)(k、r2 + k'2r'i ) + 2 p、 (i 一M/2)(j—N/2)+p'2{r2+2 (j —N/2) 2 } + N/2 …(6)
在輔助駕駛?cè)说囊曈X的情況下，圖像下部成為保險桿部，圖像上部成 為車輛后方(在前側(cè)攝像機(jī)的情況下為前方)的情況居多。如果考慮駕駛 人的辨識性的情況下，保險桿部優(yōu)選顯示為沒有畸變的直線。另一方面， 成為圖像上部的車輛后方(在前側(cè)攝像機(jī)的情況下為前方)優(yōu)選出于安全 確認(rèn)的目的，盡量不損失獲得的圖像的信息量而顯示。
因此，在相當(dāng)于保險桿部的圖像下部(在實施例中，畸變修正圖像的 作為縱軸的j的值小于u的部分)中，將畸變修正強(qiáng)度設(shè)定((X=l)為大， 使用上述式(4)及式(6)，算出在LUT保持的參照像素位置。
另外，在圖像上部(在實施例中，畸變修正圖像的作為縱軸的j的值 小于s的部分)中，為了保存信息量，將畸變修正強(qiáng)度設(shè)定(a=0)為小， 使用上述式(4)及(6)，算出在LUT保持的參照像素位置。
在中間部(在實施例中，畸變修正圖像的作為縱軸的j的值為u和s 之間的t的部分)中，階段性地設(shè)定(cHs_t|/|Si|)，使用上述式(4) 及(6)，算出在LUT保持的參照像素位置。這是因為，在極端地變動a 的值的情況下，不能在上部和下部順暢地連接圖像，導(dǎo)致降低辨識性。在 本實施例中，在圖像的中間部中，階段性地變動a的值，由此生成維持了 辨識性的畸變修正圖像。通過這樣設(shè)定(x，對圖像下部進(jìn)行強(qiáng)的透鏡畸變 修正，對于圖像上部不進(jìn)行透鏡畸變修正，從而生成圖像。
圖13 (a)表示輸入圖像，圖13 (b)表示進(jìn)行了本實施例的畸變修正 的結(jié)果的整體的圖像，圖13 (c)表示用于顯示而切出的圖像。
在圖像的下部進(jìn)行強(qiáng)的透鏡畸變修正，因此，圖像的下部成為比輸入 圖像的顯示區(qū)域廣的狀態(tài)。另一方面，在圖像的上部，不進(jìn)行透鏡畸變修正，因此，成為與輸入圖像相同的圖像尺寸。在生成畸變修正切出圖像時， 切出轉(zhuǎn)換后的圖像區(qū)域的內(nèi)切區(qū)域，因此，橫向的圖像尺寸與輸入圖像相 同，但縱向比輸入圖像略大。因此，縱向需要縮小，圖像的縱橫比略變，
但不大大影響辨識性。記錄于LUT的參照像素的值是在將切出的圖像調(diào)
節(jié)(縮小)為顯示圖像尺寸后，記錄對應(yīng)的參照位置即可。另外，將切出
前的圖像的參照位置記錄于LUT，在顯示時進(jìn)行放大或縮小的處理也可。
利用人通過PC50上的調(diào)節(jié)畫面來確認(rèn)的同時，設(shè)定車體部和車輛附 近的邊界位置u、和車輛附近和車輛遠(yuǎn)方的邊界位置s。在設(shè)定u、 s時， 計算LUT數(shù)據(jù)，使用LUT數(shù)據(jù)，生成對輸入圖像的畸變修正圖像而顯示。
若利用人按動LUT數(shù)據(jù)轉(zhuǎn)送按鈕203，則由PC50生成的LUT數(shù)據(jù)送 往駕駛輔助裝置的透鏡畸變修正部2內(nèi)的CPU22，并設(shè)置于透鏡畸變修正 部2內(nèi)的LUT21。在LUT21設(shè)置LUT數(shù)據(jù)后，透鏡畸變修正部2使用在 LUT21設(shè)置的坐標(biāo)對應(yīng)關(guān)系，對來自攝像機(jī)1的輸入圖像進(jìn)行畸變修正， 在監(jiān)視器3顯示得到的畸變修正圖像。還有，在LUT21設(shè)置LUT數(shù)據(jù)后， 卸載校準(zhǔn)用PC50。
還有，在駕駛輔助裝置側(cè)具有與上述基于校準(zhǔn)用PC50的畸變修正強(qiáng) 度調(diào)節(jié)功能相同的功能也可。實施例2
如實施例1所示，在畸變修正的參數(shù)調(diào)節(jié)中使用PC的情況下，通過 PC的計算能力，能夠在短時間(用Pen4機(jī)器為約100msec)內(nèi)計算輸入 圖像和輸出圖像的坐標(biāo)對應(yīng)關(guān)系，能夠大致實時地確認(rèn)透鏡畸變修正的效 果。若通過在駕駛輔助裝置的透鏡畸變修正部2內(nèi)置的比較低的計算功率 的CPU進(jìn)行該計算，則需要長的計算時間。
在實施例2中，在駕駛輔助裝置進(jìn)行畸變修正的參數(shù)調(diào)節(jié)的情況下， 能夠通過簡單的運(yùn)算來確認(rèn)效果。在實施例2中，在駕駛輔助裝置側(cè)設(shè)定 u、 s，并且，安裝有用于將對應(yīng)于設(shè)定的u、 s的畸變修正強(qiáng)度的分配簡單 地顯示于屏幕的畸變修正強(qiáng)度調(diào)節(jié)軟件。
若在駕駛輔助裝置側(cè)設(shè)定u、 s，則駕駛輔助裝置的CPU22不計算整 個圖面的輸入輸出坐標(biāo)，即不計算LUT數(shù)據(jù)，用網(wǎng)格線表示與設(shè)定的u、 s對應(yīng)的修正強(qiáng)度的分配。還有，若在操作人確認(rèn)效果后，輸入LUT生成
16指令，則生成與設(shè)定的u、 s對應(yīng)的LUT數(shù)據(jù)，設(shè)置于LUT21。 LUT數(shù)據(jù) 的制作方法與實施例l相同。
圖14表示用于簡單地表示畸變修正強(qiáng)度的分配的網(wǎng)格的例子。
圖14的實線表示對圖像整體設(shè)定(x=l的情況下的網(wǎng)格線。圖14的虛 線表示對圖像整體設(shè)定a=0 (沒有畸變修正)的情況下的網(wǎng)格線。網(wǎng)格線 還包括將通常的直線狀網(wǎng)格線彎曲的形狀。
預(yù)先保存對圖像整體設(shè)定了 a=l的情況下的網(wǎng)格(格子圖案)。還有， 對圖像整體設(shè)定了01=1的情況下的網(wǎng)格上的坐標(biāo)值，根據(jù)a的設(shè)定值，計 算與各自的對應(yīng)點相當(dāng)?shù)淖鴺?biāo)值并顯示。使用圖15說明對應(yīng)點的計算方 法。圖15是圖14的S所示的部分的放大圖。
在圖15中，將a=l的情況下的網(wǎng)格上的點的坐標(biāo)設(shè)為(XI， Yl)， 將原圖像(輸入圖像)上的參照點(作為(XI， XI)的坐標(biāo)值參照的原 圖像上的點)的坐標(biāo)作為(X0， Y0)。原圖像上的參照點的坐標(biāo)值(X0， Y0)與不進(jìn)行畸變修正的情況下的網(wǎng)格(a-0的情況下的網(wǎng)格)上的對應(yīng) 點一致。
0<a<l的坐標(biāo)(Xg， Yg)通過下述式(7)來表示。
Xg=XO + a (XI—XO)
Yg=YO + a (Yl—YO)…(7)
在將a =1的情況下的網(wǎng)格上的點用(i， j)表示的情況下，坐標(biāo)值(X0， Y0)通過在上述式(4)及式(6)中帶入01=1，利用下式(8)來表示。
X 0 = ( i —M/2)
+ 2pi (i—MZ2) + M/2
YO= (j —N/2)
+ 2 p i ( i —M/ .2)
+ N/2
+ ( i -M/2) (k (j —N/2) +p2.
+ (j —N/2) (k (j 一N/2) +p2 .(8)
x r2 +k2 ") { r 2 + 2 ( i —2 }
r 2 + k2 r "1 )
+2 (j —N/2) 2 }另外，坐標(biāo)值(Xl， Yl)為a=l的情況下的網(wǎng)格上的點，因此，下 式(9)成立。X 1 = i￥l = j …(9)通過在上述式(7)中帶入上述式(8)及式(9)，得到以下式(10)。Xg=i+(1 — a) 〔(i 一M/ 2) (kir2+k2r4) + 2 p ! ( i —M/2) (j —N/2) +p2 { r 2 + 2 ( i —M力)2 }〕 Yg - j + (1 i) 〔 ( j 一M/2) (Id r2 +k2 ) + 2 p i ( i —M/ 2)(j — N/ 2) +p2 {"+2 (j —M/ 2) 2 }〕…(1 0)能夠通過使用上述式(10)，將預(yù)先保存的情況下的a=l的情況下的 網(wǎng)格線上的坐標(biāo)值轉(zhuǎn)換為與設(shè)定的a值對應(yīng)的坐標(biāo)值，由此生成與設(shè)定的 (X對應(yīng)的形狀的網(wǎng)格，在屏幕上將其顯示。圖16 (a)示出了沒有畸變修正的情況(a=0)的情況下的網(wǎng)格的一例， 圖16 (b)示出了表示基于設(shè)定的u、 s制作的、畸變強(qiáng)度的分配的網(wǎng)格的 一例。還有。通過改變網(wǎng)格線的線種類或顏色，能夠表現(xiàn)畸變修正的強(qiáng)度。通過在網(wǎng)格上限定事先計算畸變修正的效果的區(qū)域，能夠削減計算 量。通過使用OSD功能，在顯示器上顯示網(wǎng)格的形狀，在計算LUT之前， 能夠事先預(yù)測效果。另外，也能夠使用該功能，目視辨認(rèn)生產(chǎn)時的光學(xué)系 的不均、畸變修正部的回路的動作。根據(jù)上述實施例可知，能夠根據(jù)攝像機(jī)的向車體的設(shè)置，得到獲得圖 像的畸變感和對角信息的協(xié)調(diào)的圖像。另外，對各種車種，不進(jìn)行需要初 始投資的光學(xué)系的再次設(shè)計，僅通過數(shù)據(jù)的變更，就能夠個別應(yīng)對。根據(jù)本發(fā)明可知，在對輸入圖像進(jìn)行透鏡畸變修正的情況下，能夠?qū)?輸入圖像分為多個區(qū)域，在各區(qū)域每一個改變畸變修正強(qiáng)度。
權(quán)利要求
1.一種駕駛輔助裝置，其特征在于，具備攝像裝置，其搭載于車體，且拍攝車體的周邊區(qū)域；透鏡畸變修正機(jī)構(gòu)，其對利用攝像裝置拍攝的輸入圖像進(jìn)行透鏡畸變修正；以及顯示器，其用于顯示利用透鏡畸變修正機(jī)構(gòu)得到的圖像，透鏡畸變修正機(jī)構(gòu)將輸入圖像分為多個區(qū)域，且對每個區(qū)域以不同的畸變修正強(qiáng)度進(jìn)行透鏡畸變修正。
2. 根據(jù)權(quán)利要求l所述的駕駛輔助裝置，其特征在于， 透鏡畸變修正機(jī)構(gòu)根據(jù)距車體的距離及/或攝像機(jī)的俯角，將輸入圖像分為多個區(qū)域，且對每個區(qū)域以不同的畸變修正強(qiáng)度進(jìn)行透鏡畸變修正。
3. 根據(jù)權(quán)利要求1或2所述的駕駛輔助裝置，其特征在于， 具備區(qū)域設(shè)定機(jī)構(gòu)，其用于設(shè)定多個區(qū)域；以及 畸變修正強(qiáng)度確定機(jī)構(gòu)，其對于利用區(qū)域設(shè)定機(jī)構(gòu)設(shè)定的每個區(qū)域來確定畸變修正強(qiáng)度，透鏡畸變修正機(jī)構(gòu)對于輸入圖像，進(jìn)行與利用畸變修正強(qiáng)度確定機(jī)構(gòu) 而確定的每個區(qū)域的畸變修正強(qiáng)度相對應(yīng)的透鏡畸變修正。
4. 根據(jù)權(quán)利要求1或2所述的駕駛輔助裝置，其特征在于， 具備區(qū)域臨時設(shè)定機(jī)構(gòu)，其用于臨時設(shè)定多個區(qū)域； 畸變修正強(qiáng)度臨時確定機(jī)構(gòu)，其對于利用區(qū)域臨時設(shè)定機(jī)構(gòu)臨時設(shè)定的每個區(qū)域，臨時確定畸變修正強(qiáng)度；利用網(wǎng)格線，在顯示器上顯示與利用畸變修正強(qiáng)度臨時確定機(jī)構(gòu)臨時 確定的每個區(qū)域的畸變修正強(qiáng)度相對應(yīng)的畸變修正的效果的機(jī)構(gòu)；以及正式設(shè)定機(jī)構(gòu)，其將利用畸變修正強(qiáng)度臨時確定機(jī)構(gòu)臨時設(shè)定的每個 區(qū)域的畸變修正強(qiáng)度，正式設(shè)定為原本的每個區(qū)域的畸變修正強(qiáng)度，透鏡畸變修正機(jī)構(gòu)對于輸入圖像，進(jìn)行與利用正式設(shè)定機(jī)構(gòu)正式設(shè)定 的每個區(qū)域的畸變修正強(qiáng)度相對應(yīng)的透鏡畸變修正。
全文摘要
一種駕駛輔助裝置，具備攝像裝置(1)，其搭載于車體，且拍攝車體的周邊區(qū)域；透鏡畸變修正機(jī)構(gòu)，其對利用攝像裝置(1)拍攝的輸入圖像進(jìn)行透鏡畸變修正；及顯示器，其用于顯示利用透鏡畸變修正機(jī)構(gòu)(2)得到的圖像，透鏡畸變修正機(jī)構(gòu)(2)將輸入圖像分為多個區(qū)域，以在每個區(qū)域不同的畸變修正強(qiáng)度進(jìn)行透鏡畸變修正。
文檔編號B60R11/02GK101410868SQ200780011428
公開日2009年4月15日 申請日期2007年3月23日 優(yōu)先權(quán)日2006年3月27日
發(fā)明者本鄉(xiāng)仁志, 石井洋平, 藤田日出人 申請人:三洋電機(jī)株式會社