用于相機(jī)建模和虛擬視圖合成的成像表面建模的制作方法
【專利摘要】本發(fā)明涉及用于相機(jī)建模和虛擬視圖合成的成像表面建模。一種用于在顯示裝置上顯示捕獲的圖像的方法。實(shí)際圖像由基于視覺(jué)的成像裝置捕獲。虛擬圖像基于由處理器的映射從捕獲的實(shí)際圖像產(chǎn)生。映射使用具有非平面成像表面的虛擬相機(jī)模型。將形成在虛擬相機(jī)模型的非平面成像表面上的虛擬圖像投影在顯示裝置上。
【專利說(shuō)明】用于相機(jī)建模和虛擬視圖合成的成像表面建模
[0001]相關(guān)申請(qǐng)的交叉引用
本申請(qǐng)要求了 2012年10月11日提交的、序號(hào)為61/712,433的美國(guó)臨時(shí)申請(qǐng)的優(yōu)先權(quán)，其內(nèi)容在此結(jié)合作為參考。
【技術(shù)領(lǐng)域】
[0002]實(shí)施例總體上涉及用于車(chē)輛內(nèi)視覺(jué)系統(tǒng)的圖像捕獲和處理。
【背景技術(shù)】
[0003]車(chē)輛系統(tǒng)通常使用用于后視景像檢測(cè)、側(cè)視景像檢測(cè)、以及前視景像檢測(cè)的車(chē)輛內(nèi)視覺(jué)系統(tǒng)。對(duì)于那些需要圖解道路覆蓋層或強(qiáng)調(diào)捕獲圖像的區(qū)域的應(yīng)用，關(guān)鍵的是精確地校準(zhǔn)相機(jī)相對(duì)于車(chē)輛與周?chē)繕?biāo)的定位與定向。采用來(lái)自裝置的捕獲的輸入圖像并且重新建模圖像以示出或增強(qiáng)捕獲圖像的各個(gè)區(qū)域的相機(jī)建模必須在對(duì)圖像不畸變至對(duì)觀看重顯圖像的人而言變得不可使用或不準(zhǔn)確的情況下對(duì)圖像內(nèi)的全部對(duì)像再次定位的模型。
[0004]車(chē)輛上當(dāng)前的后方備份相機(jī)典型地是寬FOV相機(jī)，例如135° F0V。寬FOV相機(jī)典型地提供引起圍繞圖像邊緣的圖像畸變的弧形圖像。本領(lǐng)域中公知的各種方法以提供用于這些類型的相機(jī)的圖像的畸變修正包括使用基于針孔相機(jī)的模型和通過(guò)限定徑向參數(shù)對(duì)徑向畸變做修正。
[0005]為了對(duì)周?chē)氖挛锾峁┚_的描述，例如環(huán)境圖像或超寬圖像，可以使用超款視野的相機(jī)。這樣的相機(jī)典型地被認(rèn)為是魚(yú)眼相機(jī)，因?yàn)樗鼈兊膱D像顯著地成弧形。對(duì)于用于各種駕駛方案(例如備份應(yīng)用)的圖像是實(shí)際的，圖像中的畸變必須修正并且圖像的焦點(diǎn)(可利用的停車(chē)點(diǎn))需要提高的那些部分必須展示從而畸變不會(huì)降低圖像。傳統(tǒng)的虛擬相機(jī)建模使用展現(xiàn)相機(jī)內(nèi)的平面圖像傳感器的平面成像表面；然而，當(dāng)投影到顯示裝置上時(shí)，這樣的系統(tǒng)僅可以進(jìn)行有限的畸變修正特征。這樣的顯示剩下未修正的或必須應(yīng)用復(fù)雜的程序以除去畸變。

【發(fā)明內(nèi)容】

[0006]在此描述的本發(fā)明的優(yōu)點(diǎn)是虛擬圖像可以利用相機(jī)視圖合成一個(gè)或多個(gè)相機(jī)使用各種成像效應(yīng)而合成。成像效應(yīng)包括產(chǎn)生除實(shí)際相機(jī)捕獲實(shí)際圖像的外的不同相機(jī)姿態(tài)觀看。例如，如果實(shí)際相機(jī)位于車(chē)輛直接垂直于地面看上方，具有其光軸從水平位置向下30度的備份相機(jī)可以建模并且合成，用于顯示由上而下的視圖。在此描述的技術(shù)使用用于對(duì)在虛擬相機(jī)模型中的捕獲圖像建模的非平面的成像表面，然而傳統(tǒng)的虛擬相機(jī)建模方法使用捕獲的平面的平面表面。
[0007]此外，可以使用各種任意形狀用于增強(qiáng)捕獲圖像的區(qū)域。例如，通過(guò)使用橢圓成像表面，在沒(méi)有切斷或畸變圖像的端部的情況下，圖像的中心部分可以增強(qiáng)(縮放)。各種非平面成像表面可以動(dòng)態(tài)地插入在虛擬相機(jī)模型內(nèi)用于基于車(chē)輛的工作條件合成視圖。示例是來(lái)自轉(zhuǎn)向信號(hào)指示器的信號(hào)，其提供至處理器，其中使用增強(qiáng)車(chē)輛轉(zhuǎn)向的區(qū)域或方向的非平面表面。
[0008]一種用于在顯示裝置上顯示捕獲的圖像的方法。實(shí)際圖像由基于視覺(jué)的成像裝置捕獲?；谟商幚砥鞯挠成鋸牟东@的實(shí)際圖像產(chǎn)生虛擬圖像。映射使用具有非平面成像表面的虛擬相機(jī)模型。將形成在虛擬相機(jī)模型的非平面成像表面上的虛擬圖像投影在顯示裝置上。
[0009]本發(fā)明還提供了以下方案:
1.一種用于顯示在顯示裝置上的捕獲的圖像的方法，包括步驟:
由基于視覺(jué)的成像裝置捕獲實(shí)際圖像；
基于由處理器的映射從捕獲的實(shí)際圖像產(chǎn)生虛擬圖像，其中映射使用具有非平面成像表面的虛擬相機(jī)模型；
將形成在虛擬相機(jī)模型的非平面圖像表面上的虛擬圖像投影在顯示裝置上。
[0010]2.根據(jù)方案I所述的方法，其中產(chǎn)生虛擬圖像包括步驟:
由處理器提供預(yù)校準(zhǔn)的實(shí)際相機(jī)模型，實(shí)際相機(jī)模型表示基于視覺(jué)的成像裝置捕獲景
象；
基于預(yù)校準(zhǔn)實(shí)際相機(jī)模型在捕獲的圖像中確定每個(gè)像素的實(shí)際入射線角度；
識(shí)別非平面成像表面的任意形狀；
識(shí)別虛擬相機(jī)模型的姿態(tài)；
基于虛擬圖像模型和非平面成像表面在虛擬圖像中確定每個(gè)像素的虛擬入射線角
度；
將虛擬入射線映射至實(shí)際圖像捕獲裝置的相關(guān)的實(shí)際入射線，其中如果虛擬相機(jī)模型的姿態(tài)不同于實(shí)際圖像捕獲裝置的姿態(tài)，轉(zhuǎn)動(dòng)補(bǔ)償作用到虛擬入射線角度上，用于將虛擬入射線與實(shí)際入射線相關(guān)聯(lián)；
作為實(shí)際入射線與虛擬入射線之間相關(guān)映射的函數(shù)，將對(duì)應(yīng)于非平面虛擬成像表面上的坐標(biāo)的虛擬圖像中的像素映射到實(shí)際捕獲圖像上相關(guān)的像素上。
[0011]3.根據(jù)方案2所述的方法，其中實(shí)際圖像上的各個(gè)實(shí)際圖像像素由坐標(biāo)
和V—表示，用于識(shí)別實(shí)際入射線在哪里成像在實(shí)際圖像表面，其中實(shí)際入射線由角度
表示，其中盡-是實(shí)際入射線與實(shí)際圖像捕獲裝置的光軸之間的角度，以及I是實(shí)際圖像捕獲裝置X軸與實(shí)際入射線在實(shí)際圖像捕獲裝置x-y平面上的投影之間的角度。
[0012]4.根據(jù)方案3所述的方法，其中實(shí)際入射線角度基于預(yù)定和校準(zhǔn)的實(shí)際相機(jī)模型確定。
[0013]5.根據(jù)方案4所述的方法，其中實(shí)際相機(jī)模型包括魚(yú)眼相機(jī)模型，其中魚(yú)眼相機(jī)模型表示用于在具有有效傳感器尺寸的平面成像平面上產(chǎn)生超寬角度視野景象的、具有實(shí)質(zhì)上的徑向畸變的魚(yú)眼鏡頭，其中來(lái)自實(shí)際圖像捕獲裝置的實(shí)際圖像傳感器上的實(shí)際入射線與實(shí)際圖像像素之間的關(guān)系表示如下:
【權(quán)利要求】
1.一種用于顯示在顯示裝置上的捕獲的圖像的方法，包括步驟: 由基于視覺(jué)的成像裝置捕獲實(shí)際圖像； 基于由處理器的映射從捕獲的實(shí)際圖像產(chǎn)生虛擬圖像，其中映射使用具有非平面成像表面的虛擬相機(jī)模型； 將形成在虛擬相機(jī)模型的非平面圖像表面上的虛擬圖像投影在顯示裝置上。
2.根據(jù)權(quán)利要求1所述的方法，其中產(chǎn)生虛擬圖像包括步驟: 由處理器提供預(yù)校準(zhǔn)的實(shí)際相機(jī)模型，實(shí)際相機(jī)模型表示基于視覺(jué)的成像裝置捕獲景象； 基于預(yù)校準(zhǔn)實(shí)際相機(jī)模型在捕獲的圖像中確定每個(gè)像素的實(shí)際入射線角度； 識(shí)別非平面成像表面的任意形狀； 識(shí)別虛擬相機(jī)模型的姿態(tài)； 基于虛擬圖像模型和非平面成像表面在虛擬圖像中確定每個(gè)像素的虛擬入射線角度； 將虛擬入射線映射至實(shí)際 圖像捕獲裝置的相關(guān)的實(shí)際入射線，其中如果虛擬相機(jī)模型的姿態(tài)不同于實(shí)際圖像捕獲裝置的姿態(tài)，轉(zhuǎn)動(dòng)補(bǔ)償作用到虛擬入射線角度上，用于將虛擬入射線與實(shí)際入射線相關(guān)聯(lián)； 作為實(shí)際入射線與虛擬入射線之間相關(guān)映射的函數(shù)，將對(duì)應(yīng)于非平面虛擬成像表面上的坐標(biāo)的虛擬圖像中的像素映射到實(shí)際捕獲圖像上相關(guān)的像素上。
3.根據(jù)權(quán)利要求2所述的方法，其中實(shí)際圖像上的各個(gè)實(shí)際圖像像素由坐標(biāo) 和&^!表示，用于識(shí)別實(shí)際入射線在哪里成像在實(shí)際圖像表面，其中實(shí)際入射線由角度表示，其中盡《I是實(shí)際入射線與實(shí)際圖像捕獲裝置的光軸之間的角度，以及科*|是實(shí)際圖像捕獲裝置X軸與實(shí)際入射線在實(shí)際圖像捕獲裝置x-y平面上的投影之間的角度。
4.根據(jù)權(quán)利要求3所述的方法，其中實(shí)際入射線角度基于預(yù)定和校準(zhǔn)的實(shí)際相機(jī)模型確定。
5.根據(jù)權(quán)利要求4所述的方法，其中實(shí)際相機(jī)模型包括魚(yú)眼相機(jī)模型，其中魚(yú)眼相機(jī)模型表示用于在具有有效傳感器尺寸的平面成像平面上產(chǎn)生超寬角度視野景象的、具有實(shí)質(zhì)上的徑向畸變的魚(yú)眼鏡頭，其中來(lái)自實(shí)際圖像捕獲裝置的實(shí)際圖像傳感器上的實(shí)際入射線與實(shí)際圖像像素之間的關(guān)系表示如下:
6.根據(jù)權(quán)利要求5所述的方法，其中徑向畸變修正作用到魚(yú)眼相機(jī)模型上，其中徑向畸變通過(guò)基于視覺(jué)的成像裝置的透鏡的畸變效應(yīng)確定，其中徑向畸變由畸變的徑向距離相對(duì)于無(wú)畸變的變量的函數(shù)表示，其中畸變畸變徑向距離使用具有畸變效應(yīng)的透鏡在實(shí)際圖像捕獲裝置的圖像傳感器上從各自的圖像像素至圖像中心測(cè)量，其中未畸變的變量包括成像為畸變成像像素的事件主光線的入射線角度，其中具有視野大于135度的、用于基于視覺(jué)的成像裝置的徑向畸變由以下公式表示:
7.根據(jù)權(quán)利要求4所述的方法，其中當(dāng)徑向畸變存在時(shí)徑向畸變修正作用到實(shí)際相機(jī)模型，其中徑向畸變由畸變徑向距離相對(duì)于無(wú)畸變變量的函數(shù)表示，其中無(wú)畸變變量包括基于針孔相機(jī)模型的圖像像素的無(wú)畸變徑向距離，并且其中用于具有視野小于135度的基于視覺(jué)的成像裝置的徑向畸變由以下公式表示:
8.根據(jù)權(quán)利要求4所述的方法，其中實(shí)際相機(jī)建模為具有非平面成像表面的針孔模型，其中針孔模型表示為沒(méi)有徑向畸變的透鏡，并且其中實(shí)際相機(jī)鏡頭的徑向畸變效果建模為非平面成像表面。
9.根據(jù)權(quán)利要求2所述的方法，其中如果虛擬相機(jī)模型的姿態(tài)不同于實(shí)際相機(jī)模型，則沒(méi)咖是虛擬入射線與由虛擬z軸表示的虛擬光軸之間的角度，并且φ核是虛擬相機(jī)X軸與虛擬相機(jī)模型χ-y平面上的虛擬入射線的投影之間的角度，其中虛擬入射線上的任意點(diǎn)由以下矩陣表示:
10.根據(jù)權(quán)利要求1所述的方法，其中產(chǎn)生虛擬圖像包括步驟: 構(gòu)造用于各自的相機(jī)模型的坐標(biāo)系，其包括X-軸，1-軸，和Z-軸，Z-軸與向各自的相機(jī)模型外延伸的相機(jī)光軸對(duì)齊，X-軸和1-軸形成垂直于Z-軸的平面，X-軸和Z-軸在相機(jī)孔位置交叉； 限定相機(jī)姿態(tài)作為相機(jī)坐標(biāo)的位置和相機(jī)Z-軸的方向； 產(chǎn)生表示基于視覺(jué)的成像裝置的實(shí)際相機(jī)模型，實(shí)際圖像是由基于視覺(jué)的成像裝置捕獲的景象； 產(chǎn)生包括模擬相機(jī)模型參數(shù)，模擬成像表面，以及模擬相機(jī)姿態(tài)的虛擬相機(jī)模型； 使用虛擬相機(jī)模型識(shí)別景象的合成圖像的虛擬圖像； 選擇非平面成像表面的形狀； 選擇虛擬相機(jī)模型的姿態(tài)； 基于虛擬相機(jī)模型使用非平面成像表面在虛擬圖像中確定每個(gè)像素的虛擬入射線角度；響應(yīng)于虛擬入射線角度與實(shí)際入射線角度的比較，確定虛擬相機(jī)模型的姿態(tài)是否與實(shí)際相機(jī)模型的姿態(tài)相同； 響應(yīng)于虛擬相機(jī)模型與實(shí)際相機(jī)模型的姿態(tài)的差別作用與虛擬入射角與實(shí)際入射角相關(guān)的轉(zhuǎn)動(dòng)矩陣，轉(zhuǎn)動(dòng)矩陣表示用于將虛擬相機(jī)姿態(tài)與實(shí)際相機(jī)姿態(tài)相關(guān)的轉(zhuǎn)換； 通過(guò)作用具有角度畸變參數(shù)的實(shí)際相機(jī)模型確定對(duì)應(yīng)的像素位置，其中具有角度畸變的實(shí)際相機(jī)模型表示基于視覺(jué)的成像裝置捕獲景象的成像處理，并且其中具有角度畸變的實(shí)際相機(jī)模型的參數(shù)由相機(jī)修正處理確定； 在各自的虛擬圖像像素位置與各自的實(shí)際圖像像素位置之間產(chǎn)生作為各自的虛擬圖像像素坐標(biāo)，虛擬入射線角度，實(shí)際入射線角度，以及實(shí)際圖像像素坐標(biāo)的函數(shù)的映射；以及 從實(shí)際圖像合成景象的虛擬圖像，其中實(shí)際圖像的像素值使用作為用于虛擬圖像中對(duì)應(yīng)像素的像素值。
【文檔編號(hào)】B60R1/00GK103778649SQ201310471723
【公開(kāi)日】2014年5月7日 申請(qǐng)日期:2013年10月11日 優(yōu)先權(quán)日:2012年10月11日
【發(fā)明者】W.張, J.王, B.B.利特庫(kù)希, K.S.利貝克, R.M.弗拉克斯 申請(qǐng)人:通用汽車(chē)環(huán)球科技運(yùn)作有限責(zé)任公司