相關申請

本申請要求于2014年11月5日提交的美國臨時專利申請序列號62/075,350的優(yōu)先權，其通過引用并入本文。

本發(fā)明涉及車輛安全系統(tǒng)，并且更具體地涉及使用結構光來增強對象檢測系統(tǒng)。

背景技術：

單目攝像機系統(tǒng)在攝像機的二維焦平面陣列中表現(xiàn)三維數(shù)據(jù)的能力有限。該攝像機對世界的圖像呈現(xiàn)為平的而沒有任何景深(depth-of-field)。用于恢復丟失的景深的算法技術依賴于應用，并且僅在極窄的范圍內(nèi)有效——它們不是全局魯棒的。例如，從運動中恢復結構(structurefrommotion)以及時間立體匹配(temporalstereomatching)可以用于從具有差異化位置的單目攝像機重建深度圖像。攝像機必須在具有幀間相關性的情況下移動，并且該移動必須在實物坐標中被跟蹤，該跟蹤通常使用慣性測量單元進行。諸如雙色反射率、高洛德著色(gouraudshading)以及平地模型(flatearthmodel)之類的其它示例需要受控的場景照明和靜止的攝像機位置。

技術實現(xiàn)要素：

根據(jù)本發(fā)明的一個方面，提供了用于檢測感興趣的區(qū)域內(nèi)的對象的對象檢測系統(tǒng)。攝像機被配置成對感興趣的區(qū)域進行成像。結構光源被配置成在攝像機的視場內(nèi)提供由攝像機可檢測的波長處的至少一個投射激光束形成的基本上二維的光幕。圖像分析部件被配置成至少根據(jù)該至少一個投射激光束在該圖像內(nèi)的位置來檢測感興趣的區(qū)域內(nèi)的對象。

根據(jù)本發(fā)明的另一方面，提供了用于檢測感興趣的區(qū)域內(nèi)的對象的方法。將基本上二維的光幕投射到感興趣的區(qū)域中。感興趣的區(qū)域在攝像機處被成像以提供圖像，使得基本上二維的光幕與地面的相交處可見。如果基本上二維的光幕與地面的相交處偏離預期基線，則確定存在對象。

根據(jù)本發(fā)明的又一方面，提供了用于檢測車輛的后方區(qū)域與盲點中的一個內(nèi)的對象的對象檢測系統(tǒng)。攝像機被配置成對車輛的后方區(qū)域與盲點中的這一個進行成像。結構光源包括激光二極管和光束整形光學部件，該結構光源被配置成在攝像機的視場內(nèi)提供由攝像機可檢測的波長處的至少一個投射激光束形成的基本上二維的光幕。圖像分析部件被配置成至少根據(jù)該至少一個投射激光束在圖像內(nèi)的位置來檢測車輛的后方區(qū)域與盲點中的這一個內(nèi)的對象。

附圖說明

圖1示出了用于檢測感興趣的區(qū)域內(nèi)的對象的對象檢測系統(tǒng)的一個示例；

圖2示出了用于檢測車輛的后方區(qū)域或盲點中的一個內(nèi)的對象的系統(tǒng)的示例；

圖3示出了用于檢測感興趣的區(qū)域內(nèi)的對象的方法；以及

圖4是示出了能夠?qū)崿F(xiàn)本文公開的系統(tǒng)和方法的示例的硬件部件的示例性系統(tǒng)的示意性框圖。

具體實施方式

發(fā)明人已經(jīng)確定可以用結構光來增強單目攝像機，以增強攝像機檢測和定位視場內(nèi)的對象的能力。具體地，可以將一個或多個光幕投射到攝像機的視場中，該一個或多個光幕即由一個或多個投射激光束形成的連續(xù)或間歇的二維形狀。這些光幕的偏轉(zhuǎn)或變形可以被檢測和量化以確定對象在視場內(nèi)的存在以及位置。在一個實現(xiàn)中，可以使用多個形狀來限定對象可以通過其延伸的不同范圍。在另一實現(xiàn)中，使用兩個或更多個非平行光束來在視場內(nèi)提供三維形狀以允許更準確地確定對象的位置。

圖1示出了用于檢測感興趣的區(qū)域內(nèi)的對象的對象檢測系統(tǒng)10的一個示例。系統(tǒng)10包括攝像機12和結構光源14，該攝像機12被配置成對感興趣的區(qū)域成像，并且該結構光源14被配置成在攝像機的視場18內(nèi)提供由攝像機可檢測的波長處的至少一個投射激光束形成的二維形狀16。在一個實現(xiàn)中，攝像機被選擇為在可見光帶內(nèi)成像，并且激光器在532nm左右運行。

圖像分析部件20被配置成至少根據(jù)該至少一個投射激光束在圖像內(nèi)的位置(或者更具體地，光束和地面的相交處的位置)來檢測感興趣的區(qū)域內(nèi)的對象。在一個實現(xiàn)中，該檢測可以通過將攝像機圖像轉(zhuǎn)換成世界坐標域并且檢查激光與反射對象的相交線以確定是否存在任何對象來實現(xiàn)。在一個實現(xiàn)中，兩個非平行線的相交點可以被用作變換中的已知參考點。替代地，可以使用表示距離車輛的不同距離的多個平行光束，其中特定光束顯示出指示對象距離車輛的距離的偏轉(zhuǎn)。

圖2示出了用于檢測車輛的后方區(qū)域或盲點中的一個(這里被稱為感興趣的區(qū)域)內(nèi)的對象的系統(tǒng)50的示例。系統(tǒng)50包括被配置成對感興趣的區(qū)域成像的攝像機52。在所示的實現(xiàn)中，攝像機52被配置成檢測可見域和近紅外域中的入射光。攝像機52被定位在車輛上有效地對感興趣的區(qū)域進行成像的位置。應當認識到，攝像機52可以經(jīng)由車輛總線53連接到系統(tǒng)的其它部件54和60。

結構光源54被配置成提供進入到感興趣的區(qū)域中的基本上二維的光幕。在所示的實現(xiàn)中，結構光源54包括激光二極管56以及光束整形光學部件58，激光二極管56被配置成提供攝像機52可檢測的波長處的至少一個激光束，光束整形光學部件58被配置成從該至少一個激光束產(chǎn)生基本上二維的光幕。應當認識到，激光二極管56可以提供在可見范圍、紅外范圍和紫外范圍的任何一個范圍中的光。光束整形器光學部件58可以包括衍射擴散器、衍射光束整形器或其它合適的光學部件中的任何一個。在所示的實現(xiàn)中，光束整形光學部件58可以包括可靠的(solid)衍射光束成形光學器件，其產(chǎn)生跨四十六度的角度的光幕。因此，應當認識到，所示出的實現(xiàn)在光學器件中沒有移動部件的情況下起作用。

結構光源54可以被安裝在車輛上的適當位置以將光幕投射到感興趣的區(qū)域中。發(fā)明人已經(jīng)發(fā)現(xiàn)并置(collocating)結構光源54和攝像機52可能導致次優(yōu)結果，而結構光源54和攝像機52的位置可以以其它方式被選擇為在給定車輛的幾何形狀的情況下使得成像的感興趣的區(qū)域的效用最大化。在一個實現(xiàn)中，結構光源54和攝像機52中的每一個可以被安裝到車輛的頂部并且被水平基線分開。在另一實現(xiàn)中，結構光源54和攝像機52可以被小的垂直基線分開。

將進一步認識到，結構光源54可以被配置成提供到感興趣的區(qū)域中的附加光幕。為此，光束整形光學部件58可以被配置成提供多個平行光幕。例如，合理地假定在相交點處為水平地面，每個光幕可以被投射成在與車輛的在其上安裝了結構光源的一側(cè)基本上平行的線處與地面相交，其中每個光幕在離車輛的指定距離處與地面相交。替代地或附加地，結構光源54可以被配置成提供與一個或多個其它光幕基本上垂直的光幕，使得該光幕在與其它光幕的一條或多條線基本上垂直的線中與地面相交。應當認識到，附加光幕可以由附加結構光源(未示出)提供，而不是如圖2中所示的那樣從單個部件提供多個光幕。

在攝像機52處拍攝的圖像被提供給圖像分析部件60，圖像分析部件60被配置成確定在感興趣的區(qū)域中是否存在對象。應當認識到，圖像分析部件60可以被實現(xiàn)為在車輛內(nèi)的微處理器上操作的軟件、被實現(xiàn)為專用硬件、或者被實現(xiàn)為軟件和專用硬件的組合。具體地，圖像分析部件60根據(jù)捕獲的圖像來確定在光幕的路徑中是否存在一個或多個對象。如果在攝像機52或相關部件(未示出)處未對圖像執(zhí)行校正，則圖像分析部件60可以被配置成在分析之前校正圖像，并且可以在分析之前執(zhí)行其它圖像調(diào)節(jié)。

應當認識到，在沒有對象的情況下，在光幕與地面相交時光幕將形成相對直的線。然而，在光幕的范圍內(nèi)存在對象的情況下，光幕與對象的相交處將相對于原始基線具有高程(elevation)。在一個實現(xiàn)中，可以使用多個平行光幕來限定車輛附近的各個區(qū)域。在該實現(xiàn)中，可以根據(jù)哪個或者哪些光幕呈現(xiàn)出與基線的偏差來確定對象與車輛的距離。

在所示的實現(xiàn)中，可以使用兩個垂直的光幕，使得它們的相交點表示圖像內(nèi)的已知參考點。使用該參考點，可以根據(jù)從基線高程的偏離的位置、大小和寬度來確定對象的位置和高度。為此，圖像分析系統(tǒng)60包括坐標變換部件62，其被配置成將圖像內(nèi)的每個像素的位置變換為車輛周圍的實物坐標系。具體地，對于圖像內(nèi)的像素(x，y)，其中x表示像素所處于的列，而y是像素所處于的行，位置(x，z)被確定為以下，其中x表示離攝像機的橫向距離(crossrange)而z表示離攝像機的順向距離(downrange)：

其中fx是攝像機的水平焦距，fy是攝像機的垂直焦距，φ是攝像機俯仰角，h是攝像機高度。

當檢測到對象時，高程計算部件64可以根據(jù)圖像和所確定的位置來確定對象的高程。具體地說，在給定位置處的高程y可以根據(jù)其離攝像機的順向距離z和表示該位置的像素所處于的行y被確定為：

其中fy是攝像機的垂直焦距，φ是攝像機俯仰角，而h是攝像機高度。

一旦確定了對象的位置和高程，就可以經(jīng)由適當?shù)目陕牎⒖梢暬蛴|覺反饋來向用戶提供該信息。在一個實現(xiàn)中，可以在車輛內(nèi)的顯示器上呈現(xiàn)給操作者的、車輛的后視圖或側(cè)視圖的顯示中突出該對象。

鑒于以上描述的前述結構和功能特征，參考圖3將更好地理解根據(jù)本發(fā)明的各個方面的方法。盡管為了簡化說明的目的，圖3的方法被示出和描述為串行執(zhí)行，但是應當理解和認識到，本發(fā)明不限于所示順序，因為根據(jù)本發(fā)明，一些方面可以以與本文所示和描述的順序不同的順序發(fā)生和/或與其它方面同時發(fā)生。此外，可能不是所有示出的特征都被需要以實現(xiàn)根據(jù)本發(fā)明的一個方面的方法。

圖3示出了用于檢測感興趣的區(qū)域內(nèi)的對象的方法100。在102處，將基本上二維的光幕投射到感興趣的區(qū)域中?？梢赃x擇感興趣的區(qū)域，例如，車輛的后方區(qū)域或盲點。應當認識到，光幕可以由可見光、紅外光或紫外光形成。在一個實現(xiàn)中，可以將多個光幕投射到感興趣的區(qū)域中。例如，依賴于應用，附加光幕可以平行或垂直于第一光幕。

在104處，感興趣的區(qū)域在攝像機處被成像以提供圖像，使得基本上二維的光幕與地面的相交處可見。應當認識到，攝像機可以適配有適當?shù)倪^濾器以用于檢測與光幕相關聯(lián)的光。在106處，確定基本上二維的光幕與地面的相交處是否偏離預期基線。如果是(y)，則在108處報告檢測到對象，并且方法返回到102以繼續(xù)評估感興趣的區(qū)域。如果否(n)，則方法返回到102以繼續(xù)評估感興趣的區(qū)域。

在一個實現(xiàn)中，圖像可以用于確定關于在感興趣的區(qū)域中檢測到的對象的附加信息。在一個實現(xiàn)中，可以使用多個平行光幕，如果由第一基本上二維的光幕與地面的相交處形成的線偏離第一預期基線，則對象可以被確定在第一距離處，或者如果由第二基本上二維的光幕與地面的相交處形成的線偏離第二預期基線，則對象可以被確定為在第二距離處。應當認識到，可以以這種方式使用多于兩個的平行幕來增加距離確定的分辨率。替代地，可以投射垂直光幕，并且圖像例如如以上所述的等式1和2中那樣經(jīng)過坐標變換來確定任何檢測到的對象的位置和高度。

圖4是示出了能夠?qū)崿F(xiàn)本文公開的系統(tǒng)和方法(諸如先前描述的對象檢測系統(tǒng))的示例的硬件部件的示例性控制系統(tǒng)200的示意性框圖。系統(tǒng)200可以包括各種系統(tǒng)和子系統(tǒng)。系統(tǒng)200可以使用經(jīng)由車輛總線連接的基于車輛的控制器或通過使用圖像分析控制器來實現(xiàn)。計算機可以包括微計算機，或者可以使用相應布置的專用集成電路(asic)來實現(xiàn)期望的控制功能。

控制系統(tǒng)200可以包括系統(tǒng)總線202、處理單元204、系統(tǒng)存儲器206、存儲器設備208和210、通信接口212(例如，網(wǎng)絡接口)、通信鏈路214、顯示器216和輸入設備218(例如，加速度傳感器、攝像機輸入等)。系統(tǒng)總線202可以與處理單元204和系統(tǒng)存儲器206通信。附加存儲器設備208和210也可以與系統(tǒng)總線202通信。系統(tǒng)總線202將處理單元204、存儲器設備206-210、通信接口212、顯示器216和輸入設備218互連。在一些示例中，系統(tǒng)總線202還互連附加端口(未示出)。

處理單元204可以是微計算機和/或可以包括被布置成執(zhí)行期望的處理和控制功能的專用集成電路(asic)。處理單元204執(zhí)行一組指令以實現(xiàn)本文公開的示例的操作。

附加存儲器設備206、208和210可以存儲數(shù)據(jù)、程序、指令、以文本或編譯形式的數(shù)據(jù)庫查詢以及操作計算機可能需要的任何其它信息。存儲器206、208和210可以被實現(xiàn)為計算機可讀介質(zhì)。

附加地或替代地，系統(tǒng)200可以通過通信接口212訪問外部數(shù)據(jù)源或查詢源，通信接口212可以與系統(tǒng)總線202和通信鏈路214進行通信。

在操作中，處理單元204執(zhí)行源自系統(tǒng)存儲器206和存儲器設備208和210的一個或多個計算機可執(zhí)行指令。本文所用的術語“計算機可讀介質(zhì)”是指參與向處理單元204提供指令以用于執(zhí)行的介質(zhì)。

以上描述的是本發(fā)明的示例。當然，不可能為了描述本發(fā)明的目的而描述部件或方法的每種可想到的組合，但是本領域普通技術人員將認識到，本發(fā)明的許多進一步的組合和排列是可能的。因此，本發(fā)明旨在包括落在所附權利要求的范圍內(nèi)的所有這樣的改變、修改和變化。