專利名稱：使用前視和后視攝像機的車道融合系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總的來說涉及一種用于車輛的車道位置方法和系統(tǒng)，更具體地，涉及一種用于主車輛的車道位置方法和系統(tǒng)，其使用來自前視和后視攝像機的圖像數(shù)據(jù)、來自車輛動態(tài)傳感器的數(shù)據(jù)的融合來計算車道參數(shù)，包括車道曲率和相對于車道參考路線的主車輛位置以及方位。
背景技術(shù)：
許多現(xiàn)代車輛包括用于各種目的的車載攝像機。一個普遍應(yīng)用是前視攝像機，其可以提供圖像以用在防撞系統(tǒng)、車道偏離警告系統(tǒng)、側(cè)向控制系統(tǒng)、或者這些或其它系統(tǒng)的組合中。然而，可能出現(xiàn)阻止從前視攝像機獲得良好的圖像的情況。這些情況包括在近距離處的阻擋大部分攝像機視野的領(lǐng)先車輛、以及使攝像機圖像模糊的低能見度天氣情況， 例如雨和霧。在這些情況下，當不能從前視攝像機獲取可用的圖像時，依賴于攝像機的圖像作為輸入的系統(tǒng)不能運行。同時，許多較新的車輛還裝備有后視攝像機，其通常僅用作備用輔助設(shè)備，例如為駕駛員提供視頻圖像以便看見車后(情況)。雖然這些后視攝像機一般具有比用于其它圖像數(shù)據(jù)采集目的更充足的分辨率和視野，但是直到現(xiàn)在它們還沒有被用來為車道位置和側(cè)向控制應(yīng)用補充來自前視攝像機的圖像。這就有機會使用來自后視攝像機的可用的圖像數(shù)據(jù)，并將其與來自前視攝像機和其它傳感器的圖像數(shù)據(jù)結(jié)合，來提供更加穩(wěn)健的側(cè)向傳感系統(tǒng)。得到的雙攝像機系統(tǒng)不僅在正常情況下充分利用更多的輸入數(shù)據(jù)，而且當情況不利于前視成像時提供可用的圖像數(shù)據(jù)源以允許系統(tǒng)的運行。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的教導(dǎo)，公開了一種用于計算車道曲率和相對于車道邊界的主車輛位置和方位的方法和系統(tǒng)，其使用來自前視和后視攝像機的圖像數(shù)據(jù)、和車輛動態(tài)傳感器作為輸入。主車輛包括位于前面和后面處的攝像機，其目的之一是可以用于檢測車道邊界例如路邊和車道線。主車輛還包括車輛動態(tài)傳感器，其包括車速和橫擺率。開發(fā)了這樣的方法，其計算車道曲率和相對于車道參考路線的主車輛位置，其中車道參考路線是由從前和后攝像機圖像的融合所提取的車道邊界得到的。本發(fā)明中提供的數(shù)學模型包括卡爾曼過濾追蹤例程和粒子過濾器追蹤例程。從下邊的描述和隨附權(quán)利要求并結(jié)合附圖，本發(fā)明的額外特征是顯而易見的。本發(fā)明還提供以下方案1. 一種用于確定車道中車輛位置的方法，所述方法包括提供來自車輛車載的前視攝像機模塊的數(shù)據(jù)；提供來自車輛車載的后視攝像機模塊的數(shù)據(jù)；提供來自車輛車載的車輛動態(tài)傳感器的數(shù)據(jù)；和
將來自前視攝像機模塊、后視攝像機模塊和車輛動態(tài)傳感器的數(shù)據(jù)融合成組合的車道幾何信息集以確定車道中車輛的位置。2.根據(jù)方案1的方法，其中，車道幾何信息包括車道曲率、相對于車道切線的車輛方位、和到左車道邊界和右車道邊界的位移。3.根據(jù)方案1的方法，其中，提供來自前視攝像機模塊的數(shù)據(jù)包括提供來自前面的成熟的車道感測系統(tǒng)的前面的車道幾何信息，而提供來自后視攝像機模塊的數(shù)據(jù)包括提供來自后面的成熟的車道傳感系統(tǒng)的后面的車道幾何信息。4.根據(jù)方案3的方法，其中，將來自前視攝像機模塊、后視攝像機模塊和車輛動態(tài)傳感器的數(shù)據(jù)融合包括使用卡爾曼濾波器例程來聯(lián)合地估算車道幾何信息和前視攝像機模塊和后視攝像機模塊的未對準角度。5.根據(jù)方案1的方法，其中，提供來自前視攝像機模塊的數(shù)據(jù)包括提供來自前攝像機的前圖像數(shù)據(jù)，提供來自后視攝像機模塊的數(shù)據(jù)包括提供來自后攝像機的后圖像數(shù)據(jù)。6.根據(jù)方案5的方法，其中，將來自前視攝像機模塊、后視攝像機模塊和車輛動態(tài)傳感器的數(shù)據(jù)融合包括尋找前向圖像數(shù)據(jù)和后向圖像數(shù)據(jù)中的高密度像素、將所述高密度像素投影在車輛坐標框架中、從高密度像素中檢測路緣和車道線、將所述路緣和車道線連接成車道以及追蹤車道幾何信息。7.根據(jù)方案6的方法，其中，尋找前向圖像數(shù)據(jù)和后向圖像數(shù)據(jù)中的高密度像素包括使用高斯金字塔例程，其中在不同的空間尺度處的二進制圖像彼此相減。8.根據(jù)方案6的方法，其中，將所述高密度像素投影在車輛坐標框架中包括使用迭代程序以移除徑向和切向變形，和旋轉(zhuǎn)和平移變換程序，以在車輛坐標框架中生成多個高密度像素。9.根據(jù)方案6的方法，其中，從高密度像素中檢測路緣和車道線包括使用相似圖和深度優(yōu)先搜索例程，其將相鄰的高密度像素聚類成線。10.根據(jù)方案9的方法，其中，從高密度像素中檢測路緣和車道線還包括使用最小二乘例程使線與線段或弧相適配。11.根據(jù)方案6的方法，其中，將所述路緣和車道線連接成車道包括使用應(yīng)用于路緣和車道線的最小二乘例程尋找車道的曲率中心。12.根據(jù)方案11的方法，其中，追蹤車道幾何信息包括使用直方圖例程計算到左車道邊界和右車道邊界的位移，并且使用曲率中心計算車道曲率和相對于車道切線的車輛方位。13.根據(jù)方案5的方法，其中，將來自前視攝像機模塊、后視攝像機模塊和車輛動態(tài)傳感器的數(shù)據(jù)融合包括使用卡爾曼濾波器。14.根據(jù)方案5的方法，其中，將來自前視攝像機模塊、后視攝像機模塊和車輛動態(tài)傳感器的數(shù)據(jù)融合包括使用粒子濾波器。15. 一種用于確定車道中車輛位置的方法，所述方法包括提供來自車輛車載的前視攝像機的圖像數(shù)據(jù)；提供來自車輛車載的后視攝像機的圖像數(shù)據(jù)；和將來自前視攝像機和后視攝像機的圖像數(shù)據(jù)融合成組合的車道幾何信息集以確定車道中車輛的位置。16.根據(jù)方案15的方法，其中，將來自前視攝像機和后視攝像機的數(shù)據(jù)融合包括尋找圖像數(shù)據(jù)中的高密度像素、將所述高密度像素投影在車輛坐標框架中、從高密度像素中檢測路緣和車道線、將所述路緣和車道線連接成車道以及追蹤車道幾何信息。17.根據(jù)方案15的方法，，車道幾何信息包括車道曲率、相對于車道切線的車輛方位、和到左車道邊界和右車道邊界的位移。18. 一種用于確定車道中車輛位置的系統(tǒng)，所述系統(tǒng)包括第一攝像機，用于捕獲來自車輛的前視的圖像；第二攝像機，用于捕獲來自車輛的后視的圖像；和處理器，其配置為接收來自第一攝像機和第二攝像機的圖像，并使用來自第一攝像機和第二攝像機的圖像的融合來計算車道幾何信息。19.根據(jù)方案18的系統(tǒng)，其中，處理器尋找；來自第一攝像機和第二攝像機中的圖像中的高密度像素、將所述高密度像素投影在車輛坐標框架中、從所述高密度像素中檢測路緣和車道線、將所述路緣和車道線連接成車道以及追蹤車道幾何信息。20.根據(jù)方案18的系統(tǒng)，其中，車道幾何信息包括車道曲率、相對于車道切線的車輛方位、以及到左車道邊界和右車道邊界的位移。


圖1是使用前和后攝像機及其它輸入源的車輛側(cè)向控制系統(tǒng)的框圖；圖2是主車輛的側(cè)向控制的雙輪車模型的示圖；圖3是顯示了側(cè)向控制模型的多種關(guān)鍵參數(shù)的主車輛的示圖；圖4是示出如何實施車輛側(cè)向控制模型的控制框圖；圖5是使用雙攝像機車道融合方法的車輛側(cè)向控制的系統(tǒng)框圖；圖6是使用來自雙攝像機的輸入的車道融合系統(tǒng)的第一實施例的框圖；圖7是使用來自雙攝像機的輸入的車道融合系統(tǒng)的第二實施例的框圖；圖8是示出對于已經(jīng)檢測到若干短線和一條長弧的場景的車道線表達的示例的示圖；圖9是示出了如何計算主車輛相對于車道邊界的位移的直方圖；圖10是用在圖7的車道追蹤模塊中的卡爾曼濾波器追蹤方法的流程圖；以及圖11是用在圖7的車道追蹤模塊中的粒子濾波器追蹤方法的流程圖。
具體實施例方式下面關(guān)于使用前視和后視攝像機的車道融合系統(tǒng)的本發(fā)明實施方式的討論實質(zhì)上僅僅是示例性的，其決不是為了限制本發(fā)明或其應(yīng)用或使用。許多現(xiàn)代車輛包括前視攝像機，和在應(yīng)用例如車道偏離警告和側(cè)向控制輔助中使用來自前視攝像機的圖像數(shù)據(jù)的系統(tǒng)。然而，來自前視攝像機的圖像可能被領(lǐng)先車輛妨礙， 或者被陽光、霧、雨、或雪遮蔽，其降低了依賴于圖像的應(yīng)用的可靠性。假定增加可用的后視攝像機，所述后視攝像機經(jīng)常主要用作備用輔助設(shè)備，則使用后視攝像機圖像數(shù)據(jù)作為前視攝像機圖像數(shù)據(jù)的補充是很有意義的。與GPS和數(shù)字地圖數(shù)據(jù)、車輛動態(tài)傳感器、和基于雷達的或能夠檢測道路上主車輛前邊的車輛的其它系統(tǒng)一起，前視和后視攝像機圖像能夠使用在高級應(yīng)用中以提高安全和車輛控制。在一種方法中，數(shù)據(jù)源直接用在車輛側(cè)向控制應(yīng)用中。圖1是通過使用前視和后視攝像機和其它數(shù)據(jù)源用于車輛的側(cè)向控制的系統(tǒng)10的框圖。如下面將要討論的，系統(tǒng)10 使用來自前視攝像機12和后視攝像機14的圖像數(shù)據(jù)。領(lǐng)先車輛位置系統(tǒng)16，其可以是長距離雷達(LRR)或其它類型的系統(tǒng)，追蹤領(lǐng)先車輛的位置，以便估計道路的路線。來自基于 GPS的導(dǎo)航系統(tǒng)或數(shù)字地圖18的道路曲率信息為系統(tǒng)10提供了另一個數(shù)據(jù)源。來自前視攝像機12、后視攝像機14、領(lǐng)先車輛位置系統(tǒng)16和數(shù)字地圖18的輸入都由車輛側(cè)向控制模塊20使用，該控制模塊20的運行將在下面詳細討論。圖2是用于車輛側(cè)向控制的雙輪車(bicycle)模型30的示圖，其通過在車輛的中心線處將每個車軸的兩個輪子并成一個輪得到。圖3是控制模型40的示圖，控制模型40 向雙輪車模型30增加更多細節(jié)。在圖2和圖3中相同的部件和尺度共用相同的參考標記， 這將一起討論。下面的表提供了圖2和3中所示出的部件和尺度的索引，包括其參考標記和描述。
參考標己符號描述30n/a雙輪車麵40n/a控制模型50n/a主車輛52n/a誦臺54n/a后輪胎56n/a重心點60n/a車道參考路線62K車道曲率64AyF前側(cè)向位移66Δγτ后側(cè)向位移68dF重心之前的縱向距離
權(quán)利要求
1.一種用于確定車道中車輛位置的方法，所述方法包括提供來自車輛車載的前視攝像機模塊的數(shù)據(jù)；提供來自車輛車載的后視攝像機模塊的數(shù)據(jù)；提供來自車輛車載的車輛動態(tài)傳感器的數(shù)據(jù)；和將來自前視攝像機模塊、后視攝像機模塊和車輛動態(tài)傳感器的數(shù)據(jù)融合成組合的車道幾何信息集以確定車道中車輛的位置。
2.根據(jù)權(quán)利要求1的方法，其中，車道幾何信息包括車道曲率、相對于車道切線的車輛方位、和到左車道邊界和右車道邊界的位移。
3.根據(jù)權(quán)利要求1的方法，其中，提供來自前視攝像機模塊的數(shù)據(jù)包括提供來自前面的成熟的車道感測系統(tǒng)的前面的車道幾何信息，而提供來自后視攝像機模塊的數(shù)據(jù)包括提供來自后面的成熟的車道傳感系統(tǒng)的后面的車道幾何信息。
4.根據(jù)權(quán)利要求3的方法，其中，將來自前視攝像機模塊、后視攝像機模塊和車輛動態(tài)傳感器的數(shù)據(jù)融合包括使用卡爾曼濾波器例程來聯(lián)合地估算車道幾何信息和前視攝像機模塊和后視攝像機模塊的未對準角度。
5.根據(jù)權(quán)利要求1的方法，其中，提供來自前視攝像機模塊的數(shù)據(jù)包括提供來自前攝像機的前圖像數(shù)據(jù)，提供來自后視攝像機模塊的數(shù)據(jù)包括提供來自后攝像機的后圖像數(shù)據(jù)。
6.根據(jù)權(quán)利要求5的方法，其中，將來自前視攝像機模塊、后視攝像機模塊和車輛動態(tài)傳感器的數(shù)據(jù)融合包括尋找前向圖像數(shù)據(jù)和后向圖像數(shù)據(jù)中的高密度像素、將所述高密度像素投影在車輛坐標框架中、從高密度像素中檢測路緣和車道線、將所述路緣和車道線連接成車道以及追蹤車道幾何信息。
7.根據(jù)權(quán)利要求6的方法，其中，尋找前向圖像數(shù)據(jù)和后向圖像數(shù)據(jù)中的高密度像素包括使用高斯金字塔例程，其中在不同的空間尺度處的二進制圖像彼此相減。
8.根據(jù)權(quán)利要求6的方法，其中，將所述高密度像素投影在車輛坐標框架中包括使用迭代程序以移除徑向和切向變形，和旋轉(zhuǎn)和平移變換程序，以在車輛坐標框架中生成多個高密度像素。
9.一種用于確定車道中車輛位置的方法，所述方法包括提供來自車輛車載的前視攝像機的圖像數(shù)據(jù)；提供來自車輛車載的后視攝像機的圖像數(shù)據(jù)；和將來自前視攝像機和后視攝像機的圖像數(shù)據(jù)融合成組合的車道幾何信息集以確定車道中車輛的位置。
10.一種用于確定車道中車輛位置的系統(tǒng)，所述系統(tǒng)包括第一攝像機，用于捕獲來自車輛的前視的圖像；第二攝像機，用于捕獲來自車輛的后視的圖像；和處理器，其配置為接收來自第一攝像機和第二攝像機的圖像，并使用來自第一攝像機和第二攝像機的圖像的融合來計算車道幾何信息。
全文摘要
本發(fā)明涉及使用前視和后視攝像機的車道融合系統(tǒng)，具體地，根據(jù)本發(fā)明的教導(dǎo)，公開了一種用于計算車道曲率和相對于車道邊界的主車輛位置和方位的方法和系統(tǒng)，其使用來自前視和后視攝像機的圖像數(shù)據(jù)和車輛動態(tài)傳感器作為輸入。主車輛包括位于前面和后面處的攝像機，其目的之一是可以用于檢測車道邊界例如路邊和車道線。主車輛還包括車輛動態(tài)傳感器，其包括車速和橫擺率。開發(fā)了一種方法，其計算車道曲率和相對于車道參考路線的主車輛位置，其中車道參考路線是由從前和后攝像機圖像的融合所提取的車道邊界得到的。本發(fā)明中提供的數(shù)學模型包括卡爾曼過濾追蹤例程和粒子過濾器追蹤例程。
文檔編號B60W40/06GK102398598SQ20111025800
公開日2012年4月4日 申請日期2011年7月20日 優(yōu)先權(quán)日2010年7月20日
發(fā)明者S·曾 申請人:通用汽車環(huán)球科技運作有限責任公司