本說明書涉及駕駛員輔助系統(tǒng)。

背景技術(shù)：

先進駕駛員輔助系統(tǒng)(adas)旨在使車輛系統(tǒng)自動化、強化，從而實現(xiàn)更好的安全駕駛。許多駕駛員輔助系統(tǒng)利用有關(guān)車輛位置、方向和運動狀態(tài)的信息來以各種方式輔助駕駛員。該信息甚至可用于車輛自動駕駛。

其中，視覺測距可用于確定車輛的位置。在視覺測距系統(tǒng)中，攝像頭記錄輸入圖像，并進行圖像校正。隨后，檢測圖中特征，在圖像幀之間匹配特征，并且例如通過使用相關(guān)性建立兩個圖像的對應(yīng)關(guān)系、通過提取與關(guān)聯(lián)特征來建立光流場，或者利用盧卡斯-卡納德(lucas-kanade)方法建立光流場。然后檢測測程誤差，去除相應(yīng)的界外值，根據(jù)光流，利用例如卡爾曼濾波器或通過使基于該特征的幾何性質(zhì)的代價函數(shù)最小化來估計攝像頭運動。

us2014/0247352公開了一種多攝像頭俯視視覺系統(tǒng)，用于生成拼接的虛擬俯視圖像。

以下參考文獻[1]至[12]與本說明書的主題相關(guān)，因此通過引用并入本文。

[1]rezan.jazar，《車輛動力學(xué)：理論與應(yīng)用》，斯普林格，2008年3月19日。

[2]thomasd.gillespie，《車輛動力學(xué)的基本原理》，美國機動車工程師協(xié)會，1992年。

[3]alonzokelly，《自主車輛的基本動力學(xué)》，卡內(nèi)基梅隆大學(xué)機器人學(xué)院，1994年。

[4]gideonp.stein，ofermano，amnonshashua，《計算車輛自身運動的穩(wěn)健方法》，美國電氣和電子工程師協(xié)會智能車輛研討會，2000年。

[5]p.barreto，frédérickmartin，raduhoraud，《運用中心反射折射圖像進行視覺伺服/跟蹤》，國際實驗用機器人學(xué)研討會，先進機器人系列，2002年。

[6]alejandroj.weinstein和kevinl.moore，《阿克曼轉(zhuǎn)向車輛戶外自主導(dǎo)航的姿態(tài)估計》，2010年美國電氣和電子工程師協(xié)會國際工業(yè)自動化大會記錄，智利瓦爾帕萊索，2010年3月。

[7]oliverpink，frankmoosmann，alexanderbachmann，《車輛定位和自身運動估計的視覺特征》，美國電氣和電子工程師協(xié)會智能車輛研討會的會議記錄，2009年。

[8]d.cheda，d.ponsa，a.m.lopez，《先進駕駛員輔助系統(tǒng)環(huán)境下的攝像頭自身運動估計》，智能運輸系統(tǒng)年會，2010年。

[9]gimheelee，friedrichfraundorfer，marcpollefeys，《裝配普通攝像頭的自動駕駛車輛的運動估計》，計算機視覺與模式識別會議，2013年。

[10]marcozucchelli，josésantos-victor，henriki.christensen，《光流法的約束結(jié)構(gòu)和運動估計》，國際模式識別大會，2002年。

[11]dansimon，《最佳狀態(tài)估計：卡爾曼、hinfinity法和非線性方法》，約翰·威利父子出版公司，2006年。

[12]p.waynepower，johann.aschoones，《用于前景分割的背景混合模型的解說》，新西蘭圖像與視覺計算國際會議的會議記錄，2002年。

參考文獻[1]、[2]、[3]說明了可用于自身運動環(huán)境的車輛動力學(xué)模型。

參考文獻[4]中，stein等人提出了單個攝像頭應(yīng)用，其中車輛的自身運動與道路模型一致。將兩個圖像中的圖像特征組合在全局概率函數(shù)中，該函數(shù)引入了全局約束以應(yīng)對光圈問題。

參考文獻[5]中，barreto等人描述了使用中心反射折射系統(tǒng)對機器人運動進行視覺控制，并呈現(xiàn)了將機器人的關(guān)節(jié)速度與圖像觀察相關(guān)聯(lián)的雅可比矩陣。所給出的解被當(dāng)作最小二乘法問題，實際上被定義為可用于擴展卡爾曼濾波器的狀態(tài)矢量。

參考文獻[6]中，alejandro等人研究了阿克曼轉(zhuǎn)向車輛的定位方案，該方案通過低成本全球定位系統(tǒng)(gps)和傾斜儀進行戶外自主導(dǎo)航。他們使用擴展卡爾曼濾波器估計車輛的姿態(tài)和傳感器偏差。

參考文獻[7]中，pink等人提出了一種使用視覺特征進行車輛姿態(tài)估計和運動跟蹤的方法。他們假定初始車輛姿態(tài)，然后隨著時間在地理坐標(biāo)中跟蹤姿勢，使用圖像數(shù)據(jù)作為唯一輸入。他們在阿克曼模型的基礎(chǔ)上跟蹤車輛位置。

參考文獻[8]中，cheda等人研究了在先進駕駛員輔助系統(tǒng)的環(huán)境下單目相機的自身運動估計，并且比較了非線性和線性算法的性能。

參考文獻[9]中，lee等人提出了一種自動駕駛車輛的視覺自身運動估計算法。他們將一套多攝像頭系統(tǒng)模擬為一個普通攝像頭并應(yīng)用車輛的非完整運動約束。

參考文獻[10]中，marco等人提供了用于光流的結(jié)構(gòu)和運動估計的約束最小化問題的公式。他還介紹了使用levenberg-marquardt算法和直接投影解決優(yōu)化問題的方案。

參考文獻[11]中，dansimon在第301頁第10.2節(jié)中提出了多模型估計方法，其中重新擬定了卡爾曼濾波器的更新階段，以便對不同的模型加以權(quán)衡。

參考文獻[12]中，power和schoones描述了高斯混合模型(gmm)算法和期望最大化法的近似算法。

技術(shù)實現(xiàn)要素：

根據(jù)本說明書，車輛的自身運動被定義為攝像頭相對于環(huán)境中固定坐標(biāo)系(即世界坐標(biāo)系)的三維運動。此外，自身運動還指三維世界坐標(biāo)系中的給定平面中的二維運動，這種自身運動稱為“二維自身運動”。

根據(jù)本說明書，自身運動是通過光流計算的。光流是由攝像頭和場景之間的相對運動引起的圖像的表觀運動，其中“場景”指的是車輛周圍的物體。

根據(jù)本說明書的一個方法，采用轉(zhuǎn)向幾何原理的阿克曼模型來描述車輛運動，并采用遞增的姿態(tài)更新作為框架來整合多個車輛姿態(tài)數(shù)據(jù)源。

光流是利用在一個圖像序列的圖像幀中探測到的特征計算的，之后在連續(xù)幀中進行匹配。光流信息是用于生成在兩個圖像幀或連續(xù)圖像中探測到的特征的光流場。連續(xù)圖像是三維場景在二維平面中的投影，也被稱為“視點平面”。

光流的估算可使用道路模型加以簡化。道路形成一個簡單的平面結(jié)構(gòu)，并可僅用三個主要參數(shù)表示：前移、俯仰和橫擺。不過，根據(jù)本說明書，在不使用道路模型的情況下，也可對自身運動進行足夠精確的估算。

根據(jù)第二種辦法，使用horn-schunck方法估算光流。采用全局約束解決光圈問題，并將道路模型與流場相擬合，以去掉界外值。

根據(jù)本說明書，全景環(huán)視系統(tǒng)采用四個攝像頭，用于生成一幅全景環(huán)視圖，四個攝像頭的圖像合并為一幅投影到地平面(代表街道標(biāo)高)的投影圖，也稱為“頂視圖”。

二維自身運動根據(jù)頂視圖的仿射投影計算得出。用隨機采樣一致性算法(ransac)等適當(dāng)程序篩選出光流場的界外值，如測量誤差或移動物體的矢量等。

全景環(huán)視圖仿射投影到地平面上的投影視圖通過預(yù)先校準(zhǔn)予以解讀，預(yù)先校準(zhǔn)可提供深度和尺度信息?；蛘?或此外)，根據(jù)運動算法重建一個結(jié)構(gòu)，該結(jié)構(gòu)可將觀察到的場景進行明確重建，從而提供對物體距離的一個預(yù)估。

根據(jù)一個實施案例，對運動進行篩選，以獲得一段時間內(nèi)的一致位置。跟蹤過程使用一致的運動模型來預(yù)估車輛的實際位置。根據(jù)本說明書，使用阿克曼轉(zhuǎn)向模型作為運動模型來表述符合阿克曼轉(zhuǎn)向幾何原理的車輛。

根據(jù)另一個實施案例，將阿克曼模型與多個測程測量值(如gps測量值、車載傳感器測量值等)相結(jié)合。

首先，本說明書公開了確定機動車(如乘用車、多用途運載車或面包車)的自身運動的方法。

前視攝像頭記錄連續(xù)圖像的第一序列，左視攝像頭記錄連續(xù)圖像的第二序列。右視攝像頭記錄連續(xù)圖像的第三序列，后視攝像頭記錄連續(xù)圖像的第四序列。第一、二、三、四圖像序列各自至少包括兩幅連續(xù)圖像。

將各圖像序列轉(zhuǎn)發(fā)給機動車的計算單元。計算單元將連續(xù)圖像的第一、二、三、四序列進行合并，從而獲得合并后的圖像序列。合并后的圖像相當(dāng)于在給定時間的車輛周圍的全景環(huán)視圖或360度視圖。

相鄰攝像頭各自的圖像和視野優(yōu)選至少部分地重疊。作為示例，這些圖像可以單個像素為基礎(chǔ)，與像素的亮度值相關(guān)聯(lián)，通過匹配亮度值而進行合并。根據(jù)另一個實施案例，將相鄰攝像頭的圖像中層次更高的特征(如高對比度或亮度梯度的線條、邊緣或區(qū)域等)相互匹配。在簡單實施案例中，圖像是根據(jù)攝像頭的視野、位置和方向進行的合并。

合并后圖像序列的圖像或其補丁利用仿射投影或仿射變換投影到地平面，從而生成投影圖像序列。另外，再根據(jù)投影圖像序列確定二維光流。光流由車輛周圍不同目標(biāo)物體的多個運動矢量組成。根據(jù)一個實施案例，通過對比兩個適時連續(xù)的投影圖像，提供在給定時間的光流。

車輛自身運動以光流為基礎(chǔ)。尤其是，通過對比第一和第二次投影圖像，并通過確定與周圍某個物體相對應(yīng)的一個或一組像素的移動量，得出自身運動。根據(jù)當(dāng)前應(yīng)用，自身運動可根據(jù)全景環(huán)視系統(tǒng)的單個攝像頭的圖像得出，也可根據(jù)全景環(huán)視系統(tǒng)所有攝像頭的合并圖像得出。

車輛的運動學(xué)狀態(tài)，如位置、速度或運動等，均可根據(jù)車輛的自身運動確定。舉例而言，可確定車輛相對于其先前位置、相對于固定坐標(biāo)系、相對于周圍某個物體或相對于瞬時曲率中心的運動學(xué)狀態(tài)。

根據(jù)一個實施案例，自身運動的獲得包括根據(jù)光流得到車輛圍繞瞬時曲率中心的角速度，再利用得到的角速度獲得車輛速度，尤其是利用阿克曼轉(zhuǎn)向模型，得出車輛在與地平面平行的平面中的重心速度。

根據(jù)一個特定實施案例，自身運動的確定包括利用目標(biāo)物體先前的位置、車輛相對于該目標(biāo)物體的先前速度和圍繞瞬時曲率中心旋轉(zhuǎn)的車輛橫擺運動的角速度，獲得目標(biāo)物體在地平面上的當(dāng)前位置矢量和相對目標(biāo)物體的當(dāng)前速度。

根據(jù)另一個實施案例，利用阿克曼轉(zhuǎn)向模型根據(jù)車輪轉(zhuǎn)速和轉(zhuǎn)向角得出圍繞瞬時曲率中心的車輛橫擺運動的角速度。尤其是，可將獲得的角速度與得出的自身運動結(jié)合成一個遞增的姿態(tài)更新，并將其進一步用作預(yù)測濾波器(例如卡爾曼濾波器)的輸入信息?；蛘哌€可使用其他濾波器，如遞推最小二乘法估計器或二次指數(shù)平滑濾波器或其它平滑濾波器，例如用于數(shù)字信號處理的多種低通濾波器等。

根據(jù)本說明書的實施案例，從例如得出的車輛自身運動、車載傳感器和全球定位系統(tǒng)(gps)等不同來源獲得的車輛運動學(xué)狀態(tài)可用作相同預(yù)測濾波器的輸入信息，也可用作不同預(yù)測濾波器的輸入信息，并且將不同預(yù)測濾波器的輸出結(jié)果結(jié)合在一起，以構(gòu)成對車輛運動學(xué)狀態(tài)的預(yù)估。

根據(jù)另一個實施案例，車輛運動的不同來源可合并或組合成一個概率性框架。在考慮先前測量值的情況下，確定各來源正確的可能性。之后再用最正確的來源更新姿態(tài)。在一個實施案例中，車輛運動的不同來源在高斯混合模型中進行混合。

根據(jù)一個實施案例，在利用光流推導(dǎo)自身運動時，需對運動矢量采用隨機抽樣一致性算法，運動矢量既可是光流矢量，也可是自身運動矢量?？稍诓捎妙A(yù)測濾波器(比如卡爾曼濾波器)之前和/或之后應(yīng)用隨機抽樣一致性算法程序。根據(jù)隨機抽樣一致性算法程序，通過回歸到數(shù)據(jù)子集對模型加以擬合，并通過測量模型的數(shù)據(jù)界內(nèi)值評估模型的質(zhì)量。重復(fù)此過程直到解具有預(yù)定的統(tǒng)計顯著性。

作為示例，第一步驟是從輸入數(shù)據(jù)集中隨機抽取包含最小數(shù)據(jù)項的樣本子集。僅采用此樣本子集的元素計算擬合模型和相應(yīng)的模型參數(shù)。樣本子集的大小是足以確定模型參數(shù)的最小單位。在第二步驟，采用算法驗證整個數(shù)據(jù)集中的哪些元素與由第一步驟中獲得的預(yù)估模型參數(shù)具現(xiàn)化的模型一致。如果數(shù)據(jù)元素不符合用于定義噪聲影響所造成的最大偏差的某一誤差閾值范圍內(nèi)的預(yù)估模型參數(shù)的集合具現(xiàn)化后的的擬合模型，則該數(shù)據(jù)元素將被視為界外值。

根據(jù)一個實施案例，確定自身運動包括根據(jù)光流推導(dǎo)單個目標(biāo)物體的運動矢量以及根據(jù)光流的運動矢量推導(dǎo)自身運動的矢量，也稱為平均運動矢量。在自身運動矢量中應(yīng)用預(yù)測濾波器(例如卡爾曼濾波器)，以預(yù)測自身運動的未來矢量或車輛的未來位置，從而跟蹤車輛位置。

在一個特定實施案例中，預(yù)測濾波器的輸入來自一個或多個自身運動矢量和運動傳感器值，運動傳感器值例如為輪速傳感器、加速度傳感器和全球定位系統(tǒng)(gps)輸出數(shù)據(jù)。根據(jù)另一個實施案例，檢測對應(yīng)于沒有位于地平面上的物體的圖像區(qū)域，并忽略或遮掩檢測到的圖像區(qū)域。

根據(jù)另一個方面，本說明書公開了計算機程序產(chǎn)品，如永久存儲器中的可執(zhí)行文件(如記憶棒、硬盤或dvd)或易失性存儲器中的可執(zhí)行文件(如計算機ram)。當(dāng)被加載到處理器的程序存儲器中時，可執(zhí)行文件或可執(zhí)行代碼將使處理單元執(zhí)行上面所述方法中的一種方法。

根據(jù)另一個方面，本說明書公開了機動車輛的自身運動檢測系統(tǒng)。自身運動檢測系統(tǒng)包含一個計算單元，計算單元具備接收前視攝像頭數(shù)據(jù)的第一輸入連接部、接收右視攝像頭數(shù)據(jù)的第二輸入連接部、接收左視攝像頭數(shù)據(jù)的第三輸入連接部以及接收后視攝像頭數(shù)據(jù)的第四輸入連接部。

四個輸入連接部也可通過單個輸入連接部實現(xiàn)，例如，如果通過交替的時間片或交替的數(shù)據(jù)塊發(fā)送各個攝像頭的圖像數(shù)據(jù)。特別是攝像頭的數(shù)據(jù)可通過數(shù)據(jù)總線的電纜傳輸。

計算單元包括處理單元，例如具有計算機存儲器的微處理器，該微處理器可操作如下：通過各自的輸入連接部，從前視攝像頭獲取第一序列的連續(xù)圖像、從左視攝像頭獲取第二序列的連續(xù)圖像、從右視攝像頭獲得第三序列的連續(xù)圖像、從后視攝像頭獲得第四序列的連續(xù)圖像。

此外，單個攝像頭或多個攝像頭可包括用于基本圖像處理的攝像處理單元。攝像處理單元不同于用于自身運動計算的主處理單元。

此外，該處理單元也可合并第一序列的連續(xù)圖像、第二序列的連續(xù)圖像、第三序列的連續(xù)圖像以及第四序列的連續(xù)圖像，以獲得合并圖像的序列，并通過仿射投影或仿射變換，將合并后圖像序列的圖像或其補丁在地平面上進行虛擬投射，從而獲得投射后的圖像的序列。

此處，虛擬投影是指根據(jù)投影變換算法將第一存儲器區(qū)域的內(nèi)容映射到第二存儲區(qū)域的內(nèi)容的運算。

此外，處理單元操作為根據(jù)投影圖像序列確定光流，以基于光流確定車輛的自身運動，并基于自身運動預(yù)測車輛的運動學(xué)狀態(tài)。光流包括車輛周圍的目標(biāo)物體的多個運動矢量。

此外，本說明書公開了上述自身運動檢測系統(tǒng)，該檢測系統(tǒng)包括連接到第一輸入部的前視攝像頭、連接到第二輸入部的右視攝像頭、連接到第三輸入部的左視攝像頭以及連接到第四輸入部的后視攝像頭。

此外，本說明書公開了帶有上述自身運動檢測系統(tǒng)的車輛或機動車輛，其中車輛前端安裝有前視攝像頭、車輛右端安裝有右視攝像頭、車輛左端安裝有左視攝像頭，車輛后端安裝有后視攝像頭。

附圖說明

現(xiàn)在利用以下附圖進一步說明本說明書的主題：

圖1展示具有全景環(huán)視系統(tǒng)的車輛，

圖2圖解圍繞瞬時旋轉(zhuǎn)中心的圖1中的車輛的車輛運動，以及

圖3展示由圖1的全景環(huán)視系統(tǒng)記錄的像點在地平面上的投影，

圖4進一步詳細說明圖3的地平面投影，以及

圖5展示推導(dǎo)車輛自身運動的過程。

具體實施方式

下文詳細描述本說明書的實施案例。然而，對于本領(lǐng)域技術(shù)人員而言明顯的是，在具體實施案例中可能并不需要此類細節(jié)。

圖1顯示了配備有全景環(huán)視系統(tǒng)11的車輛10。該全景環(huán)視系統(tǒng)11包括前視攝像頭12、右視攝像頭13、左視攝像頭14和后視攝像頭15。攝像頭11至14與控制器的cpu相連，該cpu沒在圖1中顯示?？刂破鬟B接到其他的傳感器和單元，如速度傳感器、轉(zhuǎn)向角傳感器、gps單元以及加速度和方位傳感器。

圖2說明了車輛10的車輛運動。注明車輛的軸距b和輪距l(xiāng)。根據(jù)阿克曼轉(zhuǎn)向幾何原理設(shè)計車輛10，其中車輛的可轉(zhuǎn)向的前輪的方向被調(diào)整為使車輛的四個車輪均定向為在瞬時旋轉(zhuǎn)圓圈的切線方向上。瞬時曲率中心(icc)以距離r與車輛10的后軸線對齊，其中距離r是車輛的瞬時旋轉(zhuǎn)相對于橫擺運動的半徑。

示出了固定到車輛的基準(zhǔn)點并且與車輛的縱向軸線和橫向軸線對齊的二維車輛坐標(biāo)系。用矢量指明了瞬時曲率中心相對于車輛坐標(biāo)系的位置。

根據(jù)圖2的阿克曼轉(zhuǎn)向幾何原理，內(nèi)后輪、瞬時曲率中心和內(nèi)前輪之間的角度α等于內(nèi)前輪的轉(zhuǎn)向角α。這里，“內(nèi)輪”是指接近曲率中心的相應(yīng)車輪。內(nèi)前輪相對于地平面的運動由字母v表示。

圖3顯示了像點在地平面16上的投影?？筛鶕?jù)右視攝像頭13的圖像傳感器上的像點位置來預(yù)估相對于豎直面的傾斜角θ。如果像點符合道路特征，則相應(yīng)的目標(biāo)點的位置就是像點在地平面上的投影。在圖3的示例中，攝像頭13的高度h超過地平面。因此，對應(yīng)的目標(biāo)點位于車輛10右側(cè)的距離h*cos(θ)處。

根據(jù)一個實施案例，采用恒定加速度模型和單步程序跟蹤車輛，其中，在k*δt時間點的車輛位置x_k和車輛速度v＝d/dt(x_k)利用其在之前時間(k-1)*δt的位置和速度值根據(jù)以下方程式預(yù)測得出：

或

時間單位δt＝1。這里，xk,xk-1指的是車輛相對于圖2中固定于車輛10的車輛坐標(biāo)系的位置，其中，分別評估時間k*δt和(k-1)*δt時的車輛10位置xk,xk-1；并評估在時間(k-1)*δt時的車輛坐標(biāo)系位置。

基于參考點相對于瞬時曲率中心的位置和當(dāng)前角速度，可根據(jù)以下公式推導(dǎo)出參考點處的車速：

式中，是瞬時旋轉(zhuǎn)矢量，是瞬時曲率中心相對于車輛坐標(biāo)系的位置。方程(2)和方程(2a)都采用了根據(jù)方程(3)的關(guān)系。在方程(1)至方程(2a)中，為便于閱讀，已省略矢量箭頭。

相對于固定參考坐標(biāo)系(又稱為“世界坐標(biāo)系”)的車輛位置x_k'是根據(jù)矢量x_k和相對于固定參考坐標(biāo)系的車輛坐標(biāo)系位置r推導(dǎo)得出的。舉例而言，利用gps和/或諸如輪速傳感器、轉(zhuǎn)向角傳感器、加速度和方向傳感器等可推導(dǎo)出車輛坐標(biāo)系的運動。

根據(jù)另一個實施案例，可通過整合隨時間變化的加速度來提高精確度

其中，ζ與角轉(zhuǎn)動ω的時間導(dǎo)數(shù)相關(guān)或成比例。方程(4)右邊的第一項也被稱為“歐拉加速度”，第二項也被稱為“科里奧利加速度”。假設(shè)車輛繼續(xù)行進，離心加速度由車輛輪胎予以補償且不影響車輛運動。

一般情況下，角速度ω會隨時間變化。根據(jù)一個實施案例，在時間(k-1)*δt的角速度ω可用于根據(jù)方程(2)、(2a)或(3)的計算中。

根據(jù)本說明書，時間(k-2)*δt和(k-1)*δt之間的平均速度v可通過比較拍攝圖像的兩個相繼的投影推導(dǎo)得出。在第一個近似值中，平均速度被用作時間(k-1)*δt的瞬時速度。

根據(jù)一個實施案例，利用阿克曼轉(zhuǎn)向模型根據(jù)前輪轉(zhuǎn)向角和前輪轉(zhuǎn)速可推導(dǎo)得出角速度ω。阿克曼轉(zhuǎn)向模型可利用阿克曼幾何原理提供車輛轉(zhuǎn)向的充分逼近值，特別是對于輪胎與道路之間沒有或很少有滑動時的緩慢速度而言。

反之，通過轉(zhuǎn)向柱的角度位置和前輪之間的已知橫向距離l，又可推導(dǎo)得出前輪的轉(zhuǎn)向角。根據(jù)另一個實施案例，由車輛攝像頭的圖像序列推導(dǎo)得出的自身運動可用于推導(dǎo)角速度ω。

參考圖2，相對于瞬時曲率中心和內(nèi)前輪的曲率半徑r_2可推導(dǎo)成r_2＝b/sin(α)，其中，α是內(nèi)前輪的轉(zhuǎn)向角，b是車輛軸距。如果內(nèi)前輪以速度v移動(該速度v可通過內(nèi)前輪轉(zhuǎn)速和車輪直徑推導(dǎo)得出)，則水平面上車輛的瞬時旋轉(zhuǎn)角速度(又稱為“橫擺角速度”)是ω＝v/r_2＝v*sin(α)/b。

為提高精度，利用來自另外的測距傳感器如gps系統(tǒng)、車輛的速度和加速度傳感器或其他類型測距傳感器的輸入數(shù)據(jù)可計算瞬時位置。特別是，全球定位系統(tǒng)(gps)位置值可用于糾正相對于正確位置的偏移。

根據(jù)一個實施案例，按照在地平面上的仿射投影或仿射變換預(yù)估自身運動，其中，全景環(huán)視系統(tǒng)的拍攝圖像結(jié)合至地平面上的投影中。

圖3和圖4顯示了在地平面16上的投影。

假設(shè)像點對應(yīng)地平面上的物體的一個目標(biāo)點，像點可被投影到地平面上相應(yīng)目標(biāo)點的位置。入射角θ是根據(jù)攝像頭傳感器上的像點的位置推導(dǎo)得出的。該投影的位置y于是利用街道標(biāo)高(streetlevel)之上的攝像頭傳感器高度h推導(dǎo)得出的，即y＝h*cos(θ)。

圖4顯示了圖3的仿射投影的等距視圖。在圖4中，視圖端口平面17內(nèi)的某個點用p＝(u、v)表示，其在地平面16中對應(yīng)的點用p＝(x、y)表示。視圖端口平面17與投影中心c之間的距離用字母“f”表示。

根據(jù)另一個實施案例，評估拍攝圖像并重構(gòu)觀察到的場景。在一個實施案例中，檢測人行道并預(yù)估其高度。根據(jù)另一個實施案例，檢測靜止物體(如燈柱或樹)，并預(yù)估它們相對于地平面的方位。

沒有位于街道標(biāo)高處和/或帶有自行運動的物體會使光流變形并導(dǎo)致所推導(dǎo)得出的自身運動不準(zhǔn)確。根據(jù)一個實施案例，可使用隨機抽樣一致性算法程序來過濾掉此類物體產(chǎn)生的光流矢量，去除界外值。根據(jù)另一個實施案例，使用邊緣識別和數(shù)字地圖可識別道路邊界，該數(shù)字地圖被存儲在車輛10的計算機存儲器中。

根據(jù)另一個實施案例，比如可通過使用車輛的加速度和/或方向傳感器來確定車輛的側(cè)傾和俯仰運動，并且可通過減去或抵消側(cè)傾和俯仰運動來校正自身運動矢量。

根據(jù)另一個實施案例，推導(dǎo)得出的自身運動可用于車道保持用途或其他電子穩(wěn)定用途。

舉例而言，圖5顯示了可用于獲取自身運動的程序。在步驟30中，從攝像頭11至16獲取拍攝圖像。拍攝圖像在步驟31中組合成合成圖像。在步驟32中，選擇圖像區(qū)域以確定自身運動。例如，與街道區(qū)域外的物體(如建筑物和其他設(shè)施)相對應(yīng)的圖像區(qū)域可能會被剪除。在步驟33中，比如通過應(yīng)用仿射變換或透視投影將像點投影到地平面。

在步驟34中，在連續(xù)圖像中識別相應(yīng)的像點。在步驟35中，通過比較相應(yīng)的像點的位置——例如通過計算相應(yīng)位置的位置矢量之間的矢量差來推導(dǎo)光流矢量。在步驟36中，應(yīng)用一個過濾程序，如執(zhí)行隨機采樣一致性算法程序或其他消除界外值的方法和插值法(interpolation)，或應(yīng)用卡爾曼濾波器。特別地，濾波可包括將給定時間窗的圖像值(如像點亮度值)存儲到計算機存儲器中以及計算圖像值的平均值。在步驟37中，根據(jù)光流推導(dǎo)出車輛的自身運動矢量。

圖5步驟的特定序列僅通過示例提供。舉例而言，攝像頭的圖像也可在投影到地平面后予以整合。

盡管上述描述包含了許多特殊性，但這些特殊性不應(yīng)被視為限制了實施案例范圍，而應(yīng)被看作僅僅是說明了可預(yù)見的實施案例。特別是上述實施案例優(yōu)點不應(yīng)被理解為限制了實施案例范圍，而僅僅是說明所述實施案例付諸實施后可能取得的成果。因此，實施案例的范圍應(yīng)由權(quán)利要求及其等價形式確定，而不是由給出的示例確定。

附圖標(biāo)記：

10車輛

11全景環(huán)視系統(tǒng)

12前視攝像頭

13右視攝像頭

14左視攝像頭

15后視攝像頭

16地平面

30-37方法步驟