前方路緣觀察系統(tǒng)中的增強的俯瞰視圖生成的制作方法
【專利摘要】本發(fā)明公開了前方路緣觀察系統(tǒng)中的增強的俯瞰視圖生成。一種用于利用來自左前部和右前部照相機的圖像來建立車輛前方區(qū)域的增強的虛擬俯瞰視圖的系統(tǒng)和方法。所述增強的虛擬俯瞰視圖不僅為駕駛員提供從原始照相機圖像無法直接得到的俯瞰視圖立體圖，而且移除了廣角鏡頭圖像中固有的失真和夸張的立體效果。所述增強的虛擬俯瞰視圖還包括對三種類型的問題的修正，這三種類型的問題典型地出現(xiàn)在去扭曲圖像中——包括車身部分到圖像內(nèi)的虛假突出物、圖像的邊緣周圍的低分辨率和噪聲以及地平面以上對象的“雙影”效果。
【專利說明】前方路緣觀察系統(tǒng)中的增強的俯瞰視圖生成
[0001]相關(guān)申請交叉引用
[0002]本申請要求于2013年5月23日提交的名稱為“前方路緣觀察系統(tǒng)中的增強的俯瞰視圖生成”的美國臨時專利申請序列號61/826，904的 優(yōu)先權(quán)日:的利益。

【技術(shù)領(lǐng)域】
[0003]本發(fā)明總體上涉及車輛前方的路緣和其他結(jié)構(gòu)的增強的俯瞰視圖圖像的顯示，更特別地，涉及用于利用來自左前部和右前部照相機的圖像合成車輛前方區(qū)域的增強的虛擬俯瞰視圖的系統(tǒng)和方法，其中，增強的虛擬俯瞰視圖包括對到視圖內(nèi)的虛假車身部分突出物、視圖邊緣中的低分辨率和圖像噪聲以及地面以上對象的雙重成像的修正。

【背景技術(shù)】
[0004]近些年來，車輛越來越普遍地配備前視照相機。來自前視照相機的圖像被用于各種應(yīng)用，包括車道偏離警告和碰撞警告。在這些應(yīng)用中，照相機圖像并不顯示給車輛駕駛員，而是相反地，圖像由車載計算機使用圖像處理技術(shù)進行分析，從這些圖像中檢測出車道邊界和潛在障礙物，并在需要時向駕駛員發(fā)出警告。
[0005]盡管新技術(shù)的出現(xiàn)使得緊湊、可靠和便宜的數(shù)碼照相機變?yōu)楝F(xiàn)實，但是長久以來的問題繼續(xù)困擾駕駛員。該問題是，在停車時，駕駛員無法精確判斷車輛前部相對于障礙物(例如路緣)的位置。當(dāng)駛?cè)胪＼嚳臻g時，由于車輛前部的阻擋，駕駛員固有地?zé)o法看到路緣，因此駕駛員不得不估計要向前開多遠一以期望不會碰到路緣。這種判斷能夠是困難的，因為其依賴于過去的經(jīng)驗，周邊視覺提示以及其他間接信息。如果駕駛員錯誤地判斷前方間隙，車輛可能無法足夠遠地駛?cè)胪＼嚳臻g，或者更糟的是，車輛前部可能碰到路緣，導(dǎo)致車輛損壞。
[0006]在停車操縱過程中，駕駛員通常專注于停車的許多個面，而可能沒有想到手動打開前方路緣觀察顯示器。然而，如果前方路緣觀察系統(tǒng)基于停車操縱的環(huán)境自動顯示最合適的前方圖像，大多數(shù)駕駛員將發(fā)現(xiàn)該視覺信息是有幫助的——特別是如果該系統(tǒng)不僅選擇了對駕駛員提供最有幫助的一個或更多個圖像，而且還提供增強的圖像，該增強的圖像具有對固有地存在于廣角鏡頭圖像中的視覺失真的修正。
[0007]需要一種前視停車輔助系統(tǒng)，其利用車輛前方的路緣和其他結(jié)構(gòu)的可用圖像，并將能使駕駛員對車輛前部相對于路緣或其他前方對象精確定位的優(yōu)化圖像提供給駕駛員。


【發(fā)明內(nèi)容】

[0008]根據(jù)本發(fā)明的教導(dǎo)，系統(tǒng)和方法被公開用于利用來自左前方和右前方照相機的圖像建立車輛前方區(qū)域的增強的虛擬俯瞰視圖。所述增強的虛擬俯瞰視圖不僅為駕駛員提供從原始照相機圖像無法直接得到的俯瞰立體圖，而且移除了廣角鏡頭圖像中固有的畸變和夸張的立體效果。所述增強的虛擬俯瞰視圖還包括對三種類型的問題的修正，這些問題典型地出現(xiàn)在去扭曲圖像中——包括車身部分到圖像內(nèi)的虛假突出物、圖像邊緣周圍的低分辨率和圖像/視頻噪聲以及地平面以上對象的“雙影”效果。
[0009]方案1、一種用于提供車輛前方區(qū)域的增強的俯瞰觀察的系統(tǒng)，所述系統(tǒng)包括:
[0010]安裝在車輛的左前部處的第一照相機；
[0011]安裝在車輛的右前部處的第二照相機；
[0012]與所述第一和第二照相機通信的圖像采集模塊，所述圖像采集模塊接收來自所述照相機的原始圖像，并且來自所述照相機的原始圖像具有大致前視圖立體圖；
[0013]包括存儲模塊的處理器，所述處理器配置為提供車輛前方區(qū)域的虛擬俯瞰視圖，其中，所述虛擬俯瞰視圖由來自所述照相機的原始圖像合成，并且所述虛擬俯瞰視圖包括對車身部分到所述視圖內(nèi)的虛假突出物、所述視圖的邊緣周圍的低分辨率和噪聲以及地平面以上對象的雙影效果的修正；以及
[0014]車輛的駕駛座區(qū)域中的顯示單元，用于顯示來自所述處理器的虛擬俯瞰視圖，用于由車輛駕駛員觀看。
[0015]方案2、根據(jù)方案I所述的系統(tǒng)，其中，對車身部分到視圖內(nèi)的虛假突出物的修正包括:識別所述虛擬俯瞰視圖中的遮蔽區(qū)域，其中所述遮蔽區(qū)域為所述虛擬俯瞰視圖中的車身部分虛假地展現(xiàn)為向前延伸過遠的區(qū)域，并且所述遮蔽區(qū)域利用基于已知車輛幾何尺寸和照相機位置信息的計算被識別。
[0016]方案3、根據(jù)方案2所述的系統(tǒng)，其中，所述遮蔽區(qū)域被合成地重新紋理化，以展現(xiàn)為所述虛擬俯瞰視圖中的地面，包括利用空間填充技術(shù)，其中，所述遮蔽區(qū)域基于來自所述原始圖像的周圍紋理和結(jié)構(gòu)并利用時間填充技術(shù)(temporal filling techniques)而被重新紋理化，其中，來自剛好在所述原始圖像中的遮蔽區(qū)域外部的實際像素基于車輛運動被置換到所述虛擬俯瞰視圖中的遮蔽區(qū)域內(nèi)。
[0017]方案4、根據(jù)方案I所述的系統(tǒng)，其中，對所述視圖的邊緣周圍的低分辨率和噪聲的修正包括:識別所述虛擬俯瞰視圖的左、右和上周邊附近的低分辨率區(qū)域，其中，所述低分辨率區(qū)域為所述虛擬俯瞰視圖中的圖像分辨率由于去扭曲(de-warp)而導(dǎo)致低的區(qū)域，并且進一步包括利用空間分辨率增強修正所述低分辨率區(qū)域，其中，空間分辨率增強包括:利用低分辨率區(qū)域內(nèi)部的顏色和強度組合所述低分辨率區(qū)域外部的表面紋理。
[0018]方案5、根據(jù)方案4所述的系統(tǒng)，其中，修正所述低分辨率區(qū)域進一步包括:利用時間分辨率增強，其中，時間分辨率增強包括:基于車輛運動將來自剛好在所述原始圖像中的低分辨率區(qū)域外部的實際像素置換到所述虛擬俯瞰視圖中的低分辨率區(qū)域內(nèi)。
[0019]方案6、根據(jù)方案I所述的系統(tǒng)，其中，對地平面以上對象的雙影效果的修正包括:利用從運動恢復(fù)結(jié)構(gòu)技術(shù)(structure-from-mot1n techniques),該技術(shù)利用一系列所述原始圖像和來自車輛雷達或激光雷達系統(tǒng)的對象數(shù)據(jù)以構(gòu)建車輛前方的對象的三維模型，并且所述三維模型用于消除所述虛擬俯瞰視圖中的雙重成像。
[0020]方案7、根據(jù)方案I所述的系統(tǒng)，其中，對地平面以上對象的雙影效果的修正包括:分析所述虛擬俯瞰視圖以檢測所述雙影效果，對于成對出現(xiàn)的特征假設(shè)地平面以上的新高度，并基于所述新高度重新運行去扭曲計算。
[0021]方案8、根據(jù)方案I所述的系統(tǒng)，其中，對地平面以上對象的雙影效果的修正包括:分析所述虛擬俯瞰視圖以檢測所述雙影效果，在合并之前找到來自所述第一和第二照相機的原始圖像中的共同特征點，以及利用圖像配準(zhǔn)技術(shù)轉(zhuǎn)換所述原始圖像，使得所述共同特征點在所述虛擬俯瞰視圖中對齊。
[0022]方案9、根據(jù)方案I所述的系統(tǒng)，其中，所述虛擬俯瞰視圖顯示于所述顯示單元上的第一視窗中，并且鳥瞰視圖顯示于所述顯示單元上的第二視窗中，其中，所述第一視窗大于所述第二視窗，并且所述鳥瞰視圖包括位于中心的車輛示圖，具有位于車輛示圖前方的前視圖圖像以及車輛示圖后方的后視圖圖像。
[0023]方案10、根據(jù)方案I所述的系統(tǒng)，其中，所述虛擬俯瞰視圖包括車輛前方的路緣是否將與車輛的低懸車身部件相接觸的指示，并且如果確定該車輛將接觸路緣，則提供警告。
[0024]方案11、一種用于提供車輛前方區(qū)域的增強的俯瞰觀察的方法，所述方法包括:
[0025]提供來自車輛上的安裝在前部的照相機的圖像，其中，所述圖像具有大致前視圖立體圖；
[0026]由來自所述照相機的圖像合成虛擬俯瞰視圖；
[0027]利用微處理器在所述虛擬俯瞰視圖上執(zhí)行去扭曲計算，以產(chǎn)生去扭曲的虛擬俯瞰視圖；
[0028]增強所述去扭曲的虛擬俯瞰視圖，以產(chǎn)生增強的虛擬俯瞰視圖，包括對車身部分到所述視圖內(nèi)的虛假突出物的修正，修正所述視圖的邊緣周圍的低分辨率和噪聲，并修正地平面以上對象的雙影效果；以及
[0029]在顯示設(shè)備上顯示所述增強的虛擬俯瞰視圖，用于由駕駛員觀看。
[0030]方案12、根據(jù)方案11所述的方法，其中，對車身部分到所述視圖內(nèi)的虛假突出物的修正包括:識別所述虛擬俯瞰視圖中的遮蔽區(qū)域，其中，所述遮蔽區(qū)域為所述虛擬俯瞰視圖中的車身部分虛假地展現(xiàn)為向前延伸過遠的區(qū)域，并且所述遮蔽區(qū)域利用基于已知車輛幾何尺寸和照相機位置信息的計算被識別。
[0031]方案13、根據(jù)方案12所述的方法，其中，所述遮蔽區(qū)域被合成地重新紋理化，以展現(xiàn)為所述虛擬俯瞰視圖中的地面，包括利用空間填充技術(shù)，其中，所述遮蔽區(qū)域基于來自所述圖像的周圍紋理和結(jié)構(gòu)并利用時間填充技術(shù)而被重新紋理化，其中，來自剛好在所述圖像中的遮蔽區(qū)域外部的實際像素基于車輛運動被置換到所述虛擬俯瞰視圖中的遮蔽區(qū)域內(nèi)。
[0032]方案14、根據(jù)方案11所述的方法，其中，對所述視圖的邊緣周圍的低分辨率和噪聲的修正包括:識別所述虛擬俯瞰視圖的左、右和上周邊附近的低分辨率區(qū)域，其中，所述低分辨率區(qū)域為所述虛擬俯瞰視圖中的圖像分辨率由于去扭曲而導(dǎo)致低的區(qū)域，并且進一步包括利用時間分辨率增強修正所述低分辨率區(qū)域，其中，時間分辨率增強包括:基于車輛運動將來自剛好在所述圖像中的低分辨率區(qū)域外部的實際像素置換到所述虛擬俯瞰視圖中的低分辨率區(qū)域內(nèi)。
[0033]方案15、根據(jù)方案14所述的方法，其中，修正所述低分辨率區(qū)域進一步包括:利用空間分辨率增強，其中，空間分辨率增強包括:利用所述低分辨率區(qū)域內(nèi)部的顏色和強度組合所述低分辨率區(qū)域外部的表面紋理。
[0034]方案16、根據(jù)方案11所述的方法，其中，對地平面以上對象的雙影效果的修正包括:利用從運動恢復(fù)結(jié)構(gòu)技術(shù)，該技術(shù)利用一系列所述圖像以構(gòu)建車輛前方的對象的三維模型，并且所述三維模型用于消除所述虛擬俯瞰視圖中的雙重成像。
[0035]方案17、根據(jù)方案11所述的方法，其中，對地平面以上對象的雙影效果的修正包括:分析所述虛擬俯瞰視圖以檢測所述雙影效果，對于成對出現(xiàn)的特征假設(shè)地平面以上的新高度，并基于所述新高度重新運行去扭曲計算。
[0036]方案18、根據(jù)方案11所述的方法，其中，對地平面以上對象的雙影效果的修正包括:分析所述虛擬俯瞰視圖以檢測所述雙影效果，在合并之前找到來自所述照相機的所述圖像中的共同特征點，以及利用圖像配準(zhǔn)技術(shù)轉(zhuǎn)換所述圖像，使得所述共同特征點在所述虛擬俯瞰視圖中對齊。
[0037]方案19、一種用于提供車輛前方區(qū)域的增強的俯瞰觀察的方法，所述方法包括:
[0038]提供來自車輛上的安裝在前部的照相機的圖像，其中，所述圖像具有大致前視圖立體圖；
[0039]由來自所述照相機的圖像合成虛擬俯瞰視圖；
[0040]利用微處理器在所述虛擬俯瞰視圖上執(zhí)行去扭曲計算，以產(chǎn)生去扭曲的虛擬俯瞰視圖；
[0041]增強所述去扭曲的虛擬俯瞰視圖，以通過對車身部分到視圖內(nèi)的虛假突出物的修正產(chǎn)生增強的虛擬俯瞰視圖，包括:通過計算所述增強的虛擬俯瞰視圖的哪些像素被車身部分遮擋來限定遮蔽區(qū)域，基于所述遮蔽區(qū)域周圍區(qū)域的圖像紋理和結(jié)構(gòu)來執(zhí)行所述遮蔽區(qū)域的空間填充，基于幀間運動執(zhí)行所述遮蔽區(qū)域的時間填充以將像素填充至所述遮蔽區(qū)域中，以及合并所述遮蔽區(qū)域的空間填充和所述時間填充；
[0042]修正所述增強的虛擬俯瞰視圖的邊緣周圍的低分辨率和噪聲，包括:識別所述增強的虛擬俯瞰視圖的邊緣周圍的低分辨率區(qū)域，基于所述低分辨率區(qū)域周圍的更高分辨率區(qū)域的圖像紋理來執(zhí)行所述低分辨率區(qū)域的空間分辨率增強，基于幀間運動執(zhí)行所述低分辨率區(qū)域的時間分辨率增強以填充像素至所述低分辨率區(qū)域中，以及合并所述低分辨率區(qū)域的空間分辨率增強和時間分辨率增強；
[0043]在所述增強的虛擬俯瞰視圖中修正地平面以上對象的雙影效果，包括:建立地面以上對象的三維模型，并基于所述三維模型渲染地面以上對象的圖像，所述地面以上對象包括在來自所述照相機的圖像中檢測到的路緣，利用應(yīng)用于來自所述照相機的圖像的立體視覺和從運動灰復(fù)結(jié)構(gòu)技術(shù)檢測到的地面以上對象，以及利用車載的其他傳感器檢測到的地面以上對象；以及
[0044]在顯示設(shè)備上顯示所述增強的虛擬俯瞰視圖，用于由駕駛員觀看。
[0045]方案20、根據(jù)方案19所述的方法，其中，所述虛擬俯瞰視圖包括車輛前方的路緣是否將與車輛的低懸車身部件相接觸的指示，并且如果確定車輛將接觸所述路緣，則提供敬生目口 ο
[0046]本發(fā)明的附加特征通過結(jié)合附圖將從以下說明和所附權(quán)利要求變得明顯。

【專利附圖】

【附圖說明】
[0047]圖1是包括能夠用于路緣觀察的前部照相機的車輛的俯視圖；
[0048]圖2是顯示圖1中車輛的側(cè)視圖，展示了照相機布置的更多細節(jié)；
[0049]圖3是用于自動和增強的路緣觀察的系統(tǒng)的示意圖；
[0050]圖4是增強的路緣觀察系統(tǒng)的第一實施例的系統(tǒng)的方框圖；
[0051]圖5是增強的路緣觀察系統(tǒng)的第二實施例的系統(tǒng)的方框圖；
[0052]圖6是增強的路緣觀察系統(tǒng)的第三實施例的系統(tǒng)的方框圖；
[0053]圖7是圖6系統(tǒng)的方框圖，展示了學(xué)習(xí)模塊如何操作；
[0054]圖8是用于在車輛中提供增強的前方路緣觀察的方法的流程圖；
[0055]圖9是圖3中展示的顯示設(shè)備的圖示，展示了實例顯示模式，或顯示設(shè)備屏幕上的視圖布置；
[0056]圖10是保險杠/橫梁區(qū)域中的車身部分如何能夠在虛擬俯瞰視圖中創(chuàng)建虛假突出物效果的圖示；
[0057]圖11是虛擬俯瞰視圖的圖示，在該虛擬俯瞰視圖中，由于照相機/車輛幾何結(jié)構(gòu)和圖像去扭曲而使圖10中展示的突出物虛假地向前延伸，從而創(chuàng)建遮蔽區(qū)域；
[0058]圖12是虛擬俯瞰視圖的圖示，在該虛擬俯瞰視圖中，通過圖像處理對遮蔽區(qū)域重新紋理化；
[0059]圖13是用于消除由車輛前部照相機圖像構(gòu)成的虛擬俯瞰視圖中出現(xiàn)的虛假車身部分的方法的流程圖；
[0060]圖14是虛擬俯瞰視圖的圖示，在該虛擬俯瞰視圖中，該視圖的某些部分展現(xiàn)了低分辨率和/或圖像噪聲；
[0061]圖15是用于消除由車輛前部照相機圖像構(gòu)成的虛擬俯瞰視圖的邊緣區(qū)域中的低分辨率和圖像噪聲的方法的流程圖；
[0062]圖16A和16B是分別來自左前部照相機和右前部照相機的虛擬俯瞰視圖的圖示；
[0063]圖17是當(dāng)左和右照相機圖像合并時，虛擬俯瞰視圖的一些部分如何能夠出現(xiàn)“雙影”的圖示；
[0064]圖18是用于在由車輛前部照相機圖像構(gòu)成的虛擬俯瞰視圖中消除地面之上障礙物的雙影效果的第一方法的流程圖；
[0065]圖19是用于在由車輛前部照相機圖像構(gòu)成的虛擬俯瞰視圖中消除地面之上障礙物的雙影效果的第二方法的流程圖；
[0066]圖20是用于創(chuàng)建由車輛前部照相機圖像構(gòu)成的增強的虛擬俯瞰視圖的方法的流程圖；
[0067]圖21是包括來自廣角鏡頭的圖像中固有的失真的車輛前方立體圖的圖示，其使用傳統(tǒng)去扭曲技術(shù)已經(jīng)被處理；
[0068]圖22是可用于修正圖21中所示失真的照相機圖像表面模型的圖示；
[0069]圖23是車輛前方立體圖的圖示，其中通過應(yīng)用圖22中的新虛擬圖像表面模型及其他處理技術(shù)已經(jīng)修正了圖21中看到的失真；以及
[0070]圖24是用于使用圖22中的照相機圖像表面模型創(chuàng)建由車輛前部照相機圖像構(gòu)成的增強的立體圖的方法的流程圖。

【具體實施方式】
[0071]致力于用于提供車輛前方區(qū)域的增強的虛擬俯瞰視圖的系統(tǒng)和方法的本發(fā)明的實施例的以下討論本質(zhì)上僅是示例性的，并不旨在限制本發(fā)明或其應(yīng)用或使用。例如，以下描述的本發(fā)明特別應(yīng)用于車輛的路緣前視成像。然而，本發(fā)明也可用于例如鏟車的其他機動設(shè)備中，并且還可以用在后視或側(cè)視場合中。
[0072]圖1是包括能夠用于路緣觀察的前部照相機的車輛100的俯視圖。該車輛100包括定位于車輛100的格柵之后或前保險杠中的一對照相機102、104。第一(或左)照相機102以水平或側(cè)向距離106與第二(或右)照相機104隔開。距離106將取決于車輛100的品牌和型號變化，但在一些實施例中可以大約為一米。照相機102和104具有從車輛的向前方向偏移水平旋轉(zhuǎn)角度(pan angle) Θ的光學(xué)軸線108。所取的角度Θ可以取決于車輛100的品牌和型號變化，但在一些實施例中為大約10°。不論照相機102和104所選擇的取向如何，每一照相機都使用魚眼鏡頭抓取超寬視野(FOV)以提供在區(qū)域110處部分地重疊的大約180° F0V。照相機102的FOV由扇區(qū)112代表，并且照相機104的FOV由扇區(qū)114代表。由照相機102和104抓取的圖像可由視頻采集設(shè)備116接收，并且這些圖像在具有下文將要詳細討論的圖像處理硬件和/或軟件的處理器118中進一步處理，以在顯示設(shè)備120上提供一個或更多個類型的駕駛員輔助圖像。
[0073]該處理器118是計算設(shè)備，其包括通常用于車輛中的任意類型的至少微處理器和存儲器模塊。該處理器118可以是還執(zhí)行其他計算功能的通用設(shè)備，或該處理器118可以是特別配置用于前方路緣視圖像處理的定制設(shè)計。在任何情況下，處理器118配置為執(zhí)行在本文討論的方法的步驟。即，用于增強的路緣觀察的方法意圖在例如處理器118的計算設(shè)備上執(zhí)行，而不是靠人腦或使用紙和筆執(zhí)行。
[0074]圖2顯示了車輛100的側(cè)視圖。右照相機104顯示為以距離130定位于道路/地面之上。該距離130將取決于車輛100的品牌和型號，但在一些實施例中大約為半米。知道該距離130有助于計算來自視野114的虛擬圖像以輔助車輛100的駕駛員。該照相機104(以及在車輛相對側(cè)上的照相機102)典型地對準(zhǔn)為使其以傾角P略微向下成角，以提供所示的視野114。該角度爐將根據(jù)車輛100的品牌和型號變化，但在一些實施例中可以為大約 10。。
[0075]如上面所討論的，圖1和2中的雙前部照相機布置在如今的車輛上常見，其圖像典型地用于碰撞躲避和車道偏離警告應(yīng)用中。也如上面所討論的，前方照相機圖像也能夠作為駕駛員輔助用作路緣觀察。然而，目前為止，仍然沒有用于在駕駛員期望的場合下提供增強的前方路緣觀察的自動系統(tǒng)。
[0076]圖3是用于自動和增強的路緣觀察的系統(tǒng)140的示意圖。該系統(tǒng)140包括關(guān)于圖1在上文中討論的元件，包括前部照相機102和104、視頻采集設(shè)備116、處理器118和顯示設(shè)備120。圖3提供展示基本元件的系統(tǒng)140的高級示圖。如能夠期望的，處理器118能夠包括許多不同功能和模塊，其將在接下來的附圖中進行討論。
[0077]圖4是作為增強的路緣觀察系統(tǒng)的第一實施例的系統(tǒng)160的方框圖。該第一實施例是簡單設(shè)計，其中用戶指令是用于啟動前方路緣觀察的主要觸發(fā)器。如果駕駛員想觀察前方路緣的圖像，用戶輸入162提供來自車輛100的駕駛員的信號。用戶輸入162可以是實體按鍵、開關(guān)、在例如顯示設(shè)備120的觸摸屏設(shè)備上的虛擬按鍵、檢測口頭指令的音頻麥克風(fēng)或者其他類型的輸入。當(dāng)駕駛員激活用戶輸入162時，這被當(dāng)作觸發(fā)器以在顯示設(shè)備120上提供前方路緣圖像，但只有在車輛速度低于某一閾值時才這樣，這可以是管制要求。車輛速度信號由車輛狀態(tài)模塊164提供，其可包括來自各種車輛傳感器的數(shù)據(jù)，包括車輛速度、轉(zhuǎn)向角、偏航角速度、縱向和側(cè)向加速度等。
[0078]如果用戶輸入162已經(jīng)被激活并且車輛速度低于閾值，則觸發(fā)模塊166將前方路緣觀察圖像狀態(tài)設(shè)定為是。開關(guān)168確定什么顯示在顯示設(shè)備120上。如果該前方路緣觀察圖像狀態(tài)等于是，則開關(guān)168命令處理模塊170使用來自視頻采集設(shè)備116的圖像輸入計算增強的前方路緣觀察圖像。最終，模式選擇模塊172確定哪個視圖或哪些視圖應(yīng)顯示在顯示設(shè)備120上。在系統(tǒng)160的簡單實施例中，模式選擇模塊172可選擇默認圖像布置(例如包括，前視立體圖以及虛擬俯瞰路緣視圖——在下文詳細討論)。模式選擇模塊172也可支持用戶選擇觀察模式——例如，通過用戶輸入162的方式。
[0079]如果前方路緣觀察圖像狀態(tài)等于否，則該開關(guān)168傳送控制到顯示控制模塊174，其在顯示設(shè)備120上顯示其他信息。例如，當(dāng)駕駛員不觀察前方路緣圖像時，該顯示設(shè)備120能夠充當(dāng)廣播或其他音頻/視頻接口，或?qū)Ш降貓D顯示器，或任意其他適當(dāng)?shù)墓δ堋?br> [0080]觸發(fā)模塊166、開關(guān)168、處理模塊170以及模式選擇模塊172都能夠被認為包含于前文討論的處理器118中。即，每一個執(zhí)行單獨功能的元件166-172不需要單獨的實體設(shè)備，而是能夠體現(xiàn)在全部包含于處理器118中的硬件或軟件中。
[0081]圖5是作為增強的路緣觀察系統(tǒng)的第二實施例的系統(tǒng)180的方框圖。該第二實施例包括用于啟動前方路緣觀察的附加觸發(fā)信號源。如果車輛速度低于閾值，用戶輸入162仍然為車輛100的駕駛員提供直接手段以表明他/她想觀察前方路緣圖像。然而，除了用戶輸入162之外，探索性模塊182使用各種數(shù)據(jù)源估計車輛的操作環(huán)境，并且應(yīng)用規(guī)則以確定駕駛員何時可能希望觀察前方路緣。探索性模塊182包括前文討論過的車輛狀態(tài)模塊164，其不僅提供車輛速度信號以與速度閾值比較，而且還可以提供轉(zhuǎn)向角、偏航角速度、縱向和側(cè)向加速度以及其他數(shù)據(jù)。規(guī)則能夠被限定為例如在車輛速度低并且轉(zhuǎn)向角大時觸發(fā)前方路緣觀察，從而指示可能的停車場操縱。
[0082]探索性模塊182也包括對象檢測模塊184，其從視頻采集設(shè)備116接收照相機圖像。對象檢測模塊184分析前方照相機圖像以檢測停車場、路緣或車輛100前面的任意其他對象。如果檢測到停車場，并且如果例如速度的其他車輛參數(shù)都合適，則可推斷駕駛員正在操縱車輛100?？吭谒鶛z測到的停車場中。這將導(dǎo)致探索性模塊182發(fā)出觸發(fā)信號以激活前方路緣觀察。即使沒有檢測到停車場，車輛100前面的路緣的存在也可導(dǎo)致該探索性模塊182發(fā)出觸發(fā)信號以激活前方路緣觀察。該路緣可以是具有明確的左右端的單獨豎立單元，或者其能夠是連續(xù)升高的人行道，如許多商業(yè)建筑停車場里常見的那樣。同樣，在車輛100緊前方檢測到的任意其他對象——例如墻、一個或更多個柱、圍欄等——可以觸發(fā)來自該探索性模塊182的對象檢測模塊184的前方路緣觀察信號。
[0083]探索性模塊182也包括GPS/地圖模塊186，其使用來自車載全球定位系統(tǒng)(GPS)接收器的車輛位置數(shù)據(jù)以及來自數(shù)字地圖和/或?qū)Ш较到y(tǒng)的數(shù)據(jù)以確定車輛100何時可能處于停車情形下。例如，由GPS和數(shù)字地圖數(shù)據(jù)能夠容易地確定車輛100處于商場的停車場中，或者處于辦公樓的停車場中。該認知可以用于使用對象檢測模塊184開始搜索停車位或路緣，或者如果例如速度和轉(zhuǎn)向角的車輛參數(shù)(來自車輛狀態(tài)模塊164)符合一定標(biāo)準(zhǔn)，該認知可以用于直接觸發(fā)前方路緣觀察。
[0084]探索性模塊182估計所有可得數(shù)據(jù)，如上文所討論的，并且基于一組預(yù)先設(shè)立的規(guī)則確定駕駛員是否可能期望前方路緣觀察。當(dāng)然，如果路緣觀察經(jīng)由用戶輸入162被選擇，則激活前方路緣觀察(只要車輛速度低于閾值)，不論探索性模塊182做出何種確定。同樣，如果駕駛員經(jīng)由用戶輸入162指示不需要路緣觀察，則停用前方路緣觀察，不論探索性模塊182做出何種確定。
[0085]用戶輸入162和探索性模塊182提供信號到觸發(fā)模塊166，該觸發(fā)模塊166依據(jù)這些信號將前方路緣觀察圖像狀態(tài)設(shè)定為是或否。如在第一實施例中那樣，開關(guān)168確定顯示什么在顯示設(shè)備120上。如果前方路緣觀察圖像狀態(tài)等于是，則開關(guān)168命令處理模塊170使用來自視頻采集設(shè)備116的圖像輸入計算增強的前方路緣觀察圖像。最終，模式選擇模塊172確定應(yīng)當(dāng)在顯示設(shè)備120上顯示哪個或哪些視圖。
[0086]在由系統(tǒng)180代表的第二實施例中，模式選擇模塊172能夠基于由來自探索性模塊182的數(shù)據(jù)定義的情景的環(huán)境下選擇優(yōu)選顯示模式。例如，如果車輛100正在向右轉(zhuǎn)，或者如果停車場被檢測到在車輛100的前面和右面，則前右立體圖可以被選擇為顯示模式，可能同時有虛擬俯瞰視圖。視圖的許多組合可以定義在顯示模式中。同樣，許多不同因素可以在用于選擇顯示模式的邏輯中加以考慮，目標(biāo)是顯示在當(dāng)前停車情景的環(huán)境下為駕駛員提供最大幫助的那個視圖或那些視圖。該模式選擇模塊172也可支持用戶選擇觀察模式一例如，通過用戶輸入162的方式。
[0087]如果前方路緣觀察圖像狀態(tài)等于否，則該開關(guān)168傳送控制到顯示控制模塊174，其在顯示設(shè)備120上顯示其他信息，如前文所討論的。觸發(fā)模塊166、開關(guān)168、處理模塊170和模式選擇模塊172均能夠被認為包含于處理器118中，也如前文所討論的。此外，系統(tǒng)180的探索性模塊182也能夠包含于處理器118中。
[0088]圖6是作為增強的路緣觀察系統(tǒng)的第三實施例的系統(tǒng)200的方框圖。該系統(tǒng)200包括上文所討論的系統(tǒng)180 (第二實施例)的全部元件。然而，該第三實施例還包括用于啟動前方路緣觀察的另一觸發(fā)信號源。行為/歷史學(xué)習(xí)模塊202使用機器學(xué)習(xí)技術(shù)以確定車輛100的駕駛員何時可能想觀察前方路緣圖像。該學(xué)習(xí)模塊202提供信號到觸發(fā)模塊166，其依據(jù)三個信號源將前方路緣觀察圖像狀態(tài)設(shè)定為是或否。學(xué)習(xí)模塊202也可以學(xué)習(xí)駕駛員偏好用于顯示模式——即，在什么樣的停車情形下顯示哪個視圖或哪些視圖——并且可以將該數(shù)據(jù)提供到模式選擇模塊172 (經(jīng)由圖6中所示的觸發(fā)模塊166或直接)。
[0089]圖7是系統(tǒng)200的方框圖，展示了學(xué)習(xí)模塊202如何工作。系統(tǒng)200的不與學(xué)習(xí)模塊200相互作用的元件——特別是在觸發(fā)模塊166之下的每一元件——出于簡化而從圖7中省略。學(xué)習(xí)模塊202包括離線或預(yù)編程學(xué)習(xí)和適應(yīng)性學(xué)習(xí)。數(shù)據(jù)庫204包含代表一般駕駛員群體的數(shù)據(jù)。數(shù)據(jù)庫204被預(yù)編程并且在車輛100是新的時可用。數(shù)據(jù)庫204并不連續(xù)更新，但可以對于一般駕駛員群體以新數(shù)據(jù)周期性地更新(例如經(jīng)由信息技術(shù)服務(wù))。來自數(shù)據(jù)庫204的數(shù)據(jù)用于離線學(xué)習(xí)模塊206以作出是否期望前方路緣觀察的第一確定，并且這是經(jīng)由信號從離線學(xué)習(xí)模塊206通信到學(xué)習(xí)模塊202。
[0090]在車輛操作期間，數(shù)據(jù)庫208連續(xù)收集來自用戶輸入162、探索性模塊182和觸發(fā)模塊166的數(shù)據(jù)。來自數(shù)據(jù)庫208的數(shù)據(jù)用在適應(yīng)性學(xué)習(xí)模塊210中以作出是否期望前方路緣觀察的第二確定，并且這是經(jīng)由信號從適應(yīng)性學(xué)習(xí)模塊210通信到學(xué)習(xí)模塊202。適應(yīng)性學(xué)習(xí)模塊210對來自數(shù)據(jù)庫208的數(shù)據(jù)應(yīng)用機器學(xué)習(xí)技術(shù)，以便基于前方路緣觀察是否在先前的類似環(huán)境下被觸發(fā)而確定在當(dāng)前情形下是否應(yīng)當(dāng)觸發(fā)前方路緣觀察。例如，在數(shù)據(jù)中可能明顯的是，車輛100的駕駛員在某一車輛位置頻繁地激活前方路緣觀察，即使地圖數(shù)據(jù)并未將該位置識別為停車場。在此場合下，當(dāng)車輛100再次到達該位置時并且當(dāng)車輛速度低于閾值時，適應(yīng)性學(xué)習(xí)模塊210能夠觸發(fā)前方路緣觀察。該分析能夠進一步被增強以包括辨識駕駛員可以典型地遵循以到達某一停車空間的轉(zhuǎn)向操縱的特定模式。
[0091]作為另一實例，適應(yīng)性學(xué)習(xí)模塊210可確定在接近路緣和人行道時車輛100的駕駛員典型地不需要前方路緣觀察(可能由于該車輛100具有高離地間隙)，但是在接近柱、墻和圍欄時駕駛員的確需要前方觀察。該模式能夠在來自對象檢測模塊184和用戶輸入162的數(shù)據(jù)中檢測到。所有這些類型的確定能夠通過不僅估計來自探索性模塊182的三個部分的數(shù)據(jù)而且估計來自用戶輸入162和觸發(fā)模塊166的數(shù)據(jù)來作出。即，重要的是不僅考慮先前激活前方路緣觀察的環(huán)境，而且要考慮通過經(jīng)由用戶輸入162手動激活或停用前方路緣觀察所表明的駕駛員的偏好。
[0092]適應(yīng)性學(xué)習(xí)模塊210還能夠通過關(guān)鍵飾物標(biāo)識或其他駕駛員辨識技術(shù)在車輛100的不同駕駛員之間辨別，并能夠相應(yīng)地適應(yīng)。例如，車輛100的兩個駕駛員對于前方路緣觀察可能具有非常不同的偏好，其中一個駕駛員可能從不需要使用它而另一個駕駛員可能頻繁使用它。另一方面，車輛100的兩個駕駛員可能具有相同的“家”位置，并且可確定兩個駕駛員均偏好在家位置激活路緣觀察。這些類型的特定駕駛員和/或特定車輛的確定能夠通過適應(yīng)性學(xué)習(xí)模塊210容易地作出。隨著車輛100被駕駛，學(xué)習(xí)車輛100的駕駛員偏好的能力從離線學(xué)習(xí)模塊206和探索性模塊182辨別適應(yīng)性學(xué)習(xí)模塊210。
[0093]圖8是用于在車輛中提供增強的前方路緣觀察的方法的流程圖220。在框222處，從車輛速度傳感器讀取車輛速度信號。在判斷菱形塊224處，確定車輛速度是否低于速度閾值，該速度閾值可以由用于顯示前方路緣視圖圖像的政府規(guī)定來限定。如果車輛速度不低于閾值，則該方法循環(huán)回到框222，直至車輛速度低于閾值的時候。如果在判斷菱形塊224處車輛速度低于閾值，則在判斷菱形塊226處確定車輛駕駛員是否已經(jīng)經(jīng)由用戶輸入162選擇了前方路緣觀察。
[0094]如果駕駛員尚未選擇前方路緣觀察，則在框228處，車輛操作環(huán)境被估計以確定是否有任何因素指示應(yīng)激活前方路緣觀察。車輛操作環(huán)境估計由探索性模塊182執(zhí)行，并且包括多個因素，例如車輛速度和轉(zhuǎn)向角度，停車場的存在，車輛前方的路緣或其他障礙物，以及由GPS和數(shù)字地圖指示的車輛位置。在框230處，車輛的駕駛行為和歷史由學(xué)習(xí)模塊202估計，以基于在先前相似的環(huán)境中是否觸發(fā)前方路緣觀察來確定在當(dāng)前情形下是否應(yīng)當(dāng)觸發(fā)前方路緣觀察。在判斷菱形塊232處，來自框228和230的信號被估計，以確定是否存在指示應(yīng)當(dāng)激活前方路緣觀察的任何觸發(fā)器。如果不存在這樣的觸發(fā)器，則在終點234處，結(jié)束該處理并且在顯示設(shè)備120上顯示其他信息(例如廣播或?qū)Ш?。
[0095]如果駕駛員在判斷菱形塊226處已經(jīng)選擇了前方路緣觀察，或者在判斷菱形塊232存在指示應(yīng)當(dāng)激活前方路緣觀察的觸發(fā)器，則在框236處處理來自視頻采集設(shè)備116的視頻信號以產(chǎn)生增強的前方路緣觀察圖像。在框238處，基于過去駕駛員的偏好和/或當(dāng)前停車情形的環(huán)境，選擇用于前方路緣觀察的顯示模式，如上文所討論的。在框240處，根據(jù)所選擇的顯示模式，增強的前方路緣視圖圖像被顯示。
[0096]使用上文描述的技術(shù)，增強的前方路緣觀察系統(tǒng)能夠被交付，其為車輛駕駛員提供用于在車輛前方的路緣和其他障礙物附近操縱的有價值的視覺輔助。增強的前方路緣觀察系統(tǒng)利用現(xiàn)有的顯示設(shè)備和照相機，并且為駕駛員提供以其他方式本來不可用的視覺信息——因此使得由于與前方障礙物接觸而使車輛損壞的事故遠遠變少。
[0097]如能夠從上文討論理解到的，某些前方視圖的選擇和顯示對前方路緣觀察系統(tǒng)的有效性是必要的。視圖能夠包括本地照相機視圖(例如來自左或右照相機的前視立體圖)和“虛擬視圖”的兩個增強的版本，“虛擬視圖”是通過處理多個照相機圖像合成的視圖以產(chǎn)生沒有照相機直接記錄的立體圖。
[0098]圖9是顯示設(shè)備120的圖，展示了實例顯示模式或顯示設(shè)備120屏幕上的視圖布置。圖9中展示的實例包括至少三個圖像視圖，其中顯示設(shè)備120的右側(cè)包括視圖250，其是前視立體圖(增強的立體圖的創(chuàng)建在下文討論)。顯示設(shè)備120的左側(cè)包括車輛100周圍區(qū)域的鳥瞰圖。視圖252是虛擬俯瞰前視圖(其是由來自照相機102和104的圖像合成的視圖)，并且視圖254是虛擬俯瞰后視圖(如果在停車過程中車輛被操縱向前和向后，則該視圖會有用)。出于參考，在視圖252和視圖254之間提供車輛100的示圖。側(cè)視圖256能夠由來自側(cè)視圖照相機的圖像(如果可用)構(gòu)造，或者能夠使用時間填充技術(shù)(下文討論)由前和后照相機圖像構(gòu)造。如能夠容易地設(shè)想到的，視圖的許多不同組合能夠定義為顯示模式，其如上文所詳細討論的那樣被選擇。
[0099]當(dāng)車輛100的前保險杠在離路緣的大約兩英尺之內(nèi)時，許多駕駛員會發(fā)現(xiàn)俯瞰前視圖是最有幫助的。事實上，在向前停車操縱期間，許多駕駛員可能偏好增強的俯瞰前視圖占據(jù)顯示設(shè)備120的整個屏幕的顯示模式。用于處理數(shù)字圖像的技術(shù)在本領(lǐng)域是公知的一包括構(gòu)造虛擬圖像視圖，以及對來自廣角或?qū)︳~眼鏡頭的圖像去扭曲(dewarping)以消除失真。然而，創(chuàng)建來自廣角鏡頭的虛擬俯瞰視圖(其目的是更接近水平而不是豎直)產(chǎn)生了一系列挑戰(zhàn)，這些挑戰(zhàn)至今尚未解決。
[0100]三種類型的問題已經(jīng)被識別與由來自照相機102和104的圖像合成的虛擬俯瞰視圖相關(guān)聯(lián)。這三類問題如下，其解決方案在下文詳細討論:
[0101]I)在去扭曲圖像中的本體部分假象(artifact)，
[0102]2)去扭曲圖像邊界周圍的低分辨率和/或噪聲，
[0103]3)在高于地平面的表面和對象中的“雙影”效果。
[0104]圖10是保險杠/橫梁區(qū)域中的車身部分在虛擬俯瞰視圖中如何能夠形成虛假突出物效果的圖示。在圖10中，能夠看到照相機104安裝為使得鏡頭幾乎與車輛100的保險杠面齊平。然而，許多車輛包括來自較低的前保險杠或橫梁的突出物。這些突出物，例如突出物260，向照相機104的鏡頭前方延伸，并且妨礙照相機104對地面的觀察。因而，在虛擬俯瞰視圖中，突出物260將比其在真實俯瞰視圖中似乎更加向前并且更大。突出物260的表面上的大小/位置與在俯瞰視圖中的真實大小/位置之間的差異由距離262表示。距離262是照相機、突出物260和地面以上距離130的幾何尺寸的函數(shù)，并且能夠予以補償。
[0105]圖11是虛擬俯瞰視圖的圖示，其中突出物260由于照相機/車輛幾何結(jié)構(gòu)和圖像去扭曲而虛假地向前延伸，從而形成遮蔽區(qū)域280。展示為正顯示在顯示設(shè)備120上的虛擬俯瞰視圖示出了水平停車場表面270、在表面270以上升起某一高度的水平人行道表面272以及作為路緣的豎直面274。停車場表面和升起的路緣/人行道的這種配置在許多商用和零售停車場中是常見的。接縫276代表在人行道表面272的混凝土部段中的接縫，其中接縫276在豎直面274上是豎直的，并且接縫276可以延伸某一距離進入停車場表面270內(nèi)。
[0106]在顯示設(shè)備120上的虛擬俯瞰視圖中，底部邊緣代表車輛100的真實前部。因而，當(dāng)車輛100慢速向前行駛時，駕駛員能夠看到何時觸及障礙物。如上面所討論的，突出物260明顯向前延伸的外觀是虛假的，遮蔽區(qū)域280是圖像去扭曲的假象以及是照相機鏡頭和突出物260相對于彼此及相對于地面的實際幾何關(guān)系。已經(jīng)開發(fā)出的技術(shù)允許修改遮蔽區(qū)域280，使得突出物260在合成的虛擬俯瞰視圖中出現(xiàn)在其真實位置，并且遮蔽區(qū)域280被合成地紋理化，以表現(xiàn)為周圍地面。圖12是虛擬俯瞰視圖的圖示，其中遮蔽區(qū)域280的大小已經(jīng)被顯著地減小，以反映突出物260的真實位置，并且最初包括在遮蔽區(qū)域280中的大部分區(qū)域通過圖像處理而被重新紋理化。
[0107]圖13是用于消除由車輛前方照相機圖像構(gòu)造的虛擬俯瞰視圖中的虛假車身部分外觀的方法的流程圖300。通過量化上文討論的并且示于圖10中的幾何關(guān)系，圖12中所示的增強的虛擬俯瞰視圖的創(chuàng)建開始于框302處。對于任何特別車輛模型，這些三維關(guān)系都是已知的不變的車輛設(shè)計量。因此，準(zhǔn)確確定照相機圖像的哪些像素將被突出物260遮蔽就變成相當(dāng)簡單的計算。也可能的是比較車輛100前面的真實俯瞰視圖與圖11中所示的虛擬俯瞰視圖，并且手動識別被突出物260虛假地遮蔽的像素。
[0108]在框304處，執(zhí)行去扭曲計算，以便當(dāng)來自照相機102和104的廣角鏡頭的自然扭曲圖像被平整化(flatten)或者“去扭曲”以使得直線變直時解決圖像的失真。圖像去扭曲計算是本領(lǐng)域公知的。在框306處，提供被車身突出物260虛假覆蓋的一組像素。來自框306的像素(其是圖11的遮蔽區(qū)域280)將需要重新紋理化以表現(xiàn)為地表面。
[0109]在框308處，遮蔽區(qū)域280中相同的像素被分析用于重新紋理化。兩種技術(shù)能夠用于對遮蔽區(qū)域280中的像素填充和重新紋理化。在框310處，執(zhí)行空間填充。在框310處的空間填充包括識別遮蔽區(qū)域280附近的紋理(例如風(fēng)化混凝土的模糊灰色外觀)和結(jié)構(gòu)(例如接縫276)，并且基于周圍的紋理和結(jié)構(gòu)在遮蔽區(qū)域280中填充。當(dāng)遮蔽區(qū)域280相當(dāng)小和/或停車場表面270的紋理相當(dāng)一致時，來自框310的空間填充技術(shù)能夠非常有效。
[0110]在框312處，執(zhí)行時間填充?？?12處的時間填充涉及利用在那些像素剛好在遮蔽區(qū)域280之外時獲得的停車場表面270的實際圖像像素，并且基于車輛運動將像素置換到遮蔽區(qū)域280內(nèi)。用于時間填充的車輛運動能夠從光流或從車輛動態(tài)傳感器確定，其中光流涉及在獲得后續(xù)圖像時跟隨特征點的運動。利用在停車操縱期間典型地慢且穩(wěn)的車輛運動，代表遮蔽區(qū)域280之內(nèi)的停車場表面270的實際部分的像素能夠從之前的圖像復(fù)制到虛擬俯瞰視圖的后續(xù)圖像內(nèi)。
[0111]在框314處，使用來自框310的空間填充技術(shù)和來自框312的時間填充技術(shù)的組合對遮蔽區(qū)域280填充并重新紋理化。在框316處，創(chuàng)建增強的虛擬俯瞰視圖，其中來自框306的本體覆蓋區(qū)域由來自框314的周圍背景紋理填實，使得在視圖中僅保留突出物260的真實形狀。如能夠在圖12中看到的，通過利用填充的和重新紋理化的遮蔽區(qū)域280，減小了突出物260的外觀。
[0112]與由左前方和右前方照相機圖像合成的虛擬俯瞰視圖相關(guān)聯(lián)的第二類問題是去扭曲圖像邊界周圍的低分辨率和/或噪聲。圖14是虛擬俯瞰視圖的圖示，其中該視圖的某些部分能夠展現(xiàn)低分辨率和/或圖像噪聲。像圖11和12 —樣，圖14的虛擬俯瞰視圖示出了水平停車場表面270、在表面270以上升高某一高度的水平人行道表面272、作為路緣的豎直面274以及在人行道表面272的混凝土部段中的接縫276。
[0113]如上面所討論的，有必要對來自廣角鏡頭的圖像“去扭曲”，以便去除失真，并創(chuàng)建現(xiàn)實樣子的俯瞰視圖。當(dāng)對圖像去扭曲時，分辨率在虛擬視圖的周邊或邊緣區(qū)域中固有地損失，因為這些區(qū)域中的每個像素被放大以占據(jù)圖像的更多部分。如圖14中所示的左和右周邊區(qū)域320以及上周邊區(qū)域322代表了虛擬俯瞰視圖的低分辨率區(qū)域。圖像中的圖像/視頻噪聲也是區(qū)域320和322中的問題，因為微弱的光或暗斑能夠被放大以顯得比其實際的更大。當(dāng)然，低分辨率區(qū)域的邊界并不如圖14所示的完全筆直一但是區(qū)域320和322是概念闡述性的。在圖像較低部分中不存在低分辨率區(qū)域，因為該邊緣離照相機102和104最近，并且這部分圖像中的像素不需要在去扭曲處理時明顯放大。
[0114]圖15是用于消除由車輛前方照相機圖像構(gòu)造的虛擬俯瞰視圖的邊緣區(qū)域中的低分辨率和圖像噪聲的方法的流程圖340。在框342處，在虛擬俯瞰視圖上執(zhí)行去扭曲計算，以當(dāng)來自照相機102和104的廣角鏡頭的自然扭曲圖像平整化以使直線變直時解決圖像的失真。在框344處，提供虛假的低分辨率的一組像素。這些像素代表邊緣區(qū)域320和322，其中低分辨率和噪聲是由于去扭曲處理中像素放大而產(chǎn)生的。
[0115]兩種技術(shù)能夠用于對低分辨率區(qū)域320和322中的像素填充并重新紋理化。在框346處，執(zhí)行空間分辨率增強和去噪聲計算。在框346處的空間增強包括:識別低分辨率區(qū)域320和322中的顏色和強度通道兩者，并且在保留邊緣的平滑計算中利用本地的顏色和強度,這些邊緣例如為豎直面274的邊緣?？?46處的空間填充還包括:從例如區(qū)域324的鄰近的完整分辨率區(qū)域借紋理，該區(qū)域324能夠用于左側(cè)低分辨率區(qū)域320和上低分辨率區(qū)域322的左部。利用來自鄰近的完整分辨率區(qū)域324的表面紋理以及來自低分辨率區(qū)域320和322自身的顏色和強度式樣，框346處的空間分辨率增強和去噪聲計算能夠顯著修復(fù)在虛擬俯瞰視圖的邊緣周圍的圖像質(zhì)量。
[0116]在框348處，執(zhí)行時間分辨率增強和去噪聲計算?？?48處的時間增強涉及利用在那些像素剛好在低分辨率區(qū)域320和322之外時獲得的表面270、272和274的實際圖像像素，并且基于車輛運動將這些像素置換到低分辨率區(qū)域320和322中。如前面所討論的，用于時間增強的車輛運動能夠從光流或車輛動態(tài)傳感器確定，其中光流涉及在獲得后續(xù)圖像時跟隨特征點的運動。特別地，車輛運動趨于對區(qū)域322的時間增強不利，因為如果車輛100僅僅只向前運動，則在該區(qū)域中的像素在之前將不處于圖像的高分辨率區(qū)域中。然而，時間增強對于左和右低分辨率區(qū)域320可以是有幫助的，尤其是當(dāng)車輛100在停車操縱的同時轉(zhuǎn)向時。利用車輛運動，在框348處，在低分辨率區(qū)域320之內(nèi)的代表表面270-274的實際部分的像素能夠從之前的圖像復(fù)制到虛擬俯瞰視圖的隨后圖像中。
[0117]在框350處，利用來自框346的空間增強技術(shù)和來自框348的時間增強技術(shù)的結(jié)果的組合，來重新定義低分辨率區(qū)域320和322。在框352處，創(chuàng)建增強的虛擬俯瞰視圖，其中來自低分辨率區(qū)域320和322的原始像素由來自框350的重新定義的像素替代，并且與來自框342的去扭曲圖像的剩余部分組合。
[0118]與由左前方和右前方照相機圖像合成的虛擬俯瞰視圖相關(guān)聯(lián)的第三類問題是在地平面之上突出的對象中的“雙影”效果。圖16A和16B是分別來自左前部照相機102和右前部照相機104的虛擬俯瞰視圖的圖示，并且圖17是當(dāng)左和右照相機圖像合并時虛擬俯瞰視圖的一些部分如何能夠出現(xiàn)“雙影”的圖示。在圖16和17中，表面270、272和274展現(xiàn)為之前圖形中那樣，接縫276也一樣(存在兩個不同的接縫276——個在左邊，一個在右邊——如圖11、12和14中所示)。在圖16A和16B中，可以在人行道表面272中看到裂縫360。裂縫360出現(xiàn)在圖16A中朝向左照相機圖像的右側(cè)，并且裂縫360出現(xiàn)在圖16B中朝向右照相機圖像的左側(cè)。
[0119]在圖17中，裂縫360出現(xiàn)兩次，即使在人行道表面272中只有一條裂縫360。該“雙影”效果是由于左和右圖像的組合引起的，該組合基于假設(shè)圖像中每種事物都處于同一地平面處的計算。在地平面以上延伸的對象或障礙物(其處于圖像的較低邊緣處，即，離照相機102和104最近的圖像部分，并且已知在照相機下方距離130處)在去扭曲和組合的虛擬俯瞰視圖中能夠展示不在正確的位置上。然而，該雙影效果能夠在增強的虛擬俯瞰視圖中經(jīng)由以下討論的計算來修正。
[0120]圖18是用于消除由車輛前方照相機圖像構(gòu)造的虛擬俯瞰視圖中的地面以上障礙物的雙影效果的第一方法的流程圖380。在框382處，在由左前方和右前方照相機圖像構(gòu)建的虛擬俯瞰視圖上執(zhí)行去扭曲計算，以在來自照相機102和104的廣角鏡頭的自然扭曲圖像被平整化以使直線變直時解決失真。在框384處，在構(gòu)建的虛擬俯瞰視圖中檢測路緣和升高的人行道。如之前所討論的，這些停車空間邊界能夠通過分析車輛運動期間的一系列圖像從而尋找直線以及路緣和升高的人行道的其它視覺指示物來檢測。
[0121]在框386處，利用立體視覺和/或從運動恢復(fù)結(jié)構(gòu)技術(shù)，在來自照相機102和104的圖像中檢測地面以上的障礙物。從運動恢復(fù)結(jié)構(gòu)(SFM)是指從可以與本地運動信號聯(lián)接的二維圖像序列估計三維結(jié)構(gòu)的處理。立體視覺和SFM分析提供關(guān)于在車輛100前方路徑中的地面以上障礙物的大小、形狀和位置的信息。在框388處，車輛100車載的其它傳感器提供車輛100前方區(qū)域的對象檢測信號。其它車載傳感器可以包括——但不限于——例如超聲波、近程雷達和LIDAR。
[0122]在交叉點390處，按比例縮放并組合框384-388中識別的前方障礙物，以使得所有的數(shù)據(jù)被用于定義車輛100前方區(qū)域中的對象地圖。在框392處，在車輛100前方的三維對象的完整模型——包括路緣、升高的人行道、柱子等——由來自框384-388的數(shù)據(jù)組建。三維對象的模型包括對象的位置、大小和形狀。在出現(xiàn)路緣和升高的人行道的情況下，出于至少兩個原因，能夠確定這些對象的高度極為有價值。首先，如果路緣或升高的人行道的高度為在停車場表面以上六英寸，并且車輛100具有的前方氣壩與地面間隙僅為5英寸，則能夠給駕駛員警告，以指示車輛100應(yīng)當(dāng)在前方保險杠觸及路緣或升高的人行道之前停下(與向前駕駛相反，直到前方輪胎碰到阻擋件)。第二，知道升高的人行道272在停車場表面270以上的高度允許作出計算，其消除了如圖17中看到的裂縫360的雙圖像。
[0123]在框394處，利用來自框392的對象3D模型和來自框382的原始去扭曲圖像數(shù)據(jù)渲染路緣或其他地面以上障礙物的圖像。知道了在車輛100前面的任何地面以上障礙物的位置、大小和形狀，左前方和右前方照相機圖像能夠可靠地組合，而不顯示障礙物的雙重復(fù)制物。例如，考慮柱子出現(xiàn)在車輛100前方的中央左側(cè)的情形。如果左前方和右前方照相機圖像簡單地去扭曲并組合，則組合圖像中就會出現(xiàn)兩個這樣的柱子，每個具有不同的表面距離和位置。然而，利用來自3D對象模型的僅存在一個這樣的柱子的知識以及柱子實際位置的知識，左前方和右前方照相機圖像能夠被處理為使得柱子正確地僅出現(xiàn)一次。該同種圖像處理能夠用于正確地渲染任何地面以上特征，包括圖17的裂縫360，其將僅出現(xiàn)一次。
[0124]最后，在框396處，合成改善的虛擬俯瞰視圖，包括來自框394的地面以上障礙物渲染。改善的虛擬俯瞰視圖不包括像裂縫360那樣的地面以上物件的錯誤雙圖像，并且改善的視圖還利用所有可用數(shù)據(jù)源基于作為模型的對象的實際大小、形狀和位置提升了 3D對象的視覺渲染(rendering)。
[0125]圖19是用于消除在由車輛前方照相機圖像構(gòu)建的虛擬俯瞰視圖中的地面以上對象的雙影效果的第二方法的流程圖400。在框402處，在由自左前方和右前方照相機圖像構(gòu)建的虛擬俯瞰視圖上執(zhí)行去扭曲計算，以在來自照相機102和104的廣角鏡頭的自然扭曲圖像被平整化以使直線變直時解決失真。在框404處，分析去扭曲圖像，以檢測在紋理或結(jié)構(gòu)中的任何雙圖像效果。例如，已知的圖像分析技術(shù)能夠容易地辨別在圖17中出現(xiàn)兩次的裂縫360實際上是同一對象。
[0126]如果在框404處發(fā)現(xiàn)了雙圖像效果，則在決定菱形塊406處，處理循環(huán)回到框408，在這里基于雙重圖像之間的側(cè)向距離估計雙成像結(jié)構(gòu)的地面以上高度。之后處理回到框402，在這里利用關(guān)于包含雙成像結(jié)構(gòu)的視野部分的地面以上高度的矯正假設(shè)，再次執(zhí)行去扭曲計算。關(guān)于地面以上高度的矯正假設(shè)將修改去扭曲計算，使得對象在該視野部分中側(cè)向移位。
[0127]然而，在框404處重新分析圖像，并且如果有必要，進一步矯正高度假設(shè)。繼續(xù)這一過程直到雙圖像效果消除，并且在決定菱形塊406處，處理移動到框410，在這里輸出最后改善的虛擬俯瞰視圖。
[0128]如圖16和17中所示的消除在地平面以上突出的對象中的“雙影”效果的其他更簡單的方法也是可能的。在一個這種更簡單的方法中，不再像上述討論的圖19中方法中那樣重復(fù)估計路緣的高度，而是能夠假設(shè)一組標(biāo)準(zhǔn)路緣高度(例如5、6、7和8英寸)，并且能夠?qū)@些高度的每個預(yù)先計算圖像轉(zhuǎn)換映射。然后，當(dāng)在合并圖像中檢測到雙成像效果時，圖像轉(zhuǎn)換計算能夠?qū)τ谒械臉?biāo)準(zhǔn)路緣高度快速地重新運行，并且結(jié)果能夠被分析以確定哪個路緣高度轉(zhuǎn)換對消除雙成像效果是最好的。該方法避免了前文討論的重復(fù)計算，并且直接提供具有最小雙圖像效果的最終圖像，同時還提供了能在其他車輛系統(tǒng)中使用的路緣高度估計。
[0129]消除在地平面以上突出的對象中的“雙影”效果的另一方法是簡單比較左圖和右圖，在圖像的重疊區(qū)域中找到共同特征點，并且使用圖像配準(zhǔn)以轉(zhuǎn)換圖像，使得當(dāng)圖像合并時，共同特征點在重疊區(qū)域中排列。該方法并不提供路緣高度的估計，但是可以最簡單地以計算機執(zhí)行，并且還提供了具有最小雙圖像效果的最終圖像。
[0130]圖20是用于創(chuàng)建由車輛前方照相機圖像構(gòu)建的增強的虛擬俯瞰視圖的方法的流程圖420。在框422處，在有左前方和右前方照相機圖像構(gòu)建的虛擬俯瞰視圖上執(zhí)行去扭曲計算，以在來自照相機102和104的廣角鏡頭的自然扭曲圖像被平整化以使直線變直時解決失真。在框424處，利用圖13中所示的流程圖300的方法，從去扭曲圖像移除虛假夸大的車身部分假象。在框426處，利用圖15中所示的流程圖340的方法，修正在去扭曲圖像邊緣周圍的低分辨率和圖像/視頻噪聲。在框428處，利用圖18或圖19中所示的方法之一或隨后所述的更簡單方法之一，修正在地平面以上的表面或?qū)ο笾械摹半p影”效果。由框424-428而得到的圖像增強的結(jié)果是在外觀上比普通去扭曲圖像明顯更真實的虛擬俯瞰視圖。
[0131]利用上述技術(shù)，能夠解決典型地與由多個照相機圖像合成的虛擬俯瞰視圖相關(guān)聯(lián)的三個問題，從而得到非常真實的虛擬俯瞰前方路緣視圖。在原型系統(tǒng)測試中，增強的虛擬俯瞰視圖已經(jīng)表明極大地有助于駕駛員在路緣和其它前方障礙物附近進行操縱。如果可用照相機圖像，則在前方視圖的環(huán)境下在上文討論的虛擬俯瞰視圖合成技術(shù)還可以用到車輛100的后方和側(cè)面的虛擬俯瞰視圖。這些技術(shù)還能夠與每個虛擬視圖多于兩個的照相機一起使用。例如如果可用多于兩個照相機來構(gòu)建虛擬俯瞰前視圖，則得到的視圖質(zhì)量將提高，因為更多圖像像素將被作為輸入，并且圖像去扭曲效果能夠被降低。
[0132]如上面所討論的，由于駕駛員典型地查看立體圖覺得舒服，因此前視立體圖可以選擇為顯示設(shè)備120上的最大視圖。用于處理數(shù)字圖像的技術(shù)是本領(lǐng)域中公知的——包括對來自廣角鏡頭的圖像去扭曲，以移除失真，該失真產(chǎn)生魚眼效果，其中圖像前方中央的對象虛假放大，并且向著圖像周邊的對象縮小且遠離中央傾斜。然而，傳統(tǒng)的去扭曲技術(shù)和照相機模型能夠在被處理圖像中產(chǎn)生其他問題。
[0133]圖21是車輛100前方立體視圖的圖示，其包括由傳統(tǒng)去扭曲技術(shù)產(chǎn)生的失真。圖21是本質(zhì)上與之前圖形所示的相同場景的立體圖——包括水平停車場表面270、在表面270以上升高某一高度的水平人行道表面272、作為路緣的豎直表面274以及在人行道表面272的混凝土部段中的接縫276。立體圖還包括地平線之上區(qū)域440，其包括背景對象442，例如樹和電線桿。
[0134]兩個主要類型的問題已經(jīng)被識別與利用傳統(tǒng)照相機模型處理時由來自照相機102和104的圖像合成的虛擬立體圖相關(guān)聯(lián)。這兩類問題如下，其解決方案在下文詳細討論:
[0135]I)由于針孔模型的直線投影，在去扭曲廣角圖像的周邊部分處的拉伸和低分辨率效果。
[0136]2)在視野重疊區(qū)域中的“雙影”效果以及在合并圖像的盲點中的丟失對象。
[0137]對于立體圖的第一個問題——拉伸和低分辨率——在圖21中的兩個地方是明顯的，通過利用針孔照相機模型通過直線投影，這些立體圖已經(jīng)利用傳統(tǒng)去扭曲被處理。首先，在區(qū)域444中，由于拉伸降低了圖像分辨率。其次，作為接縫276的豎直部分的豎直接縫446呈現(xiàn)為傾斜的而非豎直的。另外，例如前文所討論的突出物260的車身部分的突出物由于該拉伸而能夠存在放大的外觀。這些問題都能夠通過利用新的照相機圖像表面模型得以解決。
[0138]圖22是可用于修正圖21中看到的失真的照相機圖像表面模型的圖。傳統(tǒng)針孔照相機模型460被顯示，其中來自場景的光穿過針孔縫隙并且打到成像表面上。在傳統(tǒng)模型460中，成像表面是平坦平面。這種類型的模型在圖21所示的去扭曲圖像的周邊區(qū)域中產(chǎn)生拉伸效果。為了修正該拉伸效果，成像表面462能夠被限定為處于水平的半圓柱形狀中。將成像表面462的模型應(yīng)用到圖21的虛擬立體圖像中能夠減少地平線以下區(qū)域中的拉伸效果。然而，在圖像的地平線以上區(qū)域中的圓柱形投影能夠使得背景對象422呈現(xiàn)為向圖像中央傾斜。為了避免引入這種不想要的失真效果，成像表面464能夠被限定，其中成像表面464對于圖像的地平線以下區(qū)域處于水平的四分之一圓柱的形狀中，并且對于圖像的地平線以上區(qū)域為平坦平面形狀。包括成像表面464的照相機模型已經(jīng)顯示為產(chǎn)生更優(yōu)的虛擬立體視圖圖像合成。
[0139]具有除了圖22所示的成像表面之外的成像表面的照相機模型也能夠被限定。例如，不同于在表面464中的四分之一圓柱和平坦平面，具有逐漸改變的曲率半徑的圖像表面能夠被限定。另外，從左到右的圖像表面曲率效果以及底部到頂部的曲率效果能夠被引入。利用例如這些組合的各種組合，復(fù)合圖像表面能夠被定義為產(chǎn)生真實并且視覺舒適的虛擬立體圖。
[0140]由左前方和右前方照相機圖像構(gòu)建的合并立體圖的第二個問題是在視野重疊區(qū)域中的“雙影”效果,如在圖21中的樹448的雙外觀中看到的。所述的重疊區(qū)域顯示為接近于圖1的重疊區(qū)域110。盲點——或者未被左或右照相機圖像覆蓋的區(qū)域——也能夠存在，從而在合并視圖中導(dǎo)致丟失的對象或紋理(texture)。以下討論的其他處理技術(shù)能夠應(yīng)用到虛擬立體圖中，以便修正來自照相機102和照相機104的圖像之間的重疊區(qū)域或盲點中的差別。
[0141]能夠應(yīng)用于左前方和右前方圖像之間的重疊區(qū)域的一種技術(shù)作為視頻變形(morphing)而公知。在視頻變形技術(shù)中，特征點在圖像的中央重疊區(qū)域中被檢測，并且關(guān)鍵點被配準(zhǔn)。左和右圖像隨后被變形，也就是被拉伸或轉(zhuǎn)換，以使得特征點在合并圖像中匹配。之前的圖像幀和車輛運動信息能夠用于增強重疊區(qū)域中的圖像合成，其中一些對象從圖像的非重疊區(qū)域移動到重疊區(qū)域。利用圖像變形和之前的圖像幀，時間視頻變形能夠應(yīng)用于虛擬立體圖，其修正重疊區(qū)域中的雙成像和空白點兩者。
[0142]能夠應(yīng)用于左前方和右前方圖像之間的重疊區(qū)域的另一技術(shù)是基于3D場景估計的圖像渲染。該技術(shù)類似于圖18的流程圖380中的上述方法。如上面所討論的，該技術(shù)涉及利用立體視覺、從運動恢復(fù)結(jié)構(gòu)(SFM)以及來自車載傳感器的數(shù)據(jù)以構(gòu)建車輛100前方場景的3D模型。3D對象場景能夠關(guān)聯(lián)到圖像中的對象，并且立體視圖圖像能夠被重新渲染以消除任何對象的雙重外觀，例如樹448。
[0143]圖23是圖21中看到的失真已經(jīng)通過應(yīng)用圖22中的新虛擬圖像表面模型及上文討論過的其他技術(shù)修正后的車輛100前方立體圖的圖示。在圖23中能夠看到，由于在地平線以下區(qū)域中應(yīng)用了圓柱形照相機圖像模型，因此區(qū)域444中的拉伸效果被消除。因而，區(qū)域444中不存在分辨率丟失。在圖23中也能夠看到，同樣由于在地平線以下區(qū)域中應(yīng)用了圓柱形照相機圖像模型，豎直接縫446如其應(yīng)當(dāng)?shù)哪菢颖憩F(xiàn)為豎直的。最后，由于上文討論的重疊區(qū)域修正技術(shù)的應(yīng)用，樹448的雙圖像被消除。
[0144]圖24是用于利用圖22中的照相機圖像表面模型和其他修正技術(shù)創(chuàng)建由車輛前方照相機圖像構(gòu)建的增強的立體圖的方法的流程圖480。在框482處，在由左前方和右前方照相機圖像構(gòu)建的虛擬立體圖上執(zhí)行去扭曲計算，以在來自照相機102和104的廣角鏡頭的自然扭曲圖像被平面化以使直線變直時解決失真。在框484處，照相機模型圖像表面464應(yīng)用到去扭曲圖像，以修正圖像的地平線以下部分中的拉伸，同時保留圖像的地平線以上部分中的豎直對象的豎直外觀。在框486處，左和右照相機圖像重疊的區(qū)域被修正以消除對象的雙成像和空白點。在重疊區(qū)域中的修正能夠包括如上面所討論的視頻變形和3D場景估計技術(shù)兩者。在框488處，最終虛擬立體圖被提供，包括上文討論的修正，并如圖23所示。
[0145]利用上述技術(shù)，典型地與利用傳統(tǒng)照相機模型由廣角照相機圖像合成的虛擬立體圖相關(guān)聯(lián)的問題能夠被解決，從而產(chǎn)生非常真實的虛擬前視立體圖。如果可用照相機圖像，在前視圖的環(huán)境下在上文討論的虛擬立體視圖合成技術(shù)還可以用于到車輛100的后方和側(cè)面的虛擬立體視圖。這些技術(shù)還能夠與每個虛擬視圖多于兩個的照相機一起使用。例如如果多于兩個的照相機可用以構(gòu)建虛擬立體前視圖，則得到的視圖質(zhì)量將提高，因為更多的圖像像素將用作輸入，并且圖像去扭曲效果能夠降低。
[0146]增強的前方路緣觀察系統(tǒng)為駕駛員提供了以其他方式將無法獲取的視覺信息。前方路緣視圖為駕駛員提供了在接近路緣和其它前方障礙物時準(zhǔn)確?？克麄兊能囕v必須的輔助，并且提供了知道他們將不會意外撞到障礙物并損壞車輛的平靜心情。這些前方路緣視圖的自動生成和顯示為駕駛員傳遞價值，從而增加了車輛的客戶滿意度，并且潛在地避免了昂貴的修理費用。
[0147]前文的討論公開并描述了本發(fā)明的僅僅示例性的實施例。本領(lǐng)域技術(shù)人員容易從這種討論以及從附圖和權(quán)利要求中意識到，各種變化、修改和變型能夠在此作出，而并不脫離如所附權(quán)利要求所限定的本發(fā)明的精神和范圍。
【權(quán)利要求】
1.一種用于提供車輛前方區(qū)域的增強的俯瞰觀察的系統(tǒng)，所述系統(tǒng)包括: 安裝在車輛的左前部處的第一照相機； 安裝在車輛的右前部處的第二照相機； 與所述第一和第二照相機通信的圖像采集模塊，所述圖像采集模塊接收來自所述照相機的原始圖像，并且來自所述照相機的原始圖像具有大致前視圖立體圖； 包括存儲模塊的處理器，所述處理器配置為提供車輛前方區(qū)域的虛擬俯瞰視圖，其中，所述虛擬俯瞰視圖由來自所述照相機的原始圖像合成，并且所述虛擬俯瞰視圖包括對車身部分到所述視圖內(nèi)的虛假突出物、所述視圖的邊緣周圍的低分辨率和噪聲以及地平面以上對象的雙影效果的修正；以及 車輛的駕駛座區(qū)域中的顯示單元，用于顯示來自所述處理器的虛擬俯瞰視圖，用于由車輛駕駛員觀看。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，對車身部分到視圖內(nèi)的虛假突出物的修正包括:識別所述虛擬俯瞰視圖中的遮蔽區(qū)域，其中所述遮蔽區(qū)域為所述虛擬俯瞰視圖中的車身部分虛假地展現(xiàn)為向前延伸過遠的區(qū)域，并且所述遮蔽區(qū)域利用基于已知車輛幾何尺寸和照相機位置信息的計算被識別。
3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中，所述遮蔽區(qū)域被合成地重新紋理化，以展現(xiàn)為所述虛擬俯瞰視圖中的地面，包括利用空間填充技術(shù)，其中，所述遮蔽區(qū)域基于來自所述原始圖像的周圍紋理和結(jié)構(gòu)并利用時間填充技術(shù)而被重新紋理化，其中，來自剛好在所述原始圖像中的遮蔽區(qū)域外部的實際像素基于車輛運動被置換到所述虛擬俯瞰視圖中的遮蔽區(qū)域內(nèi)。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，對所述視圖的邊緣周圍的低分辨率和噪聲的修正包括:識別所述虛擬俯瞰視圖的左、右和上周邊附近的低分辨率區(qū)域，其中，所述低分辨率區(qū)域為所述虛擬俯瞰視圖中的圖像分辨率由于去扭曲而導(dǎo)致低的區(qū)域，并且進一步包括利用空間分辨率增強修正所述低分辨率區(qū)域，其中，空間分辨率增強包括:利用低分辨率區(qū)域內(nèi)部的顏色和強度組合所述低分辨率區(qū)域外部的表面紋理。
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其中，修正所述低分辨率區(qū)域進一步包括:利用時間分辨率增強，其中，時間分辨率增強包括:基于車輛運動將來自剛好在所述原始圖像中的低分辨率區(qū)域外部的實際像素置換到所述虛擬俯瞰視圖中的低分辨率區(qū)域內(nèi)。
6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，對地平面以上對象的雙影效果的修正包括:利用從運動恢復(fù)結(jié)構(gòu)技術(shù)，該技術(shù)利用一系列所述原始圖像和來自車輛雷達或激光雷達系統(tǒng)的對象數(shù)據(jù)以構(gòu)建車輛前方的對象的三維模型，并且所述三維模型用于消除所述虛擬俯瞰視圖中的雙重成像。
7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，對地平面以上對象的雙影效果的修正包括:分析所述虛擬俯瞰視圖以檢測所述雙影效果，對于成對出現(xiàn)的特征假設(shè)地平面以上的新高度，并基于所述新高度重新運行去扭曲計算。
8.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，對地平面以上對象的雙影效果的修正包括:分析所述虛擬俯瞰視圖以檢測所述雙影效果，在合并之前找到來自所述第一和第二照相機的原始圖像中的共同特征點，以及利用圖像配準(zhǔn)技術(shù)轉(zhuǎn)換所述原始圖像，使得所述共同特征點在所述虛擬俯瞰視圖中對齊。
9.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述虛擬俯瞰視圖顯示于所述顯示單元上的第一視窗中，并且鳥瞰視圖顯示于所述顯示單元上的第二視窗中，其中，所述第一視窗大于所述第二視窗，并且所述鳥瞰視圖包括位于中心的車輛示圖，具有位于車輛示圖前方的前視圖圖像以及車輛不圖后方的后視圖圖像。
10.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述虛擬俯瞰視圖包括車輛前方的路緣是否將與車輛的低懸車身部件相接觸的指示，并且如果確定該車輛將接觸路緣，則提供警告。
【文檔編號】H04N13/04GK104185009SQ201410391665
【公開日】2014年12月3日 申請日期:2014年5月23日 優(yōu)先權(quán)日:2013年5月23日
【發(fā)明者】W·張, J·王, K·S·利貝克, J·S·皮亞塞基, B·B·利特庫希, R·M·弗雷克斯 申請人:通用汽車環(huán)球科技運作有限責(zé)任公司