專利名稱：利用圖像增強提高汽車安全性的方法和系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及車輛，具體來講，涉及用于處理各種圖像并在不利天氣條件下向駕駛員提供改善視場的系統(tǒng)和方法。
當今的許多駕駛活動發(fā)生在苛刻的環(huán)境中。車輛的激增以及所產(chǎn)生的交通密度增加了駕駛員在駕駛時必須作出反應的外部刺激的數(shù)量。另外，當今的駕駛員必須經(jīng)常在較少時間內(nèi)對行駛條件進行感知、處理并作出反應。例如，超速和/或拼搶駕駛的駕駛員留有極少時間對變化的條件(例如路面坑洼、鄰近汽車的突然變道等)作出反應，并且也讓鄰近駕駛員很少有時間對他們作出反應。
除了面對日常遇到的這些苛刻行駛條件之外，駕駛員還經(jīng)常被迫在極其惡劣的天氣條件下駕駛。一個典型的例子是出現(xiàn)暴風雪，這時能見度會突然嚴重地受到阻礙。其它例子包括大雨和刺眼的陽光，這時能見度會同樣受到阻礙。雖然包括計算機視覺、模式識別、圖像處理以及人工智能(AI)在內(nèi)的數(shù)字信號處理技術在進步，但幾乎沒有一種方法能夠幫助駕駛員在環(huán)境條件妨礙正常視覺時進行極高要求的判定。
目前Cadillac DeVille可提供的一種駕駛員輔助系統(tǒng)、軍用“夜視”適合在夜間檢測車輛前方的對象。采用攝像機(聚焦光學器件)捕捉從汽車前方的人、其它動物和汽車高發(fā)射的紅外輻射形式的熱量，并將其聚焦到紅外檢測器上。所檢測的紅外輻射數(shù)據(jù)被傳送到處理電子設備，并用于形成對象的單色圖像。對象的圖像由車罩前沿附近的平視顯示器投影到駕駛員的周邊視覺范圍內(nèi)。在夜間，可能超出車輛前燈范圍的對象可被預先檢測并通過平視顯示器來投影。在http//www.gm.com/company/gmability/safety/crash_avoidance/newfeatures/night_vision.html上的文檔“DeVille Becomes First Car To Offer SafetyBenefits Of Night Vision”中更詳細地描述了該系統(tǒng)。
在惡劣的天氣下，DeVille夜視系統(tǒng)可能會性能下降或者完全受阻，因為所發(fā)出的紅外光會受到雪或雨的阻擋或吸收。即使DeVille夜視系統(tǒng)在暴風雪、暴雨或其它惡劣天氣條件下進行工作以檢測并顯示這類對象，但該顯示器其中一個缺陷是僅提供對象的熱圖像(必須“熱”到足以由紅外傳感器檢測到)，而駕駛員不得不通過熱圖像的輪廓來識別該對象是什么。駕駛員也許無法識別該對象。例如，一個背負背包彎腰行走的人的熱輪廓可能對駕駛員來講太陌生而無法通過熱圖像輕易地辨認。這種無法辨認的對象的存在也會讓人分散注意力。最后，駕駛員難以判斷對象在實際環(huán)境中的位置，因為對象的熱圖像顯示在機罩前沿附近，而沒有參照其它不發(fā)熱的對象。
在D.M.Gavrila和V.Philomin的“用于″智能″車輛的實時對象檢測”[Proceedings of IEEE International Conference On Computer Vision，Kerkyra，Greece 1999，可見于www.gavrila.net]中描述了一種檢測行人和交通標志、然后通知駕駛員某種潛在危險(撞人、超速或轉錯了單行道)的方法，將其內(nèi)容通過引用結合于此。模板層捕捉各種對象形狀，并采用基于距離變換的匹配的變型來實現(xiàn)匹配，其中在形狀層和變換參數(shù)上采用同時由粗到細的方法。
在D.M.Gavrila的“從移動的車輛檢測行人”(Proceedings Of TheEuropean Conference On Computer Vision，Dublin，Ireland，2000)中也描述了一種在移動車輛上檢測行人的方法，將其內(nèi)容通過引用結合于此。該方法以模板層和采用上述由粗到細方法的匹配為基礎，然后利用徑向基函數(shù)(RBF)來嘗試檢驗這些形狀和對象是否是行人。
但是，在上述兩篇文章中，對圖像中對象的識別在惡劣天氣條件下將會惡化。例如，在暴風雪中，因降雪而對圖像增添的整層亮度會使圖像中對象和特征的正常對比度變得模糊。在降雪的情況下，光被四面八方的每片雪花散射，從而使場景元素(或數(shù)據(jù))變模糊，使得攝像機無法捕捉場景圖像。雖然含降雨的降雪部分是半透明的，但仍然具有使場景元素變得模糊而使攝像機無法捕捉場景圖像的影響。這具有使模板匹配和RBF技術退化或失效的影響，這些技術依靠檢測圖像中對象邊界所提供的圖像梯度。
當車輛在惡劣天氣條件下、即駕駛員的正常能見度因天氣條件而降低或模糊時行駛時，先有技術無法提供一種用于改善為駕駛員顯示的行駛場景的圖像的系統(tǒng)。先有技術無法單獨或者與其它圖像識別處理結合以采用某種圖像處理來改善行駛場景的圖像、從而對例如道路上或者道路附近的對象、交通信號、交通標志、道路輪廓以及道路障礙進行清晰的投影。當車輛在惡劣天氣條件下行駛時，先有技術也無法以易懂的方式向駕駛員提供行駛場景(或者其中的對象和特征)的可辨認圖像。
因此，本發(fā)明的一個目的是提供一種系統(tǒng)和方法，用于在駕駛員所看到的實際圖像因天氣條件而質(zhì)量下降時向車輛駕駛員顯示行駛場景的改善圖像。該系統(tǒng)包括至少一個具有一定視場并面向車輛前進方向的攝像機。攝像機捕捉行駛場景的圖像，圖像由車輛前方的視場的像素組成。控制單元從攝像機接收圖像，并把黑白點相間噪聲濾波應用于組成接收圖像的像素。濾波提高了從攝像機接收的行駛場景的圖像因天氣條件而下降的質(zhì)量。顯示器從控制單元接收應用了濾波操作之后的圖像，并向駕駛員顯示行駛場景的圖像。
控制單元還可在顯示之前把直方圖均衡化操作應用于組成濾波后圖像的像素的亮度。直方圖均衡化操作進一步提高了因天氣條件而下降的行駛場景的圖像質(zhì)量?？刂茊卧€可在直方圖均衡化操作之后且在顯示之前把圖像識別處理應用于圖像。
在向車輛駕駛員顯示行駛場景的方法中，捕捉車輛前進方向的行駛場景的圖像。圖像由車輛前方的視場的像素組成。把黑白點相間噪聲濾波應用于組成捕捉圖像的像素。濾波提高了因天氣條件而下降的所捕捉的行駛場景的圖像的質(zhì)量。行駛場景的圖像在應用了濾波操作之后向駕駛員顯示。


圖1是結合本發(fā)明的一個實施例的車輛的側視圖；圖1a是圖1的車輛的頂視圖；圖2是圖1和圖1a的實施例的部件以及其它用于描述本實施例的顯著特征的典型示圖；圖3a是圖1-2的實施例的攝像機在天氣條件不太惡劣時、或者在天氣惡劣時應用了某些新穎的圖像處理技術所產(chǎn)生的典型圖像；圖3b是圖1-2的實施例的攝像機在天氣惡劣時沒有應用某些新穎的圖像處理技術所產(chǎn)生的典型圖像；圖4a是要進行濾波的圖像中的像素與用于濾波的相鄰像素的表示；圖4b表示圖4a的像素的濾波中應用的步驟；圖5a是圖3b的圖像在濾波之后的典型直方圖；以及圖5b是圖3b的圖像在應用直方圖均衡化之后的直方圖。
參照圖1，說明結合了本發(fā)明的一個實施例的車輛10。如圖所示，攝像機14定位在擋風玻璃12的頂部，其光軸指向車輛10的前進方向。攝像機14的光軸(OA)實質(zhì)上與地面平行，并且實質(zhì)上以駕駛員和乘客位置為中心，如圖1a所示。攝像機14捕捉車輛10前方的圖像。攝像機14的視場最好是大約180°，因而攝像機實質(zhì)上捕捉車輛前方的整個圖像。但是，視場可低于180°。
參照圖2，說明支持本發(fā)明的實施例的系統(tǒng)的其它部件以及這些部件和駕駛員P的相對位置。圖2說明駕駛員P的頭部在擋風玻璃12后面、在左側其相對位置中的位置。攝像機14設置在擋風玻璃12頂部的中心部分，如以上參照圖1和圖1a所述。另外，圖中所示由雪花26組成的雪至少部分遮擋了駕駛員P在擋風玻璃12之外的視線。雪花26部分遮擋了駕駛員P觀看道路以及其它交通對象和特征(統(tǒng)稱為行駛場景)，其中包括停車標志28。如下面將要更詳細說明的，來自攝像機14的圖像被傳送到控制單元20。處理圖像之后，控制單元20把控制信號發(fā)送到平視顯示器(HUD)24，下面也將進一步說明。
參考圖3a，說明在沒有受到雪26影響的某個時間點、駕駛員P通過擋風玻璃12看到的行駛場景。具體來講，圖中表示了相交的道路30、32的邊界以及停車標志28。圖3a的場景實質(zhì)上與控制單元20(圖2)在沒有遮擋雪花26的時間點從攝像機14接收的圖像相同。
圖3b說明在出現(xiàn)雪花26時、駕駛員P所看到的(以及攝像機14的圖像所捕捉的)行駛場景。一般來講，雪使入射到各雪花上的光散射到各個方向，從而導致圖像的普遍“白化”。這導致對象和圖像特征、如道路邊界30、32和停車標志28(圖3b中由更淡的輪廓線表示)之間的對比度降低。除了普遍使圖像加亮之外，各片雪花26(尤其是在大雪中)實際上使駕駛員P和捕捉場景圖像的攝像機14無法看清場景中位于雪花后面的元素。因此，雪花26對攝像機14阻擋了場景的圖像數(shù)據(jù)。
采用處理軟件對控制單元20進行編程，處理軟件改善了從攝像機12接收的因天氣條件而變模糊的如圖3b所示的圖像。處理軟件首先把圖像中的雪花26當作“黑白點相間”噪聲來處理。黑白點相間噪聲又稱作“數(shù)據(jù)丟失”噪聲或者“斑點”。黑白點相間噪聲通常由圖像數(shù)據(jù)的錯誤傳輸而產(chǎn)生，它在整個圖像上隨機創(chuàng)建受損像素。受損像素可具有最大值(在圖像中看起來象雪花)，或者也可設置為零值或最大值(因此稱作“黑白點相間”)。圖像中的未受損像素保留其原始圖像數(shù)據(jù)。但是，受損像素不包含關于其原始值的信息。在http//www.dai.ed.ac.uk/HIPR2/noise.htm上提供了對黑白點相間噪聲的附加說明。
因此，在本發(fā)明方法中考慮了實際上被雪花遮擋的圖像，并將它作為圖像中的“雪”來處理，其中的像素被黑白點相間噪聲所破壞，使得受損像素采取最大值。因此，控制單元20對于從攝像機14接收的圖像應用旨在消除黑白點相間噪聲的濾波。在一個示范實施例中，控制單元20應用中值濾波，它用局部鄰域中的像素中間灰度值來取代各像素值。中值濾波不采用如線性濾波中那樣的相鄰像素值的平均值或加權和。而是對于所處理的各個像素，中值濾波器考慮像素的灰度值以及周圍像素的鄰域。像素按照灰度值排序(按照灰度值升序或降序)，并且選擇該順序中的中間像素。在通常情況下，所考慮的像素數(shù)量(包括被處理的像素)為奇數(shù)。因此，對于所選的中值像素，存在具有較高和較低灰度值的相等數(shù)量的像素。中值像素的灰度值取代被處理的像素。
圖4a是應用于受到濾波的圖像陣列的像素A上的中值濾波的一個實例。像素A和直接圍繞的像素用作中值濾波的鄰域。這樣，九個像素的灰度值(如圖4a中對各像素所示)用于對所考慮的像素A進行濾波。如圖4b所示，九個像素的灰度值按照灰度值進行排序。從圖中可以看到，排序的中間像素是圖4b中的像素M，因為四個像素具有較高的灰度值以及四個像素具有較低的灰度值。這樣，像素A的濾波采用中值像素的灰度值60來取代灰度值20。
如上所述，在通常情況下，存在一個中值像素，因為對于被處理的像素考慮的是奇數(shù)個像素。如果選擇了鄰域之后要考慮偶數(shù)個像素，則可使用按照排序的兩個中間像素的平均灰度值。(例如，如果考慮十個像素，則可使用按照排序的第五和第六像素的平均灰度值。)這種中值濾波在從圖像中消除黑白點相間噪聲的同時保留圖像細節(jié)的方面是有效的。中值像素的灰度值的使用使經(jīng)過濾波的像素值等于鄰域中某個像素的灰度值，從而保持在相鄰像素的灰度值本身被平均時可能會丟失的圖像細節(jié)。
因此，如上所述，在進行濾波以消除黑白點相間濾波的第一示范實施例中，控制單元20把中值濾波應用于組成從攝像機14接收的圖像的各個像素。對組成圖像的各個像素，考慮像素的鄰域(例如，圖4a所示的八個直接相鄰像素)，進行中值濾波，如上所述。(對于圖像邊緣，可使用存在的鄰域的那些部分。)中值濾波減少或消除圖像中的黑白點相間噪聲，從而有效地減少或消除從攝像機14接收的行駛場景的圖像中的雪花26。
在進行濾波以消除黑白點相間濾波的第二示范實施例中，控制單元20把“最小單值段同化核”(SUSAN)濾波應用于組成從攝像機14接收的圖像的各像素。對于SUSAN濾波，為正被處理的像素(“核”)創(chuàng)建掩模，它描繪圖像中具有與核相同或相似亮度的區(qū)域。核(被處理像素)的圖像的這個掩模區(qū)稱作USAN(“單值段同化核”)區(qū)。通過計算位于USAN內(nèi)的像素(除核以外)的加權平均灰度值并用平均值取代核的值來進行SUSAN濾波。采用USAN內(nèi)的像素的灰度值確保用于求平均值的像素將來自圖像的相關區(qū)域，從而在保留圖像結構的同時消除黑白點相間噪聲。在S.M.Smith和J.M.Brady的“SUSAN-低級圖像處理的新方法”[Technical Report TR95SMS1c，Defence ResearchAgency，F(xiàn)arnborough，England(1995)][還見于Int.Journal Of ComputerVision，23(1)45-78(1997年5月)]中提供了SUSAN處理和濾波的其它詳細情況，將其內(nèi)容通過引用結合于此。
一旦圖像經(jīng)過濾波而消除了黑白點相間噪聲(從而消除了圖像中的雪花26)，濾波后的圖像可由控制單元20直接輸出到HUD 24，向駕駛員P顯示，具體方式在下文進一步描述。但是，如上所述，雪花26還會使場景的圖像普遍變亮，從而會降低圖像中的特征和對象的對比度。因此，控制單元20還對濾波后的圖像應用直方圖均衡化算法。直方圖均衡化技術是本領域眾所周知的，這些技術提高圖像的對比度而不影響其中包含的信息的結構。(例如，它們常用作圖像識別處理中的預處理步驟。)對于圖3b的圖像，即使從圖像中濾除雪花26之后，停車標志28和道路邊界30、32的微弱對比度可能仍保留在圖像中。經(jīng)過黑白點相間濾波而消除雪花26之后，圖3b的圖像的圖像像素的直方圖表示在圖5a中。從圖中看到，圖像中有大量像素具有高亮度等級，表示大量像素具有較高亮度。對圖像應用直方圖均衡化操作之后，直方圖表示在圖5b中。算子把原始圖像中的(輸入)亮度的所有像素映射到輸出圖像中的另一個(輸出)亮度。因此，亮度密度等級由直方圖均衡化算子進行擴展，從而為圖像提供改善的對比度。但是，由于僅調(diào)整了分配給圖像的特征的亮度，因此該操作不改變圖像的結構。
一種用于把輸入圖像A映射到輸出圖像B的典型直方圖均衡化變換函數(shù)表示為f(DA)=(DM)*PA(u)0DAdu]]>公式1其中p是描述輸入圖像A的亮度分布的假定概率函數(shù)，假定為隨機的，DA是所考慮的原始圖像A的特定亮度等級，以及DM是輸入圖像中的亮度等級的最大數(shù)。因此，f(DA)＝DM*FA(DA) 公式2其中FA(DA)是原始圖像直到特定亮度等級DA的累積概率分布(即累積直方圖)。這樣，利用這個直方圖操作、即利用其累積直方圖變換的圖像，結果為平坦輸出直方圖。這是完全均衡的輸出圖像。
特別適合數(shù)字實現(xiàn)的另一種直方圖均衡化操作采用變換函數(shù)f(DA)＝max(0，round[DM*nk/N2)]-1) 公式3其中N是圖像像素的數(shù)量，nk是處于亮度等級k(＝DA)或以下的像素數(shù)量。輸入圖像中具有亮度等級DA(或k)的所有像素都被映射到亮度等級f(DA)。雖然輸出圖像不一定完全均衡(直方圖中可能存在孔或者未使用的亮度等級)，但原始圖像的像素的亮度密度在輸出圖像上更均勻地被擴展，尤其是在輸入圖像的像素數(shù)量和亮度量化等級高的情況下。R.Fisher等人在www.dai.ed.ac.uk/HIPR2/histeq.htm上發(fā)布的出版物“直方圖均衡化”[Hypermedia Image Processing Reference 2，Departmentof Artificial Intelligence，University of Edinburgh(2000)]中更詳細地描述了以上概述的直方圖均衡化，將其內(nèi)容通過引用結合于此。
應用直方圖均衡化時，控制單元20把公式3(或者公式2)的算子應用于組成先前由控制單元20濾波的、從攝像機14接收的圖像的像素。這個操作把輸入圖像中各像素的亮度(具有特定亮度DA)重新指定為(映射到)f(DA)所給定的亮度。在控制單元20內(nèi)創(chuàng)建的已過濾和均衡的圖像的包括對比度在內(nèi)的圖像質(zhì)量得到明顯提高，并且接近未受到天氣條件影響的、如圖3a所示的圖像質(zhì)量。(為方便起見，濾波和直方圖均衡化之后在控制單元20中呈現(xiàn)的圖像被稱作“預處理圖像”。)在這種情況下，控制單元20內(nèi)創(chuàng)建的預處理圖像通過HUD 24直接顯示在擋風玻璃12的某個區(qū)域上。HUD 24把預處理圖像投影到擋風玻璃12的小的不顯眼區(qū)域中(例如在駕駛員P朝擋風玻璃12以外正常注視點以下)，從而顯示排除了天氣條件影響的行駛場景的圖像。
另外，控制單元20根據(jù)從攝像機14接收的輸入圖像所創(chuàng)建的預處理圖像經(jīng)過改善，使圖像識別處理能夠由控制單元20可靠地應用于預處理圖像。駕駛員(通過界面)可以發(fā)起由控制單元20進行的圖像識別處理，或者控制單元20本身可自動地將它應用于預處理圖像?？刂茊卧?0應用圖像識別處理來進一步分析在控制單元20中所呈現(xiàn)的預處理圖像。采用圖像識別軟件對控制單元20編程，所述圖像識別軟件分析預處理圖像并檢測其中的交通標志、人體、其它車輛、道路邊界以及道路上的對象或變形，等等。由于預處理圖像具有相對于從攝像機12接收的原始圖像(如上所述，該圖像質(zhì)量因天氣條件而下降)改善的清晰度和對比度，因此控制單元20所執(zhí)行的圖像識別處理具有高級圖像檢測和識別。
圖像識別軟件可結合例如基于形狀的對象檢測，如以上“用于“智能”車輛的實時對象檢測”中所述。除了其它目標，控制單元20經(jīng)過編程以識別預處理圖像中的各種交通標志的形狀，如圖3a和3b中的停車標志28。同樣，控制單元20可經(jīng)過編程以檢測預處理圖像中的交通信號的輪廓，并且還分析信號的當前顏色狀態(tài)(紅、黃或綠)。另外，道路邊界的圖像梯度可由控制單元20采用“用于“智能”車輛的實時對象檢測”中所述的基于形狀的對象檢測技術中的模板方法、作為預處理圖像中的“形狀”來檢測。
一般來講，控制單元20分析一系列預處理圖像(已經(jīng)利用從攝像機12接收的圖像產(chǎn)生了這些圖像)，并在各個這種圖像中識別交通標志、道路輪廓等等?？呻S著時間推移來分析所有圖像，或者分析樣本。可以獨立于先前的圖像來分析各個圖像。在該情況下，即使在先前接收的圖像中已經(jīng)檢測到(例如)停車標志，也在所接收的當前圖像中獨立識別停車標志。
檢測了預處理圖像中的相關交通對象(例如交通標志和信號)和特征(例如道路輪廓)之后，控制單元20增強了對HUD 24輸出的圖像中的那些特征。增強可包括例如輸出圖像中那些對象和特征的圖像質(zhì)量的提高。例如，在停車標志的情況下，預處理圖像中的單詞“停車”仍然可能因降雪或其它天氣條件而部分或完全難以辨認。但是，停車標志的八邊形邊框的預處理圖像可能十分清楚，足以使圖像識別處理能夠把它識別為停車標志。在該情況下，控制單元20通過以數(shù)字形式在標志圖像的正確位置上加入單詞“停車”來增強傳送到HUD 24供投影的圖像。另外，標志的正確顏色在預處理圖像中模糊不清時也可被添加。增強還可包括例如以數(shù)字方式突出顯示預處理圖像中由控制單元20識別的對象和特征的一些方面。例如，在預處理圖像中識別停車標志之后，控制單元20可采用與直接相鄰區(qū)域之間有高對比度的顏色來突出顯示停車標志的八邊形邊框。當HUD 24投影圖像時，駕駛員P自然將其注意力轉移到這些突出顯示的對象和特征上。
如果對象在預處理圖像中被識別為控制信號、交通標志等，則控制單元20可經(jīng)過進一步編程，以便跟蹤它在后續(xù)預處理圖像中的運動，而不是在各個后續(xù)圖像中獨立識別它。對連續(xù)圖像中基于位置、運動和形狀所識別的對象的運動的跟蹤可依靠例如McKenna和Gong的“跟蹤面部”[Proceedings of the Second International Conference onAutomatic Face and Gesture Recognition，Killington，Vt.，1996年10月14-16日，第271-276頁]中所述的聚類技術，將其內(nèi)容通過引用結合于此。(上述文件的第2部分描述對多個運動的跟蹤。)通過跟蹤對象在圖像之間的運動，控制單元20可減少向HUD 24提供具有增強特征的圖像所需的處理時間量。
如上所述，本發(fā)明的上述實施例的控制單元20還可經(jīng)過編程，以便檢測其本身在預處理圖像中移動的對象、例如行人和其它車輛，并且增強發(fā)送到HUD 24并由其投影的圖像中的那些對象。在要檢測運動中的行人和其它對象(以及交通信號、交通標志等)的情況下，采用如“從移動的車輛檢測行人”中所述的識別技術對控制單元20編程。如上所述，這為行人檢測提供了一種兩步方法，它采用RBF分類作為第二步。第一步的模板匹配和第二步中RBF分類器的訓練還可包括車輛，因而控制器20經(jīng)過編程以識別接收圖像中的行人和車輛。(編程還可包括以上強調(diào)的用于靜止的交通標志、信號、道路邊界等的模塊和RBF訓練，從而提供控制單元20的整個圖像識別處理。)一旦對象由控制單元20識別為行人、其它車輛等，則可采用如以上的“跟蹤面部”中所述的聚類技術在后續(xù)圖像中跟蹤它的移動。
與上述方式相同，在預處理圖像中識別的車輛或行人由控制單元20進行增強，以便由HUD 24投影。這種增強可包括對行人或車輛圖像邊框的數(shù)字調(diào)整，從而使其更容易被駕駛員P識別。增強還可包括例如數(shù)字調(diào)整行人或車輛的顏色，使得它在圖像中與直接相鄰區(qū)域的反差更明顯。增強還可包括例如在圖像中以數(shù)字方式突出顯示行人或車輛的邊框，例如使用與直接相鄰區(qū)域對比明顯的顏色或者通過閃爍邊框。同樣，當具有增強的圖像由HUD 24投影時，駕駛員P自然將其注意力轉移到這些突出顯示的對象和特征上。
如上所述，不是由駕駛員P來啟動控制單元20中的圖像識別處理，而是可以始終在預處理圖像上執(zhí)行圖像識別處理。這就不需要駕駛員參與附加處理?；蛘?，控制單元20可與車輛上的外部傳感器(未示出)接口，這些外部傳感器提供指示天氣性質(zhì)及惡劣程度的輸入信號。根據(jù)從外部傳感器接收的天氣指示，控制單元20選擇是否采用上述創(chuàng)建和顯示預處理圖像的處理，或者是否對預處理圖像進一步采用圖像識別處理。例如，原始圖像的直方圖可由控制單元20進行分析，以便確定原始圖像中的清晰度和對比度。例如，可對直方圖的多個相鄰亮度抽樣，以便確定抽樣亮度之間的平均對比度和/或可考慮圖像邊緣抽樣的梯度以確定圖像的清晰度。如果清晰度和/或對比度低于門限量，則控制單元20啟動一部分或全部天氣相關的處理。例如，可對預處理圖像執(zhí)行同樣的直方圖分析，從而確定是否需要對預處理圖像執(zhí)行附加的圖像識別，或者是否可以直接顯示預處理圖像。通過僅當天氣條件使所產(chǎn)生的預處理圖像需要圖像識別處理時才使用該處理，使處理和顯示改善圖像所需的時間減至最少。
雖然本文參照附圖對本發(fā)明的說明性實施例進行了描述，但應當理解，本發(fā)明不限于這些確切的實施例。例如，雖然以上針對的天氣條件是構成降雪的雪花，但相同或相似的處理可應用于構成降雨的雨滴。另外，上述圖像識別處理可直接應用于濾波后的圖像，而沒有對濾波后的圖像應用直方圖均衡化處理。因此，本發(fā)明的范圍意在由所附權利要求書的范圍來定義。
權利要求
1.一種用于向車輛(10)的駕駛員(P)顯示行駛場景的系統(tǒng)，所述系統(tǒng)包括a)至少一個攝像機(14)，它具有一定視場，面向所述車輛(10)的前進方向，并且捕捉行駛場景的圖像，所述圖像包括在所述車輛(10)前方的視場的像素，b)控制單元(20)，從所述攝像機(14)接收所述圖像，并把黑白點相間噪聲濾波應用于組成所述接收圖像的所述像素，當從所述攝像機(14)接收的行駛場景的圖像質(zhì)量因天氣條件而下降時，所述濾波提高所述圖像質(zhì)量，以及c)顯示器(24)，從所述控制單元(20)接收應用了所述濾波操作之后的所述圖像，并向所述駕駛員(P)顯示所述行駛場景的圖像。
2.如權利要求1所述的系統(tǒng)，其特征在于，所述控制單元(20)所應用的所述黑白點相間噪聲濾波是中值濾波。
3.如權利要求1所述的系統(tǒng)，其特征在于，所述控制單元(20)所應用的所述黑白點相間噪聲濾波是SUSAN濾波。
4.如權利要求1所述的系統(tǒng)，其特征在于，所述控制單元(20)還把直方圖均衡化操作應用于組成所述濾波后圖像的所述像素的亮度，所述直方圖均衡化操作在所述行駛場景的圖像質(zhì)量因天氣條件而下降時進一步提高所述圖像質(zhì)量。
5.如權利要求4所述的系統(tǒng)，其特征在于，所述控制單元(20)在所述直方圖均衡化操作之后還把圖像識別處理應用于所述圖像。
6.如權利要求5所述的系統(tǒng)，其特征在于，所述控制單元(20)把圖像識別處理應用于所述圖像，從而識別其中至少一種預定類型的對象。
7.如權利要求6所述的系統(tǒng)，其特征在于，所述至少一種預定類型的對象包括從以下組中選取的至少一項行人、其它車輛、交通標志(28)、交通控制器以及道路障礙。
8.如權利要求6所述的系統(tǒng)，其特征在于，所述圖像中識別的所述至少一種預定類型的對象由所述控制單元(20)來增強，以供所述顯示器(24)顯示。
9.如權利要求6所述的系統(tǒng)，其特征在于，所述控制單元(20)還識別所述圖像中至少一種預定類型的特征。
10.如權利要求9所述的系統(tǒng)，其特征在于，所述圖像中識別的至少一種預定類型的所述特征由所述控制單元(20)來增強，以供所述顯示器(24)顯示。
11.如權利要求9所述的系統(tǒng)，其特征在于，至少一種預定類型的所述特征包括道路邊界(30，32)。
12.如權利要求1所述的系統(tǒng)，其特征在于，所述顯示器是平視顯示器(HUD)(24)。
13.如權利要求1所述的系統(tǒng)，其特征在于，所述控制單元(20)在所述濾波之后還把圖像識別處理應用于所述圖像。
14.一種用于向車輛(10)的駕駛員(P)顯示行駛場景的方法，所述方法包括以下步驟a)捕捉所述車輛(10)的前進方向上的行駛場景的圖像，所述圖像包括所述車輛(10)前方視場的像素，b)對組成所述捕捉圖像的所述像素進行黑白點相間噪聲濾波，當捕捉的所述行駛場景的所述圖像的質(zhì)量因天氣條件而降低時，所述濾波提高所述圖像質(zhì)量，以及c)在應用所述濾波操作之后向所述駕駛員(P)顯示所述行駛場景的所述圖像。
15.如權利要求14所述的方法，其特征在于，對組成所述圖像的所述像素進行所述黑白點相間噪聲濾波的步驟之后是把直方圖均衡化應用于濾波后的像素的步驟。
16.如權利要求14所述的方法，其特征在于，對組成所述圖像的所述像素進行所述黑白點相間噪聲濾波的步驟之后是把圖像識別處理應用于濾波后的像素的步驟。
全文摘要
用于向車輛駕駛員顯示行駛場景的系統(tǒng)和方法。該系統(tǒng)包括至少一個具有一定視場并面向車輛前進方向的攝像機。攝像機捕捉行駛場景的圖像，圖像由車輛前方視場的像素組成?？刂茊卧獜臄z像機接收圖像，并把黑白點相間噪聲濾波應用于組成所接收圖像的像素。濾波提高了從攝像機接收的、因天氣條件而下降的行駛場景的圖像質(zhì)量。顯示器從控制單元接收應用了濾波操作之后的圖像，并向駕駛員顯示行駛場景的圖像。
文檔編號B60R1/00GK1589456SQ02822907
公開日2005年3月2日 申請日期2002年10月29日 優(yōu)先權日2001年11月19日
發(fā)明者A·科梅納雷茲, S·V·R·古特塔, M·特拉科維 申請人:皇家飛利浦電子股份有限公司