用于探測霧的方法
【專利摘要】本發(fā)明涉及一種用于借助相機圖像或攝像圖像對霧進(jìn)行探測的方法，其包括如下步驟：依據(jù)兩個獨立的位置坐標(biāo)拍攝具有至少一個顏色通道或具有多個顏色通道的兩維圖像；對于所述至少一個顏色通道或?qū)τ谒龆鄠€顏色通道中的每一顏色通道確定出兩維的灰度函數(shù)，該灰度函數(shù)依據(jù)所述兩維圖像的兩個獨立的位置坐標(biāo)確定灰度的值；依據(jù)兩個獨立的頻率坐標(biāo)對所述兩維的灰度函數(shù)進(jìn)行兩維的傅里葉變換。
【專利說明】用于探測霧的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于借助相機圖像或攝像圖像對霧進(jìn)行探測的方法。
【背景技術(shù)】
[0002]霧的出現(xiàn)對于地面、空中和海上客運及貨運交通構(gòu)成重大影響。因此現(xiàn)代車輛可以裝備以攝像為基礎(chǔ)的自動的霧探測系統(tǒng)，這些霧探測系統(tǒng)能夠與各種不同的駕駛員輔助系統(tǒng)相耦聯(lián)。
[0003]例如，N.Hautiere等在“Automatic fog detection and estimation of visibilitydistance through use of an onboard camera，，,Machine Vision and Applications, Vol.17,N0.1, pp.8-20, January2006中介紹了一種日間在車輛中用于以攝像為基礎(chǔ)探測霧和估算能見度范圍的方案措施，該方案措施也是文獻(xiàn)FR2835911B的主題內(nèi)容。在此，對利用前置相機拍攝的圖像進(jìn)行處理。借助區(qū)域生長(Region-Growing)方案措施提取一個既包含車道部分也包含天空部分的圖像區(qū)域。在這個區(qū)域之內(nèi)界定一個測量區(qū)域，該測量區(qū)域?qū)τ诿恳粓D像行(析像行)包含強度值的中位數(shù)。這個測量區(qū)域從最下部圖像行到最上部圖像行的(強度_)變化曲線被稱為強度函數(shù)。強度函數(shù)的轉(zhuǎn)向點界定一個能見度范圍，亦即下述的那個圖像行，在該圖像行以上對于駕駛員來說再無法看見物體。強度函數(shù)的轉(zhuǎn)向點是由這樣的圖像行界定的，在該圖像行以上駕駛員就再也不能識別出物體。通過透視投影并且在假設(shè)地勢平坦的情況下，可以針對該圖像行推斷出以米為單位的對應(yīng)的能見度范圍。如果具有轉(zhuǎn)向點的圖像行位于圖像中點以上，那么便產(chǎn)生一個無限遠(yuǎn)的能見度范圍，因此通過這種方法也可以識別霧的存在。
[0004]不過由 Hautiere 等在 “Perception through Scattering Media for AutonomousVehicles，，，Autonomous Robots Research Advances, Nova Science Publishers,pp.223-267，April2008中自己又指出:用于提取待調(diào)查之圖像范圍(其既包含道路部分也包含天空部分)的最初使用的區(qū)域生長方案措施在很多交通狀況中提供不充分的結(jié)果。不能始終保證存在從車道到天空的過渡形式的地平線，例如在前面有車輛行駛的交通情況下或在某些自然景物的情況下。
[0005]由 Bronte 等在 “Fog Detection System Based on Computer Vision Techniques，，，IEEE Intelligent Transportation Systems, pp.1-6, 0ctober2009 中以用于探測霧和用于估算能見度范圍的系統(tǒng)為題介紹了另一種可選的方案措施。據(jù)此，在一個相機圖像中通過一種區(qū)域生長算法提取兩個鄰接的區(qū)域，一個車道區(qū)域和一個天空區(qū)域。另外，通過圖像特征計算實時的消失點。在有霧場景的情況中，由最上部圖像行起測量，天空區(qū)域高于消失點。經(jīng)由兩個區(qū)域相接觸所在的圖像行，通過透視投影并且在假設(shè)地勢平坦的情況下可以求得能見度范圍。為了避免誤探測，此外還在該算法前置入一個以閾值為基礎(chǔ)的“非霧探測器”。這個探測器借助圖像上半部之內(nèi)出現(xiàn)的梯度絕對值的總和來識別在圖像中是否存在充分的模糊化(Verunscharfung),以便實施能見度范圍估算。由于以單獨一幅圖像為基礎(chǔ)進(jìn)行的能見度范圍估算是很不可靠的，也就是說，按時間觀察在多個相繼的圖像上會經(jīng)歷劇烈的波動，因此要在一個固定的時間期間上實施中位數(shù)形成。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的是，介紹一種改進(jìn)的、用于借助相機圖像或攝像圖像對霧進(jìn)行探測的方法。
[0007]這個目的通過如權(quán)利要求1所述的方法得以實現(xiàn)。本發(fā)明的一些有益實施方式和發(fā)展設(shè)計可由從屬權(quán)利要求得出。
[0008]本發(fā)明的方法包括下列步驟:
[0009]首先要完成對具有至少一個顏色通道或多個顏色通道的兩維圖像的拍攝，并且對于所述至少一個顏色通道或者對于所述多個顏色通道中的每一顏色通道構(gòu)建一種灰度值圖像，其中，灰度的值是依據(jù)兩個獨立的位置坐標(biāo)作為兩維灰度函數(shù)而定的。接著對灰度函數(shù)進(jìn)行兩維的傅里葉變換，其中，傅里葉變換結(jié)果在頻率空間內(nèi)是依據(jù)兩個獨立的頻率坐標(biāo)而定的。
[0010]在該方法中利用了如下情況:在有霧之場景的灰度值圖像的拍攝照片中，隨著霧的濃度增加，相鄰點的強度差或灰度梯度是要比在無霧之相同場景的灰度值圖像的拍攝照片中(相鄰點的強度差或灰度梯度)更小。在無霧的圖像中比起在有霧的拍攝照片中能夠看到明顯更為清晰(銳化)的邊緣和更高的對比度。例如，浙青路面上的白色車道標(biāo)線在有霧時變得模糊不清，而這些車道標(biāo)線在陽光下輪廓清晰可見。
[0011]例如對一維階梯函數(shù)的傅里葉變換在頻率空間內(nèi)在為零的聞頻率情況下還提供不同的份額(Beitrag，量值)，這些份額例如在對一維高斯鐘形曲線的傅里葉分析中則消失。
[0012]因此傅里葉變換提供了如下優(yōu)點，S卩，在頻率空間內(nèi)霧出現(xiàn)的“程度”是標(biāo)準(zhǔn)度量的:在有霧的情況下傅里葉變換結(jié)果的絕對值集中于頻率坐標(biāo)的零點周圍，在陽光照射情況下傅里葉變換更多地提供在兩個頻率坐標(biāo)的按照絕對值大小的高值中的份額。由此，本發(fā)明的方法特別有利于借助相機或攝像系統(tǒng)對霧進(jìn)行探測。
[0013]黑白顯示的圖像是基于唯一一個顏色通道。相反，彩色的圖像則通常以三個顏色通道為基礎(chǔ)-紅色通道、綠色通道和藍(lán)色通道。圖像的每個通道均得到一種可以描述為灰度值圖像的強度分布。
[0014]根據(jù)本發(fā)明的一個優(yōu)選的變型方案，將兩維的灰度圖像標(biāo)準(zhǔn)化。
[0015]灰度圖像的標(biāo)準(zhǔn)化具有如下優(yōu)點:局部圖像范圍例如通過照明效果或者曝光效果被盡可能地平衡。該標(biāo)準(zhǔn)化可以通過合適的濾波器如各向同性的高通濾波器和低通濾波器來實現(xiàn)。所述標(biāo)準(zhǔn)化防止了功率譜內(nèi)若干個圖像范圍的優(yōu)勢。作為實例，應(yīng)該提到例如在本身均勻的面上的陰影投射，其影響可以通過標(biāo)準(zhǔn)化而降低。
[0016]另外，計算出傅里葉變換結(jié)果的絕對值平方，該絕對值平方被稱為功率譜。在該功率譜上在兩維的頻率空間內(nèi)實施一種數(shù)碼圖像處理。
[0017]根據(jù)本發(fā)明的一個優(yōu)選的實施方式，利用加博爾濾波器群組對功率譜進(jìn)行分析。在此，利用加博爾濾波器群組的每一個單獨的加博爾濾波器在兩維的頻率空間上對功率譜進(jìn)行過濾，過濾結(jié)果被稱為加博爾特征。
[0018]所述功率譜利用一個點對稱的加博爾濾波器群組在兩維的頻率空間內(nèi)被“掃描”。這意味著:功率譜的圖像量也用作加博爾濾波器群組的圖像量。每個單獨的加博爾濾波器與功率譜褶積，該加博爾濾波器的圖像范圍和其在頻率空間內(nèi)的取值范圍通過其尺度和定向被確定。褶積值被稱為加博爾特征。以這種方式，每個加博爾濾波器被賦予一個加博爾特征，并且功率譜的份額在頻率空間的不同頻率范圍內(nèi)在量上成為可測量的。
[0019]加博爾特征附加地與一個預(yù)定的權(quán)重函數(shù)相乘，以計算出霧指標(biāo)。將霧指標(biāo)與一個預(yù)定的閾值進(jìn)行比較。通過該比較，以一定置信度水平為一個二進(jìn)制變量賦予一個代表“霧”的預(yù)定值或另一個代表“無霧”的預(yù)定值。
[0020]這意味著:所述方法以一定可信度提供信息“有霧”或“無霧”。
[0021]另外，有益的是:根據(jù)經(jīng)驗上的學(xué)習(xí)數(shù)據(jù)來求得所述預(yù)定的權(quán)重函數(shù)和預(yù)定的閾值。
[0022]由此可知:所述方法在研發(fā)中(也就是說在其被提供給常規(guī)使用之前)要利用學(xué)習(xí)及訓(xùn)練數(shù)據(jù)以實踐經(jīng)驗為依據(jù)進(jìn)行可靠性確證。為此，可以借助測試照片利用能見度范圍估算來實施對拍攝照片的具體化的霧分類，以便借助這些數(shù)據(jù)對所述方法進(jìn)行評估。
[0023]按照本發(fā)明的一個可選的變型方案，可以借助加博爾特征利用主分量分析來實施特征還原(Merkmalsreduktion)。還原的特征被稱為主要加博爾特征。
[0024]主分量分析提供了如下優(yōu)點:加博爾特征可以借助訓(xùn)練數(shù)據(jù)對其相關(guān)性進(jìn)行統(tǒng)計調(diào)查。這一點實現(xiàn)了在所述方法的常規(guī)應(yīng)用過程中對計算機處理性能的節(jié)省資源的管理。
[0025]按照本發(fā)明的另一個變型方案，可以使功率譜接受一種利用主分量分析的特征還原。還原的特征被稱為主要特征。
[0026]在主分量分析的數(shù)碼圖像處理方法中，功率譜在頻率空間內(nèi)的每個像素值都被視為一項單獨的特征。在這些特征的基礎(chǔ)上通過主分量分析來實施特征還原。作為可選方案，可以在頻率空間內(nèi)使用支持向量法。
[0027]按照本發(fā)明的另一個實施方式，加博爾特征被分類為主要加博爾特征或加博爾特征。該分類利用一個線性分類器或一個非線性分類器來實施。在分類時，與霧的出現(xiàn)以及附加選擇地與霧的濃度相關(guān)聯(lián)的分類變量被賦予一個值和一個置信度水平。
[0028]在此，例如可以采用對于數(shù)碼圖像處理方面的專業(yè)技術(shù)人員來說已知的線性判別分析或者支持向量法。最后，分類法發(fā)出一個諸如“有霧”或“無霧”的種類屬性作為信息。該種類屬性也可以配置有一定的置信度水平。
[0029]特別有益的是:在包括控制器、相機或攝像系統(tǒng)和至少一個駕駛員輔助系統(tǒng)的車輛中，由相機或攝像系統(tǒng)和由控制器實時地執(zhí)行用于對霧進(jìn)行探測的方法，并且種類屬性被傳輸?shù)剿鲋辽僖粋€駕駛員輔助系統(tǒng)。車輛的駕駛員輔助系統(tǒng)可以在“有霧”時對駕駛員發(fā)出警告。作為可選或者補充措施，駕駛員輔助系統(tǒng)可以在針對“霧”所指定的配置中運行。通過這種方式可以在道路交通中對主動安全性作出直接貢獻(xiàn)。
[0030]所說實時就此而論意味著:種類屬性的信息可以由所述方法在一時窗之內(nèi)求得，該時窗在時間上短于所述相機或攝像系統(tǒng)的灰度值圖像的逆反拍攝頻率(inverseAufnahmefrequenz)。
【專利附圖】

【附圖說明】
[0031]下文將參照附圖對本發(fā)明的一個優(yōu)選實施例加以闡述。由此得到本發(fā)明的其他細(xì)節(jié)、優(yōu)選的實施方式和發(fā)展設(shè)計。各附圖中示意性地示出:
[0032]圖1為用于對霧進(jìn)行探測的方法步驟；
[0033]圖2a為能見度良好時的灰度值圖像；
[0034]圖2b為能見度良好時的功率譜；
[0035]圖3a為有霧時的灰度值圖像；
[0036]圖3b為有霧時的功率譜。
【具體實施方式】
[0037]在圖1中示出了車輛中用于對霧進(jìn)行探測的方法的各個方法步驟。該車輛具有一個照相和/或攝像系統(tǒng)，該系統(tǒng)例如沿車輛的行駛方向安裝在駕駛員后視鏡的區(qū)域內(nèi)。為了對霧進(jìn)行探測，基于相機或攝像的方案措施是很有發(fā)展前途的，因為由此在車輛內(nèi)的人的感覺可以被很好地復(fù)制。例如，按照現(xiàn)有技術(shù)一般在車輛中就能夠找到照相機，這些照相機沿行駛方向安裝在后視鏡的區(qū)域內(nèi)，以便盡可能如駕駛者體驗的那樣檢知行駛狀態(tài)。照相和/或攝像系統(tǒng)具有一個通向車輛控制器的數(shù)據(jù)接口。另外，車輛包括多個駕駛員輔助系統(tǒng)，諸如提示駕駛者存在速度限制的警報系統(tǒng)或用于自動接通/關(guān)斷霧燈或后霧燈的開關(guān)助手。駕駛員輔助系統(tǒng)同樣具有通向控制器的數(shù)據(jù)接口。
[0038]在第一步中，為了對霧進(jìn)行探測而利用照相或攝像系統(tǒng)創(chuàng)建車輛外部環(huán)境的圖像。理想的是，該圖像獲得在行駛期間朝著車輛迎面而來的交通狀況。該圖像依據(jù)兩個獨立的位置坐標(biāo)X和y作為兩維的灰度圖像被獲得。以一種具有一個顏色通道的黑白圖像為出發(fā)點，而這并不構(gòu)成對一般性的限制。在此，灰度的值表示為i(x，y)。灰度圖像附加地可以是拍攝到的相機圖像的一個正方形局部部分，因而在灰度圖像的圖像寬度和圖像高度方面像素數(shù)量均是相同的。
[0039]例如圖2a為能見度良好的情況下即無霧天氣時的灰度圖像以及圖3a為有霧情況下的灰度圖像。這些圖像在圖2a和圖3a中是示范性地圖示表示的。所述方法將圖像作為數(shù)據(jù)記錄加以處理，該數(shù)據(jù)記錄沒有必要必須圖解地示出。
[0040]灰度圖像進(jìn)入被稱為預(yù)濾或標(biāo)準(zhǔn)化的下一步。經(jīng)過預(yù)濾的灰度圖像被表示為 (x，y)。所述預(yù)濾由強度值的方差的局部標(biāo)準(zhǔn)化構(gòu)成:
【權(quán)利要求】
1.用于借助相機圖像或攝像圖像對霧進(jìn)行探測的方法，包括如下步驟: -依據(jù)兩個獨立的位置坐標(biāo)拍攝具有至少一個顏色通道或具有多個顏色通道的兩維圖像， -對于所述至少一個顏色通道或?qū)τ谒龆鄠€顏色通道中的每一顏色通道確定出兩維的灰度函數(shù)，該灰度函數(shù)依據(jù)所述兩維圖像的兩個獨立的位置坐標(biāo)確定灰度的值， -依據(jù)兩個獨立的頻率坐標(biāo)對所述兩維的灰度函數(shù)進(jìn)行兩維的傅里葉變換。
2.如權(quán)利要求1所述的方法，其特征在于: -將兩維的灰度圖像標(biāo)準(zhǔn)化， -該標(biāo)準(zhǔn)化借助低通濾波器和借助高通濾波器來平衡灰度的強度梯度。
3.如權(quán)利要求2所述的方法，其特征在于: -計算出傅里葉變換結(jié)果的絕對值平方，該絕對值平方被稱為功率譜， -借助數(shù)碼圖像處理對所述功率譜進(jìn)行整理。
4.如權(quán)利要 求3所述的方法，其特征在于: -利用加博爾濾波器群組對所述功率譜進(jìn)行分析， -利用所述加博爾濾波器群組的每一加博爾濾波器在兩維的頻率空間上對所述功率譜進(jìn)行過濾，過濾結(jié)果被稱為該加博爾濾波器的加博爾特征。
5.如權(quán)利要求4所述的方法，其特征在于: -對各加博爾特征進(jìn)行特征還原， -該特征還原借助主分量分析予以實施而得到還原的加博爾特征。
6.如權(quán)利要求4或5所述的方法，其特征在于: -將加博爾特征或經(jīng)過特征還原的加博爾特征與預(yù)定的權(quán)重函數(shù)相乘，以計算出霧指標(biāo)， -將該霧指標(biāo)與預(yù)定的閾值進(jìn)行比較， -所述方法以一定置信度水平為一個分類變量賦予一個代表“霧”的值或另一代表“無霧”的值。
7.如權(quán)利要求5所述的方法，其特征在于: -所述權(quán)重函數(shù)和所述閾值是借助于訓(xùn)練數(shù)據(jù)通過對該方法進(jìn)行評估而預(yù)先確定的。
8.如權(quán)利要求3所述的方法，其特征在于: -對所述功率譜進(jìn)行特征還原， -該特征還原借助主分量分析在頻率空間內(nèi)予以實施而得到還原的特征。
9.如權(quán)利要求3所述的方法，其特征在于: -對所述功率譜進(jìn)行特征還原， -該特征還原借助支持向量法在頻率空間內(nèi)予以實施而得到還原的特征。
10.如權(quán)利要求8或9所述的方法，其特征在于: -對還原的特征進(jìn)行分類， -該分類利用線性分類器或非線性分類器來實施， -所述方法為一個分類變量賦予一個值， -為所述分類變量賦予一個置信度水平， -該分類變量的值按霧的出現(xiàn)或霧的濃度以所述置信度水平進(jìn)行標(biāo)準(zhǔn)度量。
11.車輛，包括控制器、照相或攝像系統(tǒng)和至少一個駕駛員輔助系統(tǒng)， 其特征在于: -由所述控制器和由所述照相或攝像系統(tǒng)實時地執(zhí)行如權(quán)利要求6或10之任一項所述的用于對霧進(jìn)行探測的方法， -所述分類變量的值能夠傳輸?shù)剿鲋辽僖粋€駕駛員輔助系統(tǒng)上，和-所述至少一個駕駛員輔助系統(tǒng)在出現(xiàn)霧的情況下向駕駛員發(fā)出警告和/或駕駛員輔助系統(tǒng)能夠在針對 出現(xiàn)霧所指定的配置中運行。
【文檔編號】G06K9/00GK104011737SQ201280062789
【公開日】2014年8月27日 申請日期:2012年11月7日 優(yōu)先權(quán)日:2011年11月16日
【發(fā)明者】M·帕夫利克 申請人:寶馬股份公司