用于檢測車輛風擋上的雨滴的方法和攝像頭組件的制作方法
【專利摘要】本發(fā)明涉及用于檢測車輛風擋上的雨滴(28)的方法和攝像頭組件，其中，至少一個圖像(14)被攝像頭(12)捕獲，至少一個參考物體(20)在攝像頭(12)捕獲的第一圖像(18)中被識別，所述至少一個被識別物體(20)至少部分地疊加到從攝像頭捕獲的第二圖像(16)提取的至少一個物體。雨滴(28)檢測在第二圖像(16)內(nèi)執(zhí)行。
【專利說明】用于檢測車輛風擋上的雨滴的方法和攝像頭組件
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于檢測車輛風擋上的雨滴的方法，其中至少一個圖像通過攝像頭捕獲。此外，本發(fā)明涉及用于檢測車輛風擋上的雨滴的攝像頭組件。
【背景技術(shù)】
[0002]對于機動車輛，已知有多種駕駛輔助系統(tǒng)，其使用由單個或由多個攝像頭捕獲的圖像。獲得的圖像可以被處理，以允許在屏幕上顯示，例如在儀表板處，或它們可被投影在風擋玻璃上，特別是在危險的情況下警示駕駛員或簡單地改善他的可視性。圖像還可以被用于檢測車輛風擋玻璃上的雨滴或霧。這樣的雨滴或霧檢測可參與車輛的功能單元的自動觸發(fā)。例如，如果檢測到雨的話，駕駛員可被警告，制動輔助系統(tǒng)可被激活，風擋擦拭器可被打開和/或車頭燈可開啟。
[0003]US 7 247 838B2描述了雨檢測裝置，其包括攝像頭和圖像處理器，其中，濾波器被用于將攝像頭捕獲的圖像的圖像處理區(qū)域分為兩部分。屏幕的上三分之二專用于適應性前照明系統(tǒng)，下三分之一用于雨滴檢測。由此，同一攝像頭可用于不同功能。
[0004]需要大量計算時間，以便通過圖像處理檢測雨滴。這使得難以設計具有以緊湊方式嵌入的所需處理器件的攝像頭。

【發(fā)明內(nèi)容】

[0005]因此，本發(fā)明的目的是產(chǎn)生一種用于檢測車輛風擋上的雨滴的方法和攝像頭組件，其需要更少的計算時間。
[0006]該目的通過具有權(quán)利要求1的特征的方法和具有權(quán)利要求10的特征的攝像頭組件實現(xiàn)。具有本發(fā)明的進一步有利改進的有利實施例在從屬權(quán)利要求中被指出。
[0007]根據(jù)本發(fā)明，在用于檢測車輛風擋上的雨滴的方法中，其中，至少一個圖像被攝像頭捕獲，至少一個參考物體在攝像頭捕獲的第一圖像中被識別。所述至少一個被識別物體至少部分地疊加到從攝像頭捕獲的第二圖像中提取的至少一個物體。雨滴檢測則在第二圖像內(nèi)執(zhí)行。由于已經(jīng)識別的物體疊加到從第二圖像提取的物體，不需要在第二圖像中識別該物體。相反，在第二圖像中的物體(第一圖像的被識別物體已經(jīng)地疊加到其)被否定，不需要進行識別工作。這顯著減小需要正確檢測風擋上的雨滴所需的計算時間。并且，被消除或否定的物體不導致任何錯誤的雨滴檢測。為了將參考物體疊加至從第二圖像提取的相應物體，可考慮尺寸和/或形狀的類似性。
[0008]疊加被識別的物體至在第二圖像中提取的物體可通過將來自第一圖像的至少一個參考點疊加至第二圖像中的參考點而被容易地執(zhí)行。這不是必須需要完成第一圖像中的被識別物體和第二圖像中的被提取物體之間的一致性?？山邮苋莶?，只要被識別物體和被識別物體被疊加至的被提取物體之間存在至少部分匹配。
[0009]參考物體不是雨滴，且與之不同，且可以特別地是道路標記或道路旁邊的樹或路緣石或任何類似物。[0010]在本發(fā)明的有利實施例中，雨滴檢測僅針對從第二圖像中提取的物體被執(zhí)行，其與被識別物體被疊加所至的所述至少一個物體不同。這明顯減小在第二圖像中的雨滴檢測的復雜性。
[0011]在本發(fā)明的進一步有利實施例中，所述至少一個疊加物體用于在第二圖像內(nèi)在至少一側(cè)界定區(qū)段，其中，雨滴檢測僅針對從該區(qū)段提取的物體被執(zhí)行，這些物體與區(qū)段的限制不同。在區(qū)段小于第二圖像的情況下，在從第二圖像提取的物體上執(zhí)行的雨滴檢測與整個第二圖像內(nèi)識別雨滴相比耗費相當少的處理時間。
[0012]所述至少一個被疊加參考物體可包括大體線性的元件。這使得特別容易通過被疊加的參考物體在第二圖像內(nèi)界定區(qū)段。并且，匹配參考物體的物體可由此在第二圖像中被容易地發(fā)現(xiàn)。
[0013]所述至少一個被疊加參考物體可特別地包括車道標記和/或路邊和/或道路屏障和/或道路路緣。這樣的物體容易通過圖像處理在第一圖像中被識別，該圖像處理在線輔助駕駛輔助系統(tǒng)(line assist driving system)內(nèi)執(zhí)行。并且，可假定，在第二圖像中存在具有用于道路交通的相同功能的物體。因此，將這樣的參考物體疊加到第二圖像中的物體可基于物體的相似性被容易地執(zhí)行。特別地，如果這樣的線性物體已經(jīng)在攝像頭執(zhí)行的另一功能內(nèi)被識別，在雨滴檢測過程內(nèi)使用該結(jié)果是非常有利的。此外，消除在與車道標記界定的駕駛車道對應的區(qū)域之外的物體，明顯減小識別過程的復雜性。這是由于，由車道標記界定的區(qū)段之外的物體特別多，且具有各種形狀。相反，駕駛車道本身是非常均一的。
[0014]在本發(fā)明的另一優(yōu)選實施例中，第一圖像和第二圖像是由雙焦點攝像頭捕獲的一個圖像的圖像區(qū)域。由此，這兩個圖像區(qū)域是同時捕獲的圖像，在第一圖像區(qū)域中識別的參考物體可非常容易地疊加到從第二圖像區(qū)域提取的相應物體。
[0015]還可發(fā)現(xiàn)有利的是，與第二圖像相比，第一圖像在距攝像頭更遠的距離處聚焦。這允許執(zhí)行第二圖像內(nèi)的可靠雨滴檢測，同時與駕駛輔助系統(tǒng)有關(guān)的其他功能可通過處理該第一圖像而被執(zhí)行。
[0016]特別有用的是，第一圖像在無限遠處聚焦，第二圖像在風擋上聚焦。則對于每個功能，即，第二圖像內(nèi)的雨滴檢測和第一圖像內(nèi)的線識別，適當?shù)囊粋€或多個圖像區(qū)域被攝像頭捕獲。
[0017]當從第二圖像提取的物體被分類以便識別雨滴時，多個分類描述項可被利用用于可靠的雨滴檢測。這些物體與從第二圖像提取的物體(參考物體已經(jīng)被疊加至其)不同。
[0018]最后，被發(fā)現(xiàn)有利的是，監(jiān)督學習機用于在從第二圖像提取的物體中識別雨滴。這樣的監(jiān)督學習機，例如支持向量機在識別雨滴時特別有強大。這可通過將分數(shù)或置信度分配給每個被提取物體而被執(zhí)行，其中，分數(shù)或置信度表示被提取物體是雨滴的可能性。
[0019]根據(jù)本發(fā)明的攝像頭組件被構(gòu)造用于檢測車輛風擋上的雨滴，其包括用于捕獲至少一個圖像的攝像頭。其還包括處理器件，處理器件構(gòu)造為在攝像頭捕獲的第一圖像中識別至少一個物體，將所述至少一個被識別物體至少部分地疊加到從攝像頭捕獲的第二圖像提取的至少一個物體；和在第二圖像內(nèi)執(zhí)行雨滴檢測。這樣的攝像頭組件能夠在特別短的計算時間內(nèi)執(zhí)行雨滴檢測，而沒有過于強大的處理器件。這允許攝像頭組件特別緊湊，這使得可以容易地將其安裝在車輛的車艙內(nèi)。
[0020]關(guān)于用于檢測雨滴的方法所闡述的優(yōu)選實施例和其優(yōu)勢相應地適用于根據(jù)本發(fā)明的攝像頭組件，反之亦然。
【專利附圖】

【附圖說明】
[0021]以上在說明書中提到的全部特征和特征組合以及以下在【專利附圖】

【附圖說明】和/或單獨在附圖中所示的特征和特征組合不僅用于分別示出的組合，還用在其他組合或單獨使用，而不違背本發(fā)明的范圍。
[0022]本發(fā)明的其他優(yōu)點、特征和細節(jié)從權(quán)利要求、優(yōu)選實施例的以下描述以及附圖可顯現(xiàn)。這其中顯示:
[0023]圖1是示出通過圖像處理進行雨滴檢測的步驟的流程圖；
[0024]圖2是使方法視覺化的流程圖，其中，攝像頭捕獲的圖像的一個圖像區(qū)域內(nèi)的區(qū)段通過在攝像頭捕獲的圖像的另一圖像區(qū)域內(nèi)識別的線界定；
[0025]圖3是具有疊加到圖像下部部分內(nèi)的車道標記的被識別駕駛車道標記的圖像，其中，駕駛車道標記在同一圖像的上部部分中被識別；
[0026]圖4是另一圖像，其中，不連續(xù)的線在圖像的上部部分中被檢測，其中，不連續(xù)的線的一部分疊加到同一圖像的下部部分中提取的物體；
[0027]圖5是一種情況，其中，卡車輪和摩托車道屏障從在另一圖像的下部部分內(nèi)執(zhí)行的雨滴識別過程中消除；和
[0028]圖6非常示意地示出攝像頭組件，所述攝像頭組件構(gòu)造為執(zhí)行車輛風擋上的雨滴的檢測。
【具體實施方式】
[0029]在圖1中，流程圖顯示了車輛風擋上的雨滴的檢測，其基于攝像頭12捕獲的圖像的處理。用于檢測風擋上的雨滴的攝像頭組件10(見圖6)包括攝像頭12。
[0030]攝像頭12是雙焦點攝像頭，其聚焦在車輛的風擋上且聚焦在無限遠處?？砂–MOS或CCD圖像傳感器的攝像頭12構(gòu)造為觀察車輛的風擋，且安裝在車輛的車艙內(nèi)。在攝像頭組件10檢測到風擋上的雨滴的情況下，風擋可借助擦拭器刮片被擦拭。攝像頭12捕獲風擋的圖像，且通過圖像處理，確定風擋上的物體是否是雨滴。
[0031]為了檢測風擋上的雨滴，雙焦點攝像頭12捕獲圖像14，其中，下部部分16或下部圖像區(qū)域聚焦在風擋上(見圖2)。在步驟SlO中在圖像14的下部部分16上聚焦之后，圖像預處理在步驟S12中發(fā)生。例如，關(guān)注區(qū)域被限定，且噪音濾波器被使用。
[0032]在步驟S14中，物體從圖像14的下部部分16中提取。在下一步驟中，被提取的物體被分類，以便識別雨滴。在該步驟S16中，置信度或分數(shù)針對每個被提取的物體被計算，且置信度或分數(shù)分配給物體。在下一步驟S18中，如果每個被提取物體的分數(shù)或置信度足夠高，雨滴被選擇。在確定被提取的物體是否分類為雨滴或非雨滴之后，風擋上的水的量在步驟S20中被估計。根據(jù)風擋上的水的量，適當?shù)膭幼鞅挥|發(fā)。例如，風擋擦拭器以適當方式擦拭風擋，以去除雨滴，車頭燈被開啟，制動輔助系統(tǒng)被激活，或司機被警告存在雨條件。
[0033]圖2示出該雨滴檢測如何被包括在得益于并行運行軟件輸出的過程中，所述輸出基于雙焦點攝像頭12捕獲的圖像14的上部部分18的圖像處理。在步驟S22中，圖像14被捕獲，其中，上部部分18或上部圖像區(qū)域聚焦在無限遠處。[0034]圖像14的該上部部分18在車道輔助駕駛輔助系統(tǒng)內(nèi)被處理。除了駕駛車道改變(driving lane departure)功能之外,或作為其替代，圖像14的上部部分18的圖像處理可還在速度限制駕駛輔助系統(tǒng)內(nèi)使用。因此，在步驟S24中，諸如線20的物體在圖像14的上部部分18中被識別，所述線界定道路的駕駛車道22。對于圖像14的下部部分16，圖像預處理步驟S12和物體提取步驟S14(見圖1)被執(zhí)行。在物體識別為雨滴發(fā)生之前，在步驟S26中，區(qū)段24被界定在圖像14的下部部分16中。
[0035]為了界定區(qū)段24，在圖像14的上部部分18中識別的線20被傳遞到圖像14的下部部分16。如可設想，界定駕駛車道22的線20還存在于圖像14的下部部分16中，線20或至少部分線20因此疊加到圖像14的下部部分16內(nèi)提取的物體。在圖像14的下部部分16中的這些被提取物體因此不需要被分類或進一步分析，因為從上部部分18的圖像處理已知，這些物體是車道標記，其在圖像14的下部部分18中延續(xù)。
[0036]要被處理的物體的否定進一步徹底地減小需要在圖像處理的后續(xù)步驟中標記的物體的數(shù)量。并且，被否定的物體并不導致圖像14的下部部分16中的任何錯誤雨滴檢測。
[0037]此外，通過限制圖像14的下部部分16中的區(qū)段24，在下部部分16中需要更少的物體被分類。例如，道路本身上的線20、道路邊、靠近的行駛車輛的車輪和區(qū)段24之外的其他物體不需要被分類。
[0038]因此，在步驟S28中，標簽被建立，僅用于區(qū)段24內(nèi)的物體。區(qū)段24內(nèi)的物體的該分類或打標簽基于一組描述項，其可描述物體的形狀、密度、質(zhì)地和/或背景。該分類是雨滴檢測中的主要的計算工作量。僅區(qū)段24的左和右邊界線限定的區(qū)段24之內(nèi)的物體被分析，對應于疊加線20的物體被否定。由此，預先選擇區(qū)段24導致較少的物體被處理。
[0039]由于該處理僅對有限數(shù)量的物體被執(zhí)行，即，在區(qū)段24內(nèi)的物體，對于攝像頭組件10的給定處理器26(見圖6)，處理時間可被減少。通過減小要被處理的標簽的數(shù)量，要被處理器26執(zhí)行的計算工作量被減小。步驟S28可因此以相對短的時間被執(zhí)行。每個標簽包含潛在雨滴的坐標、質(zhì)地描述項和幾何特點。
[0040]在下一步驟30中，選擇基于被使用的描述項被執(zhí)行。需要與非雨滴物體區(qū)分的真實雨滴的該選擇或識別優(yōu)選地通過監(jiān)督學習機而被執(zhí)行，例如支持向量機。利用區(qū)段24內(nèi)的物體的特點導致區(qū)段24內(nèi)的雨滴28的檢測(見圖2)。
[0041]從選擇過程，在步驟S30中得出一系列潛在雨滴，其中置信分數(shù)針對每一個潛在雨滴被指示。由此，在步驟S32中，具有的分數(shù)或置信度的值在臨界值以上的物體保持為雨滴28。通過該結(jié)果，水量基于圖像的被分析區(qū)域內(nèi)的這些雨滴28的表面和數(shù)量被估計。
[0042]通過利用用于駕駛輔助系統(tǒng)(諸如車道改變)的圖像14的上部部分18中的圖像處理的輸出，區(qū)段24內(nèi)的雨滴28的檢測實現(xiàn)攝像頭10的性能增強。復雜性的減小不僅通過界定區(qū)段24實現(xiàn)，還通過否定被識別為線20和其他細節(jié)的物體而實現(xiàn)。
[0043]圖3顯示了被雙焦點攝像頭12捕獲的圖像30，其中，界定駕駛車道2的標記的識別被疊加到標記32，標記32界定圖像30的下部部分內(nèi)的相同駕駛車道22。在應用雨滴識別軟件之前，由于這些標記32在圖像30的下部部分內(nèi)被否定，圖像30的下部部分內(nèi)的雨滴檢測可以特別快地被執(zhí)行。并且，類似于人行道34的路緣的物體或類似于箭頭36的標記可在分析這些物體是否為雨滴之前被否定。
[0044]圖4顯示了攝像頭12捕獲的另一圖像38，其中，在圖像34的上部部分中被檢測的道路的不連續(xù)標記被疊加到定位在圖像38的下部部分中的不連續(xù)線的條40。在圖像38的下部部分中，條40可被否定，而不需要任何處理用于通過雨滴檢測軟件進行的該否定。
[0045]在由攝像頭12捕獲的又一圖像42中，類似于卡車46的車輪44、摩托車道屏障48等的物體，在針對圖像42的下部部分內(nèi)的雨滴檢測來分析它們前被消除。為此，駕駛車道22的一側(cè)的連續(xù)線和駕駛車道22的另一側(cè)的不連續(xù)線被疊加到圖像42的下部部分中的線的相應部分50。通過減小圖像42的下部部分中的物體的數(shù)量，物體的分類的復雜性被減小，且計算可被更快地執(zhí)行。
[0046]圖6以示意性方式示出具有攝像頭12和處理器26的攝像頭組件10。
【權(quán)利要求】
1.一種用于檢測車輛風擋上的雨滴(28)的方法，其中至少一個圖像(14)由攝像頭(12)捕獲， 其特征在于， 至少一個參考物體(20)在攝像頭(12)捕獲的第一圖像(18)中被識別，且所述至少一個被識別物體(20)至少部分地疊加到從攝像頭(12)捕獲的第二圖像(16)提取的至少一個物體，其中，雨滴(28)檢測在第二圖像(16)內(nèi)執(zhí)行。
2.根據(jù)權(quán)利要求1所述的方法， 其特征在于， 雨滴(28)檢測僅針對從第二圖像(16)中提取的與被識別物體(20)疊加所至的所述至少一個物體不同的物體被執(zhí)行。
3.根據(jù)權(quán)利要求1或2所述的方法， 其特征在于， 所述至少一個疊加物體(20)用于在第二圖像(16)內(nèi)在至少一側(cè)界定區(qū)段(24)，其中，雨滴(28)檢測僅針對從該區(qū)段(24)中提取的物體執(zhí)行。
4.如權(quán)利要求1至3中的任一項所述的方法， 其特征在于， 所述至少一個被疊加參考物體包括大體線性的元素，特別是車道標記(20)和/或路邊和/或道路屏障和/或道路路緣。
5.如權(quán)利要求1至4中的任一項所述的方法， 其特征在于， 第一圖像(18)和第二圖像(16)是由雙焦點攝像頭(12)捕獲的一個圖像(14)的圖像區(qū)域。
6.如權(quán)利要求1至5中的任一項所述的方法， 其特征在于， 與第二圖像(16)相比，第一圖像(18)在距攝像頭(12)更遠的距離處聚焦。
7.如權(quán)利要求1至6中的任一項所述的方法， 其特征在于， 第一圖像(18)在無限遠處聚焦，第二圖像(16)在風擋上聚焦。
8.如權(quán)利要求1至7中的任一項所述的方法，其特征在于，從第二圖像(16)提取的物體被分類，以便識別雨滴(28)。
9.如權(quán)利要求1至8中的任一項所述的方法，其特征在于，監(jiān)督學習機用于在從第二圖像(16)提取的物體中識別雨滴(28)。
10.一種用于檢測車輛風擋上的雨滴(28)的攝像頭組件，包括用于捕獲至少一個圖像(14)的攝像頭(12)， 其特征在于， 攝像頭組件(10)包括處理器件(26)，所述處理器件被構(gòu)造為 在攝像頭(12)捕獲的第一圖像(18)中識別至少一個參考物體(20)； 將所述至少一個被識別物體(20)至少部分地疊加到從攝像頭(12)捕獲的第二圖像(16)中提取的至少一個物體；和在第二圖像 (16)內(nèi)執(zhí)行雨滴(28)檢測。
【文檔編號】G06T7/00GK103918006SQ201180074709
【公開日】2014年7月9日 申請日期:2011年9月7日 優(yōu)先權(quán)日:2011年9月7日
【發(fā)明者】S.阿西亞德, C.羅伯特 申請人:法雷奧開關(guān)和傳感器有限責任公司