專利名稱：用于以紅外圖像和可見圖像與環(huán)境相關的結合來顯示車輛環(huán)境的方法和裝置的制作方法
技術領域：
本發(fā)明涉及根據相應獨立權利要求前序部分的、用于顯示車輛環(huán)境的方法和裝置，以及用于校準該裝置的校準裝置。
背景技術：
由DE 695 06 174 T2已知用于車輛的后視系統(tǒng)(Nachsichtsystem)。該系統(tǒng)包括產生紅外圖像的紅外攝相機，紅外圖像表示車輛環(huán)境片段的、由人和物體所發(fā)出的熱輻射。紅外圖像通過抬頭顯示器(Head-up-Display)投影到擋風玻璃的下部，并因此顯示給司機。
由司機將紅外圖像中的人物和物體與位于司機前方、視覺地通過擋風玻璃可獲得的交通狀況相對應。這在已知系統(tǒng)所應該針對的黑暗環(huán)境中尤其困難，并且經常甚至是不可能的，這是因為紅外圖像顯示司機視覺不能識別的人和物體。因此，只在紅外圖像中可識別的人和物體的準確定位通常是不可能的，并且以危險的方式分散司機的注意力。

發(fā)明內容
本發(fā)明的任務尤其在于提供用于顯示車輛環(huán)境的改進方法和裝置，尤其是改進的后視系統(tǒng)。
本發(fā)明的任務根據方法或根據裝置通過相應的獨立權利要求來完成。在相應的從屬權利要求中給出本發(fā)明的有利實施方式。
本發(fā)明的第一主要方面在于，表示或顯示車輛環(huán)境盡可能相同的片段的可視的圖像，以下稱為可視圖像，和紅外的圖像，以下稱為紅外圖像的組合或疊加。通過同一場景不同譜范圍的圖像的疊加或結合，盡可能地消除現有技術的前述缺點。
第二主要方面在于，在結合各可視圖像和紅外圖像時根據具體行駛情況對這兩個譜分量(可視分量和紅外分量)的相互比例進行加權。在加權的第一極端情況中，通過結合而產生的圖像盡可能只包括可視信息，在通常情況下疊加可視的和紅外的信息，并且在加權的第二極端情況中，通過結合而產生的圖像盡可能只包括紅外信息。
如果例如在公路上通過距離測量系統(tǒng)識別前面行駛的車輛，例如通過已知的雷達支持的ACC系統(tǒng)(自動巡航控制)，在本發(fā)明的一個實施方式中規(guī)定，在結合這兩個譜分量時相對于行駛環(huán)境突出這個車輛，使得它在結合圖像中相對于環(huán)境明顯地顯示。這可以例如通過以下方式實現，即相對于行駛環(huán)境改變相關區(qū)域的兩個譜分量的加權；在這個例子中是結合圖像的、表示前面緊鄰行駛的車輛的圖像片段。例如，在白天，可視信息可以相對于紅外信息更高地被加權，并因此在結合圖像中產生更顯著的影響，而在黑暗時加權正好相反。
如果車輛行駛在照明很好的區(qū)域，那么在本發(fā)明的另一實施方式中，替代地或補充地規(guī)定，可視分量或可視信息相對于紅外分量或相對于紅外信息更高地加權。在較暗的公路和/或高速公路上，替代地或補充地相對于前述相反地進行加權，使得紅外信息或紅外分量在結合圖像中相對于可視分量更明顯地顯示。
替代地或補充地，在本發(fā)明的再一個實施方式中，規(guī)定，在較暗的公路和/或高速公路上，通過在結合時更高的加權而相對于較遠物體的可視信息突出其紅外信息，與距離車輛更近的物體不同。在顯示器上呈現給司機的結合圖像可能可以在近區(qū)包括更高分量的可視信息，并且在遠區(qū)包括更高分量的紅外信息。
在雨天、霧天或潮濕的車行道時，紅外信道或紅外信息的實用性相對于標準條件受到了限制。為了在這樣的天氣條件下與由最多受限的可用紅外信息所引起的結合圖像的惡化相反地起作用，替代地或補充地規(guī)定，相對于紅外分量提高可視分量，即相應地在可視信息方向上改變結合圖像中兩個譜分量的加權。
為了識別前述天氣情況，可以在車輛上特別設置雨滴傳感器(Regensensor)或霧傳感器(Nebelsensor)。同樣，可以分析哪些車燈被接通，尤其是汽車霧燈。但是，這些信息也可以通過設置在車輛中的動態(tài)導航系統(tǒng)提供，車輛當前所在點的、或者尤其是為計劃的行駛路線所預測的動態(tài)交通或天氣情況被傳輸到該系統(tǒng)中。這個傳輸可以通過移動無線電網絡(Mobilfunknetz)或者通過車輛與車輛的通信而實現。
替代地或補充地，在本發(fā)明的一個實施方式中規(guī)定，司機可以手動調節(jié)這兩個譜分量在結合圖像中的相互加權，并且因此可以最優(yōu)地匹配其需要和特定情況。在本發(fā)明的一個實施方式中規(guī)定了從可視信息到紅外信息顯示的連續(xù)轉換和相反轉換。這使得司機可以對于更快并更可靠地獲取交通狀況有利地，更容易和更快地使用可視和紅外信息之間的關系以及通過譜分量之間的移動對行駛環(huán)境的結合圖像的影響。
在另一個實施方式中，替代地或補充地，為司機提供多個結合圖像，以選擇適于向其顯示的結合圖像，其中為了選擇而提供的結合圖像在可視信息與紅外信息分量關系上是不同的。特別地，在結合時可以對可視分量相對于紅外分量進行不同的加權。
在根據本發(fā)明的后視系統(tǒng)的一個具體實施方式
中，可視攝相機或第一傳感器及其光學系統(tǒng)包括第一光軸，紅外攝相機或第二光學傳感器及其光學系統(tǒng)包括第二光軸，它們在空間上相互偏移。因此，攝相機或傳感器攝取車輛環(huán)境的至少部分不同的片段，即第一和第二片段。而且，它們與距離相關。可以理解，根據本發(fā)明，也可以設置多于兩個的紅外攝相機或紅外傳感器，其靈敏度覆蓋不同的波長，并且由它們提供的車輛環(huán)境數字圖像可以疊加或結合。
為了獲得盡可能無失真的結合圖像以向司機顯示，在根據本發(fā)明的一個實施方式中規(guī)定，由疊加或結合設備以像素方式和/或區(qū)域方式全部或部分地疊加或結合已經提供的第一片段和已經提供的第二片段。為了提供結合圖像，通過至少一個匹配參數匹配第一片段和/或第二片段和/或結合圖像及其直接的或處理后的數字數據。
優(yōu)選地在校準根據本發(fā)明的攝相機或傳感器系統(tǒng)及后視系統(tǒng)時，為攝相機或傳感器與校準裝置之間的至少兩個距離范圍(Entfernungsbereich)或間隔范圍(Abstandsbereich)確定這個或這些與距離相關的參數。一個主要目的在于，調節(jié)這個或這些匹配參數，使得在疊加或結合圖像時所產生的相關距離范圍內的物體結合圖像盡可能不失真，尤其是沒有重影(Geisterbilder)或雙影(Doppelbilder)。根據本發(fā)明，這個或這些匹配參數尤其涉及至少一個記錄參數(Registrierungsparameter)或變換參數(Transformationsparameter)。一個類似的參數例如由數字圖像處理系統(tǒng)的記錄和由其進行的兩個圖像的疊加而已知。這個或這些與行駛狀況或距離相關的匹配參數優(yōu)選地在校準時被存儲在車輛的數據存儲器中。
在本發(fā)明的一個優(yōu)選實施方式中，第一距離范圍對應于市內行駛典型的行駛狀況，尤其是為大約15至75m的距離范圍。
替代地或補充地，第二距離范圍對應于公路行駛(Landstrassenfahrt)典型的行駛狀況，尤其是大約30至150m的距離范圍。
替代地或補充地，第三距離范圍對應于高速公路典型的行駛狀況，尤其是大約50至250m的距離范圍。
應該理解，作為對上述與距離相關或與距離范圍相關的匹配參數的替代或補充，也可以確定其他、尤其具有前述目的的、與行駛狀況相關的匹配參數。在這里，其可以例如涉及對于在太陽很低、在霧天、在開始黑時(einsetzende Dunkelheit)或黑暗中的行駛適當的匹配參數。
本發(fā)明的另一個主要方面在于，自動地確定車輛的當前行駛狀況，并且提供對應于當前行駛狀況或環(huán)境狀況的、尤其是通過校準獲得的并存儲在車輛中的匹配參數，以便由根據本發(fā)明的對準裝置(Ausricht-vorrichtung)或由疊加或結合設備使用。疊加或結合設備對以數字數據形式存在的可視圖像和紅外圖像進行像素和/或區(qū)域方式的疊加或結合，其中一個或多個與距離相關的匹配參數這樣影響紅外圖像和/或可視圖像和/或結合圖像，使得優(yōu)選地為司機提供環(huán)境的盡可能無失真和/或無重影的結合圖像。
作為對前述自動確定的替換或補充，在本發(fā)明的一個實施方式中規(guī)定，司機選擇適于向其顯示的、尤其是通過校準獲得的并存儲在車輛中的匹配參數，以由根據本發(fā)明的對準裝置或者由疊加或結合設備使用。因此，可以例如以手動的選擇可能性的形式或通過語音輸入，向司機提供例如對于市內行駛典型的、公路行駛典型的、高速公路行駛典型的和/或在可能的情況下其他行駛狀況的匹配參數，以供選擇。由此，司機無需車輛中的車輛導航系統(tǒng)就能夠自己產生盡可能無失真的或無重影的結合圖像。而且，由此為司機提供了這樣的可能性，即在可能的情況下不理會自動選擇。同樣的，可以為司機提供這樣的可能性，即選擇在結合圖像中無失真地向其顯示其車輛周圍環(huán)境的一個或多個匹配參數，例如與其車輛20m之內的距離。例如當司機在黑暗中駛近其車庫并且通過結合圖像中的紅外信息確定在他后面是否有灌木叢時，司機可以進行該選擇。
在本發(fā)明的一個優(yōu)選實施方式中，車輛的當前位置由車輛導航系統(tǒng)，尤其是衛(wèi)星導航系統(tǒng)確定。借助于該位置，由車輛中的導航系統(tǒng)，通過與數字卡片數據(Kartendaten)比較，自動地確定相應的道路類別(Strassenkategorie)或行駛狀況，尤其是市內道路(Stadtstrasse)、公路(Landstrasse)或高速公路。這些車輛導航系統(tǒng)為了路線引導(Routenfuehrung)等的目的目前已經存在于大量的車輛中，并且可以無需很大的耗費被用于車輛環(huán)境的結合圖像的前述自動的、與行駛狀況和環(huán)境相關的最優(yōu)化。
替代地或補充地，在本發(fā)明的另一個實施方式中規(guī)定，行駛狀況借助于至少一個行駛動態(tài)量，尤其是車輛速度和/或近距燈(Abblendlicht)或遠光燈(Fernlicht)的操作和/或車輛加速度和/或亮度和/或霧，來確定。在目前的車輛中可能全部或部分地由其車載網絡(Bordnetz)已經提供了這些信息，而更大的耗費不是必需的。
在本發(fā)明的一個優(yōu)選實施方式中，彩色可視圖像與紅外圖像被結合及組合或疊加。與黑白可視圖像不同，產生包含可視圖像彩色信息，例如前面行駛的車輛的紅色剎車燈、紅色交通燈、彩色交通指示牌等，的結合圖像。結合圖像中的彩色信息使相應配置的車輛的司機更容易快速地了解和獲取結合圖像中表示的交通狀況。而且，彩色信息減小了忽略彩色警示(紅色交通燈等)的危險。
匯總消除了干擾作用，如紅外或可視圖像失真，尤其是由于各自使用的光學系統(tǒng)等的圖像缺陷，的不同譜范圍的環(huán)境或場景圖像。這優(yōu)選地根據軟件通過編輯數字圖像的已知措施來實現。盡可能消除了干擾作用的圖像或其數字圖像數據優(yōu)選地通過數字圖像處理相互對準或覆蓋，使得由紅外和可視圖像或由其數字數據提供時間和位置盡可能相同的圖像對。根據本發(fā)明，這是通過使用導致無失真結合圖像的至少一個與距離相關的和/或與行駛狀況相關的匹配參數而實現。用于數字圖像處理的軟件和硬件優(yōu)選地允許圖像相互的偏移、旋轉和縮放。通過這個編輯，可以經濟地-盡管時間和位置相同的圖像對盡可能的實時處理-使后面的用于疊加或結合不同譜范圍的圖像的硬件消耗最小。
根據本發(fā)明的一個優(yōu)選實施方式，以各自相同的圖像重復率(Bildwiederholrate)，優(yōu)選地由一個或兩個用于該譜范圍的攝相機或傳感器產生紅外圖像和可視圖像。由此，可以以特別簡單的方式由紅外圖像和可視圖像產生同時的圖像對，這顯著地降低了用于后面的、根據本發(fā)明疊加或結合兩個圖像-盡可能實時地-的軟件和硬件消耗；用于中間存儲圖像的半導體存儲器的成本被降低。
在本發(fā)明的一個優(yōu)選實施方式中，紅外圖像表現由人和物體所發(fā)出的紅外輻射或熱輻射，其波長范圍約為8至14μm。優(yōu)選地，使用對大約8至10μm的范圍敏感的IR攝相機或IR傳感器。因此，以有利的方式不需要用于車輛環(huán)境的紅外線輻射器或這樣的燈(Beleuchtung)(典型波長范圍為大約800nm至2.5μm)。不出現各自以已知方式配備有紅外燈的、相對行駛的車輛的交替眩目。同樣的，根據本發(fā)明的紅外圖像不限于紅外燈的射程。


以下借助于實施例詳細介紹本發(fā)明。
圖1表示用于顯示車輛環(huán)境片段的根據本發(fā)明的裝置的框圖，或借助于其介紹根據本發(fā)明的顯示方法的后視系統(tǒng)。
具體實施例方式
圖1中以框圖形式表示的、根據本發(fā)明的裝置或后視系統(tǒng)100包括攝取可視譜范圍的電子的、這里所謂的可視攝相機101，例如CCD傳感器，對大約8至10μm的紅外譜范圍敏感的電子紅外攝相機102，例如IR傳感器，第一歸一化裝置(Normalisierungsvorrichtung)103，第二歸一化裝置104，對準裝置105以及疊加或結合設備106?？梢晹z相機101提供彩色的可視圖像。
攝相機101和102的光軸優(yōu)選地相互平行地對齊，由此可以減小視差(Parallaxenfehler)，并且優(yōu)選地相互相鄰排列，由此減小位錯缺陷(Versetzungsfehler)。兩個攝相機或傳感器的像平面優(yōu)選地相互平行并且垂直于光軸地對齊，并且相互相鄰排列。兩個攝相機或傳感器的光敏傳感器面(Sensorflaeche)優(yōu)選地相互既不扭轉地也不傾斜地，而是盡可能相互平行地設置。而且，兩個攝相機或傳感器優(yōu)選地具有相同的孔徑角(Oeffnungswinkel)。通過這些措施可以實現，攝相機或傳感器提供不同譜范圍的圖像，其表示環(huán)境的盡可能相同的片段，并且相互以及相對于實際狀況不扭轉。由此，可以顯著降低用于處理圖像以由兩個圖像提供結合圖像的耗費并由此顯著降低硬件和軟件耗費。
攝相機的光學表面優(yōu)選地被不吸潮地(hydrophob)涂覆，并且優(yōu)選地為了其清潔設置高壓噴嘴(Hochdruckduese)等，如用于汽車大燈清潔已經很普遍的那樣。兩個攝相機優(yōu)選地設置在共同的外殼中(易于安裝，與車輛軸共同對準，沒有攝相機光學參數的相互偏移)。在攝相機的外殼上，優(yōu)選地設置夾具，其保證車輛上或內攝相機的無振動工作。對于攝相機的工作，設置用于工作電壓的接頭。攝相機的工作電壓應該靈活地匹配各自車載網絡電壓，例如12伏和/或42伏。為了保護攝相機的電子部件和傳感器不受損壞，在工作電壓支路優(yōu)選地引入過載保護和極性變換保護(Verpolungsschutz)。由攝相機或傳感器所產生的視頻信號的輸出(譜范圍分離的或已經結合的)應該遵循標準(例如NTSC、PAL、SECAM或自身標準)。使用存在的半導體元件作為數字/模擬轉換器。攝相機或傳感器可以安裝在車輛前方、后面、側面，以顯示車輛環(huán)境。
下面將更詳細地描述后視系統(tǒng)或裝置100的校準。為了校準，使用根據本發(fā)明的校準裝置(未示出)。它包括優(yōu)選被交錯形(schachbrettartig)排列的多個輝光燈。輝光燈特別突出的是，其既發(fā)出熱輻射，也發(fā)出視覺可見的輻射。優(yōu)選地，設置有多個輝光燈的板等連續(xù)地以不同的距離范圍被設置在兩個攝相機或傳感器101和102之前。這些距離范圍涉及典型的與環(huán)境或行駛狀況相關的距離范圍，在以下將詳細描述。
優(yōu)選地在黑暗環(huán)境中、且不與熱源相鄰地設置的、位于攝相機101和102之前的校準裝置在可視攝相機101中產生(所謂的)可視圖像，該圖像表現交錯形設置的輝光燈，如人眼看到的那樣。而且，校準裝置在紅外攝相機102中產生熱圖像(Waermebild)，其也表現輝光燈的設置。典型地，尤其由于光學圖像缺陷等，可視圖像和所謂的紅外圖像表現各自圖像邊緣的失真。以已知方式，通過第一歸一化裝置103，盡可能地消除可視圖像中的失真或圖像缺陷。以已知方式，通過第二歸一化裝置104，盡可能地消除紅外圖像中的失真或圖像缺陷。優(yōu)選地，使用用于可視圖像的校準參數107和用于紅外圖像的校準參數108，通過已知的、根據軟件的措施對圖像數字數據實現歸一化或缺陷消除(數字圖像處理)。
通過數字圖像處理中已知的記錄過程，通過對準裝置105，使用記錄參數109相互對齊歸一化的或盡可能消除了干擾等的圖像或其數字數據。在對齊過程中，圖像中的一個優(yōu)選地保持不變，并且用作另一個圖像的基準。第二圖像的大小和位置這樣被改變，使得產生相對于第一圖像盡可能對象相同(objektgleich)的圖像。
歸一化的圖像也相互對齊，使得一個或同一個物體在結合圖像中出現在盡可能相同的位置并且大小盡可能相同。如果不執(zhí)行這個預處理步驟，則由于不同攝相機幾何尺寸和攝相機偏移，產生陰影圖(Schattenbilder)或重影圖(Zwillingsbilder)。這意味著，一個物體在結合圖像上出現在兩個位置上并且大小不同。這樣的圖像與其說是為觀察者提供定位，不如說是使其糊涂。
為了根據環(huán)境或行駛狀況最優(yōu)化像素準確或區(qū)域準確的結合，首先執(zhí)行用于市內行駛典型行駛狀況的記錄過程。為此，校準裝置與攝相機101和102之間的距離例如在大約15至75m之間的范圍內變化，并且確定和存儲適于這個距離范圍的記錄參數。以相應的方式，執(zhí)行用于公路典型行駛狀況的第二記錄過程，即例如大約30至150m的范圍。最后，以相應的方式，執(zhí)行用于高速公路典型行駛狀況的第三記錄過程，即例如大約50至250m的范圍中。
使用由車輛導航系統(tǒng)(未示出)提供的當前位置數據，由系統(tǒng)借助于數字卡片數據確定對應于車輛位置的道路類別或行駛狀況，尤其是市內道路、公路或高速公路。尤其是在黑暗時，對應于行駛狀況的、并且在校準過程中被存儲在車輛中的記錄或匹配參數被疊加或對準裝置105用于符合行駛狀況地對齊圖像。因此，在相關行駛狀況的結合圖像中盡可能地避免了尤其是陰影圖或重影圖。
替代地或補充地，借助于至少一個行駛動態(tài)量確定車輛的當前行駛狀況。根據本發(fā)明，對應于行駛動態(tài)量的、且被存儲在車輛中的記錄或匹配參數被疊加或對準裝置105用于符合行駛狀況地對齊圖像。通過該措施，在相關行駛狀況的結合圖像中也盡可能地避免了尤其是陰影圖或重影圖及重影。車輛的行駛動態(tài)量尤其涉及其速度、近距燈或遠光燈的接通，或者涉及其正的或負的加速度。
歸一化圖像的上述對齊可以被分為三個步驟移動、旋轉和縮放。實際上證明了，順序旋轉、縮放和移動提供質量最好的結果。因為這些步驟的順序一般是不交換或不可交換的，所以應該注意，這些步驟的順序在根據本發(fā)明的后視系統(tǒng)的校準時以及后面的操作時是相同的。在可能的情況下，相應地構成后視系統(tǒng)的校準和/或操作軟件。
相互對齊的圖像在疊加或結合設備106中，根據軟件地通過處理其數字數據而被疊加或結合。由可視圖像和紅外圖像的每個時間和位置相同的或對象相同的圖像對，生成結合或疊加的圖像，其優(yōu)選地在車輛中彩色監(jiān)視器上提供給車輛的司機。
優(yōu)選地，基于可視圖像和紅外圖像的各個相互對應的像素對或使用這兩個圖像的多個像素實現這兩個圖像的時間和位置相同的圖像對的結合。這可以尤其根據提供了哪些希望的分辨率和/或哪些用于數字圖像處理的計算能力。如所述的預處理圖像通過數字處理其圖像數據而被疊加和顯示。從結果來看，這個過程幾乎可以與相同場景或行駛環(huán)境的膠片或幻燈片重疊相比。計算技術地或在數字圖像處理時，這通過像素信息的平均值計算，尤其是考慮其在各個圖像中的亮度和可視圖像和/或紅外圖像中包含的色彩信息，而實現。這不是必須必然地逐個像素的進行，而是也可以通過為兩個圖像中的位置和時間相同的像素區(qū)域進行平均值計算而實現。
而且，這可能是有意義的，即在平均值計算時，紅外圖像中的像素信息與可視圖像中時間和位置相同的像素信息不同地加權。這個不同加權可以例如根據自然光線和/或天氣和/或根據汽車大燈光線和/或根據可視圖像中的色彩而實現；由此可以例如實現，紅色交通燈在結合圖像中尤其明顯地可識別。而且，結合圖像部分區(qū)域的加權，例如前景和背景之間的不同，或整個結合圖像可以由車輛司機手動地改變。
通過這個方式，可以特別地突出單個圖像區(qū)域。因此，例如可以更強地突出車輛的直接相鄰行駛區(qū)域，以確定地引導司機。
在越來越黑的情況下，在平均值計算時可以增加紅外信息相對于可視信息的加權。在接通近距燈時，與接通遠光燈相比，可以提高紅外信息相對于可視信息的加權。
同樣地，各個圖像中一個區(qū)域的信息內容可以確定加權。如果可視圖像的一個時間和位置相同區(qū)域內的信息內容例如明顯高于紅外區(qū)域的相同區(qū)域，則這樣是有意義的，即在平均值計算時通過可視信息的更高加權來考慮它。
如已經描述的那樣，由攝相機或傳感器生成的圖像必須被預處理，以校正和對象可靠地對齊。為了節(jié)省昂貴的存儲器，軟件算法優(yōu)選地以像素方式存取攝相機101和102的傳感器信息。
圖1所示的用于數字圖像處理的裝置全部或部分地、優(yōu)選地涉及一個或多個軟件控制的數字處理器，其優(yōu)選被優(yōu)化以進行實時數字圖像處理。但是同樣的，當一個或多個軟件控制的PC處理器的處理速度允許盡可能實時地處理圖像以提供具有可視和紅外信息的結合圖像時，也可以考慮更經濟地使用一個或多個軟件控制的PC處理器。
權利要求
1.用于尤其在黑暗時顯示車輛環(huán)境的方法，其特征在于，提供環(huán)境的可視圖像或其數字數據，優(yōu)選為彩色可視圖像，其中所述可視圖像表現視覺可見的物體，以及提供環(huán)境的紅外圖像或其數字數據，其中所述紅外圖像表現由視覺可見的物體和/或其他物體發(fā)出的紅外輻射。
2.根據權利要求1的方法，其特征在于，通過圖像的數字數據的處理使所述可視圖像或歸一化可視圖像相對于所述紅外圖像或所述歸一化紅外圖像對齊，或者進行相反的對齊，使得提供兩個譜范圍的時間盡可能相同和位置盡可能相同的圖像對。
3.根據權利要求1或2的方法，其特征在于，不同譜范圍的時間和位置盡可能相同的圖像的位置相同像素或像素區(qū)域通過其數字數據的處理而相互疊加，或進行平均值計算并且表示在結合的圖像中。
4.根據權利要求3的方法，其特征在于，像素或像素區(qū)域的亮度值和/或色值被疊加或進行平均值計算。
5.根據權利要求3或4的方法，其特征在于，對所述可視圖像和所述紅外圖像的一個或多個位置盡可能相同的像素進行加權疊加或平均值計算。
6.根據權利要求3至5中任一項的方法，其特征在于，所述加權是考慮車輛環(huán)境亮度和/或能見度情況而實現的。
7.根據權利要求3至6中任一項的方法，其特征在于，紅外像素和可視像素或這樣的像素區(qū)域在疊加或結合相互對應的像素或像素區(qū)域時被不同地加權。
8.根據權利要求3至7中任一項的方法，其特征在于，在疊加或平均值計算時，所述可視圖像和/或所述紅外圖像的信息豐富區(qū)域相對于信息貧乏區(qū)域被更高地加權。
9.根據權利要求3至8中任一項的方法，其特征在于，譜分量的加權和/或疊加由司機在結合的圖像中根據環(huán)境或根據行駛條件手動地調節(jié)。
10.根據權利要求3至9中任一項的方法，其特征在于，譜分量的加權和/或疊加通過疊加或結合設備(106)根據環(huán)境或根據行駛條件而調節(jié)，所述疊加或結合設備考慮根據環(huán)境或根據行駛條件的參數或車輛上設置的傳感器的輸出信號。
11.根據權利要求3至10的方法，其特征在于，為整個結合圖像或為結合圖像的部分區(qū)域進行所述根據環(huán)境或根據行駛條件的調節(jié)。
12.根據權利要求9至11中任一項的方法，其特征在于，所述根據環(huán)境或根據行駛條件的調節(jié)取決于當前車輛環(huán)境，如天氣條件，例如霧和/或雨和/或潮濕或反射的車行道、與前面行駛的車輛的距離、市內行駛、公路行駛或高速公路行駛，其中后一些信息例如借助于車輛中配置的導航系統(tǒng)通過處理制圖數據而確定。
13.根據權利要求9至12中任一項的方法，其特征在于，所述根據環(huán)境或根據行駛條件的調節(jié)取決于車輛的當前環(huán)境亮度。
14.根據權利要求9至13中任一項的方法，其特征在于，所述根據行駛條件的調節(jié)取決于車輛的當前行駛動態(tài)量，如尤其是其速度和/或其加速度和/或其轉向角。
15.根據權利要求1的系統(tǒng)，其特征在于，所述可視圖像或其數字數據通過對可視譜范圍敏感的可視攝相機，優(yōu)選為色敏感可視攝相機，或者這樣的第一傳感器提供，而紅外圖像或其數字數據通過對紅外譜范圍敏感的紅外攝相機或這樣的第二傳感器提供。
16.根據權利要求15的方法，其特征在于，所述可視攝相機或所述第一傳感器及其光學系統(tǒng)包括第一光軸，所述紅外攝相機或所述第二光學傳感器及其光學系統(tǒng)包括第二光軸，所述光軸特別地相互平行地偏移，使得所述攝相機或傳感器提供車輛環(huán)境的至少部分不同的片段，即第一和第二片段。
17.根據權利要求16的系統(tǒng)，其特征在于，所提供的第一片段和所提供的第二片段全部或部分地通過疊加或結合設備(106)被以像素和/或區(qū)域方式疊加或結合，在結合時考慮至少一個與距離相關的、優(yōu)選為在為不同距離校準時所獲得的匹配參數，如尤其為至少一個記錄或轉換參數，并且所述匹配參數優(yōu)選地在校準時被存儲在車輛的數據存儲器中。
18.根據權利要求17的方法，其特征在于，所述至少一個與距離相關的匹配參數通過用于第一距離或第一距離范圍的第一校準和用于至少一個其他距離或其他距離范圍的至少一個其他校準而獲得。
19.根據權利要求18的方法，其特征在于，所述第一距離或第一距離范圍對應于對于市內行駛典型的行駛條件，如尤其為大約15至75m的距離范圍。
20.根據權利要求18或19的方法，其特征在于，第二距離或第二距離范圍對應于對于公路行駛典型的行駛條件，如尤其為大約30至150m的距離范圍。
21.根據權利要求18至20的方法，其特征在于，第三距離或第三距離范圍對應于對于高速公路行駛典型的行駛條件，如尤其為大約50至250m的距離范圍。
22.根據前述權利要求中任一項的方法，其特征在于，自動確定車輛的當前行駛條件和/或司機從多個匹配參數中選擇適于向其顯示的匹配參數，并且對應于當前行駛條件的或選擇的、由校準獲得的且被存儲在車輛中的匹配參數在以像素和/或區(qū)域方式疊加或結合所述可視圖像和所述紅外圖像時由數字結合圖像處理加以考慮，由此優(yōu)選地產生盡可能無失真的和/或無重影的環(huán)境結合圖像。
23.根據前述權利要求中任一項的方法，其特征在于，車輛的當前位置自動地由車輛導航系統(tǒng)，尤其是衛(wèi)星導航系統(tǒng)確定，并且確定對應于位置的道路類別或行駛條件，如尤其是市內道路、公路或高速公路。
24.根據前述權利要求中任一項的方法，其特征在于，所述行駛條件自動地借助于至少一個行駛動態(tài)量，如尤其為車輛速度和/或近距燈或遠光燈的工作和/或車輛加速度，來確定。
25.根據前述權利要求中任一項的方法，其特征在于，由視覺可見的物體和/或其他物體所發(fā)出的且被檢測到的紅外輻射包括大約7至14μm的波長范圍，優(yōu)選為大約7.5至10.5μm。
26.根據前述權利要求中任一項的方法，其特征在于，由視覺可見物體和/或其他物體所發(fā)出的且被檢測到的紅外輻射包括大約3μm至大約5μm的波長范圍。
27.根據前述權利要求中任一項的方法，其特征在于，由視覺可見物體和/或其他物體所發(fā)出的且被檢測到的紅外輻射包括大約800nm至大約2.5μm的波長范圍。
28.根據前述權利要求中任一項的方法，其特征在于，使用校準裝置歸一化以數字數據形式存在的車輛環(huán)境可視圖像。
29.根據前述權利要求中任一項的方法，其特征在于，使用校準裝置歸一化以數字數據形式存在的環(huán)境片段紅外圖像。
30.根據前述權利要求中任一項的方法，其特征在于，由所述校準裝置發(fā)出視覺可見輻射和紅外輻射。
31.根據前述權利要求中任一項的方法，其特征在于，所述校準裝置包括至少一個輝光燈，在存在多個輝光燈的情況下，所述至少一個輝光燈優(yōu)選地被交錯地設置。
32.根據前述權利要求中任一項的方法，其特征在于，可視圖像和/或所述紅外圖像的數字數據被臨時存儲在圖像數據存儲器中。
33.根據前述權利要求中任一項的方法，其特征在于，所述可視攝相機或所述第一傳感器與所述紅外攝相機或所述第二傳感器的圖像重復率至少盡可能地相同。
34.根據前述權利要求中任一項的方法，其特征在于，不同譜范圍的時間和位置盡可能相同的圖像的位置相同像素或像素區(qū)域通過其數字數據的處理而被相互疊加或進行平均值計算。
35.根據前述權利要求中任一項的方法，其特征在于，像素或像素區(qū)域的亮度值和/或色值被疊加或進行平均值計算。
36.根據前述權利要求中任一項的方法，其特征在于，為所述可視圖像和所述紅外圖像的一個或多個位置盡可能相同的像素進行加權的疊加或平均值計算。
37.用于尤其在黑暗時顯示車輛環(huán)境的裝置(100)，其特征在于，所述裝置執(zhí)行根據權利要求1至36中任一項的方法。
38.根據權利要求37的裝置，其特征在于，可視攝相機(101)，優(yōu)選為色敏感可視攝相機，紅外攝相機(102)，第一歸一化裝置(103)，用于歸一化所述可視攝相機所提供的、優(yōu)選為彩色可視的車輛環(huán)境片段圖像，第二歸一化裝置(104)，用于歸一化由所述紅外攝相機(102)提供的車輛環(huán)境片段紅外圖像，對準裝置(105)，用于由可視圖像和紅外圖像產生時間和位置盡可能相同的圖像對，以及結合或疊加設備(106)，所述結合或疊加設備以像素或區(qū)域方式疊加所述時間和位置盡可能相同的圖像對，或進行平均值計算。
39.校準裝置，其特征在于，所述校準裝置用于校準根據權利要求37或38的裝置，并且包括至少一個輻射源，所述輻射源發(fā)出視覺可見輻射以及紅外輻射，如尤其是輝光燈。
全文摘要
本發(fā)明涉及用于尤其是在黑暗中顯示車輛環(huán)境的方法。為了改善目前已知的方法，對可視圖像和紅外圖像進行同時的、位置相同的圖像對的加權疊加，以形成結合圖像。為了進一步改進，加權是與環(huán)境相關的。因此，在黑暗中加權更高，并且在結合圖像中紅外信息被明顯高于可視圖像地加權。在霧天，可視圖像被明顯高于紅外圖像地加權，由此在霧中通常用處更小的紅外圖像不被(顯著地)考慮在結合圖像中。用于執(zhí)行所述方法的裝置包括色敏感可視攝相機(101)、紅外攝相機(102)和結合或疊加設備(106)，結合或疊加設備像素地或部分地疊加同時且位置相同的圖像對，并形成平均值。
文檔編號B60R16/00GK1748167SQ200480003555
公開日2006年3月15日 申請日期2004年1月30日 優(yōu)先權日2003年2月6日
發(fā)明者沃爾弗岡·哈恩, 托馬斯·維德耐爾 申請人:寶馬股份公司