所述實景的可見光圖像的圖像信息被增強，所述合成被稱為融合。
[0264]在一個實施例中，描繪實景的、包括一個或者多個物體的紅外線圖像通過將其與來自描繪所述實景的可見光圖像的圖像信息合成從而增強對比度。該發(fā)明構思描述如下。
[0265]對準
[0266]由于紅外線(IR)圖像的捕捉和可視光(VL)圖像一般通過以偏置、定向以及旋轉的方式安裝的成像設備的不同的成像系統(tǒng)被執(zhí)行，光軸是不一樣的。成像系統(tǒng)之間的光軸可以彼此相距一定距離并且被稱為視差距離誤差的光學現(xiàn)象就會出現(xiàn)。成像系統(tǒng)之間的光軸可以關于彼此成角度地被定向，被稱為視差指向誤差的光學現(xiàn)象就會出現(xiàn)。成像系統(tǒng)繞它們對應的光軸旋轉，被稱為視差旋轉誤差的光學現(xiàn)象就會出現(xiàn)。由于這些視差誤差實景的捕捉的視圖，被稱作視場角(FOV)紅外線成像系統(tǒng)和可見光成像系統(tǒng)之間可具有不同。
[0267]由于紅外線(IR)圖像的捕捉以及可視光(VL)圖像的捕捉一般通過帶有不同的特性，諸如放大率，的不同的光學系統(tǒng)的成像設備的不同的成像系統(tǒng)被執(zhí)行，實景的捕捉的視圖，被稱作視場角(FOV)在成像系統(tǒng)之間可具有不同。紅外線圖像和可見光圖像可被帶有不同的光學特性，諸如放大率，的不同的光學系統(tǒng)獲取，結果是通過紅外線傳感器和可見光傳感器捕捉的視場角(FOV)的尺寸不同。
[0268]為了合成捕捉的紅外線和捕捉的可見光圖像，這些圖像必須是適合的從而獲取表示觀察到的實景的相同部分的適合的紅外線圖像和適合的可見光圖像，換句話說，補償不同的視差誤差和視場角尺寸。這個處理步驟被稱為紅外線圖像和可見光圖像的配準或者準直。配準或者準直可根據能被本領域的技術人員理解的適當?shù)募夹g被執(zhí)行。
[0269]確定可見光圖像分辨率值和紅外線圖像分辨率值是基本上相同的
[0270]在一個實施例中，紅外線圖像和可見光圖像可用不同的分辨率獲取，即成像系統(tǒng)的傳感器元件的不同數(shù)量。為了在紅外線和可見光圖像上使像素對比操作可行，它們需要被重采樣至一個通用的分辨率。重采樣可根據本領于技術人員一直的任何方法被執(zhí)行。
[0271]在一個實施例中，紅外線圖像被重采樣至第一分辨率，可見光圖像被重采樣至第二分辨率，其中第一分辨率是第二分辨率的2倍的倍數(shù)或者第二分辨率是第一分辨率的2倍的倍數(shù)，據此使得通過考慮每一個紅外線圖像或者可見光圖像的2N個像素的即時重采樣可行。
[0272]合成紅外線圖像和可見光圖像
[0273]在一個或者多個實施例中，通過將對準過的紅外線圖像與對準過的可見光圖像的高空間頻率內容結合來合成紅外線圖像和可見光圖像，以產生對比度增強的合成圖像。通過紅外線圖像和可見光圖像的高空間頻率內容的重疊執(zhí)行該合成，或者可選地將紅外線圖像重疊至可見光圖像的高空間頻率內容。結果就是，可見光圖像的對比度可被插入示出溫度可變性的紅外線圖像中，據此在喪失結果合成圖像的清晰度和可解釋性的情況下，結合兩個圖像類型的優(yōu)勢。
[0274]根據一個實施例，用于獲取對比度增強的合成圖像的方法包括如下步驟:
[0275]步驟610:捕捉可見光圖像
[0276]在一個示意性的實施例中，捕捉可見光圖像包括使用配有光學系統(tǒng)和傳感器元件的可見光成像系統(tǒng)捕捉描繪觀察到的實景的可見光圖像，其中捕捉的可見光圖像包括捕捉的可視光圖像的視覺表示的可見光像素。捕捉可見光圖像可根據本領域技術人員已知的任何方法被執(zhí)行。
[0277]步驟620:捕捉紅外線圖像
[0278]在一個示意性的實施例中，捕捉紅外線圖像包括使用配有光學系統(tǒng)和傳感器元件的紅外線成像系統(tǒng)捕捉描繪觀察到的實景的紅外線圖像，其中捕捉的紅外線圖像包括從觀察到的實景發(fā)出的紅外線輻射的捕捉的紅外線數(shù)據值以及表示捕捉的紅外線數(shù)據值的溫度值的視覺表示的關聯(lián)的紅外線像素。捕捉紅外線圖像可根據本領域技術人員已知的任何方法被執(zhí)行。
[0279]在一個示意性的實施例中，步驟610和620同時執(zhí)行或者陸續(xù)執(zhí)行。在一個示意性的實施例中，圖像可同時或者在盡可能微小的時間差內被捕捉，由于這會降低因為捕捉可視光和紅外線圖像的成像設備單元的運行中的準直差異的風險。本領域技術人員顯而易見的是，捕捉的圖像在進一步分隔的時間實例中可被使用。
[0280]在一個示意性的實施例中，紅外線成像系統(tǒng)的傳感器元件和可見光圖像系統(tǒng)的傳感器元件是基本上相同的，例如具有基本上相同的分辨率。
[0281]在一個示意性的實施例中，紅外線圖像可用超低分辨率的紅外線成像設備被捕捉，例如低到64X64或者32X32像素的分辨率，但如本領域技術人員容易理解的，許多其他的分辨率可同樣應用。發(fā)明人已經發(fā)現(xiàn)如果邊緣和邊界(高空間頻率)信息從可見光圖像中被添加至合成圖像中，超低分辨率紅外線圖像的使用仍然會渲染合成圖像，其中用戶可清楚地分辨描繪的物體和溫度或者其他與它們有關的紅外線信息。捕捉紅外線圖像可根據本領于技術人員已知的任何方法被執(zhí)行。
[0282]步驟630:對準紅外線圖像和可見光圖像
[0283]在一個示意性的實施例中，視差誤差包括由于用于捕捉所述紅外線圖像和所述可見光圖像的成像系統(tǒng)的傳感器的布置的不同而在光軸之間一般出現(xiàn)的視差距離誤差，由于一般會阻礙它們完全平行安裝的機械公差而在這些光軸之間造成的視差指向誤差角，以及由于一般會阻礙它們完全圍繞紅外線和可見光圖像系統(tǒng)的光軸以相同的旋度安裝的機械公差的視差旋轉誤差。
[0284]在一個示意性的實施例中，通過配有具有不同性質，諸如放大率，的不同的光學系統(tǒng)的成像設備的不同的成像系統(tǒng)被執(zhí)行紅外線(IR)圖像的捕捉和可視光(VL)圖像的捕捉，實景捕捉視角的范圍，被稱作視場角(FOV)的尺寸可能不同。
[0285]根據本領域的技術人員已知的任何方法，通過補償視差誤差和視場角(FOV)的尺寸，可執(zhí)行對準紅外線圖像以獲取具有基本上相同視場角的對準的紅外線圖像和對準的可見光圖像。
[0286]步驟690:確定紅外線成像系統(tǒng)的分辨率值和可見光成像系統(tǒng)的分辨率值，其中紅外線成像系統(tǒng)的分辨率值對應捕捉的紅外線圖像的分辨率以及可見光成像系統(tǒng)的分辨率值對應捕捉的可見光圖像的分辨率。
[0287]在一個示意性的實施例中，分辨率值表示捕捉的圖像的一連串像素的數(shù)量以及一列像素的數(shù)量。在一個示意性的實施例中，成像系統(tǒng)的分辨率被確定。
[0288]根據本領域技術人員已知的任何方法，可執(zhí)行確定紅外線成像系統(tǒng)的分辨率值和可見光成像系統(tǒng)的分辨率值，其中紅外線成像系統(tǒng)的分辨率值對應捕捉的紅外線圖像的分辨率以及可見光成像系統(tǒng)的分辨率值對應捕捉的可見光圖像的分辨率。
[0289]步驟600:確定可見光圖像分辨率值和紅外線圖像分辨率值基本上相同
[0290]如果在步驟600中，確定可見光圖像分辨率值和紅外線圖像分辨率值并不是基本上相同的，本方法可進一步涉及可選的步驟640，重采樣至少一個接收的圖像從而在重采樣后獲取的結果可見光圖像分辨率值和結果紅外線圖像分辨率值基本上相同。
[0291]在一個示意性的實施例中，重采樣包括向上采樣紅外線圖像的分辨率至在步驟690中確定的可見光圖像的分辨率。在一個示意性的實施例中，重采樣包括向上采樣可見光圖像的分辨率至在步驟690中確定的紅外線圖像的分辨率。在一個示意性的實施例中，重采樣包括向下采樣紅外線圖像的分辨率至在步驟690中確定的可見光圖像的分辨率。在一個示意性的實施例中，重采樣包括向下采樣可見光圖像的分辨率至在步驟690中確定的紅外線圖像的分辨率。
[0292]在一個示意性的實施例中，重采樣包括重采樣在步驟690中確定的紅外線圖像的分辨率和可見光圖像的分辨率至與捕捉的紅外線圖像分辨率和捕捉的可見光圖像分辨率不同的中間分辨率。
[0293]在一個示意性的實施例中，中間分辨率基于熱成像裝置或者成像設備的顯示單元的分辨率被確定。
[0294]根據一個示意性的實施例，紅外線圖像的一個部位和可見光圖像的對應部位執(zhí)行本方法步驟。根據一個實施例，可見光圖像的對應部位是描繪與紅外線圖像的該部位相同的觀察到的實景部分的部位。在這個實施例中，高空間頻率內容是從可見光的部位中抽取的，以及紅外線圖像的部位與抽取的可見光圖像的部位的高空間頻率內容結合，以生成合成圖像，其中紅外線圖像的部位中對比度和/或分辨率相比于最初捕捉的紅外線圖像的分辨率提尚了。
[0295]根據不同的實施例，紅外線圖像的所述部位可以是整個紅外線圖像或者整個紅外線圖像的子部位，以及所述可見光圖像的對應部位可以是整個可見光圖像或者整個可見光部位的子部位。也就是說，根據一個實施例，如果相應的紅外線和可視光成像系統(tǒng)具有不同的視場角，這些部位是整個紅外線圖像和可見光圖像的對應部位，可以是整個可見光圖像或者可見光圖像的子部分。
[0296]根據本領于的技術人員已知的任何方法，確定可見光圖像分辨率值和紅外線圖像分辨率值基本上相同是可被執(zhí)行的。
[0297]步驟650:通過抽取可見光圖像的高空間頻率內容處理可見光圖像
[0298]根據一個示意性的實施例，通過使用空間濾波器高通濾波可見光圖像執(zhí)行抽取可見光圖像的高空間頻率內容。
[0299]根據一個示意性的實施例，通過抽取描繪相同場景的兩個圖像之間的不同(通常被稱作不同的圖像)執(zhí)行抽取可見光圖像的高空間頻率內容，其中第一圖像在第一時間實例上被捕捉，第二圖像在第二時間實例上被捕捉，第二時間實例優(yōu)選地在時間上靠近第一時間實例。在圖像幀序列中，這兩個圖像通?？梢允莾蓚€連續(xù)的圖像幀。除非圖像化的場景從第一時間實例至第二時間實例完全不變，并且成像傳感器保持完全靜止，表示場景中物體的邊緣和邊界的高空間頻率內容會在不同的圖像中顯現(xiàn)。舉例來說，由于在圖像化的場景中的光線或者描繪的物體的運動的改變，該場景可能自這一幀改變至下一幀。而且，在幾乎每一種情況下，成像設備和熱成像系統(tǒng)都將不會完全保持靜止。
[0300]為了抽取圖像中的高空間頻率內容，執(zhí)行高通濾波，換句話說，定位對比區(qū)域，即顯示大量差異，諸如毛邊，的鄰近像素的值。經高通濾波的結果圖像可通過逐個像素地計算從原始圖像中減去經低通濾波的圖像實現(xiàn)的。
[0301]通過抽取可見光圖像的高空間頻率內容處理可見光圖像，可根據本領域技術人員已知的任何方法被執(zhí)行。
[0302]步驟660:處理紅外線圖像以降低紅外線圖像中的和/或模糊紅外線圖像的噪聲。步驟660是可選步驟。
[0303]根據一個示意性的實施例，處理紅外線圖像包括通過空間低通濾波的使用來執(zhí)行降低線圖像中的和/或模糊紅外線圖像的噪聲。低通濾波可通過在圖像的每一個像素上放置空心板(spatial core)，通過使用鄰近的像素中的值和所述空心板的系數(shù)為所述像素計算一個新值。
[0304]在可選步驟660中執(zhí)行低通濾波的目的是消除紅外線圖像中來自步驟620中捕捉的原質紅外線圖像中呈現(xiàn)的噪聲的不均勻。由于原始紅外線圖像中的毛邊和可見的噪聲在濾波處理中被移除或者至少被減弱，通過降低紅外線圖像的濾波以及紅外線圖像和可見光圖像并沒有對準的合成圖像中露出的雙邊緣的風險進一步改善結果圖像中的能見度。
[0305]處理紅外線圖像以降低紅外線圖像中的和/或模糊紅外線圖像的噪聲可根據本領域技術人員已知的任何方法被執(zhí)行。
[0306]步驟670:將捕捉的可見光圖像的抽取的高空間頻率內容和可選地處理過的紅外線圖像結合至合成圖像。
[0307]在一個示意性的實施例中，將捕捉的可見光圖像的抽取的高空間頻率內容和可選地處理的紅外線圖像結合至合成圖像包括僅僅使用來自處理過的可見光圖像中的亮度分量Y。
[0308]在一個示意性的實施例中，將捕捉的可見光圖像的抽取的高空間頻率內容和可選地處理的紅外線圖像結合至合成圖像包括將捕捉的可見光圖像的抽取的高空間頻率內容的亮度分量與可選地處理過的紅外線圖像的亮度分量結合。結果是，紅外線圖像的色彩或者灰度不便并且原始紅外線色板的性質維持原狀，與此同時添加期望的對比度至合成圖像中。由于輻射度或者其他相關的紅外線愛你信息可始終在合成圖像的處理和解釋中被保持，通過處理和顯示的所有階段以維持紅外線色板是有益的，據此可方便用戶。
[0309]在一個示意性的實施例中，將捕捉的可見光圖像的抽取的高空間頻率內容和可選地處理的紅外線圖像結合至合成圖像包括，當添加亮度分量時，將可見光圖像的亮度分量與紅外線圖像的亮度分量結合，使用因子阿爾法(alpha)以確定兩個圖像的亮度分量之間的平衡。這個因子阿爾法可通過成像設備或者成像系統(tǒng)自身被確定，使用合適的參數(shù)用于從可見光圖像中確定所需的邊界水平以創(chuàng)造滿意的圖像，但還可通過用戶提供輸入至成像裝置或者成像系統(tǒng)來決定。該因子還可被后續(xù)階段改變，諸如當圖像被儲發(fā)生系統(tǒng)中或者個人計算機(PC)中或者類似物中并且被調節(jié)以適應來自用戶的任何要求。
[0310]在一個示意性的實施例中，將捕捉的可見光圖像的抽取的高空間頻率內容和可選地處理的紅外線圖像結合至合成圖像使用色板去映射色彩至紅外線圖像的溫度值，例如根據YCbCr族的色彩空間，其中Y分量(即色板亮度分量)可被選擇作為整個色板上的常數(shù)。在一個實例中，Y分量可選用合成圖像、可見光圖像或者紅外線圖像的最大亮度的0.5倍。結果是，當根據所選的色板將紅外線圖像與可見光圖像結合，處理過的可見光圖像的Y分量可被添加到處理過的紅外線圖像305并且在處理過的紅外線圖像的色彩不會改變的情況下產生所期望的對比度。據此在原始紅外線圖像的處理過程中維持了色彩的特定的細微差別的意義。
[0311]當計算色彩分量時，以下方程可被使用以確定合成圖像的Y分量，Cr分量和Cb分量，合成圖像具有來自處理過的，例如經高通濾波過的，可見光圖像的Y分量以及來自紅外線圖像的Cr和Cb分量
[0312]hp_y_vis = highpass (y_vis)
[0313](y_ir, cr_ir, cb_ir) = colored(lowpass(ir_signal_linear))
[0314]用另一種表示法可寫作:
[0315]hpyvis= highpass (y vis)
[0316](yir, crir, cbir) = colored (lowpass (irsignal linear))
[0317]其他不是YCbCr的色彩空間，當然也能夠在現(xiàn)有公開的實施例中被使用。使用不同的色彩空間，諸如比方說RGB、YCbCr、HSV、CIE1931XYZ或者CIELab，本領域技術人員眾所周知的色彩空間之間的轉換。比如說，當使用RGB色彩模型時，亮度可被作為所有色彩分量被計算，并且通過轉換方程逐個色彩空間地計算亮度，用于確定亮度的一個新的表達式將被確定用于每一個色彩空間。
[0318]步驟680:添加高分辨率噪聲至合成圖像
[0319]根據一個不意性的實施例，高分辨率噪聲是高分辨率時域噪聲。高分辨率噪聲可被添加至合成圖像為了更清晰地渲染結果圖像給觀察者，且為了減少污點或者類似的印記，其由于原始紅外線圖像中的噪聲可被呈現(xiàn)，其在所述紅外線圖像的可選低通濾波過程中被保留下來的。
[0320]根據一個實施例，處理器2被設置以執(zhí)行方法步驟610-680。這里可提供一個用戶界面，使得用戶能夠與，例如在顯示器4上，顯示出的數(shù)據交互。這個用戶界面可包括可選擇的選項或者輸入的可能性，允許用戶在不同的視圖之間切換、放大興趣區(qū)域等。為了與顯示器交互，用戶可使用控制部件3的一個或者多個輸入設備提供輸入。
[0321]根據一個實施例，在圖像儲存或者顯示之前，用戶可以本領域已知的方式，與熱成像裝置I交互以執(zhí)行圖像之一的縮放或者放縮。如果用戶在紅外線或者可見光圖像上執(zhí)行縮放或者放縮動作，關聯(lián)圖像的視場角可根據參照圖6所描述的上述方法的各種實施例(即在步驟630中)被調節(jié)。因而，關聯(lián)圖像的視場角經常以實時或者接近實時地現(xiàn)場、或者在被儲存用于稍后檢索的圖像數(shù)據中與用戶匹配。
[0322]失真校正映射或者查找表
[0323]根據一個實施例，預設的失真關系是描述由不同的成像系統(tǒng)所引發(fā)的失真的失真映射，其可被預設并且在運行時用于失真校正。
[0324]根據其他的方法實施例，失真關系值是預設的且被放置在查找表(LUT)中。通過使用查找表和像素值的插值，相比于在運算時計算值，硬件設計的復雜性在沒有巨大的精度喪失的情況下被降低。
[0325]失真關系描述一個成像系統(tǒng)中，相比于描繪的場景或者相比于外部參考失真、或者兩個成像系統(tǒng)相對于彼此的失真，的失真。根據實施例，失真關系可在紅外線裝置的生產校準、維