專利名稱：利用融合的紅外線分辨率與對(duì)比度增強(qiáng)的制作方法
技術(shù)領(lǐng)域：
本公開(kāi)內(nèi)容涉及用于改進(jìn)紅外線(“頂”)圖像的方法、成像設(shè)備、軟件與系統(tǒng)。
背景技術(shù)：
在圖像處理領(lǐng)域中，包括一個(gè)或多個(gè)物體的場(chǎng)景的頂圖像可以通過(guò)與來(lái)自可見(jiàn)圖像的圖像信息的組合來(lái)增強(qiáng)，所述組合稱為融合。當(dāng)試圖實(shí)現(xiàn)這種組合與增強(qiáng)時(shí)，出現(xiàn)了多個(gè)技術(shù)問(wèn)題。一般來(lái)說(shuō)，提供照相機(jī)形式的成像設(shè)備來(lái)捕獲可見(jiàn)圖像和頂圖像并處理這些圖像，使得它們可以一起顯示。在利用來(lái)自頂圖像的頂數(shù)據(jù)識(shí)別物體的溫度變化同時(shí)顯示來(lái)自可見(jiàn)圖像的足夠多的數(shù)據(jù)、從而為使用該成像設(shè)備的用戶簡(jiǎn)化所產(chǎn)生的圖像中物體的取向與識(shí)別的方面，這種組合是有利的。由于頂圖像和可見(jiàn)圖像的捕獲可以由成像設(shè)備的不同組件來(lái)執(zhí)行，因此成像部件之間的光軸可能彼此有一定距離，并且造成稱為視差的光學(xué)現(xiàn)象。為了消除這種視差和由于光軸之間的角度所造成的誤差，圖像必須對(duì)準(zhǔn)。當(dāng)組合頂圖像與可見(jiàn)圖像時(shí)，有多種不同的方法是已知的。最常用的稱為閾值融合禾口畫(huà)中畫(huà)融合(picture-in-picture fusion)。在用于執(zhí)行圖像的閾值融合的方法中，捕獲相同場(chǎng)景的可見(jiàn)圖像和頂圖像。在頂圖像中，選擇一個(gè)溫度間隔，而且只有對(duì)應(yīng)于所選間隔之內(nèi)溫度的那些圖像像素才被選擇并與來(lái)自所有其它像素的信息數(shù)據(jù)一起顯示。除可以檢測(cè)到所選間隔之內(nèi)溫度的那些區(qū)域之外，所產(chǎn)生的組合圖像顯示可見(jiàn)圖像，并且在這些像素中改為顯示來(lái)自頂圖像的數(shù)據(jù)。 例如，當(dāng)要檢測(cè)墻上濕的污點(diǎn)時(shí)，可以使用閾值融合，通過(guò)將溫度閾值設(shè)置成造成該污點(diǎn)的液體溫度附近的間隔來(lái)確定濕度范圍。墻的其它部分將更接近室溫并將在屏幕上顯示為可見(jiàn)數(shù)據(jù)，使得可以確定污點(diǎn)的確切位置。通過(guò)查看墻的紋理，例如壁紙的圖案，可以進(jìn)一步以非常精確的方式確定該污點(diǎn)的位置。當(dāng)執(zhí)行畫(huà)中畫(huà)融合時(shí)，捕獲顯示包含一個(gè)或多個(gè)物體的相同場(chǎng)景的可見(jiàn)圖像和頂圖像，并且預(yù)定區(qū)域(通常是方形形式的)內(nèi)的像素是根據(jù)頂圖像顯示的，而組合圖像的其余部分示為可見(jiàn)數(shù)據(jù)。例如，當(dāng)檢測(cè)假定為具有大致相同溫度的一行物體中的偏差時(shí)，方形可以圍繞多個(gè)物體創(chuàng)建并移動(dòng)，直到在正確活動(dòng)物體之外捕獲到出錯(cuò)的物體，而且不同之處也將很容易發(fā)現(xiàn)。通過(guò)在這個(gè)方形之外顯示來(lái)自可見(jiàn)圖像的元素，例如文字或者圖案， 具有特定溫度的物體的精確位置可以更加容易和可靠地確定。用于閾值融合和畫(huà)中畫(huà)融合的方法全都將組合圖像的選定區(qū)顯示為頂數(shù)據(jù)，而將其余部分示為可見(jiàn)數(shù)據(jù)。這樣做的缺點(diǎn)是，當(dāng)顯示該同一區(qū)域的頂圖像時(shí)，可見(jiàn)圖像中可見(jiàn)的細(xì)節(jié)丟失了。同樣，來(lái)自頂圖像的溫度數(shù)據(jù)不能與由同一區(qū)域的可見(jiàn)圖像所給出的形狀和紋理一起顯示。存在一些在同一圖像中混合頂數(shù)據(jù)和可見(jiàn)數(shù)據(jù)的方法。但是，由于來(lái)自頂圖像的溫度數(shù)據(jù)與可見(jiàn)圖像的彩色數(shù)據(jù)混合到了一起，其中所述溫度數(shù)據(jù)顯示為與調(diào)色板不同的顏色或者不同的灰度級(jí)，因此該結(jié)果通常是難以解釋的而且對(duì)于用戶來(lái)說(shuō)是混亂的。因此，例如，不可能辨別紅色物體與熱物體或者藍(lán)色物體與冷物體之間的不同。通常，當(dāng)將IR 圖像與可見(jiàn)圖像混合時(shí)，圖像的輻射度量或者其它IR相關(guān)的方面，即來(lái)自調(diào)色板或者灰度級(jí)的顏色的重要性，受到損失。因此，需要一起提供包括來(lái)自IR圖像的數(shù)據(jù)和來(lái)自可見(jiàn)圖像的數(shù)據(jù)的組合圖像的改進(jìn)方式。相關(guān)技術(shù)以下出版物示出了相關(guān)技術(shù)的例子用于對(duì)準(zhǔn)IR圖像與可見(jiàn)光圖像的方法在W02009/008812 Al (Flir Systems AB) 中公開(kāi)，其中圖像是基于聚焦電動(dòng)機(jī)的位置對(duì)準(zhǔn)的，該聚焦電動(dòng)機(jī)用于確定到由成像部分捕獲的物體的距離。文獻(xiàn)US20020113210 Al公開(kāi)了用于利用近紅外線輻射顯微鏡化學(xué)成像的系統(tǒng)與方法。由 Xue Z.等人所寫(xiě)的文獻(xiàn)“Fusion of Visual and IR Images for Concealed Weapon Detection”示出了用于可見(jiàn)光圖像和IR圖像的圖像融合的方法。以上列出的相關(guān)技術(shù)沒(méi)有任何一個(gè)教導(dǎo)了本發(fā)明的特征與創(chuàng)新技術(shù)。

發(fā)明內(nèi)容
本公開(kāi)內(nèi)容的一種或多種實(shí)施方式可以解決或者至少最小化以上提到的問(wèn)題。這是通過(guò)根據(jù)權(quán)利要求所述的方法、成像設(shè)備和/或非暫時(shí)性計(jì)算機(jī)程序產(chǎn)品實(shí)現(xiàn)的，其中 IR圖像與可見(jiàn)圖像的高空間頻率內(nèi)容(content)組合到一起，產(chǎn)生組合圖像。組合是通過(guò)可見(jiàn)圖像的高空間頻率內(nèi)容與IR圖像的疊加來(lái)執(zhí)行的，或者可選地將IR圖像疊加到可見(jiàn)圖像的高空間頻率內(nèi)容上。因此，來(lái)自可見(jiàn)圖像的對(duì)比度可以插入到顯示溫度變化的IR圖像中，由此組合兩種圖像類(lèi)型的優(yōu)點(diǎn)，而不會(huì)損失所產(chǎn)生的圖像的清晰度和可解釋性。以下解釋本公開(kāi)內(nèi)容的實(shí)施方式的更具體的方面。根據(jù)本發(fā)明實(shí)施方式的方法包括確保要組合的圖像的分辨率大致是相同的，即確?？梢?jiàn)圖像和IR圖像的分辨率大致是相同的。在第一種示例實(shí)施方式中，這可以通過(guò)配置具有IR傳感器和可見(jiàn)圖像傳感器的成像設(shè)備使得IR傳感器和可見(jiàn)圖像傳感器具有大致相同的分辨率來(lái)實(shí)現(xiàn)。在另一種可選實(shí)施方式中，成像傳感器的分辨率事先已知不是大致相同的，例如相差超過(guò)預(yù)定的差異閾值。在又一種可選實(shí)施方式中，如果成像傳感器的分辨率不是事先已知的，則所發(fā)明的方法可以包括檢查所接收到的圖像的分辨率是否大致相同的步驟。檢查可以通過(guò)比較所接收到的圖像的分辨率來(lái)執(zhí)行，其中關(guān)于圖像的分辨率的信息可以從單獨(dú)的成像傳感器獲得，或者可以從所接收到的圖像獲取/基于其計(jì)算。通過(guò)事先對(duì)傳感器分辨率的了解或者通過(guò)分辨率的檢查，如果發(fā)現(xiàn)分辨率不是大致相同的，則確保分辨率大致相同還包括對(duì)所接收到的圖像中的至少一個(gè)進(jìn)行重新采樣。由于IR圖像的分 辨率通常比可見(jiàn)圖像的分辨率小得多，這是由于IR成像設(shè)備相比于可見(jiàn)成像設(shè)備的屬性造成的，因此IR圖像的分辨率可以增加采樣(up-sample)到大致與可見(jiàn)圖像的分辨率相同。因此，可以實(shí)現(xiàn)提高的細(xì)節(jié)級(jí)別，并且可以呈現(xiàn)給用戶更容易分析的組合圖像。在另一個(gè)例子中，可見(jiàn)圖像可以減少采樣(down-sample)到大致與IR圖像的分辨率相同。在進(jìn)一步的例子中，如果合適的話，兩個(gè)圖像可以采樣為符合第三分辨率。兩個(gè)圖像最初可以具有大致相同的分辨率，或者圖像的分辨率可以不同。但是在重新采樣到符合第三分辨率之后，兩個(gè)圖像將具有大致相同的分辨率。這使得圖像可以方便且合適的方式被組合，而不管它們要如何顯示。在一個(gè)例子中，第三分辨率可以是要顯示組合圖像的顯示屏幕的分辨率。此外，可以優(yōu)選地執(zhí)行可見(jiàn)圖像中高空間頻率內(nèi)容的提取和頂圖像的去噪聲和/ 或模糊。一般來(lái)說(shuō)，這是通過(guò)使用跨圖像一個(gè)像素一個(gè)像素移動(dòng)的空間濾波器對(duì)可見(jiàn)圖像進(jìn)行高通濾波和對(duì)頂圖像進(jìn)行低通濾波來(lái)實(shí)現(xiàn)的。對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)，很顯然其它眾所周知的圖像處理方法也可以用于得到相同的結(jié)果。作為對(duì)頂圖像執(zhí)行濾波的結(jié)果，與原始的頂圖像相比，IR圖像可以變得平滑和/或包含減少數(shù)量的噪聲。此外，從可見(jiàn)圖像提取出的高空間頻率內(nèi)容包含關(guān)于可見(jiàn)圖像中大對(duì)比度的信息，即，關(guān)于例如物體輪廓的尖銳邊緣位于可見(jiàn)圖像中什么位置的信息。對(duì)頂圖像執(zhí)行濾波的步驟是可選的。即使沒(méi)有對(duì)頂圖像的濾波，用于本發(fā)明實(shí)施方式的方法也對(duì)向用戶示出的所產(chǎn)生的圖像給出了有益的效果，并且用戶將能夠清楚地辨別場(chǎng)景中的一個(gè)或多個(gè)物體及與成像場(chǎng)景關(guān)聯(lián)的溫度信息。但是，由于原始頂圖像中可見(jiàn)的尖銳邊緣和噪聲在濾波過(guò)程中被除去或者至少減少了，因此所產(chǎn)生的圖像的可見(jiàn)性可以通過(guò)對(duì)頂圖像的濾波進(jìn)一步提高，而且組合圖像中在頂圖像和可見(jiàn)圖像未對(duì)準(zhǔn)的地方顯示雙邊緣的危險(xiǎn)也減小了。除了高通濾波，用于提取圖像中高空間頻率內(nèi)容的方法的例子還可以包括提取描繪相同場(chǎng)景的兩個(gè)圖像之間的差異(通常稱為差異圖像)，其中第一個(gè)圖像是在一個(gè)時(shí)刻捕獲的，而第二個(gè)圖像是在第二個(gè)時(shí)刻捕獲的，其中第二個(gè)時(shí)刻優(yōu)選地在時(shí)間上接近第一個(gè)時(shí)刻。這兩個(gè)圖像一般是一個(gè)圖像幀序列中的兩個(gè)連續(xù)的圖像幀。除非成像的場(chǎng)景從第一個(gè)時(shí)刻到第二個(gè)時(shí)刻完全沒(méi)變而且成像傳感器保持完全靜止，否則表示場(chǎng)景中物體邊緣與輪廓的高空間頻率內(nèi)容將出現(xiàn)在差異圖像中。由于成像場(chǎng)景中的光的變化或者所描繪物體的移動(dòng)，場(chǎng)景可以例如從一個(gè)幀變化到下一個(gè)幀。而且，在幾乎每一種情況下，成像傳感器都將不會(huì)保持完全靜止。如果成像設(shè)備是手持式的，那么很顯然將存在由于成像設(shè)備的用戶造成的移動(dòng)。如果照相機(jī)是固定的，例如在一個(gè)架子上，則成像設(shè)備的振動(dòng)或者周?chē)h(huán)境可能造成成像傳感器的移動(dòng)。成像設(shè)備的振動(dòng)可以例如是由于圖像穩(wěn)定系統(tǒng)造成的，所述圖像穩(wěn)定系統(tǒng)通常用在可見(jiàn)成像設(shè)備中，以便補(bǔ)償成像設(shè)備的移動(dòng)。實(shí)現(xiàn)圖像穩(wěn)定的不同方式在本領(lǐng)域中是眾所周知的。在具有圖像穩(wěn)定系統(tǒng)的成像設(shè)備中，成像傳感器可以放到使得能夠響應(yīng)所測(cè)量到的成像設(shè)備的移動(dòng)而移動(dòng)成像傳感器的元件上。如果成像傳感器的移動(dòng)被控制成對(duì)應(yīng)于連續(xù)的圖像幀之間的某個(gè)預(yù)先定義的差異，則這種構(gòu)造可以用于捕獲差異圖像中的邊緣/輪廓。在這種情況下，差異還可以對(duì)應(yīng)于差異圖像的邊緣/輪廓的特定寬度，該寬度是根據(jù)環(huán)境選擇的。獲得可以從其得出差異圖像的圖像的另一種方式是使用成像設(shè)備的聚焦電動(dòng)機(jī)來(lái)移動(dòng)成像設(shè)備的一個(gè)或多個(gè)透鏡。用于移動(dòng)成像設(shè)備中的透鏡的聚焦電動(dòng)機(jī)的使用在本領(lǐng)域中是眾所周知的。在這種情況下，當(dāng)焦點(diǎn)稍微未對(duì)準(zhǔn)時(shí)，由成像設(shè)備捕獲到的圖像將是可以直接對(duì)應(yīng)于低通濾波圖像的平滑且去噪聲的圖像。在重新設(shè)置成像設(shè)備的焦點(diǎn)之后，可以捕獲聚焦的圖像，并且可以通過(guò)從該聚焦圖像減去焦點(diǎn)未對(duì)準(zhǔn)的圖像來(lái)獲得該聚焦圖像的高空間頻率內(nèi)容。利用成像設(shè)備中一個(gè)或多個(gè)透鏡的重新聚焦的圖像傳感器的振動(dòng)的方法還不必要求任何數(shù)字圖像處理，并且因此可以與模擬成像設(shè)備一起使用。就像對(duì)本領(lǐng)域技術(shù)人員顯然的那樣，由于在相減之后只剩下了低空間頻率內(nèi)容，因此通過(guò)從圖像減去由以上所述任何方法獲得的所提取出的高空間頻率內(nèi)容，獲得圖像的對(duì)應(yīng)低通濾波版本。當(dāng)組合圖像時(shí)，將可見(jiàn)圖像的高通濾波或提取出的高空間頻率內(nèi)容加到IR圖像，給IR圖像增加了輪廓和對(duì)比度，但不會(huì)改變它。因此，由圖像捕獲到的物體的邊界和邊緣可以在組合圖像中清晰地看出，而且同時(shí)還保持了高級(jí)別的輻射度量或者其它相關(guān)的IR信息。在一個(gè)例子中，為了保存IR圖像的彩色或者灰度級(jí)調(diào)色板，只有濾波后可見(jiàn)圖像的亮度分量可以添加到IR圖像。因此，顏色沒(méi)有改變，而且原始IR調(diào)色板的屬性也保持了， 同時(shí)添加了期望的對(duì)比度。由于輻射度量或者其它相關(guān)的IR信息可以貫穿處理保持而且由此可以方便用戶對(duì)組合圖像的解釋，因此貫穿處理和顯示的所有階段保持IR調(diào)色板是有益的。 當(dāng)組合可見(jiàn)圖像的亮度與IR圖像時(shí)，因子α可以用于確定兩個(gè)圖像之間的平衡。 這個(gè)因子可以由成像設(shè)備或者成像系統(tǒng)本身利用用于確定從可見(jiàn)圖像創(chuàng)建好圖像所需的輪廓級(jí)別的合適參數(shù)來(lái)決定，但是也可以通過(guò)用戶向成像設(shè)備或者成像系統(tǒng)給出輸入來(lái)決定。該因子還可以在以后的階段(例如當(dāng)圖像存儲(chǔ)在系統(tǒng)中或者PC等中時(shí))改變，而且可以調(diào)整成適合用戶的任何需求。在向用戶顯示所產(chǎn)生的組合圖像之前，高分辨率噪聲可以添加到圖像，以便產(chǎn)生高分辨率的印象和增加的細(xì)節(jié)，并且使圖像更容易讓用戶解釋。


圖1示出了根據(jù)示例實(shí)施方式的方法的流程圖。圖2示出了具有根據(jù)示例實(shí)施方式的方法的不同階段的圖像的示意圖。圖3a示出了半色調(diào)的IR圖像。圖3b示出了低通濾波后的半色調(diào)的圖3a的IR圖像。圖3c示出了半色調(diào)的可見(jiàn)圖像的提取出的高空間頻率內(nèi)容，其中在這個(gè)例子中高空間頻率內(nèi)容是通過(guò)高通濾波獲得的。圖3d示出了半色調(diào)的圖3b的低通濾波IR圖像和圖3c的高通濾波可見(jiàn)圖像的組
口 O圖4示出了用于執(zhí)行根據(jù)示例實(shí)施方式的方法的圖像處理系統(tǒng)的示例實(shí)施方式。圖5a示出了不同溫度區(qū)域用不同圖案標(biāo)記的圖3a的IR圖像。圖5b示出了不同溫度區(qū)域用不同圖案標(biāo)記的圖3b的圖像。圖5C示出了圖3C的圖像。圖5d示出了不同溫度區(qū)域用不同圖案標(biāo)記的圖3d的圖像。圖6a示出了一個(gè)場(chǎng)景的低分辨率IR圖像。所示圖像具有32X 32像素的分辨率。圖6b示出了在IR圖像被重新采樣、處理并與描繪相同場(chǎng)景的可見(jiàn)圖像的提取出的高空間頻率內(nèi)容組合之后的圖6a的IR圖像。
具體實(shí)施方式
在圖1中，可以看到根據(jù)本公開(kāi)內(nèi)容實(shí)施方式的示例方法。在塊101捕獲可見(jiàn)圖像并且在塊102捕獲頂圖像?？梢?jiàn)圖像和頂圖像可以分別由光學(xué)傳感器和頂傳感器來(lái)捕獲。在捕獲之后，可見(jiàn)圖像和頂圖像可以在塊103對(duì)準(zhǔn)，以便補(bǔ)償光軸之間的視差，該視差通常是由于用于捕獲所述圖像的傳感器放置的差異和在這些軸之間產(chǎn)生的角度造成的，其中光軸之間的角度是由于機(jī)械容限造成的，所述機(jī)械容限通常阻礙光軸精確地平行安裝。塊101、102可以同時(shí)執(zhí)行或者一個(gè)接一個(gè)地執(zhí)行。在一個(gè)例子中，圖像可以同時(shí)或者以盡可能小的時(shí)間差捕獲，因?yàn)檫@將減小由于捕獲可視和頂圖像的成像設(shè)備單元移動(dòng)造成的對(duì)準(zhǔn)差的危險(xiǎn)。在塊103對(duì)準(zhǔn)之后，確?？梢?jiàn)圖像分辨率和頂圖像分辨率大致相同是在塊110執(zhí)行的。在第一種示例實(shí)施方式中，這可以通過(guò)配置具有頂傳感器和可見(jiàn)圖像傳感器的成像設(shè)備使得頂傳感器和可見(jiàn)圖像傳感器具有大致相同的分辨率來(lái)實(shí)現(xiàn)。在另一種示例實(shí)施方式中，成像傳感器的分辨率事先已知不是大致相同的，例如差異超過(guò)預(yù)定的差異閾值。在又一種示例實(shí)施方式中，如果成像傳感器的分辨率不是事先已知的，則該發(fā)明方法可以包括在塊109檢查所接收的圖像的分辨率是否大致相同的步驟。檢查可以通過(guò)比較所接收的圖像的分辨率來(lái)執(zhí)行，其中關(guān)于圖像的分辨率的信息可以從獨(dú)立的成像傳感器獲得或者可以從所接收的圖像獲取或者基于其計(jì)算。通過(guò)事先對(duì)傳感器分辨率的了解或者通過(guò)分辨率的檢查，如果發(fā)現(xiàn)分辨率不是大致相同的，則確保分辨率大致相同還包括在塊104對(duì)所接收的圖像中至少一個(gè)的重新采樣。在一種示例實(shí)施方式中，頂圖像可以被重新采樣，以便增加或者減小其分辨率。一般來(lái)說(shuō)，所捕獲的頂圖像的分辨率具有與所捕獲的可見(jiàn)圖像不同的分辨率；通常頂圖像具有比可見(jiàn)圖像低的分辨率。用于頂圖像的普通分辨率可以是例如320X240像素，而用于可見(jiàn)圖像的普通分辨率可以是大約5M像素。如果要組合的圖像的分辨率不是大致相同的， 則它們中的至少一個(gè)可以改變其分辨率來(lái)匹配另一個(gè)，以便補(bǔ)償差異并且更成功地組合圖像。在一個(gè)例子中，這可以通過(guò)插值以增加采樣頂圖像到可見(jiàn)圖像的分辨率來(lái)實(shí)現(xiàn)。還有可能配置具有頂傳感器和可見(jiàn)圖像傳感器的成像設(shè)備具有大致相同的分辨率。作為增加采樣頂圖像的可選方案，可見(jiàn)圖像可以減少采樣，來(lái)符合頂圖像的分辨率，或者兩個(gè)圖像可以都采樣到符合第三分辨率。兩個(gè)圖像最初可以具有大致相同的分辨率，或者圖像的分辨率可以不同。但是，在重新采樣到符合第三分辨率之后，兩個(gè)圖像將具有大致相同的分辨率。這使得能夠以方便而合適的方式組合圖像，而不管它們要如何顯示。如果所組合的圖像要被具有高分辨率的頂照相機(jī)、PC或者其它設(shè)備存儲(chǔ)和顯示到例如圖像數(shù)據(jù)結(jié)構(gòu)和/或圖像顯示裝置，那么增加采樣頂圖像以符合可見(jiàn)圖像通常更高的分辨率是方便的。但是，如果組合圖像要由具有低得多的分辨率的系統(tǒng)顯示，則減少采樣可見(jiàn)圖像以符合這個(gè)需求可能更合適。根據(jù)示例實(shí)施方式，第三分辨率可以選擇成要呈現(xiàn)組合圖像的顯示屏幕的分辨率。兩個(gè)圖像最初可以具有大致相同的分辨率，或者圖像的分辨率可以不同。但是，在圖像組合之前如果可見(jiàn)圖像和頂圖像各自的分辨率大致相同是有益的，使得可以執(zhí)行用于圖像每個(gè)像素的數(shù)據(jù)的合適匹配。在塊105，例如通過(guò)利用空間濾波器對(duì)可見(jiàn)圖像高通濾波，可以提取可見(jiàn)圖像的高空間頻率內(nèi)容。除高通濾波之外，用于提取圖像中高空間頻率內(nèi)容的方法的例子可以包括提取描繪相同場(chǎng)景的兩個(gè)圖像之間的差異(通常稱為差異圖像)，其中第一個(gè)圖像是在一個(gè)時(shí)刻捕獲的，而第二個(gè)圖像是在第二個(gè)時(shí)刻捕獲的，其中第二個(gè)時(shí)刻優(yōu)選地在時(shí)間上靠近第一個(gè)時(shí)刻。這兩個(gè)圖像一般可以是一個(gè)圖像幀序列中的兩個(gè)連續(xù)的圖像幀。除非成像的場(chǎng)景從第一個(gè)時(shí)刻到第二個(gè)時(shí)刻完全沒(méi)變而且成像傳感器保持完全靜止，否則代表場(chǎng)景中物體邊緣和輪廓的高空間頻率內(nèi)容將出現(xiàn)在差異圖像中。由于成像場(chǎng)景中光的變化或者所示物體的移動(dòng)，場(chǎng)景可以例如從一個(gè)幀變化到下一個(gè)幀。而且，在幾乎每一種情況下，成像傳感器都將不會(huì)保持完全靜止。如果成像設(shè)備是手持式的，很顯然將存在由于成像設(shè)備的用戶造成的移動(dòng)。如果照相機(jī)是固定的，例如在架子上，則成像設(shè)備的振動(dòng)或者周?chē)h(huán)境可能造成成像傳感器的移動(dòng)。成像設(shè)備的振動(dòng)可以例如是由于圖像穩(wěn)定系統(tǒng)造成的，所述圖像穩(wěn)定系統(tǒng)通常用在可見(jiàn)成像設(shè)備中，以便補(bǔ)償成像設(shè)備的移動(dòng)。實(shí)現(xiàn)圖像穩(wěn)定的不同方式在本領(lǐng)域中是眾所周知的。在具有圖像穩(wěn)定系統(tǒng)的成像設(shè)備中，成像傳感器可以放到使得能夠響應(yīng)于所測(cè)量到的成像設(shè)備的移動(dòng)而移動(dòng)成像傳感器的元件上。如果成像傳感器的移動(dòng)被控制成對(duì)應(yīng)于連續(xù)圖像幀之間的某個(gè)預(yù)先定義的差異，則這種構(gòu)造可以用于捕獲差異圖像中的邊緣/輪廓。在這種情況下，差異還可以對(duì)應(yīng)于差異圖像的邊緣/輪廓的特定寬度，所述寬度是根據(jù)環(huán)境選擇的。獲得可以從其得出差異圖像的圖像的另一種方式是使用成像設(shè)備的聚焦電動(dòng)機(jī)來(lái)移動(dòng)成像設(shè)備的一個(gè)或多個(gè)透鏡。用于移動(dòng)成像設(shè)備中的透鏡的聚焦電動(dòng)機(jī)的使用在本領(lǐng)域中是眾所周知的。在這種情況下，當(dāng)其焦點(diǎn)稍微未對(duì)準(zhǔn)時(shí)， 由成像設(shè)備捕獲的圖像將是可以直接對(duì)應(yīng)到低通濾波圖像的平滑且去噪聲的圖像。在重新設(shè)置成像設(shè)備的焦點(diǎn)之后，可以捕獲聚焦的圖像，并且可以通過(guò)從該聚焦圖像減去焦點(diǎn)未對(duì)準(zhǔn)的圖像獲得該聚焦圖像的高空間頻率內(nèi)容。利用成像設(shè)備中的一個(gè)或多個(gè)透鏡重新聚焦的圖像傳感器的振動(dòng)的方法還不必要求任何數(shù)字圖像處理，并且因此可以與模擬成像設(shè)備一起使用。就像對(duì)本領(lǐng)域技術(shù)人員顯然的那樣，由于在相減之后只剩下了較低的空間頻率內(nèi)容，因此通過(guò)從圖像減去由以上所述任何方法獲得的所提取的高空間頻率內(nèi)容，獲得圖像的對(duì)應(yīng)低通濾波版本。在塊106，例如通過(guò)空間低通濾波器的使用，可以處理頂圖像，從而減少圖像中的噪聲和/或模糊圖像。低通濾波可以通過(guò)對(duì)于圖像的每個(gè)像素設(shè)置空間核心并通過(guò)使用相鄰像素中的值和所述空間核心的系數(shù)為所述像素計(jì)算新值來(lái)執(zhí)行。在另一個(gè)例子中，圖像可以單獨(dú)利用軟件來(lái)濾波。空間低通濾波核心可以是在每個(gè)位置具有系數(shù)1的3X3濾波器核心，并且濾波后的像素值可以通過(guò)將原始像素值和八個(gè)相鄰像素中每一個(gè)乘以其濾波器系數(shù)、把它們加到一起，然后除以9來(lái)計(jì)算。在對(duì)頂圖像中的每個(gè)像素執(zhí)行這個(gè)操作之后，可以產(chǎn)生具有更平滑外觀的低通濾波圖像。為了對(duì)頂圖像進(jìn)行高通濾波，可以使用相同的濾波器系數(shù)，從而以本領(lǐng)域中眾所周知的方式，通過(guò)每次一個(gè)像素地從原始圖像減去低通濾波圖像形成高通濾波圖像。但是，應(yīng)當(dāng)指出，濾波器核心的系數(shù)可以設(shè)置成不同的值，并且濾波器核心的大小可以與以上所述的3 X 3濾波器核心不同。所產(chǎn)生的處理后的可見(jiàn)圖像和可能進(jìn)行處理的頂圖像可以在塊107組合到一起。 在顯示所產(chǎn)生的組合圖像之前，可以在塊108添加高分辨率噪聲，例如高分辨率時(shí)間噪聲。在塊106執(zhí)行頂圖像濾波的步驟是可選的。即使沒(méi)有頂圖像的濾波，用于本發(fā)明實(shí)施方式的方法也對(duì)向用戶示出的所產(chǎn)生的圖像給出了有益的效果，并且用戶將能夠清楚地辨別成像場(chǎng)景中的物體及成像場(chǎng)景的溫度信息。在塊106執(zhí)行的低通濾波的目的是從在塊102捕獲到的原始IR圖像 中存在的噪聲平滑掉IR圖像的不均衡。由于原始IR圖像中可見(jiàn)的尖銳邊緣和噪聲在濾波過(guò)程中被除去或者至少減少了，因此所產(chǎn)生的圖像的可見(jiàn)性通過(guò)IR圖像的濾波進(jìn)一步提高了，而且在組合圖像中IR圖像和可見(jiàn)圖像未對(duì)準(zhǔn)的地方顯示雙邊緣的危險(xiǎn)也減小了。高通濾波是為了提取圖像中的高空間頻率內(nèi)容而執(zhí)行的，換句話說(shuō)是為了定位對(duì)比區(qū)域，即，相鄰像素的值顯示很大差異的區(qū)域(例如尖銳的邊緣)而執(zhí)行的。所產(chǎn)生的高通濾波圖像可以通過(guò)從原始圖像減去低通濾波圖像(一個(gè)像素一個(gè)像素地計(jì)算)來(lái)獲得， 如以下將具體描述的。圖2示出了在圖1所說(shuō)明方法的不同塊所產(chǎn)生的圖像的示例實(shí)施方式。在塊101 捕獲的可見(jiàn)圖像301和在塊102捕獲的IR圖像302用作處理303過(guò)程中增加采樣和濾波的輸入，其中處理303對(duì)應(yīng)于塊103、104、105、106。在處理303之后，顯示可見(jiàn)圖像的提取出的高空間頻率內(nèi)容304，其中可以看到在原始可見(jiàn)圖像301中存在的物體的輪廓。根據(jù)本發(fā)明的示例實(shí)施方式，IR圖像302處理成低通濾波且增加采樣的圖像305。增加采樣增加了圖像的分辨率，現(xiàn)在成像場(chǎng)景中的每個(gè)物體都可以更清楚地看到，而沒(méi)有顯示出形式為低通濾波圖像305中的模糊或顆粒的太多噪聲。從可見(jiàn)圖像304的提取出的高空間頻率內(nèi)容和低通濾波IR圖像305 (現(xiàn)在可以描述為處理過(guò)的圖像304、305)開(kāi)始的箭頭指示用于形成組合圖像307的這些圖像304、305的組合，其中顯示成像場(chǎng)景中平滑溫度分布的處理過(guò)的IR圖像305與顯示原始可見(jiàn)圖像301的物體的輪廓邊緣的處理過(guò)的可見(jiàn)圖像304組合到一起。因此，組合后的圖像307顯示了 IR 圖像302的優(yōu)點(diǎn)，其中跨物體的任何溫度差異都被示出，還有來(lái)自處理過(guò)的可見(jiàn)圖像304的輪廓，從而更清楚地示出每個(gè)物體的形狀。這種組合優(yōu)選地是通過(guò)在IR圖像上疊加可見(jiàn)圖像的高空間頻率內(nèi)容或者可選地在可見(jiàn)圖像的高空間頻率內(nèi)容疊加IR圖像來(lái)實(shí)現(xiàn)的。根據(jù)本發(fā)明的示例實(shí)施方式，IR圖像可以利用非常低分辨率的IR成像設(shè)備來(lái)捕獲，分辨率例如低到64X 64或者32 X 32像素，但是，如本領(lǐng)域技術(shù)人員容易理解的，許多其它分辨率也是同樣適用的。32X32像素的IR圖像本身包含非常少的信息，而且觀看者很難解釋圖像中的信息。具有32X32像素的分辨率的IR圖像的例子在圖6a中示出。本發(fā)明人發(fā)現(xiàn)如果將邊緣和輪廓(高空間頻率)信息從可見(jiàn)圖像添加到組合圖像，則非常低分辨率的IR圖像的使用將仍然給出用戶可以清楚地區(qū)分所示物體和關(guān)于它們的溫度或其它IR 信息的組合圖像。圖6b示出了在IR圖像重新采樣并且與描繪相同場(chǎng)景的可見(jiàn)圖像的提取的高空間頻率內(nèi)容組合之后的圖6a的IR圖像。這使得實(shí)施方式的發(fā)明方法能夠與非常小且便宜的圖像檢測(cè)器組合使用，仍然給出非常有利的結(jié)果。根據(jù)另一種示例實(shí)施方式，IR圖像可以利用高分辨率IR成像設(shè)備捕獲。隨著技術(shù)的發(fā)展，IR成像設(shè)備繼續(xù)獲得更高的分辨率。如今，高分辨率IR成像設(shè)備將具有例如 640X640像素的分辨率。用這種高分辨率成像設(shè)備捕獲到的IR圖像本身就可能足以向觀看者顯示邊緣和輪廓信息。通過(guò)組合這種高分辨率IR圖像和對(duì)應(yīng)可見(jiàn)圖像的高空間頻率內(nèi)容可以使觀看者能夠看到在IR圖像中未示出的可見(jiàn)圖像的更多細(xì)節(jié)。例如，被識(shí)別出水漬的區(qū)域可以用筆在墻上畫(huà)出/勾勒出。這種信息對(duì)于與所測(cè)量出的溫度信息組合是有利的。在另一個(gè)例子中，圖像中可能有序列號(hào)或者其它標(biāo)識(shí)字母或數(shù)字，其可能有助于識(shí)別所示場(chǎng)景或者場(chǎng)景中的物體。高分辨率IR圖像可以有利地較大程度地減少采樣和/或去噪聲/低通濾波，由此，當(dāng)?shù)玫剿緢?chǎng)景的溫度信息時(shí)，所產(chǎn)生的處理后的頂圖像及包含非常低程度的噪聲，但仍然具有非常高的靈敏度。對(duì)應(yīng)于塊108，高分辨率噪聲306可以添加到組合圖像307，以便向觀看者更清楚地給出所產(chǎn)生的圖像并且減少由于原始頂圖像302中的噪聲而可能存在的污點(diǎn)等的印象， 其中噪聲在所述頂圖像302的低通濾波過(guò)程中被保留了下來(lái)。圖3a示出了緊接著在塊102捕獲之后的頂圖像302。成像場(chǎng)景表示書(shū)柜，結(jié)合體 (binder)按行布置，并且書(shū)架在某個(gè)高度安裝。如可以看到的，場(chǎng)景中的物體處于不同的溫度(示為不同的區(qū))，其中圖像最上面的部分和放在中間書(shū)架上的結(jié)合體比下面的書(shū)架或者結(jié)合體旁邊或上面的區(qū)域更熱。所示物體的真正形狀是難以辨別的，因?yàn)槌煌瑴囟戎g的線條之外沒(méi)有顯示物體的輪廓。因此，對(duì)于僅僅面對(duì)這個(gè)圖像的用戶來(lái)說(shuō)，很難識(shí)別某個(gè)溫度的特定物體。通過(guò)向?yàn)V波后的信號(hào)添加顏色，IR圖像根據(jù)所選擇的色彩空間(以下進(jìn)一步描述)著色。在本發(fā)明的示例實(shí)施方式中，所捕獲的頂圖像通過(guò)低通濾波進(jìn)行處理。圖北示出了低通濾波的頂圖像305。空間濾波平滑掉了所捕獲的頂圖像302中的不均衡，由此使得更容易區(qū)分場(chǎng)景中的不同物體。而且，濾波還從圖像302中除去了噪聲。而且，這些物體之間的邊緣已經(jīng)被平滑掉了。由于輪廓要從濾波后的可見(jiàn)圖像304添加，而且圖像之間的任何對(duì)準(zhǔn)誤差將導(dǎo)致可能使觀看者分心的雙輪廓，因此可以這么做。在本發(fā)明的示例實(shí)施方式中，所捕獲的可見(jiàn)圖像的高空間頻率內(nèi)容通過(guò)可見(jiàn)圖像的高通濾波來(lái)提取。這種作為所捕獲的可見(jiàn)圖像301高通濾波的結(jié)果的高通濾波的可見(jiàn)圖像304在圖3c中示出。在高通濾波的可見(jiàn)圖像304中，主要是可以看到在原始可見(jiàn)圖像 301中成像的場(chǎng)景中的物體的輪廓和邊緣。物體之間的輪廓和邊緣及例如結(jié)合體上的文字或書(shū)的圖案的線是可見(jiàn)的。圖3d示出了在原始頂圖像302增加采樣、低通濾波并且與相同場(chǎng)景的高通濾波可見(jiàn)圖像組合之后的組合圖像307。不同溫度的區(qū)域仍然可以看到，但它們之間的邊界變得更加清晰，而且結(jié)合體和書(shū)架的輪廓線已經(jīng)添加，這些輪廓線來(lái)自高通濾波的可見(jiàn)圖像并且顯示了在頂圖像中無(wú)法看到的細(xì)節(jié)，例如文字或者其它可見(jiàn)圖案。增加的清晰度還來(lái)自頂圖像的低通濾波，其中更大不同溫度區(qū)域中的噪聲像素已經(jīng)被平滑掉，從而形成更相似的更大區(qū)域。因此，至少一部分可能由于捕獲原始圖像的環(huán)境造成的噪聲可以消除。圖5a_5d描繪了以上所述的圖3a_3d的圖像，但是采用不同溫度區(qū)域由不同圖案而不是半色調(diào)標(biāo)記的方式。因此，參考圖3a_3d所述的一切都可以分別直接應(yīng)用到圖 5a_5d0對(duì)頂圖像302執(zhí)行的低通濾波可以通過(guò)使用具有合適的濾波器核心的空間濾波器來(lái)執(zhí)行，以便依賴先前的值和周?chē)袼氐闹祦?lái)為每個(gè)像素計(jì)算新值。高通濾波通常是通過(guò)應(yīng)用低通濾波器并從原始圖像減去所產(chǎn)生的低通濾波圖像來(lái)執(zhí)行的，在高通濾波的圖像中只留下線條和邊緣可以看到。如前面所提到的，應(yīng)用空間濾波器的方法在本領(lǐng)域中是眾所周知的，并且任何這樣的方法都可以使用。當(dāng)選擇調(diào)色板時(shí)，例如根據(jù)YCbCr色彩空間族，Y分量(即，亮度)可以選擇成在整個(gè)調(diào)色板中是常量。在一個(gè)例子中，Y分量可以選擇成最大亮度的0.5倍。因此，當(dāng)組合基于所選調(diào)色板的頂圖像和可見(jiàn)圖像時(shí)，處理后的可見(jiàn)圖像304的Y分量可以添加到處理后的IR圖像305，并產(chǎn)生期望的對(duì)比度，而不會(huì)改變處理后的IR圖像305的顏色。由此，在原始IR圖像302的處理過(guò)程中，保持了顏色的特定細(xì)微差別的重要性。當(dāng)計(jì) 算顏色分量時(shí)，對(duì)于Y分量來(lái)自高通濾波的可見(jiàn)圖像304而Cr和Cb分量來(lái)自IR圖像305的信號(hào)的組合圖像307，以下公式可以用于確定分量Y、Cr和Cb。hp_y_vis = highpass (y_vis)(y_ir, cr_ir, cb_ir) = colored (lowpass (ir_signal_linear))其在另一種表示法中可以寫(xiě)成hpyvis = highpass (yvis)(yir, crir, cbir) = colored (lowpass (irsignal linear))當(dāng)然，除YCbCr之外的其它色彩空間也可以與本公開(kāi)內(nèi)容的實(shí)施方式一起使用。 不同色彩空間(例如RGB、YCbCr、HSV、CIE 1931XYZ或者CIELab)的使用，及色彩空間之間的變換，對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)是眾所周知的。例如，當(dāng)使用RGB色彩模型時(shí)，亮度可以作為所有顏色分量的均值來(lái)計(jì)算，而且通過(guò)將計(jì)算亮度的公式從一個(gè)色彩空間變換到另一個(gè)色彩空間，為每個(gè)色彩空間確定用于確定亮度的新表達(dá)式。在一種實(shí)施方式中，組合處理過(guò)的可見(jiàn)圖像304和處理過(guò)的IR圖像305的塊107 可以只利用來(lái)自處理過(guò)的可見(jiàn)圖像304的亮度分量Y來(lái)執(zhí)行。應(yīng)當(dāng)指出，根據(jù)一種或多種實(shí)施方式，如果合適的話，以上所述方法的塊可以不同的次序執(zhí)行。圖4示出了用于執(zhí)行根據(jù)本公開(kāi)內(nèi)容的方法的圖像處理系統(tǒng)的實(shí)施方式的示意圖。成像設(shè)備單元1可以包括具有可見(jiàn)傳感器的可見(jiàn)成像設(shè)備11和具有IR傳感器的IR 成像設(shè)備12，安裝成使得可見(jiàn)成像設(shè)備11的可見(jiàn)傳感器的光軸與IR成像設(shè)備12的IR傳感器相距距離d?？梢?jiàn)成像設(shè)備可以是任何已知類(lèi)型的可見(jiàn)成像設(shè)備，例如CCD成像設(shè)備、 EMCCD成像設(shè)備、CMOS成像設(shè)備或者sCMOS成像設(shè)備。IR成像設(shè)備可以是能夠檢測(cè)至少在例如0. 7至20 μ m之間的間隔中的電磁輻射的任何類(lèi)型的成像設(shè)備?？梢?jiàn)成像設(shè)備具有大約53°的視野α，而IR成像設(shè)備具有大約24°的視野β。本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)至IJ，例如通過(guò)使用可替換光學(xué)元件或者包括光學(xué)元件的鏡頭，其它的視角也可以使用。對(duì)于 IR成像設(shè)備，可替換光學(xué)元件或者包括光學(xué)元件的鏡頭可以例如給出15-45°的視野。塊 101、102，即，可見(jiàn)圖像301和IR圖像302的捕獲，可以通過(guò)成像設(shè)備單元1來(lái)執(zhí)行，并且所捕獲的圖像發(fā)送到處理單元2，也稱為處理器，在那里執(zhí)行其余的塊。根據(jù)另一種實(shí)施方式， 圖1的塊106中的可選步驟，即，減小噪聲并模糊所捕獲的IR圖像，可以通過(guò)成像設(shè)備中所結(jié)合的圖像處理裝置或者圖像處理器來(lái)執(zhí)行，在可見(jiàn)圖像和處理過(guò)的IR圖像發(fā)送到處理單元2之后，在那里執(zhí)行圖1的其余塊的方法步驟。所述處理單元2可以是例如通用或者專用處理引擎的處理器，例如微處理器、微控制器或者其它控制邏輯或FPGA (現(xiàn)場(chǎng)可編程門(mén)陣列)，其包括存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上的固定成執(zhí)行某些任務(wù)的代碼區(qū)，以及存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上的可以在使用過(guò)程中改變的其它代碼區(qū)。這種可以改變的區(qū)可以包括要用作各種任務(wù)的輸入的參數(shù)，其中，所述各種任務(wù)例如IR成像設(shè)備12的校準(zhǔn)、可見(jiàn)成像設(shè)備11和IR成像設(shè)備12的對(duì)準(zhǔn)、采樣速率或者用于圖像空間濾波的濾波器。在本文檔中，術(shù)語(yǔ)“計(jì)算機(jī)程序產(chǎn)品，，和“計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，，通常可以用于指代非臨時(shí)性的介質(zhì)，例如存儲(chǔ)器41、處理單元2的存儲(chǔ)介質(zhì)或者控制單元42的存儲(chǔ)介質(zhì)。這些和其它形式的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以用于向處理單元2提供要執(zhí)行的指令。這種指令，總體上稱為“計(jì)算機(jī)程序代碼”或者計(jì)算機(jī)程序代碼部分(可以以計(jì)算機(jī)程序或者其它分組的形式來(lái)分組)，適于控制數(shù)據(jù)處理系統(tǒng)執(zhí)行發(fā)明方法的步驟和功能。因此，當(dāng)執(zhí)行時(shí)，該計(jì)算機(jī)程序代碼部分使成像設(shè)備單元1或者計(jì)算機(jī)能夠執(zhí)行當(dāng)前技術(shù)的實(shí)施方式的特征或者功能。而且，如在此所使用的，處理邏輯或者邏輯可以包括硬件、軟件、固件或者其組合。處理單元2與存儲(chǔ)器41通信，在存儲(chǔ)器中這種參數(shù)準(zhǔn)備好以便由處理單元2使用，而且如果用戶期望的話，由處理單元2處理的圖像可以保存在存儲(chǔ)器41中。存儲(chǔ)器41 可以是隨機(jī)存取存儲(chǔ)器(RAM)、寄存器存儲(chǔ)器、處理器高速緩沖存儲(chǔ)器、硬盤(pán)驅(qū)動(dòng)器、軟盤(pán)驅(qū)動(dòng)器、磁帶驅(qū)動(dòng)器、光盤(pán)驅(qū)動(dòng)器、CD或DVD驅(qū)動(dòng)器(R或者RW)或者其它可拆卸或固定介質(zhì)驅(qū)動(dòng)器。存儲(chǔ)器41又與控制單元42通信，其中所述參數(shù)源自該控制單元42，例如通過(guò)來(lái)自可以從制造商提供的校準(zhǔn)文件43文件的輸入、通過(guò)由圖像處理系統(tǒng)本身提供的參數(shù)，例如來(lái)自傳感器等的關(guān)于從成像設(shè)備單元1到捕獲其圖像的物體的距離的數(shù)據(jù)，或者通過(guò)由用戶提供的參數(shù)?？刂茊卧?2可以是可編程的單元，并且確定執(zhí)行示例方法所需的參數(shù)和這種參數(shù)應(yīng)當(dāng)如何與處理單元2交互并且為了方便處理單元2的獲取而將這些參數(shù)存儲(chǔ)到存儲(chǔ)器41中。在處理單元2執(zhí)行對(duì)準(zhǔn)圖像(塊10 、增加采樣原始頂圖像302以便生成增加采樣的頂圖像(塊104)、對(duì)原始可見(jiàn)圖像301的高通濾波以便生成處理過(guò)的可見(jiàn)圖像304(塊 105)、對(duì)增加采樣的頂圖像的低通濾波以便生成處理過(guò)的頂圖像305(塊106)、組合處理過(guò)的可見(jiàn)圖像304和處理過(guò)的頂圖像305以便生成組合圖像307(塊107)并向所述組合圖像307添加高頻噪聲(塊108)的操作之后，所產(chǎn)生的圖像在顯示單元3中呈現(xiàn)，以便由圖像處理系統(tǒng)的用戶觀看。如果期望，用戶可以將組合圖像307或者對(duì)應(yīng)于不同方法步驟的任何其它圖像保存到存儲(chǔ)器41中，以便以后觀看或者傳送到另一個(gè)單元，例如計(jì)算機(jī)， 用于進(jìn)一步的分析和存儲(chǔ)。在可選實(shí)施方式中，所公開(kāi)的方法可以由例如PC的計(jì)算設(shè)備來(lái)實(shí)現(xiàn)，其中PC可以包含特別適于執(zhí)行本發(fā)明的一種或多種實(shí)施方式的方法步驟的FPGA單元的功能或者包含根據(jù)聯(lián)系圖4所述的通用處理單元2。該計(jì)算設(shè)備還可以包括存儲(chǔ)器41和控制單元42，還可以包括顯示單元3。可以以直播方式使用所公開(kāi)的方法，即用于可以作為電影記錄和重放的例如30Hz的實(shí)時(shí)濾波與組合的圖像流集合，但是也可以使用靜止的圖片。在一個(gè)例子中，可以允許用戶改變正因子α，以便確定例如通過(guò)使用以下的公式要用于與頂圖像302、305組合的來(lái)自可見(jiàn)圖像301、304的亮度有多少。組合圖像307的亮度Y是通過(guò)將處理過(guò)的頂圖像305的亮度加上高通濾波的可見(jiàn)圖像的亮度乘以因子α 來(lái)實(shí)現(xiàn)的。組合的分量Cr和Cb直接取自頂圖像302、305，因此不受該處理的影響。如果使用另一種色彩空間，則在使用之前當(dāng)然要變換公式。comb_y = y_ir+ α Xhp_y_viscomb_cr = cr_ircomb_cb = cb_ir其在另一種表示法中將寫(xiě)為comby = yir+α Xhpyvis
combcr = crirCombcb = cbir 因此，α的變化給了用戶決定在組合圖像中需要多少對(duì)比度的機(jī)會(huì)。當(dāng)α接近零時(shí)，將單獨(dú)顯示IR圖像，但對(duì)于非常高的α，在組合圖像中可以看到非常尖銳的輪廓。理論上講，α可以是無(wú)限大的數(shù)，但實(shí)踐當(dāng)中限制將有可能是必需的，以便將可以選擇的α的大小限制到當(dāng)前應(yīng)用中方便的值。在塊104對(duì)IR圖像302的分辨率的增加采樣可以另選地作為對(duì)可見(jiàn)圖像301的減少采樣來(lái)執(zhí)行，以便匹配IR圖像302的分辨率，或者實(shí)際上是IR圖像302的增加采樣和可見(jiàn)圖像301的減少采樣的組合，達(dá)到不是圖像301、302中任何一個(gè)原始具有的分辨率，只要結(jié)果是在采樣步驟之后IR圖像302和可見(jiàn)圖像301具有相同的分辨率即可。依賴要顯示組合圖像307的顯示區(qū)域，例如顯示單元3，來(lái)確定分辨率并采樣圖像301、302以便匹配最適合顯示單元3的分辨率可能是方便的。應(yīng)當(dāng)認(rèn)識(shí)到，為了清晰，以上描述參考不同的功能單元和處理器描述了技術(shù)的實(shí)施方式。但是，很顯然，在不偏離該技術(shù)的情況下，不同功能單元、處理器或者領(lǐng)域之間功能的任何適當(dāng)分布都可以使用。例如，例示為由分立的處理器或控制器執(zhí)行的功能可以由同一處理器或控制器執(zhí)行。由此，對(duì)特定功能單元的參考只能看作是對(duì)用于提供所述功能的合適裝置的參考，而不是指示嚴(yán)格的邏輯或者物理結(jié)構(gòu)或組織。如本領(lǐng)域技術(shù)人員很容易理解的，本公開(kāi)內(nèi)容不應(yīng)當(dāng)看作是被以上所述的實(shí)施方式限制的，而是可以在權(quán)利要求的范圍內(nèi)變化。
權(quán)利要求
1.一種方法，包括接收?qǐng)鼍暗目梢?jiàn)圖像和紅外線(IR)圖像； 從所述可見(jiàn)圖像提取高空間頻率內(nèi)容；及組合從所述可見(jiàn)圖像提取出的所述高空間頻率內(nèi)容和所述頂圖像，以產(chǎn)生組合的圖像，其中用于可見(jiàn)圖像和頂圖像的分辨率大致相同。
2.如前述權(quán)利要求所述的方法，還包括確保用于可見(jiàn)圖像和頂圖像的分辨率是大致相同的。
3.如前面任何一項(xiàng)權(quán)利要求所述的方法，還包括檢查用于可見(jiàn)圖像和頂圖像的分辨率是否大致相同；并且其中，如果用于可見(jiàn)圖像和頂圖像的分辨率不是大致相同的，則改變可見(jiàn)圖像的分辨率和/或頂圖像的分辨率，使得用于可見(jiàn)圖像和頂圖像的分辨率大致相同。
4.如前面任何一項(xiàng)權(quán)利要求所述的方法，還包括改變所述可見(jiàn)圖像的分辨率和所述 IR圖像的分辨率中的至少一個(gè)，使得可見(jiàn)圖像和頂圖像大致具有相同的分辨率。
5.如前面任何一項(xiàng)權(quán)利要求所述的方法，還包括增加采樣所述頂圖像的分辨率到大致所述可見(jiàn)圖像的分辨率和/或減少采樣所述可見(jiàn)圖像的分辨率到大致所述頂圖像的分辨率。
6.如前面任何一項(xiàng)權(quán)利要求所述的方法，還包括將所述可見(jiàn)圖像的分辨率和所述頂圖像的分辨率改變成大致與第三分辨率相同。
7.如前面任何一項(xiàng)權(quán)利要求所述的方法，其中所接收的頂圖像的分辨率是64X64像素或者更小。
8.如前面任何一項(xiàng)權(quán)利要求所述的方法，其中所接收的頂圖像的分辨率是32X32像素或者更小。
9.如前面任何一項(xiàng)權(quán)利要求所述的方法，其中從所述可見(jiàn)圖像提取高空間頻率內(nèi)容是通過(guò)利用至少一個(gè)空間濾波器的高通濾波來(lái)進(jìn)行的。
10.如前面任何一項(xiàng)權(quán)利要求所述的方法，還包括處理所述頂圖像，以減少該頂圖像中的噪聲和/或平滑該頂圖像。
11.如前面任何一項(xiàng)權(quán)利要求所述的方法，還包括在組合之前對(duì)所述頂圖像進(jìn)行低通濾波。
12.如前面任何一項(xiàng)權(quán)利要求所述的方法，還包括在組合之前通過(guò)使用空間濾波器來(lái)對(duì)所述頂圖像進(jìn)行低通濾波。
13.如前面任何一項(xiàng)權(quán)利要求所述的方法，其中組合包括將從所述可見(jiàn)圖像提取出的所述高空間頻率內(nèi)容疊加到所述頂圖像上。
14.如前面任何一項(xiàng)權(quán)利要求所述的方法，其中組合包括將所述頂圖像疊加到從所述可見(jiàn)圖像提取出的所述高空間頻率內(nèi)容上。
15.如前面任何一項(xiàng)權(quán)利要求所述的方法，其中組合還包括將所述可見(jiàn)圖像的亮度分量添加到所述頂圖像。
16.如前面任何一項(xiàng)權(quán)利要求所述的方法，其中組合還包括將乘以一個(gè)因子的所述可見(jiàn)圖像的亮度分量添加到所述頂圖像。
17.如前面任何一項(xiàng)權(quán)利要求所述的方法，其中所述因子是可以基于從來(lái)自用戶的輸入接收的控制參數(shù)變化的。
18.如前面任何一項(xiàng)權(quán)利要求所述的方法，還包括向所述組合圖像添加高分辨率噪聲。
19.如前面任何一項(xiàng)權(quán)利要求所述的方法，還包括對(duì)所述頂圖像和/或?qū)λ鼋M合圖像保持頂調(diào)色板。
20.如前面任何一項(xiàng)權(quán)利要求所述的方法，還包括捕獲場(chǎng)景的可見(jiàn)圖像和頂圖像，并且其中由包括頂圖像捕獲設(shè)備和可見(jiàn)圖像捕獲設(shè)備的成像設(shè)備執(zhí)行如權(quán)利要求1所述的方法。
21.如前面任何一項(xiàng)權(quán)利要求所述的方法，所述方法在適于接收?qǐng)鼍暗目梢?jiàn)圖像和頂圖像的計(jì)算機(jī)中執(zhí)行。
22.一種用于組合頂圖像與可見(jiàn)圖像的非臨時(shí)性計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序代碼部分，所述計(jì)算機(jī)程序代碼部分設(shè)計(jì)成控制數(shù)據(jù)處理系統(tǒng)執(zhí)行以下操作，包括接收?qǐng)鼍暗目梢?jiàn)圖像和紅外線(IR)圖像；從所述可見(jiàn)圖像提取高空間頻率內(nèi)容；以及組合從所述可見(jiàn)圖像提取出的所述高空間頻率內(nèi)容和所述頂圖像，以產(chǎn)生組合的圖像，其中用于可見(jiàn)圖像和頂圖像的分辨率是大致相同的。
23.如前面權(quán)利要求所述的計(jì)算機(jī)程序產(chǎn)品，還包括計(jì)算機(jī)程序代碼部分，所述計(jì)算機(jī)程序代碼部分設(shè)計(jì)成控制數(shù)據(jù)處理系統(tǒng)執(zhí)行如權(quán)利要求2-21任何一項(xiàng)所述的步驟或功能。
24.一種成像設(shè)備，包括可見(jiàn)圖像傳感器，用于捕獲可見(jiàn)圖像；IR圖像傳感器，用于捕獲頂圖像；以及處理單元，適于從所述可見(jiàn)圖像提取高空間頻率內(nèi)容并組合從所述可見(jiàn)圖像提取出的所述高空間頻率內(nèi)容和所述頂圖像，以產(chǎn)生組合的圖像，其中用于可見(jiàn)圖像和頂圖像的分辨率是大致相同的。
25.如前面權(quán)利要求所述的成像設(shè)備，還包括適于執(zhí)行如權(quán)利要求2-21任何一項(xiàng)所述的步驟或功能的處理器。
全文摘要
本公開(kāi)內(nèi)容涉及圖像的組合。根據(jù)一種實(shí)施方式的方法包括接收?qǐng)鼍暗目梢?jiàn)圖像和紅外線(IR)圖像；從所述可見(jiàn)圖像提取高空間頻率內(nèi)容；以及組合從所述可見(jiàn)圖像所提取出的高空間頻率內(nèi)容和所述IR圖像，以產(chǎn)生組合的圖像，其中用于可見(jiàn)圖像和IR圖像的分辨率是大致相同的。
文檔編號(hào)G06T5/50GK102334141SQ201180000582
公開(kāi)日2012年1月25日 申請(qǐng)日期2011年4月21日 優(yōu)先權(quán)日2010年4月23日
發(fā)明者K·斯特蘭德馬爾 申請(qǐng)人:前視紅外系統(tǒng)股份公司