利用融合的紅外線分辨率與對(duì)比度增強(qiáng)的制作方法
【專利說(shuō)明】利用融合的紅外線分辨率與對(duì)比度増強(qiáng)
[0001]本申請(qǐng)是申請(qǐng)日為2011年4月21日、申請(qǐng)?zhí)枮?01180000582.8、發(fā)明名稱為“利用融合的紅外線分辨率與對(duì)比度增強(qiáng)”的發(fā)明專利申請(qǐng)的分案申請(qǐng)。
技術(shù)領(lǐng)域
[0002]本公開(kāi)內(nèi)容涉及用于改進(jìn)紅外線(“IR”)圖像的方法、成像設(shè)備、軟件與系統(tǒng)。
【背景技術(shù)】
[0003]在圖像處理領(lǐng)域中，包括一個(gè)或多個(gè)物體的場(chǎng)景的IR圖像可以通過(guò)與來(lái)自可見(jiàn)圖像的圖像信息的組合來(lái)增強(qiáng)，所述組合稱為融合。當(dāng)試圖實(shí)現(xiàn)這種組合與增強(qiáng)時(shí)，出現(xiàn)了多個(gè)技術(shù)問(wèn)題。
[0004]一般來(lái)說(shuō)，提供照相機(jī)形式的成像設(shè)備來(lái)捕獲可見(jiàn)圖像和IR圖像并處理這些圖像，使得它們可以一起顯示。在利用來(lái)自IR圖像的IR數(shù)據(jù)識(shí)別物體的溫度變化同時(shí)顯示來(lái)自可見(jiàn)圖像的足夠多的數(shù)據(jù)、從而為使用該成像設(shè)備的用戶簡(jiǎn)化所產(chǎn)生的圖像中物體的取向與識(shí)別的方面，這種組合是有利的。
[0005]由于IR圖像和可見(jiàn)圖像的捕獲可以由成像設(shè)備的不同組件來(lái)執(zhí)行，因此成像部件之間的光軸可能彼此有一定距離，并且造成稱為視差的光學(xué)現(xiàn)象。為了消除這種視差和由于光軸之間的角度所造成的誤差，圖像必須對(duì)準(zhǔn)。
[0006]當(dāng)組合IR圖像與可見(jiàn)圖像時(shí)，有多種不同的方法是已知的。最常用的稱為閾值融合和畫(huà)中畫(huà)融合(picture-1n-picture fus1n) ο
[0007]在用于執(zhí)行圖像的閾值融合的方法中，捕獲相同場(chǎng)景的可見(jiàn)圖像和IR圖像。在IR圖像中，選擇一個(gè)溫度間隔，而且只有對(duì)應(yīng)于所選間隔之內(nèi)溫度的那些圖像像素才被選擇并與來(lái)自所有其它像素的信息數(shù)據(jù)一起顯示。除可以檢測(cè)到所選間隔之內(nèi)溫度的那些區(qū)域之外，所產(chǎn)生的組合圖像顯示可見(jiàn)圖像，并且在這些像素中改為顯示來(lái)自IR圖像的數(shù)據(jù)。例如，當(dāng)要檢測(cè)墻上濕的污點(diǎn)時(shí)，可以使用閾值融合，通過(guò)將溫度閾值設(shè)置成造成該污點(diǎn)的液體溫度附近的間隔來(lái)確定濕度范圍。墻的其它部分將更接近室溫并將在屏幕上顯示為可見(jiàn)數(shù)據(jù)，使得可以確定污點(diǎn)的確切位置。通過(guò)查看墻的紋理，例如壁紙的圖案，可以進(jìn)一步以非常精確的方式確定該污點(diǎn)的位置。
[0008]當(dāng)執(zhí)行畫(huà)中畫(huà)融合時(shí)，捕獲顯示包含一個(gè)或多個(gè)物體的相同場(chǎng)景的可見(jiàn)圖像和IR圖像，并且預(yù)定區(qū)域(通常是方形形式的)內(nèi)的像素是根據(jù)IR圖像顯示的，而組合圖像的其余部分示為可見(jiàn)數(shù)據(jù)。例如，當(dāng)檢測(cè)假定為具有大致相同溫度的一行物體中的偏差時(shí)，方形可以圍繞多個(gè)物體創(chuàng)建并移動(dòng)，直到在正確活動(dòng)物體之外捕獲到出錯(cuò)的物體，而且不同之處也將很容易發(fā)現(xiàn)。通過(guò)在這個(gè)方形之外顯示來(lái)自可見(jiàn)圖像的元素，例如文字或者圖案，具有特定溫度的物體的精確位置可以更加容易和可靠地確定。
[0009]用于閾值融合和畫(huà)中畫(huà)融合的方法全都將組合圖像的選定區(qū)顯示為IR數(shù)據(jù)，而將其余部分示為可見(jiàn)數(shù)據(jù)。這樣做的缺點(diǎn)是，當(dāng)顯示該同一區(qū)域的IR圖像時(shí)，可見(jiàn)圖像中可見(jiàn)的細(xì)節(jié)丟失了。同樣，來(lái)自IR圖像的溫度數(shù)據(jù)不能與由同一區(qū)域的可見(jiàn)圖像所給出的形狀和紋理一起顯示。
[0010]存在一些在同一圖像中混合IR數(shù)據(jù)和可見(jiàn)數(shù)據(jù)的方法。但是，由于來(lái)自IR圖像的溫度數(shù)據(jù)與可見(jiàn)圖像的彩色數(shù)據(jù)混合到了一起，其中所述溫度數(shù)據(jù)顯示為與調(diào)色板不同的顏色或者不同的灰度級(jí)，因此該結(jié)果通常是難以解釋的而且對(duì)于用戶來(lái)說(shuō)是混亂的。因此，例如，不可能辨別紅色物體與熱物體或者藍(lán)色物體與冷物體之間的不同。通常，當(dāng)將IR圖像與可見(jiàn)圖像混合時(shí)，圖像的輻射度量或者其它IR相關(guān)的方面，即來(lái)自調(diào)色板或者灰度級(jí)的顏色的重要性，受到損失。
[0011]因此，需要一起提供包括來(lái)自IR圖像的數(shù)據(jù)和來(lái)自可見(jiàn)圖像的數(shù)據(jù)的組合圖像的改進(jìn)方式。
[0012]相關(guān)技術(shù)
[0013]以下出版物示出了相關(guān)技術(shù)的例子:
[0014]用于對(duì)準(zhǔn)IR圖像與可見(jiàn)光圖像的方法在W02009/008812 Al (Flir Systems AB)中公開(kāi)，其中圖像是基于聚焦電動(dòng)機(jī)的位置對(duì)準(zhǔn)的，該聚焦電動(dòng)機(jī)用于確定到由成像部分捕獲的物體的距離。
[0015]文獻(xiàn)US20020113210 Al公開(kāi)了用于利用近紅外線輻射顯微鏡化學(xué)成像的系統(tǒng)與方法。
[0016]由 Xue Z.等人所寫(xiě)的文獻(xiàn)“Fus1n of Visual and IR Images for ConcealedWeapon Detect1n”示出了用于可見(jiàn)光圖像和IR圖像的圖像融合的方法。
[0017]以上列出的相關(guān)技術(shù)沒(méi)有任何一個(gè)教導(dǎo)了本發(fā)明的特征與創(chuàng)新技術(shù)。

【發(fā)明內(nèi)容】

[0018]本公開(kāi)內(nèi)容的一種或多種實(shí)施方式可以解決或者至少最小化以上提到的問(wèn)題。這是通過(guò)根據(jù)權(quán)利要求所述的方法、成像設(shè)備和/或非暫時(shí)性計(jì)算機(jī)程序產(chǎn)品實(shí)現(xiàn)的，其中IR圖像與可見(jiàn)圖像的高空間頻率內(nèi)容(content)組合到一起，產(chǎn)生組合圖像。組合是通過(guò)可見(jiàn)圖像的高空間頻率內(nèi)容與IR圖像的疊加來(lái)執(zhí)行的，或者可選地將IR圖像疊加到可見(jiàn)圖像的高空間頻率內(nèi)容上。因此，來(lái)自可見(jiàn)圖像的對(duì)比度可以插入到顯示溫度變化的IR圖像中，由此組合兩種圖像類型的優(yōu)點(diǎn)，而不會(huì)損失所產(chǎn)生的圖像的清晰度和可解釋性。
[0019]以下解釋本公開(kāi)內(nèi)容的實(shí)施方式的更具體的方面。
[0020]根據(jù)本發(fā)明實(shí)施方式的方法包括確保要組合的圖像的分辨率大致是相同的，即確?？梢?jiàn)圖像和IR圖像的分辨率大致是相同的。在第一種示例實(shí)施方式中，這可以通過(guò)配置具有IR傳感器和可見(jiàn)圖像傳感器的成像設(shè)備使得IR傳感器和可見(jiàn)圖像傳感器具有大致相同的分辨率來(lái)實(shí)現(xiàn)。在另一種可選實(shí)施方式中，成像傳感器的分辨率事先已知不是大致相同的，例如相差超過(guò)預(yù)定的差異閾值。在又一種可選實(shí)施方式中，如果成像傳感器的分辨率不是事先已知的，則所發(fā)明的方法可以包括檢查所接收到的圖像的分辨率是否大致相同的步驟。檢查可以通過(guò)比較所接收到的圖像的分辨率來(lái)執(zhí)行，其中關(guān)于圖像的分辨率的信息可以從單獨(dú)的成像傳感器獲得，或者可以從所接收到的圖像獲取/基于其計(jì)算。通過(guò)事先對(duì)傳感器分辨率的了解或者通過(guò)分辨率的檢查，如果發(fā)現(xiàn)分辨率不是大致相同的，則確保分辨率大致相同還包括對(duì)所接收到的圖像中的至少一個(gè)進(jìn)行重新采樣。
[0021]由于IR圖像的分辨率通常比可見(jiàn)圖像的分辨率小得多，這是由于IR成像設(shè)備相比于可見(jiàn)成像設(shè)備的屬性造成的，因此IR圖像的分辨率可以增加采樣(up-sample)到大致與可見(jiàn)圖像的分辨率相同。因此，可以實(shí)現(xiàn)提高的細(xì)節(jié)級(jí)別，并且可以呈現(xiàn)給用戶更容易分析的組合圖像。在另一個(gè)例子中，可見(jiàn)圖像可以減少采樣(down-sample)到大致與IR圖像的分辨率相同。
[0022]在進(jìn)一步的例子中，如果合適的話，兩個(gè)圖像可以采樣為符合第三分辨率。兩個(gè)圖像最初可以具有大致相同的分辨率，或者圖像的分辨率可以不同。但是在重新采樣到符合第三分辨率之后，兩個(gè)圖像將具有大致相同的分辨率。這使得圖像可以方便且合適的方式被組合，而不管它們要如何顯示。在一個(gè)例子中，第三分辨率可以是要顯示組合圖像的顯示屏幕的分辨率。
[0023]此外，可以優(yōu)選地執(zhí)行可見(jiàn)圖像中高空間頻率內(nèi)容的提取和IR圖像的去噪聲和/或模糊。一般來(lái)說(shuō)，這是通過(guò)使用跨圖像一個(gè)像素一個(gè)像素移動(dòng)的空間濾波器對(duì)可見(jiàn)圖像進(jìn)行高通濾波和對(duì)IR圖像進(jìn)行低通濾波來(lái)實(shí)現(xiàn)的。對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)，很顯然其它眾所周知的圖像處理方法也可以用于得到相同的結(jié)果。作為對(duì)IR圖像執(zhí)行濾波的結(jié)果，與原始的IR圖像相比，IR圖像可以變得平滑和/或包含減少數(shù)量的噪聲。此外，從可見(jiàn)圖像提取出的高空間頻率內(nèi)容包含關(guān)于可見(jiàn)圖像中大對(duì)比度的信息，即，關(guān)于例如物體輪廓的尖銳邊緣位于可見(jiàn)圖像中什么位置的信息。對(duì)IR圖像執(zhí)行濾波的步驟是可選的。即使沒(méi)有對(duì)IR圖像的濾波，用于本發(fā)明實(shí)施方式的方法也對(duì)向用戶示出的所產(chǎn)生的圖像給出了有益的效果，并且用戶將能夠清楚地辨別場(chǎng)景中的一個(gè)或多個(gè)物體及與成像場(chǎng)景關(guān)聯(lián)的溫度信息。但是，由于原始IR圖像中可見(jiàn)的尖銳邊緣和噪聲在濾波過(guò)程中被除去或者至少減少了，因此所產(chǎn)生的圖像的可見(jiàn)性可以通過(guò)對(duì)IR圖像的濾波進(jìn)一步提高，而且組合圖像中在IR圖像和可見(jiàn)圖像未對(duì)準(zhǔn)的地方顯示雙邊緣的危險(xiǎn)也減小了。
[0024]除了高通濾波，用于提取圖像中高空間頻率內(nèi)容的方法的例子還可以包括提取描繪相同場(chǎng)景的兩個(gè)圖像之間的差異(通常稱為差異圖像)，其中第一個(gè)圖像是在一個(gè)