護(hù)校準(zhǔn)或者自校準(zhǔn)的過程中被確定，其中集成了成像系統(tǒng)或者問題系統(tǒng)，或者所述系統(tǒng)被通信地耦合或者被配置以傳輸圖像數(shù)據(jù)至該紅外線裝置和/或從該紅外線裝置中傳輸圖像數(shù)據(jù)。根據(jù)一個(gè)實(shí)施例，失真關(guān)系可通過用戶使用控制部件3被輸入或者改變。
[0326]失真關(guān)系可在紅外線裝置的運(yùn)行過程中被用于與場景、外部參照物或者所使用的不同成像系統(tǒng)之間有關(guān)的校正。如上文所提到的，根據(jù)實(shí)施例失真校正可涉及校正通過一個(gè)成像系統(tǒng)捕捉的圖像，其與通過另一個(gè)成像系統(tǒng)捕捉的圖像做比較，以使彼此相似，或者以校正/處理來自一個(gè)或者多個(gè)成像系統(tǒng)的圖像以與描繪的場景或者外部參照物相似。
[0327]根據(jù)一個(gè)實(shí)施例，失真關(guān)系可被儲(chǔ)發(fā)生存儲(chǔ)器15中、或者在另一個(gè)內(nèi)部存儲(chǔ)器或者外部存儲(chǔ)器中，在運(yùn)行過程中可訪問紅外線裝置I的處理單元2，或者在后續(xù)處理時(shí)訪問外部處理單元。
[0328]坐標(biāo)映射
[0329]在圖4中，說明了使用是真映射或者查找表的失真校正的實(shí)施例。
[0330]在圖4中，提供了失真映射或者查找表(LUT)400，其中捕捉的圖像中的每一個(gè)像素(X，y)的映射，舉例來說被表示為位移(Δχ，Δγ)。根據(jù)實(shí)施例，位移值的精度，例如以小數(shù)為單位，在不同的應(yīng)用中可以是不同的，其取決于質(zhì)量要求和運(yùn)算成本的權(quán)衡。
[0331]位移值(ΛΧ，Δγ)從失真關(guān)系中獲取，取決于包含的成像系統(tǒng)中的光學(xué)器件或者成像系統(tǒng)。如本文所提及的，失真關(guān)系可在包含的一個(gè)或者多個(gè)成像設(shè)備的生產(chǎn)校準(zhǔn)、自校準(zhǔn)或者維護(hù)校準(zhǔn)的過程中被確定。
[0332]根據(jù)一個(gè)實(shí)施例，執(zhí)行失真校正的處理單元在運(yùn)行或者后續(xù)處理過程中計(jì)算每一個(gè)像素的位移值，從而實(shí)時(shí)、或者在運(yùn)行過程中生成失真映射。換句話說，失真映射根據(jù)環(huán)境被計(jì)算用于每一個(gè)像素、或者用于像素的子部分。根據(jù)一個(gè)實(shí)施例，執(zhí)行失真校正的處理單元是現(xiàn)場可編程邏輯門陣列(FPGA)。在運(yùn)行過程中失真映射值或者位移值的計(jì)算要求頻繁的計(jì)算，因而現(xiàn)場可編程邏輯門陣列實(shí)施例中有更大的運(yùn)算塊，但在另一方面，所要求的存儲(chǔ)器訪問的數(shù)量被降低了。要牢記的一方面是如果用于計(jì)算位移值或者失真映射值的方程改變了，現(xiàn)場可編程邏輯門陣列實(shí)施方式要求重編程每一個(gè)現(xiàn)場可編程邏輯門陣列，而相反預(yù)定義失真映射或者查找表(LUT)實(shí)施例僅僅要求產(chǎn)品代碼的自適應(yīng)。
[0333]根據(jù)本文呈現(xiàn)的任意實(shí)施例，失真校正所要求的運(yùn)算量與失真的量成比例增長。舉例來說，相比于如果位移值較小的情況，如果位移值很大且遠(yuǎn)程像素不得不被“取得”用于失真校正，執(zhí)行失真校正的處理單元將不得不具有總是可以訪問它的存儲(chǔ)器的更多像素。
[0334]位移值(Λχ，Δγ)被用以校正表示探測器像素的捕捉的圖像410失真的像素值，可選地通過插值步驟420，至失真校正過的圖像幀430。
[0335]位移值，具有一個(gè)或者多個(gè)小數(shù)而不是整數(shù)和/或步驟420中可選的插值，可被用以降低校正的圖像430中偽像的引入。
[0336]根據(jù)實(shí)施例，所有失真校正方法可包含像素值的插值420，用于像素的至少一個(gè)子集，其待被“替代”以獲取校正的圖像。本領(lǐng)域已知的插值任何合適的類型可被使用，例如最近鄰插值、線性插值、雙線性插值、樣條插值或者多項(xiàng)式插值。根據(jù)一個(gè)實(shí)施例，可使用加權(quán)插值。
[0337]失真校正實(shí)時(shí)計(jì)算
[0338]根據(jù)實(shí)施例，之前部分的失真校正可通過使用實(shí)時(shí)計(jì)算而不是映射來執(zhí)行。根據(jù)這些實(shí)施例，函數(shù)、傳遞函數(shù)、算法或者其他參數(shù)和規(guī)則組是描述在成像系統(tǒng)之間、或者一個(gè)或者多個(gè)成像系統(tǒng)與場景或者另一個(gè)外部參照物之間，舉例來說在生產(chǎn)或者校準(zhǔn)的過程中被確定的失真關(guān)系。據(jù)此，對于待被校正失真的每一個(gè)捕捉的圖像或者圖像對，失真關(guān)系的計(jì)算可被實(shí)時(shí)執(zhí)行。相比于其中使用失真映射或者查找表(LUT)的實(shí)施例，實(shí)時(shí)運(yùn)算方法需求更少的存儲(chǔ)容量，但是在執(zhí)行失真校正的處理單元中需求更多的邏輯。根據(jù)實(shí)施例，處理單元可以是任何類型的處理單元，其結(jié)合圖1中的裝置被描述，舉例來說是一種集成在、連接于或者外設(shè)于紅外線裝置I的一般類型的處理器，或者是一種特別配置的處理器，諸如現(xiàn)場可編程邏輯門陣列(FPGA)。
[0339]正如上文所描述的映射，失真校正功能或者函數(shù)可在紅外線裝置I的設(shè)計(jì)、生產(chǎn)或者校準(zhǔn)中被生成。根據(jù)實(shí)施例，失真映射或者查找表(LUT)被儲(chǔ)發(fā)生存儲(chǔ)器15、集成在紅外線裝置中的現(xiàn)場可編程邏輯門陣列(FPGA)存儲(chǔ)器或者另一個(gè)連接于或者可訪問執(zhí)行失真校正的處理單元的存儲(chǔ)單元中。在運(yùn)行過程中，失真校正參數(shù)的計(jì)算以及根據(jù)計(jì)算值的校正可通過處理單元2、或者通信地耦合至紅外線裝置I的外部處理單元被執(zhí)行。根據(jù)一個(gè)實(shí)施例，處理單元2是現(xiàn)場可編程邏輯門陣列(FPGA)，且失真校正參數(shù)的計(jì)算也是根據(jù)計(jì)算值被現(xiàn)場可編程邏輯門陣列(FPGA)執(zhí)行的校正。
[0340]應(yīng)用程序的使用和使用案例
[0341]本文所呈現(xiàn)的方法實(shí)施例可用于融合準(zhǔn)直；是由于使用不同的成像系統(tǒng)捕捉的圖像是關(guān)于彼此和/或關(guān)于描繪的場景被失真校正。據(jù)此，圖像會(huì)在很大程度上彼此相似。換句話說，通過提供相對于彼此失真校正過的紅外線圖像和可視光圖像，如果圖像被合成，舉例來說如果它們被融合或者混合，會(huì)實(shí)現(xiàn)良好的視覺效果。據(jù)此用戶能夠分析和解釋合成圖像中顯示了什么，甚至合成圖像相比于描繪的實(shí)景仍然具有更多的或者更少的失真。此夕卜，運(yùn)算上花費(fèi)低的失真校正被實(shí)現(xiàn)。據(jù)此，舉例來說，失真校正的現(xiàn)場可編程邏輯門陣列(FPGA)實(shí)施方式和/或?qū)崟r(shí)圖像失真校正和失真校正過的圖像的融合是可行的。根據(jù)實(shí)施例，舉例來說，操作人員可因此使用在手持紅外線攝像頭中的失真校正功能，包括現(xiàn)場可編程邏輯門陣列(FPGA)邏輯或者其他任何合適類型的處理邏輯，并且根據(jù)紅外線攝像頭的幀速率，獲取實(shí)時(shí)更新的、失真校正過的以及融合的或者混合的圖像。
[0342]本文所呈現(xiàn)的方法實(shí)施例可進(jìn)一步地被用于長度或者區(qū)域測量現(xiàn)場支持。根據(jù)一個(gè)示意性的實(shí)施例，紅外線成像系統(tǒng)的操作人員根據(jù)上文所呈現(xiàn)的實(shí)施例可使用紅外線成像系統(tǒng)去調(diào)查建筑表面以便識(shí)別有受潮損壞危險(xiǎn)的區(qū)域。如果操作人員在調(diào)查的表面上找到這樣一個(gè)區(qū)域，即操作人員能夠在紅外線成像設(shè)備的顯示器上看見的，以操作人員知道的方式標(biāo)記的、表示潮濕區(qū)域的區(qū)域，操作人員可能想要找出該區(qū)域有多大。因此，操作人員使用包含在紅外線成像系統(tǒng)中、計(jì)算圖像化的場景的實(shí)際長度或者實(shí)際區(qū)域的測量功能，舉例來說通過計(jì)算考慮且補(bǔ)償失真的視場角，基于獲取的距離和/或視場角，縮放長度或者區(qū)域至顯示器的尺寸，且在顯示器上顯示長度和/或區(qū)域單元。據(jù)此操作人員能夠看見識(shí)別的區(qū)域?qū)嶋H上有多大。該信息，即圖像，還可被儲(chǔ)存用于后續(xù)檢索和分析。由于紅外線成像設(shè)備包括失真校正，長度和/或區(qū)域信息當(dāng)然會(huì)比如果沒有執(zhí)行過校正的情形更加正確。如果沒有執(zhí)行過失真校正，圖像中央受到桶形失真的區(qū)域，舉例來說，相比于圖像中顯示的長度單元和/或區(qū)域單元，本將會(huì)呈現(xiàn)地比它實(shí)際上大小更大，同時(shí)圖像外圍區(qū)域本將會(huì)呈現(xiàn)地比它實(shí)際上更小。
[0343]通過使用本文呈現(xiàn)的失真校正實(shí)施例，結(jié)合圖像化的場景中長度或者區(qū)域的測量，諸如功率/效能信息的計(jì)算和可視化，舉例來說以每平方米瓦特(w/m2)為形式，可結(jié)合顯示的圖像呈現(xiàn)或者結(jié)合捕捉的圖像被儲(chǔ)存。
[0344]進(jìn)一步的實(shí)施例
[0345]根據(jù)一個(gè)實(shí)施例，本文所描述的任何或者所有的方法步驟或者功能可在儲(chǔ)存的圖像數(shù)據(jù)的后續(xù)處理中被執(zhí)行，舉例來說使用個(gè)人計(jì)算機(jī)(PC)或者其他合適的處理單元，處理單元可利用預(yù)設(shè)的失真關(guān)系提供數(shù)據(jù)。
[0346]根據(jù)一個(gè)實(shí)施例，提供了一種計(jì)算機(jī)系統(tǒng)，其具有處理單元，其被配置為執(zhí)行本文公開的任何或者所有方法實(shí)施例的任何步驟或者功能。
[0347]根據(jù)一個(gè)實(shí)施例，提供了一種計(jì)算機(jī)可讀媒介，其上儲(chǔ)存有非臨時(shí)性信息，其被配置為控制處理單元以執(zhí)行本文公開的任何或者所有方法實(shí)施例的任何步驟或者功能。
[0348]根據(jù)一個(gè)實(shí)施例，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括代碼部分，其被配置為控制處理器以執(zhí)行本文公開的任何或者所有方法實(shí)施例的任何步驟或者功能。
[0349]根據(jù)一個(gè)實(shí)施例，提供了計(jì)算機(jī)程序產(chǎn)品，包括配置數(shù)據(jù)，適合于配置現(xiàn)場可編程邏輯門陣列(FPGA)以執(zhí)行本文公開的任何或者所有方法實(shí)施例的任何步驟或者功能。
[0350]根據(jù)一個(gè)實(shí)施例，提供了一種計(jì)算機(jī)系統(tǒng)，其具有處理單元，其被配置為執(zhí)行本文公開的任何或者所有方法實(shí)施例的任何步驟或者功能。
[0351]根據(jù)一個(gè)實(shí)施例，提供了一種計(jì)算機(jī)可讀媒介，其上儲(chǔ)存有非臨時(shí)性信息，其被配置為控制處理單元以執(zhí)行本文公開的任何或者所有方法實(shí)施例的任何步驟或者功能。
[0352]根據(jù)一個(gè)實(shí)施例，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括代碼部分，其誒配置為控制處理單元以執(zhí)行本文公開的任何或者所有方法實(shí)施例的任何步驟或者功能。
[0353]根據(jù)一個(gè)實(shí)施例，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括配置數(shù)據(jù)，適合于配置現(xiàn)場可編程邏輯門陣列(FPGA)以執(zhí)行本文公開的任何或者所有方法實(shí)施例的任何步驟或者功會(huì)K。
[0354]進(jìn)一步的優(yōu)勢
[0355]通過本文所描述的實(shí)施例獲取的突出效果是使用紅外線裝置或者紅外線攝像頭的光學(xué)系統(tǒng)能夠以較低的成本制成，是由于允許存在一些失真。通常地，使用更少的透鏡元件以大大降低生產(chǎn)成本。甚至單透鏡的方案也是可能的。根據(jù)其中光學(xué)元件數(shù)量降低的實(shí)施例，無論在紅外線裝置或者紅外線攝像頭的操作過程中，還是在使用這一紅外線裝置或者紅外線攝像頭捕捉的圖像的后續(xù)處理中，通過根據(jù)本文所描述的實(shí)施例的圖像處理反而可獲取高圖像質(zhì)量。據(jù)此，本文公開的實(shí)施例的進(jìn)一步突出效果是，包含在成像系統(tǒng)中，尤其是紅外線成像系統(tǒng)中，的光學(xué)器件的成本可被降低，同時(shí)維持或者增強(qiáng)了輸出圖像質(zhì)量，或者可選地在不增加光學(xué)器件成本的情況下增強(qiáng)圖像質(zhì)量。
[0356]盡管結(jié)合僅有少數(shù)的實(shí)施例已詳細(xì)描述了本發(fā)明，但是應(yīng)當(dāng)很容易地被理解的是本發(fā)明不限于這些公開的實(shí)施例。相反，本發(fā)明能夠進(jìn)行修改以結(jié)合任何數(shù)量的變形、改型、替代或者迄今為止未描述過的等同布置，但這些修改與本發(fā)明的主旨和范圍相稱。另夕卜，盡管已描述了本發(fā)明的各種實(shí)施例，但是應(yīng)當(dāng)理解的是，本發(fā)明的多方面可以僅包括某些描述了的實(shí)施方式。相應(yīng)地，本發(fā)明不應(yīng)被視作被以上描述所限定，而是僅僅由所附的權(quán)利要求的范圍來限定。
【主權(quán)項(xiàng)】
1.一種用于校正在使用紅外線裝置所捕捉的圖像中呈現(xiàn)的失真的方法，該方法包括: 使用包括在所述紅外線裝置中的第一成像系統(tǒng)來捕捉第一圖像；以及 基于預(yù)設(shè)的失真關(guān)系來校正該第一圖像的圖像失真。
2.如權(quán)利要求1所述的方法，其中，該第一成像系統(tǒng)是紅外線成像系統(tǒng)，并且該第一圖像是使用所述紅外線成像系統(tǒng)捕捉到的。
3.如權(quán)利要求1所述的方法，其中，所述失真關(guān)系表示由所述紅外線裝置的所述第一成像系統(tǒng)所引起的失真。
4.如權(quán)利要求1所述的方法，進(jìn)一步包括使用包括在所述紅外線裝置中的第二成像系統(tǒng)來捕捉第二圖像，其中， 所述失真關(guān)系表示由所述紅外線裝置的所述第一和/或第二成像系統(tǒng)所引起的失真；以及 所述第一圖像的圖像失真的校正包括基于所述預(yù)設(shè)的失真關(guān)系來校正與該第二圖像有關(guān)的圖像失真。
5.如權(quán)利要求4所述的方法，進(jìn)一步包括基于所述預(yù)設(shè)的失真關(guān)系來校正與該第一圖像有關(guān)的該第二圖像的圖像失真。
6.如權(quán)利要求4所述的方法，其中: 該第一成像系統(tǒng)是紅外線成像系統(tǒng)，因此該第一圖像是紅外線圖像，以及該第二成像系統(tǒng)是可見光成像系統(tǒng)，因此該第二圖像是可見光圖像； 該第一成像系統(tǒng)是可見光成像系統(tǒng)，因此該第一圖像是可見光圖像，以及該第二成像系統(tǒng)是紅外線成像系統(tǒng)，因此該第二圖像是紅外線圖像； 該第一和第二成像系統(tǒng)是兩個(gè)不同的紅外線成像系統(tǒng)，以及該第一和第二圖像是分別使用該第一和第二紅外線成像系統(tǒng)捕捉到的紅外線圖像；或者 該第一和第二成像系統(tǒng)是兩個(gè)不同的可見光成像系統(tǒng)，以及該第一和第二圖像是分別使用該第一和第二可見光成像系統(tǒng)捕捉到的可見光圖像。
7.如權(quán)利要求5所述的方法，其中: 該第一成像系統(tǒng)是紅外線成像系統(tǒng)，因此該第一圖像是紅外線圖像，以及該第二成像系統(tǒng)是可見光成像系統(tǒng)，因此該第二圖像是可見光圖像。
8.如權(quán)利要求5所述的方法，其中: 該第一成像系統(tǒng)是可見光成像系統(tǒng)，因此該第一圖像是可見光圖像，以及該第二成像系統(tǒng)是紅外線成像系統(tǒng)，因此該第二圖像是紅外線圖像。
9.如權(quán)利要求5所述的方法，其中: 該第一和該第二成像系統(tǒng)是兩個(gè)不同的紅外線成像系統(tǒng)，以及該第一和第二圖像是分別使用該第一和第二紅外線成像系統(tǒng)捕捉到的紅外線圖像。
10.如權(quán)利要求5所述的方法，其中: 該第一和該第二成像系統(tǒng)是兩個(gè)不同的可見光成像系統(tǒng)，以及該第一和第二圖像是分別使用該第一和第二可見光成像系統(tǒng)捕捉到的可見光圖像。
11.如權(quán)利要求4所述的方法，其中所述預(yù)設(shè)的失真關(guān)系是以失真映射或者查找表的形式表示的。
12.如權(quán)利要求11所述的方法，其中該失真映射或者查找表是基于一個(gè)或者多個(gè)有失真特性的模型。
13.如權(quán)利要求11所述的方法，其中所述失真的校正包括分別在X方向和I方向上的坐標(biāo)的映射。
14.如權(quán)利要求4所述的方法，其中該計(jì)算出的映射關(guān)系至少部分取決于以旋轉(zhuǎn)偏差和/或平移偏差為形式的失真。
15.如權(quán)利要求4所述的方法，進(jìn)一步包括將所述第一和第二圖像結(jié)合成合成圖像。
16.一種紅外線裝置，其被配置為捕捉圖像并且校正在所述圖像中呈現(xiàn)的失真，該裝置包括: 被配置為捕捉圖像的第一成像系統(tǒng)； 被配置為儲(chǔ)存一個(gè)預(yù)設(shè)的失真函數(shù)的存儲(chǔ)器，該失真函數(shù)表示由所述紅外線裝置的所述第一成像系統(tǒng)所引起的失真；以及 被配置為在所述紅外線裝置運(yùn)行時(shí)從所述存儲(chǔ)器中接收或者檢索所述預(yù)設(shè)的失真關(guān)系的處理單元，其中該處理單元進(jìn)一步被配置為在該紅外線裝置運(yùn)行時(shí)使用所述預(yù)設(shè)的失真關(guān)系來校正所述捕捉的圖像的失真。
17.如權(quán)利要求13所述的紅外線裝置，進(jìn)一步包括紅外線攝像頭，并且將該第一成像系統(tǒng)，存儲(chǔ)器以及處理單元中的一個(gè)或者多個(gè)集成到所述紅外線攝像頭中。
18.如權(quán)利要求13所述的紅外線裝置，其中該第一成像系統(tǒng)是紅外線成像系統(tǒng)，以及該第一圖像是使用所述紅外線成像系統(tǒng)捕捉的紅外線圖像。
19.如權(quán)利要求13所述的紅外線裝置，其中所述失真關(guān)系表示由所述紅外線裝置的所述第一成像系統(tǒng)所引起的失真。
20.如權(quán)利要求13所述的紅外線裝置，進(jìn)一步包括被配置為捕捉第二圖像的第二成像系統(tǒng)，其中: 所述失真關(guān)系表示由所述紅外線裝置的所述第一和/或第二成像系統(tǒng)所引起的失真；以及 所述處理單元被配置為基于所述預(yù)設(shè)的失真關(guān)系通過校正與該第二圖像有關(guān)的圖像失真來校正所述第一圖像的圖像失真。
21.如權(quán)利要求17所述的紅外線裝置，其中所述處理單元進(jìn)一步被配置為基于所述預(yù)設(shè)的失真關(guān)系來校正與該第一圖像有關(guān)的第二圖像的圖像失真。
22.如權(quán)利要求13所述的紅外線裝置，其中該處理單元可配置使用硬件描述語言(HDL)。
23.如權(quán)利要求18所述的紅外線裝置，其中該處理單元是現(xiàn)場可編程門陣列(FPGA)。
24.如權(quán)利要求13所述的紅外線裝置，該處理單元進(jìn)一步被配置為執(zhí)行如權(quán)利要求1所述的方法。
25.一種計(jì)算機(jī)系統(tǒng)，其具有適合于執(zhí)行如權(quán)利要求1所述的方法的處理器。
26.一種非臨時(shí)性計(jì)算機(jī)可讀媒介，其上儲(chǔ)存非臨時(shí)性信息，適合于控制處理器來執(zhí)行如權(quán)利要求1所述的方法。
【專利摘要】本發(fā)明公開了一種用于校正使用紅外線裝置捕捉的圖像中呈現(xiàn)的失真的方法、裝置和計(jì)算機(jī)程序產(chǎn)品，用于一個(gè)實(shí)施例的該方法包括：使用包括在所述紅外線裝置中的第一成像系統(tǒng)捕捉第一圖像；以及基于一個(gè)預(yù)設(shè)的失真關(guān)系來校正該第一圖像的圖像失真。根據(jù)實(shí)施例，該方法可進(jìn)一步包括使用包括在所述紅外線裝置中的第二成像系統(tǒng)捕捉第二圖像，其中：所述失真關(guān)系表示由所述紅外線裝置的所述第一和/或第二成像系統(tǒng)所引起的失真；以及所述該第一圖像的圖像失真的校正包括基于所述預(yù)設(shè)的失真關(guān)系來校正與該第二圖像有關(guān)的圖像失真，其中該失真關(guān)系表示由所述第一和/或第二成像系統(tǒng)所引起的失真。
【IPC分類】H04N5-33
【公開號(hào)】CN104662891
【申請?zhí)枴緾N201380038189
【發(fā)明人】凱特琳·斯特蘭德馬爾, 亨里克·約恩松
【申請人】前視紅外系統(tǒng)股份公司
【公開日】2015年5月27日
【申請日】2013年7月16日
【公告號(hào)】EP2873229A1, WO2014012946A1