實(shí)施方式】
[0073]介紹
[0074]下文呈現(xiàn)了用于失真校正的方法、紅外線裝置、紅外線攝像頭和計(jì)算機(jī)可讀媒介的實(shí)施例。
[0075]圖像失真也簡(jiǎn)稱為失真
[0076]當(dāng)通過成像系統(tǒng)捕捉圖像時(shí)，以圖像失真或者失真為形式的各種錯(cuò)誤或者偏差可能存在，例如，會(huì)導(dǎo)致與在圖像中捕捉的同一個(gè)物體的表示相關(guān)的觀察者實(shí)景中的物體的銳度的失真。舉個(gè)例子，在場(chǎng)景中的直線并不會(huì)在圖像中依然筆直。各種類型的圖像失真存在但不限于諸如桶形失真、枕形失真、胡子失真或者復(fù)雜圖像失真、視差指向誤差、視差距離誤差、分辨率誤差或者視差旋轉(zhuǎn)誤差。
[0077]圖像失真還可能涉及在通過第一成像系統(tǒng)捕捉的第一圖像和通過第二成像系統(tǒng)捕捉的第二圖像之間所觀察到的實(shí)景中的物體表示的不同。
[0078]由于這樣的一個(gè)事實(shí)，不同于第二成像系統(tǒng)是怎么圍繞它的第二光軸旋轉(zhuǎn)的，第一成像系統(tǒng)可能圍繞它的第一光軸旋轉(zhuǎn)，旋轉(zhuǎn)失真可能存在例如角度α的引入，旋轉(zhuǎn)失真還可被稱為視差旋轉(zhuǎn)誤差、徑向失真或者旋轉(zhuǎn)失真/偏移，它們?cè)诒疚闹锌商鎿Q使用。由于每一個(gè)成像系統(tǒng)都有一個(gè)視場(chǎng)角(FOV)，視場(chǎng)角就是在任何給定時(shí)刻都能看見的可觀察到的世界的程度，第一和第二成像系統(tǒng)的視場(chǎng)角可不同。由于這樣的一個(gè)事實(shí)，第一成像系統(tǒng)可被定位從而它的第一光軸關(guān)于第二成像系統(tǒng)第二光軸被平移，例如被相隔一定距離固定，引入平移圖像失真被引入，還可被稱為視差距離誤差，它們?cè)诒疚闹锌商鎿Q使用。由于這樣的一個(gè)事實(shí)，第一成像系統(tǒng)可被定位從而它的第一光軸與第二成像系統(tǒng)第二光軸不平行，指向誤差圖像失真可能被引入，還可被稱為視差指向誤差，它們?cè)诒疚闹锌商鎿Q使用。
[0079]由于第一成像系統(tǒng)的像素分辨率值，即圖像傳感器中的原件的數(shù)量，與第二成像系統(tǒng)的像素分辨率值可能在第一和第二捕捉的圖像之間的關(guān)系方面有所不同，這會(huì)導(dǎo)致圖像失真的另一種形式，還可被稱為分辨率誤差。
[0080]系統(tǒng)架構(gòu)
[0081]圖1示出了紅外線裝置/紅外線攝像頭或者熱成像裝置I的示意圖，包括一個(gè)或者多個(gè)紅外線(IR)成像系統(tǒng)11，每一個(gè)都具有一個(gè)紅外線傳感器20，例如，任何類型的多像素紅外線探測(cè)器，諸如焦平面陣列，用于捕捉紅外線圖像數(shù)據(jù)，例如靜止圖像數(shù)據(jù)和/或視頻數(shù)據(jù)，表示圖像化的觀察到的實(shí)景。在一個(gè)或者多個(gè)實(shí)施例中，一個(gè)或者多個(gè)紅外線成像系統(tǒng)11的一個(gè)或者多個(gè)紅外線傳感器20提供將捕捉的圖像數(shù)據(jù)表示為，例如轉(zhuǎn)換為，數(shù)字?jǐn)?shù)據(jù)，例如經(jīng)由包含在作為紅外線傳感器20的一部分或者與紅外線傳感器20分離作為紅外線裝置I的一部分的模數(shù)轉(zhuǎn)換器(analog-to-digital converter)。
[0082]根據(jù)實(shí)施例，紅外線裝置I可進(jìn)一步包括一個(gè)或者多個(gè)可見光/可視光(VL)成像系統(tǒng)12，每一個(gè)都具有一個(gè)可見光(VL)傳感器16，例如任何類型的多像素可視光探測(cè)器，用于捕捉可視光圖像數(shù)據(jù)，例如靜止圖像數(shù)據(jù)和/或視頻數(shù)據(jù)，表示圖像化的觀察到的實(shí)景。在一個(gè)或者多個(gè)實(shí)施例中，一個(gè)或者多個(gè)可見光成像系統(tǒng)12的一個(gè)或者多個(gè)可視光傳感器16提供將捕捉的圖像數(shù)據(jù)表示為，例如轉(zhuǎn)換為，數(shù)字?jǐn)?shù)據(jù)，例如通過包含在作為紅外線傳感器20的一部分或者與紅外線傳感器20分離作為紅外線裝置I的一部分的模數(shù)轉(zhuǎn)換器(analog-to-digital converter)。
[0083]為了說明的目的，圖1中示出了包括一個(gè)紅外線成像系統(tǒng)11和一個(gè)可見光成像系統(tǒng)12的裝置。
[0084]在一個(gè)或者多個(gè)實(shí)施例中，紅外線成像系統(tǒng)I可表示紅外線成像設(shè)備，諸如紅外線攝像頭，以捕捉和處理實(shí)景的圖像，諸如連續(xù)的圖像幀或者視頻圖像幀。
[0085]在一個(gè)或者多個(gè)實(shí)施例中，紅外線裝置I可包括任何類型的紅外線攝像頭或者紅外線成像系統(tǒng)，被配置為探測(cè)紅外線輻射或者提供表示數(shù)據(jù)和信息，舉例來說是場(chǎng)景的紅外線圖像數(shù)據(jù)或者場(chǎng)景的溫度相關(guān)紅外線圖像數(shù)據(jù)，表示為不同的色彩值、任何其他適合的、能提供視覺上可解釋的圖像的表示的灰度值。
[0086]在一個(gè)示意性的實(shí)施例中，裝置I可表示為一個(gè)紅外線攝像頭，指向近紅外、中紅外和/或遠(yuǎn)紅外光譜。
[0087]在一個(gè)或者多個(gè)實(shí)施例中，裝置1、或紅外線攝像頭，可進(jìn)一步包括可見光(VL)攝像頭或者可見光成像系統(tǒng)，適合于探測(cè)可見光輻射以及提供表示數(shù)據(jù)和信息，舉例來說如場(chǎng)景的可見光圖像數(shù)據(jù)。在一個(gè)或者多個(gè)實(shí)施例中，裝置1、或紅外線攝像頭，可包括便攜式的、或者手持的設(shè)備。
[0088]在下文中，術(shù)語紅外線裝置可參考物理上分離但耦合的單元的系統(tǒng)，紅外線成像設(shè)備或者攝像頭，其中集成了所有單元，或者系統(tǒng)或者設(shè)備，其中下文描述的一些單元集成在一個(gè)設(shè)備中并且剩余的單元被耦合至集成的設(shè)備中或者被配置為用于將數(shù)據(jù)傳輸至該集成設(shè)備以及從該集成設(shè)備中傳輸數(shù)據(jù)。
[0089]根據(jù)實(shí)施例，紅外線裝置I進(jìn)一步包括至少一個(gè)存儲(chǔ)器15，或者被通信地耦合到至少一個(gè)外部存儲(chǔ)器(在圖中未示出)。
[0090]在一個(gè)或者多個(gè)實(shí)施例中，根據(jù)實(shí)施例，紅外線裝置可包括控制部件3和/或顯示器4/顯示部件4。
[0091]在一個(gè)或者多個(gè)實(shí)施例中，控制部件3包括用戶輸入和/或接口設(shè)備，諸如可旋轉(zhuǎn)的旋鈕，例如電位器、按鍵、滑桿、鍵盤、軟鍵、觸控功能、交互式顯示器、控制桿和/或錄音/下壓按鈕。在一個(gè)或者多個(gè)實(shí)施例中，控制部件3適合于生成用戶輸入控制信號(hào)。
[0092]在一個(gè)或者多個(gè)實(shí)施例中，在響應(yīng)輸入指令和/或用戶輸入控制信號(hào)時(shí)，處理器2控制熱成像裝置I的不同部分的功能。
[0093]在一個(gè)或者多個(gè)實(shí)施例中，處理單元2、或者外部處理單元，可適合于通過該控制部件3檢測(cè)來自用戶的控制輸入信號(hào)并且響應(yīng)接收到的來自用戶的任何檢測(cè)到的用戶輸入控制信號(hào)。
[0094]在一個(gè)或者多個(gè)實(shí)施例中，處理單元2，或者外部處理單元，根據(jù)一個(gè)或者多個(gè)可被本領(lǐng)域技術(shù)人員理解的方式，可適合于解釋這種用戶輸入控制信號(hào)的值。
[0095]在一個(gè)實(shí)施例中，控制部件3可包括用戶輸入控制單元，例如，具有用戶輸入部件的有線或者無線手持控制單元，諸如按鍵、軟鍵或者其他合適的能使用戶輸入的部件，適合于與用戶配合并接收用戶輸入、確定用戶輸入控制值并發(fā)送控制單元信號(hào)至控制部件以觸發(fā)控制部件生成用戶輸入控制信號(hào)。
[0096]在一個(gè)或者多個(gè)實(shí)施例中，包括在控制部件3中的控制單元的用戶輸入部件可被用于控制紅外線裝置I的各種功能，諸如自動(dòng)對(duì)焦、菜單實(shí)現(xiàn)和選擇、視場(chǎng)角(FOV)跟蹤功能、調(diào)平(level)、空間生成(span)、噪聲濾波、高通濾波、低通濾波、融合(fus1n)、溫度測(cè)量功能、失真校正設(shè)定、旋轉(zhuǎn)校正設(shè)定和/或各種其他本領(lǐng)域技術(shù)人員理解的特征。
[0097]在一個(gè)或者多個(gè)實(shí)施例中，一個(gè)或者多個(gè)用戶輸入部件可被用于提供用戶輸入值，例如調(diào)整參數(shù)，諸如被選為包括邊緣信息、特性等等用于圖像穩(wěn)定算法(imagestabilizat1n algorithm)的像素的期望百分比。
[0098]在一個(gè)示意性的實(shí)施例中，一個(gè)或者多個(gè)用戶輸入部件可被用于調(diào)節(jié)通過紅外線裝置I捕捉的和/或處理的紅外線圖像中的，低通和/或高通濾波特性，和/或用于邊緣探測(cè)的閾值。
[0099]根據(jù)一個(gè)實(shí)施例，“視場(chǎng)角跟蹤”功能，或者換句話說匹配對(duì)應(yīng)可見光圖像視場(chǎng)角的紅外線圖像的視場(chǎng)角，是可被開啟和關(guān)閉的模式。開啟和關(guān)閉視場(chǎng)角跟蹤模式，基于熱成像裝置的設(shè)定可被自動(dòng)執(zhí)行，或者通過用戶與一個(gè)或者多個(gè)輸入設(shè)備互動(dòng)被手動(dòng)執(zhí)行。
[0100]在一個(gè)或者多個(gè)實(shí)施例中，至少一個(gè)第一和第二圖像，例如可見光圖像和/或紅外線圖像，被處理從而可見光圖像表示的視場(chǎng)角基本上對(duì)應(yīng)紅外線圖像表示的視場(chǎng)角。在一個(gè)或者多個(gè)實(shí)施例中，處理至少一個(gè)第一和第二圖像包括以下運(yùn)算的選擇:至少一個(gè)圖像或者至少一個(gè)圖像的部分的裁剪；窗口化；縮放；移位；以及旋轉(zhuǎn)。
[0101]圖8a示出了一個(gè)實(shí)例，對(duì)于可見光成像系統(tǒng)820，不用視場(chǎng)角跟蹤功能捕捉的視圖是怎樣的，對(duì)于紅外線成像系統(tǒng)830，不用視場(chǎng)角跟蹤功能捕捉的視圖是怎樣的。圖8a還示出了捕捉到的完全被紅外線成像系統(tǒng)視場(chǎng)角以及可見光成像系統(tǒng)視場(chǎng)角包圍的實(shí)景的視圖的不意性的子集840。另外圖8a不出了觀察到的實(shí)景810。
[0102]圖Sb示出了一個(gè)實(shí)例，當(dāng)視場(chǎng)角跟蹤功能被激活時(shí)，經(jīng)處理的第一圖像，例如紅外線圖像，經(jīng)處理的第二圖像，例如可見光圖像，是如何描繪或者表示捕捉到的視圖的基本上相同的子集
[0103]在一個(gè)或者多個(gè)實(shí)施例中，顯示部件4包括圖像顯示設(shè)備，例如液晶顯示器(IXD)，或者各種其他類型的已知的視頻顯示器或者監(jiān)視器。處理單元2、或者外部處理單元，可適合于在顯示器4上顯示圖像數(shù)據(jù)和信息。處理單元2、或者外部處理單元，可適合于從存儲(chǔ)單元15、或者外部存儲(chǔ)部件中檢索圖像數(shù)據(jù)和信息，并且在顯示器4上顯示任何檢索到的圖像數(shù)據(jù)和信息。
[0104]在一個(gè)或者多個(gè)實(shí)施例中，顯示器4可包括顯示電子設(shè)備，其可被處理單元2、或者外部處理單元所利用，以顯示圖像數(shù)據(jù)和信息，舉例來說，紅外線(IR)圖像、可見光(VL)圖像或者關(guān)聯(lián)的紅外線(IR)圖像數(shù)據(jù)和可見光(VL)圖像數(shù)據(jù)的合成圖像，例如以合成圖像，諸如融合的、混合的或者畫中畫圖像的形式。圖9示出了一個(gè)示意性的實(shí)施例。
[0105]在一個(gè)或者多個(gè)實(shí)施例中，顯示部件4可適合于經(jīng)由處理單元2、或者外部處理單元直接從成像系統(tǒng)11、12接收?qǐng)D像數(shù)據(jù)和信息，或者可經(jīng)由處理單元2、或者外部處理單元從存儲(chǔ)器15、或者外部存儲(chǔ)部件傳輸圖像數(shù)據(jù)和信息。
[0106]在圖7中示出了控制部件3的示意性的實(shí)施例，包括具有用戶輸入部件的用戶輸入控制單元?？刂撇考?包括交互式顯示器770，諸如觸屏、圖像顯示器部位760、以及使用戶能夠進(jìn)行輸入的輸入部件710-750。
[0107]根據(jù)一個(gè)實(shí)施例，輸入設(shè)備包括控制器，使用戶能夠執(zhí)行的功能:
[0108]-選擇失真校正目標(biāo)模式710，諸如與觀察到的實(shí)景相關(guān)的或者與關(guān)于彼此準(zhǔn)直的第一和第二圖像相關(guān)的校正失真。
[0109]-基于失真關(guān)系選擇失真校正的失真校正操作模式720，諸如校正第一圖像的失真，校正第二圖像的失真，基于第二圖像校正第一圖像的失真或者基于第一圖像校正第二圖像的失真。
[0110]-激活730或者不激活“視場(chǎng)角跟蹤”功能，即關(guān)聯(lián)的紅外線圖像表示的視場(chǎng)角與關(guān)聯(lián)的可見光圖像的視場(chǎng)角的匹配。
[0111]-選擇740以獲取/或者顯示圖像，諸如關(guān)聯(lián)的紅外線圖像、關(guān)聯(lián)的可見光圖像或者基于關(guān)聯(lián)的紅外線圖像和關(guān)聯(lián)的可見光圖像的合成圖像。這在圖9中被進(jìn)一步詳細(xì)描述，示出了交互式顯示器970 (以與顯示器770類似的方式實(shí)施)和圖像顯示器部位960 (以與圖像顯示器部位760類似的方式實(shí)施)，顯示可見光圖像910、紅外線圖像920、或者取決于選擇740的合成可見光/紅外線圖像930。
[0112]-儲(chǔ)存或者保存圖像750至存儲(chǔ)器(15)或者從存儲(chǔ)器中檢索圖像。
[0113]根據(jù)不同的實(shí)施例，紅外線裝置I的所有部分，如本文所描述的，可被包括在、夕卜設(shè)于但被通信地耦合到或者被集成在熱成像裝置/設(shè)備中，諸如例如紅外線攝像頭。
[0114]在一個(gè)或者多個(gè)實(shí)施例中，紅外線圖像的捕捉通過包括在紅外線裝置I中的至少一個(gè)紅外線成像系統(tǒng)11被執(zhí)行。
[0115]在一個(gè)或者多個(gè)實(shí)施例中，可視光圖像還通過包括在紅外線裝置I中的至少一個(gè)可見光成像系統(tǒng)12被捕捉。
[0116]在一個(gè)或者多個(gè)實(shí)施例中，捕捉的一個(gè)或者多個(gè)圖像可被傳送/發(fā)送至包括在紅外線裝置I中、被配置為執(zhí)行圖像處理運(yùn)算的處理單元2。
[0117]在一個(gè)或者多個(gè)實(shí)施例中，捕捉的圖像還可被直接傳輸或者與中間物一起被傳輸，儲(chǔ)存至與成像設(shè)備分開或者在成像設(shè)備外部的處理單元(未在圖片中示出)。
[0118]在一個(gè)或者多個(gè)實(shí)施例中，熱成像裝置I中的處理單元2或者分開的處理單元可被提供或者可包括特別設(shè)計(jì)的程序代碼段或者代碼部分，適合于控制處理單元以執(zhí)行本文所描述的發(fā)明方法的實(shí)施例的步驟和功能。
[0119]在一個(gè)或者多個(gè)實(shí)施例中，處理單元2和/或外部處理單元可以是處理器，諸如一般的或者專用的處理引擎，舉例來說，微處理器、微控制器或者其他控制邏輯，包括代碼段或者代碼部分，適合于控制處理單元和/或外部處理單元以執(zhí)行本文所描述的發(fā)明方法的實(shí)施例的步驟和功能，其中所述代碼段或代碼部分被儲(chǔ)存在計(jì)算機(jī)可讀存儲(chǔ)媒介中。
[0120]在一個(gè)或者多個(gè)實(shí)施例中，所述代碼段固定用于執(zhí)行某一任務(wù)/功能。在一個(gè)或者多個(gè)實(shí)施例中，所述代碼段是在使用時(shí)可變的、被儲(chǔ)存在計(jì)算機(jī)可讀儲(chǔ)存媒介上可變代碼段的其他區(qū)段。
[0121]在一個(gè)或者多個(gè)實(shí)施例中，所述可變代碼段可包括被用作處理單元2和/或外部處理單元，諸如本領(lǐng)域技術(shù)人員可理解的紅外線裝置I的校準(zhǔn)、用于圖像的空間濾波的采樣率或者濾波器、失真校正的操作模式、失真關(guān)系、或者其他紅外線裝置功能，的各種任務(wù)/功能的參數(shù)。
[0122]在一個(gè)或者多個(gè)實(shí)施例中，超過一個(gè)處理單元可被集成在、被耦合到或者被配置為傳輸數(shù)據(jù)至紅外線裝置I或者從紅外線裝置I傳輸數(shù)據(jù)。
[0123]在一個(gè)或者多個(gè)實(shí)施例中，處理單元2和/或外部處理單元被配置為處理來自一個(gè)或者多個(gè)描述觀察到的實(shí)景的紅外線(IR)傳感器20的紅外線圖像數(shù)據(jù)。
[0124]在一個(gè)或者多個(gè)實(shí)施例中，處理單元2和/或外部處理單元被配置為執(zhí)行任何或者所有本文所公開的方法步驟或功能。
[0125]在一個(gè)或者多個(gè)實(shí)施例中，提供了被配置為捕捉圖像并且校準(zhǔn)所述圖像中呈現(xiàn)的失真的紅外線(IR)裝置1，其中該裝置包括:第一成像系統(tǒng)，其被配置為捕捉第一圖像；存儲(chǔ)器，15或8，其被配置為儲(chǔ)存預(yù)設(shè)的失真關(guān)系，例如預(yù)設(shè)的函數(shù)，表示由所述第一圖像中的所述紅外線裝置的所述第一成像系統(tǒng)所引起的失真；以及處理單元2，其被配置為接收或者檢索所述紅外線裝置的操作過程中來自所述存儲(chǔ)器的所述預(yù)設(shè)的失真關(guān)系，其中處理單元進(jìn)一步被配置為使用所述預(yù)設(shè)的失真關(guān)系以校正紅外線裝置的操作過程中所述捕捉到的第一圖像的失真。
[0126]在一個(gè)或者多個(gè)實(shí)施例中，所述預(yù)設(shè)的失真關(guān)系是預(yù)先計(jì)算并且被儲(chǔ)存在存儲(chǔ)器中的。
[0127]在一個(gè)或者多個(gè)實(shí)施例中，所述預(yù)設(shè)的失真關(guān)系是通過所述處理單元2被動(dòng)態(tài)地計(jì)算出來并且在預(yù)設(shè)的時(shí)間間隔內(nèi)被儲(chǔ)存在存儲(chǔ)器15中。
[0128]在一個(gè)典型的實(shí)施例中，當(dāng)被儲(chǔ)存在存儲(chǔ)器中、與圖像相關(guān)的測(cè)量比較的參數(shù)超過預(yù)設(shè)的閾值或者先于每一個(gè)失真校正時(shí)，預(yù)設(shè)的失真關(guān)系是在紅外線裝置I的啟動(dòng)階段被動(dòng)態(tài)地計(jì)算出來的。
[0129]根據(jù)一個(gè)實(shí)施例，預(yù)設(shè)的失真關(guān)系表示由所述第一圖像中的所述紅外線裝置的第一成像系統(tǒng)所引起的失真。
[0130]根據(jù)一個(gè)實(shí)施例，紅外線(IR)裝置I可包括紅外線攝像頭，以及第一成像系統(tǒng)，存儲(chǔ)器和處理單元中的一個(gè)或者多個(gè)，并且被集成在所述紅外線攝像頭中。
[0131]根據(jù)一個(gè)實(shí)施例，第一成像系統(tǒng)是紅外線成像系統(tǒng)，并且第一圖像是使用所述紅外線成像系統(tǒng)捕捉的紅外線圖像。
[0132]根據(jù)一個(gè)實(shí)施例，紅外線裝置進(jìn)一步包括第二成像系統(tǒng)，被配置為捕捉第二圖像。
[0133]在一個(gè)或者多個(gè)實(shí)施例中，所述失真關(guān)系表示由所述紅外線裝置的所述第一和/或第二成像系統(tǒng)所引起的失真；并且所述處理單元被配置為基于所述預(yù)設(shè)的失真關(guān)系通過校正與第二圖像有關(guān)的圖像失真來校正第一圖像的所述圖像失真。
[0134]在一個(gè)或者多個(gè)實(shí)施例中，所述預(yù)設(shè)的失真關(guān)系表示由所述第一圖像中所述第一成像系統(tǒng)所引起的失真，由所述第二圖像中所述第二成像系統(tǒng)所引起的失真，由所述第一圖像中所述第一成像系統(tǒng)所引起的失真和由所述第二圖像中所述第二成像系統(tǒng)所引起的失真之間的關(guān)系；并且所述處理單元2被配置為基于所述預(yù)設(shè)的失真關(guān)系來校正圖像失真。
[0135]在一個(gè)或者多個(gè)實(shí)施例中，所述處理單元2被配置為基于所述預(yù)設(shè)的失真關(guān)系來校正與觀察到的實(shí)景有關(guān)的第一圖像中的圖像失真。在一個(gè)或者多個(gè)實(shí)施例中，所述處理單元2被配置為基于所述預(yù)設(shè)的失真關(guān)系來校正與第二圖像有關(guān)的第一圖像中圖像失真。在一個(gè)或者多個(gè)實(shí)施例中，所述處理單元2被配置為基于所述預(yù)設(shè)的失真關(guān)系來校正與觀察到的實(shí)景有關(guān)的第二圖像中的圖像失真。在一個(gè)或者多個(gè)實(shí)施例中，其中所述處理單元2被配置為基于所述預(yù)設(shè)的失真關(guān)系來校正與第一圖像有關(guān)的第二圖像中的圖像失真。
[0136]在一個(gè)或者多個(gè)實(shí)施例中，由所述第一圖像中所述第一成像系統(tǒng)所引起的失真和由所述第二圖像中所述第二成像系統(tǒng)所引起的失真之間的所述關(guān)系通過所述第一成像系