用于投影紅外線輻射的可見表示的方法和系統(tǒng)的制作方法
【專利摘要】一種通過利用包括紅外線(IR)成像系統(tǒng)(18)、可見光成像系統(tǒng)(14)和可見光投影系統(tǒng)(22)的熱成像布置(10)，將基于從觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射的紅外線(IR)輻射信息以及附加信息的可見表示呈現(xiàn)在所述觀察的現(xiàn)實世界場景上，使得能夠?qū)λ鲇^察的現(xiàn)實世界場景進(jìn)行更容易的解釋和分析的方法。
【專利說明】用于投影紅外線輻射的可見表示的方法和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明一般而言涉及使得能夠?qū)τ^察的現(xiàn)實世界場景進(jìn)行更容易的解釋和分析的方法和系統(tǒng)。
[0002]更具體而言，本發(fā)明涉及通過把可見光投影到觀察的現(xiàn)實世界場景上來使得能夠?qū)τ^察的現(xiàn)實世界進(jìn)行更容易的解釋和分析，其中可見光包括從觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射的可見表示以及附加信息的可見表示。
[0003]此外，本發(fā)明涉及把所述可見光投影到觀察的現(xiàn)實世界場景上的方法和系統(tǒng)，其中投影的可見光與從現(xiàn)實世界場景發(fā)射的IR輻射對準(zhǔn)并且其中投影的可見光包括基于來自觀察的現(xiàn)實世界場景的紅外線(IR)輻射的紅外線(IR)輻射信息的表示。

【背景技術(shù)】
[0004]在紅外線(IR)成像或熱成像的場中，常見的是利用IR成像系統(tǒng)，也稱為熱成像布置，例如以IR相機(jī)的形式，捕捉從觀察的現(xiàn)實世界場景發(fā)射的IR輻射，并且把IR輻射信息處理成通常在系統(tǒng)的顯示器上向用戶示出的可見光圖像。
[0005]與此相關(guān)的問題是成像系統(tǒng)的用戶難以區(qū)分并分析什么在顯示器上示出，因為代表IR輻射信息的圖像常常具有低分辨率并且顯示單元通常相當(dāng)小。
[0006]IR成像系統(tǒng)的用戶可以選擇保存一個或多個圖像并且把它們傳送到另一單元，諸如計算機(jī)，用于隨后顯示。以這種方式，這一個或多個圖像可以在更大的顯示器上呈現(xiàn)。但是，這導(dǎo)致從IR輻射被檢測到的時刻到檢測到的信息向用戶呈現(xiàn)的時刻的延遲，。換句話說，檢測到的信息的分析不能在現(xiàn)場執(zhí)行。此外，用戶難以回顧性地把顯示在計算機(jī)上的信息關(guān)聯(lián)到IR輻射檢測已經(jīng)執(zhí)行的觀察的現(xiàn)實世界場景。
[0007]在IR相機(jī)的典型用例中，操作人員會想通過檢測對象的不同點或部分的溫度來分析觀察的現(xiàn)實世界場景中一個或多個對象或表面的特點。操作人員捕捉IR圖像，然后比較觀察的現(xiàn)實世界場景的IR圖像與人眼察覺到的觀察的現(xiàn)實世界場景。在這個過程中，操作人員必須通過比較在通常小的IR相機(jī)顯示器上顯示的內(nèi)容與觀察的現(xiàn)實世界場景來把圖像信息翻譯或解釋成現(xiàn)實，以便理解顯示器上的圖像信息如何關(guān)聯(lián)到觀察的現(xiàn)實世界場景，其中會存在必然的努力、錯誤源和延遲。
[0008]有些相關(guān)技術(shù)通過提供IR檢測器或IR相機(jī)和可見光投影儀的組合來解決這些問題，使得更大的可見圖像能夠在現(xiàn)場顯示，例如，該可見圖像投影到觀察的現(xiàn)實世界場景的平表面上。這種相關(guān)技術(shù)設(shè)計成依賴于IR輻射生成可見光圖像并且把IR輻射的可見解釋直接投影到觀察的場景上。由此使得有可能與觀察的現(xiàn)實世界場景更緊密關(guān)聯(lián)地使用IR輻射信息。
[0009]隨著技術(shù)發(fā)展以及更小構(gòu)造部件可以獲得，小尺寸投影設(shè)備的生產(chǎn)變得日益普通。因此，這種“小型化”投影儀可以例如結(jié)合手持式設(shè)備，諸如具有成像能力或成像系統(tǒng)的移動通信設(shè)備，使用。這種發(fā)展也使得生產(chǎn)具有投影儀的手持式IR相機(jī)更可行。但是，在相關(guān)技術(shù)中，仍然需要開發(fā)用于集成IR相機(jī)和投影機(jī)的方法。
[0010]由于IR圖像形式的IR信息的捕捉以及作為IR圖像可見表示的可見圖像的投影是由不同且物理上分離的部件執(zhí)行的，因此部件的光軸通常彼此有一定距離并且稱為視差誤差的光學(xué)現(xiàn)象將發(fā)生。為了補(bǔ)償視差誤差，圖像必須對準(zhǔn)。按照慣例，對準(zhǔn)是通過成像系統(tǒng)中的光學(xué)元件，例如對焦透鏡或分束器，的調(diào)節(jié)來實現(xiàn)的。利用成像系統(tǒng)中光學(xué)或其它物理元件的對準(zhǔn)需要成像系統(tǒng)中的空間并且會難以適合。此外，成像系統(tǒng)中附加或經(jīng)過特別改裝的元件的包括造成更高的生產(chǎn)成本。
[0011]相關(guān)技術(shù)的例子
[0012]公開IR檢測器和可見光投影儀的結(jié)合的相關(guān)技術(shù)的例子在以下文檔中找到。
[0013]授予Cannamela的專利公開US 2008/0224041 Al公開了用于觀察的現(xiàn)實世界場景上的表面下異常檢測和圖像投影的方法和裝置。根據(jù)該公開內(nèi)容的各方面，該方法包括利用檢測器確定在觀察的現(xiàn)實世界場景中表面之后一個位置的表面下異常的存在并且生成代表該異常的信號表示。該信號被發(fā)送到投影儀、轉(zhuǎn)換成該異常的可見表示并且投影到該表面上的其中該表面下異常在其后面存在的該表面上的位置處。
[0014]授予Qinetiq的專利公開US 7，579，592 B2公開了照明和成像系統(tǒng)及方法。根據(jù)該公開內(nèi)容的各方面，熱手電筒包括IR相機(jī)和可見光發(fā)射器，布置成利用可見光照亮熱對象。IR信息轉(zhuǎn)換成可見光并且可見光投影到觀察的現(xiàn)實世界場景上。這個文檔公開了利用分束器進(jìn)行對準(zhǔn)的解決方案。
[0015]公開視差補(bǔ)償和/或圖像對準(zhǔn)的相關(guān)技術(shù)的例子在以下文檔中找到。
[0016]在相機(jī)顯示器登記可見光相機(jī)模塊和紅外線相機(jī)模塊的獨(dú)立視場的方法和裝置在授予Johnson等人的文檔US 2006/0289772 Al中找到。US 2006/0289772 Al的登記需要諸如霍爾效應(yīng)傳感器的傳感器。該文檔只公開了顯示在數(shù)字顯示器上的圖像之間的對準(zhǔn)，并且沒有公開投影設(shè)備的使用。
[0017]文檔EP 2107799 Al FLIR Systems AB公開了具有分別用于記錄IR圖像和可見圖像的兩個光學(xué)系統(tǒng)以及激光指示器的IR相機(jī)。與可見圖像和IR圖像之間的位移相關(guān)的一個或多個參數(shù)用來確定IR圖像中激光點相對于可見圖像中檢測到的位置的位移。該公開內(nèi)容的目的是通過在數(shù)字顯示器上顯示的圖像的對準(zhǔn)來確定激光點在紅外線圖像中的位置，并且沒有公開投影設(shè)備的使用。
[0018]仍然需要使得能夠在熱成像布置使用期間，優(yōu)選地在現(xiàn)場或者實況地，對觀察的現(xiàn)實世界場景進(jìn)行更容易的解釋和分析并且把附加信息關(guān)聯(lián)到觀察的現(xiàn)實世界場景。
[0019]發(fā)明目的
[0020]本發(fā)明的目標(biāo)是使得熱成像布置的用戶能夠?qū)τ^察的現(xiàn)實世界場景進(jìn)行更容易的解釋和分析。
[0021]本發(fā)明的更多目標(biāo)是解決以下部分問題:
[0022]-如何在熱成像布置的使用期間優(yōu)選地在現(xiàn)場或者實況地提供對觀察的現(xiàn)實世界場景的更容易的解釋和分析。
[0023]-如何幫助用戶把附加信息關(guān)聯(lián)到觀察的現(xiàn)實世界場景。
[0024]本發(fā)明的一種或多種實施例解決或至少最小化以上提到的問題。


【發(fā)明內(nèi)容】

[0025]根據(jù)實施例，本發(fā)明增強(qiáng)了用戶使用組合的IR成像設(shè)備和投影儀的體驗。
[0026]根據(jù)一種或多種實施例，本發(fā)明利用組合的IR成像設(shè)備和投影儀方便用戶對投影信息的更容易的分析的解釋。
[0027]根據(jù)一種或多種實施例，本發(fā)明通過利用包括紅外線(IR)成像系統(tǒng)(18)、可見光成像系統(tǒng)(14)和可見光投影系統(tǒng)的熱成像布置(10)，將基于從現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射的紅外線(IR)輻射信息以及附加信息的可見表示呈現(xiàn)到所述觀察的現(xiàn)實世界場景上，來方便對所述觀察的現(xiàn)實世界場景的更容易的解釋和分析。
[0028]此外，根據(jù)本文所述實施例的本發(fā)明提供了在熱成像布置使用期間優(yōu)選地在現(xiàn)場或者實況地對觀察的現(xiàn)實世界場景進(jìn)行更容易的解釋和分析。
[0029]此外，根據(jù)本文所述實施例的本發(fā)明將幫助用戶把附加信息關(guān)聯(lián)到觀察的現(xiàn)實世界場景。
[0030]本公開內(nèi)容的一種或多種實施例解決或至少最小化以上提到的問題。
[0031]根據(jù)本發(fā)明的一方面，提供了把可見表示投影到觀察的現(xiàn)實世界場景上的方法和熱成像布置，其中投影的可見表示包括基于從觀察的現(xiàn)實世界場景發(fā)射紅外線(IR)輻射的IR信息的可見表示，并且其被與檢測到的從觀察的現(xiàn)實世界場景發(fā)射的IR輻射對準(zhǔn)地投影到觀察的現(xiàn)實世界場景上，由此例如增強(qiáng)或突出在觀察的現(xiàn)實世界場景中存在的信息，和/或幫助用戶把投影的信息關(guān)聯(lián)到觀察的現(xiàn)實世界場景。根據(jù)本發(fā)明的實施例，投影的可見表示還包括附加信息的可見表示，作為更多信息，其通過使得能夠?qū)τ^察的現(xiàn)實世界場景進(jìn)行更容易的解釋和分析來進(jìn)一步增強(qiáng)用戶體驗。附加信息可以關(guān)聯(lián)到觀察的現(xiàn)實世界場景或者其周圍，或者它可以示出例如幫助用戶就面積、尺寸、距離等解釋觀察的現(xiàn)實世界場景的與測量相關(guān)的信息或其它信息。
[0032]根據(jù)另一種實施例，本發(fā)明提供了可見表示的投影，其被與檢測到的從該可見表示借助可見光被投影到的一個或多個觀察的現(xiàn)實世界對象或觀察的現(xiàn)實世界場景發(fā)射的IR輻射正確地對準(zhǔn)。
[0033]根據(jù)實施例，本發(fā)明提供了可見表示的投影，可見表示包括投影到觀察的現(xiàn)實世界場景中一個或多個對象上的附加信息。根據(jù)實施例，附加信息按比例投影到觀察的現(xiàn)實世界場景上，由此進(jìn)一步幫助用戶把附加信息關(guān)聯(lián)到觀察的現(xiàn)實世界場景。
[0034]根據(jù)本發(fā)明的一方面，提供了一種通過利用包括紅外線(IR)成像系統(tǒng)、可見光成像系統(tǒng)和可見光投影系統(tǒng)的熱成像布置，將基于從現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射的紅外線(IR)輻射信息以及附加信息的可見表示與檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射對準(zhǔn)地呈現(xiàn)在在所述觀察的現(xiàn)實世界場景上而使得能夠?qū)λ鲇^察的現(xiàn)實世界場景進(jìn)行更容易的解釋和分析的方法，該方法包括:檢測從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射作為紅外線(IR)輻射信息或者更具體而言是基于檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射來捕捉紅外線(IR)輻射信息；創(chuàng)建所述檢測到的紅外線(IR)輻射信息的可見表示；把所述檢測到的紅外線(IR)輻射信息的所述可見表示對準(zhǔn)到檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射；依賴于從預(yù)定源接收的信號，創(chuàng)建附加信息的可見表示；創(chuàng)建組合的紅外線(IR)圖像，該組合的紅外線(IR)圖像包括所述檢測到的紅外線(IR)信息的所述對準(zhǔn)的可見表示和附加信息的所述可見表示；并且通過把所述組合的紅外線(IR)圖像投影到所述觀察的現(xiàn)實世界場景上來呈現(xiàn)它，其中包括在所述紅外線(IR)圖像中的檢測到的紅外線(IR)信息的所述可見表示被與檢測到的從觀察的現(xiàn)實世界場景發(fā)射的IR輻射對準(zhǔn)地投影。
[0035]根據(jù)本發(fā)明的另一方面，提供了一種通過將基于從現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射的紅外線(IR)輻射信息以及附加信息的可見表示與檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的IR輻射對準(zhǔn)地呈現(xiàn)在觀察的現(xiàn)實世界場景上來使能能夠?qū)λ鲇^察的現(xiàn)實世界場景進(jìn)行更容易的解釋和分析的熱成像布置，其中包括在所述紅外線組合(IR)圖像中的紅外線(IR)輻射信息的可見表示與從觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射對準(zhǔn)地投影，該布置包括:紅外線(IR)成像系統(tǒng)，用于根據(jù)第一視場檢測從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射；可見光投影系統(tǒng)，適于根據(jù)第二視場把可見光投影到所述觀察的現(xiàn)實世界場景上，其中第二視場至少部分地重疊第一視場；可見光成像系統(tǒng)，適于根據(jù)第三視場捕捉所述觀察的現(xiàn)實世界場景的可見光圖像，其中第三視場至少部分地重疊第一和/或第二視場；處理器，適于:
[0036]-創(chuàng)建所述檢測到的紅外線(IR)輻射信息的可見表示；
[0037]-把所述檢測到的紅外線(IR)輻射信息的所述可見表示對準(zhǔn)到檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射；
[0038]-依賴于從預(yù)定源接收的信號，創(chuàng)建附加信息的可見表示；及
[0039]-創(chuàng)建組合的紅外線(IR)圖像，包括所述檢測到的紅外線(IR)輻射信息的所述對準(zhǔn)的可見表示和附加信息的所述可見表示；
[0040]其中所述可見光投影系統(tǒng)22還適于:
[0041]-通過把所述組合的紅外線(IR)圖像投影到所述觀察的現(xiàn)實世界場景上來呈現(xiàn)它，其中包括在該紅外線(IR)圖像中的檢測到的紅外線(IR)輻射信息的可見表示與檢測到的從觀察到的現(xiàn)實世界場景發(fā)射的IR輻射對準(zhǔn)地投影。
[0042]根據(jù)本發(fā)明的其它方面，提供了其上存儲適于控制處理器執(zhí)行本文所述任何方法步驟或功能的非暫時性信息的計算機(jī)可讀介質(zhì)；或者包括適于控制處理器執(zhí)行本文所述任何方法步驟或功能的代碼部分和/或適于配置現(xiàn)場可編程門陣列(FPGA)執(zhí)行本文所述任何方法步驟或功能的配置數(shù)據(jù)的計算機(jī)程序產(chǎn)品。
[0043]本發(fā)明的范圍是由通過參考結(jié)合到該概述當(dāng)中的權(quán)利要求定義的。通過考慮以下一種或多種實施例的詳細(xì)描述，對本發(fā)明實施例的更完整理解及其附加優(yōu)點的實現(xiàn)將提供給本領(lǐng)域技術(shù)人員。將參考首先簡要描述的附圖。

【專利附圖】

【附圖說明】
[0044]以下參考附圖通過示例實施例進(jìn)一步描述本發(fā)明，其中:
[0045]圖1A-1C示出了根據(jù)本發(fā)明不同示例性實施例的熱成像布置的示意圖。
[0046]圖2示出了根據(jù)本發(fā)明實施例、與觀察的現(xiàn)實世界場景相關(guān)的熱成像布置的三個光學(xué)系統(tǒng)的布置的示意圖。
[0047]圖3A根據(jù)由本發(fā)明實施例使其成為可能的示例性用例示出了用在與可見光投影儀的光軸不正交的表面上的IR成像系統(tǒng)的光學(xué)系統(tǒng)的示意圖。
[0048]圖3B根據(jù)由本發(fā)明實施例使其成為可能的另一個示例性用例示出了用在不平表面上的熱成像布置的光學(xué)系統(tǒng)的示意圖。
[0049]圖3C示出了一個示例性實施例，其中熱成像布置的投影儀的光軸OA斜著落到觀察的現(xiàn)實世界場景中的表面上。
[0050]圖4A是根據(jù)實施例示出生產(chǎn)期間校準(zhǔn)的框圖。
[0051]圖4B是根據(jù)實施例示出自校準(zhǔn)的框圖。
[0052]圖5是根據(jù)本發(fā)明的實施例、執(zhí)行投影圖像到檢測到的IR輻射信息的對準(zhǔn)的方法的流程圖。
[0053]圖6是根據(jù)實施例示出操作期間調(diào)節(jié)的框圖。
[0054]圖7是根據(jù)實施例的不同模式的示意性概述。
[0055]圖8是根據(jù)實施例示出校準(zhǔn)的熱成像布置的操作的框圖。
[0056]圖9是示出方法實施例的流程圖。
[0057]圖1Oa示出了根據(jù)本發(fā)明第一種實施例的IR信息和附加信息的投影。
[0058]圖1Ob示出了根據(jù)本發(fā)明第二種實施例的IR信息和附加信息的投影。

【具體實施方式】
[0059]介紹
[0060]因此，本發(fā)明的實施例涉及用于IR(紅外線)成像，也稱為熱成像，的解決方案，其中，代替或者除就像具有IR成像布置，或熱成像布置，的常見情況那樣的顯示器布置上的間接視圖之外，基于從場景發(fā)射的紅外線(IR)輻射的紅外線(IR)輻射信息的可見表示以及附加信息的可見表示，利用可見表示的投影疊加到觀察的現(xiàn)實世界場景上，該疊加是實時地或者實況地(近乎實時地)，即，從紅外線(IR)輻射信息的檢測到紅外線(IR)輻射信息的可見表示到所述觀察的現(xiàn)實世界場景上的投影有很短延遲。這意味著用戶可以使用他或她自己的正常視覺來觀察現(xiàn)實世界場景，其中投影到觀察的現(xiàn)實世界場景上的可見表示使得用戶更容易解釋和/或分析所觀察的現(xiàn)實世界場景。例如，投影的可見表示可以突出觀察的現(xiàn)實世界場景中感興趣的對象或區(qū)域。根據(jù)實施例，附加信息按比例投影到觀察的現(xiàn)實世界場景上，由此進(jìn)一步幫助用戶把附加信息關(guān)聯(lián)到觀察的現(xiàn)實世界場景。
[0061]根據(jù)實施例，關(guān)聯(lián)到觀察的現(xiàn)實世界場景的附加信息是作為預(yù)定信息接收的、從集成在熱成像布置中或耦合到其的傳感器接收的、從熱成像布置10中或耦合到其的測量設(shè)備接收的、從熱成像布置中的存儲器接收的、從集成在熱成像布置10中或耦合到其的圖形用戶接口(GUI)接收或者從熱成像布置中的處理器接收的。
[0062]根據(jù)實施例，取得從熱成像布置10到觀察的現(xiàn)實世界場景的距離值z。根據(jù)實施例，把附加信息按比例投影到觀察的現(xiàn)實世界場景上涉及基于取得的從熱成像布置到觀察的現(xiàn)實世界場景的距離值z把適配后的附加信息投影到觀察的現(xiàn)實世界場景上。根據(jù)實施例，取得從熱成像布置10到觀察的現(xiàn)實世界場景的距離值z。根據(jù)實施例，取得的距離值z是預(yù)定的、從存儲器取得、通過利用與已知參數(shù)和/或使熱成像布置能夠進(jìn)行取得的參數(shù)的關(guān)系，諸如聯(lián)系圖2-8中給出的等式2的關(guān)系，進(jìn)行計算取得或者通過使用集成在熱成像布置中或耦合到其的距離傳感器取得。
[0063]在實施例中，從熱成像布置10到觀察的現(xiàn)實世界場景的多個距離值z是以聯(lián)系圖2-8所述的方式取得的。
[0064]在實施例中，投影到觀察的現(xiàn)實世界場景上的附加信息的一部分的長度或面積是基于取得的距離值Z來計算的。
[0065]根據(jù)實施例，把附加信息按比例投影到觀察的現(xiàn)實世界場景上涉及依賴于取得的距離z或者計算出的至少一個距離和/或面積把附加信息的可見表示按比例投影到觀察的現(xiàn)實世界場景上。
[0066]根據(jù)實施例，把附加信息按比例投影到觀察的現(xiàn)實世界場景上涉及投影作為附加信息的相對長度/面積信息，以幫助用戶把場景的不同部分或其中存在的對象的尺寸/面積/距離彼此關(guān)聯(lián)。在一個非限制性例子中，相對長度信息是標(biāo)尺的形式。在一個非限制性例子中，相對面積信息是幫助網(wǎng)格或網(wǎng)格線的形式。在一個非限制性例子中，相對長度/面積信息是基于取得的從熱成像布置到觀察的現(xiàn)實世界場景的距離來確定的。
[0067]根據(jù)實施例，把附加信息按比例投影到觀察的現(xiàn)實世界場景上涉及投影作為附加信息的朝向信息，以幫助用戶把場景的不同部分或其中存在的對象的朝向彼此關(guān)聯(lián)。在一個非限制性例子中，朝向信息指示水平和/或垂直朝向，例如是從集成在熱成像布置中或耦合到其的陀螺儀獲得的。在一個非限制性例子中，朝向信息是以掛線水平儀、酒精水平儀或氣泡水平儀或者在本領(lǐng)域中用來指示觀察的現(xiàn)實世界場景中對象的朝向是水平(level)還是垂直的任何其它指示器的形式。
[0068]根據(jù)實施例，把附加信息按比例投影到觀察的現(xiàn)實世界場景上涉及投影作為附加信息的文本信息。在一個非限制性例子中，文本信息是以本領(lǐng)域中已知的方式從傳感器獲得的溫度值、從傳感器獲得的濕度值或者從檢測到的IR輻射信息獲得的等級(level)。文本信息可以作為數(shù)值或區(qū)間或者作為將幫助用戶解釋或分析觀察的場景的任何其它合適的可見表示包括在投影到觀察的場景上的IR圖像中。
[0069]根據(jù)實施例，把附加信息按比例投影到觀察的現(xiàn)實世界場景上涉及投影作為附加信息的圖形信息。在一個非限制性例子中，圖形信息包括略圖、繪圖或者關(guān)于觀察的現(xiàn)實世界場景的任何圖形信息。
[0070]根據(jù)本發(fā)明的實施例，提供了通過把組合的紅外線(IR)圖像投影到所述觀察的現(xiàn)實世界場景上來呈現(xiàn)其的方法和布置，其中組合的紅外線(IR)圖像包括所述檢測到的紅外線(IR)輻射信息的所述對準(zhǔn)的可見表示和附加信息的所述可見表示，其中，利用如圖1A、1B和IC中所示的包括IR成像系統(tǒng)18、可見光成像系統(tǒng)14和可見光投影系統(tǒng)22的熱成像布置10，包括在所述紅外線組合(IR)圖像中的檢測到的紅外線(IR)輻射信息的所述可見表示與所述檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的IR輻射對準(zhǔn)地投影。
[0071]根據(jù)實施例，IR成像系統(tǒng)18適于根據(jù)第一視場檢測從觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射。
[0072]根據(jù)實施例，處理器13適于把由紅外線(IR)成像系統(tǒng)18檢測到的紅外線(IR)輻射信息變換成可見表示，由此創(chuàng)建紅外線(IR)圖像。以這種方式，檢測到的紅外線(IR)信息的可見表示被創(chuàng)建。
[0073]對準(zhǔn)
[0074]根據(jù)一種或多種實施例，熱成像布置包括可見光成像系統(tǒng)14，并且其中對準(zhǔn)包括例如如下使用所述可見光成像系統(tǒng)。
[0075]根據(jù)實施例，可見光投影系統(tǒng)22適于根據(jù)第二視場把可見光圖案投影到觀察的現(xiàn)實世界場景上，其中第二視場至少部分地重疊第一視場。
[0076]根據(jù)實施例，可見光成像系統(tǒng)14適于根據(jù)第三視場捕捉觀察的現(xiàn)實世界場景的可見光圖像，包括所述投影的可見光圖案，其中第三視場至少部分地重疊第一和/或第二視場。
[0077]根據(jù)實施例，處理器13還適于在所述捕捉到的可見光圖像中檢測所述投影的可見光圖案；確定可見光圖像中在投影的可見光圖案像素坐標(biāo)和與可見光圖像中的像素坐標(biāo)之間以像素為單位的像素位移d(pix vis)，其中如果可見光成像系統(tǒng)和可見光投影系統(tǒng)對準(zhǔn)，則投影的可見光將出現(xiàn)；基于投影的可見光圖案和可見光圖像之間的像素位移d(pix vis)，確定IR圖像和可見光圖像之間的像素位移d(pix IE);并且基于所述像素位移d(pix IK)，把所述檢測到的紅外線(IR)輻射的所述可見光表示，也稱為紅外線(IR)圖像，對準(zhǔn)到檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射；通過根據(jù)第二視場把所述對準(zhǔn)的紅外線(IR)圖像與檢測到的從觀察的現(xiàn)實世界場景發(fā)射的IR輻射對準(zhǔn)地投影到所述現(xiàn)實世界場景上來呈現(xiàn)它。
[0078]根據(jù)實施例，處理器13還適于取得從IR熱成像布置10到觀察的現(xiàn)實世界場景的距離ζ。根據(jù)更多實施例，處理器13適于基于取得的距離ζ來確定檢測到的投影的可見光圖案和可見光圖像之間的像素位移d(pix vis);和/或基于檢測到的投影的可見光和可見光圖像之間的像素位移d(pix vis)以及取得的距離ζ來確定IR圖像和可見光圖像之間的像素位移
d(pix IR)。
[0079]根據(jù)實施例，可見光投影系統(tǒng)(22)還適于通過與檢測到的從觀察的現(xiàn)實世界場景發(fā)射的IR輻射對準(zhǔn)地把檢測到的紅外線(IR)輻射的對準(zhǔn)的可見表示，換句話說是IR圖像，投影到所述觀察的現(xiàn)實世界場景上來呈現(xiàn)它。
[0080]根據(jù)實施例，IR輻射信息的可見表示與從觀察的現(xiàn)實世界場景發(fā)射的IR輻射對準(zhǔn)地呈現(xiàn)。
[0081]呈現(xiàn)方法的實施例在以下聯(lián)系圖5進(jìn)一步描述。
[0082]適用于這個目的的布置包括三個光學(xué)系統(tǒng)，S卩，IR成像系統(tǒng)、可見光成像系統(tǒng)和可見光投影系統(tǒng)。在不同的實施例中，這三個光學(xué)系統(tǒng)或者組裝成一個集成的熱成像布置，或者設(shè)計成具有作為獨(dú)立部件的投影儀。在投影儀是獨(dú)立部件的情況下，它可以適于可分離地附連到包括其它光學(xué)系統(tǒng)的組件或外罩或者適于與其它光學(xué)系統(tǒng)物理地分開操作。
[0083]熱成像布置的所有部件/單元都，例如，通過直接連接、有線連接和/或無線連接通信f禹合。
[0084]熱成像布置的光學(xué)系統(tǒng)通常具有不同的視場(FOV)。為了實現(xiàn)根據(jù)本發(fā)明的對準(zhǔn)，熱成像布置的光學(xué)系統(tǒng)必須放置成使得每個光學(xué)系統(tǒng)的FOV至少部分地與另兩個光學(xué)系統(tǒng)的FOV重疊。
[0085]由于熱成像布置的光學(xué)系統(tǒng)不具有相同的光軸，因此視差誤差將發(fā)生。為了補(bǔ)償視差誤差，圖像必須對準(zhǔn)。
[0086]在執(zhí)行根據(jù)本發(fā)明的對準(zhǔn)所需的計算中使用的有些信息可以在相機(jī)的校準(zhǔn)過程中確定，如以下更詳細(xì)地描述的。
[0087]集成設(shè)備實施例
[0088]圖1A示出了根據(jù)本發(fā)明第一種實施例的系統(tǒng)的示例圖，其中集成的熱成像布置10包括三個光學(xué)系統(tǒng)14、18和22。根據(jù)實施例，光學(xué)系統(tǒng)14、18、22包括在組件12中。前兩個光學(xué)系統(tǒng)是包括用于光的可見頻譜的可見光傳感器陣列16的可見光成像系統(tǒng)14，和包括用于光的紅外線頻譜的IR傳感器陣列20的IR成像系統(tǒng)18。組件12中包括的第三個光學(xué)系統(tǒng)是可見光投影系統(tǒng)22或者有可能是適于投影諸如紫外線的(UV)通常不可見波長區(qū)域的光的光投影系統(tǒng)。根據(jù)這種實施例，三個光學(xué)系統(tǒng)14、18和22具有固定的安裝，在各自的光軸OA1、OA3、OA2之間具有已知的相對距離和角度，如通過作為一種對準(zhǔn)的校準(zhǔn)確定的，例如在熱成像布置的生產(chǎn)過程中執(zhí)行的。熱成像布置10的光學(xué)系統(tǒng)安裝成使得每個光學(xué)系統(tǒng)的FOV至少部分地分別與另兩個光學(xué)系統(tǒng)的FOV重疊，如在圖2所示的實施例中說明的。
[0089]可分離附連部件實施例
[0090]圖1B示出了根據(jù)本發(fā)明第二種實施例的系統(tǒng)的示意圖，其中熱成像布置10包括三個光學(xué)系統(tǒng)14、18和22。兩個成像系統(tǒng)14、18具有固定的安裝，在各自的光軸0A1、0A3 (Cf圖2)之間具有已知的相對距離和角度，如通過校準(zhǔn)/對準(zhǔn)確定的，例如在熱成像布置的生產(chǎn)過程中執(zhí)行的。根據(jù)實施例，可見光成像系統(tǒng)14和IR成像系統(tǒng)18包括在組件12中。根據(jù)這種實施例，投影系統(tǒng)22是適于通過附連特征25A和25B可分離附連到熱成像布置10的獨(dú)立部件。附連特征25A在投影系統(tǒng)22上提供并且適于安裝(fit)到在熱成像布置10上提供的對應(yīng)附連特征25B。根據(jù)實施例，在附連時，投影系統(tǒng)22經(jīng)以下進(jìn)一步解釋的通信接口 21和對應(yīng)的通信接口 27通信耦合到熱成像布置10的處理器13。根據(jù)不同的實施例，通信接口 21可以集成在投影系統(tǒng)22或附連特征25A任何一個當(dāng)中、在其中實現(xiàn)或者耦合到其，而通信接口 27可以集成在成像系統(tǒng)14或18、組件12、處理器13或附連特征25B任何一個當(dāng)中、在其中實現(xiàn)或者耦合到其。
[0091]根據(jù)實施例，當(dāng)附連特征25A、25B彼此附連時，可見光投影系統(tǒng)22將定位成關(guān)于IR成像系統(tǒng)18和可見光成像系統(tǒng)14分別具有某個距離和角度。根據(jù)實施例，附連特征25A、25B可以包括錐形工具插入其中的插座、插孔，和/或通過以下的選擇彼此附連:通過螺紋，其中特征25A、25B之一擰到另一個當(dāng)中，通過把特征25A、25B之一安裝(fit)、扣或按到另一個當(dāng)中，通過使用磁力，或者通過使用任何其它合適類型的緊固或附連機(jī)制。附連特征放置并設(shè)計成使得在每次附連特征彼此附連時一邊的可見光頭像系統(tǒng)22與另一邊的IR成像系統(tǒng)18和可見光成像系統(tǒng)14之間的所述距離和角度將基本上相同，具有最小的錯誤邊際。通過確保在熱成像布置的生產(chǎn)期間組合光學(xué)系統(tǒng)的放置基本上在每次IR成像被使用時都相同，可見光投影系統(tǒng)22與可見光成像系統(tǒng)14和IR成像系統(tǒng)18之間的視差誤差，諸如視差距離和定點誤差，分別可以從生產(chǎn)得知、在生產(chǎn)過程中校準(zhǔn)/對準(zhǔn)，或者在使用過程中近似。
[0092]當(dāng)部件附連時，熱成像布置10的光學(xué)系統(tǒng)，這里是系統(tǒng)14、18、22，定位成使得每個光學(xué)系統(tǒng)的FOV都至少部分地與另兩個光學(xué)系統(tǒng)的FOV重疊，如圖2中示例的。
[0093]獨(dú)立部件實施例
[0094]圖1C示出了根據(jù)本發(fā)明第三種實施例的系統(tǒng)的示意圖，其中熱成像布置10包括三個光學(xué)系統(tǒng)14、18、22。兩個成像系統(tǒng)14、18具有固定的安裝，在各自的光軸之間具有已知的相對距離和角度，如從生產(chǎn)得知或者在生產(chǎn)過程中校準(zhǔn)的。根據(jù)實施例，可見光成像系統(tǒng)14和IR成像系統(tǒng)18包括在組件12中。根據(jù)這種實施例，投影系統(tǒng)22是適于在操作期間與熱成像布置10的其它部件物理地分開放置并且有可能處于遠(yuǎn)處的獨(dú)立部件。投影系統(tǒng)22經(jīng)以下進(jìn)一步解釋的通信接口 21通信耦合到處理器13。
[0095]在根據(jù)這第三種實施例的操作中，投影系統(tǒng)22應(yīng)當(dāng)放置成使得其FOV至少部分地與IR成像系統(tǒng)和可見光成像系統(tǒng)的FOV重疊。為了實現(xiàn)或幫助實現(xiàn)至少部分重疊的F0V，投影儀可以適于投影可見光的預(yù)定指導(dǎo)投影，例如，以諸如圖案的可識別特征的形式，以便引導(dǎo)用戶把投影系統(tǒng)22放在把其投影FOV投到用戶要觀察的現(xiàn)實世界場景或?qū)ο笊系倪@種位置。
[0096]更多的系統(tǒng)體系架構(gòu)細(xì)節(jié)
[0097]參考圖1A-1C中所示的全部實施例，根據(jù)實施例，成像系統(tǒng)14、18包括一個或多個透鏡、用于調(diào)節(jié)透鏡的控制設(shè)備、適于捕捉來自觀察的現(xiàn)實世界場景的進(jìn)入輻射并耦合到一個或多個處理器13的傳感器16、20，其中處理器13具有適于處理從傳感器16、20接收到的圖像數(shù)據(jù)并且控制系統(tǒng)不同部件的功能的處理特征。可選地，熱成像布置10包括耦合到處理器13并適于顯示圖像數(shù)據(jù)的顯示器23?？蛇x地，熱成像布置10包括配置為向用戶顯示信息并獲得用戶輸入信息的圖形用戶接口(GUI)。
[0098]根據(jù)不同的實施例，包括或不包括可見光投影系統(tǒng)22的熱成像布置10可以是手持式的，適于固定安裝，例如為了監(jiān)督目的或維護(hù)調(diào)查，或者適于在使用期間安裝在架子上。
[0099]根據(jù)實施例，熱成像布置10還包括用于存儲由熱成像布置10登記或處理的數(shù)據(jù)的存儲器15，以及用于輸入命令和/或控制信號的一個或多個控制設(shè)備19的選擇，例如，交互式顯示器、操縱桿和/或記錄/下壓按鈕，以及至少一個圖形接口 21，例如，有線或無線連接、IRDA、藍(lán)牙、USB、FireWire等。響應(yīng)于輸入命令和/或控制信號，處理器13控制熱成像布置10的不同部分的功能。
[0100]根據(jù)不同的實施例，投影系統(tǒng)22可以包括投影儀29，例如，以激光投影儀、液晶顯示器(LCD)投影儀、數(shù)字光處理(DLP)投影儀或本領(lǐng)域已知的任何其它合適類型的投影儀的形式。
[0101]激光投影儀在許多應(yīng)用中都會是合適的，因為激光投影儀通常具有高景深，由此圖像或數(shù)據(jù)到任何種類投影表面上的投影都可以進(jìn)行。通常，其銳度、顏色空間和對比度高于其它投影技術(shù)例如LCD或DLP投影儀的銳度、顏色空間和對比度。
[0102]熱成像布置10還可以包括本領(lǐng)域中本身已知的激光指示器，在圖中沒有示出。這種激光指示器可以在本發(fā)明性概念中用來例如投影可見光。根據(jù)實施例，可見光可以作為形式為受限圖案(limited pattern)的可識別特征來投影，該受限圖案包括投影系統(tǒng)的視場，下文中也表示為F0VpMj，中所包括的全部或部分像素。
[0103]聯(lián)系圖2-8，以下描述視差補(bǔ)償、校準(zhǔn)和對準(zhǔn)的實施例。
[0104]使得能夠?qū)τ^察的現(xiàn)實世界場景進(jìn)行更容易的解釋和分析的方法實施例
[0105]根據(jù)本發(fā)明的實施例，
[0106]通過利用包括紅外線(IR)成像系統(tǒng)18、可見光成像系統(tǒng)14和可見光投影系統(tǒng)22的熱成像布置10，基于從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射在所述觀察的現(xiàn)實世界場景上呈現(xiàn)紅外線(IR)輻射信息的可見表示來提供使得能夠?qū)τ^察的現(xiàn)實世界場景進(jìn)行更容易的解釋和分析的方法。
[0107]根據(jù)圖9中所示的實施例，該方法可以包括:
[0108]步驟900:檢測從觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射作為紅外線(IR)輻射信息或者更具體而言是基于檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射來捕捉紅外線(IR)輻射信息。
[0109]根據(jù)實施例，從觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射是根據(jù)紅外線(IR)成像系統(tǒng)18的視場，F(xiàn)OVik，利用紅外線(IR)成像系統(tǒng)18來檢測的。
[0110]步驟910:創(chuàng)建檢測到的紅外線(IR)輻射信息的可見表示。
[0111]根據(jù)實施例，檢測到的紅外線(IR)輻射的可見表示是以檢測到的IR圖像的形式。
[0112]根據(jù)實施例，處理器13適于把由紅外線(IR)成像系統(tǒng)18檢測到的檢測到的紅外線(IR)輻射信息變換成所述檢測紅外線(IR)輻射信息的可見表示，由此創(chuàng)建檢測到的紅外線(IR)輻射信息的可見表示。
[0113]步驟920:把檢測到的紅外線(IR)輻射信息的可見表示對準(zhǔn)到檢測到的從觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射。
[0114]根據(jù)實施例，處理器13適于把所述檢測到的紅外線(IR)輻射的可見表示對準(zhǔn)到檢測到的從觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射.
[0115]根據(jù)不同的實施例，對準(zhǔn)可以利用上述任何方法實現(xiàn)。
[0116]步驟930:依賴于從預(yù)定源接收的信號，創(chuàng)建附加信息的可見表示。
[0117]根據(jù)實施例，處理器13適于，依賴于從預(yù)定源接收的信號，創(chuàng)建附加信息的可見表不。
[0118]預(yù)定源可以包括以下的選擇:
[0119]-用戶輸入；
[0120]-處理器；
[0121]-存儲器；
[0122]-傳感器；和/或
[0123]-測量設(shè)備。
[0124]步驟940:創(chuàng)建組合的紅外線(IR)圖像，包括檢測到的紅外線(IR)輻射信息的對準(zhǔn)的可見表示以及附加信息的可見表示。
[0125]根據(jù)實施例，處理器13適于創(chuàng)建組合的紅外線(IR)圖像，包括檢測到的紅外線(IR)輻射的對準(zhǔn)的可見表示以及附加信息的可見表示。
[0126]根據(jù)實施例，取得從熱成像布置10到觀察的現(xiàn)實世界場景的距離值z。根據(jù)實施例，把附加信息按比例投影到觀察的現(xiàn)實世界場景上涉及基于取得的從熱成像布置10到觀察的現(xiàn)實世界場景的距離值Z把適配后的附加信息投影到觀察的現(xiàn)實世界場景上。根據(jù)實施例，取得從熱成像布置10到觀察的現(xiàn)實世界場景的距離值z。根據(jù)實施例，取得的距離值z是預(yù)定的、從存儲器15取得、通過利用與已知參數(shù)和/或使熱成像布置能夠進(jìn)行取得的參數(shù)的關(guān)系，諸如聯(lián)系圖2-8中給出的等式2的關(guān)系，進(jìn)行計算取得或者通過使用集成在熱成像布置中或耦合到其的距離傳感器取得。
[0127]在實施例中，從熱成像布置10到觀察的現(xiàn)實世界場景的多個距離值z是以聯(lián)系圖2-8所述的方式取得的。
[0128]在實施例中，投影到觀察的現(xiàn)實世界場景上的附加信息的一部分的長度或面積是基于取得的距離值z或多個距離值z來計算的。
[0129]根據(jù)實施例中，以上在步驟940中創(chuàng)建組合的紅外線(IR)圖像還包括，依賴于取得的距離值ζ或者計算出的至少一個距離和/或面積，確保附加信息的可見表示將按比例投影到所述觀察的現(xiàn)實世界場景上，其中所述確保包括對準(zhǔn)投影的光和觀察的場景。
[0130]在圖1Ob中，投影表面是基本上平的墻壁，這是對于投影來說最容易的可能的情況。但是，在觀察的現(xiàn)實世界場景中，可見光投影到其上的觀察的現(xiàn)實世界場景的對象或部分通常離IR成像系統(tǒng)18有不同的距離，如圖3的實施例中所示，這意味著投影的可見表示必須與觀察的現(xiàn)實世界場景對準(zhǔn)，例如根據(jù)聯(lián)系圖2-8在本文給出的方法實施例。
[0131]步驟950:通過把組合的紅外線(IR)圖像投影到觀察的現(xiàn)實世界場景上來呈現(xiàn)它，其中包括在該紅外線(IR)圖像中的檢測到的紅外線(IR)輻射信息的可見表示與檢測到的從觀察的現(xiàn)實世界場景發(fā)射的IR輻射對準(zhǔn)地投影。
[0132]根據(jù)實施例中，可見光投影系統(tǒng)22適于通過把組合的紅外線(IR)圖像投影到觀察的現(xiàn)實世界場景上來呈現(xiàn)它，其中包括在該紅外線(IR)圖像中的檢測到的紅外線(IR)輻射信息的可見表示與檢測到的從觀察的現(xiàn)實世界場景發(fā)射的IR輻射對準(zhǔn)地投影。
[0133]用例實施例
[0134]在操作中，根據(jù)實施例，操作人員把手持式熱成像布置10指向觀察的現(xiàn)實世界場景，該場景可以例如包括管道、墻壁、地板、天花板或者對調(diào)查而言感興趣的任何其它一個或多個目標(biāo)表面或?qū)ο螅⑶?，直接看到投影到觀察的現(xiàn)實世界場景上的被發(fā)射并被檢測的IR輻射的可見表示，其中以該可見表示在與對應(yīng)檢測到的IR輻射的發(fā)射方向相同的方向上被投影的方式，該可見表示與觀察的現(xiàn)實世界場景對準(zhǔn)。例如，如果觀察的現(xiàn)實世界場景包括熱點，例如過熱的電氣元件，則用戶將看到投影到該檢測到的熱點上的光，例如光是指示該檢測到的熱點溫度高的顏色或光強(qiáng)度的。根據(jù)實施例，投影到熱點上的光可以是紅色，通常用于代表色階上的熱溫度，或者，如果灰度級值用于投影，則光可以是高強(qiáng)度光。如對本領(lǐng)域技術(shù)人員很顯然的，對于在觀察的現(xiàn)實世界場景中檢測到的熱、IR或溫度信息的范圍，任何合適的可見表示都可以使用。
[0135]根據(jù)以下進(jìn)一步描述的不同實施例，用戶可以使用熱成像布置來在觀察的現(xiàn)實世界場景中照亮或突出感興趣的區(qū)域，或者在檢測到異常時接收形式為投影到觀察的現(xiàn)實世界場景上的可見或可聽警報的告警。
[0136]根據(jù)另一種實施例，用戶可以使用熱成像布置來取得到觀察的現(xiàn)實世界場景的距離。從熱成像布置到觀察的現(xiàn)實世界場景的距離在下文中將被稱為z，其中ζ是指示從熱成像布置到觀察的現(xiàn)實世界場景的距離的參數(shù)。
[0137]根據(jù)實施例，距離ζ的值可以例如通過利用與已知參數(shù)和/或使熱成像布置能夠進(jìn)行取得的參數(shù)的關(guān)系進(jìn)行計算來取得，例如以下給出的等式2的關(guān)系。根據(jù)備選實施例，以本身已知的方式，距離ζ可以通過使用兩個可見光傳感器、通過IR圖像中激光點的檢測、通過對焦透鏡的位置或者通過集成在熱成像布置中或耦合到其的距離傳感器的使用來取得。
[0138]為了讓熱成像布置作為距測儀工作，熱成像布置必須首先被校準(zhǔn)。以下描述備選的校準(zhǔn)實施例。
[0139]根據(jù)實施例，操作人員可以選擇利用包括在一個或多個控制設(shè)備19中的輸入特征激活對準(zhǔn)功能。根據(jù)另一種實施例，對準(zhǔn)功能是在熱成像布置10啟動的時候被自動激活的。
[0140]根據(jù)其中可見光投影系統(tǒng)22是如在圖1B中示例的可分離附連部件并且目前沒有附連到手持式熱成像布置10的實施例，操作人員在使用之前把可見光投影系統(tǒng)22附連到手持式熱成像布置10。
[0141]根據(jù)備選實施例，其中可見光投影系統(tǒng)22和手持式熱成像布置10要用作物理上分離的部件，操作人員把可見光投影系統(tǒng)22放到相對于手持式熱成像布置10的合適位置，確信投影系統(tǒng)22指向要調(diào)查的感興趣的目標(biāo)表面或?qū)ο?。通過適于投影例如作為圖案或符號的形式的可識別特征的、可見光的預(yù)定指導(dǎo)投影的可見光投影系統(tǒng)22，操作人員有可能被指引著把可見光投影儀指向要調(diào)查的感興趣的目標(biāo)表面或?qū)ο蟆８鶕?jù)實施例，可見光可以作為形式為受限圖案的可識別特征來投影，其中該受限圖案包括投影系統(tǒng)的視場(FOVproj)中所包括的全部或部分像素。這種投影可以例如在可見光投影系統(tǒng)22被開啟時自動激活，或者被控制成通過來自操作人員的輸入而激活。操作人員可以利用例如集成在可見光投影系統(tǒng)22中或耦合到其的輸入設(shè)備(圖中未示出)或者熱成像布置10的控制設(shè)備19來提供輸入，由此處理器13把來自控制設(shè)備19的輸入信號翻譯成經(jīng)接口 21傳送到可見光投影系統(tǒng)22的控制信號，以便控制所述指導(dǎo)投影的激活?？梢姽馔队跋到y(tǒng)22通過有線或無線連接通信耦合到熱成像布置的處理器，例如經(jīng)通信接口 21和27通信。
[0142]根據(jù)實施例，熱成像布置10的IR成像系統(tǒng)18檢測從觀察的現(xiàn)實世界場景發(fā)射的IR輻射并且利用包括在IR成像系統(tǒng)18中的IR傳感器陣列20捕捉所述IR輻射。在IR傳感器陣列20中，進(jìn)入的IR輻射被轉(zhuǎn)換成包括IR輻射數(shù)據(jù)的IR輻射信號。捕捉到的IR輻射數(shù)據(jù)從IR傳感器陣列20發(fā)送到處理器13，其中檢測到的IR輻射數(shù)據(jù)被變換成形式為IR圖像的圖像數(shù)據(jù)的可見表示。根據(jù)實施例，IR圖像傳送到熱成像系統(tǒng)10的顯示器23并且呈現(xiàn)給設(shè)備的操作人員。但是，根據(jù)本發(fā)明的方法實施例，IR圖像在相機(jī)顯示器上的顯示是可選的。
[0143]根據(jù)實施例，可見光投影系統(tǒng)22被處理器13控制成把可見光投影到觀察的現(xiàn)實世界場景上。根據(jù)實施例，可見光可以作為形式為受限圖案或符號的可識別特征來投影，其中該受限圖案或符號包括可見光投影系統(tǒng)22視場(F0Vp_)中所包括的全部或部分像素。根據(jù)實施例，投影是與IR輻射信息的捕捉和處理并行執(zhí)行的，但不必在相同的時刻。
[0144]根據(jù)實施例，本發(fā)明語境下的圖案或符號是由至少一個像素并且優(yōu)選地多于一個像素，通常是多個像素，組成的形狀或分布，這種形狀或分布可以很容易地與在觀察的現(xiàn)實世界場景的圖像中可能出現(xiàn)的任何東西區(qū)分。例如，在優(yōu)選實施例中，符號不是單個像素或組合到一起的幾個像素的形式，因為單個像素或小的像素組會與在圖像中出現(xiàn)的噪聲混淆。本發(fā)明的符號可以具有可以被人眼識別的對象的形狀，諸如花、星星或者人知道的任何其它對象?；蛘?，它可以具有不能被人解釋為某個對象但是很容易被人眼和/或數(shù)據(jù)處理器識別的形狀或分布。類似地，本發(fā)明語境下的圖案也是由很容易地與在觀察的現(xiàn)實世界場景的圖像中可能出現(xiàn)的任何東西以及與噪聲區(qū)分的多于一個像素(通常是多個像素)組成的。根據(jù)實施例，符號或圖案可以具有人已知的對象的形狀或者使其很容易被人眼和/或數(shù)據(jù)處理器識別的任何其它合適的形狀或分布。根據(jù)實施例，被可見光投影設(shè)備22投影的圖案僅僅就是FOVpnu中所包括的像素的全部或選定部分。在這種情況下，基于投影的可見光的強(qiáng)度，圖案可以在包括該圖案的可見光圖像中被識別或認(rèn)出。其中可見光被投影的像素有可能具有比可見光圖像剩余像素更高的強(qiáng)度。
[0145]根據(jù)實施例，在預(yù)定符號或圖案投影期間，可見光成像系統(tǒng)14被處理器13控制成利用可見光成像系統(tǒng)14中所包括的可見光傳感器陣列16捕捉進(jìn)入的可見光。在可見光傳感器陣列16中，進(jìn)入的可見光被轉(zhuǎn)換成包括可見光數(shù)據(jù)的可見光信號。捕捉到的可見光數(shù)據(jù)從可見光傳感器陣列16發(fā)送到處理器13，其中可見光數(shù)據(jù)被變換成可見光圖像。由于可見光傳感器陣列16的傳感器元件對可見光的波長敏感，因此可見光投影系統(tǒng)22的反射光可以在可見圖像中通過其畫面元素，即，像素，檢測到。畫面元素可以是例如CXD(電荷耦合設(shè)備)。由此，捕捉到的可見光圖像包括被投影到其上的預(yù)定符號或圖案疊加的觀察的現(xiàn)實世界場景的可見表示。
[0146]根據(jù)實施例，在捕捉到包括被預(yù)定符號或圖案疊加的觀察的現(xiàn)實世界場景的可見表示的圖像之后，該圖像被發(fā)送到處理器13，其中處理器13執(zhí)行圖像中預(yù)定符號或圖案的檢測。圖像中符號或圖案的檢測可以利用本領(lǐng)域中本身已知的任何合適的檢測方法來執(zhí)行，例如特征提取、模板匹配、分割、邊緣檢測、薄化、相似性測量、遮蔽、過濾或者通過使用差異圖像。
[0147]根據(jù)其中符號或圖案檢測要利用差異圖像執(zhí)行的實施例，可見光成像系統(tǒng)14還被處理器13控制成，在與包括觀察的現(xiàn)實世界場景和預(yù)定符號或圖案的圖像被捕捉的時刻接近的一個時刻，捕捉?jīng)]有投影到其上的預(yù)定符號或圖案的同一個觀察的現(xiàn)實世界場景的圖像。哪個圖像先捕捉和哪個圖像后捕捉?jīng)]有關(guān)系。優(yōu)選地，這兩個圖像是圖像幀序列中兩個相繼的圖像幀。彼此緊密相繼地捕捉圖像的原因是觀察的現(xiàn)實世界場景通常從第一個圖像幀到第二個圖像幀不會改變太多，這意味著圖像的現(xiàn)實世界圖像部分將基本相同。此夕卜，在其中熱成像布置10是手持式的實施例中，如果圖像是緊密相繼捕捉的，例如作為圖像幀序列中兩個連續(xù)的圖像幀，則由用戶造成的布置的任何搖晃或移動將很小。由此，當(dāng)處理器13從還包括投影的符號或圖案的圖像減去只包括觀察的現(xiàn)實世界場景的表示的圖像時，將獲得只包括投影的符號或圖案的差異圖像。以這種方式，觀察的現(xiàn)實世界場景中存在的任何符號或圖案，例如墻上的壁紙上的圖案，不會被熱成像布置10錯誤地檢測為符號或圖案。
[0148]IR信息的可見表示，也稱為IR圖像，從處理器13發(fā)送到可見光投影系統(tǒng)22。可見光投影系統(tǒng)22還被處理器13控制成把IR信息的可見表示投影到觀察的現(xiàn)實世界場景上，使得檢測到的IR輻射的可見光表示與進(jìn)入的，或者捕捉到的，IR輻射對準(zhǔn)，并且在與對應(yīng)捕捉到的IR輻射發(fā)射的方向相同的方向投影到觀察的現(xiàn)實世界場景上。為了實現(xiàn)這種對準(zhǔn)，傳感器13使用檢測到的符號或圖案上的信息連同生產(chǎn)過程中取得的信息、生產(chǎn)中的校準(zhǔn)，和/或熱成像布置10操作期間的校準(zhǔn)或調(diào)整。對準(zhǔn)實施例以下進(jìn)一步詳細(xì)描述。
[0149]根據(jù)本發(fā)明的實施例，熱成像布置10的操作人員將經(jīng)歷上述事件被實時地立刻執(zhí)行，這意味著操作人員把熱成像布置10指向觀察的包括例如感興趣表面或?qū)ο蟮默F(xiàn)實世界場景，并且直接看到被發(fā)射并檢測的投影到觀察的現(xiàn)實世界場景上的IR輻射的可見表示，其中以該可見表示在與對應(yīng)檢測到的IR輻射從其發(fā)射的方向相同的方向上被投影的方式，該可見表示與觀察的現(xiàn)實世界場景對準(zhǔn)。IR信息的可見表示通常是顏色或者灰度級，其代表IR信息的可見表示被投影到其上的觀察的現(xiàn)實世界場景，諸如表面或?qū)ο螅牟煌瑹釋傩?。利用本發(fā)明的對準(zhǔn)方法，投影到觀察的現(xiàn)實世界場景上的可見表示將在對應(yīng)檢測到的IR輻射從其發(fā)射的方向被投影。例如，形式為紅外線(IR)圖像的所述檢測到的紅外線(IR)輻射的可見表示的投影被執(zhí)行，使得檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射的不同熱屬性得以表示。關(guān)于此的例子是，如果代表低熱值或溫度的IR輻射在觀察的現(xiàn)實世界場景的某個部分中被檢測到，則根據(jù)例如選定的色階或灰度級值范圍，可見光投影系統(tǒng)22將把具有代表所述低熱或溫度值的顏色或灰度級值的光投影到觀察的現(xiàn)實世界場景的這個部分之上。
[0150]在一種實施例中，觀察的現(xiàn)實世界場景中檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射偏離周圍區(qū)域的區(qū)域可以被檢測到，其例如有關(guān)觀察的現(xiàn)實世界場景中的對象。在一種實施例中，這種偏離是通過比較以下來檢測的:該區(qū)域中檢測到的紅外線(IR)輻射和與周圍區(qū)域有關(guān)的檢測到的紅外線(IR)輻射(例如，檢測到的紅外線(IR)輻射的緊挨著在周圍的部分或者檢測到的紅外線(IR)輻射的全部)的均值。例如，以其熱值或溫度的形式，檢測到具有比周圍區(qū)域的平均的檢測到的紅外線(IR)輻射低的檢測到的紅外線(IR)輻射的區(qū)域有時候被稱為檢測到“冷點”，這可以指示該區(qū)域例如絕緣不良，或者暴露給水泄漏或者凝結(jié)的形成，并且由此具有增加的被水損壞的風(fēng)險。例如，以其熱值或溫度的形式，檢測到具有比周圍區(qū)域的平均的檢測到的紅外線(IR)輻射高的檢測到的紅外線(IR)輻射的區(qū)域有時候被稱為檢測到“熱點”，這可以指示例如該區(qū)域包括過熱的部件并且具有增加的著火的風(fēng)險。如果使用從用于低溫的藍(lán)色到用于高溫的紅色變化的、代表觀察的現(xiàn)實世界場景的檢測到的紅外線(IR)輻射的色階，則觀察的現(xiàn)實世界場景中的冷點通常有被可見光投影系統(tǒng)22投影到其上的藍(lán)色光，而觀察的現(xiàn)實世界場景中的熱點通常有被可見光投影系統(tǒng)22投影到其上的紅色光。由此，即使是在操作人員把IR成像系統(tǒng)10指向的表面的另一側(cè)上引起低的或高的熱或溫度值，也使得操作人員能夠與觀察的現(xiàn)實世界場景對準(zhǔn)地直接在觀察的現(xiàn)實世界場景中看到他或她正在調(diào)查的熱點和冷點。
[0151]上述紅區(qū)域和藍(lán)區(qū)域僅僅是作為例子。任何色階、灰度級或者其它合適的可見表示都可以被可見光投影系統(tǒng)22用來表示檢測到的不同IR輻射水平。例如，不同的IR輻射水平可以由不同的圖案或光強(qiáng)度表示。
[0152]如果可見光投影系統(tǒng)22的FOV完全包括在IR成像系統(tǒng)18的FOV中，則可見光投影系統(tǒng)22可以將依據(jù)檢測到的UR輻射水平的選定的可見表示的可見光投影到觀察的現(xiàn)實世界場景的在可見光投影系統(tǒng)22的整個FOV內(nèi)的那些部分上?；蛘?，如果可見光投影系統(tǒng)22的FOV只部分地與IR成像系統(tǒng)18的FOV重疊，則可見光投影儀可以把可見光投影到位于兩個系統(tǒng)的FOV的重疊部分內(nèi)的觀察的現(xiàn)實世界場景部分上?；蛘撸梢姽馔队跋到y(tǒng)22只把可見光投影到從其檢測到高于、低于或者在某個選定的溫度值或區(qū)間之間的IR輻射并且位于兩個系統(tǒng)的FOV的重疊部分中的觀察的現(xiàn)實世界場景的部分上?？梢姽馔队跋到y(tǒng)22應(yīng)當(dāng)把光投影到重疊FOV的哪些部分上的其它選擇也可以被考慮。例如，利用IR成像系統(tǒng)10的輸入特征，可見光可以投影到由操作人員指示的感興趣的區(qū)域上，或者通過在處理器13中實現(xiàn)的對象檢測特征投影到在圖像中檢測到的對象上。根據(jù)圖2中說明的實施例，可見光成像系統(tǒng)14具有最大F0V，IR成像系統(tǒng)18具有第二大FOV并且投影系統(tǒng)22具有最小F0V。但是，依賴于諸如價格、性能和終端客戶需求之類的條件，F(xiàn)OV尺寸的任何其它關(guān)系都是可以想到的。
[0153]由于投影的可見光與檢測到的從觀察的現(xiàn)實世界場景發(fā)射的IR輻射對準(zhǔn)并且在檢測到的IR輻射從其發(fā)射的方向投影，因此將沒有可見光投影到觀察的現(xiàn)實世界場景中不在IR成像系統(tǒng)18和可見光投影系統(tǒng)22這兩個系統(tǒng)的FOV中的部分上。
[0154]投影實施例的例子在圖1OA和1B中示出。
[0155]圖1Oa示出了包括有地板、墻壁和門的房間的觀察的現(xiàn)實世界場景1000。
[0156]圖1Ob示出了同一個觀察的現(xiàn)實世界場景1000，其中作為組合的紅外線(IR)圖像的可見表示通過把它投影到所述觀察的現(xiàn)實世界場景上來呈現(xiàn)，其中該紅外線(IR)圖像包括所述檢測到的紅外線(IR)輻射信息的對準(zhǔn)的可見表示以及附加信息的可見表示，其中包括在所述紅外線組合(IR)圖像中的檢測到的紅外線(IR)輻射信息的所述可見表示與所述檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的IR輻射對準(zhǔn)地投影，例如以代表測出的不同IR輻射等級的不同顏色或光強(qiáng)度的形式。例如，可以使用其中不同溫度區(qū)間由不同強(qiáng)度等級或顏色表示的強(qiáng)度等級或色階，如本領(lǐng)域中眾所周知的。
[0157]根據(jù)圖1Oa和1b的實施例，可見光通過可見光投影系統(tǒng)，諸如像液晶顯示器(IXD)、數(shù)字光處理(DLP)投影儀或激光投影儀，呈現(xiàn)到觀察的現(xiàn)實世界場景1000上。在圖1Ob中，可見光投影被說明為代表觀察的現(xiàn)實世界場景中檢測到的不同溫度值或溫度區(qū)間的不同半色調(diào)級。當(dāng)然，觀察的現(xiàn)實世界場景1000的所有部分都將發(fā)射可以被上述系統(tǒng)的IR傳感器20檢測的IR輻射。根據(jù)圖1Ob中的實施例，例如根據(jù)感興趣區(qū)域的用戶選擇，或者預(yù)先設(shè)置或用戶選擇的感興趣區(qū)間的IR輻射信息，投影儀只把可見表示投影到觀察的現(xiàn)實世界場景的部分上。在圖1Ob所說明的實施例中，管道1002、后墻上的區(qū)域1004以及門1006是投影的可見光的目標(biāo)。如上所述，目標(biāo)區(qū)域1002、1004、1006的不同半色調(diào)圖案可以是不同的顏色或光強(qiáng)度，代表不同的IR輻射等級或區(qū)間。例如，管道1002的半色調(diào)圖案(顏色，光強(qiáng)度)可以指示對應(yīng)于高溫度值或區(qū)間的IR輻射等級或區(qū)間，從而向用戶指示這個區(qū)域是“熱點”。區(qū)域1004的半色調(diào)圖案(顏色，光強(qiáng)度)又可以對應(yīng)于低溫，從而向用戶指示這是“冷點”，而門1006的半色調(diào)圖案(顏色，光強(qiáng)度)可以關(guān)于有可能在1002和1004的溫度值或區(qū)間之間的第三個溫度值或區(qū)間。
[0158]根據(jù)實施例，組合的紅外線(IR)圖像投影到所述觀察的現(xiàn)實世界場景上，其中包括在該紅外線組合(IR)圖像中的檢測到的紅外線(IR)輻射信息的所述可見表示與所述檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的IR輻射以及按比例投影的附加信息的可見表示對準(zhǔn)地投影。
[0159]根據(jù)實施例，按比例把附加信息投影到觀察的現(xiàn)實世界場景上涉及基于取得的距離值ζ把對準(zhǔn)的附加信息投影到觀察的現(xiàn)實世界場景上。
[0160]在一個非限制性例子中，直線將被對準(zhǔn)，使得，當(dāng)其投影到觀察的現(xiàn)實世界場景上時，它對用戶來說看起來就像是直線，盡管觀察的現(xiàn)實世界場景中對象的表面離熱成像布置處于變化的距離并且對象表面與投影方向不正交。
[0161]在一個非限制性例子中，網(wǎng)格線將被適配，使得，當(dāng)其投影到觀察的現(xiàn)實世界場景上時，它對用戶來說看起來就像是在網(wǎng)格線之間具有相等的距離，盡管觀察的現(xiàn)實世界場景中對象的表面離熱成像布置處于變化的距離并且對象表面與投影方向不正交。
[0162]在一種實施例中，附加信息是基于距離圖來對準(zhǔn)的，其中距離圖中的每個值對應(yīng)于取得的從熱成像布置(10)到觀察的現(xiàn)實世界場景中一個點的距離。對觀察的現(xiàn)實世界場景中對象表面的可見表示的適配可以根據(jù)本領(lǐng)域中已知的任何方法進(jìn)行。
[0163]根據(jù)實施例，附加信息1008可以進(jìn)一步被投影。在圖1OB中，附加信息1008以標(biāo)尺的形式示例為相對長度單位或長度測量信息，從而使得能夠把長度測量信息按比例投影到觀察的場景上，按比例投影到觀察的現(xiàn)實世界場景上，由此幫助用戶解釋例如觀察的現(xiàn)實世界場景中對象的尺寸和分布和/或投影的可見光的區(qū)域。以下給出根據(jù)不同實施例的附加信息。
[0164]根據(jù)實施例，附加信息包括指導(dǎo)幫助網(wǎng)格或者網(wǎng)格線。根據(jù)實施例，指導(dǎo)網(wǎng)格或網(wǎng)格線提供按比例投影到觀察的現(xiàn)實世界場景上的長度/面積測量信息，由此幫助用戶解釋觀察的現(xiàn)實世界場景的不同部分或者其中存在的對象的尺寸/面積/距離。根據(jù)另一種實施例，網(wǎng)格或網(wǎng)格線提供相對長度/面積信息，從而幫助用戶把觀察的現(xiàn)實世界場景的不同部分或者其中存在的對象的尺寸/面積/距離彼此關(guān)聯(lián)。
[0165]根據(jù)實施例，附加信息包括使用戶能夠解釋所觀察場景部分的朝向的朝向信息，從而幫助用戶把場景的不同部分或者其中存在的對象的朝向彼此關(guān)聯(lián)。在一個非限制性例子中，朝向信息指示水平和/或垂直朝向，其例如是從集成在熱成像布置中或耦合到其的陀螺儀獲得的。在一個非限制性例子中，朝向信息是以掛線水平儀、酒精水平儀或氣泡水平儀或者在本領(lǐng)域中用來指示觀察的現(xiàn)實世界場景中對象的朝向是水平(level)還是垂直的任何其它指示器的形式。
[0166]根據(jù)實施例，把附加信息按比例投影到觀察的現(xiàn)實世界場景上涉及投影作為附加信息的文本信息。在一個非限制性例子中，文本信息是以本領(lǐng)域中已知的方式從傳感器獲得的溫度值、從傳感器獲得的濕度值或者從檢測到的IR輻射信息獲得的等級(level)。文本信息可以作為數(shù)值或區(qū)間(interval)或者作為將幫助用戶解釋或分析觀察的場景的任何其它合適的可見表示包括在投影到觀察的場景上的IR圖像中。
[0167]根據(jù)實施例，附加信息可以包括與溫度相關(guān)的信息，諸如以本領(lǐng)域中已知的方式從捕捉到的IR輻射信息獲得的溫度值或等級或者濕度值或等級。與溫度相關(guān)的信息可以作為數(shù)值或區(qū)間或者作為將幫助用戶解釋或分析觀察的場景的任何其它合適的可見表示包括在投影到觀察的場景上的IR圖像中。
[0168]根據(jù)實施例，把附加信息按比例投影到觀察的現(xiàn)實世界場景上涉及投影作為附加信息的圖形信息。在一個非限制性例子中，圖形信息包括略圖、繪圖或者關(guān)于觀察的現(xiàn)實世界場景的任何圖形信息。
[0169]根據(jù)實施例，附加信息包括文字(writing)/文本、略圖和/或繪圖。在一個非限制性例子中，附加信息由用戶利用一個或多個控制設(shè)備19輸入。根據(jù)實施例，附加信息是通過觸摸功能輸入的。
[0170]根據(jù)其中從熱成像布置10到觀察的現(xiàn)實世界場景的至少一個距離z已知或者被取得的實施例，觀察的現(xiàn)實世界場景的一部分的長度和/或面積可以按本領(lǐng)域中已知的方式計算。
[0171]根據(jù)實施例，以上在步驟S940中創(chuàng)建組合的紅外線(IR)圖像還包括，依賴于取得的距離z或者計算出的至少一個距離和/或面積，確保附加信息的可見表示將按比例投影到所述觀察的現(xiàn)實世界場景上。
[0172]在圖1Ob中，投影表面是基本上平的墻壁，這是對于投影來說最容易的可能的情況。但是，在觀察的現(xiàn)實世界場景中，可見光投影到其上的觀察的現(xiàn)實世界場景的對象或部分通常離IR成像系統(tǒng)18有不同的距離，如圖3的實施例中所示，這意味著投影的光必須與觀察的現(xiàn)實世界場景對準(zhǔn)，例如根據(jù)聯(lián)系圖2-8在本文給出的方法實施例。
[0173]根據(jù)實施例，本文所述本發(fā)明的不同方面可以用來調(diào)查觀察的現(xiàn)實世界場景并且識別相關(guān)信息。
[0174]相關(guān)信息可以是例如被調(diào)查的觀察的現(xiàn)實世界場景中的熱或冷的點或區(qū)域，從而指示由例如差的絕緣或者誤動或過熱的電氣元件造成的能量偷竊(thieves)或功率偷竊。
[0175]根據(jù)實施例，如上給出的本發(fā)明的不同方面可以用來增強(qiáng)或突出例如檢測到的對于某些預(yù)定義等級更高/更低/在其之間的水分，其中水分等級可以按其本身已知的方式從測出的IR或溫度信息來計算。
[0176]根據(jù)另一種實施例，如上給出的本發(fā)明的不同方面可以用來通知用戶地板、電氣布線、水管等當(dāng)中發(fā)熱的位置，這對于例如在建筑或電氣行業(yè)中的用戶會是有利的。當(dāng)這種相關(guān)信息投影到觀察的現(xiàn)實世界場景上時，借助于投影，用戶可以把關(guān)于投影的信息或用戶得出的結(jié)論的信息繪制、標(biāo)記、書寫或勾畫到觀察的現(xiàn)實世界場景上，由此使得即使在投影被關(guān)閉之后也能更容易地進(jìn)行分析。
[0177]根據(jù)實施例，附加信息可以包括在熱成像布置的顯示器上的圖形用戶接口(⑶I)中給出的圖形元素，其中所述圖形元素表示以下的選擇:
[0178]-作為溫度、濕度、發(fā)射率或效率給出的測量值。在這里，如果一個或多個距離ζ已經(jīng)取得并且與面積相關(guān)的信息已經(jīng)基于這一個或多個距離計算出來，則效率可以表示為W/m2或表示為W ；
[0179]-用于選擇感興趣的一個或多個點和/或區(qū)域的一個或多個點和/或區(qū)域標(biāo)記；
[0180]-用于用戶輸入的一個或多個輸入域；及
[0181]-一個或多個可選擇的菜單項。
[0182]根據(jù)實施例，使用戶能夠控制在所述熱成像布置的顯示器上的⑶I中呈現(xiàn)什么或者呈現(xiàn)什么的外觀。例如，可以使用戶能夠利用一個或多個控制設(shè)備19通過與熱成像布置10的交互來控制⑶I。根據(jù)實施例，用戶與一個或多個控制設(shè)備19的交互生成適于被處理器13或者集成在熱成像布置中或耦合到其的另一處理設(shè)備解釋的輸入和/或控制信號。在接收到這種輸入或控制信號后，處理單元適于改變在熱成像布置10的顯示器上示出的⑶I的外觀和/或作為附加信息投影到觀察的現(xiàn)實世界場景上的內(nèi)容。例如通過與一個或多個控制設(shè)備19的交互，在熱成像布置的顯示器上示出的GUI中所包括的部分或全部信息是否也將投影到觀察的現(xiàn)實世界場景上可以預(yù)先設(shè)置或者由用戶選擇。
[0183]呈現(xiàn)/投影模式
[0184]根據(jù)實施例，提供了多于一種投影模式。根據(jù)實施例，使用戶能夠例如利用一個或多個控制設(shè)備19在不同的投影模式之間進(jìn)行選擇。
[0185]根據(jù)實施例，可能的投影模式包括以下的選擇:
[0186]-投影由可見光投影系統(tǒng)22的FOVproj限定的整個觀察的現(xiàn)實世界場景的可見光表示。根據(jù)這種實施例，可見光投影可以是利用IR成像系統(tǒng)18捕捉到的IR輻射的可見表示，包括觀察的現(xiàn)實世界場景中同時包括在IR成像系統(tǒng)18的FOVik和FOVimy.當(dāng)中的部分。
[0187]-投影包括在觀察的現(xiàn)實世界場景中的一個或多個對象的可見光表示。根據(jù)這些實施例，一個或多個對象可以由用戶利用一個或多個控制設(shè)備19來選擇?；蛘撸幚砥?3可以適于例如基于溫度或水分模式或閾值來自動地識別對象。利用其本身已知的任何合適的對象識別方法，自動的或基于用戶選擇的識別可以由包括在處理器13中的對象識別功能來執(zhí)行。
[0188]-投影包括在觀察的現(xiàn)實世界場景中的一個或多個對象的選定部分的可見光表示；
[0189]-把可見光標(biāo)記投影到觀察的現(xiàn)實世界場景上；
[0190]-在熱點或?qū)ο笊贤队翱梢姽鈽?biāo)記；或者
[0191]-在冷點或?qū)ο笊贤队翱梢姽鈽?biāo)記。
[0192]根據(jù)實施例，投影的可見光的亮度等級和/或顏色值可以基于該可見光投影到其上的觀察的現(xiàn)實世界場景的部分的亮度等級和/或顏色值來調(diào)節(jié)。投影的可見光的亮度等級和/或顏色值通常調(diào)節(jié)成使得投影的可見光與它投影到其上的觀察的現(xiàn)實世界場景的部分可以盡可能清楚地被人眼區(qū)分。例如，如果觀察的現(xiàn)實世界場景是黑色，則高亮度的可見光可以被投影，如果觀察的現(xiàn)實世界場景的相關(guān)部分是綠色，則通常是對比色的不同顏色可以被投影，使得投影在觀察的現(xiàn)實世界場景可以被清楚地看到。
[0193]根據(jù)不同的實施例，投影的可見光的調(diào)節(jié)可以通過在操作期間控制可見光投影系統(tǒng)22投影某些亮度等級和/或顏色的光或者通過在把IR圖像發(fā)送到投影儀之前調(diào)節(jié)其亮度等級和/或顏色來進(jìn)行。根據(jù)實施例，亮度等級和/或顏色可以預(yù)先設(shè)定、基于可見光要投影到其上的觀察到現(xiàn)實世界場景的顏色計算或者可以由用戶例如利用一個或多個控制設(shè)備19選擇。
[0194]根據(jù)實施例，處理器13可以適于檢測觀察的現(xiàn)實世界場景的(由可見光成像系統(tǒng)捕捉到的)可見光圖像中的亮度等級和/或顏色值；基于檢測到的亮度等級和/或色階來計算亮度等級和/或色階。
[0195]根據(jù)備選實施例，處理器13可以適于在IR圖像被傳送到可見光投影系統(tǒng)22之前調(diào)節(jié)其亮度等級和/或色階，或者控制可見光投影系統(tǒng)22基于預(yù)先設(shè)定、計算出的或者用戶選擇的亮度等級和/或色階來調(diào)節(jié)投影的可見光的亮度等級和/或色階。
[0196]視場(FOV)和視差
[0197]圖2說明了表示為角度α的圖1熱成像布置10的可見光成像系統(tǒng)14的視場(FOV)，表示為角度β的紅外線成像系統(tǒng)18的F0V，以及表示為角度Y的可見光投影系統(tǒng)22的F0V。這三個光學(xué)系統(tǒng)14、18和22的光軸分別示為虛線0Α1、0Α3和0Α2。
[0198]有兩個因素對不同成像系統(tǒng)產(chǎn)生的圖像和/或投影的相對位移起作用。首先，成像系統(tǒng)14、18和22之間的相應(yīng)距離造成圖像的位移，也稱為視差距離，這個位移在儀表中是恒定的，但是隨著到對象的距離增加而像素個數(shù)減少，例如Clpix vis。其次，不同成像系統(tǒng)14、18、22的光軸0A1、0A3、0A2通常不是完美平行。它們之間的相應(yīng)角度造成位移，也稱為定點誤差或方向性誤差，這在儀表中隨著到對象的距離而變但是像素個數(shù)是恒定的。定點誤差，或者說方向性誤差，是由兩個光學(xué)系統(tǒng)之間的角度與期望的角度相比的差造成的，并且由于構(gòu)造不準(zhǔn)確而發(fā)生。例如，當(dāng)可見光成像系統(tǒng)14和IR成像系統(tǒng)18在生產(chǎn)過程中被組裝時，對于每個熱成像布置10，它們將不以完全相同的方式組裝。細(xì)小的差異將發(fā)生，并由此發(fā)生方向性誤差。
[0199]根據(jù)實施例，如在本文中所使用的，術(shù)語“視差”包括由成像子系統(tǒng)之間的距離和光軸之間的角度造成的組合的像素位移。
[0200]如在圖2中可以看到的，在投影系統(tǒng)22的光軸0A2和可見光成像系統(tǒng)14的光軸OAl之間存在視差距離P(p_vis)，并且在投影系統(tǒng)22的光軸0A2和IR成像系統(tǒng)18的光軸0A3之間存在另一個視差距離P(p-1K)。
[0201]視差距離P(p_vis)造成由可見光投影系統(tǒng)22投影的可見圖像和由可見光成像系統(tǒng)14捕捉的圖像之間的像素位移。這個像素位移在下文中表示為d(pixvis)。
[0202]視差距離P(p_IK)造成由可見光投影系統(tǒng)22投影的可見圖像和由IR成像系統(tǒng)18捕捉的IR圖像之間的像素位移。這個像素位移在下文中表示為d(pix IK)。
[0203]如對本領(lǐng)域技術(shù)人員來說很顯然的，在可見光成像系統(tǒng)14的光軸OAl和IR成像系統(tǒng)18的0Α3之間還存在另一個視差距離P(vis_IK)，從而造成由可見光成像系統(tǒng)14捕捉的圖像和由IR成像系統(tǒng)18捕捉的IR圖像之間的像素位移。根據(jù)本發(fā)明的所有實施例，可見光成像系統(tǒng)14和IR成像系統(tǒng)18集成在組件12中，由此視差距離P(vis_IK)從生產(chǎn)得知并且可以在熱成像布置10的校準(zhǔn)或操作期間進(jìn)行補(bǔ)償。
[0204]圖2中所示的像素位移d(pixvis)和d(pix IE)可以作為距離z(x, y)的函數(shù)憑經(jīng)驗來確定，其中這個距離代表從熱成像布置10到觀察的一個或多個現(xiàn)實世界對象或觀察到現(xiàn)實世界場景上的點選擇的每一個的距離，例如在熱成像布置10的生產(chǎn)或校準(zhǔn)期間。根據(jù)實施例，結(jié)合可見光投影系統(tǒng)22和可見光成像系統(tǒng)14之間的視差距離P(p-Vis)，距離Z可以描述為到觀察的現(xiàn)實世界場景中代表被捕捉可見圖像中檢測到投影圖案的具體坐標(biāo)的部分的距離。
[0205]由此，在一種實施例中，作為從熱成像布置到觀察的現(xiàn)實世界場景的距離ζ的函數(shù)的像素位移的確定可以利用本身已知的方法分別對可見光成像系統(tǒng)14和IR成像系統(tǒng)18執(zhí)行。
[0206]根據(jù)實施例，作為距離ζ的函數(shù)確定的像素位移存儲在熱成像布置10的存儲器中，例如，存儲器存儲15中，并且可以用來在操作期間補(bǔ)償視差誤差。
[0207]根據(jù)實施例，距離ζ是相對于圖像中代表觀察的現(xiàn)實世界場景的預(yù)定坐標(biāo)，諸如圖像的中心、圖像的角落或者圖像中任何其它合適的坐標(biāo)，確定的。
[0208]熱成像布置10的光學(xué)系統(tǒng)之間相應(yīng)的視差距離P(p_vis)、P(p_IK)和定點誤差，或者說方向性誤差，可以用來估計用于作為到對象的距離的函數(shù)的位移的等式或曲線。這種等式或曲線可以存儲在熱成像布置10中的存儲器中，例如存儲器存儲15中，并且可以用來在操作期間通過把確定的距離映射到相關(guān)視差距離等式或曲線來補(bǔ)償視差誤差。
[0209]如前面所提到的，投影的預(yù)定可見光符號或圖案通常由多于一個像素，通常是多個像素，組成。由此，該符號或圖案比如果只一個像素/一個點用于確定距離的話更可靠地確定。此外，由于該符號或圖案具有很容易與觀察的現(xiàn)實世界場景的圖像中可能出現(xiàn)的任何東西區(qū)分的形狀或分布并且可以具有人已知的對象的形狀或者使其很容易被數(shù)據(jù)處理器識別的任何其它合適形狀或分布，而單個像素會與圖像中存在的其它對象或噪聲混淆。
[0210]對準(zhǔn)
[0211]如以上所解釋的，例如在儀表中以長度單位表示的視差距離P(p_vis)造成由可見光投影系統(tǒng)22投影的可見圖像和由可見光成像系統(tǒng)14捕捉的圖像之間的像素位移d(pix vis)，并且，視差距離P(p-1K)造成由可見光投影系統(tǒng)22投影的可見圖像和由IR成像系統(tǒng)18捕捉的IR圖像之間的像素位移d(pix IK)。如對本領(lǐng)域技術(shù)人員很顯然的，通常在可見光成像系統(tǒng)14和IR成像系統(tǒng)18之間也有視差距離，從而造成由不同光學(xué)系統(tǒng)捕捉的圖像之間的第三個像素位移。這個視差距離和像素位移在圖2中未示出。
[0212]根據(jù)實施例，處理器13布置成對由光學(xué)系統(tǒng)14、18、22中任何一個或全部捕捉的圖像和/或由光學(xué)系統(tǒng)14、18、22中任何一個或全部投影的光執(zhí)行對準(zhǔn)。
[0213]為了能夠?qū)⒗每梢姽馔队跋到y(tǒng)22投影到觀察的現(xiàn)實世界場景上的可見光與從觀察的現(xiàn)實世界場景發(fā)射、被IR成像系統(tǒng)18檢測并變換成IR圖像的IR輻射對準(zhǔn)，投影的可見光和檢測到的IR輻射之間的位移必須計算或近似，并且進(jìn)行補(bǔ)償。根據(jù)以下給出的不同實施例，這個位移的計算或近似是在熱成像布置10的生產(chǎn)期間的校準(zhǔn)、其操作期間的自校準(zhǔn)或自調(diào)節(jié)當(dāng)中執(zhí)行的。
[0214]生產(chǎn)期間的校準(zhǔn)
[0215]根據(jù)圖1A中所說明的實施例，可見光成像系統(tǒng)14、IR成像系統(tǒng)18和可見光投影系統(tǒng)22全都組裝在集成的熱成像布置10中，例如集成在組件12中，在不同的光學(xué)設(shè)備14、18、22和光軸0Α1、0Α3、0Α2之間分別具有已知的視差距離。
[0216]根據(jù)這種實施例，熱成像布置可以在熱成像布置10的生產(chǎn)或制造中被校準(zhǔn)。在這種校準(zhǔn)期間，所有視差距離都是已知的，因為光軸0Α1、0Α3、0Α2之間的距離是已知的。在生產(chǎn)期間執(zhí)行校準(zhǔn)時已知的其它參數(shù)是:可見光成像系統(tǒng)14的視場(FOVvis) ;IR成像系統(tǒng)18的視場(FOVik);到觀察的現(xiàn)實世界場景的距離z ;以及利用可見光成像系統(tǒng)14捕捉的圖像和利用IR成像系統(tǒng)18捕捉的圖像的圖像坐標(biāo)之間的變換，或映射函數(shù)，f(z)，該函數(shù)是z的函數(shù)。
[0217]根據(jù)實施例，距離z是相對于圖像中的預(yù)定坐標(biāo)確定的，諸如圖像的中心、圖像的角落或者圖像中任何其它合適的坐標(biāo)。
[0218]生產(chǎn)校準(zhǔn)方法的實施例包括以下在圖4A中說明的步驟:
[0219]步驟410:利用可見光投影系統(tǒng)22，根據(jù)第二視場，把可見光投影到觀察的現(xiàn)實世界場景上，其中第二視場至少部分地重疊IR成像系統(tǒng)的第一視場。
[0220]根據(jù)實施例，投影的可見光可以是諸如圖案或符號的可識別特征的形式。
[0221]步驟420:利用可見光成像系統(tǒng)14，根據(jù)第三視場捕捉觀察的現(xiàn)實世界場景的可見光圖像，包括投影的可見光圖案，其中第三視場至少部分地重疊第一和/或第二視場。
[0222]根據(jù)實施例，捕捉到兩個可見光圖像，其中一個包括觀察的現(xiàn)實世界場景和投影的可見光，而另一個包括觀察的現(xiàn)實世界場景但不包括投影的可見光。換句話說，在捕捉到其中一個圖像時，投影設(shè)備把可見光投影到觀察的現(xiàn)實世界場景上，但在捕捉到另一個圖像時不投影。通過減去捕捉到的圖像，獲得包括投影的可見光但不包括觀察的現(xiàn)實世界場景的差異圖像。
[0223]步驟430:在可見光圖像中，或者如果在步驟420中已經(jīng)獲得差異圖像的情況下在差異圖像中，檢測投影的可見光圖案。
[0224]根據(jù)實施例，在到觀察的現(xiàn)實世界場景的距離z和捕捉到的可見光圖像中投影的可見光將出現(xiàn)的位置之間存在已知的預(yù)定關(guān)系。因此，距離z可以在可選步驟485中用作對于投影的可見光檢測的輸入。由此，由于檢測在可見光圖像最有可能的位置，或坐標(biāo)，開始，因此獲得更高效的檢測。
[0225]步驟440:基于捕捉到的可見光圖像，計算由可見光投影系統(tǒng)22投影的光和由可見光成像系統(tǒng)14捕捉的圖像之間的像素位移d(pix vis)。換句話說，如果可見光成像系統(tǒng)14和可見光投影系統(tǒng)22對準(zhǔn)，例如從生產(chǎn)或校準(zhǔn)得知，則確定可見光圖像中投影的可見光圖案像素坐標(biāo)和可見光圖像中該投影的可見光將出現(xiàn)的像素坐標(biāo)之間以像素為單位的位移
d(pix vis) °
像素位移d


(pix vis)
的例子在圖2中示出。
[0226]如對本領(lǐng)域技術(shù)人員很顯然的，依賴于條件，像素位移可以例如表示為分成X方向分量和I方向分量(dx

(pix vis)，dy (pis vis) )或者表示為極坐標(biāo)。
[0227]步驟450:如果還未知，則計算投影儀的FOV，F(xiàn)OVprojo
[0228]由于可見光成像系統(tǒng)的FOV，F(xiàn)OVvis，是已知的，因此FOVproj可以基于包括投影的可見光的捕捉到的可見光圖像，或差異圖像，以下列方式來計算，其中投影的可見光可以表示為區(qū)域、可識別特征、圖案或符號:
[0229]根據(jù)實施例，已知FOVpraj的百分之多少由，例如X或y方向中，投影區(qū)域、特征、圖案或符號中兩個或更多個預(yù)定點之間的距離表示。在包括投影的可見光區(qū)域、特征、圖案或符號的捕捉到的可見光圖像中，確定投影的可見光區(qū)域、特征、圖案或符號的預(yù)定點之間的像素距離。由于可見光圖像的以像素為單位的分辨率是已知的，因此可見光圖像的百分比，并且由此由投影的可見光區(qū)域、特征、圖案或符號的兩個點之間的距離表示的FOVvis的百分t匕，可以基于所述像素距離來確定。通過知道FOVvis并進(jìn)一步知道分別代表投影的可見光區(qū)域、特征、圖案或符號的預(yù)定點之間距離的FOVvis和FOVimy.的百分比之間的關(guān)系，可以確定 FOVproj。
[0230]步驟460:確定形式為校準(zhǔn)參數(shù)Ctl和C1的校準(zhǔn)參數(shù)。
[0231]校準(zhǔn)參數(shù)C。是關(guān)于所比較的兩個光學(xué)系統(tǒng)的光軸，例如光軸0A1、0A2，之間視差距離的理論常量。根據(jù)實施例，C0表示為(長度單位X像素個數(shù))。
[0232]校準(zhǔn)參數(shù)C1關(guān)于定點，或方向性，誤差。換句話說，C1關(guān)于所比較的兩個光學(xué)系統(tǒng)的光軸，例如光軸0A1、0A2，之間的角度。根據(jù)實施例，C1以像素為單位來表示。
[0233]根據(jù)實施例，校準(zhǔn)參數(shù)以下列方式確定:
[0234]I _d(等式 I)
I ct-Hpixvm 7
[0235]其中表示為長度單位的、到觀察的現(xiàn)實世界場景的距離ζ是已知的，并且d(pix vis)是以像素為單位表示的像素位移，如在步驟440計算的。
[0236]如對本領(lǐng)域技術(shù)人員很顯然的，依賴于條件，校準(zhǔn)參數(shù)可以例如表示為分成X方向分量和I方向分量(Ctlx, c0y)，(Ctlx, c0y),或者表示為極坐標(biāo)。
[0237]步驟490:校準(zhǔn)熱成像布置的光學(xué)系統(tǒng)，或者換句話說，補(bǔ)償在步驟460確定的視差誤差，或像素位移和定點誤差。
[0238]在步驟490的計算之后，由投影系統(tǒng)22產(chǎn)生的投影將和由IR成像系統(tǒng)18捕捉的IR輻射對準(zhǔn)。換句話說，在步驟490之后，熱成像布置準(zhǔn)備好操作，并且根據(jù)實施例，可以進(jìn)一步在操作期間用作距離傳感器。
[0239]根據(jù)實施例，上述校準(zhǔn)過程被執(zhí)行多次，例如兩次或三次，以便確保適當(dāng)?shù)男?zhǔn)。
[0240]校準(zhǔn)的或?qū)?zhǔn)的熱成像布置的操作的實施例在圖8中說明。
[0241]自校準(zhǔn)
[0242]根據(jù)另一種實施例，熱成像布置適于自校準(zhǔn)并且一邊的可見光投影系統(tǒng)22與另一邊的可見光成像系統(tǒng)14和IR成像系統(tǒng)18之間的視差距離可以分別近似。
[0243]根據(jù)在圖1B中示出并在部分“可分離附連的部件實施例”中進(jìn)一步描述的這種實施例，附連特征25A在投影系統(tǒng)22上提供并適于安裝到在IR成像系統(tǒng)10上提供的對應(yīng)附連特征25B，使得投影系統(tǒng)22可以附連到IR成像系統(tǒng)18并從其分離。這種附連特征可以例如形成為與固定到投影系統(tǒng)的第一耦合部分25A和固定到IR成像系統(tǒng)的第二耦合部分25B的附連耦合。當(dāng)附連時，根據(jù)實施例，可見光投影系統(tǒng)22定位成關(guān)于IR成像系統(tǒng)18和可見光成像系統(tǒng)14分別有視差距離和定點誤差，基本上在每次附連特征彼此附連時都相同，具有最小的誤差邊際。
[0244]根據(jù)實施例，熱成像布置自校準(zhǔn)。在這種自校準(zhǔn)期間，以下參數(shù)從熱成像布置生產(chǎn)中的校準(zhǔn)得知:可見光成像系統(tǒng)14和IR成像系統(tǒng)18之間的視差距離和定點誤差；可見光成像系統(tǒng)14的視場(FOVvis) ;IR成像系統(tǒng)18的視場(FOVik);以及利用可見光成像系統(tǒng)14捕捉到的圖像和利用IR成像系統(tǒng)18捕捉到的圖像的圖像坐標(biāo)之間的變換，或映射函數(shù)，f(z)，該函數(shù)是到觀察的現(xiàn)實世界場景的距離z的函數(shù)。根據(jù)實施例，自校準(zhǔn)的目的是估計視差距離校準(zhǔn)參數(shù)、定點誤差以及，如果還未知的話，還有投影系統(tǒng)22的視場(FOVpraj)。
[0245]用于自校準(zhǔn)的方法實施例包括以下步驟，在圖4B中說明:
[0246]步驟410、420、440、450和490對應(yīng)于以上關(guān)于圖4A給出的相同步驟。
[0247]除輸入距離z的可選步驟485之外，步驟430對應(yīng)于上述步驟430，因為距離z不是早先知道的。相反，距離z是通過在步驟470中測量來確定的，例如，通過距離傳感器或飛行時間傳感器。根據(jù)實施例，距離z在步驟480中輸入或反饋到步驟430的投影的可見光區(qū)域、特征、圖案或符號的檢測，由此提供更智能或高效的區(qū)域、特征、圖案或符號檢測，如以上對步驟430所描述的。
[0248]根據(jù)實施例，上述校準(zhǔn)過程被執(zhí)行多于一次，例如兩次或三次，以便確保適當(dāng)?shù)男?zhǔn)。
[0249]校準(zhǔn)的或?qū)?zhǔn)的熱成像布置的操作的實施例在圖8中說明。
[0250]校準(zhǔn)的熱成像布置的操作
[0251]一旦熱成像布置已經(jīng)根據(jù)以上關(guān)于圖4A和4B給出的任何實施例校準(zhǔn)，該布置就準(zhǔn)備好操作。在操作中，熱成像布置將以相同的方式工作，而不管校準(zhǔn)是在生產(chǎn)中還是使用期間執(zhí)行，如圖7所說明的。
[0252]根據(jù)以上給出的方法實施例的實施例，已經(jīng)在生產(chǎn)中校準(zhǔn)的熱成像布置，以及自校準(zhǔn)熱成像布置，都在步驟490之后校準(zhǔn)或?qū)?zhǔn)。在步驟490中的校準(zhǔn)之后，由投影系統(tǒng)22產(chǎn)生的投影將與由IR成像系統(tǒng)18捕捉的IR輻射對準(zhǔn)。換句話說，在步驟490之后，熱成像布置準(zhǔn)備好操作，并且，根據(jù)實施例，在操作期間進(jìn)一步用來確定到觀察的場景的距離，即，執(zhí)行距離傳感器的功能。根據(jù)實施例，熱成像布置可以用來利用以下關(guān)系確定到觀察的現(xiàn)實世界場景的距離:
[0253]【—-~— (等式 2)
[0254]其中參數(shù)對應(yīng)于以上等式I的參數(shù)。
[0255]如對本領(lǐng)域技術(shù)人員很顯然的，依賴于條件，等式2的所有參數(shù)都可以例如表示為分成X方向分量和I方向分量，或者表示為極坐標(biāo)。
[0256]如對本領(lǐng)域技術(shù)人員很顯然的，如果等式的剩余參數(shù)已知，則等式2的關(guān)系可以代替地用來確定參數(shù)Ct^ C1, Z或d(pix vis)中任何一個。
[0257]在操作中，根據(jù)圖8中所示的實施例，通過獲得或取得到觀察的一個或多個對象或觀察的現(xiàn)實世界場景的距離z，校準(zhǔn)的熱成像布置產(chǎn)生到觀察的現(xiàn)實世界場景上的可見光投影，其與從觀察的現(xiàn)實世界場景發(fā)射并被熱成像布置的IR成像系統(tǒng)的IR傳感器接收的IR輻射對準(zhǔn)；如上所述，基于距離ζ和在生產(chǎn)中或自校準(zhǔn)期間確定的校準(zhǔn)參數(shù)Ctl和(^確定像素位移dpix vis，并且該方法實施例包括以下步驟:
[0258]步驟810:利用IR成像系統(tǒng)18，根據(jù)第一視場檢測從觀察的現(xiàn)實世界場景發(fā)射的IR輻射，并且創(chuàng)建形式為IR圖像的檢測到的IR輻射的可見表示。通常，檢測到的IR輻射到達(dá)IR成像系統(tǒng)18的IR傳感器陣列20，具有確定的第一視場。
[0259]步驟820:取得從熱成像布置10到觀察的現(xiàn)實世界場景或?qū)ο蟮木嚯xζ。
[0260]根據(jù)實施例，距離ζ可以例如通過利用與已知參數(shù)和/或使熱成像布置能夠進(jìn)行取得的參數(shù)的關(guān)系的計算來取得，例如以上給出的等式2的關(guān)系。根據(jù)備選實施例，距離ζ可以通過使用集成到熱成像布置中或耦合到其的距離傳感器來取得。在一個例子中，距離是通過使用兩個可見光傳感器、IR圖像中激光點的檢測、對焦透鏡的位置或者通過使用集成到熱成像布置中或耦合到其的距離傳感器以本身已知的方式取得的。
[0261]根據(jù)實施例，取得的距離ζ用作對步驟830的輸入。
[0262]步驟830:計算由可見光投影系統(tǒng)22根據(jù)第一視場投影的可見圖像與作為根據(jù)第一視場檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射的可見表示的、由IR成像系統(tǒng)18捕捉的IR圖像之間的像素位移dpix IRO
[0263]根據(jù)實施例，作為到觀察的一個或多個對象或觀察的現(xiàn)實世界場景的距離的函數(shù)，像素位移Clpix IE和像素位移dpix vis之間的關(guān)系從生產(chǎn)或校準(zhǔn)得知，其中像素位移dpix vis是由可見光投影系統(tǒng)22投影的可見圖像與由可見光成像系統(tǒng)14捕捉的可見光圖像之間的像素位移。描述這種關(guān)系的一種方式是:
[0264]dpix IE = f (dpix vis, ζ)(等式 3)
[0265]根據(jù)實施例，該關(guān)系是映射函數(shù)，例如表示為查找表，其中，基于距離ζ的值，用于dpix vis的每個值具有用于dpix IE的對應(yīng)值。為了簡化，每個位移在這里都公式化為一個值dpix vis或dpix IK。但是，位移可以包括多于一個分量。通常，對于圖像，位移是關(guān)于X分量和Y分量來描述的，例如以矢量(例如，dxpix vis, dypix vis)的形式,或者作為極坐標(biāo)。
[0266]根據(jù)上述實施例，距離是從步驟820得知的。因此，為了確定dpix IE,我們首先需要知道dpixvis。如果位移dpixvis還不知道，則，如上所述，它可以利用已知的參數(shù)CdP C1以及等式2中給出的關(guān)系來確定。
[0267]當(dāng)dpix vis已知或被確定時，根據(jù)以上給出的任何實施例，像素位移dpix 11(通過使用等式3的關(guān)系來確定。
[0268]步驟840:把IR圖像呈現(xiàn)到觀察的現(xiàn)實世界場景上，與觀察的現(xiàn)實世界場景對準(zhǔn)。換句話說，把IR圖像呈現(xiàn)到觀察的現(xiàn)實世界場景上，與從觀察的現(xiàn)實世界場景發(fā)射的IR輻射對準(zhǔn)。
[0269]根據(jù)實施例，通過補(bǔ)償在步驟830確定的像素位移dpixIK，IR圖像對準(zhǔn)到觀察的現(xiàn)實世界場景，或者換句話說對準(zhǔn)到從觀察的現(xiàn)實世界場景發(fā)射的IR輻射?？梢栽跓岢上癫贾?0的處理器13中或者在集成在熱成像布置10的任何部件中或與其耦合的另一處理器中執(zhí)行這種對準(zhǔn)或補(bǔ)償。
[0270]根據(jù)實施例，把對準(zhǔn)的IR圖像呈現(xiàn)到觀察的現(xiàn)實世界場景上包括把對準(zhǔn)的IR圖像傳送到可見光投影系統(tǒng)22并且利用可見光投影系統(tǒng)22把對準(zhǔn)的IR圖像投影到觀察的現(xiàn)實世界場景上。
[0271]根據(jù)備選實施例，把對準(zhǔn)的IR圖像呈現(xiàn)到觀察的現(xiàn)實世界場景上包括把IR圖像傳送到可見光投影系統(tǒng)22、利用集成在可見光投影系統(tǒng)22中或與其耦合的處理器對準(zhǔn)IR圖像，并且利用可見光投影系統(tǒng)22把對準(zhǔn)的IR圖像投影到觀察的現(xiàn)實世界場景上。
[0272]根據(jù)實施例，F(xiàn)0VP_小于F0VIK。根據(jù)這種實施例，可見光投影系統(tǒng)22將不適于顯示整個IR圖像。因此，獲得IR圖像中對應(yīng)于FOVpraj的部分，例如，通過從IR圖像選擇、裁剪或切割所述部分，然后投影到觀察的現(xiàn)實世界場景上。
[0273]根據(jù)實施例，通過補(bǔ)償在步驟830確定的像素位移dpix IE, IR圖像對準(zhǔn)到觀察的場景，或者換句話說對準(zhǔn)到從觀察的場景發(fā)射的IR輻射。這種對準(zhǔn)，或補(bǔ)償，可以在熱成像布置10的處理器13中，或者在集成在熱成像布置10的任何部件中或與其耦合的另一處理器中，執(zhí)行。
[0274]根據(jù)實施例，把對準(zhǔn)的IR圖像呈現(xiàn)到觀察的場景上包括把對準(zhǔn)的IR圖像傳送到可見光投影系統(tǒng)22并且利用可見光投影系統(tǒng)22把對準(zhǔn)的IR圖像投影到觀察的場景上。
[0275]根據(jù)備選實施例，把對準(zhǔn)的IR圖像呈現(xiàn)到觀察的場景上包括把IR圖像傳送到可見光投影系統(tǒng)22、利用集成在可見光投影系統(tǒng)22中或與其耦合的處理器對準(zhǔn)IR圖像，并且利用可見光投影系統(tǒng)22把對準(zhǔn)的IR圖像投影到觀察的場景上。
[0276]在一種實施例中，可見光投影系統(tǒng)22的FOV完全包括在IR成像系統(tǒng)18的FOV中。根據(jù)這種實施例，把IR圖像對準(zhǔn)到檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射包括基于像素位移dpix 11；和FOVpraj獲得IR圖像中對應(yīng)于FOVpraj的部分，例如，通過從IR圖像選擇、裁剪或切割所述部分。
[0277]根據(jù)一種實施例，可見光投影系統(tǒng)22的FOV只部分重疊IR成像系統(tǒng)18的F0V。根據(jù)這種實施例，把IR圖像對準(zhǔn)到檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射包括獲得IR圖像中位于兩個系統(tǒng)的FOV的重疊部分之內(nèi)的部分。
[0278]根據(jù)一種實施例，把IR圖像對準(zhǔn)到檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射還包括獲得對應(yīng)檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射滿足條件的IR圖像的部分，其中的條件是例如高于閾值、低于閾值或者在區(qū)間內(nèi)。
[0279]根據(jù)一種實施例，把IR圖像對準(zhǔn)到檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射還包括基于由熱成像布置(10)的操作人員利用IR成像系統(tǒng)的輸入特征指示的區(qū)域，或者基于在處理器13中實現(xiàn)的對象檢測特征，獲得IR圖像的部分，從而把IR圖像的部分檢測為對象。
[0280]根據(jù)圖2中說明的實施例，可見光成像系統(tǒng)14具有最大F0V，IR成像系統(tǒng)18具有第二大FOV并且投影系統(tǒng)22具有最小F0V。但是，依賴于諸如價格、性能和終端客戶需求之類的條件，F(xiàn)OV尺寸的任何其它關(guān)系都是可以想到的。
[0281]自調(diào)節(jié)
[0282]根據(jù)另一種實施例，熱成像布置是自調(diào)節(jié)或自對準(zhǔn)的，或者換句話說在操作中自我調(diào)節(jié)或?qū)?zhǔn)。
[0283]在操作中，根據(jù)實施例，熱成像布置通過以下與從觀察的現(xiàn)實世界場景發(fā)射的IR輻射對準(zhǔn)地產(chǎn)生到觀察的現(xiàn)實世界場景上的可見光投影:利用熱成像布置的IR成像系統(tǒng)的IR傳感器接收從觀察的現(xiàn)實世界場景發(fā)射的IR輻射；把接收到的IR輻射轉(zhuǎn)換成形式為IR圖像的可見表示；獲得或取得從熱成像布置到觀察的一個或多個對象或觀察的現(xiàn)實世界場景的距離ζ ;確定像素位移(Jpix vis ;把像素位移dpix vis轉(zhuǎn)換成像素位移dpix IE ;通過補(bǔ)償像素位移dpix IK來對準(zhǔn)IR圖像；并且把對準(zhǔn)的IR圖像投影到觀察的現(xiàn)實世界場景上，由此與從觀察到現(xiàn)實世界場景發(fā)射的IR輻射對準(zhǔn)地獲得IR圖像到觀察的現(xiàn)實世界場景上的呈現(xiàn)。
[0284]根據(jù)實施例，一邊的可見光投影系統(tǒng)22分別與另一邊的可見光成像系統(tǒng)14和IR成像系統(tǒng)18之間的視差距離和定點誤差都是未知的，因為可見光投影系統(tǒng)22是與其它光學(xué)系統(tǒng)14、18物理地分開的部件，離光學(xué)系統(tǒng)14、18有未知且不恒定的距離。這種實施例在圖1C中示出并且以上在部分“獨(dú)立部件實施例”中進(jìn)一步描述。
[0285]在操作過程中的這種自調(diào)節(jié)、自對準(zhǔn)或?qū)?zhǔn)期間，以下參數(shù)從生產(chǎn)得知:可見光成像系統(tǒng)14和IR成像系統(tǒng)18之間的視差距離和定點誤差；可見光成像系統(tǒng)14的視場(FOVvis) ;IR成像系統(tǒng)18的視場(FOVik);以及利用可見光成像系統(tǒng)14捕捉的圖像和利用IR成像系統(tǒng)18捕捉的圖像的圖像坐標(biāo)之間的變換，或映射函數(shù)，f (ζ)，該函數(shù)是到觀察的現(xiàn)實世界場景的距離ζ的函數(shù)。根據(jù)實施例，自對準(zhǔn)的目的是估計視差距離、定點誤差和投影系統(tǒng)22的視場(FOVpraj)，以便能夠進(jìn)行熱成像布置的不同光學(xué)系統(tǒng)的對準(zhǔn)。
[0286]參考圖4B，說明了方法的實施例。步驟410、420、430、440、450、470和480對應(yīng)于以上關(guān)于圖4B給出的相同步驟。自調(diào)節(jié)的實施例還包括在圖6中說明的以下步驟:
[0287]步驟610:利用以上在等式3中示出的、從生產(chǎn)得知的可見光成像系統(tǒng)14捕捉的圖像和利用IR成像系統(tǒng)18捕捉的圖像的圖像坐標(biāo)之間的變換或映射函數(shù)，把由可見光投影系統(tǒng)22投影的光和由可見光成像系統(tǒng)14捕捉的圖像之間X和y方向計算出的像素位移(dx(pix vis)，dy(pix vis))，轉(zhuǎn)換成由可見光投影系統(tǒng)22投影的光和由IR成像系統(tǒng)18捕捉的圖像之間X和y方向的像素位移(dx
(pix IR)，dy (pix IR))，。
[0288]步驟620:與從觀察的現(xiàn)實世界場景接收到的IR輻射對準(zhǔn)地呈現(xiàn)，或投影，可見光。
[0289]根據(jù)實施例，步驟620包括把形式為IR圖像信號的IR圖像從處理器13傳送到可見光投影系統(tǒng)22，由此可見光投影系統(tǒng)22的投影儀29把重新采樣的IR圖像數(shù)據(jù)投影到觀察的現(xiàn)實世界場景上。由此，IR圖像數(shù)據(jù)與觀察的現(xiàn)實世界場景對準(zhǔn)地投影，換句話說，IR圖像數(shù)據(jù)在對應(yīng)檢測到的IR輻射信號從其發(fā)射的方向中投影。
[0290]與已經(jīng)在生產(chǎn)中校準(zhǔn)或者在操作期間自校準(zhǔn)的熱成像布置形成對比，上述自對準(zhǔn)不導(dǎo)致熱成像布置的校準(zhǔn)。相反，自對準(zhǔn)，或自調(diào)節(jié)，是在操作期間通過步驟610的轉(zhuǎn)換或映射持續(xù)執(zhí)行的。
[0291]根據(jù)實施例，上述校準(zhǔn)被執(zhí)行多于一次，例如兩次或三次，以便確保適當(dāng)?shù)恼{(diào)節(jié)。
[0292]投影到不平的表面上
[0293]在圖2，觀察的現(xiàn)實世界場景被說明為平的表面200。但是，IR成像系統(tǒng)10的用戶分析的一個或多個對象或者觀察的現(xiàn)實世界場景很少是由與可見光投影儀22的光軸完美正交的平表面組成的。
[0294]在圖3A中，示出了在不與可見光投影儀22的光軸正交的表面上使用的IR成像系統(tǒng)的光學(xué)系統(tǒng)。圖3A的表面關(guān)于可見光投影系統(tǒng)22的光軸在一個維度中傾斜。但是，該表面也可以關(guān)于可見光投影系統(tǒng)22的光軸在兩個維度中傾斜。在IR成像系統(tǒng)10的使用過程中，這將例如涉及操作人員使用設(shè)備10把檢測到的IR輻射信息的可見表示投影到被調(diào)查的發(fā)熱地板上。由于操作人員站在地板上，因此這使得他或她難以把設(shè)備10保持成使投影系統(tǒng)22的光軸與地板正交。
[0295]這種示例性實施例在圖3C中進(jìn)一步說明，其中，以在兩個維度中傾斜的方向，作為例子是坐標(biāo)系統(tǒng)330的X和z方向，投影系統(tǒng)22的光軸0A(圖中未示出)斜著落在被調(diào)查的表面中，在這個例子中是地板310。
[0296]根據(jù)以下進(jìn)一步描述的方法，不平表面310的例子在圖3B中示出，對其也可以有利地使用本發(fā)明的不同實施例，尤其是對于其中到觀察的現(xiàn)實世界場景的幾個距離如下所述被取得的本發(fā)明實施例。圖3B的不平表面310是這種表面可能看起來像什么樣子的一個例子。由于表面是現(xiàn)實世界對象的表面，因此任何3D形狀都是可能的，包括平表面部分、彎曲部分和/或浮雕部分的任意組合。
[0297]在圖3A和3B中，示出了具有光軸OA和有角度V的FOV的光學(xué)系統(tǒng)300。在圖3A和3B中只示出了一個光學(xué)系統(tǒng)，而不是如圖2中所示的全部三個光學(xué)系統(tǒng)。這僅僅是為了繪圖的簡化。在以下的解釋中，光學(xué)系統(tǒng)300可以交替地代表可見光成像系統(tǒng)光學(xué)系統(tǒng)14、IR成像系統(tǒng)18或者可見光投影儀22。
[0298]距離映射
[0299]如以上在步驟512中描述的，聯(lián)系圖5，多于一個距離值，S卩，從熱成像布置10到觀察的現(xiàn)實世界場景中多于一個點的多個距離可以被取得或計算并轉(zhuǎn)變成距離圖，其中距離圖中每個值對應(yīng)于取得的從熱成像布置10到觀察的場景中的一個點的距離值。該距離圖也可以被稱為距離圖像。
[0300]根據(jù)實施例，距離圖使IR圖像的可見表示能夠投影到觀察的現(xiàn)實世界場景上，以便與包括在觀察的現(xiàn)實世界場景中離熱成像布置(10)處于不同距離或深度的一個或多個對象對準(zhǔn)，因為，依賴于距離圖，對準(zhǔn)的IR圖像的每個投影像素可以適于在正確的距離被投影。
[0301]根據(jù)示例性實施例，依賴于距離圖和預(yù)設(shè)的條件，通過利用變化的密度適配對準(zhǔn)的IR圖像的每個投影像素，IR圖像作為可見光圖案投影到觀察的現(xiàn)實世界場景上，與包括在觀察的現(xiàn)實世界場景中離熱成像布置(10)處于不同距離的一個或多個對象對準(zhǔn)。例如，如果距離圖中取得的到像素要投影到其上的一個或多個對象或觀察的現(xiàn)實世界場景的點i的距離Zi超過預(yù)設(shè)的閾值，則熱成像布置可以適于更稀疏地投影像素。以這種方式，為觀察的現(xiàn)實世界場景中靠近熱成像布置10的投影部分提供更詳細(xì)的投影。或者，如果距離Zi超過預(yù)設(shè)的閾值，則熱成像布置10可以代替地適于更密集地投影像素，由此對觀察的現(xiàn)實世界場景中遠(yuǎn)離熱成像布置10的投影部分提供更詳細(xì)的投影。根據(jù)第三種示例性實施例，當(dāng)距離Zi在某個區(qū)間之內(nèi)時，熱成像布置10可以適于更稀疏或密集地投影像素。可以有一個或多個區(qū)間和/或閾值。區(qū)間和/或閾值可以預(yù)定義并存儲在熱成像布置10的存儲器15中或者由熱成像布置10的操作人員利用包括在與熱成像布置10的接口介質(zhì)21通信耦合的一個或多個控制設(shè)備19中的輸入特征選擇并輸入。
[0302]為了實現(xiàn)上述投影適配，根據(jù)實施例，依賴于描述要投影的像素分布的預(yù)定義或操作人員輸入的一個或多個區(qū)間間隔、一個或多個閾值或其它值，處理器13的圖像處理特征可以重新采樣IR圖像數(shù)據(jù)。在執(zhí)行IR圖像數(shù)據(jù)的重新采樣之后，重新采樣的IR圖像以IR圖像信號的形式從處理器傳送到可見光投影系統(tǒng)22。可見光投影系統(tǒng)22的投影儀29把重新采樣的IR圖像數(shù)據(jù)投影到觀察的現(xiàn)實世界場景上。由此，IR圖像數(shù)據(jù)與觀察的現(xiàn)實世界場景對準(zhǔn)地投影，換句話說，IR圖像數(shù)據(jù)在對應(yīng)檢測出的IR輻射信息從其發(fā)射的方向中投影。
[0303]根據(jù)示例性實施例，依賴于距離圖，通過適配具有變化尺寸的對準(zhǔn)IR圖像的每個投影像素，IR圖像作為可見光圖案與觀察的現(xiàn)實世界場景中所包括的離熱成像布置10處于不同距離的一個或多個對象對準(zhǔn)地投影到觀察的現(xiàn)實世界場景上。使得投影儀29能夠把更大的像素投影到觀察的現(xiàn)實世界場景中被發(fā)現(xiàn)處于由距離圖表示的離IR成像系統(tǒng)10更大距離，即，離操作人員更大距離，的點上，并且當(dāng)檢測到的距離更小時，是更小的或正常尺寸的像素。根據(jù)另一種實施例，投影儀還適于，作為檢測到的到觀察的現(xiàn)實世界場景的距離的函數(shù)，增加/減小投影的像素的尺寸，例如，具有線性依賴性。
[0304]以這種方式，當(dāng)在觀察的現(xiàn)實世界場景中位于離熱成像布置10不同距離的對象處投影時，對熱成像布置10的操作人員來說，像素看起來尺寸將更相似。特別地，通過要投影的像素的適配后的頻率(稀疏或密集)和/或振幅(小或大)，使得到不平和/或與可見光投影儀的光軸不正交的表面上能夠有對準(zhǔn)的投影。例如，如果操作人員把IR成像系統(tǒng)10指向操作人員站在其上的發(fā)熱地板或者指向操作人員前面建筑物的墻壁，則有可能該表面將不與可見光投影系統(tǒng)22的光軸正交。
[0305]如上所述，根據(jù)不同的示例性實施例，投影儀22可以包括激光投影儀、液晶顯示器(LCD)、數(shù)字光處理器(DLP)投影儀或者本領(lǐng)域中已知的任何其它合適類型的投影儀。
[0306]根據(jù)有些實施例，激光投影儀的使用會是有利的選擇，因為激光投影儀具有高景深，這在不平的表面上給出好的投影結(jié)果。
[0307]本文中所使用的用于投影儀的不同等效術(shù)語包括可見光投影儀、可見光圖案投影儀、可見圖像/成像投影儀，從這些術(shù)語，投影儀的目的和功能應(yīng)當(dāng)很容易理解。
[0308]投影的可見光圖案的檢測
[0309]如以上提到的，可見光投影儀22投影可見光，其中可見光可以是在由可見光成像系統(tǒng)14捕捉的圖像中檢測到的區(qū)域或預(yù)定可識別特征的形式，例如符號或圖案的形式。投影可以包括FOVpraj中所包括的全部或部分像素，并且可以具有或者不具有人或計算機(jī)可識別的形式。為了簡化，要檢測的投影的可見光在下面被描述為圖案或符號。
[0310]圖像中符號或圖案的檢測可以利用本領(lǐng)域中本身已知的任何合適的檢測方法來執(zhí)行，例如特征提取、模板匹配、分割、邊緣檢測、薄化、相似性測量、遮蔽、強(qiáng)度閾值化或過濾。
[0311]根據(jù)非計算昂貴的示例性實施例，觀察的現(xiàn)實世界場景的第一和第二圖像是利用可見光成像系統(tǒng)14緊密相繼捕捉的，同時可見光投影系統(tǒng)22在短時間內(nèi)“閃爍”預(yù)定的可識別特征，例如以符號或圖案的形式。例如，在第二圖像被捕捉之前，預(yù)定的符號或圖案利用可見光投影儀22投影到觀察的現(xiàn)實世界場景上，其中可見光成像系統(tǒng)14的FOV至少部分地與可見光投影儀22的FOV重疊。由此，第二圖像包括基本上與第一圖像相同的觀察的現(xiàn)實世界場景，但是增加了投影的圖案。根據(jù)這種實施例，控制投影系統(tǒng)22激活的處理器13把投影和可見光成像系統(tǒng)14執(zhí)行的圖像捕捉同步。這使得可見光成像系統(tǒng)14能夠捕捉兩個連續(xù)的幀，其中一幀包括疊加到觀察的現(xiàn)實世界場景上的投影符號或圖案的至少部分，而另一幀包括觀察的現(xiàn)實世界場景的相同視圖，但沒有投影。通過從第二圖像減去第一圖像，獲得包括檢測到的符號或圖案的差異圖像。如果觀察的現(xiàn)實世界場景本身當(dāng)中包含更多信息，或“噪聲”，則這種示例性圖案提取方法可以例如有利地使用。
[0312]警報功能
[0313]根據(jù)實施例，本文所述的本發(fā)明的不同方面可以提供警報，由此在滿足警報條件時通知用戶或向用戶警報，例如，指示檢測到某種可能的異常。警報可以是用戶可見的或者可聽的。
[0314]根據(jù)其中警報可見的實施例，如果滿足一個或多個以下標(biāo)準(zhǔn)，則投影系統(tǒng)22可以被例如處理器13控制成把對準(zhǔn)的可見光投影到觀察的現(xiàn)實世界場景上:觀察的現(xiàn)實世界場景的一個或多個部分具有高于預(yù)設(shè)閾值限制的測量值；觀察的現(xiàn)實世界場景的一個或多個部分具有低于預(yù)設(shè)閾值限制的測量值；觀察的現(xiàn)實世界場景的一個或多個部分具有在預(yù)設(shè)區(qū)間內(nèi)的測量值；或者觀察的現(xiàn)實世界場景的一個或多個部分具有在預(yù)設(shè)區(qū)間之外的測量值。
[0315]根據(jù)實施例，測量值可以關(guān)于溫度或熱信息、效率或功率(W，ff/m2)、濕度或水分，例如作為百分比來指示的。
[0316]根據(jù)實施例，以上提到的標(biāo)準(zhǔn)是警報標(biāo)準(zhǔn)，要提醒用戶已經(jīng)檢測到可能的偏離或異常。作為例子，標(biāo)準(zhǔn)可以是檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射的全部或部分高于預(yù)定義的閾值。
[0317]根據(jù)實施例，用于控制投影的一個或多個標(biāo)準(zhǔn)可以由用戶通過例如利用一個或多個控制設(shè)備19的輸入來預(yù)設(shè)或選擇。
[0318]根據(jù)實施例，投影系統(tǒng)22被控制成通過以下提供警報:
[0319]-如果投影儀已經(jīng)在投影:閃爍、增加亮度、調(diào)節(jié)投影的可見光的投影顏色；和/或只把可見光投影到觀察的現(xiàn)實世界場景中滿足所述一個或多個標(biāo)準(zhǔn)的一個或多個部分上；或者
[0320]-如果投影儀不在投影:開始把可見光投影到觀察的現(xiàn)實世界場景中滿足所述一個或多個標(biāo)準(zhǔn)的一個或多個部分上或者投影到整個觀察的現(xiàn)實世界場景上，
[0321]由此提醒用戶已經(jīng)檢測到可能的偏離或異常。
[0322]根據(jù)不同的實施例，警報可以通過可見光投影儀系統(tǒng)22的使用來提供，例如，當(dāng)滿足以上的一個或多個報警條件時，如果可見光投影系統(tǒng)22還沒有投影，則通過控制可見光投影系統(tǒng)22開始投影，或者，如果它已經(jīng)投影到觀察的現(xiàn)實世界場景上，則開始閃光或閃爍。
[0323]換句話說，根據(jù)實施例，可見光投影儀系統(tǒng)22可以被控制成通過以下提供警報:
[0324]-如果投影系統(tǒng)22已經(jīng)在投影:閃爍、增加亮度、調(diào)節(jié)投影顏色和/或只把可見光投影到圖像中滿足所述一個或多個標(biāo)準(zhǔn)的一個或多個部分上；或者
[0325]-如果投影系統(tǒng)22不在投影:開始把可見光投影到圖像中滿足所述一個或多個標(biāo)準(zhǔn)的一個或多個部分上或者投影到整個觀察的場景上，由此提醒用戶已經(jīng)檢測到可能的偏離或異常。
[0326]根據(jù)其它實施例，通過開始把光投影或閃爍到與報警條件有關(guān)的被識別區(qū)域或者與該被識別區(qū)域非常近的與該被識別區(qū)域有關(guān)的區(qū)域上，可見光投影系統(tǒng)22可以適于突出那個被識別區(qū)域。根據(jù)不同的實施例，被投影的可見光可以包括任何合適顏色、顏色范圍、灰度級范圍和/或強(qiáng)度的光并且以任何合適的尺寸、形狀和/或圖案呈現(xiàn)。
[0327]根據(jù)另一種實施例，熱成像系統(tǒng)10可以包括一個或多個揚(yáng)聲器單元并且適于提供形式為可聽信號的警報。
[0328]更多實施例
[0329]在一種實施例中，如果可見光投影儀22把可見光圖案投影到應(yīng)當(dāng)焦點對準(zhǔn)的某個對象上，則取得的距離參數(shù)ζ對應(yīng)于焦距。因此，這個信息可以用于熱成像布置10的精確聚焦。
[0330]根據(jù)示例性實施例，可見光圖像投影儀(可見光圖案投影儀)22是激光投影設(shè)備。激光投影設(shè)備是沒有焦點的，這意味著對焦透鏡具有固定在其超焦距的焦點。不是用確定正確焦距并把透鏡設(shè)置到那個焦點的方法，無焦點的透鏡依賴于景深產(chǎn)生可接受清晰度的圖像。因此，激光投影設(shè)備不需要聚焦。根據(jù)其它示例性實施例，根據(jù)條件，任何其它適當(dāng)類型的投影設(shè)備都可以使用。
[0331]根據(jù)實施例，提供了具有處理器的計算機(jī)系統(tǒng)，該處理器適于執(zhí)行以上給出的實施例的任何步驟或功能。
[0332]根據(jù)本發(fā)明的實施例，提供了計算機(jī)可讀介質(zhì)，其上存儲用于執(zhí)行上述任何實施例的方法的非暫時性信息。
[0333]根據(jù)更多實施例，提供了計算機(jī)可讀介質(zhì)，其上存儲用于執(zhí)行上述任何方法實施例的非暫時性信息。
[0334]根據(jù)實施例，用戶可以捕捉觀察的現(xiàn)實世界場景的可見光圖像，同時把可見光投影到觀察的現(xiàn)實世界場景上，與從觀察的現(xiàn)實世界場景發(fā)射的IR輻射對準(zhǔn)，并且保存捕捉到的圖像用于以后觀看或用于傳送到另一處理單元，諸如計算機(jī)，供將來分析和存儲。
[0335]在備選實施例中，所公開的對準(zhǔn)方法可以由諸如通信耦合到熱成像布置的PC和/或?qū)ｉT適于執(zhí)行本發(fā)明方法步驟的FPGA-單元和/或包含根據(jù)聯(lián)系圖2描述的通用處理單元2的計算設(shè)備來實現(xiàn)。計算設(shè)備還可以包括存儲器15和/或顯示單元3。
[0336]更多優(yōu)點
[0337]根據(jù)本文所述本發(fā)明的實施例，可見光到觀察的現(xiàn)實世界場景上的投影是在現(xiàn)場實時地或者近乎實時地(實況)，或者換句話說是實況，執(zhí)行的，由此使用戶更容易解釋和分析觀察的現(xiàn)實世界場景，因為在觀察的現(xiàn)實世界場景上向用戶直接呈現(xiàn)了相關(guān)信息。由于可見光信息，包括從觀察的現(xiàn)實世界場景接收到的IR輻射的可見表示，實時地或者近乎實時地(實況)投影到所述觀察的現(xiàn)實世界場景上，因此用戶不需要為了關(guān)聯(lián)接收到的IR輻射信息與他或她在觀察的現(xiàn)實世界場景中看到的內(nèi)容而把目光從觀察的現(xiàn)實世界場景轉(zhuǎn)向別處。此外，根據(jù)本發(fā)明的實施例，可見光投影到觀察的現(xiàn)實世界場景上，與觀察的現(xiàn)實世界場景對準(zhǔn)，或者換句話說與從觀察的現(xiàn)實世界場景發(fā)射的IR輻射對準(zhǔn)，由此進(jìn)一步幫助用戶把投影的可見光信息和觀察的現(xiàn)實世界場景關(guān)聯(lián)并且還方便觀察的/被調(diào)查的觀察的現(xiàn)實世界場景的解釋和分析。
[0338] 根據(jù)其中附加信息投影到觀察的現(xiàn)實世界場景上的實施例，附加信息還方便對觀察的或被調(diào)查的觀察的現(xiàn)實世界場景的解釋和分析。此外，本發(fā)明的實施例使得投影的附加信息與觀察的現(xiàn)實世界場景對準(zhǔn)地和/或按比例投影到觀察的現(xiàn)實世界場景上。如上給出的附加信息可以幫助用戶把從觀察的現(xiàn)實世界場景接收到的IR輻射的投影的可見光表示關(guān)聯(lián)到他/她前面的觀察的現(xiàn)實世界場景，其中附加信息有可能是由用戶利用集成在熱成像布置10當(dāng)中或耦合到其的一個或多個交互設(shè)備選擇的。例如，附加信息可以包括在相關(guān)位置投影到觀察的現(xiàn)實世界場景上的附加的實測或計算數(shù)據(jù)，諸如一個或多個溫度、一個或多個水分等級、發(fā)射率和/或效率/功率(W或W/m2)。
【權(quán)利要求】
1.一種通過利用包括紅外線(IR)成像系統(tǒng)(18)、可見光成像系統(tǒng)(14)和可見光投影系統(tǒng)(22)的熱成像布置(10)，將基于從觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射的紅外線(IR)輻射信息的以及附加信息的可見表示呈現(xiàn)在所述觀察的現(xiàn)實世界場景上，來使得能夠?qū)λ鲇^察的現(xiàn)實世界場景進(jìn)行更容易的解釋和分析的方法，該方法包括: -基于檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射來捕捉紅外線(IR)輻射信息； -創(chuàng)建所述檢測到的紅外線(IR)輻射信息的可見表示； -把所述檢測到的紅外線(IR)輻射信息的所述可見表示對準(zhǔn)到檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射； -依賴于從預(yù)定源接收的信號，創(chuàng)建附加信息的可見表示； -創(chuàng)建組合的紅外線(IR)圖像，該組合的紅外線(IR)圖像包括所述檢測到的紅外線(IR)輻射信息的所述對準(zhǔn)的可見表示和附加信息的所述可見表示 '及 -通過把所述組合的紅外線(IR)圖像投影到所述觀察的現(xiàn)實世界場景上來呈現(xiàn)它，其中包括在所述紅外線組合(IR)圖像中的檢測到的紅外線(IR)輻射信息的所述可見表示與所述檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的IR輻射對準(zhǔn)地投影。
2.如權(quán)利要求1所述的方法，其中所述預(yù)定源包括以下的選擇:用戶輸入；處理器；存儲器；傳感器；和/或測量設(shè)備。
3.如前面任何一項權(quán)利要求所述的方法，還包括取得從熱成像布置(10)到觀察的場景的距離z。
4.如權(quán)利要求3所述的方法，還包括基于取得的距離z計算觀察的場景中的至少一個距離和/或面積。
5.如權(quán)利要求3或4所述的方法，其中創(chuàng)建所述紅外線(IR)圖像包括，依賴于取得的距離z或者計算出的至少一個距離和/或面積，確保附加信息的所述可見表示將按比例投影到所述場景上，其中確保包括把投影的光與所述檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的IR輻射對準(zhǔn)。
6.如前面任何一項權(quán)利要求所述的方法，其中所述附加信息包括長度測量信息，從而使得長度測量信息按比例投影到觀察的場景上。
7.如權(quán)利要求6所述的方法，其中所述長度測量信息作為附加信息以按比例投影到觀察的場景上的標(biāo)尺的形式投影到觀察的場景上。
8.如前面任何一項權(quán)利要求所述的方法，其中所述附加信息包括指導(dǎo)幫助網(wǎng)格或網(wǎng)格線。
9.如前面任何一項權(quán)利要求所述的方法，其中所述附加信息包括朝向信息，從而使用戶能夠解釋觀察的場景的部分的朝向。
10.如權(quán)利要求9所述的方法，其中所述朝向信息作為附加信息以投影到觀察的場景上的水平儀或氣泡水平儀的形式投影到觀察的場景上。
11.如前面任何一項權(quán)利要求所述的方法，其中所述附加信息是相關(guān)的溫度。
12.如前面任何一項權(quán)利要求所述的方法，其中所述附加信息是文字/文本、略圖和/或繪圖。
13.如前面任何一項權(quán)利要求所述的方法，其中所述附加信息是通過觸摸功能的輸入。
14.如前面任何一項權(quán)利要求所述的方法，其中所述可見光投影系統(tǒng)包括激光投影儀。
15.如前面任何一項權(quán)利要求所述的方法，其中所述附加信息包括在所述熱成像布置(10)的顯示器上的圖形用戶接口(GUI)中所呈現(xiàn)的圖形元素。
16.如權(quán)利要求15所述的方法，還包括，通過集成在所述熱成像布置(10)中或者耦合到其的控制設(shè)備(19)，使得用戶能夠控制什么在所述IR成像設(shè)備的顯示器上的⑶I中呈現(xiàn)。
17.如權(quán)利要求15或16中任何一項所述的方法，其中所述圖形元素代表以下的選擇: -作為溫度、濕度、發(fā)射率或效應(yīng)(W或W/m2)給出的測量值； -用于選擇感興趣的一個或多個點和/或區(qū)域的一個或多個點和/或區(qū)域標(biāo)記； -用于用戶輸入的一個或多個輸入域；及 -一個或多個可選擇的菜單項。
18.如前面任何一項權(quán)利要求所述的方法，其中所述紅外線(IR)圖像實時地或者實況地，即，近乎實時地，投影到所述場景上。
19.如前面任何一項權(quán)利要求所述的方法，還包括，如果滿足以下一個或多個警報標(biāo)準(zhǔn)，則控制可見光投影系統(tǒng)(22)以提供警報: -觀察的現(xiàn)實世界場景的一個或多個部分具有高于預(yù)設(shè)閾值限制的測量值； -觀察的現(xiàn)實世界場景的一個或多個部分具有低于預(yù)設(shè)閾值限制的測量值； -觀察的現(xiàn)實世界場景的一個或多個部分具有在預(yù)設(shè)區(qū)間之內(nèi)的測量值； -觀察的現(xiàn)實世界場景的一個或多個部分具有在預(yù)設(shè)區(qū)間之外的測量值。
20.如權(quán)利要求19所述的方法，其中可見光投影系統(tǒng)(22)被控制成通過以下提供警報: -如果投影儀已經(jīng)在投影:閃爍、增加亮度和/或調(diào)節(jié)投影的可見光的投影顏色；和/或只把可見光投影到場景中滿足所述一個或多個標(biāo)準(zhǔn)的一個或多個部分上；或者 -如果投影儀不在投影:開始把可見光投影到場景中滿足所述一個或多個標(biāo)準(zhǔn)的一個或多個部分上或者投影到整個觀察的現(xiàn)實世界場景上， 由此提醒用戶。
21.如前面任何一項權(quán)利要求所述的方法，還包括基于可見光投影到其上的觀察的場景的部分的亮度等級和/或顏色值來調(diào)節(jié)所投影的可見光的亮度等級和/或顏色值。
22.如前面任何一項權(quán)利要求所述的方法，還包括使得用戶能夠選擇不同的投影模式，其中投影模式包括以下的選擇: -投影整個觀察的現(xiàn)實世界場景的可見光表示； -投影觀察的現(xiàn)實世界場景中所包括的一個或多個對象的可見光表示； -投影觀察的現(xiàn)實世界場景中所包括的一個或多個對象的選定部分的可見光表示； -把標(biāo)記的可見光表示投影到觀察的現(xiàn)實世界場景上； -把標(biāo)記的可見光表示投影到熱的點或?qū)ο笊?；? -把標(biāo)記的可見光表示投影到冷的點或?qū)ο笊稀?br> 23.如前面任何一項權(quán)利要求所述的方法，其中多于一個距離被取得并且所述多于一個距離用來創(chuàng)建距離圖或距離圖像。
24.如權(quán)利要求23所述的方法，其中所述距離圖或距離圖像的距離用來在不同的深度對準(zhǔn)IR圖像的可見表示與觀察的現(xiàn)實世界場景，因為，依賴于距離圖，每個投影的像素可以適于以一距離投影。
25.如權(quán)利要求23或24所述的方法，還包括:依賴于距離圖或距離圖像的距離以及預(yù)設(shè)的條件，利用變化的密度投影像素。
26.如前面任何一項權(quán)利要求所述的方法，其中所述熱成像布置還包括可見光成像系統(tǒng)(14)并且其中所述對準(zhǔn)包括使用所述可見光成像系統(tǒng)。
27.一種通過基于從觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射，將基于從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射的紅外線(IR)輻射信息和附加信息的可見表示呈現(xiàn)在所述現(xiàn)實世界場景上來使得能夠?qū)λ鲇^察的現(xiàn)實世界場景進(jìn)行更容易的解釋和分析的熱成像布置(10)，其中包括在所述組合的紅外線(IR)圖像中的紅外線(IR)輻射信息的可見表示與從所述觀察的現(xiàn)實世界場景發(fā)射的所述紅外線(IR)輻射對準(zhǔn)地投影，該布置(10)包括: -紅外線(IR)成像系統(tǒng)(18)，用于根據(jù)第一視場檢測從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射； -可見光投影系統(tǒng)(22)，適于根據(jù)第二視場把可見光投影到所述觀察的現(xiàn)實世界場景上，其中第二視場至少部分地重疊第一視場； 處理器(13)，適于: 1.創(chuàng)建所述檢測到的紅外線(IR)輻射信息的可見表示； i1.把所述檢測到的紅外線(IR)輻射信息的所述可見表示對準(zhǔn)到檢測到的從所述觀察的現(xiàn)實世界場景發(fā)射的紅外線(IR)輻射； ii1.依賴于從預(yù)定源接收的信號，創(chuàng)建附加信息的可見表示'及 iv.創(chuàng)建組合的紅外線(IR)圖像，包括所述檢測到的紅外線(IR)輻射信息的所述對準(zhǔn)的可見表示和附加信息的所述可見表示； -其中所述可見光投影系統(tǒng)(22)還適于通過把所述組合的紅外線(IR)圖像投影到所述觀察的現(xiàn)實世界場景上來呈現(xiàn)它，其中包括在所述組合的紅外線(IR)圖像中的檢測到的紅外線(IR)輻射信息的可見表示與所述檢測到的從所述觀察到的現(xiàn)實世界場景發(fā)射的IR輻射對準(zhǔn)地投影。
28.如權(quán)利要求26所述的布置，還包括可見光成像系統(tǒng)(14)，適于根據(jù)第三視場捕捉所述觀察的現(xiàn)實世界場景的可見光圖像，其中第三視場至少部分地重疊第一和/或第二視場；并且所述處理器適于利用所述可見光成像系統(tǒng)對準(zhǔn)。
29.如權(quán)利要求27所述的布置，其中處理器(13)還包括用于執(zhí)行如權(quán)利要求1-26中任何一項所述的方法的步驟的特征。
30.如權(quán)利要求27-28中任何一項所述的布置，其中處理器是現(xiàn)場可編程門陣列(FPGA)或者可利用硬件描述語言(HDL)配置的另一種處理設(shè)備。
31.一種其上存儲了非暫時性信息的計算機(jī)可讀介質(zhì)，所述信息適于控制處理器執(zhí)行如權(quán)利要求1-28中所述的任何步驟或功能。
32.—種計算機(jī)程序產(chǎn)品，包括: 代碼部分，適于控制處理器執(zhí)行如權(quán)利要求1-28中所述的任何步驟或功能；和/或 配置數(shù)據(jù)，適于配置現(xiàn)場可編程門陣列(FPGA)執(zhí)行如權(quán)利要求1-28中所述的任何步驟或功能。
【文檔編號】G06T3/00GK104254869SQ201380022081
【公開日】2014年12月31日 申請日期:2013年2月28日 優(yōu)先權(quán)日:2012年2月29日
【發(fā)明者】K·斯特蘭德瑪, H·喬森 申請人:前視紅外系統(tǒng)股份公司