本發(fā)明涉及一種基于物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換方法，屬于計(jì)算機(jī)圖像處理。

背景技術(shù)：

1、隨著深度學(xué)習(xí)技術(shù)在圖像處理領(lǐng)域的迅速發(fā)展，紅外至可見光（nir2vis）轉(zhuǎn)換，已成為一個(gè)熱門研究方向，旨在將紅外（nir）圖像轉(zhuǎn)換為更加豐富和直觀的可見光（vis）圖像。該項(xiàng)技術(shù)在醫(yī)療診斷、農(nóng)業(yè)監(jiān)測(cè)、交通管理、輔助駕駛、監(jiān)控系統(tǒng)等多個(gè)領(lǐng)域中有著廣泛的應(yīng)用。

2、盡管紅外成像技術(shù)因其獨(dú)特的穿透大氣能力和不被人眼察覺的特性而被廣泛應(yīng)用，但是，紅外圖像通常缺乏對(duì)人類視覺更為直觀的色彩和細(xì)節(jié)信息，這限制了其在直觀視覺呈現(xiàn)和高級(jí)視覺任務(wù)中的應(yīng)用潛力。

3、早期的紅外至可見光轉(zhuǎn)換方法多依賴于傳統(tǒng)的圖像處理技術(shù)，如直方圖匹配和基于規(guī)則的色彩映射。這些方法往往依賴于精確的先驗(yàn)知識(shí)和大量的手工調(diào)整。隨著卷積神經(jīng)網(wǎng)絡(luò)（cnn）和生成對(duì)抗網(wǎng)絡(luò)（gan）的引入，紅外至可見光轉(zhuǎn)換的研究逐步轉(zhuǎn)向了數(shù)據(jù)驅(qū)動(dòng)的方法，這些方法通過學(xué)習(xí)大量紅外與可見光圖像對(duì)之間的映射關(guān)系來實(shí)現(xiàn)轉(zhuǎn)換。然而，這類方法面臨的主要挑戰(zhàn)之一，是如何獲取大量的、精確對(duì)齊的紅外到可見光圖像對(duì)，這在實(shí)際應(yīng)用中往往難以實(shí)現(xiàn)。

4、為了解決成對(duì)訓(xùn)練數(shù)據(jù)獲取困難的問題，一些研究人員開始探索無監(jiān)督學(xué)習(xí)方法。如循環(huán)一致性gan（cyclegan），這允許模型在沒有成對(duì)數(shù)據(jù)的情況下學(xué)習(xí)紅外到可見光圖像的轉(zhuǎn)換。盡管這類方法在一定程度上緩解了訓(xùn)練數(shù)據(jù)的限制，但轉(zhuǎn)換結(jié)果往往存在色彩偏差和細(xì)節(jié)丟失等問題。

5、盡管這些技術(shù)提升了紅外至可見光轉(zhuǎn)換的性能，但仍面臨諸多挑戰(zhàn)，包括轉(zhuǎn)換過程的物理真實(shí)性、模型的泛化能力以及對(duì)動(dòng)態(tài)光照?qǐng)鼍暗奶幚淼取Ｒ虼?，精確建模紅外和可見光之間的映射關(guān)系，并生成高質(zhì)量的可見光圖像，仍然是一個(gè)亟待解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是為了克服現(xiàn)有的紅外至可見光圖像轉(zhuǎn)換方法存在的不足和缺陷，創(chuàng)造性地提出一種基于物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換方法及系統(tǒng)。

2、本發(fā)明能夠充分利用圖像分割結(jié)果作為物體反射先驗(yàn)，通過將圖像分解為與物體無關(guān)的光照分量和物體特定的反射分量，進(jìn)而分別恢復(fù)可見光的光照和反射分量，以實(shí)現(xiàn)在各種光照條件下的高質(zhì)量紅外至可見光圖像轉(zhuǎn)換。同時(shí)，本方法還提出了一種基于物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)系統(tǒng)。

3、本發(fā)明采用以下技術(shù)方案實(shí)現(xiàn)。

4、一種基于物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換方法，包括以下步驟：

5、步驟1：構(gòu)建物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換網(wǎng)絡(luò)。

6、物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換圖像網(wǎng)絡(luò)包括圖像分解網(wǎng)絡(luò)、圖像分割網(wǎng)絡(luò)、光照估計(jì)網(wǎng)絡(luò)、反射引導(dǎo)網(wǎng)絡(luò)和圖像重建網(wǎng)絡(luò)。

7、首先，基于殘差網(wǎng)絡(luò)和自注意力的圖像分解網(wǎng)絡(luò)的目標(biāo)輸入為原始的單通道紅外圖像，目標(biāo)輸出為單通道的環(huán)境紅外光照分量和單通道的物體紅外反射分量。

8、這一分解考慮到光照作為場(chǎng)景中照射到物體上的光能，與場(chǎng)景中的物體無關(guān)。反射分量則是物體特有的，反應(yīng)物體在不同光譜波段的反射率大小，是環(huán)境無關(guān)的展示在紅外和可見光光譜范圍內(nèi)不同的反射特性。

9、具體地，圖像分解網(wǎng)絡(luò)包括殘差網(wǎng)絡(luò)模塊和自注意力網(wǎng)絡(luò)模塊。通過在網(wǎng)絡(luò)中引入殘差網(wǎng)絡(luò)模塊，能夠使網(wǎng)絡(luò)學(xué)習(xí)到更加復(fù)雜和抽象的特征表示。自注意力網(wǎng)絡(luò)模塊通過計(jì)算圖像內(nèi)部不同位置之間的關(guān)聯(lián)性，使網(wǎng)絡(luò)能夠捕捉到遠(yuǎn)距離的依賴關(guān)系，這有助于更準(zhǔn)確地分解圖像中的光照和反射特性。

10、同時(shí)，圖像分割網(wǎng)絡(luò)利用場(chǎng)景分割，對(duì)輸入的紅外圖像進(jìn)行處理，得到圖像分割結(jié)果，并作為物體反射先驗(yàn)后續(xù)引導(dǎo)恢復(fù)物體可見光反射。

11、其次，基于編碼器和解碼器架構(gòu)的光照估計(jì)網(wǎng)絡(luò)，將圖像分解網(wǎng)絡(luò)得到的紅外光照分量映射為可見光圖像的光照分量；基于自注意力的反射引導(dǎo)網(wǎng)絡(luò)，利用圖像分割網(wǎng)絡(luò)得到的物體反射先驗(yàn)，將紅外反射分量映射為可見光圖像的反射分量。

12、最后，圖像重建網(wǎng)絡(luò)通過將處理后的光照分量和反射分量進(jìn)行點(diǎn)乘操作，重建出高質(zhì)量的可見光圖像。這一過程不僅強(qiáng)調(diào)了物體反射特性在紅外至可見光轉(zhuǎn)換中的重要性，同時(shí)也增強(qiáng)了模型在不同光照條件下的適應(yīng)性和準(zhǔn)確性。

13、步驟2：使用損失函數(shù)，訓(xùn)練物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換網(wǎng)絡(luò)。

14、步驟3：用訓(xùn)練好的物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換網(wǎng)絡(luò)，將紅外圖像轉(zhuǎn)換為可見光圖像。

15、有益效果

16、本發(fā)明，對(duì)比現(xiàn)有技術(shù)，具有以下優(yōu)點(diǎn)：

17、1.本發(fā)明通過分解圖像為與物體無關(guān)的光照源分量和物體特定的反射分量，并分別處理這些分量，為理解和模擬紅外與可見光成像之間的物理差異提供了一種新的途徑。這種方法能夠有效提高模型對(duì)場(chǎng)景光照變化的適應(yīng)性，使得轉(zhuǎn)換后的可見光圖像能夠在不同環(huán)境光照條件下保持色彩和亮度的一致性，從而增強(qiáng)了圖像的自然度和觀感質(zhì)量。

18、2.通過利用先進(jìn)的分割模型作為先驗(yàn)知識(shí)，本發(fā)明能夠更準(zhǔn)確地識(shí)別和處理圖像中的各種物體和場(chǎng)景，尤其是在物體邊界和細(xì)節(jié)部分。這種基于物體感知的方法不僅提高了轉(zhuǎn)換圖像的細(xì)節(jié)還原度，而且在處理復(fù)雜場(chǎng)景時(shí)表現(xiàn)出了更好的穩(wěn)定性和準(zhǔn)確性。此外，這一方法為進(jìn)一步的圖像分析和處理提供了更為豐富和準(zhǔn)確的信息，有助于提升后續(xù)視覺任務(wù)的執(zhí)行效果，如物體識(shí)別、場(chǎng)景理解等。

19、3.通過物體反射先驗(yàn)引導(dǎo)的方法，本發(fā)明能夠在保留物體細(xì)節(jié)和紋理信息的同時(shí)，有效地彌合紅外圖像和可見光圖像之間的差異。這一方法不僅能夠提高轉(zhuǎn)換圖像的色彩準(zhǔn)確性和視覺質(zhì)量，同時(shí)也能夠在不同光照條件下保持良好的轉(zhuǎn)換效果，大大提升了轉(zhuǎn)換圖像的自然度和逼真度。

20、本發(fā)明不僅提高了紅外至可見光圖像轉(zhuǎn)換的質(zhì)量和效率，也為相關(guān)領(lǐng)域的研究和應(yīng)用提供了新的視角和工具。這些優(yōu)勢(shì)和有益效果使得本發(fā)明在醫(yī)療診斷、農(nóng)業(yè)監(jiān)測(cè)、交通管理、輔助駕駛及監(jiān)控系統(tǒng)等多個(gè)領(lǐng)域具有廣泛的應(yīng)用前景和重要意義。

技術(shù)特征：

1.一種基于物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換方法，其特征在于，包括以下步驟：步驟1：構(gòu)建物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換網(wǎng)絡(luò)，包括圖像分解網(wǎng)絡(luò)、圖像分割網(wǎng)絡(luò)、光照估計(jì)網(wǎng)絡(luò)、反射引導(dǎo)網(wǎng)絡(luò)和圖像重建網(wǎng)絡(luò)；其中，基于殘差網(wǎng)絡(luò)和自注意力的圖像分解網(wǎng)絡(luò)的目標(biāo)輸入為原始的單通道紅外圖像，目標(biāo)輸出為單通道的環(huán)境紅外光照分量和單通道的物體紅外反射分量；圖像分解網(wǎng)絡(luò)包括殘差網(wǎng)絡(luò)模塊和自注意力網(wǎng)絡(luò)模塊；圖像分割網(wǎng)絡(luò)利用場(chǎng)景分割，對(duì)輸入的紅外圖像進(jìn)行處理，得到圖像分割結(jié)果，并作為物體反射先驗(yàn)后續(xù)引導(dǎo)恢復(fù)物體可見光反射；基于編碼器和解碼器架構(gòu)的光照估計(jì)網(wǎng)絡(luò)，將圖像分解網(wǎng)絡(luò)得到的紅外光照分量映射為可見光圖像的光照分量；基于自注意力的反射引導(dǎo)網(wǎng)絡(luò)，利用圖像分割網(wǎng)絡(luò)得到的物體反射先驗(yàn)，將紅外反射分量映射為可見光圖像的反射分量；最后，圖像重建網(wǎng)絡(luò)通過將處理后的光照分量和反射分量進(jìn)行點(diǎn)乘操作，重建出高質(zhì)量的可見光圖像；步驟2：使用損失函數(shù)，訓(xùn)練物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換網(wǎng)絡(luò)；步驟3：用訓(xùn)練好的物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換網(wǎng)絡(luò)，將紅外圖像轉(zhuǎn)換為可見光圖像。

2.如權(quán)利要求1所述的一種基于物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換方法，其特征在于，步驟2中，采用紅外到可見光圖像轉(zhuǎn)換損失函數(shù)是平均絕對(duì)誤差函數(shù)，稱為loss，也叫最小絕對(duì)值偏差：其中是圖像中像素的總數(shù)，是預(yù)測(cè)結(jié)果，是真值；紅外到可見光圖像轉(zhuǎn)換網(wǎng)絡(luò)通過上述損失函數(shù)，完成端到端地訓(xùn)練優(yōu)化。

3.如權(quán)利要求1所述的一種基于物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換方法，其特征在于，步驟1中，有，其中，表示圖像分解網(wǎng)絡(luò)，為原始的單通道紅外圖像，為單通道的環(huán)境紅外光照分量，為單通道的物體紅外反射分量。

4.如權(quán)利要求1所述的一種基于物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換方法，其特征在于，得到的圖像分割結(jié)果為：其中，表示圖像分割網(wǎng)絡(luò)，為原始的單通道紅外圖像。

5.如權(quán)利要求1所述的一種基于物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換方法，其特征在于，可見光圖像的光照分量為：其中，表示光照估計(jì)網(wǎng)絡(luò)，為原始的單通道紅外圖像。

6.如權(quán)利要求1所述的一種基于物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換方法，其特征在于，可見光圖像的反射分量為：其中，表示基于自注意力的反射引導(dǎo)網(wǎng)絡(luò)，為得到的圖像分割結(jié)果，為單通道的物體紅外反射分量。

7.如權(quán)利要求1所述的一種基于物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換方法，其特征在于，可見光圖像為：其中，表示圖像重建網(wǎng)絡(luò)，為可見光圖像的反射分量，為可見光圖像的光照分量。

8.一種基于物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換系統(tǒng)，其特征在于，包括物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換網(wǎng)絡(luò)搭建模塊、圖像轉(zhuǎn)換網(wǎng)絡(luò)訓(xùn)練模塊、紅外到可見光圖像轉(zhuǎn)換推理模塊；物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換網(wǎng)絡(luò)搭建模塊，用于構(gòu)建一個(gè)能夠利用物體反射特性的深度學(xué)習(xí)網(wǎng)絡(luò)，該網(wǎng)絡(luò)能夠?qū)⒓t外圖像轉(zhuǎn)換為可見光圖像；圖像轉(zhuǎn)換網(wǎng)絡(luò)訓(xùn)練模塊用于使用預(yù)先準(zhǔn)備的紅外到可見光圖像對(duì)數(shù)據(jù)集，對(duì)構(gòu)建的轉(zhuǎn)換網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以優(yōu)化其轉(zhuǎn)換精度和效果；紅外到可見光圖像轉(zhuǎn)換推理模塊用于在訓(xùn)練完成后，利用經(jīng)過優(yōu)化的轉(zhuǎn)換網(wǎng)絡(luò)對(duì)新的紅外圖像進(jìn)行推理，實(shí)現(xiàn)從紅外圖像到可見光圖像的轉(zhuǎn)換；上述模塊之間的連接關(guān)系如下：物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換網(wǎng)絡(luò)搭建模塊的輸出端，與圖像轉(zhuǎn)換網(wǎng)絡(luò)訓(xùn)練模塊的輸入端相連；圖像換網(wǎng)絡(luò)訓(xùn)練模塊的輸出端，與紅外到可見光圖像轉(zhuǎn)換推理模塊的輸入端相連。

技術(shù)總結(jié)
本發(fā)明提出了一種基于物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換方法，屬于計(jì)算機(jī)圖像處理技術(shù)領(lǐng)域。首先構(gòu)建物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換網(wǎng)絡(luò)，然后使用損失函數(shù)訓(xùn)練物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換網(wǎng)絡(luò)。最后用訓(xùn)練好的物體反射先驗(yàn)引導(dǎo)的紅外到可見光圖像轉(zhuǎn)換網(wǎng)絡(luò)，將紅外圖像轉(zhuǎn)換為可見光圖像。本發(fā)明能夠有效提高模型對(duì)場(chǎng)景光照變化的適應(yīng)性，增強(qiáng)了圖像的自然度和觀感質(zhì)量；能夠更準(zhǔn)確地識(shí)別和處理圖像中的各種物體和場(chǎng)景，有助于提升后續(xù)視覺任務(wù)的執(zhí)行效果；能夠在保留物體細(xì)節(jié)和紋理信息的同時(shí)，有效彌合紅外圖像和可見光圖像之間的差異，提高了轉(zhuǎn)換圖像的色彩準(zhǔn)確性和視覺質(zhì)量，提升了轉(zhuǎn)換圖像的自然度和逼真度。

技術(shù)研發(fā)人員：付瑩,高云宜,聶婧,劉乾坤,高智杰
受保護(hù)的技術(shù)使用者：北京理工大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6