本發(fā)明屬于計(jì)算機(jī)視覺，涉及一種水下圖像增強(qiáng)方法，尤其是基于顏色校正和多色空間拉伸的水下圖像增強(qiáng)方法。

背景技術(shù)：

1、水下圖像處理對各類海洋資源的探索和研究具有重要意義，如海洋生物學(xué)，水下目標(biāo)檢測，自主水下航行器(auv)導(dǎo)航。然而，水下圖像一直飽受質(zhì)量退化之苦。具體來說，由于紅光在水中傳播時(shí)迅速衰減，導(dǎo)致水下圖像往往呈現(xiàn)出藍(lán)色和綠色的主色調(diào)，而失去了真實(shí)世界的色彩平衡。同時(shí)，水下環(huán)境中微懸浮粒子的存在，如泥沙、浮游生物等，會(huì)導(dǎo)致光線發(fā)生散射，使得水下圖像的對比度顯著降低，圖像細(xì)節(jié)模糊。這些問題嚴(yán)重限制了獲取有意義信息的能力，不利于水下圖像的進(jìn)一步處理。因此，水下圖像增強(qiáng)(uie)在解決這一方面發(fā)揮著重要作用。

2、近年來，針對水下圖像增強(qiáng)任務(wù)，提出了許多有效的方法。水下圖像增強(qiáng)的方法大致可以分為兩類：基于物理模型和基于深度學(xué)習(xí)的方法。基于物理模型的方法在某些特定場景下能夠展現(xiàn)出優(yōu)異的性能，但它們對于水下圖像類型的多樣性和復(fù)雜性顯得較為敏感。這意味著，在多變且復(fù)雜的水下環(huán)境中，這些物理模型的預(yù)測能力可能會(huì)受到限制?，F(xiàn)有的深度學(xué)習(xí)增強(qiáng)圖像方法可以分為基于卷積神經(jīng)網(wǎng)絡(luò)cnn和生成對抗網(wǎng)絡(luò)gan方法。相較于gan，cnn被廣泛應(yīng)用于圖像去噪、圖像去霧、圖像增強(qiáng)和圖像超分辨率等領(lǐng)域。盡管cnn網(wǎng)絡(luò)的卷積運(yùn)算因其高效處理局部特征的能力而廣受歡迎，但它也存在一個(gè)顯著的局限性：即僅聚焦于局部鄰域的信息處理，這可能導(dǎo)致全局信息的缺失。為了彌補(bǔ)這一不足，近年來注意力機(jī)制在視覺處理領(lǐng)域得到了廣泛的應(yīng)用與探索。注意力機(jī)制通過動(dòng)態(tài)地調(diào)整網(wǎng)絡(luò)對輸入數(shù)據(jù)中不同部分的關(guān)注度，使得模型能夠自動(dòng)忽略不重要的信息，而將更多的計(jì)算資源分配給關(guān)鍵信息區(qū)域。

3、當(dāng)前，多數(shù)水下圖像增強(qiáng)算法采用基于深度學(xué)習(xí)的技術(shù)，且這些算法主要在rgb顏色空間內(nèi)進(jìn)行操作。然而，rgb顏色空間本身有其局限性，它并不直接反映圖像的一些關(guān)鍵參數(shù)和特性，如對比度、飽和度和亮度等。例如：專利公開號為cn112419210a的文獻(xiàn)中公開的基于顏色校正和三區(qū)間直方圖拉伸的水下圖像增強(qiáng)方法，先對源圖像基于子區(qū)間線性變換的顏色校正方法對原始rgb濃霧圖像進(jìn)行顏色校正，采用三區(qū)間直方圖均衡化方法對源圖像分別在r、g、b通道進(jìn)行，分別將r、g、b通道圖像的像素值拉伸到0～255的范圍內(nèi)，獲取拉伸后的單通道圖像；再分別計(jì)算r、g、b通道圖像的像素值的平均像素值；通過每個(gè)像素點(diǎn)的像素值減去單通道的平均像素值作為誤差并將誤差平方；根據(jù)每個(gè)像素點(diǎn)的誤差平方的值來選取誤差平方最大的像素點(diǎn)，該點(diǎn)附近的像素值與平均像素值也會(huì)有較大的誤差，所以以該點(diǎn)為中心左右加減三倍的方差來確定三區(qū)間劃分所需要的兩個(gè)閾值，并對整個(gè)單通道直方圖劃分為三個(gè)區(qū)間；對每個(gè)r、g、b通道的子區(qū)間進(jìn)行均衡化處理獲取單通道均衡化后的圖像；最后將r、g、b通道圖像和均衡化后的r、g、b通道圖像進(jìn)行線性加權(quán)融合，獲取最終的去霧圖。該水下圖像增強(qiáng)法仍然采用的在rgb顏色空間內(nèi)進(jìn)行操作，僅能實(shí)現(xiàn)對濃霧圖像的去霧。

4、因此，為了更全面地改善水下圖像質(zhì)量，需要探索結(jié)合多種顏色空間和圖像校正技術(shù)的增強(qiáng)算法，以便更有效的優(yōu)化圖像。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的：本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺陷，提供了一種基于顏色校正和多色空間拉伸的兩階段網(wǎng)絡(luò)的水下圖像增強(qiáng)方法，結(jié)合了多種顏色空間和圖像校正技術(shù)，能更全面且有效地改善水下圖像質(zhì)量，更準(zhǔn)確地捕捉并優(yōu)化圖像的重要屬性。

2、技術(shù)方案：

3、本發(fā)明基于顏色校正和多色空間拉伸兩階段網(wǎng)絡(luò)水下圖像增強(qiáng)法包括以下步驟：

4、步驟1)：對彩色原始圖像分別進(jìn)行r，g，b通道分量的提取，利用綠色通道對紅色通道和藍(lán)色通道進(jìn)行補(bǔ)償，得到靜態(tài)的紅色通道校正圖和藍(lán)色通道校正圖

5、步驟2)：構(gòu)建改進(jìn)的u-net網(wǎng)絡(luò)，所述的改進(jìn)的u-net網(wǎng)絡(luò)包括并行運(yùn)算的混合卷積-自注意力特征提取模塊、aspp空洞空間金字塔池化層以及sffusion選擇性特征圖融合方式，將所述的彩色原始圖像輸入改進(jìn)的u-net網(wǎng)絡(luò)，使用adam優(yōu)化器訓(xùn)練改進(jìn)的u-net網(wǎng)絡(luò)，得到訓(xùn)練后的改進(jìn)的u-net網(wǎng)絡(luò)，輸出紅色通道權(quán)重映射和藍(lán)色通道權(quán)重映射

6、步驟3)：將所述的紅色通道校正圖藍(lán)色通道校正圖分別與對應(yīng)的紅色通道權(quán)重映射和藍(lán)色通道權(quán)重映射進(jìn)行點(diǎn)積相乘，分別得到紅、藍(lán)通道的動(dòng)態(tài)補(bǔ)償結(jié)果，將所述的紅、藍(lán)通道的動(dòng)態(tài)補(bǔ)償結(jié)果以及綠色通道拼接，組成彩色的rgb空間顏色校正圖像；

7、步驟4)：將所述的rgb空間顏色校正圖像分別轉(zhuǎn)為hsi空間和lab色彩空間，再對hsi空間、lab色彩空間以及rgb空間這三種顏色空間分別進(jìn)行直方圖拉伸，分別得到各自顏色空間的直方圖拉伸后的圖像，最后對這三種直方圖拉伸后的圖像均各自再轉(zhuǎn)回rgb色彩空間，將所述的轉(zhuǎn)回rgb色彩空間的三幅圖像通過通道方向拼接合并，得到一個(gè)綜合的輸入圖像；

8、步驟5)：將所述的綜合的輸入圖像輸入所述的改進(jìn)的u-net網(wǎng)絡(luò)中再次訓(xùn)練，輸出增強(qiáng)后的圖像。

9、進(jìn)一步地，所述的sffusion選擇性特征融合方式，是將上采樣后的特征圖和跳躍連接的特征圖進(jìn)行通道維度上的拼接，拼接后的特征圖經(jīng)過全局平均池化層gap生成一個(gè)全局特征向量，全局特征向量經(jīng)過多層感知機(jī)mlp處理生成選擇性權(quán)重向量；mlp由一個(gè)或多個(gè)全連接層和激活函數(shù)組成，輸出選擇性權(quán)重向量；最后將選擇性權(quán)重向量分別與上采樣后的特征圖和跳躍連接的特征圖進(jìn)行逐元素乘法，得到加權(quán)后的特征圖；將加權(quán)后的兩個(gè)特征圖進(jìn)行逐元素相加，生成最終的融合特征圖。

10、進(jìn)一步地，改進(jìn)的u-net網(wǎng)絡(luò)的初始輸入圖像大小為h*w*3的彩色圖像，一共八層，網(wǎng)絡(luò)的前半部分與后半部分分別為編碼器和解碼器；在編碼器和解碼器之間添加aspp模塊；解碼器與編碼器一樣均用同一個(gè)混合卷積-自注意力特征提取模塊；所述的混合卷積-自注意力特征提取模塊采用雙分支結(jié)構(gòu)，上分支結(jié)構(gòu)包含了兩個(gè)卷積層，每層擁有大小3×3的卷積核conv，步長為1，兩個(gè)歸一化層bn，兩個(gè)relu激活函數(shù)；下分支結(jié)構(gòu)包含一個(gè)池化層，一個(gè)top-k自注意力機(jī)制，1×1大小的卷積核以及reshape重塑形狀層用于匹配其他分支的輸出；首先對輸入特征圖進(jìn)行最大池化操作，進(jìn)行下采樣；之后分別傳入上分支和下分支模塊中；上分支為標(biāo)準(zhǔn)卷積塊，執(zhí)行3×3卷積操作，對下采樣后的特征圖進(jìn)行特征提??；對卷積后的特征圖進(jìn)行批量歸一化；下分支為top-k自注意力機(jī)制塊，對下采樣后的特征圖進(jìn)行平均池化操作，再進(jìn)一步下采樣，執(zhí)行top-k自注意力機(jī)制，最后通過reshape對特征圖進(jìn)行重塑。

11、更進(jìn)一步地，所述的aspp模塊包含四個(gè)并行的3×3卷積層，每個(gè)卷積層具有不同的空洞率，分別為1，6，12，18，將四個(gè)卷積層的輸出特征圖在通道維度上拼接形成一個(gè)綜合的特征圖，再通過一個(gè)1×1卷積層進(jìn)行處理，生成最終的輸出特征圖。

12、更進(jìn)一步地，所述的每個(gè)卷積操作和批量歸一化操作特征圖為：xi＝bn(conv(i,wci,bci,dilation＝ri,padding＝ri))，i為輸入特征圖，wci和bci分別表示第i個(gè)卷積層的權(quán)重和偏置；ri表示第i個(gè)卷積的空洞率；所述的綜合特征圖表示為：x＝concat(x1,x2,x3,x4)，經(jīng)過1×1卷積操作為：f＝conv(x,wc5,bc5)，f為aspp模塊的輸出特征圖。

13、更進(jìn)一步地，所述的top-k自注意力機(jī)制的輸入首先通過三個(gè)獨(dú)立的1×1卷積層，分別生成三個(gè)特征圖q、k和v，每個(gè)特征圖q、k、v都經(jīng)過一個(gè)3×3的深度可分離卷積操作進(jìn)一步提取特征；將特征圖q、k、v進(jìn)行reshape形狀調(diào)整，計(jì)算q和k的點(diǎn)積，獲得自注意力分?jǐn)?shù)矩陣；對自注意力分?jǐn)?shù)矩陣應(yīng)用mask掩碼操作，使用top-k算子選擇自注意力分?jǐn)?shù)最高的前k個(gè)特征；隨后將選出的top-k特征重新分布到相應(yīng)的位置上，對top-k后的自注意力分?jǐn)?shù)進(jìn)行softmax歸一化，得到歸一化的注意力權(quán)重；將歸一化后的注意力權(quán)重與特征圖v相乘得到加權(quán)后的特征圖；對加權(quán)后的特征圖進(jìn)行形狀調(diào)整，以匹配初始輸入的形狀；最后將加權(quán)后的特征圖與初始輸入相加實(shí)現(xiàn)特征融合。

14、技術(shù)效果：

15、1、本發(fā)明是一種傳統(tǒng)與深度學(xué)習(xí)融合的水下圖像增強(qiáng)算法，能夠顯著提升水下相機(jī)成像的分辨率和顏色校正的效果，更好地還原水下圖像的細(xì)節(jié)信息，使生成的圖像更接近于真實(shí)場景。

16、2、由于本發(fā)明采用了改進(jìn)的u-net網(wǎng)絡(luò)，特別是采用了我們設(shè)計(jì)的混合卷積-自注意模塊，自注意力機(jī)制可以捕獲全局特征關(guān)系，而混合了卷積之后增強(qiáng)了空間信息的捕獲能力。通過結(jié)合這兩種方法，該模塊能夠在保持計(jì)算效率的同時(shí)，有效提升模型對全局和局部特征的學(xué)習(xí)能力。這提升了特征提取的精確性和豐富性，增強(qiáng)對復(fù)雜背景或目標(biāo)的分割效果，提高模型的魯棒性和泛化能力。在編碼器與解碼器之間添加了aspp模塊，aspp模塊能夠在不增加計(jì)算量的情況下擴(kuò)展感受野，從而提升模型對多尺度特征的識別能力，提高分割性能，特別是在圖像中包含大小不一的目標(biāo)時(shí)。采用sffusion選擇性特征圖融合方式，該方法能夠通過特征選擇機(jī)制，融合多層特征，抑制無用信息，增強(qiáng)關(guān)鍵特征。相比于傳統(tǒng)的直接拼接或相加，sffusion可以有選擇性地保留重要特征信息。這有效減少冗余信息，提升特征融合的效率和質(zhì)量。

17、3、由于本發(fā)明在scm靜態(tài)校正中引入dcm動(dòng)態(tài)校正，因此scm的初步校正為dcm提供了一個(gè)更為平衡的輸入基礎(chǔ)，而dcm則在此基礎(chǔ)上進(jìn)一步動(dòng)態(tài)調(diào)整，使得顏色校正過程更為穩(wěn)定和高效。靜態(tài)和動(dòng)態(tài)校正的結(jié)合使得模型既有初步的快速調(diào)整能力，又具備細(xì)節(jié)的深度優(yōu)化能力。顯著提高了圖像的顏色調(diào)整效果，減少色偏的同時(shí)保留圖像細(xì)節(jié)，這使得后續(xù)的圖像增強(qiáng)階段能夠在更高質(zhì)量的基礎(chǔ)上進(jìn)行處理，從而提升了整體圖像的視覺效果。

18、4、本發(fā)明采用了多種顏色空間下進(jìn)行直方圖拉伸，不同色彩空間(如rgb、hsi、lab)能夠從多角度描述圖像的色彩和亮度特征。在這些色彩空間中進(jìn)行直方圖拉伸，能夠更有效地增強(qiáng)圖像的對比度和色彩表現(xiàn)，糾正光照不均、低對比度及顏色失真的問題。

19、5、本發(fā)明將多色空間直方圖拉伸與深度學(xué)習(xí)相結(jié)合，使得模型能夠?qū)W習(xí)多樣化的增強(qiáng)特征。這種預(yù)處理與深度學(xué)習(xí)的融合，有效增強(qiáng)了模型的魯棒性與泛化能力，使其更好地應(yīng)對復(fù)雜的水下環(huán)境變化。