本發(fā)明涉及圖像處理，尤其是涉及一種暗光圖像增強(qiáng)方法、系統(tǒng)及裝置。

背景技術(shù)：

1、暗光圖像增強(qiáng)技術(shù)旨在改善因環(huán)境因素造成的圖像亮度不足、噪聲較大及對(duì)比度差等問題，以便使圖像恢復(fù)到正常視覺效果。這項(xiàng)技術(shù)在自動(dòng)駕駛、安防監(jiān)控和移動(dòng)設(shè)備攝影等領(lǐng)域已得到了廣泛應(yīng)用?，F(xiàn)有的圖像增強(qiáng)方法主要分為傳統(tǒng)方法與基于深度學(xué)習(xí)的方法。

2、傳統(tǒng)方法，如直方圖均衡化和伽馬矯正等，雖然速度較快，但在圖像增強(qiáng)效果上相對(duì)較差。

3、基于深度學(xué)習(xí)的方法，包括卷積神經(jīng)網(wǎng)絡(luò)（cnn）和transformer，雖然都顯著提升了圖像增強(qiáng)效果，但也各有不足：cnn方法由于卷積核大小的限制，無法獲取全局信息，導(dǎo)致在細(xì)節(jié)恢復(fù)上存在不足；transformer架構(gòu)，能夠有效捕獲全局信息，但其計(jì)算復(fù)雜度較高，使得實(shí)際應(yīng)用受到限制。

4、綜合來講，基于深度學(xué)習(xí)的方法的具體缺點(diǎn)總結(jié)如下：在追求快速推理速度的情況下，圖像的結(jié)構(gòu)信息和細(xì)節(jié)信息可能會(huì)嚴(yán)重丟失；在提高圖像質(zhì)量的同時(shí)，隨著參數(shù)量和計(jì)算量的顯著增加，導(dǎo)致處理速度快速下降；難以有效融合圖像的結(jié)構(gòu)信息與細(xì)節(jié)信息，造成推理速度與成像質(zhì)量之間的失衡。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種暗光圖像增強(qiáng)方法、系統(tǒng)及裝置，以解決現(xiàn)有技術(shù)中存在的至少一種上述技術(shù)問題。

2、第一方面，為解決上述技術(shù)問題，本發(fā)明提供了一種暗光圖像增強(qiáng)方法，包括如下步驟:

3、步驟1、對(duì)暗光圖像的原始圖進(jìn)行預(yù)處理，得到先驗(yàn)信息圖（prior）。

4、優(yōu)選地，所述步驟1具體包括：計(jì)算所述原始圖的每個(gè)像素點(diǎn)在所有顏色通道上的平均值，得到先驗(yàn)信息圖。

5、步驟2、將所述先驗(yàn)信息圖與所述原始圖進(jìn)行拼接融合處理，提取亮度特征圖lf（light?feature）及亮度圖lm(light?map)。

6、優(yōu)選地，所述步驟2具體包括：將所述原始圖與所述先驗(yàn)信息圖進(jìn)行按通道拼接處理，得到第一特征圖;將第一特征圖通過卷積層，進(jìn)行圖像特征融合，得到第二特征圖；將所述第二特征圖，通過深度可分離卷積（dwconv），進(jìn)行特征提取及融合，分別得到亮度特征圖lf及第三特征圖；將所述第三特征圖，通過卷積層，提取亮度圖lm。

7、步驟3、將亮度圖lm與原始圖進(jìn)行逐元素相乘，得到加亮圖if，這樣可以將亮度信息與原有的圖像信息進(jìn)行融合，從而提升圖像亮度；將所述加亮圖if，通過卷積層提取淺層特征，得到第四特征圖。

8、步驟4、將所述加亮圖，通過交叉注意力機(jī)制，與所述第四特征圖進(jìn)行融合，得到特征圖af，具體公式可以為：

9、；

10、其中，表示鍵的維度；表示查詢；表示值。

11、步驟5、將特征圖af與加亮圖if，通過顏色校正和多尺度特征提取模塊（cdum）進(jìn)行多次處理，并進(jìn)行采樣操作，得到第十二特征圖,具體包括：

12、將特征圖af與加亮圖if分別進(jìn)行層歸一化處理，得到相應(yīng)的第五特征圖；將這兩個(gè)第五特征圖，通過顏色校正模塊（cssm），在通道維度進(jìn)行拼接及融合，輸出第六特征圖；將第六特征圖，與歸一化后的特征圖af及加亮圖if進(jìn)行疊加，得到第七特征圖，以便防止細(xì)節(jié)丟失；

13、所述顏色校正模塊是一個(gè)并行的狀態(tài)空間模型（ssm）；

14、這樣通過顏色校正，解決了retinex理論中忽略暗光圖像成像本身存在的缺陷，從而導(dǎo)致成像的顏色與真實(shí)圖像之間存在較大差異的問題；

15、將所述第七特征圖再次通過層歸一化處理，得到第八特征圖；通過噪聲去除模塊（unoisym）消除噪聲，得到第九特征圖；這樣，通過對(duì)噪聲進(jìn)行單獨(dú)處理，可以降低噪聲帶來的影響，從而提高圖像的成像質(zhì)量；

16、通過多尺度特征提取模塊（dfm）提取多尺度特征，得到第十特征圖；將第七特征圖、第九特征圖及第十特征圖，進(jìn)行逐個(gè)元素相加，得到第十一特征圖，從而保證圖像細(xì)節(jié)的完整；將第十一特征圖進(jìn)行下采樣或反卷積上采樣操作，得到第十二特征圖；

17、這樣可以通過多尺度特征提取，最大限度地保持圖像的結(jié)構(gòu)特征，也可以更好地提取圖像的細(xì)節(jié)信息；通過多尺度特征融合，能夠更好地對(duì)圖像結(jié)構(gòu)信息與圖像信息進(jìn)行融合，從而提高圖像的增強(qiáng)質(zhì)量與細(xì)節(jié)恢復(fù)能力。

18、步驟6、將第十二特征圖，通過卷積層進(jìn)行圖像重構(gòu)，得到第十三特征圖；將第十三特征圖與加亮圖if進(jìn)行逐元素相加，得到輸出圖像，從而對(duì)細(xì)節(jié)特征進(jìn)行再次增強(qiáng)，進(jìn)而保證暗光圖像得到增強(qiáng)。

19、在一種可行的實(shí)施方式中，所述噪聲去除模塊（unoisym）通過對(duì)特征圖進(jìn)行深度可分離卷積，去除圖像中的噪聲。

20、在一種可行的實(shí)施方式中，所述多尺度特征提取模塊（dfm）的提取方法包括：將第二歸一化圖像通過兩個(gè)并行的卷積分支進(jìn)行處理后，在通道的維度上進(jìn)行拼接；將拼接結(jié)果卷積，進(jìn)行通道維度的信息融合；將信息融合結(jié)果通過通道注意力機(jī)制，進(jìn)行信息激活；

21、所述卷積分支包括第一卷積分支和第二卷積分支；

22、所述第一卷積分支的中間層采用一種大小的卷積核，用于提取圖像的細(xì)節(jié)信息；

23、所述第二卷積分支的中間層采用另一種大小的卷積核，用于提取圖像更多的細(xì)節(jié)信息并增強(qiáng)圖像中上下文之間的聯(lián)系。

24、第二方面，基于相同的發(fā)明構(gòu)思，本技術(shù)提供了一種暗光圖像增強(qiáng)系統(tǒng)，具體包括加亮模塊、u-net網(wǎng)絡(luò)及第一相加單元；

25、所述加亮模塊，用于接收暗光圖像的原始圖(input)及先驗(yàn)信息圖（prior），進(jìn)行拼接融合處理，輸出加亮圖；

26、所述u-net網(wǎng)絡(luò)具體包括第一卷積層(conv)、第一增強(qiáng)模塊（atssm）、第二卷積層、第二增強(qiáng)模塊、第三卷積層、第三增強(qiáng)模塊、第一反卷積層（deconv）、第四卷積層、第四增強(qiáng)模塊、第二反卷積層、第五卷積層、第五增強(qiáng)模塊及第六卷積層；

27、所述第一卷積層的輸入端連接所述加亮模塊的輸出端，所述第一卷積層的輸出端連接所述第一增強(qiáng)模塊的第一輸入端；

28、所述第一增強(qiáng)模塊的第二輸入端連接所述加亮模塊的輸出端，所述第一增強(qiáng)模塊的第一輸出端連接第二卷積層的輸入端；

29、所述第二卷積層的輸出端連接第二增強(qiáng)模塊的輸入端；所述第二增強(qiáng)模塊的第一輸出端連接第三卷積層的輸入端；所述第三卷積層的輸出端連接第三增強(qiáng)模塊的輸入端；所述第三增強(qiáng)模塊的輸出端連接第一反卷積層的輸入端；所述第一反卷積層的第一輸出端與第二增強(qiáng)模塊的第二輸出端進(jìn)行按通道拼接處理后，連接第四卷積層的第一輸入端；所述第一反卷積層的第二輸出端連接所述第四卷積層的第二輸入端；所述第四卷積層的輸出端連接第四增強(qiáng)模塊的輸入端；所述第四增強(qiáng)模塊的輸出端連接第二反卷積層的輸入端；所述第二反卷積層的第一輸出端與第一增強(qiáng)模塊的第二輸出端進(jìn)行按通道拼接處理后，連接第五卷積層的第一輸入端；所述第二反卷積層的第二輸出端連接所述第五卷積層的第二輸入端；所述第五卷積層的輸出端連接所述第五增強(qiáng)模塊的輸入端；所述第五增強(qiáng)模塊的輸出端連接第六卷積層的輸入端；所述第六卷積層的輸出端作為所述u-net網(wǎng)絡(luò)的輸出端；

30、所述第一相加單元，用于將所述u-net網(wǎng)絡(luò)輸出的特征圖與所述加亮模塊輸出的加亮圖進(jìn)行逐元素相加，得到輸出圖像（output）。

31、在一種可行的實(shí)施方式中，所述加亮模塊具體包括依次設(shè)置的第七卷積層、第一深度可分離卷積層、第八卷積層及第一相乘單元；

32、所述第七卷積層的輸入端，用于接收原始圖及先驗(yàn)信息圖按通道拼接處理后的第一特征圖，進(jìn)行圖像特征融合，輸出第二特征圖；

33、所述第一深度可分離卷積層，用于接收所述第二特征圖，進(jìn)行特征提取及融合，分別輸出亮度特征圖lf及第三特征圖;

34、所述第八卷積層，用于接收第三特征圖，提取亮度圖lm；

35、所述第一相乘單元，用于將原始圖及亮度圖lm進(jìn)行逐元素相乘，得到加亮圖if。

36、在一種可行的實(shí)施方式中，增強(qiáng)模塊具體包括依次設(shè)置的交叉注意力機(jī)制（ifa）模塊及顏色校正和多尺度特征提取模塊（cdum）。

37、在一種可行的實(shí)施方式中，所述交叉注意力機(jī)制（ifa）模塊具體包括鍵分支及值分支；所述鍵分支包括第二相乘單元，用于將第四特征圖的鍵與加亮圖if進(jìn)行矩陣相乘，得到第十三特征圖；所述值分支包括第三相乘單元，用于將第四特征圖的值與第十三特征圖進(jìn)行矩陣相乘，得到特征圖af。

38、在一種可行的實(shí)施方式中，所述交叉注意力機(jī)制模塊還可以將亮度特征圖lf作為額外信息進(jìn)行綜合運(yùn)算，從而實(shí)現(xiàn)額外的信息輸入，進(jìn)一步提升圖像質(zhì)量。

39、在一種可行的實(shí)施方式中，所述顏色校正和多尺度特征提取模塊（cdum）包括第一歸一化層、第二歸一化層、狀態(tài)空間模型（cssm）、第二相加單元、第三歸一化層、多尺度特征提取模塊（dfm）、噪聲去除模塊（unoisym）及第三相加單元；

40、所述第一歸一化層的輸入端連接所述加亮模塊的輸出端，所述第一歸一化層的第一輸出端連接所述狀態(tài)空間模型的第一輸入端；

41、所述第二歸一化層的輸入端連接所述交叉注意力機(jī)制模塊的輸出端，所述第二歸一化層的第一輸出端連接所述狀態(tài)空間模型的第二輸入端；

42、所述狀態(tài)空間模型的輸出端連接所述第二相加單元的第一輸入端；所述第二相加單元的第二輸入端連接所述第一歸一化層的第二輸出端；所述第二相加單元的第三輸入端連接所述第二歸一化層的第二輸出端；所述第二相加單元的輸出端連接所述第三歸一化層的輸入端；所述第三歸一化層的輸出端分別連接所述多尺度特征提取模塊的輸入端及所述噪聲去除模塊的輸入端；

43、所述第三相加單元的第一輸入端連接所述多尺度特征提取模塊的輸出端；所述第三相加單元的第二輸入端連接所述第二相加單元的輸出端；所述第三相加單元的第三輸入端連接所述噪聲去除模塊的輸出端；所述第三相加單元的輸出端作為所述顏色校正和多尺度特征提取模塊的輸出端；

44、通過上述架構(gòu)，可以讓未經(jīng)過retinex理論信息融合的輸出特征與經(jīng)過retinex理論信息融合的輸出特征，進(jìn)行特征融合，從而讓原有的色彩信息得以保留。

45、在一種可行的實(shí)施方式中，所述狀態(tài)空間模型（cssm）包括原始特征狀態(tài)空間模型(ovssm)、視網(wǎng)膜特征狀態(tài)空間模型（rvssm）及第九卷積層；所述原始特征狀態(tài)空間模型的輸入端作為狀態(tài)空間模型的第一輸入端；所述視網(wǎng)膜特征狀態(tài)空間模型的輸入端作為狀態(tài)空間模型的第二輸入端；所述原始特征狀態(tài)空間模型的輸出端與所述視網(wǎng)膜特征狀態(tài)空間模型的輸出端進(jìn)行按通道拼接處理后，連接第九卷積層的輸入端；所述第九卷積層的輸出端作為狀態(tài)空間模型的輸出端。

46、優(yōu)選地，所述原始特征狀態(tài)空間模型及所述視網(wǎng)膜特征狀態(tài)空間模型均包括第一線性層、第二線性層、第二深度可分離卷積層、第一silu激活層、第二silu激活層、二維狀態(tài)空間模型層（2d-ssm）、第四歸一化層、第四相乘單元及第三線性層；

47、所述第一線性層的輸入端與所述第二線性層的輸入端相連，用于同步接收前序輸入數(shù)據(jù)；

48、所述第一線性層的輸出端連接第二深度可分離卷積層的輸入端；所述第二深度可分離卷積層的輸出端，連接第一silu激活層的輸入端；所述第一silu激活層的輸出端，連接二維狀態(tài)空間模型層的輸入端；所述二維狀態(tài)空間模型層的輸出端，連接第四歸一化層的輸入端；所述第四歸一化層的輸出端，連接所述第四相乘單元的第一輸入端，至此構(gòu)成第一處理分支；

49、所述第二線性層的輸出端，連接第二silu激活層的輸入端；所述第二silu激活層的輸出端，連接所述第四相乘單元的第二輸入端，至此構(gòu)成第二處理分支；

50、所述第四相乘單元的輸出端，連接第三線性層的輸入端，用于進(jìn)行矩陣相乘；所述第三線性層的輸出端用于向后序輸出數(shù)據(jù)。

51、在一種可行的實(shí)施方式中，所述多尺度特征提取模塊（dfm）包括第十卷積層、第十一卷積層、第十二卷積層、第十三卷積層、第十四卷積層、第十五卷積層、第十六卷積層及通道注意力層；

52、所述第十卷積層的輸入端連接所述第十三卷積層的輸入端，用于同步接收前序輸入數(shù)據(jù)；

53、所述第十卷積層的輸出端，連接所述第十一卷積層的輸入端；所述第十一卷積層的輸出端，連接所述第十二卷積層的輸入端，至此構(gòu)成細(xì)節(jié)提取分支；所述第十一卷積層，用于提取圖像的細(xì)節(jié)特征；

54、所述第十三卷積層的輸出端，連接所述第十四卷積層的輸入端；所述第十四卷積層的輸出端，連接所述第十五卷積層的輸入端，至此構(gòu)成語義提取分支；所述第十四卷積層，用于提取圖像上下文語義信息，從而更好地對(duì)圖像的局部特征進(jìn)行復(fù)原；

55、所述第十二卷積層的輸出端與所述第十五卷積層的輸出端進(jìn)行按通道拼接處理后，連接所述第十六卷積層的輸入端；所述第十六卷積層的輸出端，連接所述通道注意力層的輸入端；所述通道注意力層的輸出端，用于向后序輸出數(shù)據(jù)。

56、在一種可行的實(shí)施方式中，所述噪聲去除模塊（unoisym）包括依次設(shè)置的第三深度可分離卷積層、第三silu激活層、第四深度可分離卷積層、第四silu激活層、第五深度可分離卷積層、第五silu激活層及第六深度可分離卷積層；這樣可以通過深度可分離卷積，對(duì)圖像中的噪聲進(jìn)行處理，降低圖像噪聲對(duì)增強(qiáng)效果的影響，提高成像清晰度，同時(shí)得益于深度可分離卷積的體積優(yōu)勢(shì)，參數(shù)量與計(jì)算量也不會(huì)顯著增加。

57、第三方面，基于相同的發(fā)明構(gòu)思，本技術(shù)還提供了一種暗光圖像增強(qiáng)裝置，包括處理器、存儲(chǔ)器及總線，所述存儲(chǔ)器存儲(chǔ)由處理器讀取的指令及數(shù)據(jù)，所述處理器用于調(diào)用所述存儲(chǔ)器中的指令及數(shù)據(jù)，以執(zhí)行如上所述的暗光圖像增強(qiáng)方法，所述總線連接各功能部件之間用于傳送信息。

58、采用上述技術(shù)方案，本發(fā)明具有如下有益效果：

59、本發(fā)明提供的一種暗光圖像增強(qiáng)方法、系統(tǒng)及裝置，通過進(jìn)行顏色校正，解決了成像圖像與真實(shí)圖像之間的顏色差異，可以避免傳統(tǒng)retinex理論增強(qiáng)方法導(dǎo)致的顏色偏差問題；通過多尺度特征提取，在最大限度保持圖像結(jié)構(gòu)特征的同時(shí)，更好地提取圖像的細(xì)節(jié)信息，并進(jìn)行有效融合，從而提高了圖像的增強(qiáng)質(zhì)量與細(xì)節(jié)恢復(fù)能力；通過對(duì)噪聲進(jìn)行單獨(dú)處理，降低了噪聲影響，進(jìn)一步提升了圖像的成像質(zhì)量；通過狀態(tài)空間模型，在保持全局信息獲取能力的同時(shí)，顯著降低了計(jì)算復(fù)雜度；本方案與傳統(tǒng)transformer架構(gòu)相比，不僅結(jié)構(gòu)簡(jiǎn)潔、參數(shù)量少，而且可以使計(jì)算量降低至線性級(jí)別。