基于光照調(diào)整的圖像增強(qiáng)方法和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理領(lǐng)域，特別涉及基于光照調(diào)整的圖像增強(qiáng)方法和設(shè)備。
【背景技術(shù)】
[0002] 隨著移動(dòng)設(shè)備性能不斷升級(jí)和普及，在日常生活中，人們?cè)絹?lái)越習(xí)慣于隨時(shí)隨地 的對(duì)感興趣事物進(jìn)行拍照或攝像，但這些圖像或視頻的生成往往是在非限制性的條件下， 這就導(dǎo)致圖像中會(huì)存在光照不均勻情況。對(duì)于非均勻光照?qǐng)D像的處理已成為圖像處理領(lǐng)域 迫切需要解決的問(wèn)題。
[0003] 為了解決光照不均勾問(wèn)題，科研人員開(kāi)展了大量的研究。Retinex(Retina and Cortex)理論被廣泛地用于光照不均勻圖像的增強(qiáng)。該理論假設(shè)圖像是由亮度分量和反射 分量結(jié)合而成，且兩個(gè)分量是可以分離處理的。早期的Retinex算法在補(bǔ)償光照的同時(shí)，壓 制了圖像的動(dòng)態(tài)范圍，且會(huì)出現(xiàn)光暈和顏色失真現(xiàn)象。為了解決光暈和色彩失真問(wèn)題，采用 多尺度Retinex色調(diào)映射的方法來(lái)增強(qiáng)非均勻光照?qǐng)D像，但增強(qiáng)圖像顯得不夠自然。結(jié)合 Retinex原理和雙對(duì)數(shù)亮度濾波器，進(jìn)一步提高圖像的能見(jiàn)度和自然性，但其計(jì)算復(fù)雜度很 高，耗時(shí)大，亮度變化大。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明為解決現(xiàn)有算法實(shí)時(shí)性差和增強(qiáng)效果不理想的問(wèn)題，提出一種基于 Retinex理論的自適應(yīng)Gamma增強(qiáng)算法，利用Retinex理論分離圖像的亮度分量和反射分 量，對(duì)亮度分量進(jìn)行自適應(yīng)Gamma校正，最后利用反射分量恢復(fù)圖像的細(xì)節(jié)和色彩。實(shí)驗(yàn)結(jié) 果證明，所提算法具有圖像清晰度更高，增強(qiáng)效果更為自然，時(shí)效性更好等優(yōu)點(diǎn)。
【附圖說(shuō)明】：
[0005] 圖1是基于光照調(diào)整的圖像增強(qiáng)方法；
[0006] 圖2是圖像Boy的增強(qiáng)結(jié)果；
[0007] 圖3是圖像Museum的增強(qiáng)結(jié)果；
[0008] 圖4是圖像Cockpit的增強(qiáng)結(jié)果；
[0009] 圖5是圖像Girl的增強(qiáng)結(jié)果；
[0010] 圖6是圖像Hall的增強(qiáng)結(jié)果；
[0011] 圖7是圖像Building的增強(qiáng)結(jié)果；
[0012] 圖8是ISP芯片中應(yīng)用圖像增強(qiáng)方法。
[0013] 技術(shù)方案
[0014] 如圖1所示，圖1給出了基于光照調(diào)整的圖像增強(qiáng)算法流程圖，本文將針對(duì)幾種不 同類型的降質(zhì)圖像，通過(guò)所提出圖像增強(qiáng)算法進(jìn)行處理，并分別與不同的算法進(jìn)行對(duì)比，來(lái) 驗(yàn)證本文所提算法的性能和通用性。
[0015] 對(duì)基于光照調(diào)整的圖像增強(qiáng)算法分為幾個(gè)步驟：
[0016] 步驟一：獲取觀測(cè)圖像I (x，y);
[0017] 步驟二：對(duì)觀測(cè)到的圖像進(jìn)行分解，將圖像分解成為反射分量和亮度分量；
[0018] Retinex理論認(rèn)為圖像是由亮度分量和反射分量組成。假設(shè)RGB圖像I (X，y)各通 道具有相同的亮度，即：
[0019] Γ (x, y) = Rc (x, y) · L (x, y), c e {r, g, b} (I)
[0020] 式中!T(X，y)表示各個(gè)通道的反射分量，L(x，y)表示圖像的亮度分量。通常，將 RGB通道的最大值作為人眼觀察的照度V (X，y)。
[0021]
[0022] 根據(jù)Retinex理論，用2D高斯濾波器G (X，y)對(duì)照度圖像V (X，y)進(jìn)行卷積可獲得 圖像的亮度分量L(x，y)。
[0023] L(x,y) = G (x, y) *V (x, y) (3)
[0024] 由此，反射分量Re(x，y)可以被分離出來(lái)。
[0025] Rc (x, y) = Γ (x, y) /L (x, y), c e {r, g, b} (4)
[0026] 反射分量主要包含了圖像的高頻成分，包括邊緣和細(xì)節(jié)。
[0027] 步驟三：對(duì)亮度分量進(jìn)行Gamma變換；
[0028] 在獲取圖像亮度分量后，對(duì)其進(jìn)行自適應(yīng)Gamma校正。
[0029] Len (x,y) = L(x,y)Y(x'y) (5)
[0032] Len (x, y)表示增強(qiáng)后的亮度分量，γ (x, y)表示Gamm校正系數(shù)矩陣，Pu(I)為對(duì) 應(yīng)于各亮度倌的權(quán)倌分布函數(shù)：
[0030]
[0031]
[0033]
[0034] 式中，P⑴是亮度分量的概率密度函數(shù)，p_為P(I)的最大值，p _為P(I)的最 小值，P(I)可通過(guò)下式求得：
[0035] P⑴=n/rip (9)
[0036] 式中，Ii1為對(duì)應(yīng)的亮度所含像素?cái)?shù)，η ρ為亮度分量包含的像素總數(shù)。
[0037] 步驟四：將反射分量和變換后的亮度分量合成；
[0038] 融合Lot(X，y)及IT (X，y)即可得到最終的增強(qiáng)圖像(X，y)。
[0039] ILm(χ, γ) = Rc (.v，3') · Len (x,y), c e {r,g,b} (10)
[0040] 步驟五：形成增強(qiáng)的圖像。
[0041 ] 增強(qiáng)的圖像質(zhì)量評(píng)價(jià)：
[0042] 為評(píng)價(jià)本文算法的性能，選取先進(jìn)的Retinex非均勻光照?qǐng)D像增強(qiáng)算法，進(jìn)行主 觀評(píng)價(jià)、客觀評(píng)價(jià)和時(shí)效性比較。
[0043] 1.主觀評(píng)價(jià)
[0044] 圖2~7為不同場(chǎng)景的非均勻光照?qǐng)D像處理結(jié)果。圖2原圖為晴天戶外，男孩的臉 部處于陰影中，臉部能見(jiàn)度低。圖3原圖為室內(nèi)弱光照?qǐng)D像，展示柜后的場(chǎng)景景物不清晰。 圖4原圖中有玻璃反光，飛機(jī)艙內(nèi)的事物能見(jiàn)度低。圖5原圖中，由于光照被遮擋，右側(cè)顯 得很暗。圖6原圖為室內(nèi)非均勻光照?qǐng)D像。圖7為戶外陰天建筑照片的處理結(jié)果，原圖紅 色框內(nèi)局部圖像的處理結(jié)果列于對(duì)應(yīng)的增強(qiáng)圖像的下方。
[0045] 文獻(xiàn)1 (張尚偉，曾平，羅雪梅，等.具有細(xì)節(jié)補(bǔ)償和色彩恢復(fù)的多尺度Retinex 色調(diào)映射算法[J].西安交通大學(xué)學(xué)報(bào)，2012, 46(4) :32-37)算法的處理結(jié)果增強(qiáng)效果不 夠明顯，圖像的動(dòng)態(tài)范圍受到壓縮。文獻(xiàn)2 (Wang S, Zheng J, Hu H，et al. Naturalness preserved enhancement algorithm for non-uniform illumination images[J]. IEEE Transactions on Image Processing, 2013, 22 (9) :3538 - 3548.)算法的處理結(jié)果使圖像 在全局和局部的清晰度得到大幅提高，但圖像的動(dòng)態(tài)范圍也被壓制。本發(fā)明算法不僅能顯 著提高圖像全局和局部區(qū)域的清晰度，而且使圖像具有很好的動(dòng)態(tài)范圍和主觀自然感。
[0046] 2.客觀評(píng)價(jià)
[0047] 為了對(duì)處理圖像進(jìn)行客觀的評(píng)價(jià)，本文引入EBCM (edge based contrast measure)，VE(visible edges)，NIQE(naturalness image quality evaluator)等評(píng)價(jià)指 標(biāo)。其中EBCM用于評(píng)價(jià)圖像的對(duì)比度，該參數(shù)數(shù)值越大，則圖像的對(duì)比度越高。VE用于評(píng) 價(jià)增強(qiáng)圖像相對(duì)于原圖的能見(jiàn)度提高的比例，其值越大，則圖像中事物能見(jiàn)度越高。NIQE用 于評(píng)價(jià)圖像的自然性，其值越小，說(shuō)明圖像的自然性越好。
[0048] 表1~3分別列出了圖2~7中圖像的評(píng)價(jià)指標(biāo)結(jié)果。從表中可以看出，各算法處 理后圖像相對(duì)于原圖在對(duì)比度、能見(jiàn)度、自然性三個(gè)方面都得到了顯著提高。本文的方法顯 然比文獻(xiàn)[1]和文獻(xiàn)[2]中算法具有更好的性能：在對(duì)比度方面，分別平均提高了 49. 7% 和10. 8% ;在能見(jiàn)度方面，分別平均提高了 102. 4%和38. 5% ;在自然性方面，分別提高了 31%和 16. 4%。
[0049] 表1各算法的EBCM結(jié)果 [00501
[0051] 表2各算法的VE結(jié)果
[0052]
[0053] 表3各算法的NIQE結(jié)果
[0054]
[0055] 3.時(shí)效性比較
[0056] 為了比較各算法的時(shí)效性，表4示出了各種算法對(duì)大小為2000 X 1312圖像的平均 耗時(shí)，這些數(shù)據(jù)是在硬件參數(shù)3. 3GHz CPU、4GB RAM電腦上利用Matlab 2014的測(cè)試結(jié)果。 顯然，本文所提方法的時(shí)效性最好，僅為文獻(xiàn)[6]耗時(shí)的11%和文獻(xiàn)[7]耗時(shí)的2%。
[0057] 表4各算法的處理2000 X 1312圖像的平均耗時(shí)
[0058]
[0059] 從實(shí)驗(yàn)結(jié)果中可以觀察到，本發(fā)明所提出的自適應(yīng)Ga_a增強(qiáng)算法可以將一幅觀 測(cè)RGB圖像分離成亮度圖像和反射率圖像。由于只針對(duì)圖像的亮度進(jìn)行處理，沒(méi)有引入顏 色信息。因此分離出的亮度圖像和反射率圖像均為灰度圖像，其中亮度圖像很好地反應(yīng)了 周圍環(huán)境的亮度信息，同時(shí)具有空間平滑的性質(zhì)。反射率圖像則保留了圖像自身的邊緣和 細(xì)節(jié)信息，這些特點(diǎn)很好地證明了本歌名所提出的新的目標(biāo)函數(shù)，即公式（10)的合理性。 而在RGB空間下，亮度圖像和反射率圖像除了擁有HSV空間下的計(jì)算結(jié)果的特性外，還顯示 了顏色信息。從結(jié)果中可以看出，通過(guò)Ga_a矯正對(duì)光照進(jìn)行調(diào)整再結(jié)合反射率所得到的 增強(qiáng)圖像，除了增強(qiáng)細(xì)節(jié)部分，提升陰暗區(qū)域的亮度的同時(shí)，主觀視覺(jué)效果也會(huì)有一定地改 善。
[0060] 本發(fā)明提出的算法可以應(yīng)用在電視、手機(jī)、攝像機(jī)等圖像和視頻相關(guān)的通用設(shè)備 上?？梢詰?yīng)用到特定場(chǎng)合（醫(yī)學(xué)、軍事、公共安全等）的圖形增強(qiáng)。本節(jié)介紹算法在高清攝 像機(jī)上的應(yīng)用。
[0061] 通常，為了提高圖形處理的的性能，高清攝像機(jī)都集成了圖像信號(hào)處理器 ISP(Image Singal Processor)，用于對(duì)圖像傳感器（CCD或CMOS)輸出的信號(hào)進(jìn)行后期處 理（如：3D降噪、幀累積、強(qiáng)光抑制），進(jìn)而增強(qiáng)所輸出圖像的質(zhì)量，滿足特定應(yīng)用的需求。 可以將本文的算法集成到ISP芯片中，實(shí)現(xiàn)對(duì)非均勻光照條件下的圖像增強(qiáng)。系統(tǒng)組成如 圖7所示。
[0062] 本發(fā)明提出了一種基于Retinex理論的自適應(yīng)Gamma增強(qiáng)方法，利用Retinex理 論分離圖像的亮度分量和反射分量，對(duì)亮度分量進(jìn)行自適應(yīng)Gamma校正，最后利用反射分 量恢復(fù)圖像的細(xì)節(jié)和色彩。本文算法解決了現(xiàn)有Retinex算法時(shí)效性差和處理效果不理想 的問(wèn)題，該算法處理的非均勻光照?qǐng)D像具有最佳的對(duì)比度、能見(jiàn)度、自然性和時(shí)效性。本文 算法對(duì)硬件無(wú)特殊要求，可移植到各種電視、手機(jī)、攝像機(jī)或其他具有顯像功能的電子產(chǎn)品 中。
【主權(quán)項(xiàng)】
1. 一種基于光照調(diào)整的圖像增強(qiáng)方法，其特征在于，本方法分為幾個(gè)步驟： 步驟一：獲取觀測(cè)圖像I(x，y); 步驟二：對(duì)觀測(cè)到的圖像進(jìn)行分解，將圖像分解成為反射分量和亮度分量； Retinex理論認(rèn)為圖像是由亮度分量和反射分量組成，假設(shè)RGB圖像I(x，y)各通道具 有相同的亮度，即： Ic (x, y) = Rc (x, y) ? L (x, y), c G {r, g, b} (1) 式中IT(x，y)表示各個(gè)通道的反射分量，L(x，y)表示圖像的亮度分量。通常，將RGB通 道的最大值作為人眼觀察的照度V(x，y)，⑵ 根據(jù)Retinex理論，用2D高斯濾波器G(x，y)對(duì)照度圖像V(x，y)進(jìn)行卷積可獲得圖像 的亮度分量L(x，y)， L(x,y) = G(x,y)*V(x,y) (3) 由此，反射分量Re(x,y)可以被分尚出來(lái)， Rc(x，y) = Ic(x，y)/L(x，y)，c G {r，g，b} (4) 反射分量主要包含了圖像的高頻成分，包括邊緣和細(xì)節(jié)， 步驟三：在獲取圖像亮度分量后，對(duì)其進(jìn)行自適應(yīng)Gamma校正；Un(x，y)表示增強(qiáng)后的亮度分量，Y(x，y)表示Ga_a校正系數(shù)矩陣，PU(1)為對(duì)應(yīng)于 各亮度值的權(quán)值分布函數(shù)：(§)' 式中，P⑴是亮度分量的概率密度函數(shù)，P_為P(l)的最大值，P_SP(1)的最小值，P(l)可通過(guò)下式求得： P(l) =rij/rip(9) 式中，叫為對(duì)應(yīng)的亮度所含像素?cái)?shù)，np為亮度分量包含的像素總數(shù)； 步驟四：融合LOT(x，y)及IT(x，y)即可得到最終的增強(qiáng)圖像IOT(x，y)。 Kn(j) = (-y,>?)?A*(-^}%C(E\rU〇)2. -種高性能圖像信號(hào)處理器ISP，其特征在于，使用了權(quán)利要求1所述的方法。
【專利摘要】本發(fā)明提出了一種基于Retinex理論的自適應(yīng)Gamma增強(qiáng)方法，利用Retinex理論分離圖像的亮度分量和反射分量，對(duì)亮度分量進(jìn)行自適應(yīng)Gamma校正，最后利用反射分量恢復(fù)圖像的細(xì)節(jié)和色彩。本發(fā)明解決了現(xiàn)有Retinex算法時(shí)效性差和處理效果不理想的問(wèn)題，處理的非均勻光照?qǐng)D像具有最佳的對(duì)比度、能見(jiàn)度、自然性和時(shí)效性。
【IPC分類】G06T5/00
【公開(kāi)號(hào)】CN105096278
【申請(qǐng)?zhí)枴緾N201510608275
【發(fā)明人】馬玉軍, 趙雪, 劉麗, 劉曉慧, 劉中艷
【申請(qǐng)人】南陽(yáng)理工學(xué)院
【公開(kāi)日】2015年11月25日
【申請(qǐng)日】2015年9月22日