本發(fā)明屬于但不限于計(jì)算機(jī)，尤其涉及一種基于反射區(qū)域檢測和邊緣注意力的去反射干擾方法及系統(tǒng)。

背景技術(shù)：

1、在實(shí)際的證照圖像采集系統(tǒng)中，為了保證成像質(zhì)量，我們引入了反射鏡和玻璃物鏡等結(jié)構(gòu)。反射鏡和玻璃物鏡的引入或多或少會(huì)帶來采集到的圖像存在反射干擾的問題。反射干擾是指外部景象在外部環(huán)境光照下透過物鏡玻璃和反射鏡等光學(xué)結(jié)構(gòu)形成反射，導(dǎo)致拍攝的證照圖像中會(huì)出現(xiàn)眩光、高光和偽影等干擾圖像識(shí)讀的現(xiàn)象。系統(tǒng)采集到的圖像中含有反射干擾的主要原因有以下兩點(diǎn)：一方面，證照圖像采集設(shè)備的多光譜燈光尤其是可見光的穿透性不高，透過較厚的物鏡玻璃時(shí)光線在玻璃表面產(chǎn)生折射，形成模糊重影；另一方面，在外部環(huán)境光照較強(qiáng)的情況下，外部景象會(huì)透過物鏡玻璃在反射鏡上成像，在物鏡玻璃表面形成外部景象的鏡像反射圖像。盡管可以通過調(diào)節(jié)相機(jī)的曝光時(shí)間來智能調(diào)節(jié)環(huán)境光偏強(qiáng)和偏弱時(shí)系統(tǒng)的成像效果，但當(dāng)外部環(huán)境光照過強(qiáng)時(shí)，通過調(diào)節(jié)曝光時(shí)間無法抑制反射干擾，還會(huì)降低系統(tǒng)整體的成像質(zhì)量。

2、在工程實(shí)踐中，采用非深度學(xué)習(xí)的方法去除證照圖像的反射干擾難度較高，效果較差：一是在證照圖像采集系統(tǒng)運(yùn)行過程中，每種光譜下僅獲取單張圖像，單張圖像去反射算法通常需要額外的用戶標(biāo)定的先驗(yàn)條件來輔助去反射干擾任務(wù)，費(fèi)時(shí)費(fèi)力，且在不同類型的反射場景下先驗(yàn)條件有可能失效；二是由于環(huán)境光照和外部背景具有不確定性，系統(tǒng)獲取到的單張證照圖像中反射區(qū)域的尺度差異性大且難以預(yù)測，部分區(qū)域反射強(qiáng)度存在變化，反射區(qū)域的邊緣模糊，反射區(qū)域定位較為困難；三是在外部環(huán)境光照過強(qiáng)時(shí)，拍攝到的證照圖像中會(huì)出現(xiàn)偽影等嚴(yán)重影響證照識(shí)讀的圖像干擾，抑制證照圖像中圖像邊緣特征的表達(dá)，使得圖像恢復(fù)較為困難。

3、通過上述分析，現(xiàn)有技術(shù)存在的問題和缺陷為：現(xiàn)有方法難以規(guī)避圖像成像中的反射問題，且已知現(xiàn)有的采用非深度學(xué)習(xí)的傳統(tǒng)圖像處理的方法去除反射干擾的能力不強(qiáng)，局限性較大，效果較差，難度較大。

技術(shù)實(shí)現(xiàn)思路

1、針對現(xiàn)有技術(shù)存在的問題，本發(fā)明提供了一種基于反射區(qū)域檢測和邊緣注意力的去反射干擾方法及系統(tǒng)。

2、本發(fā)明是這樣實(shí)現(xiàn)的，一種基于反射區(qū)域檢測和邊緣注意力的去反射干擾方法，包括以下步驟：

3、s1：主體上采用生成對抗網(wǎng)絡(luò)的思想，將含有反射干擾的混合圖像經(jīng)預(yù)處理后作為模型的輸入；

4、s2：將s1中輸入的含有反射干擾的混合圖像輸入到反射區(qū)域檢測網(wǎng)絡(luò)模塊，并經(jīng)過反射特征增強(qiáng)網(wǎng)絡(luò)模塊，以獲取圖像多尺度的高斯-拉普拉斯特征并最終參與合成強(qiáng)化反射的圖像梯度特征；

5、s3：在s2中得到的圖像梯度特征作為整個(gè)生成網(wǎng)絡(luò)的輸入，經(jīng)過淺層特征提取網(wǎng)絡(luò)提取特征；

6、s4：將在s3中提取到的特征經(jīng)由跳躍連接的方式傳輸?shù)脚袆e網(wǎng)絡(luò)，在獲取去反射干擾后的輸出圖像的同時(shí)，對生成的去反射干擾后的圖像進(jìn)行質(zhì)量上的判別，指導(dǎo)下一輪次生成器的生成，直到輸出質(zhì)量滿足要求。

7、進(jìn)一步，所述s1具體包括：

8、去圖像反射干擾的任務(wù)通常認(rèn)為含有反射干擾的圖像是透射圖像和反射圖像的混合圖像，當(dāng)采用傳統(tǒng)的通過一些圖像特征計(jì)算兩者的混合比例或者采用混合矩陣來進(jìn)行分離的方式時(shí)，由于在處理證照圖像去反射干擾的任務(wù)中有較大的局限性，具體表征為無法處理反射強(qiáng)度不均勻的圖像，泛化能力差，因此采用基于深度學(xué)習(xí)的圖像去反射干擾算法來實(shí)現(xiàn)；

9、由于生成對抗網(wǎng)絡(luò)能夠在生成階段有效增強(qiáng)圖像細(xì)節(jié)，同時(shí)還可以通過調(diào)節(jié)注意力分布來引導(dǎo)圖像的生成效果，因此以生成對抗網(wǎng)絡(luò)為基礎(chǔ)進(jìn)行改進(jìn)；

10、將在證照采集硬件系統(tǒng)中采集到的含有反射干擾的混合圖像進(jìn)行圖片大小重置以及實(shí)例歸一化操作，確保輸入到網(wǎng)絡(luò)中的圖像大小一致且相互之間沒有影響；其中實(shí)例歸一化是指對每個(gè)輸入特征圖，在單個(gè)通道上分別計(jì)算均值和標(biāo)準(zhǔn)差，然后使用每個(gè)通道上的均值和標(biāo)準(zhǔn)差對單通道內(nèi)的元素進(jìn)行歸一化的過程；實(shí)例歸一化在圖像風(fēng)格遷移上有很大的優(yōu)勢，對于批數(shù)目為n，長、寬和通道數(shù)分別為h、w和c的特征圖x，其具體的數(shù)學(xué)定義如下：

11、

12、其中xhw表示單通道下尺度大小為h×w的圖像，μ(x)和σ(x)分別是均值和方差，γ和β為訓(xùn)練過程中學(xué)習(xí)的變量，ε為數(shù)值較小的常量。

13、進(jìn)一步，所述s2具體包括：

14、根據(jù)混合圖像中反射圖像的梯度比透射圖像的梯度要更加稀疏的特點(diǎn)，設(shè)計(jì)了反射區(qū)域檢測網(wǎng)絡(luò)，混合圖像通過多尺度的反射區(qū)域檢測網(wǎng)絡(luò)，獲取圖像多尺度的高斯-拉普拉斯特征，再通過融合了通道注意力的反射特征增強(qiáng)網(wǎng)絡(luò)進(jìn)一步細(xì)化反射特征，輸出反射區(qū)域概率圖和反射圖像預(yù)測圖，進(jìn)而通過抑制反射主導(dǎo)區(qū)域增強(qiáng)透射主導(dǎo)區(qū)域來引導(dǎo)下一階段的圖像生成；

15、根據(jù)通常情況下投射圖像的邊緣特征相較于反射圖像的邊緣特征更加明顯的現(xiàn)象，設(shè)計(jì)了基于邊緣注意力的反射特征增強(qiáng)網(wǎng)絡(luò)，強(qiáng)化透射圖像的邊緣；反射特征增強(qiáng)模塊有兩部分的輸入，其一是原始圖像在反射區(qū)域檢測模塊中獲取的圖像多尺度高斯-拉普拉斯特征iout，其二是圖像完全經(jīng)過反射區(qū)域檢測模塊的輸出ird，iout通過4個(gè)級聯(lián)的擠壓-激勵(lì)殘差模塊進(jìn)行特征增強(qiáng)，再與ird加權(quán)乘積獲得強(qiáng)化反射的圖像梯度特征；

16、去除反射干擾可以看成是分離混合圖像中的反射圖像和透射圖像的任務(wù)，在傳統(tǒng)的采用圖像變換的去除干擾的算法中，選取的先驗(yàn)條件高度依耐場景，在特定場景下的先驗(yàn)條件可能會(huì)失效，從而直接影響反射去除效果；

17、為保證獲取多尺度的圖像梯度特征，網(wǎng)絡(luò)結(jié)構(gòu)中使用了多尺度特征提取模塊，將輸入圖像通過多尺度全局池化進(jìn)行尺度上的縮放，將圖像的尺寸分別縮放為原尺度的1/2、1/4、1/8、1/16，將原尺度圖像和通過池化操作獲取到的多尺度圖像分別通過高斯-拉普拉斯卷積獲得多尺度的圖像梯度特征；

18、拉普拉斯卷積是常見的邊緣檢測方法，通過對圖像進(jìn)行二階微分來獲取圖像的邊緣特征但是對圖像的噪聲和離散點(diǎn)較為敏感，為了克服這一問題，通常在進(jìn)行拉普拉斯卷積之前進(jìn)行高斯平滑操作，其卷積核的計(jì)算方式為：

19、

20、其中σ2為標(biāo)準(zhǔn)差，其選取與圖像平滑效果正相關(guān)，可以根據(jù)網(wǎng)絡(luò)效果對σ2取值微調(diào)；

21、使用雙線性插值算法將獲取到的多尺度高斯-拉普拉斯特征圖上采樣為原始尺度大小并進(jìn)行拼接；用來表示下采樣操作后對應(yīng)尺度的圖像，用表示對應(yīng)尺度的上采樣圖像，此時(shí)輸出的圖像為：

22、

23、使用3個(gè)擠壓-激勵(lì)殘差模塊來加強(qiáng)輸出圖像iout的多尺度高斯-拉普拉斯特征；其中，擠壓-激勵(lì)殘差模塊通過擠壓和激勵(lì)兩個(gè)步驟，來建模圖像各個(gè)通道之間的相互依賴關(guān)系，擠壓是通過在特征圖上執(zhí)行全局平均池化得到當(dāng)前特征圖的全局壓縮特征向量，對于輸入圖像x∈h×w×c，擠壓步驟可以寫成以下公式：

24、

25、其中zc是指第c個(gè)通道相關(guān)的輸出，輸入xc來自卷積層；而激勵(lì)是通過兩層全連接層得到特征圖中每個(gè)通道的權(quán)值，通過sigmoid函數(shù)激活，然后將加權(quán)后的特征圖作為下一層網(wǎng)絡(luò)的輸入，激勵(lì)步驟可以被寫成以下公式：

26、

27、其中t1和t2是兩個(gè)線性層，最終通過網(wǎng)絡(luò)的全局損失函數(shù)來自適應(yīng)調(diào)整各個(gè)通道的特征強(qiáng)度；

28、獲得增強(qiáng)后的圖像特征后，通過prelu函數(shù)來激活圖像特征，prelu函數(shù)公式可以寫成：

29、

30、其中yi是第i個(gè)通道的輸入，ai控制負(fù)半軸斜率，初始值取ai＝0.2，其值可以在后續(xù)的訓(xùn)練過程中通過反向傳播自適應(yīng)更新，將特征增強(qiáng)和激活的過程記錄為flog，最后經(jīng)由3×3卷積核，使用sigmoid激活歸一化獲得最終的反射區(qū)域檢測概率圖ird，ird可以被表示為：

31、ird＝sigmoid(conv(flog(iout)))

32、這樣，混合圖像通過反射區(qū)域檢測模塊可以得到初步的反射圖像梯度特征，為預(yù)測反射圖像提供了基礎(chǔ)線索；為了更好地預(yù)測反射圖像，使用反射特征增強(qiáng)模塊來進(jìn)一步細(xì)化反射圖像的梯度特征；反射特征增強(qiáng)模塊組要有兩部分的輸入，其一是原始圖像通過多尺度高斯-拉普拉斯特征提取模塊得到的iout，其二是反射區(qū)域檢測模塊的最終輸出ird，通過四個(gè)級聯(lián)的擠壓-激勵(lì)殘差模塊進(jìn)行特征增強(qiáng)，再與ird加權(quán)乘積來進(jìn)一步強(qiáng)化反射圖像的梯度特征；

33、為了增強(qiáng)網(wǎng)絡(luò)的邊緣表征能力，網(wǎng)絡(luò)中引入了邊緣注意力模塊；在傳統(tǒng)的邊緣檢測方案中，通常只提取圖像的二值化輪廓，但在去反射干擾任務(wù)中，獲取二值化邊緣輪廓對后續(xù)的恢復(fù)透射圖像過程的效果不佳，因?yàn)樵趶?qiáng)反射區(qū)域也有可能存在無法區(qū)分的硬邊界干擾實(shí)際透射圖像的邊緣檢測；因此選擇采用平均絕對色差的方式來獲取圖像邊緣表示，在輸入圖像的rgb三個(gè)通道下分別計(jì)算某一像素點(diǎn)的與周圍像素點(diǎn)的色差并求加權(quán)平均，根據(jù)平均絕對色差來估計(jì)圖像邊緣，具體計(jì)算方式如下公式：

34、

35、其中(x,y)為圖像中對應(yīng)像素的坐標(biāo)，c指圖像的rgb色彩空間通道，通過這種方式獲取的混合圖像的邊緣圖相較于通過灰度化圖像獲取的二值化邊緣圖，對反射區(qū)域的硬邊界的抑制效果更加明顯，因?yàn)榉瓷鋮^(qū)域硬邊界的色域通常較為單一，在平均絕對色差中影響較小；將獲取到的邊緣圖作為額外的通道輸入引入網(wǎng)絡(luò)中，為網(wǎng)絡(luò)增加邊緣注意力。

36、進(jìn)一步，所述s3具體包括：

37、生成網(wǎng)絡(luò)由卷積層、relu激活層、實(shí)例歸一化層以及協(xié)調(diào)注意力層等組成；生成網(wǎng)絡(luò)完成對輸入圖像的特征提取，為增強(qiáng)圖像特征提取能力，在生成網(wǎng)絡(luò)中引入?yún)f(xié)調(diào)注意力模塊，該模塊通過從行列兩個(gè)維度上進(jìn)行池化操作，分別將垂直方向和水平方向的特征聚合到兩個(gè)單獨(dú)的特征圖中，將獲取到的特征圖分別編碼為兩個(gè)注意力圖，每個(gè)注意力圖可以捕獲行或列空間方向上的長距離依賴性；這種注意力機(jī)制可以高效整合圖像的全局特征，不僅可以獲取跨通道的特征信息，還可以獲取坐標(biāo)敏感的信息，有助于模型識(shí)別和定位感興趣的特征；在混合圖像的特征提取環(huán)節(jié)中，反射區(qū)域的坐標(biāo)定位是去除反射干擾的重要依據(jù)，通道注意力解決特征獲取問題，空間注意力則解決特征定位問題，協(xié)調(diào)注意力同時(shí)為網(wǎng)絡(luò)提供了空間注意力和通道注意力，而僅增加了少量計(jì)算復(fù)雜度，使得生成網(wǎng)絡(luò)能夠高效地獲取透射圖像特征；

38、在通過s2獲取分離出來的通過加強(qiáng)后的透射圖像特征后，將其作為生成對抗網(wǎng)絡(luò)的輸入，用于后續(xù)的特征重構(gòu)與輸出；生成對抗網(wǎng)絡(luò)是結(jié)合了生成模型和判別模型兩種模型特點(diǎn)的生成模型，該網(wǎng)絡(luò)由生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)組成，生成器負(fù)責(zé)根據(jù)樣本數(shù)據(jù)的特征分布生成新的數(shù)據(jù)樣本，判別器則給出反饋進(jìn)一步優(yōu)化生成器，通過這兩個(gè)神經(jīng)網(wǎng)絡(luò)相互博弈來進(jìn)行學(xué)習(xí)，最終引導(dǎo)生成器產(chǎn)生的數(shù)據(jù)樣本盡可能的接近真實(shí)數(shù)據(jù)樣本；該網(wǎng)絡(luò)可以在無監(jiān)督或者半監(jiān)督的情況下運(yùn)用，極大地降低了對樣本數(shù)據(jù)的要求；

39、生成對抗網(wǎng)絡(luò)的基本過程是，生成器網(wǎng)絡(luò)g對模型的隨機(jī)輸入z進(jìn)行學(xué)習(xí)，生成器輸出生成樣本g(z)，然后將生成樣本與真實(shí)樣本g(x)輸入到判別器，判別器將真實(shí)樣本標(biāo)定為1，生成樣本標(biāo)定為0，其目的再在于訓(xùn)練出一個(gè)最大化判別器d對樣本分類的準(zhǔn)確率，并在此基礎(chǔ)上最小化對抗損失log(1-d(g(z)))來優(yōu)化生成器g，進(jìn)而降低判別器分類的準(zhǔn)確性，二者的估值函數(shù)完全相反，按照極小化極大估值函數(shù)v(g,d)來進(jìn)行零和博弈，寫成公式為：

40、

41、其中x表示真實(shí)樣本數(shù)據(jù)，pdata(x)表示真是樣本數(shù)據(jù)分布，z表示隨機(jī)輸入數(shù)據(jù)，pz(z)表示隨機(jī)輸入數(shù)據(jù)的先驗(yàn)分布；當(dāng)pz＝pdata時(shí)，零和博弈存在最優(yōu)解。

42、進(jìn)一步，所述s4具體包括：

43、判別網(wǎng)絡(luò)的主要作用是將獲取到的特征圖進(jìn)行特征向量的擴(kuò)張，最終獲得與輸入圖像尺度一致的生成圖像；此外，還在生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)中引入了跳躍連接，能夠?qū)D像數(shù)據(jù)直接從生成網(wǎng)絡(luò)傳輸?shù)脚袆e網(wǎng)絡(luò)，減少圖像細(xì)節(jié)信息的丟失；此外還在生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)中間添加了由6個(gè)級聯(lián)的殘差模塊組成的特征轉(zhuǎn)換器，其主要作用是將判別網(wǎng)絡(luò)提取到的圖像特征轉(zhuǎn)換成對應(yīng)的特征圖，且能有效緩解在訓(xùn)練過程中梯度消失的問題；

44、解碼器由反卷積層、relu激活層、歸一化層、tanh激活層等構(gòu)成，解碼器的主要作用是將從特征轉(zhuǎn)換器和跳躍連接中獲取到的特征向量擴(kuò)張，獲得與輸入圖像尺度一致的生成圖像，同時(shí)參與整個(gè)生成對抗網(wǎng)絡(luò)的判別過程，通過對抗學(xué)習(xí)的過程提高整個(gè)網(wǎng)絡(luò)的精細(xì)度和生成質(zhì)量。

45、本發(fā)明另一目的在于提供一種實(shí)現(xiàn)所述基于反射區(qū)域檢測和邊緣注意力的去反射干擾方法的基于反射區(qū)域檢測和邊緣注意力的去反射干擾系統(tǒng)，該系統(tǒng)包括圖像預(yù)處理模塊、反射區(qū)域檢測網(wǎng)絡(luò)模塊、反射特征增強(qiáng)網(wǎng)絡(luò)模塊、生成對抗網(wǎng)絡(luò)模塊包括生成網(wǎng)絡(luò)模塊以及判別網(wǎng)絡(luò)模塊

46、圖像預(yù)處理模塊，用于圖像輸入該網(wǎng)絡(luò)后進(jìn)行尺寸的歸一化處理；

47、反射區(qū)域檢測網(wǎng)絡(luò)模塊，與圖像預(yù)處理模塊連接，用于在反射區(qū)域檢測網(wǎng)絡(luò)中獲取圖像多尺度的高斯-拉普拉斯特征；

48、反射特征增強(qiáng)網(wǎng)絡(luò)模塊，與反射區(qū)域檢測網(wǎng)絡(luò)模塊連接，用于通過融合了通道注意力的反射特征增強(qiáng)網(wǎng)絡(luò)進(jìn)一步細(xì)化反射特征，輸出反射區(qū)域的概率圖和反射圖像的預(yù)測圖至生成對抗網(wǎng)絡(luò)中；

49、生成對抗網(wǎng)絡(luò)模塊，包括生成網(wǎng)絡(luò)模塊以及判別網(wǎng)絡(luò)模塊，用于在生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的共同作用下通過抑制反射主導(dǎo)區(qū)域、增強(qiáng)透射主導(dǎo)區(qū)域來引導(dǎo)圖像生成。

50、本發(fā)明另一目的在于提供一種計(jì)算機(jī)設(shè)備，計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器，存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，使得處理器執(zhí)行所述的基于反射區(qū)域檢測和邊緣注意力的去反射干擾方法的步驟。

51、本發(fā)明另一目的在于提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)，使得處理器執(zhí)行所述的基于反射區(qū)域檢測和邊緣注意力的去反射干擾方法的步驟。

52、本發(fā)明另一目的在于提供一種證照圖像數(shù)據(jù)處理終端，終端用于實(shí)現(xiàn)所述的基于反射區(qū)域檢測和邊緣注意力的去反射干擾方法的證照圖像采集系統(tǒng)。

53、本發(fā)明另一目的在于提供一種跨平臺(tái)的計(jì)算機(jī)應(yīng)用程序，該應(yīng)用程序能夠部署在windows、linux以及大多數(shù)國產(chǎn)操作系統(tǒng)上，用于結(jié)合特定硬件完成所述的基于反射區(qū)域檢測和邊緣注意力的去反射干擾方法的步驟。

54、結(jié)合上述的技術(shù)方案和解決的技術(shù)問題，本發(fā)明所要保護(hù)的技術(shù)方案所具備的優(yōu)點(diǎn)及積極效果為：

55、第一、(1)本發(fā)明的一種基于反射區(qū)域檢測和邊緣注意力的去反射干擾方法，可用于復(fù)雜燈光場景下的證照采集系統(tǒng)的圖像去反射干擾工作。根據(jù)含有反射干擾的混合圖像中反射主導(dǎo)區(qū)域和透射主導(dǎo)區(qū)域的梯度差異的特點(diǎn)，在圖像生成網(wǎng)絡(luò)中引入反射區(qū)域檢測，調(diào)節(jié)網(wǎng)絡(luò)對特定區(qū)域的關(guān)注情況；又因混合圖像中邊緣特征不明顯導(dǎo)致的文字模糊、細(xì)節(jié)不清等問題，在網(wǎng)絡(luò)中引入邊緣注意力模塊，盡可能保留更多的圖像細(xì)節(jié)邊緣信息。

56、相比同類型算法，本章算法在模型大小、運(yùn)行速度以及技術(shù)指標(biāo)上優(yōu)于同類型算法。

57、(2)本發(fā)明提出的一種基于反射區(qū)域檢測和邊緣注意力的去反射干擾方法，可以極大程度上為下游工作的開展提供理論依據(jù)和強(qiáng)有力的技術(shù)支持。長期以來，目前服役的證照采集系統(tǒng)許多只完成了基礎(chǔ)的圖像采集任務(wù)，如果想要進(jìn)一步的對證照設(shè)備所采集到的圖像進(jìn)行詳細(xì)地分析，則需要使用該證照采集系統(tǒng)以外的方案或者設(shè)備。造成這一現(xiàn)象主要有兩個(gè)原因，第一個(gè)原因在于，此類型的證照采集系統(tǒng)不具備自適應(yīng)地抵抗反射干擾的能力，同時(shí)也或多或少受到外部光源影響而存在反射干擾的問題，導(dǎo)致采集出來的比如可見光下的證照圖像很難甚至是無法進(jìn)行機(jī)讀碼識(shí)別、全幅面識(shí)別與芯片識(shí)讀等等一系列的下游工作；第二個(gè)原因在于，目前可行的基于傳統(tǒng)圖像處理方法的去反射干擾算法極度依賴使用場景，如果不適配該證照采集系統(tǒng)所處的環(huán)境，就會(huì)造成處理過后的圖像效果不好或者處理時(shí)間過長，達(dá)不到系統(tǒng)參數(shù)要求。

58、本發(fā)明提出的基于反射區(qū)域檢測和邊緣注意力的去反射干擾方法采用基于生成對抗網(wǎng)絡(luò)的端到端結(jié)構(gòu)網(wǎng)絡(luò)，在部署上較為容易作為一個(gè)模塊嵌入到系統(tǒng)當(dāng)中，對整個(gè)證照采集系統(tǒng)結(jié)構(gòu)上的影響小，且易部署；同時(shí)，由于采用了深度學(xué)習(xí)的框架來完成去反射干擾的任務(wù)，使得在部署到系統(tǒng)之前可以完成模塊參數(shù)的訓(xùn)練，這使得在實(shí)際投產(chǎn)運(yùn)用該技術(shù)方案時(shí)的時(shí)間開銷相較于傳統(tǒng)圖像處理的方法來說會(huì)更少，從而可以為下游任務(wù)節(jié)省更多的時(shí)間，使證照采集系統(tǒng)能夠在有限的時(shí)間內(nèi)對待檢測證件完成更多的個(gè)性化、模塊化的采集、識(shí)讀。

59、第二，作為本發(fā)明的權(quán)利要求的創(chuàng)造性輔助證據(jù)，還體現(xiàn)在以下幾個(gè)重要方面：

60、(1)本發(fā)明的技術(shù)方案轉(zhuǎn)化后的預(yù)期收益和商業(yè)價(jià)值為：

61、該技術(shù)方案的轉(zhuǎn)化預(yù)期收益和商業(yè)價(jià)值相當(dāng)可觀。首先，該技術(shù)方案解決了在復(fù)雜光亮條件下使用證照采集設(shè)備采集到的證照圖像存在眩光、高亮光點(diǎn)等等反射干擾的問題，該問題極大地改善了下游任務(wù)中如證照的全幅面識(shí)讀與鑒偽工作因采集圖像存在反射干擾而導(dǎo)致識(shí)讀率、鑒偽成功率下降的現(xiàn)象，使得證照采集設(shè)備能夠做到集圖像采集、識(shí)讀、鑒偽一體化，達(dá)到一機(jī)多用、一機(jī)復(fù)用的良好效果。這將會(huì)以自身質(zhì)量和優(yōu)勢吸引機(jī)場、邊檢、海關(guān)以及各種有相關(guān)需求的企事業(yè)單位更可能去選擇技術(shù)方案轉(zhuǎn)化后的一體機(jī)設(shè)備，而不用再多次購買不同功能的設(shè)備完成相應(yīng)的組合任務(wù)，真正實(shí)現(xiàn)證照采集設(shè)備一體化、智能化，采集設(shè)備功能承上啟下、流水燈化。其次，該技術(shù)方案為解決這一類反射干擾問題提供了新思路，該技術(shù)方案可以應(yīng)用到不同的場景之中，而不僅僅局限于證照采集系統(tǒng)，應(yīng)用潛力巨大，有望被其他行業(yè)采用接納，從而獲取持續(xù)受益。此外，技術(shù)方案的專利保護(hù)將進(jìn)一步確保競爭優(yōu)勢和市場份額，為企業(yè)帶來長期的商業(yè)價(jià)值和競爭優(yōu)勢。綜上所述，該技術(shù)方案的轉(zhuǎn)化預(yù)期收益和商用價(jià)值較高，有望成為機(jī)場、邊檢口岸證照采集系統(tǒng)的重要技術(shù)和商業(yè)標(biāo)準(zhǔn)。

62、(2)本發(fā)明的技術(shù)方案填補(bǔ)了國內(nèi)外業(yè)內(nèi)技術(shù)空白：

63、對于一個(gè)證照采集系統(tǒng)來說，針對采集到的圖像在某種光或者某類光照條件下會(huì)產(chǎn)生反射干擾的現(xiàn)象，目前絕大多數(shù)系統(tǒng)采用的是傳統(tǒng)的圖像處理方式，甚至有的系統(tǒng)本身就不具備這種自適應(yīng)地去反射干擾的功能；而傳統(tǒng)的圖像處理方式在面對紛繁復(fù)雜的外界光條件時(shí)，可能只對一種或者是一類外界光的抗反射干擾現(xiàn)象效果顯著，不具備泛化能力。而本技術(shù)方案提出的方法基于反射區(qū)域檢測與反射邊緣注意力，在實(shí)際應(yīng)用中可以自適應(yīng)地處理不同光源條件下產(chǎn)生的各種反射現(xiàn)象，在使用上泛化性好。在此之前，國內(nèi)外尚未出現(xiàn)能夠魯棒地解決證照采集系統(tǒng)抗反射干擾的基于深度學(xué)習(xí)的方法與方案。此外，本發(fā)明在特征提取、特征融合等關(guān)鍵技術(shù)上針對該類問題取得了重要突破，為證照采集系統(tǒng)去反射干擾的進(jìn)一步研究以及依托于去反射干擾后的圖像質(zhì)量與圖像完整性的更多下游任務(wù)與應(yīng)用奠定了堅(jiān)實(shí)的基礎(chǔ)。因此，本發(fā)明填補(bǔ)了國內(nèi)外業(yè)內(nèi)在特征提取與融合以及去反射干擾方面的技術(shù)空白，為證照采集系統(tǒng)的發(fā)展帶來了新的技術(shù)解決方案和發(fā)展方向。

64、第四，基于反射區(qū)域檢測和邊緣注意力的去反射干擾方法的技術(shù)進(jìn)步主要體現(xiàn)在以下幾個(gè)方面：

65、1、引入生成式深度神經(jīng)網(wǎng)絡(luò)，提高了模型的泛化性：該方法基于生成對抗網(wǎng)絡(luò)，解決了采用傳統(tǒng)圖像處理方法去解決此類型的去反射干擾任務(wù)時(shí)，通過一些圖像特征計(jì)算反射圖像和透射圖像的混合比例或者采用混合矩陣來進(jìn)行分離的方式時(shí)存在比例局限性的問題，從而提高了整個(gè)模型的魯棒性和泛化性。

66、2、構(gòu)造反射區(qū)域檢測模塊：反射區(qū)域檢測模塊通過學(xué)習(xí)混合圖像中的多尺度高斯-拉普拉斯特征來獲取圖像梯度特征，檢測并定位混合圖像中由反射圖像主導(dǎo)的區(qū)域，獲取反射干擾概率圖，概率圖用于指示圖像中某一區(qū)域由反射圖像主導(dǎo)的概率。這種反射區(qū)域檢測模塊的建立，能夠有效篩選出反射干擾導(dǎo)致的局部噪聲，比起傳統(tǒng)圖像處理方法在特定場景下先驗(yàn)條件可能失效的弱點(diǎn)，該方法對反射去除的效果更優(yōu)。

67、3、引入基于邊緣注意力的反射特征增強(qiáng)網(wǎng)絡(luò)模塊：該方法采用平均絕對色差的方式來獲取圖像邊緣表示，在輸入圖像的rgb三通道下分別計(jì)算某一像素點(diǎn)的與周圍像素點(diǎn)的色差并求加權(quán)平均，根據(jù)平均絕對色差來估計(jì)圖像邊緣。通過這種方式獲取的混合圖像的邊緣圖相較于通過灰度化圖像獲取的二值化邊緣圖，對反射區(qū)域的硬邊界的抑制效果更加明顯。將獲取到的邊緣圖作為額外的通道輸入引入網(wǎng)絡(luò)中，為網(wǎng)絡(luò)增加邊緣注意力，提高了網(wǎng)絡(luò)的特征提取能力。

68、4、使用多維損失函數(shù)提高輸出圖像質(zhì)量：去反射干擾網(wǎng)絡(luò)的損失函數(shù)主要來自兩個(gè)方面，一方面是生成透射圖像和參考透射圖像之間的像素?fù)p失，另一部分是來自網(wǎng)絡(luò)的感知損失和對抗損失，像素?fù)p失可以優(yōu)化生成圖像的質(zhì)量，使生成圖像獲得較高的峰值信噪比，對抗損失則有助于改善網(wǎng)絡(luò)輸出圖像的直觀效果，綜合來看，使用多個(gè)損失函數(shù)的加權(quán)平均能夠提高生成圖像的質(zhì)量。

69、基于反射區(qū)域檢測和邊緣注意力的去反射干擾方法在網(wǎng)絡(luò)構(gòu)建、反射區(qū)域檢測、反射特征增強(qiáng)以及輸出圖像質(zhì)量提升等反面取得了顯著的技術(shù)進(jìn)步。這些進(jìn)步不僅提高了該任務(wù)的準(zhǔn)確性和可靠性，還為深度學(xué)習(xí)方法解決去反射問題提供了新思路和更為有效地技術(shù)手段。