一種基于顯著圖的可變塊圖像修復(fù)方法
【專利摘要】一種基于顯著圖的可變塊圖像修復(fù)方法，包括：1)、利用模擬生物體視覺注意機(jī)制的選擇性注意模型，生成待修復(fù)圖像的顯著圖；2)、計算未知區(qū)域邊界上的各點為中心的塊內(nèi)的可信度、結(jié)構(gòu)信息及顯著度項，獲得修復(fù)優(yōu)先級；并以優(yōu)先級最高的點為中心的塊作為待修復(fù)塊；3)、根據(jù)待修復(fù)塊周圍已知的像素均值、梯度及顯著度變化調(diào)整塊大??；4)、在已知區(qū)域搜索最匹配的塊來填充待修復(fù)塊內(nèi)的像素；并更新修復(fù)像素的可信度和顯著度；循環(huán)步驟2)-4)直至圖像修復(fù)畢。其利用待修復(fù)圖像的顯著信息改進(jìn)修復(fù)的優(yōu)先級，大大緩解了傳統(tǒng)修復(fù)的貪婪問題；同時能根據(jù)待修復(fù)區(qū)域周圍環(huán)境調(diào)整塊大小，滿足不同的修復(fù)需求。
【專利說明】一種基于顯著圖的可變塊圖像修復(fù)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計算機(jī)視覺、計算機(jī)圖形學(xué)領(lǐng)域，特別涉及一種基于顯著圖的可變塊圖像修復(fù)方法。
技術(shù)背景
[0002]圖像修補(bǔ)技術(shù)具有廣泛的應(yīng)用領(lǐng)域，主要包括受損照片修復(fù)和數(shù)字視覺特效兩大方面。由于保管條件或人為等種種因素，一些具有極高的收藏價值和歷史價值的美術(shù)作品或老照片出現(xiàn)裂痕和劃痕，因此對這些文物和數(shù)據(jù)進(jìn)行修復(fù)具有十分重要的意義。通過數(shù)字圖像修補(bǔ)技術(shù)，只需確定待修復(fù)的區(qū)域，計算機(jī)就可以按照指定的算法進(jìn)行修復(fù)，避免了手工修復(fù)耗費的大量時間。同時，在數(shù)字視覺特效制作和虛擬現(xiàn)實領(lǐng)域方面的應(yīng)用主要涉及物體的移除和場景編輯。具體應(yīng)用包括對獲取的場景照片中的闖入者或者固定遮擋物的移除。
[0003]圖像修復(fù)的問題可以如下概括:給定一幅圖像，可能有殘缺部分或者有需要移除的部分，然后以一種符合視覺需求的方式填補(bǔ)待修復(fù)區(qū)域。盡管圖像修復(fù)的問題看起來簡單，但是要使修復(fù)后的圖像盡如人意卻是非常之難。近些年涌現(xiàn)出大量的圖像修補(bǔ)算法，而其大概可以歸為三類:基于統(tǒng)計的方法，基于偏微分方程的方法，基于塊的方法。
[0004]基于統(tǒng)計的方法主要用在紋理合成上，通過參數(shù)統(tǒng)計模型提取輸入紋理的統(tǒng)計數(shù)據(jù)，再調(diào)整輸出圖像直到其統(tǒng)計數(shù)據(jù)與輸入相匹配。這類方法的主要缺點是其統(tǒng)計模型只適用于紋理合成，對包含結(jié)構(gòu)信息的圖像修復(fù)效果不佳。基于偏微分方程的方法將圖像修補(bǔ)看作是將空洞周圍已知像素作為邊界條件下的偏微分方程或變分求解問題，因此圖像修補(bǔ)變成已知信息向丟失信息區(qū)域的擴(kuò)散過程。基于偏微分方程的方法可以很好的保存結(jié)構(gòu)信息，然而在處理較大信息丟失區(qū)域或者紋理豐富的圖片時，會產(chǎn)生模糊的修補(bǔ)結(jié)果。
[0005]而至今為止修復(fù)效果最好一類的就是基于塊的方法，這些方法以塊為單位，通過復(fù)制已知區(qū)域的內(nèi)容到未知區(qū)域來實現(xiàn)修復(fù)。然而這些方法受限于兩點:其修復(fù)的貪婪性和塊大小選擇對修復(fù)效果的影響。盡管已有一些基于全局最優(yōu)的方法試圖解決其貪婪性，然而結(jié)果表明這些方法只是減輕其貪婪性，同時帶來了大量的計算復(fù)雜度。同樣的，在塊大小選擇的問題上，如果塊選擇過小，則不能充分考慮局部的紋理特性，如果塊選擇過大則可能導(dǎo)致塊內(nèi)包含過多結(jié)構(gòu)信息，不利于修復(fù)。同時，塊過大也易受視差和小角度旋轉(zhuǎn)的影響。一般方法都是人為的選擇比能包含已知區(qū)域最大可分辨紋理的塊大小，而很多情況下同樣的塊大小不能滿足所有未知區(qū)域修復(fù)的要求。
[0006]本發(fā)明在基于塊的方法基礎(chǔ)上，利用顯著信息減輕修復(fù)過程中的貪婪問題，同時根據(jù)待修復(fù)區(qū)域周圍環(huán)境選擇塊大小以滿足不同的修復(fù)需求。

【發(fā)明內(nèi)容】

[0007]為了克服現(xiàn)有數(shù)字圖像修補(bǔ)技術(shù)存在的上述問題，本發(fā)明提供一種基于顯著圖的可變塊圖像修復(fù)方法，其根據(jù)待修復(fù)圖像的已知區(qū)域信息修復(fù)未知區(qū)域得到視覺上合理的修復(fù)圖像，以待修復(fù)圖像的顯著信息來改進(jìn)修復(fù)的優(yōu)先級，緩解修復(fù)過程中的貪婪問題，同時可以根據(jù)塊周圍的環(huán)境調(diào)整塊大小以滿足不同的修復(fù)需求。
[0008]本發(fā)明提供的基于顯著圖的可變塊圖像修復(fù)方法，包括以下步驟:
[0009]I)、輸入含有已知區(qū)域及未知區(qū)域的待修復(fù)圖像，利用模擬生物體視覺注意機(jī)制的選擇性注意模型，根據(jù)像素點顏色、亮度、方向特征與周邊背景特征的對比，得到待修復(fù)圖像所有點的顯著度構(gòu)成一張顯著圖；
[0010]2)、確定未知區(qū)域邊界上的點的修復(fù)優(yōu)先級，分別計算每一點為中心的塊內(nèi)的可信度——已知像素百分比，結(jié)構(gòu)信息及顯著度項，將三者的乘積作為修復(fù)優(yōu)先級；并選出優(yōu)先級最高的點為中心的塊作為待修復(fù)塊；
[0011]3)、在待修復(fù)塊周圍不同像素大小(如5*5，7*7，…，17*17)的塊中，找出相鄰的塊之間已知的像素均值、梯度及顯著度變化最大的相鄰塊，調(diào)整待修復(fù)塊的大小為該相鄰塊中較小塊的大小(即選擇該相鄰塊中較小塊的大小作為待修復(fù)塊的大小)；使調(diào)整后的待修復(fù)塊與該相鄰塊中較大塊內(nèi)已知的像素均值、梯度及顯著度變化最大；
[0012]4)、依據(jù)待修復(fù)塊內(nèi) 像素顏色值及平均顯著度，在已知區(qū)域搜索最匹配的塊來填充待修復(fù)塊內(nèi)的像素；然后根據(jù)匹配代價更新已修復(fù)像素的可信度，并利用該匹配塊內(nèi)平均顯著度更新修復(fù)像素的顯著度；其中，該匹配代價是待修復(fù)塊與搜索到的最匹配塊內(nèi)像素顏色值的歐氏距離和顯著度的差的絕對值；
[0013]循環(huán)重復(fù)步驟2)-4)，直至填滿待修復(fù)圖像的未知區(qū)域內(nèi)的所有像素。
[0014]上述圖像修復(fù)方法中，采用的一種待修復(fù)圖像的顯著圖生成方法，包括以下步驟:
[0015](11)先將待修復(fù)圖像表示成9層的高斯金字塔，其中第O層是待修復(fù)圖像，1-8層分別是用5*5的高斯濾波器對待修復(fù)圖像進(jìn)行濾波和采樣形成的圖像，大小分別為待修復(fù)圖像的1/2到1/256 ;并分別提取高斯金字塔每一層的亮度1、紅色R、綠色G、藍(lán)色B、黃色Y及方向O特征，形成特征金字塔；同時對各種特征分別在特征金字塔的不同尺度間作差；
[0016](12)把上述得到的每一個特征圖歸一化到區(qū)間[01]，然后分別把每一種歸一化后的特征圖逐點求和，得到對應(yīng)于每一種特征的顯著圖，綜合所有特征的顯著性，得到對應(yīng)于待修復(fù)圖像的顯著圖。
[0017]步驟(11)中，所述亮度1、紅色R、綠色G、藍(lán)色B、黃色Y特征公式分別為:
[0018]I = (r+g+b) /3
[0019]R = r- (g+b) /2
[0020]G = g- (r+b) / 2
[0021]B = b- (r+g) /2
[0022]Y= (r+g)/2-1 r_g I/2_b
[0023]其中，r，g, b分別對應(yīng)待修復(fù)圖像的紅、綠、藍(lán)三通道；
[0024]所述方向O特征由方向Gabor濾波0(σ, Θ)對金字塔σ e [0..8]和方向Θ e {0°，45° ,90° , 135° }分別濾波得到；
[0025]步驟(12)歸一化之前，進(jìn)一步可對每個特征圖分別用二維高斯差函數(shù)進(jìn)行卷積，并把卷積結(jié)果疊加回原特征圖，使同種特征以側(cè)抑制的方式在空間上競爭，卷積和迭代過程進(jìn)行2-5次，以消除干擾噪聲突出顯著部分。[0026]本發(fā)明是傳統(tǒng)基于塊修復(fù)技術(shù)的一種改進(jìn)圖像修復(fù)方法，其利用待修復(fù)圖像的顯著信息改進(jìn)修復(fù)的優(yōu)先級，大大緩解了修復(fù)過程中的貪婪問題；同時能根據(jù)待修復(fù)區(qū)域周圍環(huán)境調(diào)整塊大小，滿足不同的修復(fù)需求。
[0027]修復(fù)算法基本自動化運行，需要很少的人工干預(yù)，特別適合于修復(fù)出現(xiàn)裂痕或缺損的具有極高收藏價值美術(shù)作品、老照片。
【專利附圖】

【附圖說明】
[0028]圖1為本發(fā)明方法總流程圖；
[0029]圖2為采用本發(fā)明方法的修復(fù)實例I效果圖；
[0030]圖3a、3b為采用本發(fā)明方法的修復(fù)實例2結(jié)果圖和原圖。
【具體實施方式】
[0031]以下結(jié)合附圖及實例本發(fā)明基于顯著圖的可變塊圖像修復(fù)方法作詳細(xì)說明。
[0032]參照圖1，基于顯著圖的可變塊圖像修復(fù)方法包括以下步驟:
[0033]I)、輸入待修復(fù)圖像生成已知區(qū)域顯著圖，如圖2中的(a)所示修復(fù)前原圖，Ω表示未知區(qū)域，Φ表示已知區(qū)域。
[0034](11)、特征的提取:先把待修復(fù)圖像表示成9層的高斯金字塔。其中第O層是輸入圖像，I到8層分別是用5*5的高斯濾波器對輸入圖像進(jìn)行濾波和采樣形成的圖像，大小分別為輸入圖像的1/2到1/256。然后對金字塔每一層分別提取各種特征:亮度1、紅色R、綠色G、藍(lán)色B、黃色Y及方向O特征，形成特征金字塔。
[0035]方向特征由方向Gabor濾波O ( σ，Θ )對金字塔σ e [0..8]和方向Θ e {0°，45° ,90° ,135° }分別濾波得到。其他特征公式如下:
[0036]I = (r+g+b) /3
[0037]R = r- (g+b) /2
[0038]G = g- (r+b) /2
[0039]B = b- (r+g) /2
[0040]Y = (r+g) /2-1 r-g | /2~b
[0041]r, g, b分別對應(yīng)待修復(fù)圖像的紅綠藍(lán)三通道。
[0042]同時對各種特征分別在特征金字塔的不同尺度間作差。作差得到的是中心(尺度c)和外周(尺度s)的特征的對比，表示中心和外周的局部方向特征的對比。
[0043](12)、顯著圖生成:把每一個上述得到的特征圖歸一化到區(qū)間[01]，以消除和特征相關(guān)的幅度差別。為了消除干擾噪聲突出顯著部分，對每個特征圖M分別用二維高斯差函數(shù)進(jìn)行卷積，并把卷積結(jié)果疊加回原特征圖，使同種特征以側(cè)抑制的方式在空間上競爭。卷積和迭代過程進(jìn)行2-5次，這樣可以讓少數(shù)幾個最顯著的點均勻分布在整個特征圖上，從而每個特征圖上只保留少數(shù)的幾個顯著點，在疊加多個特征圖時能把多種顯著特征的點突現(xiàn)出來。接下來分別把每一種歸一化后的特征圖逐點求和(采樣到第4尺度)，得到對應(yīng)于每一種特征的顯著圖，綜合所有特征的顯著性，就得到對應(yīng)于待修復(fù)圖像的顯著圖S [如圖2中的(b)圖)。
[0044]2)、對未知區(qū)域邊界上的點p，分別計算以P點為中心、9X9像素塊內(nèi)可信度C(p)、結(jié)構(gòu)信息D (P)及顯著度項S (P),
【權(quán)利要求】
1.一種基于顯著圖的可變塊圖像修復(fù)方法，包括以下步驟: 1)、輸入含有已知區(qū)域及未知區(qū)域的待修復(fù)圖像，利用模擬生物體視覺注意機(jī)制的選擇性注意模型，根據(jù)像素點顏色、亮度、方向特征與周邊背景特征的對比，得到待修復(fù)圖像所有點的顯著度構(gòu)成一張顯著圖； 2)、確定未知區(qū)域邊界上的點的修復(fù)優(yōu)先級，分別計算每一點為中心的塊內(nèi)的可信度——已知像素百分比，結(jié)構(gòu)信息及顯著度項，將三者的乘積作為修復(fù)優(yōu)先級；并選出優(yōu)先級最高的點為中心的塊作為待修復(fù)塊； 3)、在待修復(fù)塊周圍不同像素大小的塊中，找出相鄰的塊之間已知的像素均值、梯度及顯著度變化最大的相鄰塊，調(diào)整待修復(fù)塊的大小為該相鄰塊中較小塊的大??； 4)、依據(jù)待修復(fù)塊內(nèi)像素顏色值及平均顯著度，在已知區(qū)域搜索最匹配的塊來填充待修復(fù)塊內(nèi)的像素；然后根據(jù)匹配代價更新已修復(fù)像素的可信度，并利用該匹配塊內(nèi)平均顯著度更新修復(fù)像素的顯著度； 循環(huán)重復(fù)步驟2)-4)，直至填滿待修復(fù)圖像的未知區(qū)域內(nèi)的所有像素。
2.如權(quán)利要求1所述的圖像修復(fù)方法，其特征是，所述步驟I)顯著圖的生成方法是: (11)先把待修復(fù)圖像表示成9層的高斯金字塔，其中第O層是待修復(fù)圖像，1-8層分別是用5*5的高斯濾波器對待修復(fù)圖像進(jìn)行濾波和采樣形成的圖像，大小分別為待修復(fù)圖像的1/2到1/256 ;并分別提取高斯金字塔每一層的亮度1、紅色R、綠色G、藍(lán)色B、黃色Y及方向O特征，形成特征 金字塔；同時對各種特征分別在特征金字塔的不同尺度間作差； (12)把上述得到的每一個特征圖歸一化到區(qū)間[01]，然后分別把每一種歸一化后的特征圖逐點求和，得到對應(yīng)于每一種特征的顯著圖，綜合所有特征的顯著性，得到對應(yīng)于待修復(fù)圖像的顯著圖。
3.如權(quán)利要求2所述的圖像修復(fù)方法，其特征是，步驟(11)中所述亮度1、紅色R、綠色G、藍(lán)色B、黃色Y特征公式分別為:
I = (r+g+b)/3
R = r- (g+b)/2
G = g- (r+b) /2
B = b- (r+g) /2
Y= (r+g)/2-|r-g|/2-b 其中，r，g, b分別對應(yīng)待修復(fù)圖像的紅、綠、藍(lán)三通道； 所述方向O特征由方向Gabor濾波O ( σ，Θ )對金字塔σ e [0..8]和方向Θ e {O。，45° ,90° , 135° }分別濾波得到。
4.如權(quán)利要求2所述的圖像修復(fù)方法，其特征是，步驟(12)歸一化之前，進(jìn)一步對每個特征圖分別用二維高斯差函數(shù)進(jìn)行卷積，并把卷積結(jié)果疊加回原特征圖，使同種特征以側(cè)抑制的方式在空間上競爭，卷積和迭代過程進(jìn)行2-5次，以消除干擾噪聲突出顯著部分。
5.如權(quán)利要求2所述的圖像修復(fù)方法，其特征是，步驟2)中所述點的修復(fù)優(yōu)先級確定方法如下: 設(shè)P點為未知區(qū)域邊界上的點，以算式P(P) = C(P)D(P)S(P)計算P點的修復(fù)優(yōu)先級P(P)，其中C(p)、D(p)、S(p)分別為以P點為中心、9X9像素塊內(nèi)的可信度、結(jié)構(gòu)信息及顯著度項；
6.一種待修復(fù)圖像的顯著圖生成方法，其特征是包括以下步驟: (11)先將待修復(fù)圖像表示成9層的高斯金字塔，其中第O層是待修復(fù)圖像，1-8層分別是用5*5的高斯濾波器對待修復(fù)圖像進(jìn)行濾波和采樣形成的圖像，大小分別為待修復(fù)圖像的1/2到1/256 ;并分別提取高斯金字塔每一層的亮度1、紅色R、綠色G、藍(lán)色B、黃色Y及方向O特征，形成特征金字塔；同時對各種特征分別在特征金字塔的不同尺度間作差； (12)把上述得到的每一個特征圖歸一化到區(qū)間[01]，然后分別把每一種歸一化后的特征圖逐點求和，得到對應(yīng)于每一種特征的顯著圖，綜合所有特征的顯著性，得到對應(yīng)于待修復(fù)圖像的顯著圖。
7.如權(quán)利要求6所述的方法，其特征是，步驟(11)中所述亮度1、紅色R、綠色G、藍(lán)色B、黃色Y特征公式分別為:
I = (r+g+b)/3
R = r- (g+b)/2
G = g- (r+b) /2
B = b- (r+g) /2
Y= (r+g)/2-|r-g|/2-b 其中，r，g, b分別對應(yīng)待修復(fù)圖像的紅、綠、藍(lán)三通道； 所述方向O特征由方向Gabor濾波O ( σ，Θ )對金字塔σ e [0..8]和方向Θ e {O。，45° ,90° , 135° }分別濾波得到； 步驟(12)歸一化之前，進(jìn)一步對每個特征圖分別卷積，并把卷積結(jié)果疊加回原特征圖，使同種特征以側(cè)抑制的方式在空間上競爭，卷積和迭代過程進(jìn)行2-5次，以消除干擾噪聲突出顯著部分。
【文檔編號】G06T5/00GK103971338SQ201410188179
【公開日】2014年8月6日 申請日期:2014年5月6日 優(yōu)先權(quán)日:2014年5月6日
【發(fā)明者】王好謙, 李政芝, 戴瓊海 申請人:清華大學(xué)深圳研究生院