專利名稱：一種破損圖像自動(dòng)數(shù)字化修復(fù)的方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)虛擬現(xiàn)實(shí)和計(jì)算機(jī)圖形學(xué)技術(shù)領(lǐng)域，是一種能將局部破損圖像 通過(guò)數(shù)字化進(jìn)行自動(dòng)修復(fù)的方法。
背景技術(shù)：
數(shù)字圖像修復(fù)技術(shù)是指對(duì)那些局部區(qū)域內(nèi)的數(shù)據(jù)丟失或損壞的數(shù)字圖像按照指 定的算法進(jìn)行填充，以恢復(fù)其視覺(jué)完整性的一門技術(shù)。針對(duì)不同的應(yīng)用場(chǎng)景以及理論基 礎(chǔ)，國(guó)內(nèi)外目前主要存在兩種類型的圖像修復(fù)算法。一種是針對(duì)缺損尺度比較小的圖像修 補(bǔ)(inpainting)技術(shù)；一種是用于填充圖像中大塊丟失信息的圖像補(bǔ)全(completion)技 術(shù)。圖像修補(bǔ)技術(shù)主要包括兩種方法，一種是基于偏微分方程的修補(bǔ)技術(shù)，一種是基于幾何 圖像模型的變分修補(bǔ)技術(shù)。基于偏微分方程的修補(bǔ)方法最常見(jiàn)的是由文獻(xiàn)1的Berman F， FoxG,Hey AJG. Grid Computing :Making the Global Infrastructure a Reality[M]. USA John Wiley，2003提出的BSCB模型。BSCB模型的主要思路是利用待修補(bǔ)區(qū)域的邊緣信息， 采用一種由粗到精的方法來(lái)估計(jì)等照度線(isophote)的方向，然后采用一定的方法使得 鄰域已知信息沿著等光照線的方向擴(kuò)散進(jìn)入破損區(qū)域。該模型針對(duì)待修補(bǔ)區(qū)域內(nèi)的像素進(jìn) 行修復(fù)，修補(bǔ)過(guò)程中穿插進(jìn)行擴(kuò)散。為了保持邊緣銳利性，擴(kuò)散過(guò)程中采取各向同性非線性 擴(kuò)散方程。BSCB模型對(duì)背景紋理變化不大的缺損圖像修復(fù)效果較好，但沒(méi)有考慮到結(jié)構(gòu)高 頻部分以及紋理特征，修復(fù)過(guò)程中產(chǎn)生模糊，修復(fù)破損區(qū)域較大時(shí)對(duì)圖像紋理變化處理效 果較差，圖像修復(fù)效果模糊。基于幾何圖像模型最典型的算法是文獻(xiàn)2T. Chan and J. Shen, Mathematical Models for Local Non-texture Inpaintings[J], SIAMJ. Appl. Math. ,62-3 (2001), 1019-1043提出的TV模型，該模型通過(guò)對(duì)代價(jià)函數(shù)求極小值的方法來(lái)處理圖像修補(bǔ)問(wèn)題。 該算法基本原理為，記D為待修補(bǔ)區(qū)域，該區(qū)域的邊界δ D分段光滑，E為緊鄰區(qū)域D的環(huán) 狀區(qū)域。TV圖像修補(bǔ)就是在區(qū)域E的噪聲約束條件下，通過(guò)對(duì)區(qū)域E U D的整體變分來(lái)對(duì) 污損區(qū)域D內(nèi)的像素值進(jìn)行的最佳猜測(cè)。也即尋找EUD區(qū)域上一個(gè)代價(jià)函數(shù)，然后通過(guò)最 小化該代價(jià)函數(shù)來(lái)實(shí)現(xiàn)對(duì)圖像的修補(bǔ)。在修補(bǔ)的同時(shí)要滿足一定的噪聲約束，這樣既使得 修補(bǔ)區(qū)域及其邊界盡可能平滑，又保證對(duì)噪聲的魯棒性。該模型對(duì)小區(qū)域破損圖片修復(fù)較 好，較好地保持圖像的邊緣部分。但修復(fù)后的圖像連通性差，當(dāng)破損區(qū)域過(guò)大時(shí)修復(fù)較為模 糊且太過(guò)突兀。圖像補(bǔ)全技術(shù)主要包括兩種方法，一種是基于圖像分解的修復(fù)技術(shù)，另一種用是 基于塊的紋理合成技術(shù)?；趫D像分解的修復(fù)最常見(jiàn)的是文獻(xiàn)3BERTALMI0 Μ, SAPIRO G， CASELLES V, et al. Image inpainting[C]//Proc of SIGGRAPH. New York [s.η.],2000 417-4 提出在一幅圖像上同時(shí)采用紋理合成和結(jié)構(gòu)修補(bǔ)，該方法同時(shí)結(jié)合了現(xiàn)有的三種 算法圖像紋理和結(jié)構(gòu)分離、紋理合成、結(jié)構(gòu)修補(bǔ)，具體算法過(guò)程是首先用全變分最小化將 圖像的結(jié)構(gòu)部分提取出來(lái)，然后用一個(gè)震動(dòng)函數(shù)對(duì)紋理或噪聲部分建模，當(dāng)把圖像分解成 這兩個(gè)部分以后，再用BSCB模型來(lái)修補(bǔ)結(jié)構(gòu)部分，同時(shí)用非參數(shù)采樣紋理合成技術(shù)來(lái)填充紋理部分，最后把這兩部分修補(bǔ)的結(jié)果疊加起來(lái)，形成最終的修補(bǔ)圖像。該算法在圖片大面 積缺損區(qū)域補(bǔ)全及裂紋修復(fù)方面有著較好的效果。但修復(fù)結(jié)果與實(shí)際相差很多，計(jì)算復(fù)雜 度過(guò)高，處理時(shí)間長(zhǎng)?；趬K的紋理合成技術(shù)的主要思想是，首先從待修補(bǔ)區(qū)域的邊界上選取一個(gè)像 素點(diǎn)，同時(shí)以該點(diǎn)為中心，根據(jù)圖像的紋理特征，選取大小合適的紋理塊，然后在待修補(bǔ) 區(qū)域的周圍尋找與之最相近的紋理匹配塊來(lái)替代該紋理塊.其中最典型的算法就是文 獻(xiàn) 4 的 A. Crinminisi, P.Perez andK. Toymaa, Region Filling and Object Removal by Exemplar-Based Inpainting[J], IEEE Transactions on image Processing, 2004(Vol. 13，No. 9) :1200-1212采用的一種基于塊的圖像修補(bǔ)算法。Criminisi算法的核 心思想是以目標(biāo)區(qū)域的填充優(yōu)先順序?yàn)榛鶞?zhǔn)，在填充待修補(bǔ)區(qū)域時(shí)，首先根據(jù)相應(yīng)的算法 計(jì)算圖片修補(bǔ)邊界上所有塊的優(yōu)先級(jí)，嚴(yán)格按照優(yōu)先級(jí)從高到低的順序填充并更新。該算 法的步驟為計(jì)算邊界塊優(yōu)先級(jí)，為目標(biāo)塊選擇最優(yōu)匹配塊并填充目標(biāo)塊未知區(qū)域，更新置 信度。重復(fù)以上步驟直至帶修復(fù)塊為空。該算法修復(fù)較大面積缺損圖片時(shí)存在嚴(yán)重的邊界 凹陷問(wèn)題，對(duì)較強(qiáng)邊緣處理較差。

發(fā)明內(nèi)容
本發(fā)明的技術(shù)解決問(wèn)題克服現(xiàn)有技術(shù)計(jì)算速度慢、效率低且對(duì)大面積缺損復(fù)雜 紋理圖像修復(fù)效果不佳的缺點(diǎn)。本發(fā)明目的是提供一種魯棒性高，修復(fù)效果好的圖像修復(fù) 方法。該方法不僅能夠自動(dòng)修復(fù)具有復(fù)雜紋理和結(jié)構(gòu)特征大面積缺損圖像，且能夠很好的 保持圖像的邊緣和線條特征。本發(fā)明是一種破損圖像數(shù)字自動(dòng)化修復(fù)的新方法，該方法的步驟如下(1)用戶通過(guò)人工交互的方法確定出圖像中的缺損區(qū)域。(2)已知圖像區(qū)域的邊緣輪廓線為填充前緣。算法以填充前緣上每一個(gè)像素點(diǎn)為 中心所對(duì)應(yīng)的像素塊為基本處理單位的，稱為待修復(fù)塊。根據(jù)待修復(fù)塊的未知塊比例，線性 特征以及曲率計(jì)算出填充前緣各像素的優(yōu)先級(jí)。按照優(yōu)先級(jí)的從高到低的順序依次壓入處 理隊(duì)列。根據(jù)FCFS(先來(lái)先服務(wù))原則選擇一個(gè)像素完成修復(fù)。隊(duì)列中像素修復(fù)完畢后， 自動(dòng)重新確定填充前緣，直到填滿整個(gè)待修復(fù)區(qū)域內(nèi)的所有像素。(3)對(duì)選定像素修復(fù)的步驟如下第一步，確定該像素是否已被修復(fù)。若未修復(fù)執(zhí)行下列步驟，否則不執(zhí)行任何操 作。第二步，填充待修復(fù)塊前，在已知區(qū)域中尋找與其最類似的樣本塊。對(duì)樣本塊的匹 配采用歐式距離和基于矩陣相似度兩種方式自動(dòng)選擇進(jìn)行。當(dāng)待修復(fù)塊中的待修復(fù)像素比 例超過(guò)閾值時(shí)，采用歐式距離算法匹配樣本塊。否則使用基于矩陣相似度算法進(jìn)行匹配。第三步，用搜索出的樣本塊對(duì)待修復(fù)塊進(jìn)行填充。對(duì)填充前緣像素為中心的待修 復(fù)塊中各像素的修復(fù)狀態(tài)進(jìn)行更新。對(duì)隊(duì)列信息進(jìn)行更新。具體步驟如下(1)對(duì)數(shù)字圖像預(yù)處理，用手工交互方法，確定破損的待修復(fù)區(qū)域；(2)獲取已知圖像區(qū)域的邊界點(diǎn)，生成填充前緣。若填充前緣為空，代表已經(jīng)沒(méi)有 待修復(fù)區(qū)域，整個(gè)修復(fù)過(guò)程結(jié)束；若填充前緣不為空則繼續(xù)執(zhí)行第(3)步；
(3)計(jì)算填充前緣各像素的優(yōu)先級(jí)，并按照優(yōu)先級(jí)由高到低的順序壓入隊(duì)列；(4)取出隊(duì)首元素，若隊(duì)首為空，則代表隊(duì)列中像素都修復(fù)完畢，執(zhí)行第⑵步；若 不為空則繼續(xù)向下執(zhí)行；(5)判斷此隊(duì)首元素對(duì)應(yīng)像素是否已經(jīng)被修復(fù)，若已經(jīng)被修復(fù)，則執(zhí)行第(4)步； 若未被修復(fù)則繼續(xù)向下執(zhí)行；(6)計(jì)算該像素為中心的待修復(fù)塊中未知像素的比例；若比例大于等于閾值則執(zhí) 行第(7)步；若比例小于閾值則執(zhí)行第(8)步；(7)在已知圖像區(qū)域內(nèi)，對(duì)待修復(fù)塊用基于矩陣歐氏距離算法搜索最佳匹配塊，然 后執(zhí)行第(9)步；(8)在已知圖像區(qū)域內(nèi)，對(duì)待修復(fù)塊用基于矩陣相似度算法搜索最佳匹配塊，然后 執(zhí)行第(9)步；(9)用匹配得到的最佳匹配樣本塊，填充待修復(fù)塊中未修復(fù)的部分；(10)對(duì)待修復(fù)像素塊中各像素的置信度進(jìn)行更新，然后執(zhí)行第(4)步。本發(fā)明的技術(shù)效果如下對(duì)于破損圖像提供了有效的自動(dòng)數(shù)字化修復(fù)方法，可以修復(fù)大面積缺損復(fù)雜紋理 圖像(如圖3、圖4和圖5所示)，克服了現(xiàn)有修復(fù)方法只能修復(fù)“細(xì)線”狀破損區(qū)域，或修 復(fù)大面積缺損時(shí)存在邊界凹陷問(wèn)題的缺點(diǎn)。本發(fā)明現(xiàn)已成功應(yīng)用于唐墓壁畫的修復(fù)。


圖1示出本發(fā)明中所涉及的符號(hào)定義。圖2示出本發(fā)明具體實(shí)施方式
的流程圖。圖3示出用本發(fā)明方法進(jìn)行圖像修復(fù)的實(shí)例。圖4示出用本發(fā)明方法進(jìn)行圖像修復(fù)的實(shí)例。圖5示出用本發(fā)明方法進(jìn)行圖像修復(fù)的實(shí)例。
具體實(shí)施例方式首先，定義一些符號(hào)，如圖1所示。一個(gè)圖I，Ω是要修補(bǔ)的區(qū)域(也就是目標(biāo)區(qū) 域)，由用戶指定，形狀可以是任意。Φ是已知的區(qū)域(也就是源區(qū)域)，該區(qū)域?yàn)槲覀兊?修補(bǔ)區(qū)域提供了樣本。δ Ω是Φ和Ω的Φ —側(cè)邊界，S卩δ Ω上所有點(diǎn)都是已知的，稱 為填充前緣。Ψρ是以點(diǎn)pe δ Ω為中心的目標(biāo)塊，稱為待修復(fù)塊。待修復(fù)塊的大小可以 人為確定，窗口過(guò)大會(huì)導(dǎo)致紋理的缺失，窗口過(guò)小會(huì)導(dǎo)致修復(fù)圖像的不連續(xù)。ηρ是填充前緣 δ Ω上ρ點(diǎn)的法向量，V^代表ρ點(diǎn)的等照亮線(方向和強(qiáng)度)。本發(fā)明中默認(rèn)為9X9，其 理論值應(yīng)該稍大于圖像可識(shí)別的紋理元素的大小。參閱圖2的流程圖，該發(fā)明的詳細(xì)修復(fù)過(guò)程如下第一步計(jì)算填充前緣各像素的優(yōu)先級(jí)獲取當(dāng)前狀態(tài)的填充前緣，計(jì)算當(dāng)前填充前緣的各像素的優(yōu)先級(jí)。各像素的優(yōu)先 級(jí)由其對(duì)應(yīng)的待修復(fù)塊的置信度、等照線信息以及曲率共同決定。置信度待修復(fù)塊中位于樣本區(qū)域的像素點(diǎn)比例越高，即已填充好的像素點(diǎn)多，這 個(gè)修補(bǔ)塊的置信度就會(huì)高。也即修復(fù)過(guò)程更傾向于先修復(fù)能夠保持已有圖像信息的置信度最高的像素點(diǎn)。等照線信息等照線強(qiáng)度越大、等照線與法向量之間的夾角越小，圖像線性結(jié)構(gòu)的 部分的優(yōu)先級(jí)就會(huì)越高，圖像在修復(fù)紋理的同時(shí)能擴(kuò)散圖像結(jié)構(gòu)。曲率曲率信息的加入是為了信息能夠沿著等照度線的方向去擴(kuò)散。它反映的是 等照線的幾何信息。優(yōu)先級(jí)的計(jì)算方式如下每一個(gè)待修復(fù)塊Ψρ(ρ e δ Ω)的優(yōu)先權(quán)P(P)，由置信度 函數(shù)C(p)和等照線函數(shù)D(p)決定，其中等照線函數(shù)D(p)中包含了曲率信息Κρ。p(p) = C(p) *D (ρ) (1)；
權(quán)利要求
1.一種破損圖像自動(dòng)數(shù)字化修復(fù)方法，其特征在于，包括以下步驟(1)用戶通過(guò)人工交互的方法確定出圖像中的缺損區(qū)域；(2)已知圖像區(qū)域的邊緣輪廓線為填充前緣；算法以填充前緣上每一個(gè)像素點(diǎn)為中心 所對(duì)應(yīng)的待修復(fù)塊為基本處理單位的；根據(jù)待修復(fù)塊的置信度，等照線信息以及曲率計(jì)算 出填充前緣各像素的優(yōu)先級(jí)；按照優(yōu)先級(jí)的從高到低的順序依次壓入處理隊(duì)列；根據(jù)先來(lái) 先服務(wù)原則選擇一個(gè)像素完成修復(fù)；隊(duì)列中像素修復(fù)完畢后，自動(dòng)重新確定填充前緣，直到 填滿整個(gè)待修復(fù)區(qū)域內(nèi)的所有像素；(3)對(duì)選定像素修復(fù)的步驟如下第一步，確定該像素是否已被修復(fù)；若未修復(fù)執(zhí)行下列步驟，否則不執(zhí)行任何操作； 第二步，填充待修復(fù)塊前，在已知區(qū)域中尋找與其最類似的樣本塊；對(duì)樣本塊的匹配采 用歐式距離和基于矩陣相似度兩種方式自動(dòng)選擇進(jìn)行；當(dāng)待修復(fù)塊中的待修復(fù)像素比例超 過(guò)閾值時(shí)，采用歐式距離算法匹配樣本塊；否則使用基于矩陣相似度算法進(jìn)行匹配；閾值 默認(rèn)為1/4，對(duì)于紋理較復(fù)雜的圖像可適當(dāng)降低，對(duì)于紋理簡(jiǎn)單的圖像可適當(dāng)增加；第三步，用搜索出的樣本塊對(duì)待修復(fù)像素塊進(jìn)行填充；對(duì)待修復(fù)像素塊中各像素的修 復(fù)狀態(tài)和置信度進(jìn)行更新；對(duì)隊(duì)列信息進(jìn)行更新。
2.根據(jù)權(quán)利要求1所述的修復(fù)方法，其特征在于步驟( 填充前緣各像素的修復(fù)優(yōu) 先級(jí)是由其對(duì)應(yīng)待修復(fù)塊的置信度，等照線信息以及曲率共同決定；像素點(diǎn)P的修復(fù)優(yōu)先 級(jí)P(P) =C(p)*D(p)，由置信度函數(shù)C(p)和等照線函數(shù)D(p)決定，其中等照線函數(shù)D(p)中包含了曲率信息Kp;置信度函數(shù)
3.根據(jù)權(quán)利要求1所述的修復(fù)方法，其特征在于步驟C3)對(duì)樣本塊的匹配采用歐式 距離和基于矩陣相似度兩種方式自動(dòng)選擇進(jìn)行；當(dāng)待修復(fù)塊中的待修復(fù)像素比例超過(guò)閾值 時(shí)，采用歐式距離算法匹配樣本塊；否則使用基于矩陣相似度算法進(jìn)行匹配；基于歐氏距離匹配策略是計(jì)算待修復(fù)塊Ψρ中的已知像素集與樣本塊中對(duì)應(yīng)位置 像素集的歐氏距離；在已知圖像區(qū)域內(nèi)全局比較，選擇歐氏距離最小的樣本塊為最佳匹配 樣本塊；基于矩陣相似度匹配策略是對(duì)待修復(fù)塊Ψρ中的未知像素，用樣本塊中與對(duì)應(yīng)位 置的像素進(jìn)行填充形成一個(gè)新的中間待修復(fù)塊Ψρ,，然后計(jì)算Ψρ,與之間的矩陣相似 度r ；在已知圖像區(qū)域內(nèi)全局比較，選擇矩陣相似度r最大的樣本塊Ψ,,為最佳匹配樣本塊ψ,。
4. 一種破損圖像自動(dòng)數(shù)字化修復(fù)方法，其特征在于，按照如下步驟(1)對(duì)數(shù)字圖像預(yù)處理，用手工交互方法，確定破損的待修復(fù)區(qū)域；(2)獲取已知圖像區(qū)域的邊界點(diǎn)，生成填充前緣。若填充前緣為空，代表已經(jīng)沒(méi)有待修 復(fù)區(qū)域，整個(gè)修復(fù)過(guò)程結(jié)束；若填充前緣不為空則繼續(xù)執(zhí)行第(3)步；(3)計(jì)算填充前緣各像素的優(yōu)先級(jí)，并按照優(yōu)先級(jí)由高到低的順序壓入隊(duì)列；(4)取出隊(duì)首元素，若隊(duì)首為空，則代表隊(duì)列中像素都修復(fù)完畢，執(zhí)行第(2)步；若不為 空則繼續(xù)向下執(zhí)行；(5)判斷此隊(duì)首元素對(duì)應(yīng)像素是否已經(jīng)被修復(fù)，若已經(jīng)被修復(fù)，則執(zhí)行第(4)步；若未 被修復(fù)則繼續(xù)向下執(zhí)行；(6)計(jì)算該像素為中心的待修復(fù)塊中未知像素的比例；若比例大于等于閾值則執(zhí)行第 (7)步；若比例小于閾值則執(zhí)行第⑶步；(7)在已知圖像區(qū)域內(nèi)，對(duì)待修復(fù)塊用基于矩陣歐氏距離算法搜索最佳匹配塊，然后執(zhí) 行第(9)步；(8)在已知圖像區(qū)域內(nèi)，對(duì)待修復(fù)塊用基于矩陣相似度算法搜索最佳匹配塊，然后執(zhí)行 第⑶步;(9)用匹配得到的最佳匹配樣本塊，填充待修復(fù)塊中未修復(fù)的部分；(10)對(duì)待修復(fù)像素塊中各像素的置信度進(jìn)行更新，然后執(zhí)行第(4)步。
全文摘要
本發(fā)明公開(kāi)了一種破損圖像自動(dòng)數(shù)字化修復(fù)的方法，其步驟如下(1)通過(guò)人工交互確定圖像的缺損區(qū)域；(2)已知圖像區(qū)域的邊緣輪廓線為填充前緣。根據(jù)置信度、等照線信息以及曲率計(jì)算出填充前緣各像素的優(yōu)先級(jí)。按照優(yōu)先級(jí)降序依次壓入處理隊(duì)列，并根據(jù)先來(lái)先服務(wù)原則選擇一個(gè)像素完成修復(fù)。隊(duì)列中像素修復(fù)完畢后，重新確定填充前緣進(jìn)行修復(fù)，直到填滿整個(gè)待修復(fù)區(qū)域；(3)對(duì)選定像素的修復(fù)，自動(dòng)選擇歐式距離算法或基于矩陣相似度算法，在已知區(qū)域中匹配與其為中心的待修復(fù)塊最類似的樣本塊。用匹配的樣本塊對(duì)待修復(fù)塊進(jìn)行填充。該方法可以修復(fù)大面積缺損復(fù)雜紋理圖像，修復(fù)效果優(yōu)于當(dāng)前同類修復(fù)方法。本發(fā)明已成功應(yīng)用于唐墓壁畫的修復(fù)。
文檔編號(hào)G06T5/00GK102117481SQ201110064689
公開(kāi)日2011年7月6日 申請(qǐng)日期2011年3月17日 優(yōu)先權(quán)日2011年3月17日
發(fā)明者伍衛(wèi)國(guó), 吳浩, 秦江 申請(qǐng)人:西安交通大學(xué)