專利名稱：破損圖像數(shù)字化修復(fù)的新方法
技術(shù)領(lǐng)域：
涉及一種圖像數(shù)據(jù)處理的方法，尤其是能將局部破損的圖像通過(guò)數(shù)字化技術(shù)進(jìn)行修復(fù)的方法。
背景技術(shù)：
圖像修復(fù)(Image Inpainting)是對(duì)檔案、古畫、影片的數(shù)字化修復(fù)技術(shù)通過(guò)拍照、掃描、模/數(shù)轉(zhuǎn)換等方式將它們變成數(shù)字圖像之后，再利用計(jì)算機(jī)進(jìn)行修復(fù)。修復(fù)的標(biāo)準(zhǔn)是盡量看不出有處理過(guò)的痕跡。常用的修復(fù)方法主是純手工的方法，對(duì)數(shù)字圖像使用Photoshop等軟件作處理，逐步涂抹破損區(qū)域，這個(gè)處理過(guò)程效率很低。目前國(guó)際上研究了一些自動(dòng)處理的方法，公知的主要有兩類，一類是基于偏微分方程的方法，使用某些平滑性假設(shè)把修復(fù)問(wèn)題歸結(jié)為解偏微分方程問(wèn)題，這類方法的缺點(diǎn)是只能修復(fù)小的和細(xì)長(zhǎng)的區(qū)域，對(duì)于寬大的破損區(qū)域，修補(bǔ)后會(huì)出現(xiàn)過(guò)度平滑的效應(yīng)，留有明顯的痕跡，效果不佳。另一類是基于紋理合成的修復(fù)方法，在圖像中自動(dòng)搜索一塊合適的紋理，將其復(fù)制到破損區(qū)域，但這個(gè)搜索的過(guò)程相當(dāng)費(fèi)時(shí)，導(dǎo)致這類方法的修復(fù)速度很慢。

發(fā)明內(nèi)容
為了克服現(xiàn)有圖像修復(fù)方法速度慢、效率低，以及無(wú)法修復(fù)寬大區(qū)域的缺點(diǎn)，本發(fā)明的目的是提供一種新的圖像修復(fù)方法，該方法不僅可以修復(fù)寬大的破損區(qū)域，而且運(yùn)算速度快，比基于紋理合成的方法大約快100倍。
本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案如下本發(fā)明一種破損圖像數(shù)字化修復(fù)的新方法，該方法的步驟如下[1]、將一幅待修復(fù)的圖像記為I，并通過(guò)一些公知的圖像分割方法或人工交互方法確定出圖像中的破損區(qū)域。根據(jù)圖像I的未破損和破損區(qū)域生成一幅二值圖像，其中圖像I的未破損區(qū)域所對(duì)應(yīng)的部分標(biāo)記為Ω。、使用結(jié)構(gòu)元素E對(duì)二值圖像作數(shù)學(xué)形態(tài)學(xué)腐蝕運(yùn)算，得到腐蝕的二值圖像εE(Ω)。、計(jì)算腐蝕圖像εE(Ω)的邊界[εE(Ω)]上的所有點(diǎn)的局部變化率，方法如下設(shè)圖像I具有n個(gè)分量(n＝1時(shí)I為灰度圖像，n＝3時(shí)I為RGB彩色圖像)，首先通過(guò)下式計(jì)算圖像I的結(jié)構(gòu)張量G，G=Σi=1n▿Ii▿IiT,]]>式中Ii表示圖像的第i個(gè)分量，Ii是該分量的梯度，可以用公知的中心差分方法來(lái)計(jì)算。然后通過(guò)下面的特征值分解求出張量G的特征方向和特征值，G=θ+θ-λ+00λ-θ+Tθ-T]]>其中θ+是較大的特征值λ+所對(duì)應(yīng)的特征向量，它可以定義為圖像I在給定點(diǎn)的局部變化率。、用結(jié)構(gòu)元素E對(duì)區(qū)域Ω作膨脹運(yùn)算，得到區(qū)域δE(Ω)。令dΩ＝δE(Ω)-Ω表示當(dāng)前待修復(fù)的區(qū)域，則對(duì)于任意點(diǎn)x*∈dΩ，按照以下步驟進(jìn)行修復(fù)(參見圖1)(4.1)、尋找[εE(Ω)]上與x*距離足夠接近的點(diǎn)，即尋找點(diǎn)的集合N(x*)＝{x∈[εE(Ω)]∶‖x-x*‖≤r}，(1)其中r是一個(gè)預(yù)定義的搜索半徑。r的取值要考慮搜索速度和搜索精度的折中。
(4.2)、使用下列公式計(jì)算集合N(x*)中的一個(gè)最佳點(diǎn)x0x0=argmin{|θ+(x)·(x*-x)|||x*-x||+αλ+(x),x∈N(x*)},---(2)]]>其中α是一個(gè)大于零的參數(shù)。該式的涵義是確保在點(diǎn)x0處直線x*-x0與特征方向θ+(x0)之間接近垂直，同時(shí)確保特征值λ+(x0)為最大。
(4.3)、定義點(diǎn)xm＝(x*+x0)/2，使用下式修復(fù)破損點(diǎn)x*處的像素值I(x*)=2I(xm)-I(x0),xm∈Ωand||ΔI||<ϵ,2I(xm),xm∈Ωand||ΔI||≥ϵ,I(x0),xm∉Ω,---(3)]]>其中‖ΔI‖＝‖I(xm)-I(x0)‖，Ω仍然表示未破損的圖像區(qū)域，ε是一個(gè)正參數(shù)。、令εE(Ω)＝Ω，Ω＝δE(Ω)，并返回第3步，直到圖像I中所有的破損點(diǎn)被修復(fù)完畢。
上述步驟中所涉及的符號(hào)涵義歸納說(shuō)明如下I 待修復(fù)的圖像Ω 圖像I中未破損的區(qū)域E 數(shù)學(xué)形態(tài)學(xué)的結(jié)構(gòu)元素εE(Ω)由結(jié)構(gòu)元素E對(duì)區(qū)域Ω作腐蝕運(yùn)算的結(jié)果[εE(Ω)]區(qū)域εE(Ω)的邊界G 圖像I的結(jié)構(gòu)張量Ii表示圖像I的第i個(gè)分量IiIi分量的梯度λ+，λ-結(jié)構(gòu)張量G的兩個(gè)特征值，λ+≥λ-θ+，θ-特征值λ+和λ-所對(duì)應(yīng)的特征向量δE(Ω)由結(jié)構(gòu)元素E對(duì)區(qū)域Ω作膨脹運(yùn)算的結(jié)果dΩ當(dāng)前迭代中待修復(fù)的區(qū)域，即δE(Ω)-Ωx*區(qū)域dΩ中一個(gè)待修復(fù)的點(diǎn)N(x*) 邊界[εE(Ω)]上與點(diǎn)x*距離足夠接近的點(diǎn)的集合，由公式(1)定義r 預(yù)定義的搜索半徑x0集合N(x*)中的一個(gè)最佳點(diǎn)，由公式(2)定義α 大于零的參數(shù)
xm點(diǎn)x*和點(diǎn)x0的中點(diǎn)，即(x*+x0)/2‖ΔI‖像素值I(xm)與I(x0)之差的范數(shù)，即‖I(xm)-I(x0)‖ε 一個(gè)正值參數(shù)本發(fā)明的技術(shù)效果如下對(duì)于破損的圖像數(shù)據(jù)提供了有效的數(shù)字化修復(fù)方法，可以修復(fù)寬大的破損區(qū)域(如圖3、圖4、圖5和圖6所示)，克服了現(xiàn)有的圖像修復(fù)方法(特別是基于偏微分方程的方法)只能修復(fù)“細(xì)線”狀破損區(qū)域的缺點(diǎn)。本發(fā)明的方法修復(fù)效率高，速度快，比基于紋理合成的方法一般要快兩個(gè)數(shù)量級(jí)。


圖1 本發(fā)明進(jìn)行圖像修復(fù)的原理圖。
圖2本發(fā)明的一個(gè)具體實(shí)施方式
的軟件流程圖。
圖3用本發(fā)明的方法進(jìn)行圖像修復(fù)的實(shí)例。
圖4用本發(fā)明的方法進(jìn)行圖像修復(fù)的實(shí)例。
圖5用本發(fā)明的方法進(jìn)行圖像修復(fù)的實(shí)例。
圖6用本發(fā)明的方法進(jìn)行圖像修復(fù)的實(shí)例。
具體實(shí)施例方式本發(fā)明的一個(gè)具體實(shí)施方式
如下參閱圖1所示，是本發(fā)明進(jìn)行圖像修復(fù)的原理圖。圖中每一個(gè)方格代表圖像中一個(gè)像素點(diǎn)，虛線方格的區(qū)域表示待修復(fù)的區(qū)域，其中灰色的方格表示當(dāng)前需要修復(fù)的破損點(diǎn)x*。實(shí)線方格的區(qū)域表示未破損區(qū)域Ω。Ω中與待修復(fù)區(qū)域相鄰的部分稱為邊界Ω；Ω中的淺灰色區(qū)域代表點(diǎn)的集合N(x*)。
參閱圖2的流程圖，首先輸入一幅待修復(fù)的圖像I，根據(jù)圖像I的未破損區(qū)域Ω和破損區(qū)域生成二值圖像。
第二步，使用一個(gè)3×3的方形結(jié)構(gòu)元素E對(duì)區(qū)域Ω作腐蝕運(yùn)算，得到腐蝕的二值圖像εE(Ω)。
第三步，利用前述技術(shù)方案計(jì)算邊界[εE(Ω)]上所有點(diǎn)的局部變化率θ+。
第四步，用結(jié)構(gòu)元素E對(duì)區(qū)域Ω作膨脹運(yùn)算，得到δE(Ω)。令dΩ＝δE(Ω)-Ω，對(duì)于dΩ中未修復(fù)的點(diǎn)x*，用以下方式進(jìn)行修復(fù)(a)按照公式(1)計(jì)算點(diǎn)的集合N(x*)，其中取參數(shù)r=25;]]>(b)按照公式(2)計(jì)算集合N(x*)中的一個(gè)最佳點(diǎn)x0，其中取參數(shù)α＝1；(c)按照公式(3)修復(fù)點(diǎn)x*處的像素值I(x*)，其中取參數(shù)ε＝5。
第五步，令εE(Ω)＝Ω，Ω＝δE(Ω)，檢查Ω是否包含整個(gè)圖像區(qū)域。如果是，則修復(fù)結(jié)束；否則返回第三步繼續(xù)修復(fù)。
請(qǐng)參閱圖3、4、5、6所示，是本發(fā)明的方法進(jìn)行圖像修復(fù)的實(shí)例。圖3左圖是破損的圖像，中間是用偏微分方程方法修復(fù)的結(jié)果，右圖是用本發(fā)明的方法修復(fù)的結(jié)果。圖4是用本發(fā)明的方法將左圖中的一束花自動(dòng)抹去。圖5是用本發(fā)明的方法修復(fù)視網(wǎng)膜圖像中的破損區(qū)域。圖6是用本發(fā)明的方法將左圖中演講者的手臂和麥克風(fēng)自動(dòng)抹去。
權(quán)利要求
1.一種破損圖像數(shù)字化修復(fù)的新方法，其特征在于該方法步驟如下[1]、將一幅待修復(fù)的圖像記為I，并通過(guò)圖像分割方法或人工交互方法確定出圖像中的破損區(qū)域；根據(jù)圖像I的未破損和破損區(qū)域生成一幅二值圖像，其中圖像I的未破損區(qū)域所對(duì)應(yīng)的部分標(biāo)記為Ω；[2]、使用結(jié)構(gòu)元素E對(duì)二值圖像作數(shù)學(xué)形態(tài)學(xué)腐蝕運(yùn)算，得到腐蝕的二值圖像εE(Ω)[3]、計(jì)算腐蝕圖像εE(Ω)的邊界[εE(Ω)]上的所有點(diǎn)的局部變化率，方法如下設(shè)圖像I具有n個(gè)分量，首先通過(guò)下式計(jì)算圖像I的結(jié)構(gòu)張量G，G=Σi=1n▿Ii▿IiT,]]>式中Ii表示圖像的第i個(gè)分量，Ii是該分量的梯度，可以用公知的中心差分方法來(lái)計(jì)算，然后通過(guò)下面的特征值分解求出張量G的特征方向和特征值，G=θ+θ-λ+00λ-θ+Tθ-T]]>其中θ+是較大的特征值λ+所對(duì)應(yīng)的特征向量，它可以定義為圖像I在給定點(diǎn)的局部變化率；[4]、用結(jié)構(gòu)元素E對(duì)區(qū)域Ω作膨脹運(yùn)算，得到區(qū)域δE(Ω)；令dΩ＝δE(Ω)-Ω表示當(dāng)前待修復(fù)的區(qū)域，則對(duì)于任意點(diǎn)x*∈dΩ，按照以下步驟進(jìn)行修復(fù)(4.1)、尋找[εE(Ω)]上與x*距離足夠接近的點(diǎn)，即尋找點(diǎn)的集合N(x*)＝{x∈[εE(Ω)]∶‖x-x*‖≤r}，其中r是一個(gè)預(yù)定義的搜索半徑。r的取值要考慮搜索速度和搜索精度的折中；(4.2)、使用下列公式計(jì)算集合N(x*)中的一個(gè)最佳點(diǎn)x0x0=argmin{|θ+(x)·(x*-x)|||x*-x||+αλ+(x),x∈N(x*)},]]>其中α是一個(gè)大于零的參數(shù)；該式的涵義是確保在點(diǎn)x0處直線x*-x0與特征方向θ+(x0)之間接近垂直，同時(shí)確保特征值λ+(x0)為最大；(4.3)、定義點(diǎn)xm＝(x*+x0)/2，使用下式修復(fù)破損點(diǎn)x*處的像素值I(x*)=2I(xm)-I(x0)xm∈Ωand||ΔI||<ϵ,2I(xm)xm∈Ωand||ΔI||≥ϵ,I(x0)xm∉Ω,]]>其中‖ΔI‖＝‖I(xm)-I(x0)‖，Ω仍然表示未破損的圖像區(qū)域，ε是一個(gè)正參數(shù)；[5]、令εE(Ω)＝Ω，Ω＝δE(Ω)，并返回第[3]步，直到圖像I中所有的破損點(diǎn)被修復(fù)完畢。
全文摘要
一種破損圖像數(shù)字化修復(fù)的新方法，其步驟如下[1]將一幅待修復(fù)的圖像記為I，并通過(guò)圖像分割方法或人工交互方法確定出圖像中的破損區(qū)域。根據(jù)圖像I的未破損和破損區(qū)域生成一幅二值圖像，其中圖像I的未破損區(qū)域所對(duì)應(yīng)的部分標(biāo)記為Ω；[2]使用結(jié)構(gòu)元素E對(duì)二值圖像作數(shù)學(xué)形態(tài)學(xué)腐蝕運(yùn)算，得到腐蝕的二值圖像ε
文檔編號(hào)G06T5/00GK101093579SQ200610112590
公開日2007年12月26日 申請(qǐng)日期2006年8月24日 優(yōu)先權(quán)日2006年8月24日
發(fā)明者王兆仲, 周付根 申請(qǐng)人:北京航空航天大學(xué)