一種基于多尺度結(jié)構(gòu)塊的圖像修復(fù)方法
【專利摘要】本發(fā)明公開了一種基于多尺度結(jié)構(gòu)塊的圖像修復(fù)方法，主要解決現(xiàn)有技術(shù)對修復(fù)較大結(jié)構(gòu)區(qū)域時易出現(xiàn)失真的技術(shù)問題。其實現(xiàn)過程包括：針對待修復(fù)區(qū)域邊沿像素，通過其在不同尺度下的不一致性度量和尺度不變性度量計算優(yōu)先級；對當(dāng)前優(yōu)先級最高的待修復(fù)區(qū)域邊沿像素，依其優(yōu)先級自適應(yīng)確定待修復(fù)塊尺寸；應(yīng)用非局部重構(gòu)技術(shù)對該待修復(fù)塊進(jìn)行修復(fù)；遍歷圖中待修復(fù)區(qū)域，重復(fù)上述過程,直到修復(fù)結(jié)束。本發(fā)明運用不同尺度圖像塊結(jié)構(gòu)信息，挑選有效結(jié)構(gòu)塊修復(fù)，改善了非規(guī)則紋理和隨機(jī)內(nèi)容優(yōu)先級判斷，保持了圖像紋理和結(jié)構(gòu)一致性也抑制了人工效應(yīng)。本發(fā)明獲得視覺效果和數(shù)據(jù)指標(biāo)更好的圖像修復(fù)結(jié)果，可用于破損圖像修復(fù)及目標(biāo)物移除。
【專利說明】
-種基于多尺度結(jié)構(gòu)塊的圖像修復(fù)方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，主要設(shè)及圖像修復(fù)，具體地說是一種基于多尺度 結(jié)構(gòu)塊的圖像修復(fù)方法，可用于對自然圖像的復(fù)原。
【背景技術(shù)】
[0002] 數(shù)字圖像修復(fù)是圖像復(fù)原研究中的一個重要內(nèi)容，其目的是根據(jù)圖像現(xiàn)有的信息 來自動恢復(fù)丟失信息，可W用于移除數(shù)字圖像的目標(biāo)物，W及對文字、美術(shù)作品或舊照片中 的刮痕和丟失信息等的修復(fù)。因此，數(shù)字圖像修復(fù)在數(shù)字圖像處理領(lǐng)域中占據(jù)著舉足輕重 的地位，成為該領(lǐng)域最基本技術(shù)之一。但是，由于待修復(fù)區(qū)域的圖像是未知的，因此數(shù)字圖 像修復(fù)中有很多要解決的技術(shù)難題。
[0003] 現(xiàn)有的修復(fù)方法大致可W分為兩類，一類是基于擴(kuò)散的修復(fù)方法，一類是基于樣 例的修復(fù)方法。
[0004] 基于擴(kuò)散的修復(fù)方法，其本質(zhì)上都是一種基于偏微分方程的修復(fù)方法，主要有基 于偏微分方程的修復(fù)方法BSCB、基于TV模型的修復(fù)方法、基于曲率驅(qū)動擴(kuò)散模型的修復(fù)方 法等，運些方法對小尺度缺失區(qū)域有較好修復(fù)的修復(fù)效果，然而對于待修復(fù)區(qū)域較大時，往 往會造成修復(fù)失真。
[0005] 基于樣例的修復(fù)方法，其思想是紋理合成技術(shù)。在此基礎(chǔ)上，Criminisi等人提出 了一種基于樣本優(yōu)先級的圖像修復(fù)方法。但Criminisi算法的優(yōu)先級對紋理和結(jié)構(gòu)不能很 好區(qū)分。為了解決該問題，Sun Jian等人提出了一種基于塊稀疏的塊擴(kuò)散圖像修復(fù)方法。但 基于塊稀疏的塊擴(kuò)散圖像修復(fù)算法的優(yōu)先級會出現(xiàn)對不規(guī)則紋理區(qū)域的優(yōu)先順序判斷不 準(zhǔn)確的問題。
[0006] 上述基于樣例的圖像修復(fù)方法，都是通過控制置信度項來使待修復(fù)區(qū)域一圈圈的 由外向內(nèi)擴(kuò)散修復(fù)。當(dāng)圖像中存在較大結(jié)構(gòu)區(qū)域丟失時，造成結(jié)構(gòu)向兩側(cè)擴(kuò)散，使得結(jié)構(gòu)區(qū) 域處出現(xiàn)失真。
[0007] 本發(fā)明提出一種基于多尺度結(jié)構(gòu)塊的圖像修復(fù)方法，設(shè)計出新的優(yōu)先級計算方 法，并根據(jù)具有最高優(yōu)先級的待修復(fù)區(qū)域邊沿像素中的優(yōu)先級，自適應(yīng)調(diào)整該像素的待修 復(fù)塊尺寸。本發(fā)明通過在不同尺度下分析圖像塊的結(jié)構(gòu)信息來度量優(yōu)先級，改進(jìn)了對圖像 塊結(jié)構(gòu)信息的判斷，改善了優(yōu)先級順序，并解決了化iminisi算法中優(yōu)先級對紋理和結(jié)構(gòu)不 能很好區(qū)分和基于塊稀疏的塊擴(kuò)散圖像修復(fù)算法中優(yōu)先級對不規(guī)則紋理區(qū)域的優(yōu)先順序 判斷不準(zhǔn)確的問題。同時，本發(fā)明根據(jù)優(yōu)先級自適應(yīng)地調(diào)整最高優(yōu)先級像素的待修復(fù)塊尺 寸，保持了結(jié)構(gòu)良好的方向性，并在一定程度上抑制了圖像修復(fù)中常出現(xiàn)的模糊效應(yīng)。

【發(fā)明內(nèi)容】

[000引本發(fā)明的目的在于針對上述已有技術(shù)中當(dāng)修復(fù)較大結(jié)構(gòu)區(qū)域時出現(xiàn)失真的問題， 提出一種基于多尺度結(jié)構(gòu)塊的圖像修復(fù)方法，W通過在不同尺度上分析圖像塊的結(jié)構(gòu)信息 來計算優(yōu)先級，提高了對紋理區(qū)域(包括不規(guī)則紋理)優(yōu)先級判斷的準(zhǔn)確性，同時通過優(yōu)先 修復(fù)邊界處于中間的結(jié)構(gòu)區(qū)域，得W保持結(jié)構(gòu)信息，減少對結(jié)構(gòu)的失真。
[0009] 本發(fā)明是一種基于多尺度結(jié)構(gòu)塊的圖像修復(fù)方法，其特征在于，包括有如下步驟：
[0010] (1)輸入待修復(fù)圖像I，確定待修復(fù)區(qū)域Q和待修復(fù)區(qū)域邊沿泌2;
[0011] (2)根據(jù)待修復(fù)區(qū)域邊沿像素 P的多尺度結(jié)構(gòu)信息，計算所有待修復(fù)區(qū)域邊沿像素 的優(yōu)先級，擴(kuò)E斑
[0012] (3)設(shè)所有待修復(fù)區(qū)域邊沿像素當(dāng)前最高優(yōu)先級的邊沿像素為q，根據(jù)q的優(yōu)先級， 自適應(yīng)調(diào)整像素 q的待修復(fù)塊尺寸巧f，并設(shè)該待修復(fù)塊為優(yōu)先級最高的邊沿塊的；
[0013] (4)應(yīng)用非局部重構(gòu)技術(shù)-Criminisi圖像修復(fù)方法，對優(yōu)先級最高的邊沿塊4。進(jìn) 行修復(fù)，完成待修復(fù)圖像中的一個圖像塊的修復(fù)，并更新該待修復(fù)區(qū)域邊沿CQ:
[0014] (5)重復(fù)步驟(2)-(4)，遍歷待修復(fù)區(qū)域Q，直到待修復(fù)區(qū)域Q全部被修復(fù)完畢，恢 復(fù)出與原圖像接近的結(jié)果圖像。
[0015] 本發(fā)明借鑒了基于樣例的技術(shù)方法的思想，通過計算不同尺度上塊的不一致性度 量和尺度不變性度量來衡量W待修復(fù)區(qū)域邊沿像素為塊中屯、的塊結(jié)構(gòu)信息。
[0016] 本發(fā)明與現(xiàn)有的技術(shù)相比具有W下優(yōu)點：
[0017] 1.本發(fā)明中運用了不同尺度上圖像塊的結(jié)構(gòu)信息，很好地度量了圖像塊的結(jié)構(gòu)信 息，優(yōu)先挑選出有效結(jié)構(gòu)塊進(jìn)行修復(fù)，改善了非規(guī)則紋理區(qū)域和隨機(jī)內(nèi)容區(qū)域的優(yōu)先級判 斷。
[0018] 2.本發(fā)明提出根據(jù)最高優(yōu)先級邊沿像素的優(yōu)先級，確定該像素的待修復(fù)塊尺寸。 運樣不僅保留了基于樣例圖像修復(fù)方法對紋理修復(fù)的優(yōu)點，而且其結(jié)構(gòu)保持了良好的一致 性，在一定程度上也抑制了人工效應(yīng)。
【附圖說明】
[0019] 圖1是本發(fā)明的實現(xiàn)流程圖；
[0020] 圖2是本發(fā)明的步驟2.1中圖像塊劃分圖示；
[0021] 圖3是第一幅未破損的測試圖像；
[0022] 圖4是第一幅含破損的待修復(fù)原圖像；
[0023] 圖5是用現(xiàn)有兩種方法與本發(fā)明對圖4的修復(fù)結(jié)果圖；
[0024] 圖6是第二幅未破損的測試圖像；
[0025] 圖7是第二幅含破損的待修復(fù)原圖像；
[0026] 圖8是用現(xiàn)有兩種方法與本發(fā)明對圖7的修復(fù)結(jié)果圖；
[0027] 圖9是第S幅未破損的測試圖像；
[0028] 圖10是第S幅含破損的待修復(fù)原圖像；
[0029] 圖11是現(xiàn)有兩種方法與本發(fā)明對圖10的修復(fù)結(jié)果圖。
[0030] 圖12是本發(fā)明詳細(xì)的步驟說明圖；
【具體實施方式】
[0031 ] W下參照附圖，對本發(fā)明的技術(shù)方案和效果做詳細(xì)描述。
[0032] 實施例1:
[0033] 本發(fā)明是一種基于多尺度結(jié)構(gòu)塊的圖像修復(fù)方法，參見圖1，包括有如下步驟：
[0034] (I)輸入待修復(fù)圖像I，參見圖4,確定待修復(fù)區(qū)域Q和待修復(fù)區(qū)域邊沿泌2;
[0035] (2)針對待修復(fù)區(qū)域邊沿任一像素根據(jù)待修復(fù)區(qū)域邊沿像素 P的多尺度 結(jié)構(gòu)信息，計算所有待修復(fù)區(qū)域邊沿像素的優(yōu)先級；
[0036] 其中待修復(fù)區(qū)域邊沿像素 P的多尺度結(jié)構(gòu)信息由兩部分構(gòu)成；多尺度結(jié)構(gòu)信息的 第一部分是待修復(fù)區(qū)域邊沿像素 P在不同尺度上的不一致性度量，其度量了待修復(fù)區(qū)域邊 沿像素 P所在區(qū)域內(nèi)的結(jié)構(gòu)信息。具體做法是，分別計算待修復(fù)區(qū)域邊沿像素 P在塊尺度巧f 上的和塊尺度n*fi上的不一致性度量。在圖像處理中塊尺度f、n-般取3~15,本例針對 圖4,設(shè)定f=7，n = ii。多尺度結(jié)構(gòu)信息的第二部分是待修復(fù)區(qū)域邊沿像素 P的尺度不變性 度量，其度量了待修復(fù)區(qū)域邊沿像素 P所在區(qū)域內(nèi)其結(jié)構(gòu)信息的重要性;具體做法是，根據(jù) 待修復(fù)區(qū)域邊沿像素 P在塊尺度巧f上的和塊尺度n*fi上的不一致性度量之間的比值，計 算待修復(fù)區(qū)域邊沿像素 P的尺度不變性度量。
[0037] 若待修復(fù)區(qū)域邊沿像素 P的不一致性度量和尺度不變性度量越高，說明待修復(fù)區(qū) 域邊沿像素 P所在區(qū)域含有越明顯的多尺度結(jié)構(gòu)。則待修復(fù)區(qū)域邊沿像素 P的優(yōu)先級越高， 那么待修復(fù)區(qū)域邊沿像素 P所在區(qū)域?qū)⒃絻?yōu)先被挑選出來進(jìn)行修復(fù)。
[0038] (3)設(shè)所有待修復(fù)區(qū)域邊沿像素當(dāng)前最高優(yōu)先級的邊沿像素為q，根據(jù)像素 q的優(yōu) 先級自適應(yīng)調(diào)整像素 q的待修復(fù)塊尺寸巧f，并設(shè)該待修復(fù)塊為優(yōu)先級最高的邊沿塊的；
[0039] 在圖像修復(fù)中，待修復(fù)塊的塊尺寸f大小的設(shè)定對圖像修復(fù)效果影響很大。塊尺寸 設(shè)置過大，則會導(dǎo)致修復(fù)圖像中隨機(jī)內(nèi)容區(qū)域時出現(xiàn)平滑效應(yīng);而塊尺寸設(shè)置過小，則會導(dǎo) 致修復(fù)圖像中結(jié)構(gòu)區(qū)域時出現(xiàn)結(jié)構(gòu)錯位的現(xiàn)象。因此待修復(fù)塊的塊尺寸f大小的設(shè)定十分 關(guān)鍵。本發(fā)明根據(jù)所有待修復(fù)區(qū)域邊沿像素中當(dāng)前最高優(yōu)先級的邊沿像素 q的優(yōu)先級，利用 其多尺度結(jié)構(gòu)信息對像素 q所在的區(qū)域的內(nèi)容進(jìn)行判斷，進(jìn)而自適應(yīng)調(diào)整像素 q的待修復(fù)塊 尺寸巧f，并設(shè)該待修復(fù)塊為優(yōu)先級最高的邊沿塊IlV本例針對圖4,若像素 q所在的區(qū)域的 內(nèi)容為結(jié)構(gòu)區(qū)域，則塊尺寸f =11;若像素 q所在的區(qū)域的內(nèi)容為隨機(jī)內(nèi)容區(qū)域，則塊尺寸f =5;若像素 q所在的區(qū)域的內(nèi)容為規(guī)則內(nèi)容區(qū)域，則塊尺寸f = 7。
[0040] (4)應(yīng)用非局部重構(gòu)技術(shù)-Criminisi圖像修復(fù)方法，對優(yōu)先級最高的邊沿塊4。進(jìn) 行修復(fù)，完成待修復(fù)圖像中的一個圖像塊的修復(fù)，并更新該待修復(fù)區(qū)域邊沿
[0041] (5)重復(fù)步驟(2)-步驟(4)，遍歷待修復(fù)區(qū)域Q，直到待修復(fù)區(qū)域Q全部被修復(fù)完 畢，恢復(fù)出與原圖像接近的結(jié)果圖像。本例針對圖4中的待修復(fù)區(qū)域進(jìn)行修復(fù)，經(jīng)過修復(fù)后， 恢復(fù)出與原圖像接近的結(jié)果圖像，其原圖參見圖3,其結(jié)果圖參見圖5(c)。
[0042] 本例利用本發(fā)明針對圖4處于中央位置且遭到損壞的待修復(fù)區(qū)域進(jìn)行修復(fù)，其中 待修復(fù)區(qū)域的內(nèi)容主要包含非規(guī)則紋理信息和結(jié)構(gòu)信息。該待修復(fù)區(qū)域經(jīng)過修復(fù)后，得到 結(jié)果圖像參見圖5(c)。從圖5(c)看出，本發(fā)明在不同尺度上研究圖像塊的結(jié)構(gòu)信息，利用多 尺度結(jié)構(gòu)信息來優(yōu)先挑選出待修復(fù)區(qū)域中的結(jié)構(gòu)區(qū)域進(jìn)行修復(fù)，改善了非規(guī)則紋理區(qū)域和 結(jié)構(gòu)區(qū)域的優(yōu)先級判斷；同時自適應(yīng)調(diào)整待修復(fù)塊尺寸，保持了線性結(jié)構(gòu)中良好的方向性。
[0043] 實施例2:
[0044] -種基于多尺度結(jié)構(gòu)塊的圖像修復(fù)方法同實施例1，步驟(2)中根據(jù)多尺度結(jié)構(gòu)信 息，實施例2針對圖7中所有的待修復(fù)區(qū)域邊沿像素，計算其優(yōu)先級。通過多尺度結(jié)構(gòu)信息計 算優(yōu)先級包括有如下步驟：
[0045] (2.a)對塊中屯、在待修復(fù)區(qū)域邊沿像素的圖像塊，在塊尺度為巧f上，沿著方向劃 分塊，具體方向沿著方向j均勻劃分塊，其中方向j由平面坐標(biāo)系中的正交方向組構(gòu)成。本例 針對圖7,設(shè)定方向j為:平面極坐標(biāo)系中，9 = 0°，90°，45°，-45°運四個方向，該四個方向分 別對應(yīng)方向j = l，2,3,4;參見圖2。
[0046] 針對待修復(fù)區(qū)域邊沿任一像素 p，^e@a;設(shè)W待修復(fù)區(qū)域邊沿像素 P為塊中屯、的 圖像塊為Wp,并規(guī)定該圖像塊的塊尺寸為巧f;本例針對圖7,規(guī)定塊尺寸f=7;將Wp記為待 修復(fù)區(qū)域邊沿像素 P在巧f塊尺度上的圖像塊;繼而，對Wp沿方向j均勻劃分圖像塊，得到一 組分塊對(中其中方向j由平面極坐標(biāo)系中的正交方向組構(gòu)成。本例針對圖7,設(shè)定方 向j為:平面極坐標(biāo)系中，目=0°，90°，45°，-45°運四個方向，該四個方向分別對應(yīng)方向j = 1， 2,3,4;因此，得到待修復(fù)區(qū)域邊沿像素 P在f*f塊尺度上的圖像塊Wp的四組分塊對：
其劃分見圖2。
[0047] (2.b)計算待修復(fù)區(qū)域邊沿像素 P在塊尺度為巧f上，關(guān)于方向j的不一致性度量。 [004引根據(jù)Wp在方向j上的分塊對計算待修復(fù)區(qū)域邊沿像素 P在巧f塊尺度上， 關(guān)于方向j的不一致性度量dif^Wp);設(shè)P(.)為提取圖像塊中未知信息的算子，則P(*)便 是提取圖像塊中已知信息的算子；同時將拉成一列向量，將該向量記為聽并把昭 的前半部分內(nèi)容記為，則昭的后半部分內(nèi)容為其中j = l，2,3,4;m=l，2。繼而，待 修復(fù)區(qū)域邊沿像素 P在塊尺度為巧f上，關(guān)于方向j的不一致性度量dif^ Wp)定義為：
[0049]
[0050] 其中A為均衡系數(shù)，本例針對圖7,設(shè)定A取值〇.5;E( ?)為計算像素平均值的函數(shù)。 譬如￡(卻為統(tǒng)計卻P/,;)中所有像素值的平均值的函數(shù)。
[0051] (2. C)根據(jù)待修復(fù)區(qū)域邊沿像素 P在塊尺度為巧f上關(guān)于所有方向j的不一致性度 量，整體上統(tǒng)計出待修復(fù)區(qū)域邊沿像素 P在塊尺度為巧f上的不一致性度量。
[0052] 本例針對圖7,設(shè)定方向j由平面極坐標(biāo)系的4個方向構(gòu)成;根據(jù)待修復(fù)區(qū)域邊沿像 素口在巧'塊尺度上，關(guān)于運4個方向的不一致性度量dif^ (Wp)，其中^'= 1,2,3，4;在整體上 統(tǒng)計出，待修復(fù)區(qū)域邊沿像素 P在巧f塊尺度上的不一致性度量Dif (Wp);
[0化3]
[0054] 其中，Dif (Wp)度量了待修復(fù)區(qū)域邊沿像素 P在巧f塊尺度上的結(jié)構(gòu)信息。
[0055] (2.d)計算待修復(fù)區(qū)域邊沿像素 P在塊尺度為n*fi上的不一致性度量
[0056] 參照步驟(2.a)-步驟（2. C)，設(shè)W待修復(fù)區(qū)域邊沿像素 P為塊中屯、的圖像塊為W 'P，并規(guī)定該圖像塊的塊尺寸為n*fi，本例針對圖7,規(guī)定塊尺寸n = ii;將W%記為待修復(fù) 區(qū)域邊沿像素 P在n*fi塊尺度上的圖像塊;繼而，根據(jù)圖像塊W%，計算待修復(fù)區(qū)域邊沿像 素 P在n*f 1塊尺度上的不一致性度量Dif (P);
[0化7]
[0化引
[0059] 其中A為均衡系數(shù)，本例針對圖7,設(shè)定A取值〇.5;E( ?)為計算像素平均值的算子。 譬如(中;J為統(tǒng)計中所有像素值的平均值的函數(shù)。Dif (W%)度量待修復(fù)區(qū)域邊 沿像素 P在n*fi塊尺度上的結(jié)構(gòu)信息。
[0060] (2.e)計算待修復(fù)區(qū)域邊沿像素 P的尺度不變性度量
[0061] 根據(jù)待修復(fù)區(qū)域邊沿像素 P在巧f塊尺度上和n*fi塊尺度上的不一致性度量:Dif (Wp)和Dif (P)，計算待修復(fù)區(qū)域邊沿像素 P的尺度不變性度量Sca(P):
[0062]
[0063] 其中，尺度不變性度量Sca(P)度量了待修復(fù)區(qū)域邊沿像素 P所在區(qū)域內(nèi)其結(jié)構(gòu)信 息的重要性。
[0064] (2.f)計算待修復(fù)區(qū)域邊沿像素 P邊沿像素的優(yōu)先級
[0065] 利用待修復(fù)區(qū)域邊沿像素 P在巧f塊尺度上的不一致性度量Dif (Wp)和尺度不變 性度量Sca(P)，計算待修復(fù)區(qū)域邊沿像素 P的優(yōu)先級Priority(P):
[0066]
[0067]其中，T(〇( ?)是轉(zhuǎn)換函數(shù)，是協(xié)調(diào)優(yōu)先級中多尺度結(jié)構(gòu)塊信息和置信度信息的平 衡;將轉(zhuǎn)換函數(shù)T(e)( ?)定義為：7；.,巧=log:(J +侶-!"1〇(巧));設(shè)置=^?，轉(zhuǎn)換函數(shù)中6為 調(diào)節(jié)克取值區(qū)間的設(shè)定值。本例針對圖7,設(shè)定e = 6;其中g(shù)為單位向量。而C(P)是W待修復(fù)區(qū) 域邊沿像素 P為中屯、的圖像塊置信度項，表示W(wǎng)待修復(fù)區(qū)域邊沿像素 P為中屯、的圖像塊的可 信程度;置信度Cp(O)為該圖像塊中像素 O的置信度;本例針對圖7,對Cp(O)進(jìn)行初始化:Cp (〇)=0;〇￡ Q，Cp(o) = l;〇G(I-Q )，利用如下公式計算圖像塊Wp的置f目度項；
[006引
[0069] 其中O為圖像塊Wp中已知像素值的像素。
[0070] 在圖像修復(fù)方法中，優(yōu)先級的作用是優(yōu)先挑選出圖像中的結(jié)構(gòu)進(jìn)行修復(fù)，其修復(fù) 效果往往與方法中對結(jié)構(gòu)的定義相關(guān)。Criminisi方法利用照度線信息來定義結(jié)構(gòu)。利用 Criminisi方法對圖7中待修復(fù)區(qū)域進(jìn)行修復(fù)，其結(jié)果參見圖8(a)，從圖8 (a)看出， Criminisi方法不能很好地保持線性結(jié)構(gòu)?；趬K稀疏的塊擴(kuò)散圖像修復(fù)方法方法利用結(jié) 構(gòu)稀疏度來定義結(jié)構(gòu)，利用基于塊稀疏的塊擴(kuò)散圖像修復(fù)方法對圖7中待修復(fù)區(qū)域進(jìn)行修 復(fù)，其結(jié)果參見圖8(b)。從圖8(b)看出，基于塊稀疏的塊擴(kuò)散圖像修復(fù)方法也不能很好地保 持線性結(jié)構(gòu)。而本發(fā)明從多尺度結(jié)構(gòu)塊的不一致性和尺度不變性的性質(zhì)出發(fā)，利用多尺度 結(jié)構(gòu)信息來定義結(jié)構(gòu)。本例利用本發(fā)明對圖7中處于中央位置且遭到損壞的待修復(fù)區(qū)域進(jìn) 行修復(fù)，其中待修復(fù)區(qū)域的內(nèi)容主要包含了多種結(jié)構(gòu)信息。該待修復(fù)區(qū)域經(jīng)過修復(fù)后，得到 結(jié)果圖像參見圖8(c)。從圖8(c)看出本發(fā)明通過多尺度結(jié)構(gòu)信息計算優(yōu)先級，優(yōu)先挑選出 重要的結(jié)構(gòu)，有效地解決上述兩種方法出現(xiàn)的問題。
[0071] 實施例3:
[0072] -種基于多尺度結(jié)構(gòu)塊的圖像修復(fù)方法同實施例1-2,步驟(3)中，實施例3針對圖 10中所有待修復(fù)區(qū)域邊沿像素，設(shè)其優(yōu)先級最高的待修復(fù)區(qū)域邊沿像素為q;則根據(jù)像素 q 的優(yōu)先級，自適應(yīng)確定像素 q的待修復(fù)塊的塊尺寸巧f。
[0073] 具體做法包括有:根據(jù)像素 q優(yōu)先級中的不一致性度量Dif (Wq)(其塊尺度為巧f) 和尺度一致度Sca (q )，將像素 q分為:結(jié)構(gòu)邊沿像素、隨機(jī)邊沿像素或一般邊沿像素。
[0074] (3.a)如果Dif (Wq)〉Tresh2且Sca(Q)^reshl;則像素 q屬于結(jié)構(gòu)邊沿像素；設(shè)該 待修復(fù)塊為優(yōu)先級最局的邊沿塊的，其塊尺寸中的f: f = f 1，其中f 1乂 ；
[00巧](3.b)如果Dif(Wq)<Tresh2且Sca(q)<Treshl;則像素 q屬于隨機(jī)邊沿像素；設(shè)該 待修復(fù)塊為優(yōu)先級最高的邊沿塊的，其塊尺寸中的f: f = f 2，其中f 2<f;
[0076] (3 . C)其它，則像素 q屬于一般邊沿像素;設(shè)該待修復(fù)塊為優(yōu)先級最高的邊沿塊的， 其塊尺寸中的f :f = f;
[0077] 本例針對圖10,取f = 7，n = ll，f2 = 5，Treshl=0.75，Tresh2的值視圖像而定，結(jié) 構(gòu)越明顯則取值越大;設(shè)定Tresh2=max{Dif (P) }/2;e進(jìn)）
[0078] 在基于樣例的修復(fù)方法中待修復(fù)塊尺寸對修復(fù)效果影響很大，而常見的修復(fù)方法 中待修復(fù)塊尺寸是固定的。但在實驗過程中發(fā)現(xiàn)，當(dāng)修復(fù)待修復(fù)圖像塊的內(nèi)容為線性結(jié)構(gòu) 時，若修復(fù)塊尺寸較大則能很好地保持線性結(jié)構(gòu);而當(dāng)修復(fù)待修復(fù)圖像塊的內(nèi)容較隨機(jī)時， 若修復(fù)塊尺寸較小則能避免常出現(xiàn)的模糊人工效應(yīng)。因此，本發(fā)明根據(jù)待修復(fù)塊的優(yōu)先級， 利用優(yōu)先級中的多尺度結(jié)構(gòu)信息對待修復(fù)圖像塊進(jìn)行分類，從而自適應(yīng)調(diào)整確定待修復(fù)塊 的塊尺寸。本例利用本發(fā)明對圖10中處于中央位置且遭到損壞的待修復(fù)區(qū)域進(jìn)行修復(fù)，其 中待修復(fù)區(qū)域的內(nèi)容主要包含了隨機(jī)內(nèi)容信息和結(jié)構(gòu)信息。該待修復(fù)區(qū)域經(jīng)過修復(fù)后，得 到修復(fù)結(jié)果見圖11(c)。從圖11(c)看出，本發(fā)明利用自適應(yīng)的待修復(fù)塊尺寸對待修復(fù)塊進(jìn) 行修復(fù)，不僅保持了線性結(jié)構(gòu)良好的方向性，還在一定程度上抑制了圖像修復(fù)中對隨機(jī)內(nèi) 容區(qū)域修復(fù)時易出現(xiàn)的模糊效應(yīng)，使其修復(fù)后結(jié)果圖有更自然的視覺效果。
[00巧]實施例4:
[0080] -種基于多尺度結(jié)構(gòu)塊的圖像修復(fù)方法同實施例1-3,本例給出一個整體且詳細(xì) 的實例對本發(fā)明進(jìn)一步說明。
[0081 ]參照圖12，本發(fā)明的具體實現(xiàn)步驟如下：
[0082] 步驟1，輸入待修復(fù)圖像I，參見圖4、圖7、圖10。上述S幅圖處于中間位置的區(qū)域均 遭到損壞，需要修復(fù)。圖3、圖6、圖9所示的圖像分別是圖4、圖7、圖10未損壞之前的原圖像。 (在有原圖像的情況下參照原圖像進(jìn)行修復(fù)，若無原圖，根據(jù)待修復(fù)圖像內(nèi)容人工估計出原 圖。）針對待修復(fù)圖像圖4、圖7、圖10,首先需要確定待修復(fù)區(qū)域Q和待修復(fù)區(qū)域邊沿說i。
[0083] 步驟2,針對待修復(fù)區(qū)域邊沿任一像素設(shè)W待修復(fù)區(qū)域邊沿像素 P為塊 中屯、的圖像塊為W P，其中規(guī)定W P的塊尺寸為巧f。將W P記為待修復(fù)區(qū)域邊沿像素 P在巧f塊 尺度上的圖像塊。其中f代表圖像塊大小，一般在圖像處理中取值3~11;本例針對圖4、圖7、 圖10,設(shè)定f取值為7。通過待修復(fù)區(qū)域邊沿像素 P在巧f塊尺度上的圖像塊Wp,計算待修復(fù) 區(qū)域邊沿像素 P在巧f塊尺度上的不一致性度量Dif (Wp); P E KK
[0084] (2.1)針對待修復(fù)區(qū)域邊沿像素 P在f*f塊尺度上的圖像塊Wp,其中與6綻！。將Wp 沿方向j，均分成兩個分塊h' |1，4' ^;其中方向j由平面極坐標(biāo)系中的正交方向組構(gòu)成。本例 針對圖4、圖7、圖10,設(shè)定方向j為:平面極坐標(biāo)系中，目=0°，90°，45°，-45°運四個方向，該四 個方向分別對應(yīng)方向j = 1，2，3，4 ;繼而得到四組分塊對：心，T'' '1，（中\(zhòng)中21 把成其劃分，見圖2。
[0085] (2.2)根據(jù)Wp在方向j上分塊對中P0的統(tǒng)計信息，計算待修復(fù)區(qū)域邊沿像素 P 在巧f塊尺度上，關(guān)于方向j的不一致性度量dif^Wp)。設(shè)P(.)為提取圖像塊中未知信息的 算子，則巧?)便是提取圖像塊中已知信息的算子。將？('1記)拉成一列向量，記為啊，將賊 的前半部分內(nèi)容記為巧i，則后半部分內(nèi)容為巧i，則巧i和Wi共同平分尹片,;,)內(nèi)的信息， 其中j = l，2,3,4;m=l，2。繼而，將待修復(fù)區(qū)域邊沿像素 P在巧f塊尺度上，關(guān)于方向j的不一 致性度量di巧y%)定義為：
[0086]
[0087] 其中A為均衡系數(shù)，本例針對圖4、圖7、圖10,設(shè)定A取值〇.5;E( ?)為計算像素平均 值的函數(shù)。譬如怎為統(tǒng)計胃)中所有像素值的平均值的函數(shù)。該公式中，前一項反 映出W廟方向j上的分塊對(、、^|，、^;；)之間的差異性，后一項統(tǒng)計出^廟方向^'上分塊對 (乎巧部的勻質(zhì)性信息。
[0088] (2.3)根據(jù)待修復(fù)區(qū)域邊沿像素 P在巧f塊尺度上，關(guān)于方向j的不一致性度量difJ (Wp)，其中j = l，2,3,4;統(tǒng)計出在整體上最能代表像素 P在巧f塊尺度上的不一致性度量 Dif(Wp)。
[0089]
[0090] 其中Dif (Wp)度量待修復(fù)區(qū)域邊沿像素 P在巧f塊尺度上的結(jié)構(gòu)信息。
[0091] 步驟3，針對待修復(fù)區(qū)域邊沿任一像素 P，f € 0Q ;設(shè)W待修復(fù)區(qū)域邊沿像素 P為塊 中屯、的圖像塊為W%，其中規(guī)定W%的塊尺寸為n*fi。將W%記為待修復(fù)區(qū)域邊沿像素 P在 fi*n塊尺度上的圖像塊。本例針對圖4、圖7、圖10，設(shè)定n取值為11。參照步驟2，計算待修 復(fù)區(qū)域邊沿像素 P，在塊為n*fi尺度上的不一致性度量Dif (P)。
[0092]
[0093]
[0094] 其中A為均衡系數(shù)，本例針對圖4、圖7、圖10,設(shè)定A取值〇.5;E( ?)為計算像素平均 值的算子。譬如左(戸為統(tǒng)計歹中所有像素值的平均值的函數(shù)。Dif (W/P)度量待修 復(fù)區(qū)域邊沿像素 P在n*fi塊尺度上的結(jié)構(gòu)信息。
[00M]步驟4,針對待修復(fù)區(qū)域邊沿任一像素 P ,'Ea);根據(jù)待修復(fù)區(qū)域邊沿像素 P在塊 為巧f尺度上的和在塊為n*f I尺度上的不一致性度量分別為Dif (Wp)和Dif (w%)，計算尺 度不變性度量Sca(P)。
[0096]
[0097] 其中，尺度不變性度量Sca(P)度量了待修復(fù)區(qū)域邊沿像素 P所在區(qū)域內(nèi)其結(jié)構(gòu)信 息的重要性。
[0098] 步驟5,針對待修復(fù)區(qū)域邊沿任一像素 P，/.，G ;根據(jù)待修復(fù)區(qū)域邊沿像素 P在巧f 尺度上的不一致性度量Dif (Wp)和尺度不變性度量Sca(P),計算待修復(fù)區(qū)域邊沿像素 P的 優(yōu)先級 priority(p)。
[0099]
[0100] 其中，T(〇( ?)是轉(zhuǎn)換函數(shù)，是協(xié)調(diào)優(yōu)先級中多尺度結(jié)構(gòu)塊信息和置信度信息的平 衡;將轉(zhuǎn)換函數(shù)T(E)C ?)定義為:7;.,,問=Iog啦+侶-〇1耐.?)))；設(shè)置=6*(：;，轉(zhuǎn)換函數(shù)中e為調(diào) 節(jié)支取值區(qū)間的設(shè)定值。本例針對圖4、圖7、圖10,設(shè)定e = 6;其中S為單位向量;而C(P)是W 待修復(fù)區(qū)域邊沿像素 P為中屯、的圖像塊Wp的置信度項，表示W(wǎng)待修復(fù)區(qū)域邊沿像素0為中 屯、的圖像塊Wp的可信程度;置信度Cp(O)為圖像塊Wp中像素0的置信度;本例針對圖4、圖7、 圖10，對〔。(〇)進(jìn)行初始化:〔。(〇)=0;〇￡口，〔。(〇) = 1;〇￡(1-〇)，利用如下公式計算圖像 塊Wp的置信度項：
[0101]
[0102] 其中0為圖像塊Wp中已知像素值的像素。
[0103] 步驟6,設(shè)所有待修復(fù)區(qū)域邊沿像素當(dāng)前最高優(yōu)先級的待修復(fù)區(qū)域邊沿像素為q， 根據(jù)像素 q的優(yōu)先級，自適應(yīng)確定W像素 q為塊中屯、的待修復(fù)塊的塊尺寸尺寸巧f。
[0104] 具體做法:根據(jù)像素 q在巧f尺度上的不一致性度量Dif (Wq)和尺度一致性度量 Sca(q)，將像素 q分為:結(jié)構(gòu)邊沿像素、隨機(jī)邊沿像素或一般邊沿像素；
[010日](6.1)如果Dif ( Wq)〉Tresh2且Sca(Q)^reshl;則像素 q屬于結(jié)構(gòu)邊沿像素。設(shè)該 待修復(fù)塊為優(yōu)先級最高的邊沿塊的，其塊尺寸中的f: f = n，（f Df)。
[0106] (6.2)如果Dif ( Wq)<Tresh2且Sca(q)<Treshl;則像素 q屬于隨機(jī)邊沿像素。設(shè)該 待修復(fù)塊為優(yōu)先級最高的邊沿塊的，其塊尺寸中的f: f = f 2，（ f 2<f)。
[0107] (6.3)其它;則像素 q屬于一般邊沿像素。設(shè)該待修復(fù)塊為優(yōu)先級最高的邊沿塊的， 其塊尺寸中的f:f = f。
[010 引本例針對圖4、圖7、圖 10,取f = 7 ,H = IlJS = SJreshl = 0.75 JreshS 的值視圖 像而定，結(jié)構(gòu)越明顯則取值越大;設(shè)定Tresh2 =max {Dif (P)} /2; F e:淀1。
[0109]步驟7,應(yīng)用非局部重構(gòu)技術(shù)-化iminisi圖像修復(fù)方法，對優(yōu)先級最高的邊沿塊 進(jìn)行修復(fù)，完成待修復(fù)圖像中的一個圖像塊的修復(fù)，并更新該待修復(fù)區(qū)域邊沿目0。其具體 做法包括有：
[0110] (7.1)對于優(yōu)先級最高的邊沿塊Ilv通過歐式距離在像素 q的tXt鄰域范圍內(nèi)尋找 與其最相似的圖像塊廬^，本例針對圖4、圖7、圖10，設(shè)定t = 3*f。
[0111]
[0112]
[0113] 其中，在像素 q的t Xt鄰域范圍中，針對該鄰域范圍內(nèi)所有不含未知信息的圖像 塊，將其塊中屯、像素的集合記為化(q)，d( ?)表示歐式距離，N為像素 q的tXt鄰域范圍內(nèi)不 含未知信息的圖像塊的個數(shù)，N(q)為像素 q的t Xt鄰域范圍內(nèi)所有像素的集合，同時將優(yōu)先 級最高的邊沿塊4。中位于待修復(fù)區(qū)域的像素的值用與其最相似的圖像塊婷g中相同位置的 像素的值覆蓋；
[0114]
[0115] 其中U為優(yōu)先級最高的邊沿塊的中位于待修復(fù)區(qū)域的像素。
[0116] (7.2)將捧,中對應(yīng)4。待修復(fù)區(qū)域相同位置像素的置信度傳遞給4。中待修復(fù)區(qū)域中 的像素。
[0117]
[011引其中(?心)與優(yōu)先級最高的邊沿塊的最相似的圖像塊終g中像素 U的置信度。
[0119] (7.3)待優(yōu)先級最高的邊沿塊的修復(fù)完畢后，更新該待修復(fù)區(qū)域邊沿筑2。
[0120] 步驟8,重復(fù)步驟(2)-步驟(7)，遍歷待修復(fù)區(qū)域Q，直到待修復(fù)區(qū)域Q全部被修復(fù) 完畢，恢復(fù)出與原圖像見接近的結(jié)果圖像。本例針對圖4、圖7、圖10經(jīng)過修復(fù)，恢復(fù)出與原圖 像接近的結(jié)果圖像，其原圖分別參見圖3、圖6、圖9;其結(jié)果圖分別參見圖5(c)、圖8(c)、圖11 (C)。
[0121] 本例利用本發(fā)明針對圖4、圖7、圖10中處于中央位置且遭到損壞的待修復(fù)區(qū)域分 別進(jìn)行修復(fù)，經(jīng)過修復(fù)后，得到結(jié)果圖分別參見圖5(c)、圖8(c)、圖11(c)。從圖5(c)、圖8 (C)、圖11(c)看出，本發(fā)明利用多尺度結(jié)構(gòu)信息來計算優(yōu)先權(quán)，通過優(yōu)先權(quán)優(yōu)先挑選出具有 重要結(jié)構(gòu)的圖像塊進(jìn)行修復(fù)，不僅改善了非規(guī)則紋理區(qū)域和結(jié)構(gòu)區(qū)域的優(yōu)先級判斷，而且 正確區(qū)分出隨機(jī)內(nèi)容區(qū)域和結(jié)構(gòu)區(qū)域的差異；與此同時，本發(fā)明中的自適應(yīng)調(diào)整待修復(fù)塊 尺寸機(jī)制，不僅保持了線性結(jié)構(gòu)良好的方向性，而且在一定程度上抑制了修復(fù)隨機(jī)內(nèi)容區(qū) 域時常出現(xiàn)的模糊效應(yīng)，得到在視覺效果上表現(xiàn)良好的修復(fù)結(jié)果。
[0122] 本發(fā)明效果通過W下仿真實驗進(jìn)行驗證：
[0123] 實施例5:
[0124] -種基于多尺度結(jié)構(gòu)塊的圖像修復(fù)方法同實施例1-5。
[0125] 仿真實驗條件與方法
[01 %]硬件平臺為：處理器為Intel(R)Core(TM)W-2450M CPU@2.50細(xì)Z，內(nèi)存為4.0G，硬 盤320G,操作系統(tǒng)為Microsoft windows sever 2007;
[0127] 軟件平臺：MATLAB2014a;
[0128] 實驗方法:分別為現(xiàn)有的Criminisi方法W及基于塊稀疏的塊擴(kuò)散圖像修復(fù)方法 與本發(fā)明所提出的方法。
[0129] 仿真內(nèi)容與結(jié)果
[0130] 在上述的實驗條件下，進(jìn)行仿真一實驗
[0131] 仿真一，利用現(xiàn)有兩種方法與本發(fā)明，對圖4中處于中央位置且遭到損壞的待修復(fù) 區(qū)域進(jìn)行修復(fù)，經(jīng)過修復(fù)后，其結(jié)果參見圖5。其中圖5(a)為使用現(xiàn)有Criminisi方法修復(fù)的 結(jié)果圖，圖5(b)為使用現(xiàn)有基于塊稀疏的塊擴(kuò)散圖像修復(fù)方法修復(fù)的結(jié)果圖，圖5(c)為使 用本發(fā)明修復(fù)的結(jié)果圖。
[0132] 分別計算上述S種方法對圖4中待修復(fù)區(qū)域的修復(fù)結(jié)果的峰值信噪比PSNR，其仿 真結(jié)果如表1所示
[0133] 表1針對圖4使用不同方法修復(fù)結(jié)果的PSNR值對比(單位:db)
[0134]
[0135] 從表1看出，現(xiàn)有兩種方法和本發(fā)明方法的實驗結(jié)果證明，本發(fā)明的峰值信噪比 PSNR有顯著提高。
[0136] 本例分別將上述S種方法對圖4修復(fù)的實驗結(jié)果分別見圖5,其中圖5(a)、圖5(b) 和圖5(c)與未破損圖像圖3進(jìn)行對比。從視覺效果上看，圖5(a)為化iminisi方法對圖4待修 復(fù)區(qū)域修復(fù)的結(jié)果圖，將圖5(a)與未破損圖像圖3對比看出，圖5(a)中處于中央位置的線性 結(jié)構(gòu)被不規(guī)則紋理打斷，其不規(guī)則紋理侵占了原屬于平滑區(qū)域的位置。圖5(a)中的線性結(jié) 構(gòu)被打斷說明Criminisi方法對圖4中待修復(fù)區(qū)域修復(fù)時，并不能很好地區(qū)分不規(guī)則紋理區(qū) 域和結(jié)構(gòu)區(qū)域。圖5(b)為基于塊稀疏的塊擴(kuò)散圖像修復(fù)方法對圖4待修復(fù)區(qū)域修復(fù)的結(jié)果 圖，將圖5(b)與未破損圖像圖3對比看出，圖5(b)中處于中央位置的線性結(jié)構(gòu)遭到破壞，其 不規(guī)則紋理侵占了原屬于平滑區(qū)域的位置。圖5(b)中的線性結(jié)構(gòu)遭到破壞說明基于塊稀疏 的塊擴(kuò)散圖像修復(fù)方法對圖4中待修復(fù)區(qū)域修復(fù)時，也不能很好地區(qū)分不規(guī)則紋理區(qū)域和 結(jié)構(gòu)區(qū)域。圖5(c)為本發(fā)明對圖4待修復(fù)區(qū)域修復(fù)的結(jié)果圖，將圖5(c)與未破損圖像圖3對 比看出，圖5(c)的原待修復(fù)區(qū)域中遭到損壞的線性結(jié)構(gòu)區(qū)域得到很好的復(fù)原，其不規(guī)則紋 理區(qū)域和平滑區(qū)域之間的邊界得到很好的保持。圖5(c)中的線性結(jié)構(gòu)得W保持說明本發(fā)明 對圖4運類含有不規(guī)則紋理區(qū)域和結(jié)構(gòu)區(qū)域的待修復(fù)圖像修復(fù)時，本發(fā)明能很好地區(qū)分不 規(guī)則紋理區(qū)域和結(jié)構(gòu)區(qū)域，保持待修復(fù)圖像中的結(jié)構(gòu)信息。
[0137] 實施例6:
[0138] -種基于多尺度結(jié)構(gòu)塊的圖像修復(fù)方法同實施例1-5,仿真實驗條件同實施例5。
[0139] 仿真二，利用現(xiàn)有兩種方法與本發(fā)明，圖7中處于中央位置且遭到損壞的待修復(fù)區(qū) 域進(jìn)行修復(fù)，經(jīng)過修復(fù)后，其結(jié)果參見圖8。其中圖8(a)為使用Criminisi方法修復(fù)的結(jié)果 圖，圖8(b)為使用基于塊稀疏的塊擴(kuò)散圖像修復(fù)方法修復(fù)的結(jié)果圖，圖8(c)為使用本發(fā)明 修復(fù)的結(jié)果圖。
[0140] 分別計算上述S種方法對圖7中待修復(fù)區(qū)域的修復(fù)結(jié)果的峰值信噪比PSNR，其仿 真結(jié)果如表2所示
[0141] 表2對圖7使用不同方法修復(fù)結(jié)果的PSNR值對比(單位:db)
[0142]
[0143] 從表2看出，現(xiàn)有兩種方法和本發(fā)明方法的實驗結(jié)果證明，本發(fā)明的峰值信噪比 PSNR有顯著提高。
[0144] 本例分別將上述S種方法對圖7修復(fù)的實驗結(jié)果分別見圖8,其中圖8(a)、圖8(b) 和圖8(c)與未破損圖像圖6進(jìn)行對比。從視覺效果上看，圖8(a)為化iminisi方法對圖7待修 復(fù)區(qū)域修復(fù)的結(jié)果圖，將圖8(a)與未破損圖像圖6對比看出，圖8(a)恢復(fù)出多個金字塔塔 尖。圖8(a)中的多余的金字塔塔尖說明Criminisi方法對圖7中待修復(fù)區(qū)域修復(fù)時，并不能 很好地區(qū)分多種結(jié)構(gòu)之間的重要性。圖8(b)為基于塊稀疏的塊擴(kuò)散圖像修復(fù)方法對圖7待 修復(fù)區(qū)域修復(fù)的結(jié)果圖，將圖8(b)與未破損圖像圖6對比看出，圖8(b)中的金字塔塔尖出現(xiàn) 漂移。圖8(b)中漂移的金字塔塔尖說明基于塊稀疏的塊擴(kuò)散圖像修復(fù)方法對圖7中待修復(fù) 區(qū)域修復(fù)時，也不能很好地區(qū)分區(qū)分多種結(jié)構(gòu)之間的重要性。圖8(c)為本發(fā)明對圖7待修復(fù) 區(qū)域修復(fù)的結(jié)果圖，將圖8(c)與未破損圖像圖6對比看出，圖8(c)的原待修復(fù)區(qū)域中遭到損 壞的金字塔得到很好的復(fù)原，其線性結(jié)構(gòu)得W保持。圖8(c)中完整的金字塔尖說明本發(fā)明 對圖7運類含有多種結(jié)構(gòu)的待修復(fù)圖像時，本發(fā)明能很好地區(qū)分多種結(jié)構(gòu)之間的重要性，優(yōu) 先挑選有效結(jié)構(gòu)進(jìn)行修復(fù)。
[0145] 實施例7:
[0146] -種基于多尺度結(jié)構(gòu)塊的圖像修復(fù)方法同實施例1-6,仿真實驗條件同實施例6
[0147] 仿真=，利用現(xiàn)有兩種方法與本發(fā)明，對圖11中處于中央位置且遭到損壞的待修 復(fù)區(qū)域進(jìn)行修復(fù)，經(jīng)過修復(fù)后，其結(jié)果參見圖11。其中圖11(a)為使用Criminisi方法修復(fù)的 結(jié)果圖，圖11(b)為使用基于塊稀疏的塊擴(kuò)散圖像修復(fù)方法修復(fù)的結(jié)果圖，圖11(c)為使用 本發(fā)明修復(fù)的結(jié)果圖。
[0148] 由于仿真S屬于目標(biāo)移除圖像，無參考圖像作對比，故不展示其PSNR值。
[0149] 本例分別將上述S種方法對圖10修復(fù)的實驗結(jié)果分別見圖11，其中圖11(a)、圖11 (b)和圖11 (C)與未破損圖像圖9進(jìn)行對比。從視覺效果上看，圖11 (a)為化iminisi方法對圖 10待修復(fù)區(qū)域修復(fù)的結(jié)果圖，將圖11 (a)與未破損圖像圖9對比看出，圖11 (a)出現(xiàn)石堿區(qū)域 (隨機(jī)內(nèi)容區(qū)域)侵蝕了原臺階區(qū)域的邊緣(結(jié)構(gòu)區(qū)域），使得臺階出現(xiàn)斷裂。圖11(a)中斷裂 的臺階說明Criminisi方法對圖10中待修復(fù)區(qū)域修復(fù)時，并不能很好地區(qū)分隨機(jī)內(nèi)容區(qū)域 和結(jié)構(gòu)區(qū)域。圖11(b)為基于塊稀疏的塊擴(kuò)散圖像修復(fù)方法對圖10待修復(fù)區(qū)域修復(fù)的結(jié)果 圖，將圖11(b)與未破損圖像圖9對比看出，圖11(b)中臺階也出現(xiàn)了斷裂。圖11(b)中斷裂的 臺階說明基于塊稀疏的塊擴(kuò)散圖像修復(fù)方法對圖10中待修復(fù)區(qū)域修復(fù)時，也不能很好地區(qū) 分隨機(jī)內(nèi)容區(qū)域和結(jié)構(gòu)區(qū)域。圖11(c)為本發(fā)明對圖10待修復(fù)區(qū)域修復(fù)的結(jié)果圖，將圖11 (C)與未破損圖像圖9對比看出，圖IUc)中原待修復(fù)區(qū)域的臺階得W被完好地復(fù)原，成功地 將圖9中的遮擋物移除掉。圖IUc)中完好的臺階說明本發(fā)明對圖10運類含有隨機(jī)內(nèi)容和結(jié) 構(gòu)的待修復(fù)圖像修復(fù)時，能很好地區(qū)分隨機(jī)內(nèi)容區(qū)域和結(jié)構(gòu)區(qū)域，使得其結(jié)構(gòu)信息能得到 很好地保持。
[0150] 仿真實驗總結(jié)：
[0151] 由于仿真S屬于目標(biāo)移除圖像，無參考圖像作對比，故不展示其PSNR值。繼而，上 述仿真實驗結(jié)果，通過數(shù)據(jù)總結(jié)如表3所示。
[0152] 表3使用不同方法修復(fù)結(jié)果的PSNR值對比(單位:db)
[0153]
[0154] 從客觀指標(biāo)峰值信噪比PSNR出發(fā)，從表3中看出，本發(fā)明方法分別對圖4,圖7修復(fù) 時，其結(jié)果的峰值信噪比PSNR比現(xiàn)有兩種方法都有提高。從主觀視覺效果出發(fā)，本發(fā)明方法 分別對圖4,圖7,圖10修復(fù)時得到的結(jié)果，參見圖5(c)，圖8(c)，圖IUc)，比現(xiàn)有兩種方法的 修復(fù)結(jié)果，分別參見圖5(a)，圖8(a)，圖11(a)和圖5(b)，圖8(b)，圖11(b)，其修復(fù)結(jié)果的視 覺效果比現(xiàn)有兩種方法都更優(yōu)良。
[0155] 綜合所述，W上實驗結(jié)果表明，本發(fā)明無論從視覺效果還是從數(shù)據(jù)比較或者說無 論在客觀指標(biāo)還是主觀效果上，都表現(xiàn)出了較好的性能，在保持結(jié)構(gòu)效果的同時，獲得了高 質(zhì)量的修復(fù)結(jié)果。
[0156] 簡而言之，本發(fā)明公開的一種基于多尺度結(jié)構(gòu)塊的圖像修復(fù)方法，主要解決現(xiàn)有 技術(shù)對修復(fù)較大結(jié)構(gòu)區(qū)域時易出現(xiàn)失真的問題。其實現(xiàn)過程是：（1)根據(jù)本發(fā)明提出的基于 多尺度結(jié)構(gòu)塊的優(yōu)先級計算方法，對所有的待修復(fù)區(qū)域邊沿像素計算優(yōu)先級；（2)在所有待 修復(fù)區(qū)域邊沿像素中，對當(dāng)前最高優(yōu)先級的待修復(fù)區(qū)域邊沿像素，根據(jù)其優(yōu)先級自適應(yīng)確 定該像素的待修復(fù)塊尺寸，并設(shè)該待修復(fù)塊為優(yōu)先級最高的邊沿塊。（3)應(yīng)用非局部重構(gòu)技 術(shù)對優(yōu)先級最高的邊沿塊進(jìn)行修復(fù)。（4)重復(fù)步驟(1)-步驟(3)，直到修復(fù)結(jié)束。本發(fā)明運用 不同尺度塊結(jié)構(gòu)信息，挑選有效結(jié)構(gòu)塊修復(fù)，改善了非規(guī)則紋理和隨機(jī)內(nèi)容優(yōu)先級判斷，保 持了圖像紋理和結(jié)構(gòu)一致性也抑制了人工效應(yīng)。經(jīng)過本發(fā)明的修復(fù)，有效恢復(fù)了圖像，獲得 視覺效果和數(shù)據(jù)指標(biāo)更好的圖像修復(fù)結(jié)果，可用于破損圖像修復(fù)及目標(biāo)物移除。
【主權(quán)項】
1. 一種基于多尺度結(jié)構(gòu)塊的圖像修復(fù)方法，其特征在于，包括有如下步驟： (1) 輸入待修復(fù)圖像I，確定待修復(fù)區(qū)域Ω和待修復(fù)區(qū)域邊沿fiO ; (2) 針對待修復(fù)區(qū)域邊沿任一像素p，p e 5Ω ;根據(jù)待修復(fù)區(qū)域邊沿像素p的多尺度結(jié)構(gòu) 信息，計算所有待修復(fù)區(qū)域邊沿像素的優(yōu)先級； (3) 設(shè)所有待修復(fù)區(qū)域邊沿像素中，當(dāng)前最高優(yōu)先級的待修復(fù)區(qū)域邊沿像素為q，根據(jù) 像素q的優(yōu)先級自適應(yīng)調(diào)整像素q的待修復(fù)塊尺寸f*f，并設(shè)該待修復(fù)塊為優(yōu)先級最高的邊 沿塊; (4) 應(yīng)用非局部重構(gòu)技術(shù)-Criminisi圖像修復(fù)方法，對優(yōu)先級最高的邊沿塊^進(jìn)行修 復(fù)，完成待修復(fù)圖像中的一個圖像塊的修復(fù)，并更新該待修復(fù)區(qū)域邊沿 (5) 重復(fù)步驟(2)-步驟(4)，遍歷待修復(fù)區(qū)域Ω，直到待修復(fù)區(qū)域Ω全部被修復(fù)完畢，恢 復(fù)出與原圖像接近的結(jié)果圖像。2. 根據(jù)權(quán)利要求1所述的基于多尺度結(jié)構(gòu)塊的圖像修復(fù)方法，其特征在于步驟(2)所述 的根據(jù)多尺度結(jié)構(gòu)信息，計算所有待修復(fù)區(qū)域邊沿像素的優(yōu)先級，包括有如下步驟： (2. a)針對待修復(fù)區(qū)域邊沿任一像素p，pe (3Ω ;設(shè)以待修復(fù)區(qū)域邊沿像素p為塊中心的 圖像塊為ΨΡ，并規(guī)定該圖像塊的塊尺寸為?·*?^#ΨΡ記為待修復(fù)區(qū)域邊沿像素P在f*f塊尺 度上的圖像塊;繼而，對ΨΡ沿方向j均勻劃分圖像塊，得到一組分塊對j:其中方向j 由平面坐標(biāo)系中的正交方向組構(gòu)成;設(shè)定方向j包括有:平面極坐標(biāo)系中，θ = 0°，90°，45°，-45°這四個方向，該四個方向分別對應(yīng)方向j = l，2,3,4;因此，可得到待修復(fù)區(qū)域邊沿像素ρ 在f*f塊尺度上的圖像塊Ψ P的四組分塊又(2 . b)根據(jù)Ψ P在方向j上的分塊對丨，Ψ ,計算待修復(fù)區(qū)域邊沿像素ρ在f *f塊尺度 上，關(guān)于方向j的不一致性度量difj(WP);設(shè)P( ·)為提取圖像塊中未知信息的算子，則戶(*) 便是提取圖像塊中已知信息的算子；同時將拉成一列，記為將》^的前半部分記 為》i，則后半部分為Mi;其中j = l，2,3,4;m=l，2;difj(WP)定義為：其中λ為均衡系數(shù)，E( ·)為計算像素平均值的函數(shù);譬如為統(tǒng)計戶中所 有像素值的平均值的函數(shù)； (2.c)根據(jù)待修復(fù)區(qū)域邊沿像素ρ在f*f塊尺度上，關(guān)于各個方向上的不一致性度量dip (ΨΡ)，j = 1，2，3，4;整體上統(tǒng)計出，待修復(fù)區(qū)域邊沿像素ρ在f*f塊尺度上不一致性度量Dif (ΨΡ) ；其中，Dif(Wp)度量了待修復(fù)區(qū)域邊沿像素ρ在f*f塊尺度上的結(jié)構(gòu)信息； ^.幻參照步驟^^卜步驟^^^針對待修復(fù)區(qū)域邊沿任一像素口"^^^:設(shè)以待修復(fù) 區(qū)域邊沿像素P為塊中心的圖像塊為Ψ/，并規(guī)定該圖像塊的塊尺寸為Π*Π，將Ψ/記為待 修復(fù)區(qū)域邊沿像素P在π*π塊尺度上的圖像塊;繼而，根據(jù)圖像塊Ψ/，計算待修復(fù)區(qū)域邊 沿像素P在Π*π塊尺度上的不一致性度量);其中λ為均衡系數(shù)，E( ·)為計算像素平均值的算子;譬如五為統(tǒng)計中所 有像素值的平均值的函數(shù);Dif ( ψ/)度量待修復(fù)區(qū)域邊沿像素P在Π*Π塊尺度上的結(jié)構(gòu) 信息； (2. e)根據(jù)待修復(fù)區(qū)域邊沿像素ρ在不同塊尺度上的不一致性度量Dif(Wp)和Dif (Ψ/ )，計算待修復(fù)區(qū)域邊沿像素P的尺度不變性度量Sca(P):其中，尺度不變性度量Sca(P)度量了待修復(fù)區(qū)域邊沿像素p所在區(qū)域內(nèi)其結(jié)構(gòu)信息的 重要性； (2.f)利用待修復(fù)區(qū)域邊沿像素p在f*f塊尺度上的不一致性度量Dif(Wp)和尺度不變 性度量Sca(p)，計算待修復(fù)區(qū)域邊沿像素p的優(yōu)先級priority(p):其中，T(〇( ·)是轉(zhuǎn)換函數(shù)，是協(xié)調(diào)優(yōu)先級中多尺度結(jié)構(gòu)塊信息和置信度信息的平衡； 將轉(zhuǎn)換函數(shù)Τ(0( ·)定義為：L狀Mog:(.? + (<?-設(shè)麥= ￡·*?.，轉(zhuǎn)換函數(shù)中ε為調(diào)節(jié) 無取值區(qū)間的設(shè)定值;其中g(shù)為單位向量;而C(p)是以待修復(fù)區(qū)域邊沿像素ρ為中心的圖像 塊屯[)的置信度項，表示以待修復(fù)區(qū)域邊沿像素P為中心的圖像塊屯[)的可信程度;置信度C p (〇)為圖像塊ΨΡ中像素〇的置{g度;對CP(〇)進(jìn)行初始化:CP(〇) = 0;〇e Ω，CP(〇) = l;〇e(l-Ω )，利用如下公式計算圖像塊ΨΡ的置信度項：其中〇為圖像塊Ψ Ρ中已知像素值的像素。3.根據(jù)權(quán)利要求1所述的基于多尺度結(jié)構(gòu)塊的圖像修復(fù)方法，其特征在于步驟(3)，設(shè) 所有待修復(fù)區(qū)域邊沿像素當(dāng)前最高優(yōu)先級的待修復(fù)區(qū)域邊沿像素為q，根據(jù)像素q的優(yōu)先 級，自適應(yīng)確定以像素q為塊中心的待修復(fù)塊的塊尺寸尺寸f*f; 具體做法:根據(jù)像素q在尺度上的不一致性度量Dif(Wq)和尺度一致性度量Sca(q)， 將像素q分為:結(jié)構(gòu)邊沿像素、隨機(jī)邊沿像素或一般邊緣像素； (3.3)如果0丨丨（^1%)>1>68112且3〇3(卩)>1>68111;則像素卩屬于結(jié)構(gòu)邊沿像素 ;設(shè)該待修復(fù) 塊為優(yōu)先級最高的邊沿塊％，其塊尺寸中的f: f = f 1，其中f Df; (3.b)如果Dif( Wq)〈Tresh2且Sca(q)〈Treshl;則像素q屬于隨機(jī)邊沿像素;設(shè)該待修復(fù) 塊為優(yōu)先級最高的邊沿塊％，其塊尺寸中的f: f = f 2，其中f 2〈f; (3. c)其它，則像素q屬于一般邊沿像素;設(shè)該待修復(fù)塊為優(yōu)先級最高的邊沿塊％，其塊 尺寸中的f :f=f; 其中：f，fl，f2分別為不同大小的待修復(fù)塊的塊尺寸，其關(guān)系為f2〈f〈fl;TreShl， Tresh2是為了區(qū)分優(yōu)先級最高的邊沿塊％的類別而設(shè)置的閾值。
【文檔編號】G06T5/00GK106023102SQ201610322871
【公開日】2016年10月12日
【申請日】2016年5月16日
【發(fā)明人】鐘樺, 焦李成, 胡雪純, 田小林, 緱水平
【申請人】西安電子科技大學(xué)