一種基于旋轉(zhuǎn)及尺度空間拓展的圖像修復(fù)方法
【專利摘要】一種基于旋轉(zhuǎn)及尺度空間拓展的圖像修復(fù)方法，包括：1)將破損圖像分割為目標區(qū)域和信息區(qū)域；2)然后把破損圖像下采樣為5級高斯金字塔模型；3)對每一級金字塔圖像采用指定次數(shù)的迭代，所述的每一級金字塔圖像采用指定次數(shù)的迭代是，第5級進行15次迭代，以后每級迭代次數(shù)遞減3次；4)對每個迭代進行最優(yōu)匹配塊搜索和信息填充，得到修復(fù)的圖像。本發(fā)明引入旋轉(zhuǎn)和尺度參數(shù)進行空間拓展和能量優(yōu)化，不僅可以應(yīng)用于圖像修復(fù)問題，對于其他需要進行塊匹配過程的算法，也可以利用本方法實現(xiàn)相應(yīng)空間的拓展，優(yōu)化搜索結(jié)果。
【專利說明】一種基于旋轉(zhuǎn)及尺度空間拓展的圖像修復(fù)方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種。特別是涉及一種基于旋轉(zhuǎn)及尺度空間拓展的圖像修復(fù)方法。

【背景技術(shù)】
[0002] 數(shù)字圖像修復(fù)技術(shù)是計算機視覺領(lǐng)域的重要研宄課題，其主要研宄內(nèi)容在于如何 利用圖像中的已知信息對破損區(qū)域進行填充，最終保證修復(fù)圖像的效果自然合理。該技術(shù) 在字幕、污點、劃痕去除、老照片修復(fù)、影視特技、文物保護等領(lǐng)域都具有重要的意義和研宄 價值。
[0003] 數(shù)字圖像修復(fù)的經(jīng)典算法是Criminisi等提出的基于樣本塊的修復(fù)算法，該算法 利用置信度函數(shù)和結(jié)構(gòu)性函數(shù)來確定修復(fù)的優(yōu)先權(quán)函數(shù)，可實現(xiàn)大區(qū)域破損紋理圖像的自 動修復(fù)。
[0004] 基于樣本塊的修復(fù)算法在修復(fù)圖像結(jié)構(gòu)時容易出現(xiàn)塊效應(yīng)和誤匹配。國內(nèi)外學者 通過結(jié)構(gòu)優(yōu)化、頻域變換和使用馬爾科夫隨機場等方法來改善結(jié)構(gòu)圖像的修復(fù)效果，在保 持紋理信息修復(fù)效果的同時改善了結(jié)構(gòu)信息的恢復(fù)，還有一些學者提出利用結(jié)構(gòu)曲線來改 善結(jié)構(gòu)修復(fù)效果。提出利用人機交互方案來解決圖像結(jié)構(gòu)的修復(fù)問題，通過人為干預(yù)，手動 添加匹配塊的搜索范圍，提高了結(jié)構(gòu)圖像修復(fù)質(zhì)量和速度。
[0005] 現(xiàn)有方法局限于平移空間，當圖像存在旋轉(zhuǎn)和尺度變換的時候無法找到準確的最 優(yōu)匹配塊，修復(fù)效果不夠理想。因此需要找到一種參數(shù)空間拓展和優(yōu)化的方法，來完成尺度 和旋轉(zhuǎn)圖像的修復(fù)問題。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明所要解決的技術(shù)問題是，提供一種基于旋轉(zhuǎn)及尺度空間拓展的圖像修復(fù)方 法，其在修改能量函數(shù)的基礎(chǔ)上利用基于patchmatch的快速匹配塊搜索算法和LM優(yōu)化參 數(shù)方法實現(xiàn)空間拓展，能夠明顯改善旋轉(zhuǎn)和尺度信息的修復(fù)效果，彌補傳統(tǒng)算法只能針對 平移空間搜索的局限性。
[0007] 本發(fā)明所采用的技術(shù)方案是：一種基于旋轉(zhuǎn)及尺度空間拓展的圖像修復(fù)方法，包 括如下步驟：
[0008] 1)將破損圖像分割為目標區(qū)域和信息區(qū)域；
[0009] 2)然后把破損圖像下采樣為5級高斯金字塔模型；
[0010] 3)對每一級金字塔圖像采用指定次數(shù)的迭代；
[0011] 4)對每個迭代進行最優(yōu)匹配塊搜索和信息填充，得到修復(fù)的圖像。
[0012] 步驟3)中所述的每一級金字塔圖像采用指定次數(shù)的迭代是，第5級進行15次迭 代，以后每級迭代次數(shù)遞減3次。
[0013] 步驟4)中所述的最優(yōu)匹配塊搜索包括隨機分配參數(shù)、LM優(yōu)化傳播和LM優(yōu)化隨機 搜索，所述的隨機分配參數(shù)是對所有目標塊隨機分配一個匹配塊，包含橫縱坐標和尺度或 旋轉(zhuǎn)參數(shù)；所述的LM優(yōu)化傳播和LM優(yōu)化隨機搜索，是在隨機分配參數(shù)基礎(chǔ)上進行100次迭 代搜索最優(yōu)匹配塊的過程。
[0014] 所述LM優(yōu)化傳播過程包括：
[0015] (1)奇數(shù)次迭代的時候傳播過程首先考慮當前目標塊上方和左方一個像素位置的 塊的匹配塊，將所述的匹配塊的下方和右方的塊作為當前目標塊的待更新匹配塊；偶數(shù)次 迭代時則選擇目標塊下方和右方一個像素位置的塊匹配塊，將所述的匹配塊的上方和左方 的塊作為當前目標塊的待更新匹配塊；
[0016] (2)對每個待更新匹配塊進行LM優(yōu)化；
[0017] (3)利用步驟（2)得到的最優(yōu)的尺度或旋轉(zhuǎn)參數(shù)更新最優(yōu)匹配塊。
[0018] 步驟⑵中所述的LM優(yōu)化包括：
[0019] (a)設(shè)?= /(的為當前待更新匹配塊\旋轉(zhuǎn)Θ角度后對目標塊&的估計，給定初 始角度Stl和目標塊tn，誤差函數(shù)定義為：
[0020]

【權(quán)利要求】
1. 一種基于旋轉(zhuǎn)及尺度空間拓展的圖像修復(fù)方法，其特征在于，包括如下步驟： 1) 將破損圖像分割為目標區(qū)域和信息區(qū)域； 2) 然后把破損圖像下采樣為5級高斯金字塔模型； 3) 對每一級金字塔圖像采用指定次數(shù)的迭代； 4) 對每個迭代進行最優(yōu)匹配塊搜索和信息填充，得到修復(fù)的圖像。
2. 根據(jù)權(quán)利要求1所述的一種基于旋轉(zhuǎn)及尺度空間拓展的圖像修復(fù)方法，其特征在 于，步驟3)中所述的每一級金字塔圖像采用指定次數(shù)的迭代是，第5級進行15次迭代，以 后每級迭代次數(shù)遞減3次。
3. 根據(jù)權(quán)利要求1所述的一種基于旋轉(zhuǎn)及尺度空間拓展的圖像修復(fù)方法，其特征在 于，步驟4)中所述的最優(yōu)匹配塊搜索包括隨機分配參數(shù)、LM優(yōu)化傳播和LM優(yōu)化隨機搜索， 所述的隨機分配參數(shù)是對所有目標塊隨機分配一個匹配塊，包含橫縱坐標和尺度或旋轉(zhuǎn)參 數(shù)；所述的LM優(yōu)化傳播和LM優(yōu)化隨機搜索，是在隨機分配參數(shù)基礎(chǔ)上進行100次迭代搜索 最優(yōu)匹配塊的過程。
4. 根據(jù)權(quán)利要求3所述的一種基于旋轉(zhuǎn)及尺度空間拓展的圖像修復(fù)方法，其特征在 于，所述LM優(yōu)化傳播過程包括： (1) 奇數(shù)次迭代的時候傳播過程首先考慮當前目標塊上方和左方一個像素位置的塊的 匹配塊，將所述的匹配塊的下方和右方的塊作為當前目標塊的待更新匹配塊；偶數(shù)次迭代 時則選擇目標塊下方和右方一個像素位置的塊匹配塊，將所述的匹配塊的上方和左方的塊 作為當前目標塊的待更新匹配塊； (2) 對每個待更新匹配塊進行LM優(yōu)化； (3) 利用步驟（2)得到的最優(yōu)的尺度或旋轉(zhuǎn)參數(shù)更新最優(yōu)匹配塊。
5. 根據(jù)權(quán)利要求4所述的一種基于旋轉(zhuǎn)及尺度空間拓展的圖像修復(fù)方法，其特征在 于，（2)中所述的LM優(yōu)化包括： (a) 設(shè)丨=/(的為當前待更新匹配塊\旋轉(zhuǎn)0角度后對目標塊、的估計，給定初始角 度9 〇和目標塊〖"，誤差函數(shù)定義為：
(b) 利用LM迭代算法尋找使得平方誤差（e( 0))Te( 0 )達到最小時的最優(yōu)旋轉(zhuǎn)角度 Q，每次迭代都尋找新的S0，使S^滿足：
則更新9 = 9 +S0，同時減小y為f_否則增加y為2y并重新求解公式（7)，直到 求得的S0滿足公式（8)，更新0 = 0 +S0; 循環(huán)進行第（b)和（c)步，直到收斂到局部最優(yōu)旋轉(zhuǎn)參數(shù)。
6. 根據(jù)權(quán)利要求5所述的一種基于旋轉(zhuǎn)及尺度空間拓展的圖像修復(fù)方法，其特征在 于，當滿足以下條件之一時停止迭代，并取當前0為最優(yōu)旋轉(zhuǎn)參數(shù)。 (1)公式（JTJ+uI)s0 =JT(tn-f(0)) =JTe右邊項JTe低于閾值e丨=10_6; ⑵0的相對變化量S0低于閾值e2= 1(T6; ⑶誤差項（e( 0))Te( 0 )低于某閾值e3= 1(T6; (4)迭代次數(shù)達到最大值kmax= 100。
7. 根據(jù)權(quán)利要求4所述的一種基于旋轉(zhuǎn)及尺度空間拓展的圖像修復(fù)方法，其特征在 于，步驟（3)具體是計算當前經(jīng)過LM優(yōu)化后的待更新匹配塊和目標塊中有效像素部分的最 小均方誤差，如果所計算出的最小均方誤差小于未經(jīng)過LM優(yōu)化的匹配塊和目標塊之間的 最小均方誤差，則更新當前目標塊的最優(yōu)匹配塊為待更新塊，否則最優(yōu)匹配塊保持不變。
8. 根據(jù)權(quán)利要求3所述的一種基于旋轉(zhuǎn)及尺度空間拓展的圖像修復(fù)方法，其特征在 于，所述的LM優(yōu)化隨機搜索過程如下： (1)首先定義搜索半徑： Ri+1 =wa1 (9) 式中，w是樣本塊的最大搜索半徑，{a|〇〈a〈1}是搜索半徑轉(zhuǎn)換比率，i= 〇, 1，2,...，w取為不超過圖像范圍的最大值，a取0.5; ⑵以當前最優(yōu)匹配塊中心點為中心，{Ri+1|l〈Ri+1〈w}為半徑的范圍內(nèi)隨機選取候選塊 作為待更新塊，并對所述候選塊使用LM優(yōu)化傳播過程中所述的LM優(yōu)化方法更新尺度或旋 轉(zhuǎn)參數(shù)，然后進行優(yōu)化更新，具體是計算當前經(jīng)過LM優(yōu)化后的待更新匹配塊和目標塊中有 效像素部分的最小均方誤差，如果所計算出的最小均方誤差小于未經(jīng)過LM優(yōu)化的匹配塊 和目標塊之間的最小均方誤差，則更新當前目標塊的最優(yōu)匹配塊為待更新塊，否則最優(yōu)匹 配塊保持不變。
9. 根據(jù)權(quán)利要求1所述的一種基于旋轉(zhuǎn)及尺度空間拓展的圖像修復(fù)方法，其特征在 于，步驟4)中所述的信息填充是采用均值填充方法，對所有破損區(qū)域中的像素確定所述像 素的值，所述像素值由該像素周圍目標塊的最優(yōu)匹配塊在該像素點處的像素值的均值決 定。
【文檔編號】G06T5/20GK104484866SQ201410778875
【公開日】2015年4月1日 申請日期:2014年12月15日 優(yōu)先權(quán)日:2014年12月15日
【發(fā)明者】何凱, 鄭歡, 張麗瑩, 吳春芳, 王新磊 申請人:天津大學