本發(fā)明涉及一種圖像修復方法,特別是關于一種以樣本例為基礎,通過篩選策略搜索匹配塊的圖像修復方法。
背景技術:
隨著計算機技術的飛速發(fā)展,通過計算機進行數(shù)字圖像修復受到人們越來越多的關注。同時,數(shù)字圖像修復技術也得到了發(fā)展和廣泛的應用,在修復圖片中丟失的信息,移除圖片或視頻中多余的文字、物體等方面給人們帶來很大的便利。圖像修復技術就是通過將未受損區(qū)域的像素通過一定方法傳遞到未知區(qū)域,使圖像整體看起來完整,符合人的視覺心理要求。
目前圖像修復技術分為兩類:一類以像素點為操作對象,以物理學和數(shù)學知識為基礎通過擴散的方式修復未知區(qū)域,此方法對小范圍圖像修復十分適用,但大范圍的圖像修復結果無法令人滿意;另一類以像素塊為操作對象,通過對像素塊進行全局或局部的匹配將已知區(qū)域的像素信息傳遞到未知區(qū)域實現(xiàn)修復,該方法對大、小范圍的圖像修復都能取得很好的效果,但基于該方法的修復成功率很低。
現(xiàn)有技術中,基于樣本例的圖像修復方法因修復順序的不同分為兩種,一種通過計算待填充區(qū)域邊緣點的優(yōu)先級,根據(jù)優(yōu)先級大小確定修復順序;另一種直接以行掃描的修復順序,從左往右從上到下依次修復待修復區(qū)域。確定修復順序后,通過將填充塊中已知像素的點和已知區(qū)域內樣本塊內的像素點通過SSD算法進行匹配,匹配成功后將該樣本塊復制到待填充塊內,實現(xiàn)圖像信息的傳遞,完成圖像修復。以行掃描順序進行圖像修復的方法,雖然已經(jīng)提高了圖像的修復成功率,但是其依然存在著匹配錯誤率太高的缺陷,這使得用該方法進行圖像修復依然無法滿足我們對修復成功率的要求。
技術實現(xiàn)要素:
針對上述問題,本發(fā)明的目的是提供一種以樣本例為基礎,通過篩選策略來降低錯誤匹配率進而提升塊算法修復成功率的行掃描圖像修復方法。
為實現(xiàn)上述目的,本發(fā)明采取以下技術方案:一種應用篩選策略的塊匹配圖像修復方法,包括以下步驟:
1)建立掃描塊模板,使用該模板以行掃描的方式對圖像進行掃描,尋找待填充塊;
2)計算待填充塊和匹配塊的差方和距離公式(Sum of Squared Differences,SSD),將小于最小平方差距離1.2倍的匹配塊篩選出來,作為下一步的候選塊;
3)選取待填充塊內填充區(qū)域上邊或者左邊相鄰的塊作為標準塊,計算標準塊和各個候選塊待填充區(qū)域塊的相似度,將所有相似度值相加求出平均相似度值,將相似度小于平均相似度值的候選塊作為下一步的候選塊;
4)計算待填充塊中心點和候選塊中心點的直線距離,選擇距離最小的塊作為填充塊填充到待填充區(qū)域;
5)重復執(zhí)行以上步驟,直到待修復區(qū)域全部填充完畢。
所述步驟1)中模板大小為N*N(N為奇數(shù)),分為基礎填充區(qū)域和基礎匹配區(qū)域。
所述基礎填充區(qū)域和基礎匹配區(qū)域不是實際填充區(qū)域和實際匹配區(qū)域。
所述基礎填充區(qū)域大小為n*n(n為奇數(shù),n<N),位于模板右下方,其余為基礎匹配區(qū)域。
所述步驟1)中待填充塊為模板遇到待修復區(qū)域時,模板所在位置的塊。
所述步驟2)中匹配塊為在圖像已知區(qū)域內以任一像素點為中心,邊長為N的像素塊。
所述步驟2)中SSD距離計算公式為:
公式所述,、、分別表示待填充塊中實際匹配區(qū)域和匹配塊中對應位置各個像素點中不同顏色通道亮度的均值。
所述步驟3)中標準塊的選取方法為:計算兩個相鄰塊的平均梯度和傳播距離的乘積作為平衡值,平衡值大的塊作為標準塊。
所述平均梯度是將塊中所有像素點的梯度相加,除以像素點的個數(shù)。
所述像素點的梯度為圖像每個顏色通道中的梯度值相加除以3。
所述步驟3)中的相似度通過SSD距離公式計算,距離值大的相似度小,距離值小的相似度大。
所述步驟4)中的直線距離通過兩個點的坐標進行計算。
所述步驟2)、步驟3)、步驟4)分別為篩選策略中的三次篩選。
本發(fā)明由于采取以上技術方案,其具有以下優(yōu)點:本發(fā)明采用的篩選策略可以根據(jù)不同條件排除掉容易產生錯誤匹配的候選塊;同時在選擇標準塊時加入了平均梯度和傳播距離信息,促進了結構傳播的同時也保證了原圖像中已知區(qū)域信息的高優(yōu)先級,使結構不會無限制傳播,保證了圖像修復的均衡性。使用篩選策略后使圖像修復的魯棒性得到明顯提高,提高了圖像修復的質量和應用性。
附圖說明
圖1為圖像修復原理示意圖。
圖2位本發(fā)明掃描模板示意圖。
圖3為本發(fā)明待填充塊和候選塊說明書示意圖。
圖4為本發(fā)明的圖像修復方法的流程示意圖。
圖5為本發(fā)明標準塊匹配示意圖。
圖6為本發(fā)明計算傳播距離的示意圖。
圖7是本發(fā)明實施例的修復過程示意圖。
圖8為證明本發(fā)明魯棒性的實施例修復效果圖。
圖9為證明本發(fā)明結構傳播能力的實施例修復效果圖。
圖10為本發(fā)明實施例在篩選過程中對候選塊的篩選過程圖。
具體實施方式
下面結合附圖和實施例對本發(fā)明進行詳細的描述。
目標去除是數(shù)字圖像修復技術領域的一個常見應用,其目標是將圖像中選定的目標去除,并用圖像中其它區(qū)域的圖像信息覆蓋在去除的區(qū)域,使去除目標后的圖像看起來完整,自然,真實,符合人的視覺心理要求。
如圖1所示,其中I為整個圖像, 代表已知區(qū)域, 代表未知區(qū)域,圖像修復就是利用已知區(qū)域的信息修復未知區(qū)域的信息。
本實施例采用行掃描的方式搜索圖像,其中掃描塊模板如圖2所示,為一個邊長9個像素的正方形塊,為基礎匹配區(qū)域,為基礎填充區(qū)域。
如圖3所示,當掃描塊和待修復區(qū)域盡可能多的重疊且基礎匹配區(qū)域與待修復區(qū)域不重疊,即時,稱其為待填充塊,位于已知區(qū)域的圖像塊為候選塊,為候選塊中和對應的位置。
所述修復過程示意圖如圖4,包括以下步驟:
1、建立掃描模板,以行掃描的方式,從上到下,從左到右依次對待修復圖像進行掃描,尋找;
2、以為待填充塊,對圖像中所有候選塊進行第一次篩選,篩選方法為:計算待填充塊和候選塊的差方和(SSD)距離d,將小于最小平方差距離1.2倍的匹配塊篩選出來,作為下一步的候選塊,公式如下: ;
所述SSD距離的計算公式為:
3、第二次篩選,如圖,5所示,在待填充塊的基礎填充區(qū)域的左邊和上邊分別有兩個塊、,分別計算這兩個塊的均衡因子B,取B大的塊作為標準塊;計算標準塊和候選塊中部分的SSD距離,并平均距離ave,所有SSD距離小于ave的候選塊被篩選出來作為下一步的候選塊;
上述計算標準塊的公式為:,,公式中為塊的平均梯度的絕對值,為傳播距離,為塊從上到下的傳播距離,為塊從左到右的傳播距離,,,,如圖6所示,為到各個原邊緣的距離。
上述平均距離ave的計算公式為:,公式中n為候選塊數(shù)量,為a或者b,為標準塊和候選塊中部分的SSD距離;
4、第三次篩選通過計算待填充塊中心點和候選塊中心點的直線距離,選擇距離最小的塊作為填充塊填充到待填充區(qū)域;
5、重復執(zhí)行以上步驟,直到待修復區(qū)域全部填充完畢(如圖7)。
如圖8所示,為本發(fā)明的修復實例,例子中各種邊緣不同的待修復圖像是由于人在選擇待修復區(qū)域時會出現(xiàn)邊緣不同的情況,針對這種情況的修復就需要修復算法具有一定的魯棒性才能使結果保持一致。修復結果顯示我們的算法針對邊緣出現(xiàn)些許變化的待修復圖像都能很好的修復,并保持修復結果一致,這體現(xiàn)了本算法的實際應用性。
如圖9所示,為本發(fā)明針對結構明顯圖像的修復,圖中臺階被修復完整,體現(xiàn)了本算法在結構傳播方面的能力。
如圖10所示,顯示了本發(fā)明中的篩選過程,圖中藍色、白色和紅色的十字標志代表第一次篩選過后的候選塊,第二次篩選吧藍色的過濾掉,第三次篩選把白色的過濾掉,最后剩下紅色標志的候選塊,就是最佳候選塊。