專利名稱：面向近重復(fù)圖像匹配的sift特征裁減方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是涉及一種面向近重復(fù)圖像匹配的SIFT特 征裁減方法。
背景技術(shù)：
近重復(fù)圖像匹配是存在于圖像版權(quán)監(jiān)控、圖像檢索等多個(gè)應(yīng)用領(lǐng)域的重要問題。 不同的領(lǐng)域?qū)τ诮貜?fù)圖像的定義有所不同。本專利針對(duì)的近重復(fù)圖像由源圖像經(jīng)過旋 轉(zhuǎn)、縮放、剪切、亮度和對(duì)比度變化、色彩調(diào)整等生成。隨著各種圖像編輯工具的誕生，這也 成為互聯(lián)網(wǎng)上近重復(fù)圖像的主要來源。 近年來，SIFT技術(shù)在近重復(fù)圖像匹配領(lǐng)域取得了諸多成果，但仍存在著一些問題。 SIFT技術(shù)最早提出于對(duì)象識(shí)別領(lǐng)域，其特點(diǎn)是能夠?qū)θS視角變換、光照投影、甚至是物體 扭曲保持一定的不變性，這些特性正是對(duì)象識(shí)別所需要的。與對(duì)象識(shí)別相比，近重復(fù)圖像匹 配更注重于對(duì)旋轉(zhuǎn)、縮放、仿射變換、亮度和對(duì)比度變化等保持不變性，其難度相對(duì)要小得 多，往往圖像SIFT特征的子集就可以達(dá)到較高的匹配準(zhǔn)確度。另一方面，圖像的SIFT關(guān)鍵 點(diǎn)數(shù)目通常很大，且難以精確控制。如果關(guān)鍵點(diǎn)數(shù)目過大，不但計(jì)算關(guān)鍵點(diǎn)描述子的時(shí)間大 大增長，查詢的效率也會(huì)大大降低，難以保證系統(tǒng)的穩(wěn)定。因此，如何有效地控制關(guān)鍵點(diǎn)數(shù) 量，篩選最有效的關(guān)鍵點(diǎn)集，在不失匹配準(zhǔn)確度的同時(shí)改進(jìn)系統(tǒng)的性能，是一個(gè)亟待解決的 問題。 但是，在已往的圖像匹配研究中，往往忽略了關(guān)鍵點(diǎn)裁減的重要性，通常是根據(jù)經(jīng) 驗(yàn)，調(diào)整對(duì)比度下限和主曲率比上限閾值，粗略地控制關(guān)鍵點(diǎn)的數(shù)量和過濾不穩(wěn)定的關(guān)鍵 點(diǎn)；或者只是簡單地通過對(duì)關(guān)鍵點(diǎn)對(duì)比度的排序，獲得可控?cái)?shù)量相對(duì)有效的關(guān)鍵點(diǎn)。這些過 于簡單的處理，可能導(dǎo)致篩選出來的關(guān)鍵點(diǎn)匹配能力不強(qiáng)，對(duì)系統(tǒng)的準(zhǔn)確度造成不必要的 損失。
發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種面向近重復(fù)圖像匹配的SIFT特征裁減方法，通過對(duì) SIFT關(guān)鍵點(diǎn)的對(duì)比度和主曲率比加權(quán)來衡量其匹配能力，從而實(shí)現(xiàn)裁減，可以有效地解決 背景中存在的問題。 本發(fā)明解決其技術(shù)問題采用的技術(shù)方案是 1)對(duì)圖像庫中每一幅圖像進(jìn)行高斯核巻積處理，使用高斯差分算子在得到的圖像 多尺度空間檢測極值點(diǎn)，稱為關(guān)鍵點(diǎn)； 2)對(duì)圖像提取的關(guān)鍵點(diǎn)對(duì)比度和關(guān)鍵點(diǎn)主曲率比分別進(jìn)行高斯歸一化； 3)采用高斯歸一化后的對(duì)比度和主曲率比的線性加權(quán)來衡量關(guān)鍵點(diǎn)的匹配能力，
稱為顯著度； 4)對(duì)步驟3)得到的關(guān)鍵點(diǎn)集合按照關(guān)鍵點(diǎn)的顯著度從小到大排序，選取用戶指 定數(shù)目的關(guān)鍵點(diǎn)，實(shí)現(xiàn)裁減；
5)對(duì)步驟4)裁減后的關(guān)鍵點(diǎn)，根據(jù)其位置、尺度和方向信息生成描述子，得到SIFT特征； 6)對(duì)圖像庫所有圖像提取的經(jīng)過裁減的所有SIFT特征集合使用局部敏感哈希技術(shù)建立圖像庫索引，提供近重復(fù)圖像匹配查詢功能。 所述步驟l)中關(guān)鍵點(diǎn)表示圖像的局部特征，一幅圖像包含多個(gè)關(guān)鍵點(diǎn)。 所述步驟2)中選用的高斯歸一化方法保證歸一化后的數(shù)列元素的取值范圍為，該歸一化公式為: 其中&為某個(gè)關(guān)鍵點(diǎn)的主曲率比，^為&歸一化后的值，R為所有Ri的均值，Ci為某個(gè)關(guān)鍵點(diǎn)的對(duì)比度，6,為&歸一化后的值，C為所有&的均值。 所述步驟3)中的顯著度，記為Sig(Xi)，其值越小表示關(guān)鍵點(diǎn)的匹配能力越強(qiáng)，其計(jì)算公式為 &'g(x,) = x<f;'+(i- )xi, 其中加權(quán)系數(shù)a G
，表示《的權(quán)重。 所述步驟5)根據(jù)關(guān)鍵點(diǎn)所在圖像局部區(qū)域生成描述子，每個(gè)SIFT特征是一個(gè)128維向量。 所述步驟6)中的索引建立步驟如下 1)以SIFT特征為單位建立LSH索弓| ，并存儲(chǔ)在磁盤中； 2)根據(jù)圖像和SIFT特征的關(guān)系，建立從SIFT特征到圖像的倒排索引。 步驟6)中的近重復(fù)圖像匹配查詢功能步驟如下 1)使用SIFT特征裁減算法提取用戶輸入圖像的SIFT特征； 2)通過LSH索引查詢與輸入圖像每個(gè)SIFT特征相近的SIFT特征集，并把它們合并； 3)根據(jù)倒排索引，找出步驟2)結(jié)果集中SIFT特征所對(duì)應(yīng)的圖像，從而得到一組圖像； 4)過濾結(jié)果圖像中，與用戶輸入圖像匹配的SIFT特征數(shù)目小于指定閾值的圖像； 5)對(duì)步驟4)的過濾結(jié)果，使用隨機(jī)抽樣一致算法進(jìn)行進(jìn)一步的驗(yàn)證。 本發(fā)明具有的有益效果是 充分利用了圖像局部特征技術(shù)和局部敏感哈希技術(shù)的現(xiàn)有研究和實(shí)現(xiàn)成果，可以方便快捷的提供近重復(fù)圖像查詢能力，使用者根據(jù)應(yīng)用需求調(diào)整裁減算法的加權(quán)系數(shù)和
c;一c'SIFT特征數(shù)目上限閾值，以提供最好的性能。
附圖是基于SIFT特征裁減方法的近重復(fù)圖像匹配系統(tǒng)工作原理示意圖。
具體實(shí)施例方式
下面現(xiàn)結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步說明。
如附圖所示，本發(fā)明具體實(shí)施過程和工作原理如下 1)對(duì)圖像庫中每一幅圖像進(jìn)行高斯核巻積處理，使用高斯差分算子在得到的圖像多尺度空間檢測極值點(diǎn)，稱為關(guān)鍵點(diǎn)； 2)對(duì)圖像提取的關(guān)鍵點(diǎn)對(duì)比度和關(guān)鍵點(diǎn)主曲率比分別進(jìn)行高斯歸一化； 3)采用高斯歸一化后的對(duì)比度和主曲率比的線性加權(quán)來衡量關(guān)鍵點(diǎn)的匹配能力，
稱為顯著度； 4)對(duì)步驟3)得到的關(guān)鍵點(diǎn)集合按照關(guān)鍵點(diǎn)的顯著度從小到大排序，選取用戶指定數(shù)目的關(guān)鍵點(diǎn)，實(shí)現(xiàn)裁減； 5)對(duì)步驟4)裁減后的關(guān)鍵點(diǎn)，根據(jù)其位置、尺度和方向信息生成描述子，得到SIFT特征； 6)對(duì)圖像庫所有圖像提取的經(jīng)過裁減的所有SIFT特征集合使用局部敏感哈希技術(shù)建立圖像庫索引，提供近重復(fù)圖像匹配查詢功能。 步驟l)中關(guān)鍵點(diǎn)表示圖像的局部特征，一幅圖像包含多個(gè)關(guān)鍵點(diǎn)。
在具體實(shí)施中，高斯巻積方法為 一幅輸入圖像，記為I(x， y)，在不同尺度下的尺度空間表示，記為L(x， y， o)，可
通過高斯核巻積得到，即 "x， y， o ) = G(x， y， o )W (x， y) 其中二維高斯函數(shù)G(x， y， o )定義如下 G(x,乂CT)-^ye—"2"2〉'2。2 其中(x，y)表示圖像的像素位置，o為尺度空間因子，也是高斯正態(tài)分布的方差。
步驟2)中選用的高斯歸一化方法可以保證歸一化后的數(shù)列元素的取值范圍為[O，l]，該歸一化公式為:<formula>formula see original document page 6</formula>
其中&為某個(gè)關(guān)鍵點(diǎn)的主曲率比，為為&歸一化后的值，R為所有Ri的均值，Ci為某個(gè)關(guān)鍵點(diǎn)的對(duì)比度，《為&歸一化后的值，c為所有&的均值。 步驟3)中的顯著度，記為Sig (Xi)，其值越小表示關(guān)鍵點(diǎn)的匹配能力越強(qiáng)，其計(jì)算公式為 S/g(JT,卜axd; + (1-or)", 其中加權(quán)系數(shù)a G [O，l]，表示d;.的權(quán)重。 在具體實(shí)施中，a = 0. 6通常能取得最優(yōu)效果。 步驟5)根據(jù)關(guān)鍵點(diǎn)所在圖像局部區(qū)域生成描述子，每個(gè)SIFT特征是一個(gè)128維向量。 在具體實(shí)施中，可以采用原始SIFT關(guān)鍵點(diǎn)描述子，如 將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的方向，以確保旋轉(zhuǎn)不變性；對(duì)每個(gè)關(guān)鍵點(diǎn)使用4X4共16個(gè)種子點(diǎn)來描述，這樣對(duì)于一個(gè)關(guān)鍵點(diǎn)就可以產(chǎn)生128個(gè)數(shù)據(jù)，即最終形成128維的SIFT特征向量；此時(shí)SIFT特征向量已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影B向，再繼續(xù)
將特征向量的長度歸一化，則可以進(jìn)一步去除光照變化的影響。 步驟6)中的圖像索引建立步驟如下 1)以SIFT特征為單位建立LSH索引，并存儲(chǔ)在磁盤中； 2)根據(jù)圖像和SIFT特征的關(guān)系，建立從SIFT特征到圖像的倒排索引。 在具體實(shí)施中，根據(jù)應(yīng)用需求可以選擇不同的LSH技術(shù)實(shí)現(xiàn) 1)若應(yīng)用要求高的準(zhǔn)確度，可選擇E2LSH ; 2)若應(yīng)用要求低存儲(chǔ)空間和低內(nèi)存消耗，可選擇MP-LSH。 步驟6)中的近重復(fù)圖像匹配查詢步驟如下 1)使用SIFT特征裁減算法提取用戶輸入圖像的SIFT特征； 2)通過LSH索引查詢與輸入圖像每個(gè)SIFT特征相近的SIFT特征集，并把它們合并； 3)根據(jù)倒排索引，找出步驟2)結(jié)果集中SIFT特征所對(duì)應(yīng)的圖像，從而得到一組圖像； 4)過濾結(jié)果圖像中，與用戶輸入圖像匹配的SIFT特征數(shù)目小于指定閾值的圖像； 5)對(duì)步驟4)的過濾結(jié)果，使用隨機(jī)抽樣一致算法進(jìn)行進(jìn)一步的驗(yàn)證。
權(quán)利要求
一種面向近重復(fù)圖像匹配的SIFT特征裁減方法，其特征在于該方法的步驟如下1)對(duì)圖像庫中每一幅圖像進(jìn)行高斯核卷積處理，使用高斯差分算子在得到的圖像多尺度空間檢測極值點(diǎn)，稱為關(guān)鍵點(diǎn)；2)對(duì)圖像提取的關(guān)鍵點(diǎn)對(duì)比度和關(guān)鍵點(diǎn)主曲率比分別進(jìn)行高斯歸一化；3)采用高斯歸一化后的對(duì)比度和主曲率比的線性加權(quán)來衡量關(guān)鍵點(diǎn)的匹配能力，稱為顯著度；4)對(duì)步驟3)得到的關(guān)鍵點(diǎn)集合按照關(guān)鍵點(diǎn)的顯著度從小到大排序，選取用戶指定數(shù)目的關(guān)鍵點(diǎn)，實(shí)現(xiàn)裁減；5)對(duì)步驟4)裁減后的關(guān)鍵點(diǎn)，根據(jù)其位置、尺度和方向信息生成描述子，得到SIFT特征；6)對(duì)圖像庫所有圖像提取的經(jīng)過裁減的所有SIFT特征集合使用局部敏感哈希技術(shù)建立圖像庫索引，提供近重復(fù)圖像匹配查詢功能。
2. 根據(jù)權(quán)利要求1所述的一種面向近重復(fù)圖像匹配的SIFT特征裁減方法，其特征在 于所述步驟1)中關(guān)鍵點(diǎn)表示圖像的局部特征，一幅圖像包含多個(gè)關(guān)鍵點(diǎn)。
3. 根據(jù)權(quán)利要求1所述的一種面向近重復(fù)圖像匹配的SIFT特征裁減方法，其特征在 于所述步驟2)中選用的高斯歸一化方法保證歸一化后的數(shù)列元素的取值范圍為[O，l]， 該歸一化公式為其中&為某個(gè)關(guān)鍵點(diǎn)的主曲率比，^為&歸一化后的值，R為所有&的均值，Ci為某個(gè) 關(guān)鍵點(diǎn)的對(duì)比度，(^為&歸一化后的值，C為所有&的均值。
4. 根據(jù)權(quán)利要求1所述的一種面向近重復(fù)圖像匹配的SIFT特征裁減方法，其特征在 于所述步驟3)中的顯著度，記為Sig(Xi)，其值越小表示關(guān)鍵點(diǎn)的匹配能力越強(qiáng)，其計(jì)算公式為<formula>formula see original document page 2</formula>其中加權(quán)系數(shù)a e
，表示《.的權(quán)重。
5. 根據(jù)權(quán)利要求1所述的一種面向近重復(fù)圖像匹配的SIFT特征裁減方法，其特征在 于所述步驟5)根據(jù)關(guān)鍵點(diǎn)所在圖像局部區(qū)域生成描述子，每個(gè)SIFT特征是一個(gè)128維向
6. 根據(jù)權(quán)利要求1所述的一種面向近重復(fù)圖像匹配的SIFT特征裁減方法，其特征在 于所述步驟6)中的索引建立步驟如下c;一c'1) 以SIFT特征為單位建立LSH索引，并存儲(chǔ)在磁盤中；2) 根據(jù)圖像和SIFT特征的關(guān)系，建立從SIFT特征到圖像的倒排索引。
7.根據(jù)權(quán)利要求l所述的一種面向近重復(fù)圖像匹配的SIFT特征裁減方法，其特征在于所述步驟6)中的近重復(fù)圖像匹配查詢功能步驟如下1) 使用SIFT特征裁減算法提取用戶輸入圖像的SIFT特征；2) 通過LSH索引查詢與輸入圖像每個(gè)SIFT特征相近的SIFT特征集，并把它們合并；3) 根據(jù)倒排索引，找出步驟2)結(jié)果集中SIFT特征所對(duì)應(yīng)的圖像，從而得到一組圖像；4) 過濾結(jié)果圖像中，與用戶輸入圖像匹配的SIFT特征數(shù)目小于指定閾值的圖像；5) 對(duì)步驟4)的過濾結(jié)果，使用隨機(jī)抽樣一致算法進(jìn)行進(jìn)一步的驗(yàn)證。
全文摘要
本發(fā)明公開了一種面向近重復(fù)圖像匹配的SIFT特征裁減方法。對(duì)圖像庫中每一幅圖像進(jìn)行高斯核卷積處理，得到圖像關(guān)鍵點(diǎn)；對(duì)關(guān)鍵點(diǎn)對(duì)比度和關(guān)鍵點(diǎn)主曲率比分別進(jìn)行高斯歸一化，并進(jìn)行線性加權(quán)得到顯著度；按照關(guān)鍵點(diǎn)的顯著度從小到大排序，選取用戶指定數(shù)目的關(guān)鍵點(diǎn)，實(shí)現(xiàn)裁減；對(duì)裁減后的關(guān)鍵點(diǎn)，根據(jù)其位置、尺度和方向信息生成描述子，得到SIFT特征；對(duì)所有SIFT特征集合使用局部敏感哈希技術(shù)建立圖像庫索引，提供近重復(fù)圖像匹配查詢功能。利用了圖像局部特征技術(shù)和局部敏感哈希技術(shù)的研究和實(shí)現(xiàn)成果，可以方便快捷的提供近重復(fù)圖像查詢能力，使用者根據(jù)應(yīng)用需求調(diào)整裁減算法的加權(quán)系數(shù)和SIFT特征數(shù)目上限閾值，以提供最好的性能。
文檔編號(hào)G06F17/30GK101697232SQ200910152880
公開日2010年4月21日 申請(qǐng)日期2009年9月18日 優(yōu)先權(quán)日2009年9月18日
發(fā)明者壽黎但, 王金德, 胡天磊, 陳剛, 陳珂 申請(qǐng)人:浙江大學(xué);