專利名稱：一種基于顯著興趣點的圖像檢索方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于顯著興趣點的圖像檢索方法，屬于計算機視覺、圖像理解以及模式識別等領(lǐng)域。
背景技術(shù)：
自90年代以來，隨著計算機技術(shù)、多媒體技術(shù)以及網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，越來越多的圖像出現(xiàn)在人們的日常生活中。圖像數(shù)據(jù)的爆炸性增長使得對圖像的管理和檢索成為關(guān)鍵。目前，許多圖像檢索方法都使用形狀來描述圖像的特征。的確，形狀是表征物體的本質(zhì)特征之一，形狀特征是一種能夠表征圖像的有效特征。利用邊緣信息來描述圖像形狀信息，并且應(yīng)用提取出的圖像特征來進行圖像檢索。然而，形狀特征并不是內(nèi)容豐富的圖像的全部，很多情況下，形狀都會“失靈”，例如，如果用邊緣信息來描述一塊方磚和一本書，幾乎是無法區(qū)分它們的。因此，要進一步提高檢索的準(zhǔn)確率，必須將圖像的形狀信息與其它特征相結(jié)合，而如何很好地結(jié)合它們就成了關(guān)鍵。興趣點是一種重要的圖像視覺特征，它有著計算量小、信息含量高的特點。因此，它已經(jīng)在雙目匹配、三維解釋、運動估計、圖像匹配的許多領(lǐng)域得到了廣泛的應(yīng)用。興趣點在三維解釋、運動估計、圖像匹配、目標(biāo)識別等方面都有著很多的應(yīng)用，但是，在圖像檢索領(lǐng)域，應(yīng)用興趣點進行圖像檢索還沒有引起廣泛的注意，這方面的相關(guān)工作還不多見?；镜姆椒ㄊ呛唵蔚膶⑴d趣點的匹配算法直接移植到圖像檢索中，它首先利用Harris的檢測算子發(fā)現(xiàn)興趣點，然后在興趣點處計算出一組灰度差分不變量，基于這些灰度差分不變量生成特征矢量，在匹配時，還考慮到了一些局部幾何的限制條件。另外，也有研究人員提出采用了一種多尺度算法來提取興趣點，并采用金字塔形的結(jié)構(gòu)來進行匹配；還有一種把興趣點對距離和測度值分布的直方圖作為特征來代表圖像，進而進行檢索的方法。但是已有的方法并沒有太多的創(chuàng)新工作，只是把成熟的興趣點檢測算法和匹配算法直接照搬到圖像檢索中。由于，圖像檢索具有自身的特點，沒有如何將興趣點的優(yōu)勢與基于內(nèi)容圖像檢索應(yīng)用的特點和要求很好的結(jié)合的問題。所以，上述的方法由于沒有和圖像檢索的要求和特點合理地結(jié)合起來，使得這些方法的圖像檢索效率很低，難于進入實用。另外，由于興趣點的檢測對光照、遮擋、噪聲等都比較敏感，因此，興趣點的位置一般比較難確定。但傳統(tǒng)的興趣點匹配都需要幾何關(guān)系的限制，所以企圖直接移植傳統(tǒng)的興趣點檢測和匹配算法的圖像檢索方案往往不會成功。

發(fā)明內(nèi)容
為避免現(xiàn)有技術(shù)的缺陷，本發(fā)明提出了基于顯著興趣點的圖像檢索方法，集中在顯著邊緣上的興趣點，與一般的興趣點相比，顯著興趣點具有更高的信息量，而且更能代表圖像的特征。
本發(fā)明具有兩個明顯的優(yōu)點第一，對興趣點進行篩選，挑選出顯著的興趣點，它們包含更高的信息量，而且計算簡單；第二，在顯著興趣點周圍的局部區(qū)域內(nèi)提取顏色信息，將形狀信息和顏色特征結(jié)合起來，而且得到了局部的圖像特征，此特征能夠提高檢索的準(zhǔn)確率。
本發(fā)明的基本思想是興趣點盡管處于視覺重要區(qū)域，但對圖像檢索來說意義不大，人們真正感興趣的是被興趣點分開的物體。所以，不使用興趣點自身的信息來描述圖像，而是將興趣點作為一個線索，通過它們來找到用戶真正感興趣的部分，利用這些部分的特征來描述圖像、檢索圖像。
本發(fā)明的技術(shù)特征在于首先，對于待查詢圖像，進行自適應(yīng)平滑濾波器濾波，來增強圖像中的顯著邊緣，同時濾除噪聲；然后，使用興趣點檢測器來檢測顯著興趣點；接著，在每一個興趣點周圍選取一個小的區(qū)域，使用顏色聚類特征來形成特征矢量，描述圖像特征；最后，將待查詢圖像形成的圖像特征與圖像庫中的圖像進行圖像匹配。
由于一般的興趣點檢測方法只適用于灰度圖像，所以，在檢測興趣點前，先將原始的彩色圖像轉(zhuǎn)化為灰度圖像，而在后面提取顏色特征時，又使用原始的彩色圖像。
為提高自興趣點檢測穩(wěn)定和收斂，適應(yīng)平滑濾波器采用非線性濾波器。它通過反復(fù)地迭代，可以增強圖像中的顯著邊緣，同時抑止掉噪聲。對于興趣點檢測，自適應(yīng)平滑濾波器具有較強的收斂性和平穩(wěn)性。當(dāng)?shù)M行到一定程度，檢測出的興趣點趨向于穩(wěn)定和收斂，具有保持顯著邊緣的特點，能夠為后續(xù)的顯著興趣點提取提供很好的基礎(chǔ)。
興趣點檢測器是對經(jīng)過非線性濾波的圖像的每一象素計算每一象素的興趣點測度值，并對重疊的興趣點進行合并。計算每一象素的興趣點測度值K，當(dāng)測度值大于某一個閾值λ時，確定該點為興趣點。
興趣點檢測算子K計算如下K=IxxIy2+IyyIx2-2IxyIxIyIx2+Iy2]]>其中，I表示象素點的灰度值，Ix表示對I在x方向上求一次偏導(dǎo)，K是梯度幅值與梯度方向變化率之積。
另外，由于在每一個顯著興趣點的周圍取一個小鄰域，通過這些小鄰域中的象素來表征圖像特征。所以，對于距離很近的顯著興趣點，它們的小鄰域往往會發(fā)生重疊。因此，我們需要將發(fā)生重疊的興趣點進行合并。步驟為對顯著興趣點按照測度值進行由大到小排序，然后依次計算興趣點對之間的距離，如果距離小于閾值γ，則把測度值小的興趣點去掉，即為合并它們。得到最終的顯著興趣點集合。
顏色聚類特征來形成特征矢量首先，以每一個顯著興趣點為中心，在1×1大小的區(qū)域內(nèi)提取象素點；然后對提取出的所有象素點，用一個聚類算法來提取它們的聚類顏色直方圖，用此直方圖表征圖像，可以生成每一幅圖像的特征矢量，稱之為基于顯著興趣點的顏色特征，以進行后面的圖像匹配。
由于每一幅圖像，包括圖像庫中的一幅圖像，都使用基于顯著興趣點的顏色特征來描述，因此，圖像匹配是依據(jù)圖像間的相似性度量準(zhǔn)則，進行匹配時基于此特征矢量。首先進行置換變換，即將查詢圖像的顏色映射到圖像數(shù)據(jù)庫中的一幅圖像與之最相近的顏色上；然后計算對應(yīng)顏色類的距離，并構(gòu)成距離矩陣；計算復(fù)雜度。


圖1本發(fā)明方法的基本流程2使用本方法完成檢索例子
具體實施例方式現(xiàn)結(jié)合附圖對本發(fā)明作進一步描述用于實施的硬件環(huán)境是Pentium-4 1.7G計算機、512MB內(nèi)存，運行的軟件環(huán)境是VC++6.0和Windows 2000。我們用C++程序設(shè)計語言實現(xiàn)了本發(fā)明提出的方法，使用的圖像是從Corel Image Gallery*中抽取的7,000幅圖像，這些圖像分屬于70個圖像類，每一類有100幅圖像，圖像類包括“scene”、“tiger”、“model”、“horse”、“flower”、“building”等。
假設(shè)一個待查詢圖像Q，在圖像數(shù)據(jù)庫中檢索與Q相似的圖像I。
在本實施例中，待查詢圖像Q經(jīng)過迭代次數(shù)取為3次的非線性濾波后，得到增強圖像中的顯著邊緣。使用K=IxxIy2+IyyIx2-2IxyIxIyIx2+Iy2]]>計算每一象素(x、y)的興趣點測度值K(x、y)。其中，I表示象素點的灰度值，Ix表示對I在x方向上求一次偏導(dǎo)。當(dāng)測度值K(x、y)大于閾值λ＝100時，則該點被認為興趣點。合并重疊的興趣點，在小鄰域大小為5×5的區(qū)域內(nèi)，對顯著興趣點按照測度值進行由大到小排序，然后依次計算興趣點對之間的距離。如果距離小于γ＝10，則把測度值小的興趣點去掉。
對提取出的所有象素點，用一個聚類算法來提取它們的聚類顏色直方圖，Hi＝{(ri′.gi′.bi′.hi′).1≤i≤m}其中(ri.gi.bi).1≤i≤n表示顏色，hi，1≤i≤n表示對應(yīng)的點頻數(shù)，n表示所有的顏色數(shù)目，m表示顏色峰值序列個數(shù)。用此直方圖表征圖像，進行后序的圖像匹配。
表示Q的聚類顏色直方圖用HQ={CiQ·hiQ|i=1.2,....,m}]]>表示I的聚類顏色直方圖用HI={CjI·hjI|j=1,2.....,n}]]>m、n分別表示它們的顏色聚類數(shù)目，它們間的相似度用距離D(Q，I)來表示。由于圖像的聚類顏色數(shù)目一般不會相同，因此，它們的特征矢量的維數(shù)也會不同，為了計算距離，進行置換變換即將一幅圖像的顏色映射到另一幅圖像中與之最相近的顏色上。經(jīng)過置換變換后，圖像Q中的每一個顏色類都在圖像I中找到了對應(yīng)，則它們之間的距離可以通過下式來計算D(Q,I)=Σi=1min(m,n)wi(hiQ-hP(i)I)2+Σi=1min(m,n)cdis(CiQ·CP(i)I)]]>
其中 可知距離公式由兩部分構(gòu)成，其一是聚類顏色的象素點頻數(shù)，其二是聚類參考色之間的距離。注意第一部分的權(quán)值wi的選取，如果兩幅圖像的聚類顏色數(shù)目相同，則取wi=hiQ,]]>這種情況下考慮了顏色i在圖像中的比例；如果聚類顏色的數(shù)目不相同，則取wi＝1，加強了不相似的程度，給圖像差別一個增大的趨勢。如果兩幅圖像的聚類顏色相同且對應(yīng)類的象素點頻數(shù)相等，則第二部分的代表顏色之間的距離就成了主導(dǎo)因素，很明顯，如果Q與I完全相同，則D(Q，I)＝0。
我們以Corel數(shù)據(jù)庫中的7,000幅圖像為測試平臺，從70個圖像語義類中挑選10個類作測試，每一個圖像類中隨機挑選10幅圖像分別作為查詢圖像，和傳統(tǒng)方法的對比，我們發(fā)現(xiàn)本發(fā)明的方法對于圖像檢索來說很有效。
權(quán)利要求
1.一種基于顯著興趣點的圖像檢索方法，其特征在于首先，對于待查詢圖像，進行自適應(yīng)平滑濾波器濾波，來增強圖像中的顯著邊緣，同時濾除噪聲；然后，使用興趣點檢測器來檢測顯著興趣點；接著，在每一個興趣點周圍選取一個小的區(qū)域，使用顏色聚類特征來形成特征矢量，描述圖像特征；最后，將待查詢圖像形成的圖像特征與圖像庫中的圖像進行圖像匹配。
2.根據(jù)權(quán)利要求1所述的一種基于顯著興趣點的圖像檢索方法，其特征在于在檢測興趣點前，先將原始的彩色圖像轉(zhuǎn)化為灰度圖像。
3.根據(jù)權(quán)利要求1或2所述的一種基于顯著興趣點的圖像檢索方法，其特征在于平滑濾波器采用非線性濾波器。
4.根據(jù)權(quán)利要求1或2所述的一種基于顯著興趣點的圖像檢索方法，其特征在于對經(jīng)過非線性濾波的圖像的每一象素計算每一象素的興趣點測度值，并對重疊的興趣點進行合并；計算每一象素的興趣點測度值KK=IxxIy2+IyyIx2-2IxyIxIyIx2+Iy2]]>當(dāng)測度值大于某一個閾值λ時，確定該點為興趣點。
5.根據(jù)權(quán)利要求4所述的一種基于顯著興趣點的圖像檢索方法，其特征在于合并是對顯著興趣點按照測度值進行由大到小排序，然后依次計算興趣點對之間的距離，如果距離小于閾值γ，則把測度值小的興趣點去掉合并。
6.根據(jù)權(quán)利要求1或2所述的一種基于顯著興趣點的圖像檢索方法，其特征在于顏色聚類特征來形成特征矢量首先，以每一個顯著興趣點為中心，在l×l大小的區(qū)域內(nèi)提取象素點；然后對提取出的所有象素點，用一個聚類算法來提取它們的聚類顏色直方圖，用此直方圖表征圖像，生成每一幅圖像的特征矢量。
7.根據(jù)權(quán)利要求1或2所述的一種基于顯著興趣點的圖像檢索方法，其特征在于圖像匹配是依據(jù)圖像間的相似性度量準(zhǔn)則，進行匹配時基于此特征矢量。首先進行置換變換，即將查詢圖像的顏色映射到圖像數(shù)據(jù)庫圖中的一幅圖像與之最相近的顏色上；然后計算對應(yīng)顏色類的距離，并構(gòu)成距離矩陣；計算復(fù)雜度。
全文摘要
本發(fā)明涉及一種基于顯著興趣點的圖像檢索方法，其基本思想是不使用興趣點自身的信息來描述圖像，而是將興趣點作為一個線索，通過它們來找到用戶真正感興趣的部分，利用這些部分的特征來描述圖像、檢索圖像。其特征對于待查詢圖像，進行自適應(yīng)平滑濾波器濾波，來增強圖像中的顯著邊緣，同時濾除噪聲；然后，使用興趣點檢測器來檢測顯著興趣點；接著，在每一個興趣點周圍選取一個小的區(qū)域，使用顏色聚類特征來形成特征矢量，描述圖像特征；最后，將待查詢圖像形成的圖像特征與圖像庫中的圖像進行圖像匹配。具有兩個明顯的優(yōu)點計算簡單和能夠提高檢索的準(zhǔn)確率。
文檔編號G06F17/30GK1570969SQ0313442
公開日2005年1月26日 申請日期2003年7月23日 優(yōu)先權(quán)日2003年7月23日
發(fā)明者郭雷, 韓軍偉 申請人:西北工業(yè)大學(xué)