專利名稱：對搜索圖像的過濾方法
技術領域：
本發(fā)明涉及的是一種圖像處理技術領域的方法，具體是一種對搜索圖像的過濾方法。

背景技術：
網(wǎng)頁圖像搜索引擎是因特網(wǎng)上非常有用的搜索工具，然而這些搜索引擎返回的結果往往不能滿足用戶的需要。當在Google或Yahoo圖像搜索引擎中輸入需查詢的關鍵詞時，通常只有少部分返回的結果能讓用戶滿意，有的甚至與查詢的關鍵詞毫無關系。因為這些搜索引擎通過分析網(wǎng)頁上圖像附近的文字、圖像標題以及許多其它元素來確定圖像的內容，而不是直接由圖片本身的視覺內容信息來得到檢索的結果。其返回的結果是基于文本信息不是基于圖像本身，這就降低了用戶對檢索結果的滿意度，畢竟用戶需要的結果是圖像而不是文字。既然涉及的是用戶對圖像結果的需求，必將考慮人眼的視覺特性，使得到的搜索結果在視覺上更讓用戶滿意。
經(jīng)對現(xiàn)有技術文獻的檢索發(fā)現(xiàn)，Lin等人在International Conference on WebIntelligence，pp.242-248，Oct.2003(網(wǎng)頁智能國際會議，242-248頁，2003年10月)上發(fā)表的文章“Web image retrieval re-ranking with relevance model(基于相關模型的網(wǎng)頁圖像檢索重排序)”中提出的方法是基于圖像所在網(wǎng)頁的文本內容來對搜索結果的內容進行重排序。該方法與Google或Yahoo圖像搜索引擎原理相似之處都只是利用了相關網(wǎng)頁的文本信息，而沒有考慮圖像本身的視覺內容信息，且沒有考慮將質量差、分辨率低的圖像濾除。
又經(jīng)檢索發(fā)現(xiàn)，F(xiàn)ergus等人在European Conference on Computer Vision，pp.242256，May.2004(歐洲計算機視覺會議，242-256頁，2004年5月)上發(fā)表的文章“A visual categoryfilter for Google images(一種對Google圖像的視覺類過濾器)”中提出的方法是對Google圖像搜索引擎返回的結果進行過濾。雖然該方法考慮了圖像的視覺內容信息，但針對每個查詢的關鍵詞，都需要訓練相對應的一個模型，計算代價巨大，不適合網(wǎng)絡規(guī)模的應用。此外，該方法也沒有從人眼的視覺特性出發(fā)來對圖像進行過濾，沒有將質量差、分辨率低的圖像濾除。


發(fā)明內容
本發(fā)明針對現(xiàn)有技術存在的上述不足，提出一種對搜索圖像的過濾方法。本發(fā)明不僅考慮了圖像的視覺內容信息，提高了對網(wǎng)頁圖像搜索結果過濾的性能，同時考慮了人眼的視覺特性，能有效去除質量較差、含有噪聲、分辨率較低的圖像，保留了清晰、顯著的圖像；此外，本發(fā)明計算復雜度低、通用性強，無需針對每個查詢關鍵詞都訓練相應的模型。
本發(fā)明是通過以下技術方案實現(xiàn)的，本發(fā)明包括以下步驟 第一步，對搜索得到的每張原始圖像進行多尺度處理，使每張原始圖像成為若干張預處理圖像。
所述的多尺度處理采用高斯金字塔方法，具體是 其中w(m，n)為高斯核函數(shù)，M和N為圖像的高和寬的像素值，k≥1，I0(x，y)為原始圖像中(x，y)點的像素值，Ik(x，y)為第k層金字塔圖像中(x，y)點的像素值。
第二步，對每張預處理圖像分別進行顏色特征提取、形狀特征提取、紋理特征提取和GIST特征提取處理，得到每張預處理圖像的顏色特征、形狀特征、紋理特征和GIST特征。
所述的顏色特征提取，具體是將每張預處理圖像劃分成n1×n1的網(wǎng)格，得到L*a*b*空間下每個網(wǎng)格的三個顏色通道下的三個矩，即得到9n12維特征向量。
所述的形狀特征提取，具體是利用Canny算子檢測圖像的邊緣，再利用Sobel算子得到圖像邊緣的方向，在整個空間范圍內以n2度為間隔進行量化，進行直方圖統(tǒng)計，生成

維的向量，此外引入一維非邊緣像素的數(shù)目，共得到

維的邊緣方向直方圖。
所述的紋理特征是局部二值模式(LBP)特征。
所述的GIST特征提取，具體是將每張預處理圖像分為n3×n3的網(wǎng)格，分別將每個網(wǎng)格分解到亮度、顏色和方向三個特征通道上，將亮度和顏色特征通道進行n4層金字塔表示，通過中心-邊緣操作生成每個特征通道上的n5個特征圖；方向通道對亮度金字塔的n6層進行Gabor濾波得到方向金字塔，n7個方向子通道共有n6×n7個特征圖，最后將每個網(wǎng)格的特征進行特征融合，得到每張預處理圖像的GIST特征。
第三步，收集若干圖像建立訓練圖像數(shù)據(jù)庫，對訓練圖像數(shù)據(jù)庫中每張訓練圖像分別進行多尺度處理、顏色特征提取、形狀特征提取、紋理特征提取和GIST特征提取處理，進而對每個訓練圖像的每個尺度下的顏色特征、形狀特征、紋理特征和GIST特征分別進行模型訓練處理，得到若干個訓練模型。
所述的建立訓練圖像數(shù)據(jù)庫，具體是通過網(wǎng)絡下載若干張圖像，由人工從中選擇S張正樣本圖像和S張負樣本圖像。
所述的正樣本圖像是顯著圖像；所述的負樣本圖像是非顯著圖像。
所述的模型訓練處理是采用SVM的方法實現(xiàn)的。
第四步，將每張原始圖像每個尺度下的顏色特征、形狀特征、紋理特征和GIST特征分別輸入到對應的訓練模型中，得到每張原始圖像的若干特征分值，并將每張原始圖像的所有特征分值進行特征分值后融合，得到每張原始圖像的融合特征分值。
所述的特征分值后融合是采用線性加權的方法使每張原始圖像的所有特征分值融合為一個融合特征分值，其中的線性加權系數(shù)是模型訓練處理中得到的訓練模型的準確率。
第五步，按照原始圖像融合特征分值從大到小的順序對原始圖像進行重新排列，并刪除融合特征分值小于閾值T的原始圖像。
所述的閾值T，具體是 其中a是原始圖像中最大的融合特征分值，b是原始圖像中最小的融合特征分值。
與現(xiàn)有技術相比，本發(fā)明的有益效果是不僅考慮了圖像的視覺內容信息，提高了對網(wǎng)頁圖像搜索結果過濾的性能，同時考慮了人眼的視覺特性，能有效去除質量較差、含有噪聲、分辨率較低的圖像，保留了清晰、顯著的圖像；此外，本發(fā)明計算復雜度低、通用性強，無需針對每個查詢關鍵詞都訓練相應的模型。



圖1是實施例的原始圖像； 圖2是實施例的過濾后的圖像。

具體實施例方式 下面結合附圖對本發(fā)明的實施例作詳細說明本實施例在以本發(fā)明技術方案為前提下進行實施，給出了詳細的實施方式和過程，但本發(fā)明的保護范圍不限于下述的實施例。
實施例 本實施例是在Google圖像搜索引擎中，輸入“airplane”返回的前15幅圖的結果如圖1所示，對這15幅圖像進行過濾的具體步驟如下 第一步，對搜索得到的每張原始圖像進行多尺度處理，使每張原始圖像成為若干張預處理圖像。
所述的多尺度處理采用高斯金字塔方法，具體是 其中w(m，n)為高斯核函數(shù)，M和N為圖像的高和寬的像素值，k≥1，I0(x，y)為原始圖像中(x，y)點的像素值，Ik(x，y)為第k層金字塔圖像中(x，y)點的像素值。
本實施例首先將每張原始圖像統(tǒng)一縮放到分辨率為512×512，然后采用高斯金字塔法下采樣兩級，由此得到每張原始圖像三個尺度大小的圖像，其分辨率分別為512×512、256×256、128×128。
第二步，對每張預處理圖像分別進行顏色特征提取、形狀特征提取、紋理特征提取和GIST特征提取處理，得到每張預處理圖像的顏色特征、形狀特征、紋理特征和GIST特征。
所述的顏色特征提取，具體是將每張預處理圖像劃分成n1×n1的網(wǎng)格，得到L*a*b*空間下每個網(wǎng)格的三個顏色通道下的三個矩，即得到9n12維特征向量。
所述的顏色通道下的三個矩可以非常方便和有效地來描述一幅圖的全局顏色分布，顏色特征計算簡單、性質穩(wěn)定，對于旋轉、平移、尺度變化都不敏感，從而具有較高的魯棒性，其具體是 其中μ為一階矩，σ為二階矩，s為三階矩，pi，j是圖像中位于坐標(i，j)處的像素的顏色分量值，M和N為圖像的高和寬的像素值。
本實施例中，顏色矩(CM)特征在L*a*b*空間下將圖像劃分成5×5的網(wǎng)格，對每個網(wǎng)格分別計算三個顏色通道下的三個矩，最后拼接成一個225維的特征向量。
所述的形狀特征提取，具體是利用Canny算子檢測圖像的邊緣，再利用Sobel算子得到圖像邊緣的方向，在整個空間范圍內以5°為間隔進行量化，進行直方圖統(tǒng)計，生成72維的向量，此外引入一維非邊緣像素的數(shù)目，共得到73維的邊緣方向直方圖，其具體是
其中H(i)是圖像中邊緣方向角度在(i-1)×5°與i×5°之間的像素的數(shù)量，H(73)則代表圖像中所有不位于邊緣處的像素的數(shù)量，Nedge是圖像中所有的邊緣像素的總數(shù)量，N總是圖像中的全部像素的數(shù)量。
所述的紋理特征是局部二值模式特征，本實施例中首先根據(jù)圖像中每個像素與其局部鄰域點在亮度上的二值序關系，然后對二值序關系進行編碼形成局部二值模式，最后采用多區(qū)域直方圖作為圖像的特征描述，即將圖像分為3*3＝9塊子圖像，每一塊子圖像用一個59維(58種均勻模式+1種非均勻模式)的直方圖描述，每一維代表一種表示邊緣或角點的特定二值序關系，最終提取9*59＝531維特征向量作為圖像的紋理特征。
所述的GIST特征提取，具體是將每張預處理圖像分為4×4的網(wǎng)格，分別將每個網(wǎng)格分解到亮度、顏色和方向三個特征通道上，亮度和顏色通道進行8層金字塔表示，對于亮度和顏色的每一個子通道，在2-5，2-6，3-6，3-7，4-7和4-8級之間進行中心邊緣操作，得到6個特征圖，亮度和顏色通道共3個子通道，即18個特征圖；方向通道對亮度金字塔的1～4層進行Gabor濾波得到方向金字塔，4個方向子通道共有16個特征圖，所有每個網(wǎng)格總的特征圖個數(shù)為1*6+2*6+4*4＝34維，每張預處理圖像GIST特征的維數(shù)是34*16＝544維。
第三步，收集若干圖像建立訓練圖像數(shù)據(jù)庫，對訓練圖像數(shù)據(jù)庫中每張訓練圖像分別進行多尺度處理、顏色特征提取、形狀特征提取、紋理特征提取和GIST特征提取處理，進而對每個訓練圖像的每個尺度下的顏色特征、形狀特征、紋理特征和GIST特征分別進行模型訓練處理，得到若干個訓練模型。
所述的建立訓練圖像數(shù)據(jù)庫，具體是從網(wǎng)絡中下載30000幅圖像，由人工從中選擇3000張正樣本(即顯著圖)和3000張負樣本(即非顯著圖)。
本步驟中的多尺度處理、顏色特征提取、形狀特征提取、紋理特征提取和GIST特征提取處理與第一步和第二步中的方法相同。
所述的模型訓練處理是采用SVM的方法實現(xiàn)的，本實施例共得到每張訓練圖像三個尺度下的各四種特征，即12組特征數(shù)據(jù)，所以訓練生成12個模型。
第四步，將每張原始圖像每個尺度下的顏色特征、形狀特征、紋理特征和GIST特征分別輸入到對應的訓練模型中，得到每張原始圖像的12個特征分值，并將每張原始圖像的所有特征分值進行特征分值后融合，得到每張原始圖像的融合特征分值。
所述的特征分值后融合是采用線性加權的方法使每張原始圖像的12特征分值融合為一個融合特征分值，其中的線性加權系數(shù)是模型訓練處理中得到的訓練模型的準確率。
第五步，按照原始圖像融合特征分值從大到小的順序對原始圖像進行重新排列，并刪除融合特征分值小于閾值T的原始圖像。
所述的閾值T，具體是 其中a是原始圖像中最大的融合特征分值，b是原始圖像中最小的融合特征分值。
本實施例對圖1所示的15幅圖像進行過濾后，得到的圖像如圖2所示，比較圖1和圖2可知，主體物體清晰顯著且前后背景對比強烈的圖像放在了過濾結果的前面，而質量較差、含有噪聲、分辨率較低的圖像，即不滿足搜索結果的圖像則排在了過濾結果的后面或者被刪除。
采用本實施例方法對通過互聯(lián)網(wǎng)圖像搜索引擎下載的20個語義概念的前200幅圖像進行了過濾處理，對得到的過濾結果中的前40幅圖像采用平均準確率指標(MAP)進行統(tǒng)計，其平均準確率高達68.4％，而采用現(xiàn)有方法得到的平均準確率僅為55.2％，其性能提高了23.9％。
權利要求
1.一種對搜索圖像的過濾方法，其特征在于，包括以下步驟
第一步，對搜索得到的每張原始圖像進行多尺度處理，使每張原始圖像成為若干張預處理圖像；
第二步，對每張預處理圖像分別進行顏色特征提取、形狀特征提取、紋理特征提取和GIST特征提取處理，得到每張預處理圖像的顏色特征、形狀特征、紋理特征和GIST特征；
第三步，收集若干圖像建立訓練圖像數(shù)據(jù)庫，對訓練圖像數(shù)據(jù)庫中每張訓練圖像分別進行多尺度處理、顏色特征提取、形狀特征提取、紋理特征提取和GIST特征提取處理，進而對每個訓練圖像的每個尺度下的顏色特征、形狀特征、紋理特征和GIST特征分別進行模型訓練處理，得到若干個訓練模型；
第四步，將每張原始圖像每個尺度下的顏色特征、形狀特征、紋理特征和GIST特征分別輸入到對應的訓練模型中，得到每張原始圖像的若干特征分值，并將每張原始圖像的所有特征分值進行特征分值后融合，得到每張原始圖像的融合特征分值；
第五步，按照原始圖像融合特征分值從大到小的順序對原始圖像進行重新排列，并刪除融合特征分值小于閾值T的原始圖像。
2.根據(jù)權利要求1所述的對搜索圖像的過濾方法，其特征是，所述的多尺度處理采用高斯金字塔方法，具體是
其中w(m，n)為高斯核函數(shù)，M和N為圖像的高和寬的像素值，k≥1，I0(x，y)為原始圖像中(x，y)點的像素值，Ik(x，y)為第k層金字塔圖像中(x，y)點的像素值。
3.根據(jù)權利要求1所述的對搜索圖像的過濾方法，其特征是，所述的顏色特征提取，具體是將每張預處理圖像劃分成n1×n1的網(wǎng)格，得到L*a*b*空間下每個網(wǎng)格的三個顏色通道下的三個矩，即得到9n12維特征向量。
4.根據(jù)權利要求1所述的對搜索圖像的過濾方法，其特征是，所述的形狀特征提取，具體是利用Canny算子檢測圖像的邊緣，再利用Sobel算子得到圖像邊緣的方向，在整個空間范圍內以n2度為間隔進行量化，進行直方圖統(tǒng)計，生成
維的向量，此外引入一維非邊緣像素的數(shù)目，共得到
維的邊緣方向直方圖。
5.根據(jù)權利要求1所述的對搜索圖像的過濾方法，其特征是，所述的紋理特征是局部二值模式特征。
6.根據(jù)權利要求1所述的對搜索圖像的過濾方法，其特征是，所述的GIST特征提取，具體是將每張預處理圖像分為n3×n3的網(wǎng)格，分別將每個網(wǎng)格分解到亮度、顏色和方向三個特征通道上，將亮度和顏色特征通道進行n4層金字塔表示，通過中心邊緣操作生成每個特征通道上的n5個特征圖；方向通道對亮度金字塔的n6層進行Gabor濾波得到方向金字塔，n7個方向子通道共有n6×n7個特征圖，最后將每個網(wǎng)格的特征進行特征融合，得到每張預處理圖像的GIST特征。
7.根據(jù)權利要求1所述的對搜索圖像的過濾方法，其特征是，所述的建立訓練圖像數(shù)據(jù)庫，具體是通過網(wǎng)絡下載若干張圖像，由人工從中選擇S張正樣本圖像和S張負樣本圖像。
8.根據(jù)權利要求1所述的對搜索圖像的過濾方法，其特征是，所述的模型訓練處理是采用SVM的方法實現(xiàn)的。
9.根據(jù)權利要求1所述的對搜索圖像的過濾方法，其特征是，所述的特征分值后融合是采用線性加權的方法使每張原始圖像的所有特征分值融合為一個融合特征分值，其中的線性加權系數(shù)是模型訓練處理中得到的訓練模型的準確率。
10.根據(jù)權利要求1所述的對搜索圖像的過濾方法，其特征是，所述的閾值T，具體是
其中a是原始圖像中最大的融合特征分值，b是原始圖像中最小的融合特征分值。
全文摘要
一種圖像處理技術領域的對搜索圖像的過濾方法，包括以下步驟對每張原始圖像進行多尺度處理；得到每張原始圖像在每個尺度下的顏色特征、形狀特征、紋理特征和GIST特征；收集若干圖像建立訓練圖像數(shù)據(jù)庫，對每個訓練圖像的每個尺度下的顏色特征、形狀特征、紋理特征和GIST特征分別進行模型訓練處理，得到若干個訓練模型；得到每張原始圖像的融合特征分值；按照原始圖像融合特征分值從大到小的順序對原始圖像進行重新排列，并刪除融合特征分值小于閾值T的原始圖像。本發(fā)明提高了對網(wǎng)頁圖像搜索結果過濾的性能，能有效去除質量較差、含有噪聲、分辨率較低的圖像，計算復雜度低、通用性強。
文檔編號G06F17/30GK101763440SQ20101013363
公開日2010年6月30日 申請日期2010年3月26日 優(yōu)先權日2010年3月26日
發(fā)明者張瑞, 楊小康, 黃 俊 申請人:上海交通大學