專利名稱：多特征融合的人臉圖像搜索方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多媒體信息檢索領(lǐng)域，具體涉及一種多特征融合的人臉圖像搜索方法和系統(tǒng)。
背景技術(shù)：
目前基于互聯(lián)網(wǎng)的人臉圖像搜索，大多采用基于文本關(guān)鍵字來進(jìn)行圖像檢索，如百度、谷歌的通用圖像搜索，用戶通過輸入人名等關(guān)鍵字來進(jìn)行搜索，然后通過用戶交互選擇得到感興趣的圖像。近期也有部分商用搜索引擎在其基于文本關(guān)鍵字的圖像搜索功能中用到了人臉圖像內(nèi)容信息以提供更精確的檢索結(jié)果。谷歌推出了一項(xiàng)只搜索人臉的圖像搜索功能，通過在文本搜索的結(jié)果中，加入一層人臉檢測，過濾掉非人臉圖片。而微軟推出的必應(yīng)搜索引擎中則通過相關(guān)性反饋，允許用戶在文本搜索的結(jié)果中，通過點(diǎn)擊感興趣的人臉圖像，返回內(nèi)容相似的人臉圖像。而當(dāng)前也有少量基于內(nèi)容的通用圖像檢索，如 Gazopa (http://www. gazopa. com/)，這些基于圖像內(nèi)容的檢索一般是采用基于區(qū)域的多特征提取方法，通過利用圖像分割算法將圖像分割成多個區(qū)域，然后針對每個區(qū)域提取顏色， 紋理以及形狀等多維特征，組成一串特征向量進(jìn)行相似度匹配以達(dá)到檢索的目的。然而，現(xiàn)有的技術(shù)中，無論基于通用的文本關(guān)鍵字，還是基于圖像內(nèi)容或者融合部分人臉檢測領(lǐng)域知識的人臉圖像搜索技術(shù)，都難以滿足用戶更高精確性的要求。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種多特征融合的人臉圖像搜索方法，其一方面綜合利用文本信息以及圖像內(nèi)容過濾掉非人臉圖像，保留規(guī)則的人臉圖像，另一方面使用空間金字塔方法進(jìn)行人臉特征的相似性比對，具有檢索精度高，可靠性高，效率快等特點(diǎn)。本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的一種多特征融合的人臉圖像搜索方法，包括以下步驟從互聯(lián)網(wǎng)上獲取圖像以及圖像周圍的文本信息，并將圖像和文本信息分別存入原始圖像庫以及文本庫；過濾掉原始圖像庫中非人臉圖像以及不規(guī)則的人臉圖像，保留規(guī)則的人臉圖像，并將人臉圖像存入人臉圖像庫；對人臉圖像庫中的人臉圖像提取底層特征；對底層特征降維并存入特征庫；對底層特征建立特征索引，并將特征索引存入特征索引文件；對文本庫中的文本信息建立文本索引，并將文本索引存入文本索引文件；接收用戶提交的文本和圖像；在文本索引文件中檢索文本，根據(jù)文本的檢索結(jié)果在特征索引文件中檢索圖像，并將圖像的檢索結(jié)果返回給用戶。過濾掉原始圖像庫中非人臉圖像以及不規(guī)則的人臉圖像，保留規(guī)則的人臉圖像， 并將人臉圖像存入人臉圖像庫包括以下子步驟采用基于文本的過濾方法，分析文本庫對應(yīng)的網(wǎng)頁內(nèi)容，對網(wǎng)頁內(nèi)容進(jìn)行相關(guān)性預(yù)測，以過濾掉與人臉相關(guān)性差的網(wǎng)頁；采用基于圖像內(nèi)容的過濾方法，用AdaBoost Cascade算法過濾非人臉圖像；采用基于規(guī)則的過濾方法，根據(jù)用戶的檢索需求過濾掉不規(guī)則的人臉圖像。
對人臉圖像庫中的人臉圖像提取底層特征包括以下子步驟采用線性插值歸一化的方法對人臉圖像進(jìn)行處理；采用Gabor過濾子對處理后的人臉圖像進(jìn)行多尺度多方向 Gabor小波變換，以提取人臉圖像的局部特征；采用局部二值模式(LBP)算子對Gabor變換后的人臉圖像進(jìn)行處理；將局部二值模式算子處理后的人臉圖像按照空間金字塔模型按層次分塊，單獨(dú)統(tǒng)計(jì)每一層次中每一塊的直方圖信息；將所有層次與分塊上的直方圖信息組合成底層特征。在文本索引文件中檢索文本，根據(jù)文本的檢索結(jié)果在特征索引文件中檢索圖像， 并將圖像的檢索結(jié)果返回給用戶包括以下子步驟對文本進(jìn)行分詞，并得到若干關(guān)鍵字； 根據(jù)關(guān)鍵字檢索文本索引，以得到與文本相關(guān)的候選圖像集合；提取圖像的特征向量；將特征向量與候選圖像集合中的圖像進(jìn)行相似度匹配，并返回匹配結(jié)果。本發(fā)明的另一目的在于提供一種多特征融合的人臉圖像搜索系統(tǒng)，其一方面綜合利用文本信息以及圖像內(nèi)容過濾掉非人臉圖像，保留規(guī)則的人臉圖像，另一方面使用空間金字塔方法進(jìn)行人臉特征的相似性比對，具有檢索精度高，可靠性高，效率快等特點(diǎn)。一種多特征融合的人臉圖像搜索系統(tǒng)，包括以下模塊數(shù)據(jù)獲取模塊、人臉圖像過濾模塊、特征提取模塊、索引模塊以及檢索模塊。數(shù)據(jù)獲取模塊用于從互聯(lián)網(wǎng)上獲取圖像以及圖像周圍的文本信息，并將圖像和文本信息分別存入原始圖像庫以及文本庫；人臉圖像過濾模塊用于過濾掉原始圖像庫中非人臉圖像以及不規(guī)則的人臉圖像，保留規(guī)則的人臉圖像，并將人臉圖像存入人臉圖像庫；特征提取模塊用于提取人臉圖像的底層特征；索引模塊用于對底層特征降維并存入特征庫，對底層特征建立特征索引，并將特征索引存入特征索引文件，對文本庫中的文本信息建立文本索引，并將文本索引存入文本索引文件；檢索模塊用于接收用戶提交的文本和圖像，在文本索引文件中檢索文本，根據(jù)文本的檢索結(jié)果在特征索引文件中檢索圖像，并將圖像的檢索結(jié)果返回給用戶。人臉圖像過濾模塊包括基于文本過濾子模塊、基于內(nèi)容過濾子模塊和基于規(guī)則過濾子模塊，基于文本過濾子模塊用于采用基于文本的過濾方法，分析文本庫對應(yīng)的網(wǎng)頁內(nèi)容，對網(wǎng)頁內(nèi)容進(jìn)行相關(guān)性預(yù)測，以過濾掉與人臉相關(guān)性差的網(wǎng)頁；基于內(nèi)容過濾子模塊用于采用基于圖像內(nèi)容的過濾方法，用AdaBoost Cascade算法過濾非人臉圖像；基于規(guī)則過濾子模塊用于采用基于規(guī)則的過濾方法，根據(jù)用戶的檢索需求過濾掉不規(guī)則的人臉圖像。特征提取模塊包括人臉歸一化子模塊、Gabor處理子模塊、LBP處理子模塊、分塊特征提取子模塊、特征合成子模塊，人臉歸一化子模塊用于采用線性插值歸一化的方法對人臉圖像進(jìn)行處理；Gabor處理子模塊用于采用Gabor過濾子對處理后的人臉圖像進(jìn)行多尺度多方向Gabor小波變換，以提取人臉圖像的局部特征；LBP處理子模塊用于采用局部二值模式(LBP)算子對Gabor變換后的人臉圖像進(jìn)行處理；分塊特征提取子模塊用于將局部二值模式算子處理后的人臉圖像按照空間金字塔模型按層次分塊，單獨(dú)統(tǒng)計(jì)每一層次中每一塊的直方圖信息；特征合成子模塊用于將所有層次與分塊上的直方圖信息組合成底層特征。索引模塊包括人臉特征降維子模塊、人臉特征索引子模塊和文本索引建立子模塊，人臉特征降維子模塊用于使用特征降維方法對維數(shù)較高的人臉特征進(jìn)行降維，得到較低維度的人臉特征；人臉特征索引子模塊用于使用特征聚類方法對人臉特征建立聚類索引；文本索引建立子模塊用于使用倒排索引技術(shù)建立文本關(guān)鍵字到相關(guān)圖像的索引。
檢索模塊包括文本分詞子模塊、文本檢索子模塊、特征提取子模塊以及圖像檢索子模塊，文本分詞模塊用于對文本進(jìn)行分詞，并得到若干關(guān)鍵字；文本檢索子模塊用于根據(jù)關(guān)鍵字檢索文本索引，以得到與文本相關(guān)的候選圖像集合；特征提取子模塊用于提取圖像的特征向量；圖像檢索子模塊用于將特征向量與候選圖像集合中的圖像進(jìn)行相似度匹配， 并返回匹配結(jié)果。本發(fā)明具有以下優(yōu)點(diǎn)及技術(shù)效果(1)更豐富的查詢功能。本發(fā)明不僅提供傳統(tǒng)的基于文本關(guān)鍵字的圖像檢索功能， 而且還允許用戶上傳人臉圖像以進(jìn)行基于視覺特征的垂直檢索，以及同時提交文本關(guān)鍵字與上傳圖像的融合檢索，從而大大的豐富了查詢功能。(2)搜索精度高。在基于互聯(lián)網(wǎng)的人臉圖像搜索系統(tǒng)中，針對人臉領(lǐng)域，一方面采用人臉圖像過濾算法過濾掉非人臉的圖像，另一方面采用更為精細(xì)準(zhǔn)確的人臉識別算法來提取人臉圖像特征向量，從而得到更為精確的搜索結(jié)果。


圖1是本發(fā)明多特征融合的人臉圖像搜索系統(tǒng)的示意框圖。圖2是本發(fā)明多特征融合的人臉圖像搜索方法的流程圖。圖3是本發(fā)明人臉圖像搜索方法中步驟O)的細(xì)化流程圖。圖4是本發(fā)明人臉圖像搜索方法中步驟(3)的細(xì)化流程圖。圖5是本發(fā)明人臉圖像搜索方法中步驟(8)的細(xì)化流程圖。
具體實(shí)施例方式首先對本發(fā)明中的技術(shù)術(shù)語進(jìn)行解釋和說明底層特征依據(jù)圖像像素間關(guān)系獲取的表征圖像語義的特征向量。降維將較高維數(shù)的向量使用數(shù)學(xué)方法降到較低的維數(shù)。URL:統(tǒng)一資源定位，在互聯(lián)網(wǎng)上，每一個對象(如網(wǎng)頁、圖像等)都有唯一的地址來標(biāo)識其在互聯(lián)網(wǎng)上的位置，通過該地址用戶可以訪問該對象，該地址稱作URL。Adaboost Cascade算法機(jī)器學(xué)習(xí)領(lǐng)域的分類算法，用于對數(shù)據(jù)分類?；舅枷胧峭ㄟ^若干個弱分類器加權(quán)得到一個強(qiáng)分類器。Gabor小波變換圖像處理領(lǐng)域的一個處理方法，實(shí)現(xiàn)空間域到頻域的變換。LBP算子局部二值模式，一種用來描述圖像局部紋理特征的算子。如圖2所示，本發(fā)明多特征融合的人臉圖像搜索方法包括以下步驟(1)從互聯(lián)網(wǎng)上獲取圖像以及圖像周圍的文本信息，并將圖像和文本信息分別存入原始圖像庫以及文本庫，具體實(shí)現(xiàn)方式如下利用爬蟲算法通過一定的網(wǎng)頁抓取策略，沿著初始站點(diǎn)出發(fā)向外發(fā)散，以輻射盡可能多的站點(diǎn)，在爬取的過程中，可以分為兩個單獨(dú)的過程。第一步，通過分析爬取站點(diǎn)中的URL信息，只是簡單的獲取并保存輻射站點(diǎn)中的URL信息；第二步，通過訪問上一步獲取的URL信息進(jìn)行頁面解析提取圖像以及文本信息，如環(huán)繞文本，標(biāo)題，URL地址，鏈接信息等一些可以被用來創(chuàng)建索引和圖像檢索的數(shù)據(jù)信息，并將原始圖像存放在原始圖像庫中，將相關(guān)文本信息存放在文本庫中；
(2)過濾掉原始圖像庫中非人臉圖像以及不規(guī)則的人臉圖像，保留規(guī)則的人臉圖像，并將人臉圖像存入人臉圖像庫，具體包括以下子步驟(見圖3)(2-1)采用基于文本的過濾方法，分析文本庫對應(yīng)的網(wǎng)頁內(nèi)容，對網(wǎng)頁內(nèi)容進(jìn)行相關(guān)性預(yù)測，以過濾掉與人臉相關(guān)性差的網(wǎng)頁；(2-2)采用基于圖像內(nèi)容的過濾方法，用AdaBoost Cascade算法過濾非人臉圖像；(2-3)采用基于規(guī)則的過濾方法，根據(jù)用戶的檢索需求過濾掉不規(guī)則的人臉圖像。(3)對人臉圖像庫中的人臉圖像提取底層特征，具體包括如下子步驟(見圖4)(3-1)采用線性插值歸一化的方法對人臉圖像進(jìn)行處理；(3-2)采用Gabor過濾子對處理后的人臉圖像進(jìn)行多尺度多方向Gabor小波變換， 以提取人臉圖像的局部特征，小波變換的公式如下
權(quán)利要求
1.一種多特征融合的人臉圖像搜索方法，其特征在于，包括以下步驟(1)從互聯(lián)網(wǎng)上獲取圖像以及圖像周圍的文本信息，并將所述圖像和所述文本信息分別存入原始圖像庫以及文本庫；(2)過濾掉所述原始圖像庫中非人臉圖像以及不規(guī)則的人臉圖像，保留規(guī)則的人臉圖像，并將所述人臉圖像存入人臉圖像庫；(3)對所述人臉圖像庫中的所述人臉圖像提取底層特征；(4)對所述底層特征降維并存入特征庫；(5)對所述底層特征建立特征索引，并將所述特征索引存入特征索引文件；(6)對所述文本庫中的文本信息建立文本索引，并將所述文本索引存入文本索引文件；(7)接收用戶提交的文本和圖像；(8)在所述文本索引文件中檢索所述文本，根據(jù)文本的檢索結(jié)果在所述特征索引文件中檢索所述圖像，并將圖像的檢索結(jié)果返回給所述用戶。
2.根據(jù)權(quán)利要求1所述的人臉圖像搜索方法，其特征在于，所述步驟( 包括如下子步驟(2-1)采用基于文本的過濾方法，分析所述文本庫對應(yīng)的網(wǎng)頁內(nèi)容，對所述網(wǎng)頁內(nèi)容進(jìn)行相關(guān)性預(yù)測，以過濾掉與人臉相關(guān)性差的網(wǎng)頁；(2-2)采用基于圖像內(nèi)容的過濾方法，用AdaBoost Cascade算法過濾所述非人臉圖像；(2-3)采用基于規(guī)則的過濾方法，根據(jù)所述用戶的檢索需求過濾掉所述不規(guī)則的人臉圖像。
3.根據(jù)權(quán)利要求1所述的人臉圖像搜索方法，其特征在于，所述步驟C3)是采用金字塔 LGBPHS算法，并包括以下子步驟(3-1)采用線性插值歸一化的方法對所述人臉圖像進(jìn)行處理； (3-2)采用Gabor過濾子對處理后的人臉圖像進(jìn)行多尺度多方向Gabor小波變換，以提取所述人臉圖像的局部特征，小波變換的公式如下W" “ II、- Γ^^Λ - )-exp(- j)]，其中ΨμΛζ)=~· [exP(汝JC Vσι2σD (Κ^Ψμk =Λ ν y JΚ^ψμ_ν+2ππφ^ = μ Z = (χ, y)，(χ, y)是像素坐標(biāo)，i是虛數(shù)單位，μ表示Gabor過濾子的的方向，ν表示其尺度，K表示總的方向數(shù)，σ決定過濾子窗口大小，(3-3)采用局部二值模式(LBP)算子對Gabor變換后的人臉圖像進(jìn)行處理；(3-4)將局部二值模式算子處理后的人臉圖像按照空間金字塔模型按層次分塊，單獨(dú)統(tǒng)計(jì)每一層次中每一塊的直方圖信息；(3-5)將所有層次與分塊上的直方圖信息組合成所述底層特征。
4.根據(jù)權(quán)利要求1所述的人臉圖像搜索方法，其特征在于，所述步驟(8)包括以下子步驟(8-1)對所述文本進(jìn)行分詞，并得到若干關(guān)鍵字；(8-2)根據(jù)所述關(guān)鍵字檢索所述文本索引，以得到與所述文本相關(guān)的候選圖像集合； (8-3)提取所述圖像的特征向量；(8-4)將所述特征向量與所述候選圖像集合中的圖像進(jìn)行相似度匹配，并返回匹配結(jié)^ ο
5.根據(jù)權(quán)利要求4所述的人臉圖像搜索方法，其特征在于，在所述子步驟(8-4)中，是采用如下公式計(jì)算兩幅圖像R1, R2的相似度S (R1, R2)
6.一種多特征融合的人臉圖像搜索系統(tǒng)，包括數(shù)據(jù)獲取模塊(1)，人臉圖像過濾模塊 O)、特征提取模塊(3)、索引模塊G)、檢索模塊(5)，其特征在于，所述數(shù)據(jù)獲取模塊(1)用于從互聯(lián)網(wǎng)上獲取圖像以及圖像周圍的文本信息，并將所述圖像和所述文本信息分別存入原始圖像庫以及文本庫；所述人臉圖像過濾模塊(2)用于過濾掉所述原始圖像庫中非人臉圖像以及不規(guī)則的人臉圖像，保留規(guī)則的人臉圖像，并將所述人臉圖像存入人臉圖像庫； 所述特征提取模塊C3)用于提取人臉圖像的底層特征；所述索引模塊(4)用于對所述底層特征降維并存入特征庫，對所述底層特征建立特征索引，并將所述特征索引存入特征索引文件，對所述文本庫中的文本信息建立文本索引，并將所述文本索引存入文本索引文件；所述檢索模塊( 用于接收用戶提交的文本和圖像，在所述文本索引文件中檢索所述文本，根據(jù)文本的檢索結(jié)果在所述特征索引文件中檢索所述圖像，并將圖像的檢索結(jié)果返回給所述用戶。
7.根據(jù)權(quán)利要求6所述的人臉圖像搜索系統(tǒng)，其特征在于，所述人臉圖像過濾模塊( 包括基于文本過濾子模塊(21)、基于內(nèi)容過濾子模塊02) 和基于規(guī)則過濾子模塊03)，所述基于文本過濾子模塊用于采用基于文本的過濾方法，分析所述文本庫對應(yīng)的網(wǎng)頁內(nèi)容，對所述網(wǎng)頁內(nèi)容進(jìn)行相關(guān)性預(yù)測，以過濾掉與人臉相關(guān)性差的網(wǎng)頁；所述基于內(nèi)容過濾子模塊0 用于采用基于圖像內(nèi)容的過濾方法，用AdaBoost Cascade算法過濾所述非人臉圖像；所述基于規(guī)則過濾子模塊03)用于采用基于規(guī)則的過濾方法，根據(jù)所述用戶的檢索需求過濾掉所述不規(guī)則的人臉圖像。
8.根據(jù)權(quán)利要求6所述的人臉圖像搜索系統(tǒng)，其特征在于，所述特征提取模塊C3)包括人臉歸一化子模塊(31)、Gabor處理子模塊(32)、LBP處理子模塊(33)、分塊特征提取子模塊(34)、特征合成子模塊(35)，所述人臉歸一化子模塊(31)用于采用線性插值歸一化的方法對所述人臉圖像進(jìn)行處理；所述Gabor處理子模塊(3 用于采用Gabor過濾子對處理后的人臉圖像進(jìn)行多尺度多方向Gabor小波變換，以提取所述人臉圖像的局部特征；所述LBP處理子模塊(3 用于采用局部二值模式(LBP)算子對Gabor變換后的人臉圖像進(jìn)行處理；所述分塊特征提取子模塊(34)用于將局部二值模式算子處理后的人臉圖像按照空間金字塔模型按層次分塊，單獨(dú)統(tǒng)計(jì)每一層次中每一塊的直方圖信息；所述特征合成子模塊(3 用于將所有層次與分塊上的直方圖信息組合成所述底層特征。
9.根據(jù)權(quán)利要求6所述的人臉圖像搜索系統(tǒng)，其特征在于，所述索引模塊(4)包括人臉特征降維子模塊Gl)、人臉特征索引子模塊0 和文本索引建立子模塊(43)；所述人臉特征降維子模塊Gl)用于使用特征降維方法對維數(shù)較高的人臉特征進(jìn)行降維，得到較低維度的人臉特征；所述人臉特征索引子模塊0 用于使用特征聚類方法對人臉特征建立聚類索引； 所述文本索引建立子模塊^幻用于使用倒排索引技術(shù)建立文本關(guān)鍵字到相關(guān)圖像的索引。
10.根據(jù)權(quán)利要求6所述的人臉圖像搜索系統(tǒng)，其特征在于，所述檢索模塊( 包括文本分詞子模塊(51)、文本檢索子模塊(52)、特征提取子模塊 (53)以及圖像檢索子模塊(54)，所述文本分詞模塊(51)用于對所述文本進(jìn)行分詞，并得到若干關(guān)鍵字； 所述文本檢索子模塊(5 用于根據(jù)所述關(guān)鍵字檢索所述文本索引，以得到與所述文本相關(guān)的候選圖像集合；所述特征提取子模塊(5 用于提取所述圖像的特征向量；所述圖像檢索子模塊(54)用于將所述特征向量與所述候選圖像集合中的圖像進(jìn)行相似度匹配，并返回匹配結(jié)果。
全文摘要
本發(fā)明公開了一種多特征融合的人臉圖像搜索方法，包括步驟從互聯(lián)網(wǎng)上獲取圖像以及圖像周圍的文本信息，并將圖像和文本信息分別存入原始圖像庫以及文本庫；過濾掉原始圖像庫中非人臉圖像以及不規(guī)則的人臉圖像，保留規(guī)則的人臉圖像，并將人臉圖像存入人臉圖像庫；對人臉圖像庫中的人臉圖像提取底層特征；對底層特征降維并存入特征庫；對底層特征建立特征索引，并將特征索引存入特征索引文件；對文本庫中的文本信息建立文本索引，并將文本索引存入文本索引文件；接收用戶提交的文本和圖像；在文本索引文件中檢索文本，根據(jù)文本的檢索結(jié)果在特征索引文件中檢索圖像，并將圖像的檢索結(jié)果返回給用戶。本發(fā)明具有檢索精度高，可靠性高，效率快的特點(diǎn)。
文檔編號G06K9/46GK102567483SQ20111043032
公開日2012年7月11日 申請日期2011年12月20日 優(yōu)先權(quán)日2011年12月20日
發(fā)明者文石磊, 章勤, 鄭然 , 郭明瑞, 金海 申請人:華中科技大學(xué)