專利名稱：一種圖片查詢方法及系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及圖像處理技術領域，尤其涉及一種圖片查詢方法及系統(tǒng)。
背景技術：
隨著數(shù)碼相機、攝像頭等圖像采集設備的普及，圖片已經(jīng)和文字一樣成為人們生活中最重要的信息載體之一，但是，大量圖片的整理和查找，卻越來越成為人們的負擔，圖片的組織和查詢一直都是一個待解決的困難問題。
現(xiàn)有的圖片瀏覽軟件，只能支持諸如基于文件名稱的查詢、基于文件夾的圖片組織瀏覽等非智能功能，無法滿足人們對于快捷方便智能的需求。存在的少量基于圖片內(nèi)容的智能圖片管理軟件，往往對整幅圖片進行特征提取和匹配分類，由于沒有能區(qū)分重要區(qū)域和非重要的背景區(qū)域，因而精確度較差。
與此同時，模式識別和計算機視覺技術發(fā)展到今天，取得了很多成熟技術和應用成果。其中包括人臉檢測、人體檢測、表情識別、性別識別、人臉認證、物體匹配等在內(nèi)的技術都取得了很多成果，這些成果在各自領域中都取得了很多有價值的應用，為人們提供了很多智能快捷方便的產(chǎn)品。但是，這些高層次的圖像信息并沒有被應用在圖片組織和查詢系統(tǒng)中，傳統(tǒng)的采用圖像整體色彩、紋理、形狀、邊緣等信息來進行圖片匹配的系統(tǒng)，由于僅僅采用了圖像的低層次信息，無法精確描述圖片之間的相似程度，查找結果往往不能如人所愿。
人們生活中采集的圖片，尤其是所拍攝的照片，其中最為重要的主體就是人，圖片中最重要的區(qū)域就是人所在的區(qū)域，但是現(xiàn)有技術并沒有以人為主體進行圖片查詢。
綜上，現(xiàn)有技術圖片查詢操作繁瑣，查詢精確度低。

發(fā)明內(nèi)容
本發(fā)明提供一種圖片查詢方法及裝置，用以解決現(xiàn)有技術中存在圖片查詢操作繁瑣，查詢精確度低的問題。
本發(fā)明方法，通過對每張圖片的區(qū)域進行劃分提取每張圖片的特征參數(shù)，并保存所述每張圖片的特征參數(shù)，該方法包括以下步驟對輸入的特征參數(shù)與預先存儲的圖片的特征參數(shù)進行比較，輸出符合所述輸入的特征參數(shù)的圖片。
所述圖片的特征參數(shù)存儲在預先建立的索引表中；則，所述對輸入的特征參數(shù)與預先存儲的圖片的特征參數(shù)進行比較的步驟為對輸入的特征參數(shù)與存儲在預先建立的索引表中的圖片的特征參數(shù)進行比較。
所述圖片的特征參數(shù)為人臉檢測信息和/或人體檢測信息。
當所述輸入的特征參數(shù)包括一個以上的參數(shù)時，該方法包括獲得所述輸入的每個特征參數(shù)與所述預先存儲的圖片的特征參數(shù)的比較值；對每個所述比較值進行加權，獲得綜合比較值；輸出與所述綜合比較值相對應的圖片。
所述每張圖片的特征參數(shù)包括以下一種或多種參數(shù)每張圖片中包含的人的數(shù)目，每個人的表情、性別以及呈現(xiàn)部分。
當所述圖片包括人臉時，所述預先保存的圖片的特征參數(shù)還包括人臉識別特征參數(shù)，則該方法包括輸入包括人臉的圖片，提取該圖片的人臉識別特征參數(shù)，并將該特征參數(shù)與預先保存的圖片的人臉識別特征參數(shù)進行比較，輸出與所述輸入的圖片中的人臉相同和/或相似的圖片。
本發(fā)明裝置包括圖片查詢單元，用于預先通過對每張圖片的區(qū)域進行劃分提取每張圖片的特征參數(shù)，并保存所述每張圖片的特征參數(shù)，對輸入的特征參數(shù)與預先存儲的圖片的特征參數(shù)進行比較，輸出符合所述輸入的特征參數(shù)的圖片。
所述圖片查詢單元包括圖片檢測信息獲取單元，用于預先通過對每張圖片的區(qū)域進行劃分提取每張圖片的特征參數(shù)，并保存所述每張圖片的特征參數(shù)；查詢單元，用于對輸入的特征參數(shù)與預先存儲的圖片的特征參數(shù)進行比較，輸出符合所述輸入的特征參數(shù)的圖片。
所述查詢單元包括比較單元，用于對輸入的特征參數(shù)與預先存儲的圖片的特征參數(shù)進行比較；輸出單元，用于根據(jù)所述比較結果，輸出符合所述輸入的特征參數(shù)的圖片。
所述圖片查詢單元還包括索引表單元，用于根據(jù)所述圖片的特征參數(shù)，建立索引表；則，所述查詢單元，用于對輸入的特征參數(shù)與存儲在預先建立的所述索引表中的圖片的特征參數(shù)進行比較，輸出符合所述輸入的特征參數(shù)的圖片。
所述圖片的特征參數(shù)為人臉檢測信息和/或人體檢測信息。
當所述輸入的特征參數(shù)包括一個以上的參數(shù)時，所述比較單元包括獲得比較值單元，用于獲得所述輸入的每個特征參數(shù)與所述預先存儲的圖片的特征參數(shù)的比較值；加權單元，用于對每個所述比較值進行加權，獲得綜合比較值，將該綜合比較值發(fā)送給所述輸出單元；則，所述輸出單元用于輸出與所述綜合比較值相對應的圖片。
所述每張圖片的特征參數(shù)包括以下一種或多種參數(shù)每張圖片中包含的人的數(shù)目，每個人的表情、性別以及呈現(xiàn)部分。
當所述圖片包括人臉時，所述預先保存的圖片的特征參數(shù)還包括人臉識別特征參數(shù)，則，
所述圖片檢測信息獲取單元，還用于提取圖片的人臉識別特征參數(shù)；所述查詢單元，用于將所述人臉識別特征參數(shù)與預先保存的圖片的人臉識別特征參數(shù)進行比較，輸出與所述輸入的圖片中的人臉相同和/或相似的圖片。
本發(fā)明通過對每張圖片的區(qū)域進行劃分提取每張圖片的特征參數(shù)，并保存所述每張圖片的特征參數(shù)，對輸入的特征參數(shù)與預先存儲的圖片的特征參數(shù)進行比較，輸出符合所述輸入的特征參數(shù)的圖片的技術方案，提高了圖片查詢的精確度，簡化了圖片查詢操作。


圖1為本發(fā)明方法的流程示意圖；圖2為本發(fā)明方法實施例的流程示意圖；圖3為本發(fā)明方法實施例中層次型分類器的結構示意圖；圖4為本發(fā)明方法實施例中七組弱特征的示意圖；圖5為本發(fā)明方法實施例中表情識別處理的流程示意圖；圖6為本發(fā)明裝置實施例的結構示意圖。
具體實施例方式
本發(fā)明公開了一種圖片查詢方法及裝置，通過對每張圖片的區(qū)域進行劃分提取每張圖片的特征參數(shù)，并保存所述每張圖片的特征參數(shù)，對輸入的特征參數(shù)與預先存儲的圖片的特征參數(shù)進行比較，輸出符合所述輸入的特征參數(shù)的圖片的技術方案，提高了圖片查詢的精確度，簡化了圖片查詢操作。
參見圖1，本發(fā)明方法包括步驟S101、通過對每張圖片的區(qū)域進行劃分提取每張圖片的特征參數(shù)，并保存所述每張圖片的特征參數(shù)；S102、對輸入的特征參數(shù)與預先存儲的圖片的特征參數(shù)進行比較，輸出符合所述輸入的特征參數(shù)的圖片；
較佳地，所述圖片的特征參數(shù)存儲在預先建立的索引表中，所述對輸入的特征參數(shù)與預先存儲的圖片的特征參數(shù)進行比較的步驟為對輸入的特征參數(shù)與存儲在預先建立的索引表中的圖片的特征參數(shù)進行比較；較佳地，所述圖片的特征參數(shù)為人臉檢測信息和/或人體檢測信息；較佳地，當所述輸入的特征參數(shù)包括一個以上的參數(shù)時，步驟S102包括獲得所述輸入的每個特征參數(shù)與所述預先存儲的圖片的特征參數(shù)的比較值；對每個所述比較值進行加權，獲得綜合比較值；輸出與所述綜合比較值相對應的圖片；較佳地，所述每張圖片的特征參數(shù)包括以下一種或多種參數(shù)每張圖片中包含的人的數(shù)目，每個人的表情、性別以及呈現(xiàn)部分；較佳地，當所述圖片包括人臉時，所述預先保存的圖片的特征參數(shù)還包括人臉識別特征參數(shù)，則本發(fā)明方法包括輸入包括人臉的圖片，提取該圖片的人臉識別特征參數(shù)，并將該特征參數(shù)與預先保存的圖片的人臉識別特征參數(shù)進行比較，輸出與所述輸入的圖片中的人臉相同和/或相似的圖片。
本發(fā)明提供的實施例采用模式識別和計算機視覺領域的先進技術，拋棄傳統(tǒng)方法中對圖像整體進行顏色、紋理、形狀信息提取的方式，首先采用人臉檢測、人體檢測等方式獲取圖片中與人相關的區(qū)域作為匹配的重要區(qū)域，這樣就最大程度的降低了背景區(qū)域的干擾；然后，對于提取得到的人臉，采用表情識別、性別識別等技術進一步得到人的信息，而對于得到的人體，獲取人體區(qū)域的顏色、紋理、形狀等信息作為人體的特征，這些高層次信息為查詢提供了更多的可選匹配信息，從而能更精確的得到目標圖片，為了更好地衡量圖片之間的相似程度，本發(fā)明實施例采用人臉認證技術來確定不同人臉間的相似程度，采用物體匹配技術來確定人體之間的相似程度，并將二者結合在一起作為人所在區(qū)域的相似度，之后將這些人所在區(qū)域之間相似度作為圖片相似度的重要衡量指標，這樣，就避免了低層次信息無法精確描述圖片內(nèi)容相似度的缺陷，從而能得到更為精確的匹配結果；在提取得到圖片中人的相關信息之后，系統(tǒng)會自動為圖片和圖片中含有的人分別建立索引表圖片索引表中，每張圖片是一個索引項，人索引表中，每個人是一個索引項，而一個人的索引可能會含有人臉記錄、人體記錄中的一種或者兩種，兩個索引表中，圖片和圖片中的人存在對應關系，便于查找管理；在上述技術獲取得到的人臉、人體信息，和不同人之間的相似程度的基礎上，本發(fā)明實施例基于兩個索引表構建了一個查詢系統(tǒng)，該系統(tǒng)支持兩種查詢方式，第一種，以圖片為目標進行查詢，采用圖片中含有的人的數(shù)目、人的表情、性別以及是否含有人臉或人體來進行分類和查詢(如果引入其他技術獲取更多人的信息，也可以很容易添加到系統(tǒng)中作為查詢項)；第二種，以人臉/人體為查詢主體，對于索引中的人臉/人體，采用人臉認證或物體匹配技術獲取其與索引表中存在的所有其他人臉/人體的相似程度，并按照相似程度由大到小排列顯示，還支持由查詢結果的人臉/人體鏈接到對應的圖片，便于查找相同/相似的人的圖片。
那么，下面提供本發(fā)明方法的一個具體實施例，如圖2所示，包括步驟S201、對于待分類的所有圖片，進行人臉檢測、人體檢測，得到圖片中人的數(shù)目、大小、位置；將沒有檢測到人臉和人體的圖片分類為風景圖片；為了獲取圖片中人的相關信息，需要進行人臉檢測、人體檢測、表情識別、性別識別、人臉認證、物體匹配等技術，下面分別舉例說明各技術可以采用的實施方案；在本實施方案中，人臉檢測、人體檢測、性別識別都統(tǒng)一采用了一種基于層次型連續(xù)自適應加強法(Real-Adaboost，Real Adaptive boosting)的模式識別方法，該層次型Real-Adaboost算法的處理流程如下第一步，對于給定的已經(jīng)標定樣本的類別標號和對應的候選弱特征，采用Real-Adaboost弱特征構造選擇算法構造弱分類器；第二步，采用第一步中選擇構造的一系列弱分類器構造強分類器；第三步，采用多個第二步中訓練得到的強分類器構造層次型分類器；在每輪迭代中，對于弱分類器構造算法，采用區(qū)域分割弱分類器構造方法來構造弱分類器，并從中選取使得分類誤差上界最小的弱分類器作為本輪輸出，弱分類器構造選擇算法如下在分布Dt上，對于候選特征空間H中的每個特征構造其對應的弱分類器將樣本空間分為n個不同的區(qū)間X1，...，Xn，X1∪X2∪...∪Xn＝X且Xi∩i≠jXj=Φ;]]>在分布Dt上，計算Wlj=P(xi∈Xj,yi=l)=Σi:xi∈Xj^yi=lDt(i)]]>，其中l(wèi)＝±1；對于Xj中的每個x，設定其對應的弱分類器輸出為x∈Xj，h(x)=12ln(W+1j+ϵW-1j+ϵ);]]>其中，ε＜＜1/2N，引入ε是為了避免分母為零時引起的數(shù)字溢出；計算Z=2ΣjW+1jW-1j;]]>從構造的所有弱分類器中，選擇使得Z最小的h作為此輪最終選擇輸出的弱分類器，即ht=argminh∈HZ;]]>Real AdaBoost算法的強分類器訓練算法流程如下給定訓練集L＝{(xi，yi)}，i＝1，...，n，yi∈{+1，-1}是樣本標號，xi∈X是樣本特征；樣本的初始權重D1(i)=1n,i=1,...,n;]]>迭代次數(shù)t＝1，...，T在該輪分布Dt上，采用弱分類器構造選擇算法，獲取此輪最佳的弱分類器，得到htX→{+∝，-∝}；
更新樣本的權重Dt+1(i)=Dt(i)exp(-yiht(xi))Zt,]]>其中Zt=ΣiDt(i)exp(-yiht(xi))]]>是規(guī)一化因子；輸出最后的強分類器H(x)=sign(Σt=1Tht(x)-b);]]>如圖3所示為層次型分類器的結構示意圖，層次型分類器分為多層，每一層都是自適應加強法(AdaBoost)算法訓練得到的一個強分類器，最初，我們隨機選擇反樣本和所有正樣本采用步驟二中的強分類器訓練算法訓練得到一個強分類器作為層次型分類器的第一層，然后，我們采用層次型分類器對所有反樣本進行檢測，對于通過層次型分類器而成為誤檢的反樣本，我們重新采用他們與正樣本訓練得到一個新的強分類器作為層次型強分類器的下一層，并采用新的層次型分類器，對所有反樣本進行檢測，采用誤檢反樣本和正樣本訓練得到新的強分類器作為層次型分類器的下一層，直到誤檢反樣本比例達到要求，這樣，層次型分類器每一層都能讓幾乎全部正樣本通過，而拒絕很大一部分負樣本，靠近前面的各層，采用少量的特征卻拒絕了大部分的負樣本，靠近后面的各層，雖然采用大量的特征來排除干擾大的反樣本，但是由于需要處理的窗口數(shù)目很少，對于整體運算時間的耗費很小，就在保證分類效果的同時，提高了分類速度；此外，為了完成層次型Real-Adaboost算法，我們還必須設計弱分類器訓練中需要的弱特征，如圖4所示為七組弱特征示意圖，我們采用圖4所示的七組弱特征作為候選弱特征；層次型Real-Adaboost算法能很好的解決兩類分類問題，而人臉檢測、人體檢測、性別識別都屬于兩類分類問題，因而可以采用層次型Real-Adaboost算法進行分類判斷，對于人臉檢測，人臉和非人臉為需要區(qū)分的兩類，采用這兩類樣本訓練層次型Real-Adaboost就可以得到能夠從圖片中檢測到人臉所在位置和大小的檢測器，對于人體檢測，人體和非人體為需要區(qū)分的兩類，采用這兩類樣本訓練層次型Real-Adaboost就可以得到能自動從圖片中檢測到人體所在位置和大小的檢測器，而對于性別識別，男和女為需要區(qū)分的兩類，采用男人臉樣本和女人臉樣本訓練層次型Real-Adaboost，就可以得到能夠自動判定人臉性別的分類器；人臉表情識別的具體步驟如圖5所示，包括S501、采集人臉表情圖像；采集得到各種不同表情的人臉圖像作為訓練樣本；S502、人臉檢測和眼睛定位；采用人臉檢測算法和眼睛定位算法獲取人臉樣本雙眼位置；S503、根據(jù)雙眼位置割取歸一化后的人臉圖像；采用形狀和灰度歸一化的方法獲取人臉區(qū)域圖像；S504、人臉輪廓特征點定位；S505、采用主動形狀模型模型得到形狀歸一化后的人臉圖像；對于獲取的人臉區(qū)域圖像，采用主動形狀模型(ASM，Active shape models)器官輪廓特征點定位算法定位其輪廓特征點，并將輪廓特征點歸一化從而得到形狀無關的人臉圖像；S506、提取Gabor特征；提取形狀無關的圖像的Gabor特征；S507、利用Adaboost挑選特征，并采用支持向量機進行訓練；采用Adaboost算法挑選Gabor特征中表征能力強的特征；S508、識別模型；將挑選得到的特征采用支持向量機(SVM，support vector machine)分類器進行訓練得到表情識別模型；需要指出的是，該算法中為了識別不同表情，會分別訓練多個表情分類器，可以根據(jù)不同分類器的輸出為當前人臉指定的表情給出一個；下面介紹一下本實施例中人臉相似度的獲取算法；我們采用人臉認證算法來獲取人臉相似度，例如，可以采用基于主分量分析的方法來進行人臉認證；該算法步驟如下第一步，對于人臉檢測獲取的人臉圖像，采用眼睛定位算法定位雙眼；第二步，根據(jù)雙眼位置，獲取形狀歸一化的人臉圖像，即保證不同人臉的眼睛位于同一個位置上，此外，采用直方圖均衡等算法對獲取的人臉進行灰度歸一化；第三步，將采集得到的人臉經(jīng)過第二步處理后，采用主成分分析(PCA，principal component analysis)方法訓練得到人臉圖像PCA空間；第四步，對于需要比較相似度的兩個人臉，分別將其投影到PCA空間，并記錄前M個特征臉對應的PCA系數(shù)，然后計算PCA系數(shù)間的歐式距離，采用歐式距離作為人臉相似度；下面介紹一下本實施例中人體相似度的獲取算法；我們需要采用物體匹配算法來衡量人體和人體之間的相似程度，例如，可以采用顏色直方圖的方式來進行物體匹配，對于圖片的紅綠藍三色(RGB，red，green，blue)值(采用三個字節(jié)數(shù)據(jù)表示，假定為r，g，b)，首先，我們將其采用式((b＞＞6)+((g＞＞5)＜＜2)+(r & 224))進行變換得到一個字節(jié)(byte)值用來表征象素(r，g，b)的顏色特征；之后，對于人體所在區(qū)域內(nèi)的所有象素，統(tǒng)計其變換后的值的直方圖，為了避免圖像大小的影響，我們采用象素數(shù)目總和對直方圖進行歸一化，得到與圖像大小無關的歸一化直方圖，對于兩個人體，我們采用他們歸一化直方圖的相似度作為他們外觀的相似度數(shù)值，例如，假定二者的直方圖分別為hist0[256]和hist1[256]，則其相似度為Σi=0255(hist0[i]-hist1[i])2;]]>對于兩個人之間，既存在人臉對應，又存在人體對應的情況，二者之間的相似度取人臉相似度和人體相似度中的大者；S202、對于有人存在的圖片，獲取其中每個人的人臉位置、大小和人體所在位置、大??；采用表情識別判定主體人的表情，可以分為中性、開心、憤怒、驚訝等；采用性別識別判定主體人的性別，分為男、女；根據(jù)人臉和人體檢測結果，判定該人是全身圖片、半身圖片、人臉；S203、確定任意兩個人臉之間的相似度，以及任意兩個人體之間的相似度；采用人臉認證技術確定任意兩個人臉之間的相似度，并采用物體匹配技術確定任意兩個人體之間的相似度；本實施方案中，人臉檢測、人體檢測、性別識別都統(tǒng)一采用了一種基于層次型Real-Adaboost的模式識別方法；對于兩個人之間，既存在人臉對應又存在人體對應的情況，二者之間的相似度取為人臉相似度和人體相似度中的大者；S204、根據(jù)圖片的特征參數(shù)，建立索引表；對每幅圖片設定一個ID號，建立一個圖片索引表，同時為檢測圖片所得到的每個人設定一個ID號，并建立一個人的索引表，并將每幅圖片中出現(xiàn)的人和圖片建立一個對應關系，即所述每張圖片的標識與該圖片中的每個人的標識相對應，所述圖片中的每個人的標識與該人所在的每張圖片的標識相對應，如圖片1中存在兩個人，分別分配ID為1、2，則將人1、人2和圖片1建立對應關系，能方便的從圖片1查找到人1、人2，反之，從人1、人2也能方便的查找到圖片1，當然，也可以從人1找到處于同一副圖片中的人2；每張圖片索引項包含的信息為該圖片保存的路徑、該圖片中的人數(shù)、該圖片所包含的每個人的位置和大小以及該人對應的ID；每個人的索引項包含的信息為該人ID，該人存在于的圖片ID；該人的人臉位置和大??；該人的表情指數(shù)，即符合中性、開心、憤怒、驚訝的程度；該人的性別指數(shù)，即符合男、女的程度；該人的人體位置、大小，對應一個矩形框，如果不存在人體項，則此項信息為空；該人的呈現(xiàn)部分，即全身像、半身像或僅臉部；該人的外觀相似程度，即該人與索引表中其他人的相似程度，如果無法比較則外觀相似程度為0；如果不存在人臉項，則人臉位置、大小記錄為空，表情指數(shù)、性別指數(shù)均為0；S205、對輸入的特征參數(shù)與存儲在預先建立的索引表中的圖片的特征參數(shù)進行比較；本實施例中可以通過以下兩種查詢方式進行圖片查詢，詳細說明如下；第一種查詢方式，以圖片為主體進行查詢，查找滿足某限定條件的圖片；采用圖片中含有人的數(shù)目、含有人的表情、性別以及呈現(xiàn)部分來進行分類和查詢，如果引入其他技術獲取更多人的信息，也可以很容易添加到系統(tǒng)中作為查詢項；按照圖片中是否有人存在，首先將照片分為有人照片和風景照片兩類；對于有人照片，依照候選照片索引項與查詢條件的人數(shù)、表情、性別、呈現(xiàn)部分的匹配程度計算加權的綜合匹配程度，假設人數(shù)匹配程度為S1，表情匹配程度為S2，性別匹配程度為S3，呈現(xiàn)部分匹配程度為S4，權值分別為w1，w2，w3，w4，并且，(w1+w2+w3+w4)＝1，則最終的綜合匹配程度為 最后依照各圖片索引項的綜合匹配程度由大到小將各索引項進行排列顯示；本實施例中具體匹配程度計算的方法如下人數(shù)匹配程度計算規(guī)則人數(shù)的匹配規(guī)則可以包括“＝”，“＞”，“＞＝”，“＜”，“＜＝”等，對應一個匹配區(qū)間[a，b]，假定圖片中最大人數(shù)為20，最小人數(shù)為0。如果候選圖片人數(shù)為p，則找到匹配區(qū)間中與p最接近的值，假設該值為q，以該值為中心，匹配區(qū)間寬度為方差得到一個一維高斯分布，設定匹配程度計算公式為 如匹配條件設定為＞＝2，對應匹配區(qū)間為[2，20]，如果候選圖片中包含人數(shù)p為3，則匹配區(qū)間與候選最接近值q為3，匹配程度則為認為匹配程度為1；如果匹配條件設定為＝1，匹配區(qū)間為[1，1]，如果候選圖片人數(shù)p為3，與匹配區(qū)間最接近值n＝1，匹配程度為
表情匹配程度計算規(guī)則表情的匹配規(guī)則可以包括包含某種表情和不包含某種表情。首先對于圖片中存在的所有人臉，讀取其記錄在索引中的符合中性、開心、憤怒、驚訝的程度，計算圖片中所有人臉中符合該表情程度最大的值mexp，如果設定為包含某種表情，則匹配程度為mexp；如果設定規(guī)則為不包含某種表情，則匹配程度為1-mexp；性別匹配程度計算規(guī)則性別的匹配規(guī)則可以設定為包含某種性別和不包含某種性別，首先，對于圖片中的所有人臉，讀取其記錄在人索引中的性別指數(shù)，得到所有人中最大值mgend，如果匹配規(guī)則設定為包含某種性別，則匹配程度為mgend，如果匹配規(guī)則設定為不包含某種性別，則匹配程度為1-mgend；呈現(xiàn)部分匹配程度呈現(xiàn)部分可分為全身像、半身像、僅臉部等，匹配規(guī)則可以包含符合某類，和不符合某類，如果同類，匹配程度為1，如果不同類，當為全身像和半身像，或者半身像和僅臉部時，匹配程度為0.5，當為全身像和僅臉部時為0。對于圖片中所有人，得到最大的呈現(xiàn)部分匹配程度mpart，如果匹配規(guī)則為包含某類，則圖片的呈現(xiàn)部分匹配程度為mpart，如果匹配規(guī)則為不包含某類，則圖片的呈現(xiàn)部分匹配程度為1-mpart；系統(tǒng)可在信息提取階段增加其他信息，從而可以增加分類標準和分類情況；第二種查詢方式，以人為查詢主體，查找與索引表中某人相近且滿足查詢條件的人以及該人對應圖片；對于人的索引表中存在的某一索引項，按照其與索引表中其他索引項的外觀相似程度、圖片人數(shù)匹配程度、表情匹配程度、性別匹配程度、呈現(xiàn)部分匹配程度等得到加權的綜合匹配程度，并按該值由大到小的順序排列顯示對應的其他索引項，并能夠由人索引項自動鏈接到對應的圖片，便于查找相同/相似人的圖片，從而達到方便快捷查找目標圖片的目的；用戶選擇需要查詢的人對應的索引項信息，設定需要查詢的對象的表情匹配條件、性別匹配條件、呈現(xiàn)部分匹配條件、圖片人數(shù)匹配條件，并設定外觀相似度的權值w0′、圖片人數(shù)匹配程度的權值w1′、表情匹配程度的權值w2′、性別匹配程度的權值w3′、呈現(xiàn)部分匹配程度的權值w4′，系統(tǒng)按照待查索引項與索引表中其他索引項的外觀相似程度S0′、圖片人數(shù)匹配程度S1′、表情匹配程度S2′、性別匹配程度S3′、呈現(xiàn)部分匹配程度S4′等，得到加權的綜合匹配程度值 按照該綜合匹配程度值的從大到小的順序，對相應的索引項進行排列顯示；本實施例中具體匹配程度的計算方法如下外觀相似度計算規(guī)則從索引表中獲取待查索引項和候選索引項共有的人臉/人體記錄的匹配程度，即如果待查索引項和候選索引項均包含人臉記錄，則采用人臉認證算法計算待查索引項與候選索引項的人臉外觀相似程度，如果待查索引項和候選索引項均包含人體記錄，則采用物體匹配算法計算待查索引項和候選索引項的人體外觀相似程度，最后依據(jù)待查索引項和候選索引項的人臉、人體匹配程度得到綜合的人體、人臉匹配程度，如果待查索引項和候選索引項都同時包含人體和人臉，則采用人臉相似度和人體相似的均值作為外觀相似度值，如果共有部分只為人體或者人臉，則采用人體或者人臉的外觀相似度作為人的外觀相似度，如果沒有共有部分，則外觀相似度為0；人數(shù)匹配程度計算規(guī)則采用待查索引項中人所在的圖片與候選索引項人所在圖片的人數(shù)匹配程度作為待查和候選人索引項的人數(shù)匹配程度；表情匹配程度計算規(guī)則表情的匹配規(guī)則可以包括某種表情和非某種表情，讀取待查索引項中的人符合匹配規(guī)則對應表情的程度e，如果規(guī)則設定為某種表情，則匹配程度為e；如果設定規(guī)則為非某種表情，則匹配程度為1-e；性別匹配程度性別的匹配規(guī)則可以設定為某種性別和非某種性別，讀取待查人索引項的性別指數(shù)g，如果匹配規(guī)則設定為某種性別，則匹配程度為g，如果匹配規(guī)則設定為非某種性別，則匹配程度為1-g；
呈現(xiàn)部分匹配程度呈現(xiàn)部分可分為全身像、半身像、僅臉部等，匹配規(guī)則可以是符合某類，和不符合某類，如果同類，匹配程度為1，如果不同類，當為全身像和半身像，或者半身像和僅臉部時，匹配程度為0.5，當為全身像和僅臉部時，匹配程度為0，按照上述設定的規(guī)則，得到待查和候選人呈現(xiàn)部分匹配程度u，如果匹配規(guī)則為符合某類，則匹配程度為u，如果規(guī)則為不符合某類，則匹配程度為1-u；對于查找與輸入的待查詢圖片中的人相似的人所在的圖片的情況，先將輸入的圖片進行信息提取，并將提取到的信息添加到索引表，然后，轉(zhuǎn)化為查找與索引表中某人相似且滿足條件的人以及該人對應的圖片；系統(tǒng)還能很容易擴展增加諸如圖片拍攝時間、圖片大小、格式等非智能查詢項；S206、輸出符合所述輸入的特征參數(shù)的圖片；為了更好地給出滿足查詢要求的圖片，本發(fā)明根據(jù)用戶提交的查詢條件參數(shù)指定模糊查詢匹配規(guī)則對所有圖片進行排列顯示，系統(tǒng)會根據(jù)候選圖片與各項查詢要求之間的符合程度給出匹配程度值，為不同的查詢參數(shù)設定不同權重，最后，綜合候選圖片與各項查詢要求的匹配程度給出一個總的匹配程度作為各個圖片排序的依據(jù)；其中，所述的查詢要交為所述索引表中的索引項所包括的各個信息參數(shù)；當所述輸入的查詢條件參數(shù)包括一個以上的參數(shù)時，獲得每個所述輸入的查詢條件參數(shù)與所述索引表中的相應參數(shù)的匹配值；對每個所述匹配值進行加權，獲得綜合匹配值；根據(jù)所述綜合匹配值，顯示查詢到的每張圖片。
以下提供本發(fā)明裝置的一種實施例；參見圖6，本發(fā)明一種圖片查詢裝置包括圖片查詢單元31；所述圖片查詢單元31包括圖片檢測信息獲取單元311、索引表單元312和查詢單元313；所述查詢單元313包括比較單元3131和輸出單元3132；
所述比較單元3131包括獲得比較值單元31311和加權單元31312；所述圖片查詢單元31，用于預先通過對每張圖片的區(qū)域進行劃分提取每張圖片的特征參數(shù)，并保存所述每張圖片的特征參數(shù)，對輸入的特征參數(shù)與預先存儲的圖片的特征參數(shù)進行比較，輸出符合所述輸入的特征參數(shù)的圖片；其中，所述圖片的特征參數(shù)為人臉檢測信息和/或人體檢測信息；所述每張圖片的特征參數(shù)包括以下一種或多種參數(shù)每張圖片中包含的人的數(shù)目，每個人的表情、性別以及呈現(xiàn)部分；所述圖片檢測信息獲取單元311，用于預先通過對每張圖片的區(qū)域進行劃分提取每張圖片的特征參數(shù)，并保存所述每張圖片的特征參數(shù)；所述索引表單元312，用于根據(jù)所述圖片的特征參數(shù)，建立索引表；所述查詢單元313，用于對輸入的特征參數(shù)與存儲在預先建立的所述索引表中的圖片的特征參數(shù)進行比較，輸出符合所述輸入的特征參數(shù)的圖片；其中，所述比較單元3131，用于對輸入的特征參數(shù)與預先存儲的圖片的特征參數(shù)進行比較；當所述輸入的特征參數(shù)包括一個以上的參數(shù)時，所述獲得比較值單元31311，用于獲得所述輸入的每個特征參數(shù)與所述預先存儲的圖片的特征參數(shù)的比較值；所述加權單元31312，用于對每個所述比較值進行加權，獲得綜合比較值，將該綜合比較值發(fā)送給所述輸出單元；所述輸出單元3132，用于輸出與所述綜合比較值相對應的圖片；當所述圖片包括人臉時，所述預先保存的圖片的特征參數(shù)還包括人臉識別特征參數(shù)；當輸入一張包括人臉的圖片時，所述圖片檢測信息獲取單元311，還用于提取所述圖片的人臉識別特征參數(shù)；所述查詢單元313，用于將所述人臉識別特征參數(shù)與預先保存的圖片的人臉識別特征參數(shù)進行比較，輸出與所述輸入的圖片中的人臉相同和/或相似的圖片。
本發(fā)明公開了一種圖片查詢方法和裝置，例如，采用人臉檢測、人體檢測、表情識別、性別識別等技術獲取圖片中人的相關信息，并根據(jù)獲取的信息對圖片進行組織和查詢，所述查詢可以是基于圖片內(nèi)容和基于主體身份的兩種查詢，因此，本發(fā)明為大量圖片的整理和查詢工作提供了一種簡單快捷的解決方案，提高了圖片查詢的精確度，簡化了圖片查詢操作，本發(fā)明方案具有很強的應用前景。
顯然，本領域的技術人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權利要求及其等同技術的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動和變型在內(nèi)。
權利要求
1.一種圖片查詢方法，其特征在于，通過對每張圖片的區(qū)域進行劃分提取每張圖片的特征參數(shù)，并保存所述每張圖片的特征參數(shù)，該方法包括以下步驟對輸入的特征參數(shù)與預先存儲的圖片的特征參數(shù)進行比較，輸出符合所述輸入的特征參數(shù)的圖片。
2.如權利要求1所述的方法，其特征在于，所述圖片的特征參數(shù)存儲在預先建立的索引表中；則，所述對輸入的特征參數(shù)與預先存儲的圖片的特征參數(shù)進行比較的步驟為對輸入的特征參數(shù)與存儲在預先建立的索引表中的圖片的特征參數(shù)進行比較。
3.如權利要求1所述的方法，其特征在于，所述圖片的特征參數(shù)為人臉檢測信息和/或人體檢測信息。
4.如權利要求1所述的方法，其特征在于，當所述輸入的特征參數(shù)包括一個以上的參數(shù)時，該方法包括獲得所述輸入的每個特征參數(shù)與所述預先存儲的圖片的特征參數(shù)的比較值；對每個所述比較值進行加權，獲得綜合比較值；輸出與所述綜合比較值相對應的圖片。
5.如權利要求1所述的方法，其特征在于，所述每張圖片的特征參數(shù)包括以下一種或多種參數(shù)每張圖片中包含的人的數(shù)目，每個人的表情、性別以及呈現(xiàn)部分。
6.如權利要求1所述的方法，其特征在于，當所述圖片包括人臉時，所述預先保存的圖片的特征參數(shù)還包括人臉識別特征參數(shù)，則該方法包括輸入包括人臉的圖片，提取該圖片的人臉識別特征參數(shù)，并將該特征參數(shù)與預先保存的圖片的人臉識別特征參數(shù)進行比較，輸出與所述輸入的圖片中的人臉相同和/或相似的圖片。
7.一種圖片查詢裝置，其特征在于，該裝置包括圖片查詢單元，用于預先通過對每張圖片的區(qū)域進行劃分提取每張圖片的特征參數(shù)，并保存所述每張圖片的特征參數(shù)，對輸入的特征參數(shù)與預先存儲的圖片的特征參數(shù)進行比較，輸出符合所述輸入的特征參數(shù)的圖片。
8.如權利要求7所述的裝置，其特征在于，所述圖片查詢單元包括圖片檢測信息獲取單元，用于預先通過對每張圖片的區(qū)域進行劃分提取每張圖片的特征參數(shù)，并保存所述每張圖片的特征參數(shù)；查詢單元，用于對輸入的特征參數(shù)與預先存儲的圖片的特征參數(shù)進行比較，輸出符合所述輸入的特征參數(shù)的圖片。
9.如權利要求8所述的裝置，其特征在于，所述查詢單元包括比較單元，用于對輸入的特征參數(shù)與預先存儲的圖片的特征參數(shù)進行比較；輸出單元，用于根據(jù)所述比較結果，輸出符合所述輸入的特征參數(shù)的圖片。
10.如權利要求8所述的裝置，其特征在于，所述圖片查詢單元還包括索引表單元，用于根據(jù)所述圖片的特征參數(shù)，建立索引表；則，所述查詢單元，用于對輸入的特征參數(shù)與存儲在預先建立的所述索引表中的圖片的特征參數(shù)進行比較，輸出符合所述輸入的特征參數(shù)的圖片。
11.如權利要求7所述的裝置，其特征在于，所述圖片的特征參數(shù)為人臉檢測信息和/或人體檢測信息。
12.如權利要求8所述的裝置，其特征在于，當所述輸入的特征參數(shù)包括一個以上的參數(shù)時，所述比較單元包括獲得比較值單元，用于獲得所述輸入的每個特征參數(shù)與所述預先存儲的圖片的特征參數(shù)的比較值；加權單元，用于對每個所述比較值進行加權，獲得綜合比較值，將該綜合比較值發(fā)送給所述輸出單元；則，所述輸出單元用于輸出與所述綜合比較值相對應的圖片。
13.如權利要求7所述的裝置，其特征在于，所述每張圖片的特征參數(shù)包括以下一種或多種參數(shù)每張圖片中包含的人的數(shù)目，每個人的表情、性別以及呈現(xiàn)部分。
14.如權利要求8所述的裝置，其特征在于，當所述圖片包括人臉時，所述預先保存的圖片的特征參數(shù)還包括人臉識別特征參數(shù)，則，所述圖片檢測信息獲取單元，還用于提取圖片的人臉識別特征參數(shù)；所述查詢單元，用于將所述人臉識別特征參數(shù)與預先保存的圖片的人臉識別特征參數(shù)進行比較，輸出與所述輸入的圖片中的人臉相同和/或相似的圖片。
全文摘要
本發(fā)明公開了一種圖片查詢方法及裝置，用以解決現(xiàn)有技術中存在圖片查詢速度慢，精確度低以及操作繁瑣的問題。本發(fā)明方法，通過對每張圖片的區(qū)域進行劃分提取每張圖片的特征參數(shù)，并保存所述每張圖片的特征參數(shù)，該方法包括步驟對輸入的特征參數(shù)與預先存儲的圖片的特征參數(shù)進行比較，輸出符合所述輸入的特征參數(shù)的圖片。本發(fā)明還公開了一種圖片查詢裝置。本發(fā)明用于圖片查詢，提高圖片查詢的精確度，簡化圖片查詢操作。
文檔編號G06K9/00GK101021870SQ200710064569
公開日2007年8月22日 申請日期2007年3月20日 優(yōu)先權日2007年3月20日
發(fā)明者鄧亞峰, 王浩, 黃英 申請人:北京中星微電子有限公司