專利名稱：用于檢測物體的方法
技術領域：
本發(fā)明涉及檢測圖像中的物體的方法，具體而言，涉及在雜亂背景中準確地檢測物體的方法。
背景技術：
物體識別是在計算機視覺中廣為人知的解決在圖像中找到物體這一問題的任務。 近期的方法中，和物體相關的信息用局部特征的組表示。局部特征是描述圖像的小區(qū)域的特征。從圖像得到的局部特征的數(shù)量和質量嚴重依賴于所用算法而變化。物體檢測方法的一個共同問題是如何處理從背景提取的局部特征。背景是圖像中不屬于物體的部分。不同物體的背景可能是相同的。因而，如果使用時不區(qū)分從背景提取的局部特征和從前景提取的局部特征，就不能實現(xiàn)可靠檢測。因而，需要一種不使用從背景提取的局部特征的系統(tǒng)。為解決該問題，許多方法采用受監(jiān)督的學習系統(tǒng)。具體而言，提出了下述三種不同方法。第一種解決方案是從完全不包括任何背景的圖像學習物體的局部特征。例如，可以通過把物體從背景中分割出來而得到完全不包括任何背景的圖像。還可以使用背景為一種顏色的物體圖像，并且該顏色不用于提取信息(色鍵)。這些方法非常耗時耗力。因而， 只有在物體數(shù)量少時才能選擇該方案。第二種解決方案是使用不顯示物體的圖像來學習背景。利用該方法，人們知道哪些局部特征是從背景提取的以及哪些局部特征是從物體提取的。然而，該方案有如下問題。 例如，在顯示人的圖像中，書架可被視為背景。如果同時還想檢測書架，書架就不能再作為背景。換句話說，背景定義取決于要檢測什么物體。因而，該方案將是不正確的。第三種解決方案是使用顯示在不同背景前的物體的許多個圖像。只有可以從所有圖像提取到的局部特征被認為是屬于物體的。該方案的問題是該方法需要的圖像量很大， 而且都需要由用戶提供。背景雜亂成為問題的原因是從圖像提取的所有局部特征，無論是從背景提取的局部特征，還是從物體提取的局部特征，都被同等對待。解決該問題的一個方法是手動區(qū)分各個局部特征。然而，從局部特征數(shù)量的角度來說，該方法不現(xiàn)實。另一方法是使用沒有背景的圖像以使得易于提取物體。還有一種方法是使用包括針對一個物體的多個背景的圖像的方法。另一問題來自經(jīng)常用于物體識別和物體檢測的特征袋策略。在該策略中，對每個局部特征執(zhí)行聚類(clustering)以獲得代表向量(稱為視覺詞)，并且從獲得的代表向量生成表示物體特征的一個向量(特征)。聚類過程中，把這些局部特征僅視為單個信息的組，而不認為它們之間存在任何關聯(lián)。通過“特征袋策略”可以得到對識別有效的穩(wěn)定特征。 另一方面，例如局部特征的位置、大小和方向等的許多信息丟失了。有兩種模型用于解決該問題，即星座模型和隱含形狀模型。星座模型和隱含形狀
4模型是可以用于補償和每個局部特征的位置有關但在聚類處理中丟失的信息的方法。這兩種模型對這些信息的處理不同。下面描述每種模型?！葱亲Ｐ汀敌亲Ｐ椭?，把從物體提取的局部特征存儲成二維概率空間中的位置。先說明結論，當主視覺詞的位置在指示待檢測物體的查詢圖像和要使用該查詢圖像檢測的圖像之間區(qū)別不大時，星座模型是有效的。星座模型中，僅使用幾個特征(通常5個左右)來產(chǎn)生模型，以使所得到的圖(該圖用節(jié)點指示局部特征，用邊緣指示局部特征的位置布局)是可計算的。還可通過針對一個局部特征的正規(guī)化使星座模型成為尺度不變的。如Fergus等先前指出的，該方法的弱點在于十分依賴特征檢測器(例如參看非專利文獻1)。如果該方法不能檢測到在圖像的大區(qū)域上定義的這些特征(例如自行車的整個輪子)，結果就是無用的。另一缺點是該模型不是旋轉不變的，不能處理視點變化?！措[含形狀模型〉Leibe等提出了隱含形狀模型(例如參看非專利文獻幻。在該模型中，不用視覺詞的相對位置來表示形狀。對于每個視覺詞，使用該視覺詞相對于預定質心點的相對位置。檢測過程中，比較從查詢圖像提取的視覺詞和圖像數(shù)據(jù)庫中的視覺詞，給出可能的質心位置。這被視為是給可能的物體投票。聚合(agglomerate)這些投票以找到可能的物體。 非專利文獻3提出使該模型尺度不變的方法。該方法足夠靈活，可以處理物體的類間變化 (intra-class variation)大的問題。這通過共享從不同圖像學習到的物體的局部特征而實現(xiàn)。引文列表非專利文獻非專利文獻 1 :R. Fergus, P. Perona, and A. Zisserman. Object class recognition by unsupervised scale-invariant learning. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, volume 2, pages 264—271, June 2003.非專利文獻 2 :B.Leibe, A. Leonardis, and B.Schiele. Combined Object categorization and segmentation with an implicit shape model. In ECCV workshop on statistical learning in computer vision, page 17-32,2004.非專利文獻3 :B. Leibe,A. Leonardis, and B. Schiele. Robust object detection with interleaved categorization and segmentation. Int. J. comput. Vision, 77(1-3) 259-289,2008.

發(fā)明內容
發(fā)明要解決的問題如上所述，如果可考慮與局部特征之間的相關性有關的信息，那么可以獲得對標識有效的穩(wěn)定局部特征。然而，傳統(tǒng)的星座模型不適于使用成千上萬個局部特征的物體檢測。該模型還有其它缺點。另一方面，隱含形狀模型更靈活。然而，該模型具有視點變化的缺點，而且相對于圖像平面旋轉不穩(wěn)定。需要一種可利用局部特征的位置信息去除背景影響的物體檢測方法?；谏鲜銮闆r實現(xiàn)了本發(fā)明，其目的在于提供一種可以從具有不受限的背景區(qū)域的幾幅圖像學習物體并且檢測物體的方法，理想情況下，僅從一副圖像學習物體。用于解決問題的方案本發(fā)明用于解決上述問題的特征在于本發(fā)明不僅使用局部特征而且使用局部特征的局部位置。對于單個局部特征，可能偶爾從其它物體或背景提取到相同的局部特征。然而，幾乎不會出現(xiàn)許多個局部特征及其局部位置匹配的情況。在根據(jù)本發(fā)明的方法中，使用上述信息檢測物體。本發(fā)明的一方面是一種從事先存儲的許多個圖像數(shù)據(jù)中檢測表示物體的圖像的方法，其中，圖像數(shù)據(jù)存儲在圖像數(shù)據(jù)庫中，圖像數(shù)據(jù)庫是通過從表示物體的查詢圖像提取多個查詢特征向量而創(chuàng)建的，每個查詢特征向量表示局部特征，圖像數(shù)據(jù)存儲成使得各自表示局部特征的多個參考特征向量與一個基準點的相應參考特征向量的距離和方位相互關聯(lián)，所述方法包括如下步驟比較每個查詢特征向量和每個參考特征向量，以確定和查詢特征向量類似的參考特征向量作為相似向量；以及使用到基準點的距離和方位確定待檢測的圖像數(shù)據(jù)，所述距離和方位與相似向量關聯(lián)。本發(fā)明的其它方面是所述方法還包括如下步驟使用與每個相似向量關聯(lián)的距離和方位來根據(jù)相應相似向量計算虛擬基準點的位置；給位置分配帶有物體ID的投票；通過收集虛擬基準點彼此相近即相似的相似向量來確定多個聚類；獲得局部性得分，該局部性得分表示每個聚類的相似程度；并且使用基于對獲得局部性得分的評估使用預定數(shù)量的物體ID作為檢測結果。投票處理指如下處理，基于得到的證據(jù)對任何一個選項給出得分，并且選擇得分最好即最高的選項作為收集所有證據(jù)的結果。該處理通常用在該技術領域。本發(fā)明的另一方面是計算相似度得分以比較每個查詢特征向量和每個參考特征向量，其中，查詢特征向量和參考特征向量較近的情況下、提取查詢特征向量的局部區(qū)域較大的情況下、以及在提取參考特征向量的局部區(qū)域較大的情況下，相似度得分較大；把相似度得分最高的參考特征向量確定為查詢特征向量的相似向量，基于對每個相似度得分的評價使用預定數(shù)量的物體ID作為檢測結果。具體而言，本發(fā)明提供一種通過從圖像數(shù)據(jù)庫檢索表示和查詢圖像所表示的物體匹配的物體的物體檢測方法，圖像數(shù)據(jù)庫是通過從表示物體的圖像提取各自表示局部區(qū)域的特征的多個向量作為參考特征向量而創(chuàng)建的，所述圖像數(shù)據(jù)庫存儲參考特征向量，其中每個參考特征向量和相應的圖像以及標識圖像表示的物體的物體ID關聯(lián)，所述方法包括如下步驟從所述查詢圖像提取多個向量作為查詢特征向量，每個查詢特征向量表示查詢圖像中相應局部區(qū)域的特征；比較每個查詢特征向量和每個參考特征向量，并且計算相似度得分，在所述查詢特征向量和所述參考特征向量較近的情況下、在提取所述查詢特征向量的局部區(qū)域較大的情況下、以及在提取所述參考特征向量的局部區(qū)域較大的情況下，所述相似度得分具有較大的值；針對每個查詢特征向量，將提供最高相似度得分的參考特征向量確定作為相似向量；以及通過預定的計算處理來獲得對應于與所述相似向量相關聯(lián)的各個物體ID的最終得分，并且確定由最終得分最高的物體ID指定的至少一個物體作為檢測結果；其中，根據(jù)下面公式計算所述最終得分
[公式1]
權利要求
1.一種物體檢測方法，其通過從圖像數(shù)據(jù)庫檢索表示與查詢圖像所表示的物體相匹配的物體的圖像來檢測物體，所述圖像數(shù)據(jù)庫是通過從表示物體的圖像提取各自表示中局部區(qū)域的特征的多個向量作為參考特征向量而創(chuàng)建的，所述圖像數(shù)據(jù)庫存儲所述參考特征向量，各所述參考特征向量與相應的圖像以及用于標識該圖像所表示的物體的物體ID相關聯(lián)，所述物體檢測方法包括如下步驟從所述查詢圖像提取各自表示所述查詢圖像中的相應局部區(qū)域的特征的多個向量作為查詢特征向量；比較各所述查詢特征向量和各所述參考特征向量并且計算相似度得分，其中，在該查詢特征向量和該參考特征向量距離較近的情況下、在提取該查詢特征向量的局部區(qū)域較大的情況下、以及在提取該參考特征向量的局部區(qū)域較大的情況下，所述相似度得分被確定為具有較大的值；針對各所述查詢特征向量，確定相似度得分最高的參考特征向量作為相似向量；以及通過預定的計算處理來獲得對應于與所述相似向量相關聯(lián)的各物體ID的最終得分， 并且確定最終得分最高的物體ID所指定的至少一個物體作為檢測結果，其中，根據(jù)以下公式1計算所述最終得分5 =(1)Nf其中，&是與所述相似向量有關的相似度得分，Nf是所述查詢圖像的查詢特征向量中與所述圖像數(shù)據(jù)庫中所存儲的表示物體的特征向量相匹配的特征向量的數(shù)量。
2.根據(jù)權利要求1所述的物體檢測方法，其特征在于，根據(jù)以下公式2計算所述相似度得分(2)f d(fqJd)其中，w(f)是提取特征向量f的局部區(qū)域的大小，d(fq, fd)是查詢特征向量fq與對應于該查詢特征向量fq的相似向量fd之間的歐氏距離。
3.根據(jù)權利要求1或2所述的物體檢測方法，其特征在于所述圖像數(shù)據(jù)庫還針對各所存儲的圖像存儲相對于預定的基準點的距離和方位，所述距離和方位與從圖像提取的相應的參考特征向量相關聯(lián)，所述物體檢測方法還包括如下步驟針對各所述相似向量，通過使用被存儲成與相應的參考特征向量相關聯(lián)的所述距離和方位來確定該相似向量相對于虛擬基準點的位置；聚類確定步驟，通過收集虛擬基準點的位置相互靠近并且與同一物體ID關聯(lián)的相似向量來確定多個聚類；以及通過預定的處理來獲得表示通過所述聚類確定步驟而得到的各聚類的相似程度的局部性得分，其中，根據(jù)替代上述公式1的以下公式3計算所述最終得分s=hL· ΙΣ^Nf 1 Nc(3)其中r。是所述局部性得分，Nc是屬于各聚類的相似向量的總數(shù)。
4.根據(jù)權利要求3所述的物體檢測方法，其特征在于，所述局部性得分rc被定義成各所述聚類所包括的所述虛擬基準點的總數(shù)。
5.根據(jù)權利要求3或4所述的物體檢測方法，其特征在于，還包括如下步驟 通過應用被定義成直方圖的形狀上下文的處理來得到對應于各特征向量的形狀上下文，其中，所述直方圖是通過把一個特征向量的周圍區(qū)域劃分成作為小塊的多個子區(qū)域并且計算各所述小塊內的分布在該特征向量周圍的其它特征向量的數(shù)量而得到的； 通過使用所得到的形狀上下文，經(jīng)由預定的處理來計算上下文得分；以及通過把所述形狀上下文應用到各所述查詢特征向量來計算對應于該查詢特征向量的上下文得分，其中，根據(jù)替代上述公式3的以下公式4計算所述最終得分
6.根據(jù)權利要求5所述的物體檢測方法，其特征在于，所述上下文得分被定義成通過接合各代表向量的元素而得到的向量的長度，
全文摘要
公開了一種物體檢測方法，具有如下步驟從表示物體的圖像提取和局部區(qū)域相關的多個參考特征向量，并從搜索查詢圖像提取和局部區(qū)域相關的多個查詢特征向量；匹配每個查詢特征特征向量和每個參考特征向量并計算相似度得分，在這兩個向量距離較近、提取查詢特征向量的局部區(qū)域較大以及提取匹配用參考特征向量的局部區(qū)域較大的情況下，相似度得分的值較大；對每個查詢特征向量，確定相似度得分最高的參考特征向量為相似向量；以及，利用和相似向量關聯(lián)的物體得到最終得分，并且把返回最高得分的物體作為檢測結果；其特征在于，通過將每個相似向量的相似度得分除以和物體匹配的特征向量的數(shù)量來計算得分。
文檔編號G06T7/00GK102473305SQ20108003695
公開日2012年5月23日 申請日期2010年8月16日 優(yōu)先權日2009年8月18日
發(fā)明者安德瑞斯·丹格爾, 赫珂·麥斯, 馬丁·克林格特, 黃瀨浩一 申請人:公立大學法人大阪府立大學