通過利用特征的空間定位減少對象檢測時(shí)間的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理系統(tǒng)，并且更明確地說，涉及圖像中的對象辨識。
【背景技術(shù)】
[0002]在計(jì)算裝置或計(jì)算機(jī)的上下文中的視覺搜索指代使得計(jì)算機(jī)或其它裝置能夠提供一或多個(gè)圖像中的對象的識別信息的技術(shù)。最近對視覺搜索的關(guān)注產(chǎn)生了使得計(jì)算機(jī)能夠在多種多樣的變化圖像條件(包含噪音及照明的變化)下識別被部分遮蔽的對象及/或特征的算法。同時(shí)，已經(jīng)出現(xiàn)包含相機(jī)的移動裝置，但此類移動裝置可能具有有限的用戶接口來用于輸入文本或以其它方式與移動裝置介接。移動裝置和移動裝置應(yīng)用程序的開發(fā)者已設(shè)法利用移動裝置的相機(jī)來增強(qiáng)與移動裝置的用戶交互。
[0003]為了說明一種增強(qiáng)，移動裝置的用戶可使用移動裝置的相機(jī)在于商店購物時(shí)俘獲給定產(chǎn)品的圖像。所述移動裝置接著可在用于各種圖像的所存檔特征描述符內(nèi)發(fā)起視覺搜索算法來基于匹配圖像識別產(chǎn)品。在識別對象之后，所述移動裝置接著可呈現(xiàn)擴(kuò)增實(shí)境(AR)信息及/或呈現(xiàn)相關(guān)非擴(kuò)增實(shí)境應(yīng)用程序。舉例來說，所述移動裝置可起始基于因特網(wǎng)的搜索并呈現(xiàn)含有關(guān)于所識別商店產(chǎn)品的信息的網(wǎng)頁。

【發(fā)明內(nèi)容】

[0004]根據(jù)本發(fā)明的一種用于退出對象檢測管線的方法的實(shí)例包含:在處于所述對象檢測管線中時(shí)確定圖像的第一圖塊內(nèi)的特征的數(shù)目，其中所述圖像由多個(gè)圖塊構(gòu)成；如果第一圖塊內(nèi)的特征的數(shù)目符合閾值，那么使用第一圖塊內(nèi)的所述特征的至少一子集執(zhí)行匹配步驟；如果所述匹配步驟的結(jié)果指示在所述圖像中辨識出對象，那么退出所述對象檢測管線；及呈現(xiàn)所述匹配步驟的所述結(jié)果。
[0005]所述方法的實(shí)施方案可包含以下特征中的一或多者。如果第一圖塊中特征的數(shù)目不符合閾值，那么從所述圖像內(nèi)的第二圖塊提取特征。所述圖像內(nèi)的第二圖塊的位置可基于垂直光柵模式或其它預(yù)定搜索模式。所述圖像內(nèi)的所述第一和第二圖塊的位置可基于對圖像的減少取樣版本執(zhí)行的圖像分析。如果N個(gè)圖塊中特征的累積數(shù)目并不符合閾值，那么從所述圖像內(nèi)的N+1圖塊提取特征；如果來自N個(gè)圖塊及N+1圖塊的累積特征的數(shù)目符合閾值，那么使用從N+1圖塊所提取的特征及從N個(gè)圖塊所提取的累積特征執(zhí)行匹配步驟；及如果使用來自N個(gè)圖塊及N+1圖塊的累積特征的匹配步驟的結(jié)果指示在圖像中辨識出對象，那么退出對象檢測管線。如果匹配步驟的結(jié)果未指示辨識出對象，那么從所述圖像內(nèi)的第二圖塊提取特征。確定所辨識對象的位姿，及如果所辨識對象的位姿在幾何學(xué)上不與對象數(shù)據(jù)庫中的信息一致，那么從圖像內(nèi)的第二圖塊提取特征。可在從第一圖塊提取特征之前對圖像減少取樣。匹配步驟可包含將特征子集傳輸?shù)竭h(yuǎn)程裝置及接收來自遠(yuǎn)程裝置的結(jié)果。基于第一圖塊的所提取特征確定位置統(tǒng)計(jì)數(shù)據(jù)，基于所述位置統(tǒng)計(jì)數(shù)據(jù)在圖像的較低倍頻程版本上檢測所提取特征，及基于在圖像的較低倍頻程版本上檢測的特征計(jì)算對象的位姿。
[0006]根據(jù)本發(fā)明的一種用于退出對象檢測管線的設(shè)備的實(shí)例包含:存儲器單元；處理器，其經(jīng)配置以執(zhí)行以下操作:在處于對象檢測管線中時(shí)確定圖像的第一圖塊內(nèi)的特征的數(shù)目，其中圖像可分成多個(gè)圖塊，在第一圖塊內(nèi)的特征的數(shù)目符合閾值時(shí)使用第一圖塊內(nèi)的特征的至少一子集執(zhí)行匹配步驟，在匹配步驟的結(jié)果指示在圖像中辨識出對象時(shí)退出對象檢測管線，及將匹配步驟的結(jié)果存儲在存儲器單元中。一種用于退出對象檢測管線的設(shè)備的實(shí)例包含:用于在處于所述對象檢測管線中時(shí)確定圖像的第一圖塊內(nèi)的特征的數(shù)目的裝置，其中所述圖像由多個(gè)圖塊構(gòu)成；用于在第一圖塊內(nèi)的特征的數(shù)目符合閾值時(shí)使用第一圖塊內(nèi)的所述特征的至少一子集執(zhí)行匹配步驟的裝置；用于在所述匹配步驟的結(jié)果指示在圖像中辨識出對象時(shí)退出對象檢測管線的裝置；及用于存儲匹配步驟的結(jié)果的裝置。
[0007]根據(jù)本發(fā)明的一種計(jì)算機(jī)可讀媒體的實(shí)例包含:經(jīng)配置以致使處理器執(zhí)行以下操作的處理器可執(zhí)行指令:在處于所述對象檢測管線中時(shí)確定圖像的第一圖塊內(nèi)的特征的數(shù)目，其中所述圖像由多個(gè)圖塊構(gòu)成；在第一圖塊內(nèi)的特征的數(shù)目符合閾值時(shí)使用第一圖塊內(nèi)的所述特征的至少一子集執(zhí)行匹配步驟；在所述匹配步驟的結(jié)果指示在圖像中辨識出對象時(shí)退出對象檢測管線；及存儲匹配步驟的結(jié)果。
[0008]方法的實(shí)例可包含:對來自圖像的多個(gè)空間偏移圖塊中的第一圖塊執(zhí)行特征提取過程；如果特征提取過程提取了任何特征，那么使用第一圖塊內(nèi)的特征的至少一子集執(zhí)行匹配步驟；及在對多個(gè)空間偏移圖塊中的第二圖塊執(zhí)行特征提取過程之前確定匹配步驟的結(jié)果是否指示在圖像中辨識出對象。在一些實(shí)施例中，執(zhí)行所述匹配步驟包括將特征子集傳輸?shù)竭h(yuǎn)程裝置及接收來自所述遠(yuǎn)程裝置的結(jié)果。
[0009]方法的實(shí)例可包含循序分析來自圖像的多個(gè)空間偏移圖塊中的一或多個(gè)圖塊。每一圖塊的所述分析可包含:對所述圖塊執(zhí)行特征提取過程；及基于使用所述特征提取過程從圖塊所提取的任何特征及從任何先前所分析的圖塊所提取的任何特征確定是否可在圖像中辨識對象。所述方法可進(jìn)一步包含響應(yīng)于確定可辨識所述對象停止多個(gè)空間偏移圖塊中的任何剩余圖塊的分析。
[0010]在一些實(shí)施例中，所述方法進(jìn)一步包括選擇用于循序分析的第一圖塊。在一些實(shí)施例中，第一圖塊包括在圖像的邊角處的圖塊。在一些實(shí)施例中，第一圖塊包括在圖像的中心區(qū)域中的圖塊。在一些實(shí)施例中，第一圖塊包括在較高特征區(qū)域中的圖塊。在一些實(shí)施例中，第一圖塊包括在先前辨識對象的區(qū)域中的圖塊。在一些實(shí)施例中，所述方法進(jìn)一步包括將圖像變換成本地特征坐標(biāo)。在一些實(shí)施例中，以第一尺度循序分析所述一或多個(gè)圖塊，所述第一尺度不同于圖像的原生尺度，并且所述方法進(jìn)一步包括使用所述原生尺度確定對象的位姿。在一些實(shí)施例中，循序分析包括以圖像的第一尺度循序分析多個(gè)空間偏移圖塊中的全部圖塊，并且所述方法隨后包括以圖像的第二尺度循序分析多個(gè)空間偏移圖塊中的一或多個(gè)圖塊，及當(dāng)確定可基于從第二尺度下的圖塊提取的特征辨識對象時(shí)停止以第二尺度對多個(gè)空間偏移圖塊中的任何剩余圖塊的分析。在一些實(shí)施例中，第一尺度高于第二尺度。在一些實(shí)施例中，針對圖像的多個(gè)尺度中的一或多個(gè)尺度循序執(zhí)行所述循序分析，并且在辨識對象之后不再分析剩余尺度。在一些實(shí)施例中，以從最高尺度到最低尺度的次序分析多個(gè)尺度。在一些實(shí)施例中，確定是否可辨識對象包括將從圖塊提取的特征傳輸?shù)竭h(yuǎn)程裝置及從遠(yuǎn)程裝置接收對于是否可辨識對象的指示。
[0011]—般來說，本發(fā)明描述用于數(shù)字圖像中的對象識別的技術(shù)。這些技術(shù)可降低在圖像中識別對象的計(jì)算復(fù)雜度。本發(fā)明的技術(shù)基于圖像的空間分割提供關(guān)鍵點(diǎn)/特征提取?？苫趫D像內(nèi)的圖塊子集進(jìn)行檢測。僅處理圖塊子集而不是整個(gè)圖像可降低檢測管線的計(jì)算需求。所公開的空間分割還可與基于尺度的算法結(jié)合。此外，本發(fā)明提供用于通過經(jīng)定位的所檢測特征到對象的非減少取樣圖像的投影來確定所檢測對象的位姿的技術(shù)。
[0012]隨圖及以下描述中陳述一或多個(gè)實(shí)例的細(xì)節(jié)。其它特征、目標(biāo)及優(yōu)勢將從所述描述及所述圖式以及從權(quán)利要求書顯而易見。
【附圖說明】
[0013]圖1A為說明其中可應(yīng)用用于基于空間的特征提取的技術(shù)的實(shí)例系統(tǒng)的框圖。
[0014]圖1B為具有四個(gè)階的圖像金字塔的概念圖。
[0015]圖2為說明以光柵掃描模式處理圖像中圖塊的概念圖。
[0016]圖3為說明根據(jù)擴(kuò)展圈模式處理圖像中圖塊的概念圖。
[0017]圖4為說明用于基于圖像的空間處理執(zhí)行從檢測管線提早退出的實(shí)例方法的流程圖。
[0018]圖5為說明在尺度及空間圖像處理之后的提早退出的概念圖。
【具體實(shí)施方式】
[0019]—般來說，本發(fā)明描述用于圖像中的對象識別的技術(shù)。這些技術(shù)可降低識別圖像中的對象的計(jì)算復(fù)雜度并支持從對象檢測管線提早退出。勝于在分析整個(gè)圖像后提取特征描述符，本發(fā)明的技術(shù)考慮到檢測圖塊(即，圖像的子集)內(nèi)的特征。在處理每一圖塊之后，可將所檢測特征的數(shù)目與閾值進(jìn)行比較并且接著與對象數(shù)據(jù)庫進(jìn)行比較。平鋪可應(yīng)用于一或多個(gè)八元組。一般來說，每一八元組對應(yīng)于圖像的特定大小(例如，像素分辨率)。針對給定八元組，可將輸入圖像按比例縮放到與分辨率相關(guān)聯(lián)的大小。本文中所描述的空間分割技術(shù)可與如2011年7月28日提交的同在申請中的美國專利申請案第13/193，294號中所描述的基于尺度的特征提取結(jié)合。
[0020]對于對象辨識，可從訓(xùn)練圖像導(dǎo)出特征描述符集合及/或其它區(qū)分信息的數(shù)據(jù)庫。接著可從目標(biāo)圖像提取特征描述符并將其用于查詢數(shù)據(jù)庫，以評估給定查詢圖像(即，存儲在數(shù)據(jù)庫中的圖像)的內(nèi)容。對于擴(kuò)增實(shí)境或視覺搜索應(yīng)用程序，客戶端(例如，蜂窩電話)可俘獲所關(guān)注的對象的圖像并將其與圖像、特征及/或元數(shù)據(jù)信息的數(shù)據(jù)庫進(jìn)行比較。此數(shù)據(jù)庫可存儲在網(wǎng)絡(luò)上的服務(wù)器上，且可由客戶端檢索以供本地處理，或替代地，可將查詢傳輸?shù)椒?wù)器以使用網(wǎng)絡(luò)資源來處理。大體上關(guān)于用以執(zhí)行圖塊內(nèi)關(guān)鍵點(diǎn)的定位及特征描述符的提取的尺度不變特征變換(SIFT)算法來描述本發(fā)明的技術(shù)。每一 SIFT特征可具有以下屬性:2D(x，y)特征位置、檢測特征的尺度、由特征鄰域中最強(qiáng)的圖像梯度的旋轉(zhuǎn)定向所給定的特征的旋轉(zhuǎn)定向及/或以區(qū)分方式描述本地像素變化的向量(例如本地圖像梯度的直方圖)。在一些實(shí)施例中，可使用除SIFT外的方法或算法識別、提取及/或定位特征描述符。
[0021]關(guān)鍵點(diǎn)識別及描述符提取在計(jì)算上可能要求很高。舉例來說，典型的一半大小的視頻圖形陣列(HVGA)圖像可產(chǎn)生數(shù)千SIFT特征。SIFT算法(包含迭代匹配過程)的實(shí)施可超出一些移動平臺上可用的計(jì)算資源。但是，在大部分實(shí)際情況下，產(chǎn)生與數(shù)據(jù)庫中的特征描述符的匹配的實(shí)際特征描述符數(shù)目往往比實(shí)際上所計(jì)算的特征描述符數(shù)目低得多。即，所計(jì)算的特征描述符的集合中的一小子集可得到對象識別結(jié)果。此情況可能部分地由查詢圖像中影響特征描述符的不同成像條件(例如，照明、視角等)引起，以使得僅幾個(gè)特征最終與數(shù)據(jù)庫中的特征匹配。本發(fā)明的技術(shù)可采用可用于識別對象的關(guān)鍵點(diǎn)可駐留在整個(gè)圖像的僅一個(gè)小區(qū)域中的空間實(shí)境，并因此降低處理整個(gè)圖像的計(jì)算需求。
[0022]圖1A為說明其中可應(yīng)用用于基于空間的特征提取的技術(shù)的實(shí)例系統(tǒng)2的框圖。在此實(shí)例中，系統(tǒng)2包含通過網(wǎng)絡(luò)40通信的客戶端裝置10及服務(wù)器裝置50。在此實(shí)例中，客戶端裝置10表示移動裝置，例如膝上型計(jì)算機(jī)、所謂的上網(wǎng)本、平板計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、蜂窩式或移動電話或手機(jī)(包含所謂的“智能電話”)、全球定位系統(tǒng)(GPS)裝置、數(shù)碼相機(jī)、數(shù)字媒體播放器、游戲裝置或能夠與服務(wù)器裝置50通信的任何其它移動裝置。雖然在本發(fā)明中關(guān)于移動客戶端裝置10進(jìn)行描述，但本發(fā)明中描述的技術(shù)在這方面不限于移動客戶端裝置。實(shí)情為，所述技術(shù)可由能夠存儲本地對象數(shù)據(jù)庫及/或能夠通過網(wǎng)絡(luò)40或任何其它通信媒體與服務(wù)器裝置50通信的任何裝置實(shí)施。
[0023]服務(wù)器裝置50表示接受連接(例如，傳輸控制協(xié)議(TCP)連接)并以其自身的TCP連接進(jìn)行響應(yīng)以形成借以接收查詢數(shù)據(jù)及提供識別數(shù)