通過借由用戶選擇來減小相機(jī)圖像的區(qū)域的快速特征檢測的制作方法
【專利摘要】本發(fā)明揭示一種用于使移動裝置例如在檢測特征和關(guān)鍵點(diǎn)時(shí)減少計(jì)算機(jī)視覺CV處理的設(shè)備和方法。本文中的實(shí)施例減小被搜索以檢測特征和關(guān)鍵點(diǎn)的圖像的搜索區(qū)域或圖像數(shù)據(jù)量。實(shí)施例將完整圖像的搜索區(qū)域限制到用戶所關(guān)注的實(shí)際區(qū)域。這個(gè)減少會減小搜索區(qū)域、減少搜索時(shí)間、減少電力消耗并且將檢測限制到用戶所關(guān)注的區(qū)域。
【專利說明】通過借由用戶選擇來減小相機(jī)圖像的區(qū)域的快速特征檢測
[0001]相關(guān)申請案的交叉參考
[0002]本申請案要求2012年6月8日提交的名稱為“通過減小相機(jī)圖像的區(qū)域的快速特征檢測(Fast feature detect1n by reducing an area of a camera image) ” 的第13/492，686號美國申請案的權(quán)益，該申請案轉(zhuǎn)讓給本發(fā)明的受讓人，并且以引用的方式明確地并入本文中。

【技術(shù)領(lǐng)域】
[0003]本發(fā)明總體上涉及用于計(jì)算機(jī)視覺(CV)處理的設(shè)備和方法，并且更具體來說涉及減小要使用CV算法針對關(guān)鍵點(diǎn)掃描以便確定特征的圖像區(qū)域。

【背景技術(shù)】
[0004]各種應(yīng)用得益于具有能夠識別出圖片中的對象和特征的機(jī)器或處理器。計(jì)算機(jī)視覺領(lǐng)域試圖提供準(zhǔn)許識別圖像中的對象和特征的技術(shù)和/或算法，其中對象或特征可以通過識別一或多個(gè)關(guān)鍵點(diǎn)的描述符來表征。這些技術(shù)和/或算法還經(jīng)常應(yīng)用于面部辨識、對象檢測、圖像匹配、三維結(jié)構(gòu)構(gòu)造、立體匹配和/或運(yùn)動追蹤以及其它應(yīng)用?？傮w上，對象或特征辨識可以包含識別圖像中的關(guān)注點(diǎn)(也稱為關(guān)鍵點(diǎn)和特征點(diǎn))，以便進(jìn)行特征識別、圖像檢索和/或?qū)ο蟊孀R。
[0005]在檢測到圖像中的關(guān)鍵點(diǎn)之后，可以通過使用各種描述符來識別或描述所述關(guān)鍵點(diǎn)。舉例來說，描述符可以表示圖像中的內(nèi)容的視覺特征，例如形狀、顏色、紋理和/或旋轉(zhuǎn)以及其它圖像特性?？梢越又鴮?yīng)于關(guān)鍵點(diǎn)并且通過描述符表示的各個(gè)特征與來自已知對象的特征的數(shù)據(jù)庫匹配。此些特征描述符越來越多地應(yīng)用于實(shí)時(shí)對象辨識、3-D重構(gòu)、全景拼接、機(jī)器人繪圖、視頻追蹤和類似任務(wù)。關(guān)于關(guān)鍵點(diǎn)和特征檢測方面的額外信息，請參照瓦達(dá)蒂(Vaddadi)等人于2011年12月8日公開的名稱為“通過修剪特征、圖像縮放和空間約束特征匹配的圖像辨識算法的性能(Performance of image recognit1n algorithmsby pruning features,image scaling,and spatially constrained feature matching)，，的美國專利公開案2011/0299770，該案的全文以引用的方式并入本文中。
[0006]因此，需要改進(jìn)特征檢測技術(shù)。


【發(fā)明內(nèi)容】

[0007]揭示一種用于使用觸摸屏反饋來指示相機(jī)圖像中的減小的所關(guān)注區(qū)域以便實(shí)現(xiàn)更快特征檢測的設(shè)備和方法，從而減少電力消耗并且改進(jìn)用戶體驗(yàn)。
[0008]根據(jù)一些方面，揭示一種用于定義用于計(jì)算機(jī)視覺算法的搜索區(qū)域的方法，所述方法包括:顯示由相機(jī)俘獲的具有第一區(qū)域的圖像；接收用戶對所述圖像的一部分的選擇；和基于所述圖像的所述部分定義用于計(jì)算機(jī)視覺算法的搜索區(qū)域；其中所述計(jì)算機(jī)視覺算法進(jìn)行的搜索限于所述搜索區(qū)域內(nèi)的一區(qū)域；并且其中與所述第一區(qū)域相比所述搜索區(qū)域減小。
[0009]根據(jù)一些方面，揭示一種用以定義用于計(jì)算機(jī)視覺算法的搜索區(qū)域的移動裝置，所述移動裝置包括:相機(jī)；用戶輸入裝置；存儲器；和處理器，其耦合到所述相機(jī)、所述用戶輸入裝置和所述存儲器；其中所述處理器經(jīng)耦合以從所述相機(jī)接收圖像、從所述用戶輸入裝置接收用戶輸入和將數(shù)據(jù)加載和存儲到所述存儲器；并且其中所述存儲器包括代碼，所述代碼當(dāng)在所述處理器上執(zhí)行時(shí)，用于:顯示由相機(jī)俘獲的具有第一區(qū)域的圖像；經(jīng)由所述輸入裝置接收用戶對所述圖像的一部分的選擇；和基于所述圖像的所述部分定義用于計(jì)算機(jī)視覺算法的搜索區(qū)域；其中所述計(jì)算機(jī)視覺算法進(jìn)行的搜索限于所述搜索區(qū)域內(nèi)的一區(qū)域；并且其中與所述第一區(qū)域相比所述搜索區(qū)域減小。
[0010]根據(jù)一些方面，揭示一種用以定義用于計(jì)算機(jī)視覺算法的搜索區(qū)域的移動裝置，所述移動裝置包括:用于顯示具有第一區(qū)域的圖像的裝置；用于接收用戶對所述圖像的一部分的選擇的裝置；和用于基于所述圖像的所述部分定義用于計(jì)算機(jī)視覺算法的搜索區(qū)域的裝置；其中所述計(jì)算機(jī)視覺算法進(jìn)行的搜索限于所述搜索區(qū)域內(nèi)的一區(qū)域；并且其中與所述第一區(qū)域相比所述搜索區(qū)域減小。
[0011]根據(jù)一些方面，揭示一種包含存儲在其上的程序代碼的非暫時(shí)性計(jì)算機(jī)可讀媒體，所述程序代碼包括用于以下操作的代碼:顯示具有第一區(qū)域的圖像；接收用戶對所述圖像的一部分的選擇；和基于所述圖像的所述部分定義用于計(jì)算機(jī)視覺算法的搜索區(qū)域；其中所述計(jì)算機(jī)視覺算法進(jìn)行的搜索限于所述搜索區(qū)域內(nèi)的一區(qū)域；并且其中與所述第一區(qū)域相比所述搜索區(qū)域減小。
[0012]應(yīng)了解，通過下列詳細(xì)描述，其它方面將對于所屬領(lǐng)域的技術(shù)人員變得容易輕而易見，其中通過說明而展示和描述了各種方面。應(yīng)將圖式和詳細(xì)描述視為說明性質(zhì)的，而不是限制性的。

【專利附圖】

【附圖說明】
[0013]將參照圖式僅舉例描述本發(fā)明的實(shí)施例。
[0014]圖1展示了根據(jù)一些實(shí)施例的移動裝置的模塊。
[0015]圖2展示了顯示圖像的移動裝置。
[0016]圖3展示了包含所顯示的圖像的一區(qū)域的默認(rèn)搜索區(qū)域。
[0017]圖4展示了在搜索之后可以在圖像中檢測到的關(guān)鍵點(diǎn)。
[0018]圖5展示了與移動裝置交互的用戶。
[0019]圖6-9展示了根據(jù)一些實(shí)施例的用移動裝置的觸摸屏顯示器識別出的用戶選定搜索區(qū)域內(nèi)的特征和關(guān)鍵點(diǎn)。
[0020]圖10展示了根據(jù)一些實(shí)施例的用以限制所顯示的圖像的搜索的方法。

【具體實(shí)施方式】
[0021]下文結(jié)合附圖闡述的詳細(xì)描述是意在作為對本發(fā)明的各種方面的描述，并且不意在表示可以實(shí)踐本發(fā)明的僅有方面。提供本發(fā)明中所描述的每一方面僅僅是作為本發(fā)明的實(shí)例或說明，并且未必應(yīng)將其理解為比其它方面優(yōu)選或有利。詳細(xì)描述包含具體細(xì)節(jié)，目的是為了提供對本發(fā)明的透徹理解。然而，所屬領(lǐng)域的技術(shù)人員將明白，可以在沒有這些具體細(xì)節(jié)的情況下實(shí)踐本發(fā)明。在一些例子中，以框圖形式展示眾所周知的結(jié)構(gòu)和裝置，以免混淆本發(fā)明的概念。僅僅為了方便和清楚起見可以使用首字母縮寫和其它描述性術(shù)語，并且所述首字母縮寫和描述性術(shù)語不意在限制本發(fā)明的范圍。
[0022]如本文中所使用，移動裝置100，有時(shí)稱為移動臺(MS)或用戶設(shè)備(UE)，例如蜂窩電話、移動電話或其它無線通信裝置、個(gè)人通信系統(tǒng)(PCS)裝置、個(gè)人導(dǎo)航裝置(PND)、個(gè)人信息管理器(PM)、個(gè)人數(shù)字助理(PDA)、膝上型計(jì)算機(jī)或其它能夠接收無線通信和/或?qū)Ш叫盘柕暮线m的移動裝置。術(shù)語“移動臺”還意在包含例如通過短程無線、紅外線、有線連接或其它連接與個(gè)人導(dǎo)航裝置(PND)通信的裝置，不論衛(wèi)星信號接收、輔助數(shù)據(jù)接收和/或位置相關(guān)處理是在裝置處還是在PND處發(fā)生。而且，“移動臺”意在包含所有能夠例如經(jīng)由因特網(wǎng)、WiFi或其它網(wǎng)絡(luò)與服務(wù)器通信的裝置，包含無線通信裝置、計(jì)算機(jī)、膝上型計(jì)算機(jī)等，并且無論衛(wèi)星信號接收、輔助數(shù)據(jù)接收和/或位置相關(guān)處理是在裝置處、服務(wù)器處還是與網(wǎng)絡(luò)相關(guān)聯(lián)的另一裝置處發(fā)生。上述各項(xiàng)的任何可操作組合也被視為“移動裝置100”。然而，所屬領(lǐng)域的技術(shù)人員將認(rèn)識到，下文所描述的實(shí)施例可能不要求用移動裝置100來進(jìn)行操作。在至少一些實(shí)施例中，下文所描述的方法和/或功能可以在任何能夠顯示圖像和接收用戶輸入的裝置上實(shí)施。
[0023]隨著移動和手持裝置中的相機(jī)的分辨率增加，計(jì)算機(jī)視覺算法(舉例來說)為了識別關(guān)鍵點(diǎn)210要搜索的數(shù)據(jù)量同樣增加。這個(gè)大量數(shù)據(jù)導(dǎo)致檢測時(shí)間更慢，并且電力消耗增加，而且會檢測到錯(cuò)誤的特征。另外，對于非常雜亂或者凌亂的圖像，用戶可能只對檢測整個(gè)圖像的有限部分中的特征感興趣。進(jìn)而，特征描述符(或等效物)的傳輸和/或存儲可能會限制對象檢測的計(jì)算速度和/或圖像數(shù)據(jù)庫的大小。在移動裝置(例如，相機(jī)電話、移動電話、某些相機(jī)等)或分布式相機(jī)網(wǎng)絡(luò)的情境中，可能會在節(jié)點(diǎn)之間傳輸信息(例如，包含圖像和/或圖像描述符)方面花費(fèi)很多通信和電力資源。因此，特征描述符壓縮可能對于減少存儲、等待時(shí)間和傳輸較為重要。
[0024]本文中的實(shí)施例提供一種用于減少必須搜索的圖像的區(qū)域或圖像數(shù)據(jù)量的方法。實(shí)施例將整個(gè)圖像的區(qū)域限制到用戶所關(guān)注的實(shí)際區(qū)域。這個(gè)減少可以減少所搜索的區(qū)域、減少搜索時(shí)間、減少電力消耗和/或?qū)z測限制到僅僅用戶所關(guān)注的區(qū)域。
[0025]在一些實(shí)施例中，用戶將其移動裝置的相機(jī)指向其中有所關(guān)注的某物的場景。用戶可以在發(fā)現(xiàn)模式中通過使用手指在移動裝置的觸摸屏上定義區(qū)域，并且圍住所關(guān)注的對象(例如，城市中的建筑物、桌子上的物件或更大很多并且可能更雜亂的圖像內(nèi)的其它對象)。用戶定義的區(qū)域可以是圓、自由樣式的環(huán)或其它封閉形狀。舉例來說，在屏幕上展示遵照用戶的手指輪廓的紅線，作為用以指示用戶已經(jīng)繪制的位置的反饋。一旦完成了對象的輪廓，用戶就在屏幕上敲擊一次，以指示用戶選擇所關(guān)注的區(qū)域完畢。移動裝置的處理器接受用戶的敲擊，然后從發(fā)現(xiàn)模式移動到檢測模式。舉例來說，裝置可以通過將輪廓高亮從紅色改變成綠色而指示模式變化?？梢詫⒂脩籼峁┑妮喞暈闇p少的所關(guān)注的區(qū)域。在一些實(shí)施例中，接著搜索所述圖像中由用戶選擇的這個(gè)減少的所關(guān)注的區(qū)域以便檢測關(guān)鍵點(diǎn)。用戶所選擇的減少的區(qū)域(第一區(qū)域)往往可能比向用戶顯示的整個(gè)圖像小很多。舉例來說，減少的區(qū)域可以小于完整圖像區(qū)域的50%。因此，搜索減小大小的圖像將花費(fèi)時(shí)間量的至少一半和更少的資源，并且將使得檢測更快很多并且更容易很多。此外，處理器僅搜索尋找用戶所關(guān)注的特征。
[0026]圖1展示了根據(jù)一些實(shí)施例的移動裝置100的模塊。移動裝置100包含顯示器110、處理器120、存儲器130、用戶輸入裝置140和相機(jī)150。處理器120耦合到顯示器110，顯示器110可以是在移動和手持裝置上找到的各種顯示器中的任一個(gè)。處理器120還耦合到存儲器130，以將數(shù)據(jù)加載和存儲到存儲器130。存儲器130含有用以執(zhí)行本文中描述的方法和操作的指令。存儲器130可以含有由用戶輸入裝置140和相機(jī)150俘獲的數(shù)據(jù)以及由處理器120計(jì)算的暫時(shí)數(shù)據(jù)。處理器120耦合到用戶輸入裝置140，用戶輸入裝置140可以是與顯示器110集成的觸摸屏、單獨(dú)的觸摸墊或控制桿、小鍵盤或其它輸入裝置。處理器120還耦合到相機(jī)150以接收由相機(jī)150俘獲的圖像。圖像可以是靜態(tài)圖像或電影流，其可以由處理器120直接或間接保存到存儲器130。
[0027]圖2展示了顯示圖像的移動裝置100。圖像可以含有一或多個(gè)對象200，舉例來說，建筑物、面部、人工對象、自然對象和/或風(fēng)景。顯示器110上的圖像可以是動態(tài)的，直到用戶拍了快照或者輸入命令(例如，用橫跨顯示器110的手指手勢，或者通過提供另一輸入)或移動裝置100先前已經(jīng)俘獲了圖像或者將圖像傳送到移動裝置100為止。
[0028]圖3展示了包含所顯示的圖像的區(qū)域300的默認(rèn)搜索區(qū)域。在現(xiàn)有技術(shù)系統(tǒng)中，對整個(gè)圖像的區(qū)域300進(jìn)行處理以尋找特征和關(guān)鍵點(diǎn)210。圖4展示了在搜索之后可以在圖像中檢測到的關(guān)鍵點(diǎn)210的實(shí)例。關(guān)鍵點(diǎn)210覆蓋在原始圖像上。在這種情況下，大部分區(qū)域300沒有任何特征或關(guān)鍵點(diǎn)210。通過如下所述選擇和/或減小搜索區(qū)域320或用戶定義的區(qū)域，可以減少對此區(qū)域300的處理。
[0029]根據(jù)實(shí)施例，用戶選擇圖像的一或多個(gè)部分。在所展示的實(shí)例圖像中，處理此區(qū)域300會導(dǎo)致處理沒有任何特征或關(guān)鍵點(diǎn)210的巨大的區(qū)域。如果用戶只對一些圖像特征感興趣，則現(xiàn)有技術(shù)系統(tǒng)仍然會處理區(qū)域300，并且因此掃描沒有特征的圖像部分和/或檢測用戶根本不感興趣或者不太感興趣的特征。舉例來說，特定圖像含有幾棟建筑物和一張面部?，F(xiàn)有技術(shù)系統(tǒng)掃描區(qū)域300，從而產(chǎn)生來自面部和幾棟建筑物(對象200)的特征和關(guān)鍵點(diǎn)210，即使用戶可能只對來自單個(gè)建筑物或其它對象的特征感興趣也是如此。本文中描述的實(shí)施例不是掃描區(qū)域300，而是允許用戶選擇(舉例來說)由用戶定義的線310劃界的一或多個(gè)子區(qū)域；只掃描(舉例來說)基于選定子區(qū)域由用戶定義的線310識別出的搜索區(qū)域320 ;并且排除對在搜索區(qū)域320外部但是在區(qū)域300內(nèi)部的區(qū)域的處理，從而僅檢測搜索區(qū)域320內(nèi)部的特征和關(guān)鍵點(diǎn)210。
[0030]圖5展示了與移動裝置100交互的用戶。在圖5中，在顯示器110上顯示圖像(例如，用移動裝置100上的相機(jī)150俘獲的圖像)。用戶使用觸摸屏顯示器或其它用戶輸入裝置140選擇圖像的一區(qū)域或多個(gè)區(qū)域。
[0031]圖6-9展示了根據(jù)一些實(shí)施例的用移動裝置100的觸摸屏顯示器識別出的用戶選定搜索區(qū)域320內(nèi)的特征和關(guān)鍵點(diǎn)210。舉例來說，在圖6中，用戶剛剛通過橫跨用戶輸入裝置140拖曳他的手指而繪制了兩個(gè)用戶定義的線310 (以定義對應(yīng)搜索區(qū)域320，其可以是由相機(jī)俘獲的圖像的兩個(gè)分開的區(qū))以圈出一或多個(gè)期望的對象。圖7展示了在用戶已經(jīng)通過橫跨圖像拖曳他的手指完成套索搜索區(qū)域320而隔離兩棟建筑物之后得出的搜索區(qū)域320。
[0032]替代地，處理可以限于僅一個(gè)搜索區(qū)域320，而不是兩個(gè)搜索區(qū)域320，如圖所示。替代地，處理可以允許用戶定義多個(gè)搜索區(qū)域320，舉例來說，兩個(gè)、三個(gè)或更多個(gè)搜索區(qū)域320。在一些實(shí)施例中，用戶可以選擇搜索區(qū)域320中的第一個(gè)來處理，并且可以接著選擇是否處理搜索區(qū)域320中的第二個(gè)，例如基于在搜索區(qū)域320中的第一個(gè)中是否識別出所關(guān)注的對象。搜索區(qū)域320消除了非選定區(qū)域中的特征檢測和處理。在數(shù)學(xué)上，非選定區(qū)域是通過區(qū)域300與搜索區(qū)域320之間的空間差異定義的(例如，通過用戶定義的線310定義的)一或多個(gè)區(qū)域。
[0033]圖8和9分別展示了用戶定義的線310和搜索區(qū)域320的交替集合。用戶不是拖曳和套索搜索區(qū)域320，而是可以敲擊圓的中心，從而創(chuàng)建一個(gè)指示用戶定義的線310(并且因此定義搜索區(qū)域320)的固定半徑的圓。用戶可以使用兩根手指用指捏技術(shù)來縮小或放大圓、橢圓或其它形狀以產(chǎn)生搜索區(qū)域320?？梢允褂闷渌斎雭矶x搜索區(qū)域或調(diào)整先前輸入的搜索區(qū)域320。在一些實(shí)施例中，可以將搜索區(qū)域320定義為封圍的區(qū)域外部的區(qū)。舉例來說，不是將搜索區(qū)域320輸入到計(jì)算機(jī)視覺(CV)算法中，而是可以忽略搜索區(qū)域320，并且可以搜索搜索區(qū)域320外部的區(qū)域或者否則將搜索區(qū)域320外部的區(qū)域輸入到CV算法中。
[0034]圖10展示了根據(jù)一些實(shí)施例用于定義用于計(jì)算機(jī)視覺算法的搜索區(qū)域的方法400。在步驟410處，處理器120在移動裝置100上顯示由相機(jī)俘獲的具有第一區(qū)域的圖像。舉例來說，所顯示的圖像可能是由移動裝置100處的相機(jī)或者替代地由另一裝置處的相機(jī)俘獲的，并且可以包含一或多個(gè)關(guān)鍵點(diǎn)210和/或?qū)ο蟆ｏ@示圖像可以在觸摸屏上發(fā)生，并且具有第一區(qū)域。
[0035]在步驟420處，處理器120從用戶接收對圖像的一部分的選擇(例如，通過用戶定義的線310)。舉例來說，處理器120可以從觸摸屏接收用戶輸入，例如一或多個(gè)中心點(diǎn)、線段或閉環(huán)。此些用戶定義的線310定義來自用戶的選擇。在步驟430處，處理器120基于用戶選擇來定義可能含有關(guān)鍵點(diǎn)210的至少一個(gè)搜索區(qū)域(例如，搜索區(qū)域320)。搜索區(qū)域320限于圖像的第一區(qū)域內(nèi)的區(qū)域。搜索區(qū)域320可以是用戶繪制的圓、橢圓、多邊形或自由形式的區(qū)域。在步驟440處，處理器120將搜索區(qū)域320提供到CV算法以檢測關(guān)鍵點(diǎn)210、特征和/或?qū)ο?。CV算法將搜索限制到搜索區(qū)域320。
[0036]CV算法可以本地地在處理器120上運(yùn)行，或者遠(yuǎn)程地在單獨(dú)的處理器(例如網(wǎng)絡(luò)上的服務(wù)器)上運(yùn)行。在CV算法部分地或完全地在遠(yuǎn)程服務(wù)器上運(yùn)行的情況下，可以將上行鏈路信息(例如，第一區(qū)域和/或搜索區(qū)域320的定義)從移動裝置100傳送到服務(wù)器。舉例來說，移動裝置100可以傳輸關(guān)于搜索區(qū)域320和要在搜索期間忽略或者包含哪一或多個(gè)圖像區(qū)段的上行鏈路信息。在一些實(shí)施例中，不傳輸用于不包含在搜索區(qū)域320中的區(qū)域300的部分的信息。例如服務(wù)器等遠(yuǎn)程裝置可以執(zhí)行計(jì)算機(jī)視覺算法的至少一部分。服務(wù)器可以搜索搜索區(qū)域320以尋找一或多個(gè)關(guān)鍵點(diǎn)210。服務(wù)器接著可以使用關(guān)鍵點(diǎn)210來辨識或識別一或多個(gè)特征和/或一或多個(gè)對象。接下來，服務(wù)器可以將下行鏈路信息(例如，一或多個(gè)識別出的關(guān)鍵點(diǎn)210、特征和/或?qū)ο?傳送到移動裝置100。
[0037]同樣，可以通過移動裝置100的處理器120上的CV算法來執(zhí)行本文中描述的服務(wù)器的一些或所有功能。也就是說，處理器120可以完全地或部分地在移動裝置100上執(zhí)行計(jì)算機(jī)視覺算法。舉例來說，計(jì)算機(jī)視覺算法可以基于關(guān)鍵點(diǎn)210識別對象的特征，并且接著至少部分地基于、辨識識別出的特征和將識別出的特征與對象的已知特征匹配。
[0038]如果移動裝置100接收到一或多個(gè)關(guān)鍵點(diǎn)210，則在步驟450處，處理器120可以基于搜索結(jié)果(例如，關(guān)鍵點(diǎn)210)來辨識或識別至少一個(gè)特征和/或至少一個(gè)對象。在一些實(shí)施例中，可以使用識別出的特征和/或?qū)ο笞鳛閷R(增強(qiáng)現(xiàn)實(shí))應(yīng)用的輸入。處理器120可以起作用以至少部分地基于計(jì)算機(jī)視覺算法的結(jié)果操作AR應(yīng)用，也可以在處理器120上執(zhí)行計(jì)算機(jī)視覺算法。最后，處理器120可以至少部分地基于計(jì)算機(jī)視覺算法的結(jié)果在AR應(yīng)用中顯示所述一或多個(gè)關(guān)鍵點(diǎn)210、特征和/或?qū)ο蟆Ｅe例來說，AR應(yīng)用可以使用關(guān)鍵點(diǎn)210和/或識別出的特征或?qū)ο笤趫D像上錨定動畫或計(jì)算機(jī)產(chǎn)生的圖標(biāo)、對象或字符，并且接著顯示含有所述動畫的合成圖像。以此方式，當(dāng)操作AR應(yīng)用或另一類型的應(yīng)用時(shí)，可以減少處理量和/或所消耗的電力。進(jìn)而，AR應(yīng)用的用戶可以減少或以其它方式限制用于AR應(yīng)用的搜索區(qū)域，或者可以相對于AR應(yīng)用識別用戶所關(guān)注的一個(gè)區(qū)或多個(gè)區(qū)。因此，舉例來說，可以針對所關(guān)注的一個(gè)區(qū)或多個(gè)區(qū)確保AR應(yīng)用提供的增強(qiáng)，或者使AR應(yīng)用提供的增強(qiáng)限于那個(gè)區(qū)或那些區(qū)。
[0039]在一些實(shí)施例中，移動裝置100上的顯示器110(例如觸摸屏顯示器)充當(dāng)用于顯示具有第一區(qū)域的圖像的裝置。替代地，在一些實(shí)施例中，處理器120充當(dāng)用于顯示具有第一區(qū)域的圖像的裝置。在一些實(shí)施例中，處理器120和/或服務(wù)器運(yùn)行計(jì)算機(jī)視覺算法、充當(dāng)用于接收用戶對圖像的一部分的選擇的裝置，和/或充當(dāng)用于基于圖像的所述部分定義用于計(jì)算機(jī)視覺算法的搜索區(qū)域的裝置。
[0040]可以依據(jù)應(yīng)用由各種裝置實(shí)施本文中描述的方法。舉例來說，可以在硬件、固件、軟件或其任何組合中實(shí)施這些方法。對于硬件實(shí)施方案，處理單元可以在一或多個(gè)專用集成電路(ASIC)、數(shù)字信號處理器(DSP)、數(shù)字信號處理裝置(DSPD)、可編程邏輯裝置(PLD)、現(xiàn)場可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器、電子裝置、其它經(jīng)設(shè)計(jì)以執(zhí)行本文中描述的功能的電子單元或其組合內(nèi)實(shí)施。
[0041]對于固件和/或軟件實(shí)施方案，可以用執(zhí)行本文中描述的功能的模塊(例如，程序、功能等等)來實(shí)施所述方法。在實(shí)施本文中描述的方法時(shí)，可以使用有形地體現(xiàn)指令的任何機(jī)器可讀媒體。舉例來說，軟件代碼可以存儲在存儲器中并且由處理器單元執(zhí)行。存儲器可以實(shí)施在處理器單元內(nèi)部或處理器單元外部。如本文中所使用，術(shù)語“存儲器”是指任何類型的長期、短期、易失性、非易失性、暫時(shí)性、非暫時(shí)性或其它存儲器，并且將不限于任何特定類型的存儲器或多個(gè)存儲器，或存儲器所存儲在的媒體的類型。
[0042]如果在固件和/或軟件中實(shí)施，則所述功能可以作為一或多個(gè)指令或代碼存儲在計(jì)算機(jī)可讀媒體上。實(shí)例包含用數(shù)據(jù)結(jié)構(gòu)編碼的計(jì)算機(jī)可讀媒體和用計(jì)算機(jī)程序編碼的計(jì)算機(jī)可讀媒體。計(jì)算機(jī)可讀媒體包含物理計(jì)算機(jī)存儲媒體。存儲媒體可為可由計(jì)算機(jī)存取的任何可用媒體。借助于實(shí)例并且不作為限制，此計(jì)算機(jī)可讀媒體可包括RAM、R0M、EEPR0M、CD-ROM或其它光盤存儲裝置、磁盤存儲裝置或其它磁性存儲裝置，或任何其它可以用于存儲指令或數(shù)據(jù)結(jié)構(gòu)的形式的期望的程序代碼并且可以被計(jì)算機(jī)存取的媒體；本文中使用的磁盤和光盤包含壓縮光盤(CD)、激光光盤、光學(xué)光盤、數(shù)字多功能光盤(DVD)、軟盤和藍(lán)光光盤，其中磁盤通常磁性地再現(xiàn)數(shù)據(jù)，而光盤使用激光光學(xué)地再現(xiàn)數(shù)據(jù)。上述各項(xiàng)的組合也應(yīng)包含在計(jì)算機(jī)可讀媒體的范圍內(nèi)。
[0043]除了存儲在計(jì)算機(jī)可讀媒體上之外，還可以在通信設(shè)備中包含的傳輸媒體上作為信號提供指令和/或數(shù)據(jù)。舉例來說，通信設(shè)備可包含具有指示指令和數(shù)據(jù)的信號的收發(fā)器。指令和數(shù)據(jù)經(jīng)配置以使得一或多個(gè)處理器實(shí)施權(quán)利要求書中概述的功能。也就是說，通信設(shè)備包含具有指示用以執(zhí)行所揭示的功能的信息的信號的傳輸媒體。在第一時(shí)間，通信設(shè)備中包含的傳輸媒體可包含用以執(zhí)行所揭示的功能的信息的第一部分，而在第二時(shí)間，通信設(shè)備中包含的傳輸媒體可包含用以執(zhí)行所揭示的功能的信息的第二部分。
[0044]提供所揭示的方面的先前描述以使得任何所屬領(lǐng)域的技術(shù)人員能夠制作或使用本發(fā)明。所屬領(lǐng)域的技術(shù)人員將容易顯而易見對這些方面的各種修改，且可在不脫離本發(fā)明的精神或范圍的情況下將本文中所定義的一般原理應(yīng)用于其它方面。
【權(quán)利要求】
1.一種用于定義用于計(jì)算機(jī)視覺算法的搜索區(qū)域的方法，所述方法包括: 顯示由相機(jī)俘獲的具有第一區(qū)域的圖像； 接收用戶對所述圖像的一部分的選擇；和 基于所述圖像的所述部分定義用于計(jì)算機(jī)視覺算法的搜索區(qū)域； 其中所述計(jì)算機(jī)視覺算法進(jìn)行的搜索限于所述搜索區(qū)域內(nèi)的一區(qū)域；并且 其中與所述第一區(qū)域相比所述搜索區(qū)域減小。
2.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括基于所述搜索的結(jié)果來辨識所述圖像中的對象。
3.根據(jù)權(quán)利要求2所述的方法，其中所述搜索包括搜索所述搜索區(qū)域以尋找關(guān)鍵點(diǎn)。
4.根據(jù)權(quán)利要求3所述的方法，其中所述計(jì)算機(jī)視覺算法包括基于所述關(guān)鍵點(diǎn)來識別所述對象的特征，并且其中所述辨識至少部分地是基于將所述識別出的特征與所述對象的已知特征匹配。
5.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括在移動裝置上執(zhí)行所述計(jì)算機(jī)視覺算法。
6.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括向遠(yuǎn)程裝置傳輸關(guān)于所述搜索區(qū)域的信息以執(zhí)行所述計(jì)算機(jī)視覺算法的至少一部分，其中所述傳輸?shù)男畔⒉话ㄋ鰣D像的在所述搜索區(qū)域外部的至少一部分。
7.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括至少部分地基于所述計(jì)算機(jī)視覺算法的結(jié)果來操作增強(qiáng)現(xiàn)實(shí)應(yīng)用。
8.根據(jù)權(quán)利要求1所述的方法，其中所述顯示包括在觸摸屏上顯示所述圖像，并且其中所述接收所述選擇包括在所述觸摸屏上接收輸入。
9.根據(jù)權(quán)利要求1所述的方法，其中所述選擇包括至少一個(gè)用戶定義的線。
10.根據(jù)權(quán)利要求9所述的方法，其中所述搜索區(qū)域包括多邊形。
11.根據(jù)權(quán)利要求9所述的方法，其中所述搜索區(qū)域包括圓。
12.根據(jù)權(quán)利要求9所述的方法，其中所述搜索區(qū)域包括自由形式的區(qū)域。
13.根據(jù)權(quán)利要求1所述的方法，其中接收所述選擇包括接受所述用戶的敲擊。
14.根據(jù)權(quán)利要求1所述的方法，其中所述搜索區(qū)域包括所述圖像的至少兩個(gè)分開的區(qū)。
15.一種用以定義用于計(jì)算機(jī)視覺算法的搜索區(qū)域的移動裝置，所述移動裝置包括:相機(jī)； 用戶輸入裝置； 存儲器；和 處理器，其耦合到所述相機(jī)、所述用戶輸入裝置和所述存儲器； 其中所述處理器經(jīng)耦合以從所述相機(jī)接收圖像、從所述用戶輸入裝置接收用戶輸入和將數(shù)據(jù)加載和存儲到所述存儲器；并且 其中所述存儲器包括代碼，所述代碼當(dāng)在所述處理器上執(zhí)行時(shí)，用于: 顯示由所述相機(jī)俘獲的具有第一區(qū)域的圖像； 經(jīng)由所述輸入裝置接收用戶對所述圖像的一部分的選擇；和 基于所述圖像的所述部分定義用于計(jì)算機(jī)視覺算法的搜索區(qū)域； 其中所述計(jì)算機(jī)視覺算法進(jìn)行的搜索限于所述搜索區(qū)域內(nèi)的一區(qū)域；并且 其中與所述第一區(qū)域相比所述搜索區(qū)域減小。
16.根據(jù)權(quán)利要求15所述的移動裝置，所述代碼進(jìn)一步包括用于基于所述搜索的結(jié)果辨識所述圖像中的對象的代碼。
17.根據(jù)權(quán)利要求16所述的移動裝置，其中所述搜索包括搜索所述搜索區(qū)域以尋找關(guān)鍵點(diǎn)。
18.根據(jù)權(quán)利要求17所述的移動裝置，其中所述計(jì)算機(jī)視覺算法包括基于所述關(guān)鍵點(diǎn)來識別所述對象的特征，并且其中所述辨識至少部分地是基于將所述識別出的特征與所述對象的已知特征匹配。
19.根據(jù)權(quán)利要求15所述的移動裝置，所述代碼進(jìn)一步包括用于在移動裝置上執(zhí)行所述計(jì)算機(jī)視覺算法的代碼。
20.根據(jù)權(quán)利要求15所述的移動裝置，所述代碼進(jìn)一步包括用于向遠(yuǎn)程裝置傳輸關(guān)于所述搜索區(qū)域的信息以執(zhí)行所述計(jì)算機(jī)視覺算法的至少一部分的代碼，其中所述傳輸?shù)男畔⒉话ㄋ鰣D像的在所述搜索區(qū)域外部的至少一部分。
21.根據(jù)權(quán)利要求15所述的移動裝置，所述代碼進(jìn)一步包括用于至少部分地基于所述計(jì)算機(jī)視覺算法的結(jié)果來操作增強(qiáng)現(xiàn)實(shí)應(yīng)用的代碼。
22.根據(jù)權(quán)利要求15所述的移動裝置，其中所述搜索區(qū)域包括所述圖像的至少兩個(gè)分開的區(qū)。
23.根據(jù)權(quán)利要求15所述的移動裝置，其中用于接受所述選擇的代碼包括用于繪制至少一個(gè)用戶定義的線的代碼。
24.根據(jù)權(quán)利要求15所述的移動裝置，其中所述搜索區(qū)域包括圓。
25.根據(jù)權(quán)利要求15所述的移動裝置，其中所述搜索區(qū)域包括自由形式的區(qū)域。
26.根據(jù)權(quán)利要求15所述的移動裝置，其中用于接收所述選擇的代碼包括用于接收所述用戶的敲擊的代碼。
27.一種用以定義用于計(jì)算機(jī)視覺算法的搜索區(qū)域的移動裝置，所述移動裝置包括: 用于顯示具有第一區(qū)域的圖像的裝置； 用于接收用戶對所述圖像的一部分的選擇的裝置；和 用于基于所述圖像的所述部分定義用于計(jì)算機(jī)視覺算法的搜索區(qū)域的裝置； 其中所述計(jì)算機(jī)視覺算法進(jìn)行的搜索限于所述搜索區(qū)域內(nèi)的一區(qū)域；并且 其中與所述第一區(qū)域相比所述搜索區(qū)域減小。
28.根據(jù)權(quán)利要求27所述的移動裝置，其中用于接受所述選擇的裝置包括用于繪制至少一個(gè)用戶定義的線的裝置。
29.根據(jù)權(quán)利要求27所述的移動裝置，其中所述搜索區(qū)域包括圓。
30.根據(jù)權(quán)利要求27所述的移動裝置，其中所述搜索區(qū)域包括自由形式的區(qū)域。
31.一種非暫時(shí)性計(jì)算機(jī)可讀媒體，包含存儲在其上的程序代碼，所述程序代碼包括用于以下操作的代碼: 顯示具有第一區(qū)域的圖像； 接收用戶對所述圖像的一部分的選擇；和 基于所述圖像的所述部分定義用于計(jì)算機(jī)視覺算法的搜索區(qū)域； 其中所述計(jì)算機(jī)視覺算法進(jìn)行的搜索限于所述搜索區(qū)域內(nèi)的一區(qū)域；并且 其中與所述第一區(qū)域相比所述搜索區(qū)域減小。
32.根據(jù)權(quán)利要求31所述的非暫時(shí)性計(jì)算機(jī)可讀媒體，其中所述用于接受所述選擇的代碼包括用于繪制至少一個(gè)用戶定義的線的代碼。
33.根據(jù)權(quán)利要求31所述的非暫時(shí)性計(jì)算機(jī)可讀媒體，其中所述搜索區(qū)域包括圓。
34.根據(jù)權(quán)利要求31所述的非暫時(shí)性計(jì)算機(jī)可讀媒體，其中所述搜索區(qū)域包括自由形式的區(qū)域。
【文檔編號】G06K9/46GK104364799SQ201380029088
【公開日】2015年2月18日 申請日期:2013年5月1日 優(yōu)先權(quán)日:2012年6月8日
【發(fā)明者】威廉·基思·霍內(nèi)阿 申請人:高通股份有限公司