專利名稱：基于由移動(dòng)設(shè)備記錄的圖像的內(nèi)容的數(shù)據(jù)訪問的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于成像訪問信息，更具體而言涉及利用具有相似的情境關(guān)連元素 (context correlation element)(例如鄰近的位置)的多個(gè)圖像來確定與圖像的內(nèi)容相關(guān)的信
肩、ο
背景技術(shù)：
將信息輸入到移動(dòng)電話或其他移動(dòng)設(shè)備中是困難的。輸入信息通常涉及在小按 鍵上鍵入以將一小組單詞輸入到搜索窗口中。在鍵入統(tǒng)一資源定位符(URL)和其他特殊 數(shù)據(jù)所需的特殊字符時(shí)，這就更加困難了。取代鍵入，一些移動(dòng)設(shè)備使用戶可以輸入語 音命令。然而，語音命令的數(shù)目和類型通常是非常有限的。這些移動(dòng)設(shè)備根據(jù)語音命令 來解釋特殊字符也是很困難的。另外，用戶常常對與其看到的事物相關(guān)的信息感興趣，這些事物是很難描述成 語音命令或音頻輸入的。許多移動(dòng)設(shè)備現(xiàn)在包括數(shù)字相機(jī)。移動(dòng)設(shè)備用戶通常可以捕捉 圖像，并且下載該圖像和/或利用消息將該圖像傳輸?shù)搅硪挥?jì)算設(shè)備。這些相機(jī)通常比 鍵盤更便宜，但也通常具有較低的分辨率，例如三百萬像素或更低。這些低分辨率相機(jī) 通常不適合于對象辨識。


參考以下附圖描述本發(fā)明的非限制性和非窮舉性實(shí)施例。在附圖中，除非另有 指明，否則相似的標(biāo)號在各圖中始終指代類似的部件。為了更好地理解本發(fā)明，現(xiàn)在將參考以下應(yīng)聯(lián)系附圖來閱讀的“具體實(shí)施方 式”部分，附圖中圖1圖示了本發(fā)明可在其中實(shí)現(xiàn)的示例性系統(tǒng)的一個(gè)實(shí)施例的示圖；圖2示出了示例性移動(dòng)設(shè)備的一個(gè)實(shí)施例的示意圖；圖3圖示了示例性網(wǎng)絡(luò)設(shè)備的一個(gè)實(shí)施例的示意圖；圖4圖示了用于基于所捕捉的圖像來確定和處理圖像相關(guān)信息的示例性整體邏 輯的流程圖；并且圖5圖示了用于基于所捕捉的圖像來確定搜索字詞和結(jié)果的示例性邏輯的流程 圖。
具體實(shí)施例方式現(xiàn)在將在下文中參考附圖更全面地描述本發(fā)明，附圖形成說明書的一部分，并且以圖示方式示出了可用來實(shí)現(xiàn)本發(fā)明的具體示例性實(shí)施例。然而，本發(fā)明可以用許 多不同形式來實(shí)現(xiàn)并且不應(yīng)當(dāng)被解釋為限于這里記載的實(shí)施例；更確切地說，提供這些 實(shí)施例是為了使本公開詳盡并完整并且會(huì)將本發(fā)明的范圍完全地傳達(dá)給本領(lǐng)域的技術(shù)人 員。本發(fā)明可以實(shí)現(xiàn)為方法或設(shè)備，等等。從而，本發(fā)明可以采取完全硬件的實(shí)施例 或者組合軟件和硬件方面的實(shí)施例的形式。以下詳細(xì)描述因此不應(yīng)當(dāng)從限制意義上來理 解。在整個(gè)說明書和權(quán)利要求中，除非上下文明確地另有規(guī)定，否則以下術(shù)語采取 與這里明確關(guān)聯(lián)的含義。這里使用的短語“在一個(gè)實(shí)施例中”不一定指的是同一實(shí)施 例，但也可以指同一實(shí)施例。另外，這里使用的短語“在另一實(shí)施例中”不一定指的是 一不同實(shí)施例，但它也可指一不同實(shí)施例。因此，如下所述，本發(fā)明的各種實(shí)施例可以 很容易被組合，而不脫離本發(fā)明的范圍或精神。此外，這里使用的術(shù)語“或”是包含性“或”運(yùn)算符，并且等同于術(shù)語“和 /或”，除非上下文明確地另有規(guī)定。術(shù)語“基于”不是排他的并且允許基于沒有記載 的其他因素，除非上下文明確地另有規(guī)定。此外，在整個(gè)說明書中，“a”、"an"和 “the”的含義包括多數(shù)形式?！霸?..中”的含義包括“在...中”和“在...上”。簡言之，本發(fā)明的實(shí)施例涉及使用圖像數(shù)據(jù)和情境性數(shù)據(jù)來確定關(guān)于場景的信 息。內(nèi)容信息可被直接訪問并返回給用戶，可被用作搜索字詞，用作其他處理的輸入， 或者用于其他目的。所捕捉的圖像數(shù)據(jù)、先前圖像分析數(shù)據(jù)、簡檔數(shù)據(jù)和從許多用戶收 集到的其他數(shù)據(jù)被用于更好地確定所捕捉的圖像的主題以及用戶最可能期望的信息。不 是依賴于高分辨率圖像和復(fù)雜的圖像處理技術(shù)，而是將與圖像和位置相關(guān)的各種形式的 數(shù)據(jù)的集合用作基于社區(qū)的辨識。圖像數(shù)據(jù)可包括鄰近同一位置的一個(gè)或多個(gè)圖像。這些圖像可由許多不同的用 戶利用不同的相機(jī)或其他設(shè)備拍攝。這(一個(gè)或多個(gè))圖像可包括非文本信息，例如徽 標(biāo)、地標(biāo)等等。作為附加或替換，這(一個(gè)或多個(gè))圖像可包括文本信息，例如標(biāo)牌、告 示牌等等上的字符串。情境性數(shù)據(jù)可包括拍攝每個(gè)圖像的位置、與拍攝一個(gè)或多個(gè)這種 圖像的移動(dòng)設(shè)備相關(guān)聯(lián)的用戶簡檔，等等。作為附加或替換，情境性數(shù)據(jù)可包括關(guān)于該 位置的已知信息，例如商家、建筑物、街道名稱、關(guān)于該位置附近的一個(gè)或多個(gè)用戶執(zhí) 行的動(dòng)作的信息，等等。可以分析圖像以確定標(biāo)識出圖像的特性的直方圖。如果圖像分 辨率允許，可執(zhí)行某種對象辨識。還可分析圖像以定位和辨識圖像內(nèi)的字符。可以相對 于同一用戶和/或其他用戶對其他圖像的分析來評估這些圖像分析，以確定圖像的可能 內(nèi)容。類似地，可以評估情境性數(shù)據(jù)以確定或修改圖像的可能內(nèi)容和/或期望的關(guān)于圖 像的可能信息。在一個(gè)實(shí)施例中，可以將所確定或辨識的關(guān)鍵字、類別或其他信息提交 給數(shù)據(jù)搜索系統(tǒng)，以取回搜索結(jié)果、來自具體辨識的統(tǒng)一資源定位符(URL)的網(wǎng)頁、電 話簿信息、廣告或其他結(jié)果。作為附加或替換，可對這些結(jié)果進(jìn)行過濾、區(qū)分優(yōu)先級、 分類或其他方式的進(jìn)一步處理。本發(fā)明的實(shí)施例識別用戶拍攝的對象的含義，并且使用此含義作為對更多信息 的請求。傳統(tǒng)上，圖像評估是利用圖像辨識算法、嵌入碼或條碼來完成的。通常，這 些圖像線索是不可靠的，圖像質(zhì)量太低，并且單是圖像辨識算法無法提供期望水平的精 確度。在擁有了足夠的情境性信息的情況下，基于已知的對象位置、先前搜索的結(jié)果等等，本發(fā)明的實(shí)施例可以迅速地判定用戶拍攝了一張告示牌的照片，該告示牌廣告最近 的動(dòng)作電影或其他具體信息。本發(fā)明的實(shí)施例可以向用戶示出一定制顯示屏，該顯示屏 示出關(guān)于圖像的主題(例如最近的電影)的更多信息。額外信息可包括最鄰近的放映的 位置和時(shí)間和/或其他信息。本發(fā)明的實(shí)施例使用盡可能多的輔助信息來辨別用戶在圖像中正看著什么。此 額外信息在這里通常被稱為情境或情境性信息。情境一般包括相機(jī)的位置、照片拍攝于 何時(shí)、時(shí)間、其他用戶在此位置處拍攝照片的概率、其他照片的內(nèi)容(其中一些可能是 利用高分辨率相機(jī)拍攝的)、用戶先前尋找過的信息、在給定同一情境的情況下不同用戶 選擇了某一種信息的可能性、鄰近此位置的對象的已知位置，等等?？梢酝ㄟ^許多不同的方式來使用情境。情境可用于使搜索偏向于有可能存在于 用戶拍攝的照片中的對象。中央服務(wù)器可從用戶接收低質(zhì)量圖像，并利用諸如地點(diǎn)敏感 型哈希之類的算法執(zhí)行圖像匹配，以找出同一位置中同一對象的更好質(zhì)量的圖像。因?yàn)?服務(wù)器過去曾接收更好的圖像，所以服務(wù)器已知分析過更好的圖像。通過對更好圖像的 這種先前分析所獲得的信息可能導(dǎo)致先前的用戶點(diǎn)擊了所產(chǎn)生的鏈接或者執(zhí)行了被服務(wù) 器跟蹤的其他動(dòng)作。從而，服務(wù)器一般擁有與可能希望的關(guān)于圖像的主題的信息有關(guān)的 更多情境性信息。還可利用概率模型來對情境性信息編碼，這提供了關(guān)于圖像的主題的 額外情境。例如，看到Starbucks店面的概率在城市地區(qū)可能較高。作為另一示例，位 置和其他情境可用于辨識獨(dú)特的社區(qū)信息，例如語言字符。例如，在美國的少數(shù)位置中 最有可能看到中文字符。基于用戶的位置，服務(wù)器可以將精力集中于辨識采取已知在新 圖像的地區(qū)中普遍使用的語言的最有可能的字符。分析圖像的工作也可被分布在網(wǎng)絡(luò)上，就像情境信息可被分布那樣?？衫玫?復(fù)雜度算法來確定圖像的數(shù)字指紋，這種算法可利用最低限度的CPU能力(例如用戶的 移動(dòng)設(shè)備)來計(jì)算。數(shù)字指紋和用戶的位置可被發(fā)送到服務(wù)器，以查明此圖像是否已經(jīng) 被服務(wù)器接收過。如果該圖像先前曾被服務(wù)器接收，則對該圖像的分析結(jié)果可被立即返 回，從而使重新分析的成本達(dá)到最低限度，并且通信費(fèi)用也達(dá)到最低限度。在該網(wǎng)絡(luò)事 務(wù)進(jìn)行期間，用戶的移動(dòng)設(shè)備可以對圖像進(jìn)行初始的特征提取和壓縮，以為在需要時(shí)將 其發(fā)送到服務(wù)器以便進(jìn)行更詳細(xì)的分析做準(zhǔn)備。該處理可開始于簡單的圖像匹配，進(jìn)而 是更精妙的算法，執(zhí)行光學(xué)字符辨識(OCR)以確定圖像中的任何文本，請求用戶輸入關(guān) 于圖像的信息，或者進(jìn)行到其他分析。本發(fā)明的一些實(shí)施例使用盡可能多的情境和圖像 信息來縮窄用戶信息請求的范圍并且遞送相關(guān)內(nèi)容。先前跟蹤的用戶行為信息也可用于 確定圖像的最可能內(nèi)容，和/或用戶期望的最可能信息。分析可隨著一次按鈕點(diǎn)擊(即， 對相機(jī)快門的點(diǎn)擊)而發(fā)生。在以下對示例性實(shí)施例的論述中提供額外細(xì)節(jié)。示例性操作環(huán)境圖1圖示了本發(fā)明可在其中操作的環(huán)境的一個(gè)實(shí)施例。然而，實(shí)現(xiàn)本發(fā)明可能 不需要所有這些組件，并且可以對組件的布置和類型進(jìn)行改變，而不脫離本發(fā)明的精神 或范圍。如圖中所示，系統(tǒng)100包括客戶端設(shè)備102-104、網(wǎng)絡(luò)105以及服務(wù)器106。網(wǎng) 絡(luò)105與客戶端設(shè)備102-104中的每一個(gè)和服務(wù)器106通信并且使得客戶端設(shè)備102-104 中的每一個(gè)和服務(wù)器106之間能夠通信。
客戶端設(shè)備102-104可包括幾乎任何能夠經(jīng)由網(wǎng)絡(luò)(例如，網(wǎng)絡(luò)105)從另一計(jì) 算設(shè)備(例如內(nèi)容服務(wù)器108)接收和向另一計(jì)算設(shè)備發(fā)送消息、相互發(fā)送消息等等的計(jì) 算設(shè)備。這種設(shè)備的集合可包括通常利用無線通信介質(zhì)連接的設(shè)備，例如蜂窩電話、智 能電話、尋呼機(jī)、步話機(jī)、射頻(RF)設(shè)備、紅外(IR)設(shè)備、CB、組合了一個(gè)或多個(gè)前 述設(shè)備的集成電路、或者幾乎任何移動(dòng)設(shè)備，等等。類似地，客戶端設(shè)備102-104可以 是任何能夠利用有線或無線通信介質(zhì)連接的設(shè)備，例如個(gè)人數(shù)字助理(PDA)、掌上PC、 可佩戴計(jì)算機(jī)以及任何其他被配備為經(jīng)由有線和/或無線通信介質(zhì)通信的設(shè)備。這種設(shè) 備的集合可包括通常利用有線通信介質(zhì)連接的設(shè)備，例如個(gè)人計(jì)算機(jī)、微處理器系統(tǒng)、 基于微處理器的或可編程的消費(fèi)類電子產(chǎn)品、網(wǎng)絡(luò)PC等等。客戶端設(shè)備102-104內(nèi)的每個(gè)客戶端設(shè)備可包括被配置為發(fā)送、接收和顯示網(wǎng) 頁等等的瀏覽器應(yīng)用。瀏覽器應(yīng)用可被配置為采用幾乎任何基于web的語言來接收和 顯示圖形、文本、多媒體等等，所述基于web的語言包括但不限于標(biāo)準(zhǔn)通用標(biāo)記語言 (SMGL)，比如超文本標(biāo)記語言(HTML)、可擴(kuò)展標(biāo)記語言(XML)、手持設(shè)備標(biāo)記語 言(HDML)，比如無線標(biāo)記語言(WML)、WMLScript、JavaScript,等等?？蛻舳嗽O(shè) 備102-104還可包括被配置為向采用另一機(jī)制的另一計(jì)算設(shè)備發(fā)送和/或從該另一設(shè)備 接收消息的消息傳遞應(yīng)用，包括但不限于即時(shí)消息傳遞(IM)、電子郵件、短消息服務(wù) (SMS)、多媒體消息服務(wù)(MMS)、互聯(lián)網(wǎng)中繼聊天(IRC)、mIRC、Jabber,等等。網(wǎng)絡(luò)105被配置為將一個(gè)計(jì)算設(shè)備耦合到另一計(jì)算設(shè)備以使它們能夠通信。網(wǎng) 絡(luò)105能夠采用用于將信息從一個(gè)電子設(shè)備傳輸至另一電子設(shè)備的任何形式的計(jì)算機(jī)可 讀介質(zhì)。另外，網(wǎng)絡(luò)105可以包括無線接口，和/或有線接口，例如因特網(wǎng)，以及局域網(wǎng) (LAN)、廣域網(wǎng)(WAN)、例如通過通用串行總線(USB)端口的直接連接、其他形式的計(jì) 算機(jī)可讀介質(zhì)，或者它們的任何組合。在LAN的互連集(包括基于不同體系結(jié)構(gòu)和協(xié)議 的那些)上，路由器充當(dāng)LAN之間的鏈路，使得消息能夠從一個(gè)發(fā)送至另一個(gè)。另外， LAN內(nèi)的通信鏈路通常包括雙絞線對或同軸線纜，而網(wǎng)絡(luò)之間的通信鏈路可以利用模擬 電話線路、包括Tl、T2、T3和T4的全部或部分專用數(shù)字線路、數(shù)字信號級別3(DS3)、 光載波3(OC3)、OC12、OC48、異步傳輸模式(ATM)、綜合業(yè)務(wù)數(shù)字網(wǎng)(ISDN)、數(shù)字 用戶線(DSL)、包括衛(wèi)星鏈路的無線鏈路或者本領(lǐng)域技術(shù)人員已知的其他通信鏈路。另 外，遠(yuǎn)程計(jì)算機(jī)和其他相關(guān)電子設(shè)備可以經(jīng)由調(diào)制解調(diào)器或臨時(shí)電話鏈路被遠(yuǎn)程地連接 到LAN或WAN。網(wǎng)絡(luò)105被構(gòu)造為結(jié)合各種通信協(xié)議和技術(shù)使用，所述通信協(xié)議和技 術(shù)包括傳輸控制協(xié)議/互聯(lián)網(wǎng)協(xié)議(TCP/IP)、用戶數(shù)據(jù)報(bào)協(xié)議(UDP)、無線應(yīng)用協(xié)議 (WAP)、全球移動(dòng)通信系統(tǒng)(GSM)、碼分多址(CDMA)、時(shí)分多址(TDMA)、通用分組 無線電服務(wù)(GPRS)、超寬帶(UWB)、IEEE 802.16全球微波接入互通(WiMax)，等等。 實(shí)質(zhì)上，網(wǎng)絡(luò)105包括可用來在客戶端設(shè)備102-104和/或服務(wù)器106之間傳送信息的任 何通信方法。用于在如上所述的通信鏈路中傳輸信息的介質(zhì)一般包括可被計(jì)算設(shè)備訪問的任 何介質(zhì)。計(jì)算機(jī)可讀介質(zhì)可包括計(jì)算機(jī)存儲介質(zhì)、有線和無線通信介質(zhì)、或其任何組 合。此外，計(jì)算機(jī)可讀介質(zhì)通常包含計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù) 據(jù)。這種數(shù)據(jù)可利用諸如載波、數(shù)據(jù)信號或其他傳輸機(jī)制之類的經(jīng)調(diào)制的數(shù)據(jù)信號通過 通信介質(zhì)傳輸，并且包括任何信息遞送介質(zhì)。術(shù)語“經(jīng)調(diào)制的數(shù)據(jù)信號”和“載波信號”包括這樣一種信號，該信號的特性中的一個(gè)或多個(gè)以將信息、指令、數(shù)據(jù)等等編碼 在該信號中的方式被設(shè)定或改變。例如，通信介質(zhì)包括諸如用于聲學(xué)、RF、紅外和其他 無線信號的液體或空間之類的無線介質(zhì)，以及諸如雙絞線對、同軸線纜、光纖、波導(dǎo)之 類的有線介質(zhì)和其他有線介質(zhì)。服務(wù)器106可包括多個(gè)計(jì)算設(shè)備或單個(gè)計(jì)算設(shè)備。服務(wù)器106可提供圖像分析服 務(wù)，例如確定直方圖、執(zhí)行OCR、將圖像與先前存儲的圖像相比較、確定關(guān)于圖像的信 息、執(zhí)行數(shù)據(jù)庫操作、執(zhí)行對額外信息的搜索、存儲關(guān)于圖像的信息、跟蹤用戶行為， 等等。服務(wù)器106還可提供內(nèi)容和/或其他服務(wù)，例如網(wǎng)站、在線日志(例如，博客)、 照片、評介、諸如消息傳遞之類的在線服務(wù)、搜索、新聞、購買、廣告，等等。服務(wù)器 106還可提供管理性服務(wù)，例如網(wǎng)絡(luò)資源(比如網(wǎng)頁等等)之間的關(guān)系的創(chuàng)建、修改和管 理。簡言之，服務(wù)器106可包括任何能夠連接到網(wǎng)絡(luò)105的計(jì)算設(shè)備并且可管理對網(wǎng)絡(luò) 用戶(例如，客戶端設(shè)備102-104中的至少一個(gè)的用戶)的服務(wù)。可充當(dāng)服務(wù)器106的 設(shè)備包括專用服務(wù)器設(shè)備、個(gè)人計(jì)算機(jī)、桌面型計(jì)算機(jī)、多處理器系統(tǒng)、基于微處理器 的或可編程的消費(fèi)類電子產(chǎn)品、網(wǎng)絡(luò)PC，等等。服務(wù)器106和/或客戶端設(shè)備102-104 中的任何一個(gè)可以實(shí)現(xiàn)在一個(gè)或多個(gè)計(jì)算設(shè)備上，例如參考圖2描述的客戶端。示例件客戶端設(shè)備圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的用作參考數(shù)據(jù)收集器設(shè)備的示例性客戶端 設(shè)備200。在一個(gè)實(shí)施例中，客戶端設(shè)備200是移動(dòng)設(shè)備，例如膝上型計(jì)算機(jī)。移動(dòng)設(shè)備 的另一示例包括被布置為經(jīng)由一個(gè)或多個(gè)無線通信接口發(fā)送和接收語音通信和諸如SMS 消息之類的消息的PDA或蜂窩電話。移動(dòng)電子設(shè)備常常能夠通過連接到一個(gè)或多個(gè)無線 網(wǎng)絡(luò)、連接到單個(gè)無線網(wǎng)絡(luò)的多個(gè)節(jié)點(diǎn)、經(jīng)由一個(gè)或多個(gè)信道與一個(gè)或多個(gè)網(wǎng)絡(luò)通信、 或者以其他方式參與一個(gè)或多個(gè)通信會(huì)話，來進(jìn)行個(gè)人通信。一般地，客戶端設(shè)備200 可包括任何移動(dòng)或靜止電子設(shè)備。這種設(shè)備包括膝上型電腦、掌上電腦、PDA、手持計(jì) 算機(jī)、蜂窩電話、智能電話、尋呼機(jī)、射頻(RF)設(shè)備、紅外(IF)設(shè)備、組合了一個(gè)或多 個(gè)前述設(shè)備的集成電路，等等?？蛻舳嗽O(shè)備200還可包括其他電子設(shè)備，例如個(gè)人計(jì)算 機(jī)、多處理器系統(tǒng)、基于微處理器的或可編程的消費(fèi)類電子產(chǎn)品、網(wǎng)絡(luò)PC、可佩戴計(jì)算 機(jī)，等等?？蛻舳嗽O(shè)備200可包括比圖2所示的多得多或更少的組件。然而，所示出的組 件足以公開用于實(shí)現(xiàn)本發(fā)明的示例性實(shí)施例。如圖中所示，客戶端設(shè)備200包括經(jīng)由總 線224與大容量存儲器230通信的處理單元222。大容量存儲器230包括RAM 232、ROM 234和其他存儲裝置。大容量存儲器 230例示了用于信息存儲的計(jì)算機(jī)存儲介質(zhì)的另一示例，這些信息例如是計(jì)算機(jī)可讀指 令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)。大容量存儲器230存儲用于控制客戶端設(shè)備200 的低級操作的基本輸入/輸出系統(tǒng)(“BK)S”)240。大容量存儲器還存儲用于控制客戶 端設(shè)備200的操作的操作系統(tǒng)241。將會(huì)明白，該組件可以包括通用操作系統(tǒng)，例如 某一版本的Windows 、UNIX或LINUX ；或者專用移動(dòng)通信操作系統(tǒng)，例如Windows Mobile 、Symbian 操作系統(tǒng)，等等。操作系統(tǒng)例如可以包括java 虛擬機(jī)模塊或與 之相接口，Java 虛擬機(jī)模塊經(jīng)由Java應(yīng)用程序來使能對硬件組件和/或操作系統(tǒng)操作的 控制。
存儲器230還包括一個(gè)或多個(gè)數(shù)據(jù)存儲單元242，其可以被客戶端設(shè)備200用來 存儲程序244和/或其他數(shù)據(jù)等等。程序244可包括計(jì)算機(jī)可執(zhí)行指令，這些指令在被 客戶端設(shè)備200執(zhí)行時(shí)發(fā)送、接收、渲染和/或以其他方式處理標(biāo)記頁面，例如HTML頁 面、XML頁面、WAP頁面(有時(shí)稱為WAP卡)，等等。從而，程序244可包括計(jì)算機(jī) 可執(zhí)行指令的瀏覽器程序，其可在操作系統(tǒng)241的控制下運(yùn)行，以使能和管理對標(biāo)記頁 面和消息(例如，HTTP、TCP/IP、SMS、MMS> IM、電子郵件和/或其他消息)、音 頻、視頻的請求、接收和渲染以及使能與另一客戶端設(shè)備的另一用戶的通訊。應(yīng)用程序 的其他示例包括日歷、聯(lián)系人管理器、任務(wù)管理器、代碼轉(zhuǎn)換器、數(shù)據(jù)庫程序、字處理 程序、電子表格程序、游戲，等等。此外，大容量存儲器230存儲圖像處置模塊246，其可作為在操作系統(tǒng)241控制 下的外部模塊運(yùn)行，作為瀏覽器內(nèi)的插件模塊運(yùn)行，在網(wǎng)頁內(nèi)運(yùn)行，或者經(jīng)由其他配置 運(yùn)行。圖像處置模塊246可執(zhí)行對圖像數(shù)據(jù)、情境信息、對圖像數(shù)據(jù)的用戶請求和與移 動(dòng)設(shè)備獲取或接收的圖像相關(guān)的其他數(shù)據(jù)的初始處理或完整處理?？蛻舳嗽O(shè)備200還包括電源226、一個(gè)或多個(gè)無線接口 250、音頻接口 252、顯示 器254、鍵區(qū)256、照明器258、可選的數(shù)據(jù)捕捉模塊259、輸入/輸出接口 260、可選的 觸覺接口 262以及可選的全球定位系統(tǒng)(GPS)接收器264。電源226向客戶端設(shè)備200 提供電力?？梢允褂每稍俪潆娀虿豢稍俪潆姷碾姵貋硖峁╇娏ΑＲ部梢杂芍T如AC適配 器或給電池補(bǔ)充電力和/或再充電的座式充電器(powered docking cradle)之類的外部電源 提供電力?？蛻舳嗽O(shè)備200可以可選地與基站通信或者直接與另一客戶端設(shè)備通信。無線 接口 250包括用于將客戶端設(shè)備200耦合到一個(gè)或多個(gè)無線網(wǎng)絡(luò)的電路，并且被構(gòu)造為結(jié) 合一個(gè)或多個(gè)通信協(xié)議和技術(shù)使用，所述通信協(xié)議和技術(shù)包括但不限于TCP/IP、UDP, GSM> CDMA、TDMA> SMS、GPRS、WAP、UWV> IEEE 802.16 (WiMax)，等等。音頻接口 252被布置為產(chǎn)生和接收音頻信號，例如人類語音的聲音、音樂，等 等。例如，音頻接口 252可耦合到揚(yáng)聲器和麥克風(fēng)(未示出)，來使能與他人的通訊以 及/或生成對某個(gè)動(dòng)作的音頻確認(rèn)。顯示器254可以是液晶顯示器(LCD)、氣體等離子 體、發(fā)光二極管(LED)或與客戶端設(shè)備結(jié)合使用的任何其他類型的顯示器。顯示器254 還可以包括被布置來從諸如觸筆或人類的手指之類的物體接收輸入的觸摸感知屏。鍵區(qū)256可以包括被布置來從用戶接收輸入的任何輸入設(shè)備。例如，鍵區(qū)256 可以包括鍵盤、按鈕數(shù)字撥號盤，等等。鍵區(qū)256還可以包括與選擇和執(zhí)行可改變的處 理相關(guān)聯(lián)的命令按鈕。照明器258可以提供狀態(tài)指示和/或提供光。照明器258可以在 特定時(shí)段期間或響應(yīng)于事件而保持活動(dòng)。例如，當(dāng)照明器258活動(dòng)時(shí)，其可以從背后照 明鍵區(qū)256上的按鈕并且在客戶端設(shè)備被供電期間保持開啟。另外，照明器258可以在 特定的動(dòng)作(例如，撥叫另一客戶端設(shè)備)被執(zhí)行時(shí)以不同的圖案來從背后照明這些按 鈕。照明器258還可以使得位于移動(dòng)設(shè)備的透明或半透明外殼內(nèi)的光源響應(yīng)于動(dòng)作來進(jìn) 行照明。照明器258還可用作圖像捕捉的閃光燈。在客戶端設(shè)備200中可包括數(shù)據(jù)捕捉 模塊259，例如相機(jī)?？蛻舳嗽O(shè)備可獲得圖像、視頻、溫度、壓力或其他數(shù)據(jù)。客戶端設(shè)備200還包括用于與外部設(shè)備(例如，頭戴式耳機(jī))或圖2中未示出的 其他輸入或輸出設(shè)備進(jìn)行通信的輸入/輸出接口 260。輸入/輸出接口 260可以利用一種或多種通信技術(shù)，例如USB、紅外、Bluetooth 等等?？蛇x的觸覺接口 262被布置為向 客戶端設(shè)備的用戶提供觸覺反饋。例如，觸覺接口可以被用來在另一客戶端設(shè)備用戶呼 叫時(shí)以特定方式振動(dòng)客戶端設(shè)備200。 可選的GPS收發(fā)器264可以確定客戶端設(shè)備200在地球表面上的物理坐標(biāo)，其通 常將位置以維度和經(jīng)度值的形式輸出。GPS收發(fā)器264還可以采用其他地理定位機(jī)制， 包括但不限于三角測量、輔助GPS(AGPS)、增強(qiáng)型觀測時(shí)間差(E-OTD)、蜂窩標(biāo)識符 (Cl)、服務(wù)區(qū)域標(biāo)識符(SAI)、增強(qiáng)型定時(shí)提前(ETA)、基站子系統(tǒng)(BSS)等等，來進(jìn)一 步確定客戶端設(shè)備200在地球表面上的物理位置?？梢岳斫?，在不同的條件下，GPS收 發(fā)器264可以為客戶端設(shè)備200確定毫米精度的物理位置；而在其他情況中，所確定的物 理位置可能不那么精確，例如精度為米或大得多的距離。示例件網(wǎng)絡(luò)設(shè)備圖3示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的網(wǎng)絡(luò)設(shè)備的一個(gè)實(shí)施例。網(wǎng)絡(luò)設(shè)備300可 包括比所示出的多得多或更少的組件。然而，所示出的組件足以公開用于實(shí)現(xiàn)本發(fā)明的 示例性實(shí)施例。網(wǎng)絡(luò)設(shè)備300例如可表示分類服務(wù)器106、內(nèi)容服務(wù)器108或圖1的另一 客戶端設(shè)備。出于示例目的，將把網(wǎng)絡(luò)設(shè)備300作為服務(wù)器設(shè)備來描述。如圖中所示，網(wǎng)絡(luò)設(shè)備300包括經(jīng)由總線324與大容量存儲器330通信的處理單 元322。大容量存儲器330 —般包括RAM 332、ROM 334和其他存儲裝置。大容量存 儲器330例示了一類計(jì)算機(jī)可讀介質(zhì)，即計(jì)算機(jī)存儲介質(zhì)。計(jì)算機(jī)存儲介質(zhì)可以包括以 任何信息存儲的方法或技術(shù)實(shí)現(xiàn)的易失性、非易失性、可移除和非可移除介質(zhì)，這些信 息例如是計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)。計(jì)算機(jī)存儲介質(zhì)的示例包 括EEPROM、閃存或其它半導(dǎo)體存儲器技術(shù)、CD-ROM、數(shù)字多功能盤(DVD)或其它光 學(xué)存儲裝置、盒式磁帶、磁帶、磁盤存儲裝置或其它磁存儲設(shè)備或可以用來存儲所期望 的信息并且可由計(jì)算設(shè)備訪問的任何其它介質(zhì)。大容量存儲器330存儲用于控制服務(wù)器設(shè)備300的低級操作的基本輸入/輸出 系統(tǒng)(“BIOS”)340。大容量存儲器還存儲用于控制服務(wù)器設(shè)備300的操作的操作系 統(tǒng)341。將會(huì)明白，該組件可以包括通用操作系統(tǒng)，例如某一版本的Windows、UNIX、 LINUX、Solaris等等。操作系統(tǒng)也可以包括Java虛擬機(jī)模塊或與之相接口，Java虛擬機(jī) 模塊經(jīng)由Java應(yīng)用程序來使能對硬件組件和/或操作系統(tǒng)操作的控制。大容量存儲器330還包括一個(gè)或多個(gè)數(shù)據(jù)存儲單元342，其可被服務(wù)器設(shè)備300 用來存儲程序344和/或其他數(shù)據(jù)等等。程序344可包括計(jì)算機(jī)可執(zhí)行指令，這些指令 可被服務(wù)器設(shè)備300執(zhí)行以實(shí)現(xiàn)標(biāo)記處置器應(yīng)用，例如用于發(fā)送、接收和以其他方式處 理HTTP通信的HTTP處置器應(yīng)用、用于發(fā)送、接收和以其他方式處理WAP通信的WAP 處置器應(yīng)用，等等。類似地，程序344可包括安全套接字層(SSL)處置器應(yīng)用，用于處 理安全連接，例如以安全方式發(fā)起以外部應(yīng)用的通信。應(yīng)用程序的其他示例包括內(nèi)容管 理應(yīng)用、消息傳遞應(yīng)用、日程安排器、日歷、web服務(wù)、代碼轉(zhuǎn)換器、數(shù)據(jù)庫程序、字 處理程序、電子表格程序、游戲，等等。從而，程序344可處理圖像、音頻、視頻或標(biāo) 記頁面，使能與另一電子設(shè)備的另一用戶的通訊，和/或其他服務(wù)。此外，大容量存儲器330存儲圖像處理模塊346。圖像處理模塊346可包括計(jì)算 機(jī)可執(zhí)行指令，這些指令可在操作系統(tǒng)341的控制下運(yùn)行，以分析圖像、比較圖像、確定情境信息、訪問與位置相關(guān)聯(lián)的信息、評估用戶行為數(shù)據(jù)、確定搜索字詞、或者執(zhí)行 與圖像相關(guān)的其他處理。在一個(gè)實(shí)施例中，圖像處理模塊346 —般與客戶端設(shè)備上的圖 像處置模塊通信。大容量存儲器330還可包括搜索模塊348，其可以是圖像處理模塊346 的一部分或與圖像處理模塊346通信。搜索模塊348可包括搜索引擎，該搜索引擎一般 執(zhí)行數(shù)據(jù)搜索，例如內(nèi)容搜索、對到網(wǎng)絡(luò)資源的鏈接的搜索、數(shù)據(jù)庫搜索，等等。服務(wù)器設(shè)備300還包括用于與輸入/輸出設(shè)備通信的輸入/輸出接口 360，所述 輸入/輸出設(shè)備例如是鍵盤、鼠標(biāo)、滾輪、操縱桿、搖臂開關(guān)、鍵區(qū)、打印機(jī)、掃描儀 和/或圖3中沒有具體示出的其他輸入設(shè)備。服務(wù)器設(shè)備300的用戶可使用輸入/輸出 設(shè)備來與用戶接口交互，該用戶接口可與操作系統(tǒng)341、程序344和/或其他模塊分離或 集成。與用戶接口的交互包括經(jīng)由顯示器和視頻顯示適配器354的視覺交互。服務(wù)器設(shè)備300可包括用于計(jì)算機(jī)可讀存儲介質(zhì)的可移除介質(zhì)驅(qū)動(dòng)器352和/或 永久介質(zhì)驅(qū)動(dòng)器354?？梢瞥橘|(zhì)驅(qū)動(dòng)器352可包括光盤驅(qū)動(dòng)器、軟盤驅(qū)動(dòng)器和/或磁 帶驅(qū)動(dòng)器中的一種或多種。永久或可移除存儲介質(zhì)可包括以任何信息存儲的方法或技術(shù) 實(shí)現(xiàn)的易失性、非易失性、可移除和非可移除介質(zhì)，這些信息例如是計(jì)算機(jī)可讀指令、 數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)。計(jì)算機(jī)存儲介質(zhì)的示例包括CD-ROM 355、數(shù)字多 功能盤(DVD)或其他光存儲裝置、盒式磁帶、磁帶、磁盤存儲裝置或其它磁存儲設(shè)備、 RAM、ROM、EEPROM、閃存或其他存儲器技術(shù)、或可以用來存儲所期望的信息并且可 由計(jì)算設(shè)備訪問的任何其它介質(zhì)。經(jīng)由網(wǎng)絡(luò)通信接口單元350，服務(wù)器設(shè)備300可與廣域網(wǎng)(例如因特網(wǎng))、局域 網(wǎng)、有線電話網(wǎng)、蜂窩電話網(wǎng)或某種其他通信網(wǎng)絡(luò)(例如圖1中的網(wǎng)絡(luò)105)通信。網(wǎng)絡(luò) 通信接口單元350有時(shí)被稱為收發(fā)器、收發(fā)設(shè)備、網(wǎng)絡(luò)接口卡(NIC)，等等。示例性邏輯圖4圖示了用于基于圖像數(shù)據(jù)來處理信息請求的示例性流程圖400。在一個(gè)示 例性實(shí)施例中，信息請求可以是基于從圖像確定的數(shù)據(jù)的額外信息的搜索請求。在操 作402，一個(gè)或多個(gè)數(shù)據(jù)服務(wù)建立情境性關(guān)連數(shù)據(jù)的一個(gè)或多個(gè)數(shù)據(jù)庫，所述情境性關(guān)連 數(shù)據(jù)例如是位置相關(guān)信息、用戶相關(guān)信息、時(shí)間相關(guān)數(shù)據(jù)、或者指示出圖像的情境或用 于關(guān)連圖像的其他數(shù)據(jù)。情境關(guān)連信息的示例可包括地理位置數(shù)據(jù)、廣告信息、商家信 息、通信節(jié)點(diǎn)信息、天氣信息、交通信息或其他信息。地理位置數(shù)據(jù)可包括GPS數(shù)據(jù)、 郵政編碼、街道名稱、街道地址、建筑物名稱、地標(biāo)，等等。廣告信息可包括關(guān)于告示 牌、繪制的壁式標(biāo)牌、街道級標(biāo)牌、店面標(biāo)牌等等的位置、內(nèi)容和其他信息。商家信息 可包括商家名稱、地址、電話號碼、商標(biāo)、徽標(biāo)、URL、電子郵件地址、許諾銷售的產(chǎn) 品、庫存信息、價(jià)格，等等。通信節(jié)點(diǎn)信息可包括蜂窩塔位置、wifi熱點(diǎn)位置、網(wǎng)絡(luò)地 址信息、通信能力信息，等等。也可通過位置相關(guān)信息的(一個(gè)或多個(gè))數(shù)據(jù)庫來維護(hù) 實(shí)時(shí)數(shù)據(jù)。例如，數(shù)據(jù)服務(wù)可提供當(dāng)前天氣狀況、交通狀況、事件活動(dòng)，等等。類似地，在此實(shí)施例中，(一個(gè)或多個(gè))數(shù)據(jù)服務(wù)在操作404中跟蹤客戶端的在 線行為?？蛻舳擞脩粜袨橐话闩c行為的位置相關(guān)聯(lián)。在用戶許可的情況下，該(一個(gè)或 多個(gè))數(shù)據(jù)服務(wù)可跟蹤消息傳遞、執(zhí)行的搜索、選擇的URL、進(jìn)行的購買，等等。該(一 個(gè)或多個(gè))數(shù)據(jù)服務(wù)還可確定與在線行為相關(guān)的其他參數(shù)。例如，數(shù)據(jù)服務(wù)可基于消息 交換而確定若干個(gè)客戶端用戶認(rèn)識彼此，可以確定客戶端用戶可能有的興趣，等等。數(shù)據(jù)服務(wù)還可以確定構(gòu)成用戶的社交網(wǎng)絡(luò)的間接關(guān)系。在操作406，客戶端用戶利用移動(dòng)客戶端設(shè)備來捕捉圖像數(shù)據(jù)。所捕捉的圖像 數(shù)據(jù)一般與一個(gè)或多個(gè)情境關(guān)連數(shù)據(jù)元素相關(guān)聯(lián)，所述情境關(guān)連數(shù)據(jù)元素例如是位置和/ 或以上所述的其他數(shù)據(jù)。例如，用戶可利用蜂窩電話拍攝告示牌的照片。圖像和/或 位置數(shù)據(jù)可與時(shí)間戳、蜂窩塔位置、wifi網(wǎng)絡(luò)節(jié)點(diǎn)地址或其他數(shù)據(jù)相關(guān)聯(lián)。告示牌可包 括商家名稱、徽標(biāo)、電話號碼、URL或其他內(nèi)容?？蛻舳嗽O(shè)備可在本地執(zhí)行進(jìn)一步的處 理，或者可將圖像和/或位置數(shù)據(jù)傳輸給服務(wù)器。例如，客戶端設(shè)備可能能夠執(zhí)行某種 圖像直方圖分析、圖像指紋分析，等等?？蛻舳嗽O(shè)備可執(zhí)行這種分析并將結(jié)果傳輸給服 務(wù)器。然而，在許多情況下，諸如蜂窩電話之類的客戶端設(shè)備將具有有限的圖像處理能 力。這種設(shè)備一般將把原始的或經(jīng)壓縮的圖像數(shù)據(jù)和位置數(shù)據(jù)發(fā)送給服務(wù)器。在可選的操作408，服務(wù)器可接收捕捉了圖像的客戶端的客戶端標(biāo)識符，例如電 話號碼、移動(dòng)標(biāo)識號碼、用戶標(biāo)識符，等等。服務(wù)器可以使用客戶端標(biāo)識符來訪問先前 存儲的與該客戶端標(biāo)識符相關(guān)聯(lián)的信息，例如先前提交的圖像、先前提交的位置、客戶 端設(shè)備能力、用戶行為、與該客戶端標(biāo)識符相關(guān)的匯總信息，等等。服務(wù)器或客戶端設(shè) 備還可接收與圖像的位置相關(guān)聯(lián)的其他信息。如上所述，這種信息可以是預(yù)先確立的位 置數(shù)據(jù)或者可包括與位置相關(guān)的實(shí)時(shí)數(shù)據(jù)。例如，服務(wù)器可訪問或接收與鄰近圖像捕捉 位置的位置相關(guān)聯(lián)的商家信息。該商家信息可標(biāo)識出商家及其與圖像捕捉位置的距離。 類似地，服務(wù)器可以訪問或接收與圖像捕捉位置相關(guān)的其他情境數(shù)據(jù)，例如街道名稱、 郵政編碼、天氣狀況、交通狀況，等等。在操作410，服務(wù)器或客戶端設(shè)備分析所捕捉的圖像以確定圖像直方圖。圖像直 方圖一般標(biāo)識出圖像的顏色參數(shù)和其他特性，以便圖像可以很容易被比較。在每個(gè)人都 利用相同相機(jī)在同一位置拍攝圖片的理想情形中，那么通過比較相應(yīng)的圖像像素進(jìn)行的 簡單圖像比較就將給出關(guān)于這些圖像是否是對同一對象拍攝的的確切度量。但這種簡單 的度量一般是不充分的。在簡單的情況中，通過計(jì)算在圖像中找到的顏色的直方圖來比較兩個(gè)圖像以尋 找相似點(diǎn)。用于確定兩個(gè)圖像是否相似的量度只是比較(數(shù)十種)不同顏色中的每一種顏 色的像素部分的問題。此量度之所以有用是因?yàn)椴徽撓鄼C(jī)如何被旋轉(zhuǎn)它都能起作用，并 且往往不受縮放和變換的影響。例如，它一般對于確定看到了哪個(gè)告示牌是很有用的， 因?yàn)樵诓煌局g顏色是獨(dú)特的。對于確定在所捕捉的圖像中某人站在若干個(gè)灰石型 銀行大樓中的哪一個(gè)前面，它則可能不那么有效。更精妙的方案，例如那些基于顯點(diǎn)(salient point)的，一般更健壯。在此方案 中，在圖像上運(yùn)行一操作符，該操作符標(biāo)識出圖像中尤其明顯的點(diǎn)或者不論朝向如何都 突顯出來的點(diǎn)。這些點(diǎn)通常是諸如拐角之類的圖像特征。一旦識別出顯點(diǎn)，就通過包 括顏色、局部紋理和朝向在內(nèi)的任意數(shù)目的度量來表征它們。一般在如下情況下可判斷 兩個(gè)圖像相似，即，如果每個(gè)圖像中的顯點(diǎn)有很大比例可被匹配并且它們具有正確的對 齊。這種技術(shù)的示例的更多細(xì)節(jié)在David G.Lowe所著的“Object Recognition fromLocal Scale-Invariant Features ” 中記載。在判定操作412，服務(wù)器可以檢查先前存儲的直方圖(或顯點(diǎn)，等等)是否在預(yù) 定的匹配閾值內(nèi)匹配新接收的圖像的直方圖(或顯點(diǎn)，等等)。在此示例性實(shí)施例中，服務(wù)器選擇來自先前接收的圖像的直方圖數(shù)據(jù)，用于與所捕捉的圖像的直方圖結(jié)果相比 較。為了減少比較次數(shù)，服務(wù)器可以基于情境關(guān)連元素來選擇先前圖像分析數(shù)據(jù)，例如 從所捕捉的圖像的位置起的預(yù)定半徑。在一個(gè)實(shí)施例中，服務(wù)器可以選擇“最佳”先前 圖像，或者與當(dāng)前捕捉的圖像相距一定距離內(nèi)的最高分辨率圖像中排名靠前的若干個(gè)。 作為附加或替換，服務(wù)器可以使用其他標(biāo)準(zhǔn)來對先前直方圖數(shù)據(jù)進(jìn)行過濾、優(yōu)先級區(qū)分 或其他方式的選擇。其他標(biāo)準(zhǔn)可包括從所捕捉的圖像起的一定范圍內(nèi)的直方圖特性、 各種數(shù)據(jù)庫中的圖像的分辨率、僅限與特定的一組用戶標(biāo)識符或移動(dòng)設(shè)備標(biāo)識符相關(guān)聯(lián) 的先前圖像分析數(shù)據(jù)、在從圖像捕捉位置起的一定數(shù)目的已知街區(qū)內(nèi)的先前圖像分析數(shù)據(jù)等等ο一旦選擇了先前圖像分析數(shù)據(jù)，服務(wù)器就將所選擇的數(shù)據(jù)與對所捕捉圖像的圖 像分析結(jié)果相比較。另一圖像可具有非常相似的圖像直方圖，即使該另一圖像可能具有 不同的變焦、光線或其他圖像參數(shù)。例如，一個(gè)圖像可從一定的距離、在一天的某個(gè)時(shí) 刻捕捉告示牌。另一圖像可從另一不同距離、在一天的另一不同時(shí)刻捕捉同一告示牌。 每個(gè)圖像的圖像直方圖可被比較，以確定它們是否捕捉同一告示牌?；蛘?，一個(gè)圖像的 一部分可具有與另一圖像的一部分的直方圖非常相似的直方圖。相似的部分可被檢測和 比較。相似的部分可對應(yīng)于徽標(biāo)或其他非字符符號。每個(gè)直方圖可充當(dāng)用于標(biāo)識圖像的 數(shù)字指紋。相同的或者從統(tǒng)計(jì)角度而言在預(yù)定閾值內(nèi)相同的直方圖可被認(rèn)為是等同的。 這些比較幫助識別圖像的內(nèi)容。如果用戶簡檔數(shù)據(jù)與所捕捉的圖像和至少一個(gè)先前圖像相關(guān)聯(lián)，則先前用戶簡 檔數(shù)據(jù)也可被選擇并與當(dāng)前捕捉的圖像的用戶簡檔數(shù)據(jù)相比較。這可幫助解決關(guān)于分辨 可能的徽標(biāo)的不確定性，提供先前商家交互信息，或者提供關(guān)于所捕捉的圖像的其他額 外情境信息。一般地，如果找到了匹配，則服務(wù)器可以訪問上述任何一項(xiàng)，或者其他描述性 信息、搜索字詞、或與先前圖像相關(guān)的其他信息、和/或與用于與所捕捉的圖像相關(guān)的 情境關(guān)連數(shù)據(jù)相關(guān)的信息。在一個(gè)實(shí)施例中，情境關(guān)連數(shù)據(jù)是捕捉當(dāng)前和先前圖像的位 置。在一些實(shí)施例中，在操作414，服務(wù)器可以執(zhí)行搜索，執(zhí)行其他處理，和/或立即 向客戶端設(shè)備返回圖像內(nèi)容信息，例如先前存儲的圖像相關(guān)信息和/或先前存儲的位置 相關(guān)信息。圖像內(nèi)容信息可以僅標(biāo)識出圖像的內(nèi)容或者可以包括關(guān)于圖像的內(nèi)容的信 息。在一些實(shí)施例中，服務(wù)器可以在此結(jié)束其圖像處理操作，或者可以繼續(xù)進(jìn)行進(jìn)一步 處理，如圖所示，以獲得額外的圖像相關(guān)信息和/或位置相關(guān)信息。與直方圖評估類似，在操作416，服務(wù)器或客戶端設(shè)備可執(zhí)行光學(xué)字符辨識 (OCR)分析，以識別出圖像內(nèi)的字符。在此實(shí)施例中，服務(wù)器以光學(xué)方式辨識出現(xiàn)在所 捕捉的場景的圖像中的字符。這種圖像一般是照片而不只是簡單的黑白頁面，因此諸如 用于視頻OCR的技術(shù)之類的更復(fù)雜的技術(shù)是有用的。一個(gè)處理包括兩個(gè)步驟檢測和辨 識。檢測一般識別出圖像的下述可能區(qū)域這種區(qū)域包括具有指示出其可能是文本的統(tǒng) 計(jì)行為的紋理。例如，西方字母具有許多緊鄰的水平和垂直線。一旦識別出可能區(qū)域， 可能具有用于約束可能的單詞的語言模型的模式辨識方法就被用于確定最可能的文本。 用于 OCR 的示例性技術(shù)的細(xì)節(jié)在 Roman Yampolskiy 所著的 “Feature Extraction Approaches For Optical Character Recognition” (其中包括 Rainer Lienhart 所著的一章)中記載。
在此實(shí)施例的判定操作418中，服務(wù)器選擇來自先前接收的圖像的OCR數(shù)據(jù)， 用于與所捕捉的圖像的OCR結(jié)果相比較。與直方圖分析類似，服務(wù)器可以基于情境關(guān)連 數(shù)據(jù)來選擇先前圖像分析數(shù)據(jù)，例如從所捕捉的圖像的位置起的預(yù)定半徑。在一個(gè)實(shí)施 例中，服務(wù)器可以選擇“最佳”先前圖像，或者與當(dāng)前捕捉的圖像相距一定距離內(nèi)的最 高分辨率圖像中排名靠前的若干個(gè)。作為附加或替換，服務(wù)器可以使用其他標(biāo)準(zhǔn)來對先 前OCR數(shù)據(jù)進(jìn)行過濾、優(yōu)先級區(qū)分或其他方式的選擇。其他標(biāo)準(zhǔn)可包括各種數(shù)據(jù)庫中的 圖像的分辨率、與OCR結(jié)果的單詞相似的單詞的所需最小數(shù)目、僅限與特定的一組用戶 標(biāo)識符或移動(dòng)設(shè)備標(biāo)識符相關(guān)聯(lián)的先前圖像分析數(shù)據(jù)、在從圖像捕捉位置起的一定數(shù)目 的已知街區(qū)內(nèi)的先前圖像分析數(shù)據(jù)，等等。一旦選擇了先前OCR圖像分析數(shù)據(jù)，服務(wù)器就將所選擇的數(shù)據(jù)與對所捕捉圖像 的圖像分析結(jié)果相比較。所辨識出的字符可被比較，以確定匹配的單詞、URL、電話號 碼，等等。匹配可基于預(yù)定的匹配閾值。例如，為了斷定在所捕捉的圖像和先前獲得的 圖像之間存在匹配，可能需要字符串中的預(yù)定百分比匹配。這些OCR比較可獨(dú)立地幫助 識別圖像的內(nèi)容，或者可與直方圖比較結(jié)合使用。同樣與直方圖分析類似，如果用戶簡檔數(shù)據(jù)與所捕捉的圖像和至少一個(gè)先前 OCR圖像相關(guān)聯(lián)，則先前用戶簡檔數(shù)據(jù)也可被選擇并與當(dāng)前捕捉的圖像的用戶簡檔數(shù)據(jù) 相比較。這可幫助解決關(guān)于部分辨識的字符或串的不確定性，提供先前商家交互信息， 或者提供關(guān)于所捕捉的圖像的其他額外情境信息。一般地，如果找到了匹配，則服務(wù)器可以訪問上述任何一項(xiàng)，或者其他描述性信 息、搜索字詞、或與先前圖像相關(guān)的其他信息、和/或與捕捉當(dāng)前和先前圖像的位置相關(guān) 的信息。在一些實(shí)施例中，在操作420，服務(wù)器可以執(zhí)行搜索，執(zhí)行其他處理，和/或立 即向客戶端設(shè)備返回圖像內(nèi)容信息，例如先前存儲的圖像相關(guān)信息和/或先前存儲的位置 相關(guān)信息。在一些實(shí)施例中，服務(wù)器可以在此結(jié)束其圖像處理操作，或者可以繼續(xù)進(jìn)行 進(jìn)一步處理，如圖所示，以獲得額外的圖像相關(guān)信息和/或位置相關(guān)信息，確定客戶端 用戶可能期望的圖像相關(guān)信息和/或位置相關(guān)信息，執(zhí)行搜索，或執(zhí)行其他操作。在此示例性實(shí)施例中，在操作422，服務(wù)器使用通過直方圖和OCR分析獲得的 信息來對圖像相關(guān)信息和/或位置相關(guān)信息執(zhí)行一個(gè)或多個(gè)可選擇的或自動(dòng)的操作。這 種操作可包括執(zhí)行統(tǒng)計(jì)分析以確定可能的內(nèi)容、搜索字詞或當(dāng)前捕捉的圖像的其他圖像 相關(guān)信息。服務(wù)器可組合從所有信息源收集的信息，例如圖像、位置、來自數(shù)據(jù)庫的鄰 近興趣點(diǎn)、來自這個(gè)和其他用戶的點(diǎn)進(jìn)數(shù)據(jù)，等等。服務(wù)器還可以判定是否存在沖突的 或含糊的信息。服務(wù)器可以訪問數(shù)據(jù)服務(wù)、返回鏈接、請求額外用戶輸入、或者其他操 作。在一個(gè)實(shí)施例中，服務(wù)器執(zhí)行搜索，這將參考圖5來更詳細(xì)描述。在操作424，服務(wù)器存儲位置信息、直方圖信息、OCR信息、操作結(jié)果、或其 他數(shù)據(jù)。所存儲的信息一般被索引到所捕捉的圖像，使得所存儲的信息可用于評估以后 捕捉的圖像。圖5示出了用于基于所捕捉的圖像來確定搜索字詞和結(jié)果的示例性邏輯的流程 圖。在一些實(shí)施例中，可通過當(dāng)前捕捉的圖像和相似圖像數(shù)據(jù)內(nèi)的可能搜索字詞或者基 于當(dāng)前捕捉的圖像和相似圖像數(shù)據(jù)的可能搜索字詞來識別圖像內(nèi)容或用戶期望的信息。 這些字詞可包括所辨識的字符、匹配的串、匹配的直方圖特性、手工預(yù)填充的字詞、所捕捉的圖像的位置，等等。所捕捉的圖像的直方圖數(shù)據(jù)可用作其他直方圖數(shù)據(jù)庫或其他 圖像數(shù)據(jù)庫的搜索輸入。一些實(shí)施例可使用加權(quán)來確定主要電話號碼、或URL、或商家 名稱、或者當(dāng)前捕捉的圖像內(nèi)的或基于當(dāng)前捕捉的圖像的其他優(yōu)選字詞。其他實(shí)施例可 使用加權(quán)來確定主要科學(xué)字詞(例如實(shí)驗(yàn)室中的那些)或者藝術(shù)字詞(例如博物館中的那 些)，等等。在此示例性實(shí)施例中，為了基于圖像數(shù)據(jù)確定可能的搜索字詞，在操作502， 服務(wù)器使用情境性的圖像相關(guān)數(shù)據(jù)來確定更可能的搜索字詞?？苫趫D像相關(guān)數(shù)據(jù)來搜 索用戶簡檔數(shù)據(jù)、個(gè)體或匯總行為數(shù)據(jù)、設(shè)備標(biāo)識符數(shù)據(jù)、或者其他這種數(shù)據(jù)。此情境 性數(shù)據(jù)還可用于對最終搜索字詞的確定進(jìn)行加權(quán)。例如，與所捕捉的數(shù)據(jù)相關(guān)聯(lián)的用戶 簡檔數(shù)據(jù)可指示出捕捉圖像的移動(dòng)設(shè)備的用戶經(jīng)常搜索電影信息。鄰近同一位置的先前 圖像也可與電影字詞相關(guān)聯(lián)。從而，所辨識的字符和直方圖數(shù)據(jù)有可能對應(yīng)于影院告示 牌，其列出當(dāng)前放映的電影。從而，服務(wù)器可確定搜索單詞、短語、演員姓名、影院品 牌、或者與電影相關(guān)的其他字詞。被跟蹤的位置數(shù)據(jù)也可用于確定與搜索字詞相關(guān)的概率模式。位置數(shù)據(jù)一般被 與圖像特征相組合。位置估計(jì)一般包括一個(gè)或多個(gè)概率估計(jì)。例如，估計(jì)可以指示出 圖像是從一定的方向以及某一可能的距離拍攝的概率。這一般形成概率空間中該點(diǎn)處的 高斯突起。在此突起內(nèi)，服務(wù)器一般將知道有具有某一概率的一些對象，這些對象可以 是來自先前圖像和服務(wù)器已知的任何地理信息的估計(jì)。例如，服務(wù)器可能知道在所捕捉 的圖像的位置附近有一銀行。類似地，圖像分類工作或OCR也可具有與之相關(guān)聯(lián)的概 率?？赏ㄟ^在后驗(yàn)概率估計(jì)中尋找峰值來改進(jìn)對所捕捉的圖像的主題的確定。這可能是 已知位置概率估計(jì)、已知的關(guān)于所捕捉圖像附近區(qū)域的先前信息和圖像辨識結(jié)果的乘法 函數(shù)。服務(wù)器還可以通過假定先前信息不會(huì)一直去到零，來使計(jì)算規(guī)則化，因?yàn)樾碌慕?筑物或新的告示牌可能在任何時(shí)間被構(gòu)建。例如，有可能新的普通零售店會(huì)在短時(shí)間內(nèi) 出現(xiàn)?；谙惹皥D像分析數(shù)據(jù)，先前圖像一般具有與每個(gè)先前圖像相關(guān)聯(lián)的語義字 詞，這些語義字詞可用于搜索匹配和其他處理。例如，與圖像相關(guān)聯(lián)的字詞可標(biāo)識出特 定登入頁面、服務(wù)或其他網(wǎng)絡(luò)資源的位置。網(wǎng)絡(luò)資源可能由廣告主、商家等等提供或由 其贊助。作為附加或替換，與圖像相關(guān)聯(lián)的字詞可提供去到一個(gè)或多個(gè)搜索結(jié)果頁面的 關(guān)鍵。(一個(gè)或多個(gè))搜索數(shù)據(jù)庫可限于或包括注冊廣告主或商家的數(shù)據(jù)庫，這些注冊廣 告主或商家提供了名稱、電話號碼、URL、電子郵件地址、位置或者關(guān)于廣告主或商家 的告示牌、標(biāo)牌或圖像中可能捕捉的其他物品的其他信息。廣告或商家數(shù)據(jù)庫或其內(nèi)容 可基于展示位置出價(jià)、額外服務(wù)收費(fèi)等等而被加權(quán)、過濾、區(qū)分優(yōu)先級，等等。中間結(jié) 果可被獲得并用于細(xì)化搜索字詞。服務(wù)器返回與所捕捉的圖像相關(guān)的搜索字詞。例如，服務(wù)器可返回最有可能是 所捕捉的圖像的主題的商家名稱、電話號碼和URL。服務(wù)器可以基于所返回的搜索字詞 而自動(dòng)獲得信息，或者可以將這些字詞發(fā)送到捕捉了圖像的移動(dòng)設(shè)備。移動(dòng)設(shè)備的用戶 可以判定是否通過瀏覽器將返回的字詞提交給通用搜索引擎。在操作504，服務(wù)器或另外的搜索引擎基于所確定的搜索字詞或者所確定的字詞 中用戶選擇的那些來執(zhí)行搜索?？梢詧?zhí)行一次或多次搜索迭代，以及/或者可搜索多個(gè)數(shù)據(jù)庫。在結(jié)果操作506中，服務(wù)器可返回WML頁面、XHTML頁面、文本頁面、SMS 消息、或者可索引到先前圖像的其他信息。返回的頁面可被認(rèn)為是關(guān)于圖像中捕捉的對 象的主頁。返回主頁可使得服務(wù)器向商家、廣告主或主頁的其他(一個(gè)或多個(gè))贊助者 收取費(fèi)用。這樣可以基于每圖片成本或每相機(jī)點(diǎn)擊成本而產(chǎn)生收入。
以上說明書、示例和數(shù)據(jù)提供了對本發(fā)明的構(gòu)成的制造和使用的完整描述。例 如，可以僅基于匹配的直方圖信息；或者僅基于匹配的OCR數(shù)據(jù)來執(zhí)行搜索處理或其他 操作。作為另一示例，可以按類似的方式評估所捕捉的音頻數(shù)據(jù)，以確定搜索字詞或由 此產(chǎn)生的信息。類似地，可以按類似的方式評估所捕捉的視頻數(shù)據(jù)，以確定搜索字詞或 由此產(chǎn)生的信息。隨著在位置附近獲得額外圖像，還可調(diào)整匹配閾值。由于可在不脫 離本發(fā)明的精神和范圍的情況下做出本發(fā)明的許多實(shí)施例，因此本發(fā)明存在于權(quán)利要求 中。
權(quán)利要求
1. 一種用于訪問信息的方法，包括接收表示由移動(dòng)設(shè)備捕捉的圖像的圖像數(shù)據(jù)； 接收指示出所述移動(dòng)設(shè)備捕捉所述圖像的位置的位置數(shù)據(jù)； 根據(jù)所述圖像數(shù)據(jù)確定圖像屬性信息；確定所述圖像屬性信息是否在預(yù)定的匹配閾值內(nèi)匹配先前獲得的屬性信息，所述先 前獲得的屬性信息是從先前獲得的圖像數(shù)據(jù)獲得的，所述先前獲得的圖像數(shù)據(jù)表示在從 所述移動(dòng)設(shè)備捕捉所述圖像的位置起的預(yù)定距離內(nèi)捕捉的先前圖像；以及如果所述圖像屬性信息在所述預(yù)定的匹配閾值內(nèi)匹配所述先前獲得的屬性信息，則 基于所述位置數(shù)據(jù)來訪問圖像內(nèi)容信息，其中所述內(nèi)容信息標(biāo)識出與所述先前獲得的圖 像數(shù)據(jù)相關(guān)聯(lián)并且與所述位置相關(guān)聯(lián)的所述圖像的內(nèi)容。
2.如權(quán)利要求1所述的方法，其中，所述圖像屬性信息包括所述圖像的直方圖，并且 所述先前獲得的屬性信息包括先前確定的所述先前圖像的直方圖。
3.如權(quán)利要求1所述的方法，其中，所述圖像屬性信息包括通過光學(xué)字符辨識從所述 圖像確定的字符，并且所述先前獲得的屬性信息包括先前確定的所述先前圖像的字符。
4.如權(quán)利要求1所述的方法，還包括如果所述圖像屬性信息在所述預(yù)定的匹配閾值內(nèi) 匹配所述先前獲得的屬性信息，則基于所述圖像內(nèi)容信息來訪問位置相關(guān)信息，其中所 述位置相關(guān)信息與所述先前獲得的圖像數(shù)據(jù)相關(guān)聯(lián)并且與所述位置相關(guān)聯(lián)。
5.如權(quán)利要求1所述的方法，其中，所述圖像內(nèi)容信息包括商家信息的標(biāo)識符。
6.如權(quán)利要求1所述的方法，其中，所述先前獲得的圖像數(shù)據(jù)是利用第二移動(dòng)設(shè)備獲 得的。
7.如權(quán)利要求1所述的方法，還包括確定與所述圖像內(nèi)容信息相關(guān)聯(lián)的搜索字詞；以及 基于所述搜索字詞來執(zhí)行數(shù)據(jù)搜索。
8.如權(quán)利要求1所述的方法，還包括 接收所述移動(dòng)設(shè)備的移動(dòng)設(shè)備標(biāo)識符；訪問與所述移動(dòng)設(shè)備標(biāo)識符相關(guān)聯(lián)的簡檔信息；以及 基于所述簡檔信息來選擇所述圖像內(nèi)容信息的一部分。
9.如權(quán)利要求8所述的方法，其中，所述簡檔信息包括與所述移動(dòng)設(shè)備的用戶相關(guān)聯(lián) 的用戶行為信息。
10.如權(quán)利要求1所述的方法，還包括確定在所述預(yù)定距離內(nèi)捕捉的多個(gè)先前圖像中每一個(gè)的優(yōu)先級；以及 基于由所述先前獲得的圖像數(shù)據(jù)表示的先前圖像的所確定的優(yōu)先級來選擇所述先前 獲得的屬性信息。
11.如權(quán)利要求1所述的方法，還包括將所述圖像內(nèi)容信息返回給所述移動(dòng)設(shè)備。
12.一種機(jī)器可讀介質(zhì)，保存著使電子設(shè)備執(zhí)行包括如權(quán)利要求1所述的步驟在內(nèi)的 多個(gè)操作的指令。
13.—種用于訪問信息的服務(wù)器，包括 處理器；與所述處理器并與網(wǎng)絡(luò)通信的通信接口；以及與所述處理器通信并存儲數(shù)據(jù)和指令的存儲器，所述指令使得所述處理器執(zhí)行多個(gè) 操作，包括接收表示由與所述網(wǎng)絡(luò)通信的移動(dòng)設(shè)備捕捉的圖像的圖像數(shù)據(jù)； 接收指示出所述移動(dòng)設(shè)備捕捉所述圖像的位置的位置數(shù)據(jù)； 根據(jù)所述圖像數(shù)據(jù)確定圖像屬性信息；確定所述圖像屬性信息是否在預(yù)定的匹配閾值內(nèi)匹配先前獲得的屬性信息，所述先 前獲得的屬性信息是從先前獲得的圖像數(shù)據(jù)獲得的，所述先前獲得的圖像數(shù)據(jù)表示在從 所述移動(dòng)設(shè)備捕捉所述圖像的位置起的預(yù)定距離內(nèi)捕捉的先前圖像；以及如果所述圖像屬性信息在所述預(yù)定的匹配閾值內(nèi)匹配所述先前獲得的屬性信息，則 基于所述位置數(shù)據(jù)來訪問圖像內(nèi)容信息，其中所述內(nèi)容信息標(biāo)識出與所述先前獲得的圖 像數(shù)據(jù)相關(guān)聯(lián)并且與所述位置相關(guān)聯(lián)的所述圖像的內(nèi)容。
14.如權(quán)利要求13所述的服務(wù)器，其中，所述圖像屬性信息包括以下各項(xiàng)中的至少一項(xiàng)所述圖像的直方圖，并且其中所述先前獲得的屬性信息包括先前確定的所述先前圖 像的直方圖；以及通過光學(xué)字符辨識從所述圖像確定的字符，并且其中所述先前獲得的屬性信息包括 先前確定的所述先前圖像的字符。
15.如權(quán)利要求13所述的服務(wù)器，其中所述指令還使得所述處理器執(zhí)行以下操作 確定與所述圖像內(nèi)容信息相關(guān)聯(lián)的搜索字詞；以及基于所述搜索字詞來執(zhí)行數(shù)據(jù)搜索。
16.如權(quán)利要求13所述的服務(wù)器，其中所述指令還使得所述處理器執(zhí)行以下操作 接收所述移動(dòng)設(shè)備的移動(dòng)設(shè)備標(biāo)識符；訪問與所述移動(dòng)設(shè)備標(biāo)識符相關(guān)聯(lián)的簡檔信息，其中所述簡檔信息包括與所述移動(dòng) 設(shè)備的用戶相關(guān)聯(lián)的用戶行為信息；以及基于所述簡檔信息來選擇所述圖像內(nèi)容信息的一部分。
17.—種用于訪問信息的方法，包括 利用成像設(shè)備來捕捉圖像；確定所述成像設(shè)備的位置； 根據(jù)所述圖像創(chuàng)建圖像數(shù)據(jù)； 根據(jù)所述圖像數(shù)據(jù)確定圖像屬性信息；通過網(wǎng)絡(luò)接口將所述圖像屬性信息發(fā)送到數(shù)據(jù)服務(wù)器，其中所述圖像屬性信息是 與要求確定所述圖像屬性信息是否在預(yù)定的匹配閾值內(nèi)匹配先前獲得的屬性信息的請求 一起被發(fā)送的，所述先前獲得的屬性信息是從先前獲得的圖像數(shù)據(jù)獲得的，所述先前獲 得的圖像數(shù)據(jù)表示在從所述移動(dòng)設(shè)備捕捉所述圖像的位置起的預(yù)定距離內(nèi)捕捉的先前圖 像；以及如果所述圖像屬性信息在所述預(yù)定的匹配閾值內(nèi)匹配所述先前獲得的屬性信息，則 基于所述位置數(shù)據(jù)來接收圖像內(nèi)容信息，其中所述內(nèi)容信息標(biāo)識出與所述先前獲得的圖 像數(shù)據(jù)相關(guān)聯(lián)并且與所述位置相關(guān)聯(lián)的所述圖像的內(nèi)容。
18.如權(quán)利要求17所述的方法，還包括向搜索引擎發(fā)送搜索請求，其中所述搜索請求包括所述圖像內(nèi)容信息的至少一部分。
19.一種用于提供對信息的訪問的網(wǎng)絡(luò)設(shè)備，包括 處理器；與所述處理器并與網(wǎng)絡(luò)通信的通信接口； 與所述處理器通信的圖像處理組件； 與所述處理器通信的位置檢測器； 與所述處理器通信的輸出組件；以及與所述處理器通信并存儲數(shù)據(jù)和指令的存儲器，所述指令使得所述處理器執(zhí)行多個(gè) 操作，包括使所述圖像處理組件捕捉圖像； 使所述位置檢測器確定捕捉所述圖像的位置； 根據(jù)所述圖像創(chuàng)建圖像數(shù)據(jù)； 根據(jù)所述圖像數(shù)據(jù)確定圖像屬性信息；通過所述通信接口將所述圖像屬性信息發(fā)送到數(shù)據(jù)服務(wù)器，其中所述圖像屬性信息 是與要求確定所述圖像屬性信息是否在預(yù)定的匹配閾值內(nèi)匹配先前獲得的屬性信息的請 求一起被發(fā)送的，所述先前獲得的屬性信息是從先前獲得的圖像數(shù)據(jù)獲得的，所述先前 獲得的圖像數(shù)據(jù)表示在從所述移動(dòng)設(shè)備捕捉所述圖像的位置起的預(yù)定距離內(nèi)捕捉的先前 圖像；以及如果所述圖像屬性信息在所述預(yù)定的匹配閾值內(nèi)匹配所述先前獲得的屬性信息，則 基于所述位置數(shù)據(jù)來接收圖像內(nèi)容信息，其中所述內(nèi)容信息標(biāo)識出與所述先前獲得的圖 像數(shù)據(jù)相關(guān)聯(lián)并且與所述位置相關(guān)聯(lián)的所述圖像的內(nèi)容。
20.如權(quán)利要求19所述的網(wǎng)絡(luò)設(shè)備，其中，所述網(wǎng)絡(luò)設(shè)備包括移動(dòng)設(shè)備。
全文摘要
本發(fā)明的實(shí)施例涉及使用圖像數(shù)據(jù)和情境性數(shù)據(jù)來基于一個(gè)或多個(gè)先前獲得的圖像確定關(guān)于場景的信息。諸如圖像捕捉的位置之類的情境性數(shù)據(jù)可用于確定與情境性數(shù)據(jù)相關(guān)的先前獲得的圖像，和其他位置相關(guān)信息，例如告示牌位置。即使在低分辨率設(shè)備(例如蜂窩電話)的情況下，也可以在先前獲得的圖像和新捕捉的圖像之間比較圖像屬性，例如直方圖或光學(xué)辨識的字符。在預(yù)定的閾值內(nèi)匹配的屬性指示出匹配的圖像。關(guān)于匹配的先前獲得的圖像的內(nèi)容的信息可被提供回給捕捉了新圖像的用戶。用戶簡檔數(shù)據(jù)可細(xì)化內(nèi)容信息。內(nèi)容信息還可用作搜索字詞，以用于額外的搜索或其他處理。
文檔編號H04W4/02GK102017661SQ200980116509
公開日2011年4月13日 申請日期2009年4月20日 優(yōu)先權(quán)日2008年5月15日
發(fā)明者阿倫·拉瑪努嘉帕若姆, 馬爾科姆·斯萊尼 申請人:雅虎公司