專利名稱：運(yùn)動(dòng)和圖像質(zhì)量監(jiān)視器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的示例性實(shí)施方式主要涉及運(yùn)動(dòng)和圖像質(zhì)量監(jiān)視，尤其 涉及一種通過(guò)運(yùn)動(dòng)和圖像質(zhì)量監(jiān)視來(lái)改善圖像匹配和/或提供節(jié)電的
技術(shù)。
背景技術(shù)：
對(duì)移動(dòng)電話用戶來(lái)說(shuō)，隨著帶有相機(jī)的移動(dòng)電話的廣泛使用， 相機(jī)應(yīng)用正在日益普及。作為結(jié)果，基于例如圖像匹配或辨別的移
動(dòng)應(yīng)用也在興起，這其中包括所謂的移動(dòng)視覺(jué)搜索。在名為"Scalable Visual Search System Simplifying Access to Network and Device Functionality"的美國(guó)專利申請(qǐng)11/592,460中描述的視覺(jué)搜索系統(tǒng)就 是一個(gè)這樣的應(yīng)用，其中該申請(qǐng)的內(nèi)容通過(guò)引用將其全部并入本文。 與關(guān)鍵字搜索不同，視覺(jué)搜索系統(tǒng)通常是以分析諸如圖像或視 頻數(shù)據(jù)(例如視頻剪輯)之類的媒體對(duì)象或媒體內(nèi)容的感性內(nèi)容為 基礎(chǔ)，并且使用輸入樣本圖像作為查詢。視覺(jué)搜索系統(tǒng)不同于在因 特網(wǎng)上通常使用的圖像搜索，所述圖像搜索是將用戶輸入的關(guān)鍵字 與因特網(wǎng)上的相關(guān)圖像文件相匹配。而視覺(jué)搜索系統(tǒng)則通?；谀?些用于對(duì)照多種圖像特征或圖像屬性來(lái)分析媒體對(duì)象的復(fù)雜算法， 其中所述媒體對(duì)象可以是輸入圖像(例如用戶使用在其移動(dòng)電話上 工作的相機(jī)捕獲的圖像)，所述圖像屬性可以是圖像內(nèi)部的顏色、 紋理、形狀、復(fù)雜度、對(duì)象和區(qū)域。為了便于實(shí)施有效的視覺(jué)搜索， 圖像連同其屬性以及與圖像相關(guān)聯(lián)的其他元數(shù)據(jù)通常會(huì)被標(biāo)引并保 存在視覺(jué)數(shù)據(jù)庫(kù)中，其中所述視覺(jué)數(shù)據(jù)庫(kù)可以是存儲(chǔ)了預(yù)定興趣點(diǎn) ("POI")圖像及其相應(yīng)的特征和相關(guān)元數(shù)據(jù)(即文本標(biāo)記)的集 中式數(shù)據(jù)庫(kù)。在移動(dòng)視覺(jué)搜索中，移動(dòng)設(shè)備使用大型視覺(jué)數(shù)據(jù)庫(kù)來(lái)與輸入圖像進(jìn)行匹配。在將輸入圖像與視覺(jué)數(shù)據(jù)庫(kù)中存儲(chǔ)的圖像相 匹配之后，移動(dòng)視覺(jué)搜索可以將附加于所存儲(chǔ)的圖像的上下文信息 傳送到用戶?；谏衔目梢悦鞔_知道，在移動(dòng)視覺(jué)搜索系統(tǒng)中，用 于將輸入圖像與視覺(jué)數(shù)據(jù)庫(kù)圖像相匹配的圖像匹配引擎的健壯性起 著重要的作用。
但是，如果將移動(dòng)電話上的相機(jī)用于以圖像匹配為基礎(chǔ)的應(yīng)用、 例如移動(dòng)視覺(jué)搜索，那么將會(huì)存在特殊的問(wèn)題。舉個(gè)例子，其中一 個(gè)主要問(wèn)題是輸入圖像的質(zhì)量。運(yùn)動(dòng)會(huì)因?yàn)橐苿?dòng)設(shè)備上成像應(yīng)用的 形狀因子和自發(fā)特性而成為 一個(gè)問(wèn)題，并且它有可能極大降低輸入 圖像的質(zhì)量(將其稱為"運(yùn)動(dòng)模糊")。而這轉(zhuǎn)而將會(huì)影響圖像匹 配應(yīng)用的性能。實(shí)驗(yàn)結(jié)果顯示，運(yùn)動(dòng)模糊是限制移動(dòng)設(shè)備上的圖像 匹配性能的一個(gè)主要因素。
另一個(gè)問(wèn)題源于用戶體驗(yàn)。由于手部運(yùn)動(dòng)和其他圖像噪聲，圖
像匹配結(jié)果有可能會(huì)反復(fù)"翻轉(zhuǎn)(flip over)"或改變，由此將會(huì)提 供較差的用戶體驗(yàn)。特別地，在將電話移動(dòng)時(shí)，辨別引擎可能因?yàn)?運(yùn)動(dòng)模糊和其他人為因素而返回錯(cuò)誤的結(jié)果。
由此需要一種用于確保較差圖像質(zhì)量、例如因?yàn)橐苿?dòng)或環(huán)境條 件改變而導(dǎo)致的較差圖像質(zhì)量不會(huì)對(duì)各種圖像匹配應(yīng)用、例如移動(dòng) 視覺(jué)搜索應(yīng)用的實(shí)施產(chǎn)生不利影響的方法。

發(fā)明內(nèi)容
一般來(lái)說(shuō)，本發(fā)明的示例性實(shí)施方式提供了 一項(xiàng)優(yōu)于已知現(xiàn)有 技術(shù)的改進(jìn)，其中所述改進(jìn)是通過(guò)提供一種用于監(jiān)視與捕獲圖像相 關(guān)聯(lián)的運(yùn)動(dòng)和/或圖像質(zhì)量的方法實(shí)現(xiàn)的，所述圖像可以與各種圖像 匹配或辨別應(yīng)用、例如移動(dòng)視覺(jué)搜索應(yīng)用結(jié)合使用。根據(jù)本發(fā)明的 示例性實(shí)施方式，監(jiān)視器可以檢測(cè)圖像質(zhì)量變化，并且舉例來(lái)說(shuō)， 它可以只在圖像特征穩(wěn)定時(shí)才允許結(jié)合使用捕獲圖像以及圖像匹配 應(yīng)用(例如視覺(jué)搜索應(yīng)用)。通過(guò)要求只在視覺(jué)搜索應(yīng)用中使用穩(wěn) 定圖像，可以得到一個(gè)結(jié)果，那就是通過(guò)減少應(yīng)用"翻轉(zhuǎn)"的次數(shù)，極大改善了用戶體驗(yàn)，或者這樣做提供了一個(gè)不同的結(jié)果。根據(jù)其 他示例性實(shí)施方式，4企測(cè)到的運(yùn)動(dòng)和/或圖像質(zhì)量變化可以用于節(jié)電 目的，例如，所述節(jié)電可以通過(guò)依靠檢測(cè)到的運(yùn)動(dòng)量和/或捕獲圖像 的質(zhì)量而開啟和關(guān)閉工作在移動(dòng)設(shè)備上的多個(gè)應(yīng)用和/或組件來(lái)實(shí) 現(xiàn)。
根據(jù)一個(gè)方面，在這里提供了一種用于監(jiān)視捕獲圖像的運(yùn)動(dòng)和
圖像質(zhì)量的方法。在一個(gè)實(shí)施方式中，該方法可以包括(1 )檢測(cè) 捕獲圖像中的運(yùn)動(dòng)；以及(2)響應(yīng)于檢測(cè)到的運(yùn)動(dòng)來(lái)采取動(dòng)作，其 中所述動(dòng)作包括在將捕獲圖像用于圖像匹配應(yīng)用之前穩(wěn)定捕獲圖 像，或是響應(yīng)于檢測(cè)到的超出預(yù)定閾值的運(yùn)動(dòng)來(lái)節(jié)約電力。
在一個(gè)示例性實(shí)施方式中，檢測(cè)捕獲圖像中的運(yùn)動(dòng)包括對(duì)捕 獲圖像的兩個(gè)或更多連續(xù)幀的 一 個(gè)或多個(gè)特征進(jìn)行比較。比較特征 進(jìn)而可以包括(1)對(duì)捕獲圖像的兩個(gè)或更多幀進(jìn)行采樣；(2) 過(guò)濾兩個(gè)或更多采樣幀以去除噪聲；(3 )從采樣幀中提取一個(gè)或多 個(gè)特征；以及(4)計(jì)算所提取的采樣幀特征的差別。在一個(gè)示例性 實(shí)施方式中，比較捕獲圖像的兩個(gè)或更多連續(xù)幀中的一個(gè)或多個(gè)特 征還可以包括將相應(yīng)的采樣幀分成兩個(gè)或更多子區(qū)域，其中過(guò)濾兩 個(gè)或更多采樣幀包括過(guò)濾采樣幀的相應(yīng)子區(qū)域，從采樣幀中提取一 個(gè)或多個(gè)特征包括從釆樣幀的相應(yīng)子區(qū)域中提取一個(gè)或多個(gè)特征， 以及計(jì)算所提取特征之間差別包括針對(duì)采樣幀的相應(yīng)子區(qū)域計(jì)算所 提取特征之間的差別。這個(gè)示例性實(shí)施方式的方法還可以包括累 積計(jì)算得到的相應(yīng)子區(qū)域所提取特征之間的差別，以及整合所累積 的兩個(gè)或更多子區(qū)域的差別。
根據(jù)另一個(gè)方面，在這里提供了一種用于監(jiān)視捕獲圖像的運(yùn)動(dòng) 和圖像質(zhì)量的設(shè)備。在一個(gè)示例性實(shí)施方式中，該設(shè)備包括處理器 以及與處理器通信的存儲(chǔ)器，其中該存儲(chǔ)器存儲(chǔ)處理器可執(zhí)行應(yīng)用。 在一個(gè)示例性實(shí)施方式中，該應(yīng)用進(jìn)而可以被配置成在執(zhí)行時(shí)沖企測(cè) 捕獲圖像中的運(yùn)動(dòng)，以及響應(yīng)于檢測(cè)到的運(yùn)動(dòng)來(lái)采取動(dòng)作。其中該 動(dòng)作包括在將捕獲圖像用于圖像匹配應(yīng)用之前穩(wěn)定捕獲圖像，或根據(jù)另一個(gè)方面，在這里提供了一種用于監(jiān)視捕獲圖像的運(yùn)動(dòng) 和圖像質(zhì)量的計(jì)算機(jī)程序產(chǎn)品。該計(jì)算機(jī)程序產(chǎn)品可以包括至少一 個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，并且在該介質(zhì)中存儲(chǔ)了計(jì)算機(jī)可讀程序代
碼部分。在一個(gè)示例性實(shí)施方式中，計(jì)算機(jī)可讀程序代碼部分包括
(1)用于檢測(cè)捕獲圖像中的運(yùn)動(dòng)的第一可執(zhí)行部分；以及(2)響
應(yīng)于纟企測(cè)到的運(yùn)動(dòng)而促使執(zhí)行一 個(gè)動(dòng)作的第二可執(zhí)行部分，其中所
述動(dòng)作包括在將捕獲圖像用于圖像匹配應(yīng)用之前穩(wěn)定捕獲圖像， 或是響應(yīng)于檢測(cè)到的超出預(yù)定閾值的運(yùn)動(dòng)來(lái)節(jié)約電力。
根據(jù)另一個(gè)方面，在這里提供了一種用于監(jiān)視捕獲圖像的運(yùn)動(dòng) 和圖像質(zhì)量的設(shè)備。在一個(gè)示例性實(shí)施方式中，該設(shè)備包括(1) 用于檢測(cè)捕獲圖像中的運(yùn)動(dòng)的裝置；以及(2)響應(yīng)于檢測(cè)到的運(yùn)動(dòng) 而采取動(dòng)作的裝置，其中所述動(dòng)作包括在將捕獲圖像用于圖像匹 配應(yīng)用之前穩(wěn)定捕獲圖像，或是響應(yīng)于檢測(cè)到的超出預(yù)定閾值的運(yùn) 動(dòng)來(lái)節(jié)約電力。


在以這種方式籠統(tǒng)描述了本發(fā)明的示例性實(shí)施方式之后，現(xiàn)在 將對(duì)附圖加以參考，其中所述附圖不必按比例繪制，并且其中 圖1是根據(jù)本發(fā)明示例性實(shí)施方式的移動(dòng)終端的示意性框圖； 圖2是 一 種得益于本發(fā)明示例性實(shí)施方式的系統(tǒng)的示意性框圖； 圖3示出的是一個(gè)得益于本發(fā)明示例性實(shí)施方式的視覺(jué)搜索系
統(tǒng)；
圖4示出的是能夠作為本發(fā)明示例性實(shí)施方式的視覺(jué)搜索系統(tǒng) 中的各種服務(wù)器或設(shè)備工作的實(shí)體；
圖5示出的是如何通過(guò)采樣捕獲圖像幀來(lái)執(zhí)行本發(fā)明示例性實(shí) 施方式的監(jiān)視處理；
圖6示出的是依照本發(fā)明示例性實(shí)施方式而通過(guò)分割采樣幀得 到的子區(qū)域；幀子區(qū)域的圖像特征所采取的步驟；
圖8示出了如何可以根據(jù)本發(fā)明示例性實(shí)施方式來(lái)整合相應(yīng)子 區(qū)域分沖斤；以及
圖9A-圖9D是示出了可以作為依照本發(fā)明示例性實(shí)施方式檢測(cè) 的低/高圖像質(zhì)量的結(jié)果而采取的動(dòng)作或響應(yīng)的流程圖。
具體實(shí)施例方式
現(xiàn)在，在下文中將會(huì)參考附圖來(lái)對(duì)本發(fā)明的示例性實(shí)施方式進(jìn) 行更全面的描述，這其中顯示了本發(fā)明的某些實(shí)施方式，但是并不 是所有實(shí)施方式。實(shí)際上，本發(fā)明的示例性實(shí)施方式是可以采用眾 多不同的形式實(shí)現(xiàn)的，并且不應(yīng)該被解釋成是局限于這里闡述的實(shí) 施方式；相反，這些實(shí)施方式是為了使本公開滿足適當(dāng)?shù)姆梢?而被提供的。相同的數(shù)字始終表示相同的元件。 綜述
總的來(lái)說(shuō)，本發(fā)明的示例性實(shí)施方式提供了 一種用于監(jiān)視捕獲 圖像的運(yùn)動(dòng)和圖像質(zhì)量的技術(shù)。如果檢測(cè)到較差的圖像質(zhì)量和/或高 度運(yùn)動(dòng)，那么作為響應(yīng)，移動(dòng)設(shè)備可以采取不同的步驟或動(dòng)作。舉 個(gè)例子，在一個(gè)示例性實(shí)施方式中，在捕獲圖像的幀之間檢測(cè)到了 大量變化，由此表明捕獲圖像的質(zhì)量很差，這時(shí)可以指示上述類型 的視覺(jué)搜索系統(tǒng)不要基于新的圖像幀來(lái)更新搜索查詢。換句話說(shuō)， 示例性實(shí)施方式中的運(yùn)動(dòng)和圖像質(zhì)量監(jiān)視器可以用于確保在視覺(jué)搜 索或類似圖像匹配應(yīng)用使用圖像之前穩(wěn)定所述圖像。由此，示例性 實(shí)施方式減少了此類應(yīng)用"翻轉(zhuǎn)"的次數(shù)，或者提供了新的結(jié)果； 由此改善了用戶的總的體驗(yàn)。在另一個(gè)示例性實(shí)施方式中，運(yùn)動(dòng)和 圖像質(zhì)量監(jiān)視器可以用于節(jié)電目的，其中舉例來(lái)說(shuō)，所述節(jié)電是通 過(guò)響應(yīng)于檢測(cè)到的運(yùn)動(dòng)而關(guān)閉移動(dòng)設(shè)備的一個(gè)或多個(gè)組件或是移動(dòng) 設(shè)備本身來(lái)實(shí)現(xiàn)的。
運(yùn)動(dòng)和圖像質(zhì)量監(jiān)視器檢測(cè)到的變化可以是某種運(yùn)動(dòng)的結(jié)果，舉例來(lái)說(shuō)，所述運(yùn)動(dòng)可以是因?yàn)橛脩羰植恳苿?dòng)和/或照明之類的環(huán)境 變化導(dǎo)致的。特別地，該運(yùn)動(dòng)和圖像質(zhì)量監(jiān)視器可以使用與圖像匹 配中所使用的相同的圖像特征來(lái)比較采樣幀。結(jié)果，示例性實(shí)施方 式中的運(yùn)動(dòng)和圖像質(zhì)量監(jiān)視器不但可以用于監(jiān)^f見(jiàn)運(yùn)動(dòng)，而且還可以 作為 一般的輸入圖像質(zhì)量監(jiān)視器。
此外，如下文中更詳細(xì)"i侖述的那才羊，其中一個(gè)示例性實(shí)施方式 的運(yùn)動(dòng)和圖像質(zhì)量監(jiān)視器可以被設(shè)計(jì)成與圖像匹配系統(tǒng) 一起工作， 以便將執(zhí)行運(yùn)動(dòng)和圖像質(zhì)量監(jiān)視所需要的附加計(jì)算以及相應(yīng)開銷減 至最小。
示例性實(shí)施方式中的運(yùn)動(dòng)和圖像質(zhì)量監(jiān)視器不但可以在單相機(jī) 或多相機(jī)移動(dòng)設(shè)備上實(shí)施，而且還可以在具有任何類型的傳感器的 其他任何移動(dòng)設(shè)備上實(shí)施，其中所述傳感器包括但不局限于運(yùn)動(dòng)傳 感器。
總體系統(tǒng)和移動(dòng)設(shè)備
圖1示出了一個(gè)可以得益于本發(fā)明示例性實(shí)施方式的移動(dòng)終端 IO的框圖。但是應(yīng)該理解，在下文中描述的圖示移動(dòng)電話僅僅例證 了 一種可以得益于本發(fā)明的移動(dòng)電話，由此不應(yīng)該用它來(lái)限制本發(fā) 明示例性實(shí)施方式的范圍。雖然在這里例證并且在下文中將會(huì)出于 示例性目的描述移動(dòng)電話10的若干實(shí)施方式，但是其他類型的移動(dòng) 終端也很容易使用本發(fā)明的示例性實(shí)施方式，例如便攜數(shù)字助理 (PDA)、尋呼機(jī)、移動(dòng)電視、膝上型計(jì)算機(jī)以及其他類型的語(yǔ)音 和文本通信系統(tǒng)。此外，非移動(dòng)設(shè)備同樣很容易使用本發(fā)明的實(shí)施 方式。
另外，雖然本發(fā)明方法的若干實(shí)施方式是由移動(dòng)終端10實(shí)現(xiàn)或 使用的，但是除了移動(dòng)終端之外的其他終端同樣可以使用該方法。 此外，本發(fā)明示例性實(shí)施方式中的系統(tǒng)和方法主要是結(jié)合移動(dòng)通信 應(yīng)用來(lái)描述的。但是應(yīng)該理解，本發(fā)明示例性實(shí)施方式的系統(tǒng)和方 法也可以與移動(dòng)通信工業(yè)中以及移動(dòng)通信工業(yè)以外的多種其他應(yīng)用 結(jié)合使用。如圖1所示，其中一個(gè)示例性實(shí)施方式的移動(dòng)終端IO可以包括
與發(fā)射器14以及接收器16進(jìn)行可操作通信的天線12。該移動(dòng)終端 IO還可以包括分別向發(fā)射器14提供信號(hào)以及從接收器16接收信號(hào) 的控制器20或其他處理元件。該信號(hào)可以包括符合適用蜂窩系統(tǒng)的 空中接口標(biāo)準(zhǔn)的信令信息，以及用戶語(yǔ)音和/或用戶生成數(shù)據(jù)。就此 而論，移動(dòng)終端10能夠結(jié)合一個(gè)或多個(gè)空中接口標(biāo)準(zhǔn)、通信協(xié)議、 調(diào)制類型以及接入類型來(lái)操作。作為例證，移動(dòng)終端IO能夠依照第 一、第二和/或第三代通信協(xié)議或類似協(xié)議中的任何一種來(lái)工作。例 如，移動(dòng)終端10能夠依照第二代(2G )無(wú)線通信協(xié)議IS-136( TDMA )、 GSM以及IS-95 (CDMA)或第三代無(wú)線通信協(xié)i義寬帶碼分多址 (WCDMA)來(lái)工作。
應(yīng)該理解的是，控制器20包括實(shí)施移動(dòng)終端10的音頻和邏輯 功能所需要的電路。例如，控制器IO可以包括數(shù)字信號(hào)處理器設(shè)備、 微處理器設(shè)備，以及各種模數(shù)轉(zhuǎn)換器、數(shù)模轉(zhuǎn)換器和其他支持電路。 移動(dòng)終端IO的控制和信號(hào)處理功能是根據(jù)這些設(shè)備的相應(yīng)能力而在 其間分配的。由此，控制器20還可以包括在調(diào)制和傳輸之前巻積編 碼和交織消息及數(shù)據(jù)的功能。此外，控制器20還可以包括內(nèi)部語(yǔ)音 編碼器，并且可以包括內(nèi)部數(shù)據(jù)調(diào)制解調(diào)器。更進(jìn)一步，控制器20 可以包括操作保存在存儲(chǔ)器中的 一個(gè)或多個(gè)軟件程序的功能。舉個(gè) 例子，控制器20能夠操作連接程序，例如常規(guī)的Web瀏覽器。然 后，該連接程序允許移動(dòng)終端10傳送和接收Web內(nèi)容，例如基于 位置的內(nèi)容，其中舉例來(lái)說(shuō)，所述傳送和接收可以才艮據(jù)無(wú)線應(yīng)用協(xié) 議(WAP)來(lái)進(jìn)行。
移動(dòng)終端IO還可以包括用戶接口，其中該用戶接口包4舌輸出設(shè) 備(例如常規(guī)的耳機(jī)或揚(yáng)聲器24、振鈴器22、麥克風(fēng)26、顯示器 28),以及用戶輸入接口，并且所有這些都與控制器20相耦合。該 用戶輸入接口允許移動(dòng)終端IO接收數(shù)據(jù)，并且它可以包括允許移動(dòng) 終端10接收數(shù)據(jù)的任意數(shù)量的設(shè)備，例如小鍵盤30 、觸摸顯示器(未 顯示)或其他輸入設(shè)備。在包含小鍵盤30的實(shí)施方式中，小鍵盤30可以包括常規(guī)數(shù)字(0-9)和相關(guān)按4t (#, *),以及其他那些用于
操作移動(dòng)終端10的按鍵。作為替換，小鍵盤30可以包括常規(guī)的 QWERTY小鍵盤。移動(dòng)終端10還包括用于為各種被配備成才乘作移
池34、例如震動(dòng)電池組。
在一個(gè)示例性實(shí)施方式中，移動(dòng)終端10可以包括與控制器20 通信的相機(jī)模塊36。該相機(jī)模塊36可以是任何用于捕獲圖像、視頻 剪輯或視頻流來(lái)進(jìn)行存儲(chǔ)、顯示和傳輸?shù)难b置。例如，相機(jī)模塊36 可以包括能用視野中的對(duì)象、捕獲圖像形成數(shù)字圖像文件或是用記 錄視頻數(shù)據(jù)形成一見(jiàn)頻流的數(shù)碼相4幾。同樣，相機(jī)模塊36可以包括從 捕獲圖像中創(chuàng)建數(shù)字圖像文件或是從記錄視頻數(shù)據(jù)中創(chuàng)建視頻流所 需要的所有硬件和軟件，所述硬件可以是鏡頭或其他光學(xué)設(shè)備。作 為替換，相機(jī)模塊36可以只包括查看圖像或視頻流所需要的硬件， 而移動(dòng)終端10的存儲(chǔ)器設(shè)備則除了供控制器20執(zhí)行的指令，其中 所述指令采用的是從捕獲圖像中創(chuàng)建數(shù)字圖像文件或是從記錄視頻 數(shù)據(jù)中創(chuàng)建視頻流所需要的軟件的形式。在 一 個(gè)示例性實(shí)施方式中， 相機(jī)模塊36還可以包括處理元件，例如在處理圖像數(shù)據(jù)或視頻流的 過(guò)程中為控制器20提供幫助的協(xié)處理器，以及用于壓縮和/或解壓縮 圖像數(shù)據(jù)或視頻流的編碼器和/或解碼器。所述編碼器和/或解碼器可 以根據(jù)JPEG標(biāo)準(zhǔn)4各式以及類似才各式來(lái)編碼和/或解碼。
移動(dòng)終端10還可以包括與控制器20通信的位置模塊70,例如 GPS模塊。該位置模塊70可以是用于確定移動(dòng)終端IO的位置的任 何裝置。此外，位置模塊70還可以是用于在相機(jī)模塊36捕獲的圖 像中確定興趣點(diǎn)(POI)位置的任何裝置，其中所述興趣點(diǎn)可以是商 店、書店、餐廳、咖啡店、百貨商店以及其他公司等等，這一點(diǎn)在 名為"Method, Device, Mobile Terminal and Computer Program Product for a Point of Interest-Based Scheme for Improving Mobile Visual Searching Functionalities"的美國(guó)臨時(shí)申請(qǐng)60/913,733( "， 733申請(qǐng)") 中給出了更全面的描述，其中該申請(qǐng)的內(nèi)容在這里引入作為參考。同樣，這里使用的興趣點(diǎn)可以包括用戶感興趣的任何實(shí)體，例如產(chǎn)
品和其他對(duì)象等等。位置模塊70可以包括用于定位移動(dòng)終端或圖像 中的POI的位置的所有硬件。作為替換或補(bǔ)充，位置模塊70可以使 用移動(dòng)終端10的存儲(chǔ)設(shè)備來(lái)存儲(chǔ)供控制器20執(zhí)行的指令，其中所 述指令采用的是確定移動(dòng)終端或POI圖像的位置所需要的軟件的形 式。此外，位置模塊70能夠通過(guò)使用控制器20來(lái)經(jīng)由發(fā)射器14/ 接收器16向服務(wù)器發(fā)射/接收位置信息，其中所述位置信息可以是移 動(dòng)終端10的位置以及-一個(gè)或多個(gè)POI的位置，所述服務(wù)器可以是視 覺(jué)地圖服務(wù)器54 (在這里也被稱為視覺(jué)搜索服務(wù)器)和興趣點(diǎn)商店 服務(wù)器51 (在這里也被稱為視覺(jué)搜索數(shù)據(jù)庫(kù))，在下文中將會(huì)對(duì)此 進(jìn)行更全面的描述。
一個(gè)示例性實(shí)施方式的移動(dòng)終端還可以包括統(tǒng)一的移動(dòng)視覺(jué)搜 索/地圖繪制客戶端68 (在這里也被稱為視覺(jué)搜索客戶端)，以便實(shí) 施如上述類型的移動(dòng)視覺(jué)搜索。該統(tǒng)一視覺(jué)搜索客戶端68可以包括 地圖繪制模塊99以及移動(dòng)視覺(jué)搜索引擎97(在這里也被稱為移動(dòng)視 覺(jué)搜索模塊)。所述統(tǒng)一視覺(jué)搜索/地圖繪制客戶端68可以包括由控 制器20執(zhí)行的如下功能的任何硬件和/或軟件裝置(如，733申請(qǐng)更 全面描述的那樣)當(dāng)移動(dòng)終端IO指向興趣點(diǎn)，并且當(dāng)POI處于相 機(jī)模塊36的視線以內(nèi)或者當(dāng)在相機(jī)模塊在圖像中捕獲到了 POI時(shí)， 這些裝置能夠辨別興趣點(diǎn)。移動(dòng)視覺(jué)搜索引擎97還能夠接收有關(guān)移 動(dòng)終端10的位置和地點(diǎn)以及POI位置的信息。移動(dòng)視覺(jué)搜索引擎97 還能辨別或識(shí)別POI，并且允i午移動(dòng)終端10的用戶從涉及相應(yīng)POI 的一系列動(dòng)作中進(jìn)行選擇。例如，其中一個(gè)動(dòng)作可以包括但不局限 于在某個(gè)地理區(qū)域內(nèi)搜索其他相似的POI(即候選者)。這些相似的 POI可以保存在地圖繪制模塊99的用戶簡(jiǎn)檔中。此外，在一個(gè)示例 性實(shí)施方式中，地圖繪制模塊99可以啟動(dòng)相機(jī)模塊36的第三人地 圖一見(jiàn)圖以及第一人相機(jī)視圖。在被才丸行時(shí)，相機(jī)一見(jiàn)圖將會(huì)顯示移動(dòng) 終端IO的周圍區(qū)域，并且疊加一組與POI集合相對(duì)應(yīng)的^L覺(jué)標(biāo)簽集 合。根據(jù)一個(gè)示例性實(shí)施方式，視覺(jué)搜索客戶端68還可以包括用于
監(jiān)視相機(jī)模塊36捕獲的圖像的質(zhì)量的運(yùn)動(dòng)和/或圖像質(zhì)量監(jiān)視器92 ， 其中舉例來(lái)說(shuō)，所述圖像質(zhì)量是通過(guò)從運(yùn)動(dòng)和/或其他環(huán)境變化所導(dǎo) 致的圖像特征的相對(duì)變化中確定的。舉個(gè)例子，如果檢測(cè)到很大的 變化(例如運(yùn)動(dòng))，并且由此導(dǎo)致圖像質(zhì)量較差，那么捕獲圖像不 會(huì)被視覺(jué)搜索引擎97用來(lái)定位POI以及為用戶提供與這些POI相關(guān) 聯(lián)的反饋。作為替換或補(bǔ)充，如下文中更詳細(xì)描述的那樣，如果對(duì) 移動(dòng)終端10和/或相機(jī)模塊36釆取某些其他動(dòng)作(例如關(guān)閉相機(jī)模 塊36,關(guān)閉背光，切換用于視覺(jué)搜索客戶端的輸入方法等等)，那 么有可能導(dǎo)致確定出現(xiàn)了大量運(yùn)動(dòng)或變化。由此，示例性實(shí)施方式 的運(yùn)動(dòng)和/或圖像質(zhì)量監(jiān)視器92可以包括由控制器20執(zhí)行的任何硬 件和/或軟件裝置，這些裝置能夠確定捕獲圖像的相對(duì)運(yùn)動(dòng)和/或圖像 質(zhì)量，并且^f故出相應(yīng)的響應(yīng)。
移動(dòng)終端10還可以包括用戶身傷4莫塊(UIM) 38。 UIM38通常 是一個(gè)內(nèi)置了處理器的存儲(chǔ)設(shè)備。舉例來(lái)說(shuō)，UIM38可以包括訂戶 身份模塊(SIM)、通用集成電路卡(UICC)、通用訂戶身份模塊
(USIM)、可拆卸用戶身份模塊(R-UIM)等等。UIM38通常存儲(chǔ) 了涉及移動(dòng)訂戶的信息元素。除了 UIM 38之外，移動(dòng)終端10還可 以配備有存儲(chǔ)器。例如，移動(dòng)終端IO可以包括易失性存儲(chǔ)器40,例 如包含了用于臨時(shí)存儲(chǔ)數(shù)據(jù)的緩存區(qū)域的易失性隨機(jī)存取存儲(chǔ)器
(RAM)。該移動(dòng)終端10還可以包括其他非易失性存儲(chǔ)器42，其 中所述非易失性存儲(chǔ)器可以是嵌入式和/或可拆卸的。作為補(bǔ)充或替 換，非易失性存儲(chǔ)器42包括EEPROM、閃存或類似存儲(chǔ)器，例如可 以乂人Sunnyvale, California的SanDisk7^司或Fremont, California的 Lexar Media公司得到的存儲(chǔ)器。這些存儲(chǔ)器可以存儲(chǔ)供移動(dòng)終端10 使用的任意數(shù)量的信息和數(shù)據(jù)，以便實(shí)施移動(dòng)終端10的功能。舉個(gè) 例子，這些存儲(chǔ)器可以包括能夠唯一標(biāo)識(shí)移動(dòng)終端10的標(biāo)識(shí)符，例 如國(guó)際移動(dòng)i殳備標(biāo)識(shí)(IMEI)碼。
現(xiàn)在參考圖2，該圖提供的是從本發(fā)明的示例性實(shí)施方式中獲益的一種系統(tǒng)的例證。該系統(tǒng)可以包括多個(gè)網(wǎng)絡(luò)設(shè)備。如所示， 一個(gè)
或多個(gè)移動(dòng)終端100中的每一個(gè)都可以包括用于向基點(diǎn)或基站(BS) 44傳送信號(hào)以及從基點(diǎn)或基站(BS) 44接收信號(hào)的天線12?；?44可以是一個(gè)或多個(gè)蜂窩或移動(dòng)網(wǎng)絡(luò)的一部分，其中每一個(gè)蜂窩或 移動(dòng)網(wǎng)絡(luò)都包括操作網(wǎng)絡(luò)所需要的元件，例如移動(dòng)交換中心(MSC) 46。正如本領(lǐng)域技術(shù)人員公知的那樣，移動(dòng)網(wǎng)絡(luò)還可以被稱為基站 /MSC/互連功能(BMI)。在操作中，當(dāng)移動(dòng)終端10發(fā)起和接收呼 叫時(shí)，MSC46能夠路由往來(lái)于移動(dòng)終端10的呼叫。當(dāng)移動(dòng)終端10 包含在某個(gè)呼叫中時(shí)，MSC46還可以提供與陸線干線相連的連接。 另外，MSC 46能夠控制往來(lái)于移動(dòng)終端10的消息轉(zhuǎn)發(fā)，并且還可 以控制往來(lái)于消息傳遞中心且用于移動(dòng)終端IO的消息轉(zhuǎn)發(fā)。應(yīng)該指 出的是，雖然在圖2的系統(tǒng)中顯示了 MSC46，但是MSC46僅僅是 一個(gè)示例性網(wǎng)絡(luò)設(shè)備，并且本發(fā)明并不僅限于在使用了 MSC的網(wǎng)絡(luò) 中運(yùn)用。
MSC 46可以耦合到數(shù)據(jù)網(wǎng)絡(luò)，例如局域網(wǎng)(LAN)、城域網(wǎng) (MAN )和/或廣域網(wǎng)(WAN) 。 MSC 46可以直接耦合到數(shù)據(jù)網(wǎng)絡(luò)。 但是，在一個(gè)典型實(shí)施方式中，MSC46耦合到GTW48,而GTW 48 則耦合到WAN,例如因特網(wǎng)50。而諸如處理元件(例如個(gè)人計(jì)算機(jī)、 服務(wù)器計(jì)算機(jī)等等)之類的設(shè)備則轉(zhuǎn)而可以經(jīng)由因特網(wǎng)50耦合到移 動(dòng)終端10。舉個(gè)例子，如下所述，處理元件可以包括與如下所述的 計(jì)算系統(tǒng)52、視覺(jué)地圖服務(wù)器54、興趣點(diǎn)商店服務(wù)器51等等相關(guān) 聯(lián)的一個(gè)或多個(gè)處理元件。
BS44還可以耦合到一個(gè)信令GPRS (通用分組無(wú)線電服務(wù))支 持節(jié)點(diǎn)(SGSN)56。正如本領(lǐng)域技術(shù)人員所知道的那樣，SGSN56 通常能為分組交換服務(wù)執(zhí)行與MSC46相類似的功能。與MSC 46相 似，SGSN56可以耦合到數(shù)據(jù)網(wǎng)絡(luò)，例如因特網(wǎng)50。該SGSN56可 以直接耦合到數(shù)據(jù)網(wǎng)絡(luò)。但是，在更典型的實(shí)施方式中，SGSN 56 耦合的是分組交換核心網(wǎng)絡(luò)，例如GPRS核心網(wǎng)絡(luò)58。然后，該分 組交換核心網(wǎng)絡(luò)耦合到另一個(gè)GTW 48,例如GTW GPRS支持節(jié)點(diǎn)(GGSN)60,并且GGSN60耦合到因特網(wǎng)50。除了 GGSN60之外，分組交換核心網(wǎng)絡(luò)還可以耦合到GTW 48。此外，GGSN 60也可以耦合到消息傳遞中心。就此而論，與MSC 46相似，GGSN 60和SGSN56能夠控制消息轉(zhuǎn)發(fā)，例如MMS消息轉(zhuǎn)發(fā)。GGSN 60和SGSN 56還能為移動(dòng)終端10控制往來(lái)于消息傳遞中心的消息轉(zhuǎn)發(fā)。
此外，通過(guò)將SGSN 56耦合到GPRS核心網(wǎng)絡(luò)58以及GGSN 60，諸如計(jì)算系統(tǒng)52和/或視覺(jué)地圖服務(wù)器54之類的設(shè)備可以經(jīng)由因特網(wǎng)50、 SGSN 56以及GGSN 60耦合到移動(dòng)終端10。就此而i侖，諸如計(jì)算系統(tǒng)52和/或視覺(jué)地圖服務(wù)器54之類的設(shè)備可以經(jīng)由SGSN56、 GPRS核心網(wǎng)絡(luò)58以及GGSN 60而與移動(dòng)終端IO進(jìn)行通信。通過(guò)直接或間接地將移動(dòng)終端10和其他設(shè)備(例如計(jì)算系統(tǒng)52、視覺(jué)地圖服務(wù)器54等等)連接到因特網(wǎng)50,移動(dòng)終端10可以與其他設(shè)備以及與對(duì)方進(jìn)行通信，其中舉例來(lái)說(shuō)，所述通信可以依據(jù)超文本傳輸協(xié)議(HTTP)，由此可以執(zhí)行移動(dòng)終端IO的各種功能。
雖然在這里沒(méi)有顯示和描述每一個(gè)可能的移動(dòng)網(wǎng)絡(luò)中的每一個(gè)元件，但是應(yīng)該了解，移動(dòng)終端10可以通過(guò)BS44耦合到多個(gè)不同網(wǎng)絡(luò)中的一個(gè)或多個(gè)網(wǎng)絡(luò)。就此而論，所述一個(gè)或多個(gè)網(wǎng)絡(luò)能夠支持依照第一代(1G)、第二代(2G) 、 2.5G、第三代(3G)和/或未來(lái)移動(dòng)通信協(xié)議等等中的一個(gè)或多個(gè)協(xié)議的通信。例如，所述一個(gè)或多個(gè)網(wǎng)絡(luò)能夠支持依照2.5G無(wú)線通信協(xié)議GPRS、增強(qiáng)數(shù)據(jù)GSM環(huán)境(EDGE)等等的通信。更進(jìn)一步，舉例來(lái)說(shuō)，所述一個(gè)或多個(gè)網(wǎng)絡(luò)能夠支持依據(jù)3G無(wú)線通信協(xié)議的通信，例如使用了寬帶碼分多址(WCDMA )無(wú)線電接入技術(shù)的通用移動(dòng)電話系統(tǒng)(UMTS )網(wǎng)絡(luò)。某些窄帶AMPS (NAMPS)以及TACS網(wǎng)絡(luò)同樣可以得益于本發(fā)明的實(shí)施方式，并且雙模式或更高模式的移動(dòng)站也應(yīng)如此(例如數(shù)字/模擬或TDMA/CDMA/模擬電話)。
移動(dòng)終端10還可以耦合到一個(gè)或多個(gè)無(wú)線接入點(diǎn)(AP) 62。AP 62可以包括被配置成根據(jù)例如射頻(RF )、藍(lán)牙(BT ) 、 Wibree、紅外(IrDA)或是多種不同無(wú)線組網(wǎng)技術(shù)中的任何一種的技術(shù)來(lái)與移動(dòng)終端10進(jìn)行通信，其中所述無(wú)線組網(wǎng)技術(shù)包括無(wú)線LAN(WLAN)技術(shù)，例如IEEE 802.11 (例如802.lla、 802.1 lb、 802.1 lg、802.11n等等)、諸如IEEE 802.16之類的WiMAX技術(shù)、和/或諸如IEEE802.15之類的超寬帶(UWB)技術(shù)等等。與MSC 46相同，AP62可以直接耦合到因特網(wǎng)50。但在一個(gè)實(shí)施方式中，AP是經(jīng)由GTW48間接耦合到因特網(wǎng)50的。此外，在一個(gè)實(shí)施方式中，BS44可以被認(rèn)為是另一個(gè)AP62。正如所了解的那樣，通過(guò)直接或間接地將移動(dòng)終端10、計(jì)算系統(tǒng)52、視覺(jué)地圖服務(wù)器54和/或任何數(shù)量的其他設(shè)備連接到因特網(wǎng)50,移動(dòng)終端IO既可以相互通信，也可以與計(jì)算系統(tǒng)52、視覺(jué)地圖服務(wù)器54、 POI商店服務(wù)器51或其他設(shè)備進(jìn)行通信，由此執(zhí)行移動(dòng)終端IO的各種功能，例如向計(jì)算系統(tǒng)52、— 見(jiàn)覺(jué)地圖服務(wù)器54和/或POI商店服務(wù)器51傳送數(shù)據(jù)、內(nèi)容等等和/或接收 96(在圖3中顯示)來(lái)提供與一個(gè)或多個(gè)移動(dòng)終端IO或是一個(gè)或多個(gè)POI相關(guān)的地圖數(shù)據(jù)。此外，視覺(jué)地圖服務(wù)器54可以對(duì)相機(jī)模塊36獲取的圖像或視頻剪輯進(jìn)行比較，并且確定這些圖像或視頻是否保存在視覺(jué)地圖服務(wù)器54中。此外，視覺(jué)地圖服務(wù)器54還可以借助集中式POI數(shù)據(jù)庫(kù)服務(wù)器74 (在圖3中顯示)來(lái)存儲(chǔ)與關(guān)聯(lián)于相機(jī)模塊36獲取的一個(gè)或多個(gè)圖像或視頻剪輯的一個(gè)或多個(gè)POI有關(guān)的各種類型的信息。
涉及一個(gè)或多個(gè)POI的信息可以與視覺(jué)標(biāo)簽相聯(lián)系，所述標(biāo)簽則可以被傳送到移動(dòng)終端IO來(lái)進(jìn)行顯示。此外，興趣點(diǎn)商店服務(wù)器51可以存儲(chǔ)與一個(gè)或多個(gè)POI商店的地理位置有關(guān)的數(shù)據(jù)，并且可以存儲(chǔ)涉及各種興趣點(diǎn)的數(shù)據(jù)，其中所述數(shù)據(jù)包括但不局限于POI位置、POI類別(例如咖啡店或餐廳、運(yùn)動(dòng)場(chǎng)、音樂(lè)會(huì)等等)、涉及POI的產(chǎn)品信息等等。視覺(jué)地圖服務(wù)器54可以傳送和接收來(lái)自興趣點(diǎn)商店服務(wù)器51的信息，并且經(jīng)由因特網(wǎng)50而與移動(dòng)終端10進(jìn)行通信。同樣，興趣點(diǎn)商店服務(wù)器51可以與視覺(jué)地圖服務(wù)器54進(jìn)行通信，作為替換和補(bǔ)充，它既可以直接經(jīng)由WLAN、藍(lán)牙、Wibee或類似傳輸來(lái)與移動(dòng)終端IO通信，也可以經(jīng)由因特網(wǎng)50來(lái)與移動(dòng)終端IO通信。這里使用的術(shù)語(yǔ)"圖像"、"視頻剪輯"、"數(shù)據(jù)"、"內(nèi)容"、"信息"以及類似的術(shù)語(yǔ)能夠可交換地用于指示那些能夠依照本發(fā)明實(shí)施方式而被傳送、接收和/或保存的數(shù)據(jù)。由此，此類術(shù)語(yǔ)的運(yùn)用不應(yīng)該限制本發(fā)明的實(shí)質(zhì)和范圍。
雖然在圖2中沒(méi)有顯示，但是作為將移動(dòng)終端IO經(jīng)由因特網(wǎng)50耦合到計(jì)算系統(tǒng)52、視覺(jué)地圖服務(wù)器54和/或POI商店服務(wù)器51的補(bǔ)充或替換，移動(dòng)終端10和計(jì)算系統(tǒng)52、視覺(jué)地圖服務(wù)器54和/或POI商店服務(wù)器還可以相互耦合和通信，其中舉例來(lái)說(shuō)，所述通信依照的是RF、 BT、 IrDA或是任意數(shù)量的不同有線或無(wú)線通信技術(shù)，這其中包括LAN、 WLAN、 WiMAX和/或UWB技術(shù)。作為補(bǔ)充或替換，計(jì)算系統(tǒng)52、視覺(jué)地圖服務(wù)器54和/或POI商店服務(wù)器中的一個(gè)或多個(gè)可以包括能夠存儲(chǔ)此后被傳送到移動(dòng)終端IO的內(nèi)容的可拆卸存儲(chǔ)器。更進(jìn)一步，移動(dòng)終端IO可以耦合到一個(gè)或多個(gè)電子設(shè)備，例如打印機(jī)、數(shù)字投影儀和/或其他多媒體捕獲、生成和/或存儲(chǔ)設(shè)備(例如其他終端)。與計(jì)算系統(tǒng)52、視覺(jué)地圖服務(wù)器54和/或POI商店服務(wù)器相同，移動(dòng)終端10可以被配置成與便攜式電子設(shè)備進(jìn)行通信，其中舉例來(lái)說(shuō)，所述通信依據(jù)的技術(shù)可以是RF、BT 、 IrDA或是任意數(shù)量的不同有線或無(wú)線通信技術(shù)，其中包括USB 、LAN、 WLAN、 WiMAX和/或UWB技術(shù)。
現(xiàn)在將參考圖3來(lái)描述視覺(jué)搜索系統(tǒng)實(shí)施方式的示例性移動(dòng)視覺(jué)搜索應(yīng)用。在本示例中，移動(dòng)視覺(jué)搜索應(yīng)用結(jié)合圖3所示的—見(jiàn)覺(jué)搜索系統(tǒng)來(lái)工作，以便改善在線地圖繪制應(yīng)用。本領(lǐng)域普通技術(shù)人員可以理解，本發(fā)明的示例性實(shí)施方式可以結(jié)合使用了圖像匹配或辨別的相機(jī)應(yīng)用來(lái)實(shí)施，以便改善所執(zhí)行的應(yīng)用得到的結(jié)果。這里描述的移動(dòng)視覺(jué)搜索應(yīng)用和視覺(jué)搜索系統(tǒng)僅僅提供的是此類相機(jī)應(yīng)用的一個(gè)示例，由此不應(yīng)該用它來(lái)限制本發(fā)明示例性實(shí)施方式的范圍。此外，舉例來(lái)說(shuō)，圖3的視覺(jué)搜索系統(tǒng)的某些元件可以在圖1的移動(dòng)終端IO上使用。然而應(yīng)該指出的是，圖3的系統(tǒng)也可以在多種其他的移動(dòng)和固定設(shè)備上使用，由此不應(yīng)該將本發(fā)明的示例性實(shí)施方式局限于只在諸如圖1的移動(dòng)終端10之類的設(shè)備上應(yīng)用。由此，
以下描述是作為示例而不是限制給出的。例如，圖3的視覺(jué)搜索系統(tǒng)可以在相機(jī)、錄像機(jī)或類似設(shè)備上使用。此外，圖3的系統(tǒng)還可以在移動(dòng)終端10的設(shè)備、組件、元件或模塊上使用。
現(xiàn)在參考圖3,該圖提供的是一個(gè)根據(jù)本發(fā)明的一個(gè)示例性實(shí)施方式來(lái)改善與移動(dòng)視覺(jué)搜索應(yīng)用相整合(也就是混合)的、在線地圖繪制應(yīng)用的視覺(jué)搜索系統(tǒng)。如所示，該系統(tǒng)可以包括如上所述的視覺(jué)地圖服務(wù)器54,其中所述視覺(jué)地圖服務(wù)器與如上所述的移動(dòng)終端10以及興趣點(diǎn)商店服務(wù)器51進(jìn)行通信。該視覺(jué)地圖服務(wù)器54可以是能夠存儲(chǔ)圖像或視頻剪輯以及地圖數(shù)據(jù)、POI數(shù)據(jù)和視覺(jué)標(biāo)簽的任何設(shè)備或裝置，例如硬件或軟件。在一個(gè)示例性實(shí)施方式中，視覺(jué)移動(dòng)服務(wù)器54可以包括用于存儲(chǔ)地圖數(shù)據(jù)的地圖服務(wù)器96,以及用于存儲(chǔ)POI數(shù)據(jù)和視覺(jué)標(biāo)簽的集中式POI數(shù)據(jù)庫(kù)服務(wù)器74。此外，視覺(jué)地圖服務(wù)器54還可以包括用于執(zhí)行包括軟件執(zhí)行在內(nèi)的這些功能的處理器(相關(guān)示例參見(jiàn)圖4)。圖像和視頻剪輯可以對(duì)應(yīng)于代表移動(dòng)終端IO的用戶而被存儲(chǔ)的用戶簡(jiǎn)檔。此外，圖像和視頻剪輯還可以與位置信息相聯(lián)系，其中所述位置信息涉及的是在一個(gè)或多個(gè)圖像或視頻剪輯中捕獲的一個(gè)或多個(gè)對(duì)象的位置。
同樣，興趣點(diǎn)商店服務(wù)器51可以是能夠存儲(chǔ)涉及興趣點(diǎn)的信息的任何設(shè)備或裝置，例如硬件或軟件。興趣點(diǎn)商店服務(wù)器51可以包括用于執(zhí)行或運(yùn)行功能或軟件指令的處理器。(相關(guān)示例參見(jiàn)圖4 )
簡(jiǎn)檔。這個(gè)興趣點(diǎn)信息可以在本地POI數(shù)據(jù)庫(kù)服務(wù)器98 (在這里也將其稱為視覺(jué)搜索廣告方輸入控制/接口 )中加載，并且是代表興趣點(diǎn)商店服務(wù)器51 (例如咖啡店、餐廳、商店等等)而被存儲(chǔ)的，此外，各種形式的信息都可以與POI信息相關(guān)聯(lián)，例如涉及POI的位置、地點(diǎn)或地理數(shù)據(jù)以及產(chǎn)品信息，其中所述產(chǎn)品信息包括但不局限于產(chǎn)品、價(jià)格、數(shù)量等等的標(biāo)識(shí)。本地POI數(shù)據(jù)庫(kù)服務(wù)器98 (既視覺(jué)搜索廣告方輸入控制/接口 )既可以包含在興趣點(diǎn)商店服務(wù)器51 中，也可以位于POI商店服務(wù)器51以外。
在圖3的^L覺(jué)搜索系統(tǒng)的示例性實(shí)施方式中，為了伸、用移動(dòng)禍L 覺(jué)搜索應(yīng)用，移動(dòng)終端10的用戶可以啟動(dòng)視覺(jué)搜索客戶端68 (例如 使用小鍵盤30或者使用顯示器28上顯示的菜單選項(xiàng))，將相機(jī)模 塊36指向咖啡店之類的興趣點(diǎn)，并且捕獲咖啡店的圖像。(視覺(jué)搜 索客戶端68的)移動(dòng)視覺(jué)搜索模塊97可以調(diào)用一個(gè)辨別方案，以 便辨別咖啡店，并且允許用戶從顯示器28上顯示且與指定POI相關(guān) 的若干動(dòng)作的列表中進(jìn)行選擇，其中在本示例中，所述指定POI是 咖啡店。舉個(gè)例子，其中一個(gè)相關(guān)動(dòng)作可以是搜索其他類似的POI
(例如其他咖啡店)(也就是一個(gè)或多個(gè)候選POI)。響應(yīng)于用戶選 擇這個(gè)動(dòng)作，視覺(jué)搜索客戶端68可以向視覺(jué)地圖服務(wù)器54傳送所 捕獲的咖啡店的圖像，并且視覺(jué)地圖服務(wù)器54可以在集中式POI數(shù) 據(jù)庫(kù)服務(wù)器74中發(fā)現(xiàn)和定位附近的其他咖啡店。視覺(jué)地圖服務(wù)器54 還可以從地圖服務(wù)器96中檢索周圍區(qū)域的開銷地圖，其中所述開銷 地圖包含了與關(guān)聯(lián)于所捕獲的咖啡店圖像的其他咖啡店(或是用戶 感興趣的任何物理實(shí)體)相對(duì)應(yīng)的疊加—見(jiàn)覺(jué)標(biāo)簽。該4見(jiàn)覺(jué)地圖服務(wù) 器54可以將這個(gè)開銷地圖傳送到移動(dòng)終端10,所述移動(dòng)終端10則 會(huì)顯示周圍區(qū)域的開銷地圖，其中該地圖包括與其他POI(例如其他 咖啡店 > 相對(duì)應(yīng)的疊加視覺(jué)標(biāo)簽。然后，用戶可以使用搖桿、箭頭、 按鈕、指示筆或是本領(lǐng)域技術(shù)人員已知的小鍵盤30上的其他輸入方 式來(lái)獲取與地圖上的其他附近標(biāo)簽相關(guān)的更多信息。
參考圖4，該圖顯示的是能夠操作如上所述的POI商店服務(wù)器 51、本地POI數(shù)據(jù)庫(kù)服務(wù)器98、集中式POI數(shù)據(jù)庫(kù)服務(wù)器74、地圖 服務(wù)器96和/或視覺(jué)地圖服務(wù)器54的服務(wù)器94的框圖。如圖4所示， 在一個(gè)示例性實(shí)施方式中，服務(wù)器94能夠允許產(chǎn)品制造商、產(chǎn)品廣 告商、公司所有者、服務(wù)供應(yīng)商、網(wǎng)絡(luò)運(yùn)營(yíng)商等用戶輸入相關(guān)信息
(例如經(jīng)由接口 940),其中舉例來(lái)說(shuō)，所述相關(guān)信息涉及的是POI。 舉例來(lái)說(shuō)，保存在存儲(chǔ)器944中的信息可以包括網(wǎng)頁(yè)、網(wǎng)鏈接、黃頁(yè)信息、圖像、視頻、聯(lián)系信息、地址信息、諸如建筑物路徑點(diǎn)之 類的位置信息、定位信息、地圖數(shù)據(jù)等等。服務(wù)器94通常包括與存
儲(chǔ)器944相連的處理器942、控制器或類似設(shè)備。此外，處理器還可
以連接到至少一個(gè)接口 940或其他裝置，以便傳送和/或接收數(shù)據(jù)、
內(nèi)容等等。存儲(chǔ)器可以包括易失性和/或非易失性存儲(chǔ)器，并且通常 存儲(chǔ)了與如上所述的一個(gè)或多個(gè)POI相關(guān)的信息。存儲(chǔ)器944還可
以存儲(chǔ)供處理器執(zhí)行與依照本發(fā)明實(shí)施方式的服務(wù)器操作相關(guān)聯(lián)的 步驟的軟件應(yīng)用、指令等等。就此而論，存儲(chǔ)器可以包括用于存儲(chǔ)、 上傳/下載POI數(shù)據(jù)、地圖數(shù)據(jù)等等以及用于傳送/接收去往/來(lái)自移 動(dòng)終端10和去往/來(lái)自興趣點(diǎn)商店服務(wù)器及視覺(jué)搜索服務(wù)器的POI 數(shù)據(jù)的軟件指令(由處理器執(zhí)行)。
運(yùn)動(dòng)和圖像質(zhì)量監(jiān)視器
如上所述，本發(fā)明的示例性實(shí)施方式提供了一個(gè)用于監(jiān)視相機(jī) 模塊36捕獲的圖像質(zhì)量的運(yùn)動(dòng)和圖像質(zhì)量監(jiān)視器，并且舉例來(lái)說(shuō)， 該監(jiān)視器是在移動(dòng)視覺(jué)搜索或是如上所述的類似的圖像匹配或辨認(rèn) 應(yīng)用中使用的。在以上的圖1顯示的一個(gè)示例性實(shí)施方式中，運(yùn)動(dòng) 和圖像質(zhì)量監(jiān)視器92可以駐留在移動(dòng)設(shè)備中，并且可以結(jié)合如上所 述的視覺(jué)搜索客戶端98來(lái)工作。但是，正如本領(lǐng)域普通技術(shù)人員所 了解的那樣，監(jiān)視器還可以替代地駐留在視覺(jué)搜索或進(jìn)行此類監(jiān)視 的類似圖像匹配系統(tǒng)的任何實(shí)體上。此外，移動(dòng)設(shè)備10不必執(zhí)行這 里描述的運(yùn)動(dòng)和圖像質(zhì)量監(jiān)視。作為替換，在一個(gè)示例性實(shí)施方式 中，視覺(jué)搜索實(shí)體或類似的圖像匹配系統(tǒng)可以為移動(dòng)設(shè)備執(zhí)行所述 監(jiān)視。
在下文中將會(huì)參考圖5-圖9D來(lái)描述一個(gè)用于實(shí)現(xiàn)上述監(jiān)視的示 例性方法。正如本領(lǐng)域普通技術(shù)人員所了解的那樣，下文僅僅是可 以用于監(jiān)視運(yùn)動(dòng)和/或圖像質(zhì)量的方法的 一個(gè)示例，并且不脫離本發(fā) 明示例性實(shí)施方式的實(shí)質(zhì)和范圍的情況下，其他方法同樣是可以使 用的。如圖5所示，在一個(gè)示例性實(shí)施方式中，舉例來(lái)說(shuō)，捕獲圖像或視頻可以每K個(gè)幀被采樣一次(也就是幀F(xiàn)、幀F(xiàn)+K等等)， 以便實(shí)施與視覺(jué)數(shù)據(jù)庫(kù)中的圖像進(jìn)行的圖像匹配處理，其中F和K 是正整數(shù)。在第K個(gè)幀之前還可以獲取另一個(gè)采樣(也就是幀F(xiàn)-1、 幀(F+K-l)等等)。此后，如下所述，這個(gè)第二采樣幀可以與第K 個(gè)幀相結(jié)合，以便監(jiān)視運(yùn)動(dòng)和圖像質(zhì)量變化。由于在至少一個(gè)實(shí)施 方式中已經(jīng)出于圖像匹配目的并通過(guò)使用采樣幀執(zhí)行監(jiān)視而采樣了 第K個(gè)幀，因此，示例性實(shí)施方式中的運(yùn)動(dòng)和圖像質(zhì)量監(jiān)視器可以 被設(shè)計(jì)成與圖像匹配系統(tǒng) 一 起工作，從而將附加的計(jì)算和開銷減至 最小。
然后，如圖6所示，所采樣的每一個(gè)輸入圖像或視頻幀可以分 成包含了多個(gè)子區(qū)域的網(wǎng)格。雖然并非必要，但是劃分成子區(qū)域的 處理提供了更具魯棒性的運(yùn)動(dòng)檢測(cè)。在圖7中顯示了為了分析網(wǎng)格 中的每一個(gè)子區(qū)域而采取的步驟。如圖所示，在這里可以首先對(duì)子 區(qū)域進(jìn)行過(guò)濾，以便去除噪聲(步驟701)。然后，從子區(qū)域中可以 提取圖像特征(步驟702)，并且可以計(jì)算圖像幀(也就是第K個(gè) 幀和第(K-l)個(gè)幀)之間的差別(步驟703 ),以及在所有子區(qū)域 上累積所述差別(步驟704)。根據(jù)一個(gè)示例性實(shí)施方式，圖像特征 比較包括比較已經(jīng)在圖像匹配引擎中使用的各種特征(例如用于 將捕獲圖像與保存在視覺(jué)數(shù)據(jù)庫(kù)中的圖像和信息相匹配)。結(jié)果， 由于其中一個(gè)幀(例如第K個(gè)幀)中的圖像特征可以直接供圖像匹 配引擎使用，因此可以大為減少處理時(shí)間以及與監(jiān)視運(yùn)動(dòng)和圖像質(zhì) 量變化相關(guān)聯(lián)的成本。
現(xiàn)在轉(zhuǎn)到圖8,在累積了計(jì)算得到的每一個(gè)子區(qū)域內(nèi)部的差別之 后，這時(shí)可以整合這些子區(qū)域結(jié)果，以便具有魯棒性地檢測(cè)運(yùn)動(dòng)和 圖像質(zhì)量變化。舉例來(lái)說(shuō)，整合所述結(jié)果可以包括對(duì)發(fā)覺(jué)超出某 個(gè)預(yù)定閾值的運(yùn)動(dòng)的子區(qū)域數(shù)量進(jìn)行計(jì)算，和/或計(jì)算子區(qū)域變化的 加權(quán)百分比，這二者都會(huì)影響到關(guān)于幀中的運(yùn)動(dòng)的整體評(píng)估。雖然 并不是必要的，但是通過(guò)使用這種整合方法，本發(fā)明的示例性實(shí)施 方式將會(huì)更具魯棒性地地對(duì)抗圖像噪聲，例如具有運(yùn)動(dòng)對(duì)象的靜止圖像幀、場(chǎng)景照明變化和/或低紋理背景。特別地，通過(guò)將幀劃分成 子區(qū)域并且隨后整合每一個(gè)子區(qū)域的結(jié)果，可以將因?yàn)橄鄼C(jī)移動(dòng)而 導(dǎo)致的運(yùn)動(dòng)與在捕獲場(chǎng)景中發(fā)生的運(yùn)動(dòng)(例如移動(dòng)的汽車)區(qū)分開 來(lái)。這是因?yàn)閳?chǎng)景中發(fā)生的運(yùn)動(dòng)只在子區(qū)域的子集中被發(fā)覺(jué)，而相 機(jī)移動(dòng)所導(dǎo)致的運(yùn)動(dòng)則有可能出現(xiàn)在所有子區(qū)域中。轉(zhuǎn)到圖8，如所 示，整合器或"決策器"800的輸出可以是在幀內(nèi)部檢測(cè)到了少量運(yùn) 動(dòng)或沒(méi)有檢測(cè)到運(yùn)動(dòng)，抑或是存在著數(shù)量足以危及圖像質(zhì)量的運(yùn)動(dòng)。
正如本領(lǐng)域普通技術(shù)人員所了解的那樣，舉例來(lái)說(shuō)，決策器800可
以包括任何被配置成整合不同子區(qū)域的結(jié)果并且隨后通過(guò)將整合結(jié) 果與預(yù)定結(jié)果相比較來(lái)確定運(yùn)動(dòng)量是否足以保證采取某種動(dòng)作的裝 置，例如硬件、軟件或是軟硬件組合。作為替換，在整合之前，決 策器還可以首先將每一個(gè)子區(qū)域的結(jié)果與預(yù)定閾值相比較。
如上所述，上文僅僅是一種可以用于檢測(cè)運(yùn)動(dòng)以及確定圖像質(zhì) 量的方法，在不脫離本發(fā)明示例性實(shí)施方式的實(shí)質(zhì)和范圍的情況下， 其他那些相似的方法同樣是可以使用的。舉個(gè)例子，根據(jù)一個(gè)示例
性實(shí)施方式，移動(dòng)i殳備可以包括能夠4企測(cè)沿著某條軸線(例如x， y 或z軸)的加速度的加速度傳感器。運(yùn)動(dòng)可以是根據(jù)將可接受與不 可接受加速度相比的閾值來(lái)檢測(cè)的，而所述加速度則是由加速度傳 感器檢測(cè)的。在這個(gè)示例性實(shí)施方式中不必分析連續(xù)幀，取而代之 的是，在這里可以設(shè)置一個(gè)關(guān)于最大許可運(yùn)動(dòng)的閾值。
如上所述，示例性實(shí)施方式中的移動(dòng)設(shè)備可以響應(yīng)于對(duì)于較差 圖像質(zhì)量或是圖像幀之間的大量變化或運(yùn)動(dòng)的檢測(cè)來(lái)采取若干種動(dòng) 作中的一個(gè)或多個(gè)動(dòng)作。圖9A 9D示出了這其中的少量可能動(dòng)作或 響應(yīng)。圖9A示出了運(yùn)動(dòng)和圖像質(zhì)量監(jiān)視器與圖像匹配系統(tǒng)結(jié)合工作 的實(shí)施方式，在該實(shí)施方式中，所4企測(cè)的是運(yùn)動(dòng)或質(zhì)量變化，并且 圖像質(zhì)量的變化量是很大的，如圖9A所示，整個(gè)圖像匹配系統(tǒng)有可 能輸出低圖像匹配置信度，并且圖像匹配是無(wú)法執(zhí)行的。相比之下， 如果檢測(cè)到少量運(yùn)動(dòng)和質(zhì)量變化，并且其數(shù)量小到不足以危及輸入 圖像質(zhì)量，則可以實(shí)施圖像匹配，并且可以計(jì)算并且向移動(dòng)設(shè)備的屏幕或顯示器輸出圖像匹配置信度。這樣一來(lái)，在將捕獲圖像與圖 像匹配系統(tǒng)結(jié)合使用之前，運(yùn)動(dòng)和圖像質(zhì)量監(jiān)視器將會(huì)通過(guò)操作來(lái) 穩(wěn)定捕獲圖像。
舉個(gè)例子，在一個(gè)實(shí)施方式中(如圖9B所示)，在圖像匹配應(yīng) 用是上述類型的移動(dòng)視覺(jué)搜索應(yīng)用的情況下，如果檢測(cè)到很高的運(yùn) 動(dòng)和/或很低的圖像質(zhì)量，則可以指示視覺(jué)搜索系統(tǒng)始終保持現(xiàn)有搜 索結(jié)果("緩存")，或者將其保持至達(dá)到或超越某個(gè)閾值(例如 任何圖像相關(guān)量度中的差別，時(shí)間差別，或是在視覺(jué)搜索系統(tǒng)中提 供的其他任何上下文中的差別)。在一個(gè)示例性實(shí)施方式中，其中 沒(méi)有向用戶顯示搜索結(jié)果。作為替換，只有一部分現(xiàn)有搜索結(jié)果是 可以顯示的。此外，在一個(gè)示例性實(shí)施方式中可以顯示用以表明沒(méi) 有顯示結(jié)果或者只顯示了一部分結(jié)果的視覺(jué)效果(例如文本消息或 顯示)。另一方面，如果檢測(cè)到很低的運(yùn)動(dòng)和/或很高的圖像質(zhì)量(例 如通過(guò)達(dá)到或超出某個(gè)閾值來(lái)確定，其中所述閾值可以是幀之間的
特定圖像特征的百分比變化)，視覺(jué)搜索系統(tǒng)可以執(zhí)行新的圖像匹 配來(lái)更新結(jié)果。
如圖9C和9D所示，在這里還可以確定是否關(guān)閉或打開移動(dòng)設(shè) 備的特定組件，或者時(shí)候繼續(xù)保持特定動(dòng)作(例如動(dòng)作A)或另一 個(gè)動(dòng)作(例如動(dòng)作B)。舉個(gè)例子，可以打開或關(guān)閉的組件可以包 括背光、相機(jī)、處理器或是與移動(dòng)設(shè)備或相機(jī)模塊相關(guān)聯(lián)的其他任 何硬件組件。在一個(gè)示例性實(shí)施方式中，這些組件可以一直關(guān)閉或 者關(guān)閉至達(dá)到或超出某個(gè)閾值(例如捕獲圖像特征的百分比變化)。 舉個(gè)例子，在一個(gè)示例性實(shí)施方式中，在大的持續(xù)的運(yùn)動(dòng)中，其中 可以使用運(yùn)動(dòng)檢測(cè)來(lái)關(guān)閉屏幕背光，以便節(jié)約移動(dòng)設(shè)備的能耗。
根據(jù)圖9D,舉例來(lái)說(shuō)，可采取的動(dòng)作可以包括顯示結(jié)果、計(jì)算 結(jié)果、關(guān)閉子組件、切換應(yīng)用、切換應(yīng)用模式、切換輸入方法(例 如語(yǔ)音識(shí)別、圖像、運(yùn)動(dòng)或文本輸入等等)或是其他任何類型的動(dòng) 作。
本領(lǐng)域普通技術(shù)人員將會(huì)了解，如果在檢測(cè)到的運(yùn)動(dòng)程度很高和/或所確定的圖像質(zhì)量很低時(shí)(例如與某個(gè)預(yù)定閾值相比較)決定 關(guān)閉特定設(shè)備、切換到特定應(yīng)用或是特定輸入方法等等，那么同樣 可以在運(yùn)動(dòng)和圖像質(zhì)量監(jiān)視器的結(jié)果是檢測(cè)到的運(yùn)動(dòng)很低和/或所確 定的圖像質(zhì)量很高時(shí)做出相反的決定。
根據(jù)另 一 個(gè)示例性實(shí)施方式，移動(dòng)設(shè)備還能檢測(cè)何時(shí)放好了將 移動(dòng)設(shè)備，例如將其放在手袋或手提包中。特別地，根據(jù)這個(gè)示例 性實(shí)施方式，移動(dòng)設(shè)備可以被配置成分析相機(jī)模塊接收的可見(jiàn)光的 等級(jí)。舉例來(lái)說(shuō)，如果用以辨別相機(jī)模塊視野中的對(duì)象的光量不足， 則移動(dòng)設(shè)備可以假設(shè)該設(shè)備處于口袋或手提包中并轉(zhuǎn)入休眠，此后 則有間隔地喚醒，以便嘗試了解相機(jī)是否可以看到有意義的事物。 前文中的這種處理是非常有益的，這是因?yàn)槿绻麑⒁苿?dòng)設(shè)備放在口 袋中并且忘記將其關(guān)閉，那么將會(huì)以超出預(yù)期的速度耗盡移動(dòng)設(shè)備 的電池。
結(jié)論
本發(fā)明示例性實(shí)施方式的系統(tǒng)、方法、電子設(shè)備和計(jì)算機(jī)程序 產(chǎn)品主要是結(jié)合移動(dòng)通信應(yīng)用的上下文描述的。但是應(yīng)該理解，本 發(fā)明實(shí)施方式的系統(tǒng)、方法、電子設(shè)備和計(jì)算機(jī)程序產(chǎn)品是可以與 移動(dòng)通信工業(yè)以內(nèi)以及移動(dòng)通信工業(yè)以外的多種其他應(yīng)用結(jié)合使用 的。例如，本發(fā)明示例性實(shí)施方式的系統(tǒng)、方法、電子設(shè)備和計(jì)算 機(jī)程序產(chǎn)品是可以與有線和/或無(wú)線網(wǎng)絡(luò)(例如因特網(wǎng))應(yīng)用結(jié)合使 用的。
如上所述并且正如本領(lǐng)域技術(shù)人員所了解的那樣，本發(fā)明的實(shí) 施方式可以被配置成是系統(tǒng)、方法或電子設(shè)備。相應(yīng)地，本發(fā)明的 實(shí)施方式可以包括各種裝置，這其中包括純硬件、純軟件或是軟硬 件組合。此外，本發(fā)明的實(shí)施方式可以釆用計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上 的計(jì)算機(jī)程序產(chǎn)品的形式，所述存儲(chǔ)介質(zhì)中則包含了計(jì)算機(jī)可讀程 序指令(例如計(jì)算機(jī)軟件)。任何適當(dāng)?shù)挠?jì)算機(jī)可讀存儲(chǔ)介質(zhì)都是 可以使用的，這其中包括硬盤、CD-ROM、光學(xué)存《諸設(shè)備或是磁存儲(chǔ)設(shè)備。
在上文中，本發(fā)明的示例性實(shí)施方式是參考方法、設(shè)備(即系 統(tǒng))和計(jì)算機(jī)程序產(chǎn)品的框圖和流程圖例證來(lái)描述的。應(yīng)該理解的 是，框圖和流程圖例證中的每個(gè)方框以及框圖和流程圖例證中的方 框組合分別可以由包括計(jì)算機(jī)程序指令在內(nèi)的各種裝置來(lái)實(shí)施。這 些計(jì)算機(jī)程序指令可以加載到通用計(jì)算機(jī)、專用計(jì)算機(jī)或其他可編
程數(shù)據(jù)處理設(shè)備商，以便產(chǎn)生一種機(jī)器，由此，在計(jì)算機(jī)或其他可 編程數(shù)據(jù)處理設(shè)備上執(zhí)行的指令將會(huì)創(chuàng)建一個(gè)用于實(shí)施一個(gè)或多個(gè) 流程圖方框中規(guī)定的功能的裝置。
這些計(jì)算機(jī)程序指令還可以保存在計(jì)算機(jī)可讀存儲(chǔ)器中，其中
該存儲(chǔ)器可以指示計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工 作，由此，保存在計(jì)算機(jī)可讀存儲(chǔ)器中的指令將會(huì)產(chǎn)生一個(gè)制品， 其中該制品包含了用于實(shí)施一個(gè)或多個(gè)流程圖方框中規(guī)定的功能的
計(jì)算機(jī)可讀指令。所述計(jì)算機(jī)可讀指令也可以加載到計(jì)算機(jī)或其他 可編程數(shù)據(jù)處理設(shè)備上，以便促使在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí) 行一系列操作步驟，從而產(chǎn)生一個(gè)計(jì)算機(jī)實(shí)施的進(jìn)程，由此，在計(jì) 算機(jī)或其他可編程設(shè)備上執(zhí)行的指令將會(huì)提供用于實(shí)施一個(gè)或多個(gè) 流程圖方框中規(guī)定的功能的步驟。
相應(yīng)地，框圖和流程圖例證中的方框支持將用于執(zhí)行特定功能 的裝置組合在一起，并且支持將用于執(zhí)行特定功能的步驟以及用于 執(zhí)行特定功能的程序指令裝置組合在一起。此外還應(yīng)該理解，框圖 和流程圖例證中的每 一 個(gè)方框以及框圖和流程圖例證中的方框組合 可以由基于專用硬件并執(zhí)行特定功能或步驟的計(jì)算機(jī)系統(tǒng)來(lái)實(shí)施， 或者由專用硬件與計(jì)算機(jī)指令的組合來(lái)實(shí)施。
對(duì)于本發(fā)明的這些示例性實(shí)施方式所附屬的領(lǐng)域中的普通技術(shù) 人員來(lái)說(shuō)，在得益于先前描述和相關(guān)附圖中給出的教導(dǎo)的情況下，
些修改和其他實(shí)施方式同樣是包含在附加權(quán)利要求的范圍中的。雖然在這里使用了專門的術(shù)語(yǔ)，但是這些術(shù)語(yǔ)僅僅是以普通和描述性 的意義來(lái)^f吏用的，它們并不具有限制目的。
權(quán)利要求
1.一種用于監(jiān)視捕獲圖像的運(yùn)動(dòng)和圖像質(zhì)量的方法，所述方法包括檢測(cè)捕獲圖像中的運(yùn)動(dòng)；以及響應(yīng)于檢測(cè)到的運(yùn)動(dòng)來(lái)采取動(dòng)作，其中所述動(dòng)作包括在將所述捕獲圖像用于圖像匹配應(yīng)用之前穩(wěn)定所述捕獲圖像，或是響應(yīng)于檢測(cè)到的超出預(yù)定閾值的運(yùn)動(dòng)來(lái)節(jié)約電力。
2. 權(quán)利要求l的方法，其中檢測(cè)捕獲圖像中的運(yùn)動(dòng)包括對(duì)所 述捕獲圖像的兩個(gè)或更多連續(xù)幀的一個(gè)或多個(gè)特征進(jìn)行比較。
3. 權(quán)利要求2的方法，其中所比較的特征是從一組用于圖像匹 配應(yīng)用的特征中選出的。
4. 權(quán)利要求2的方法，其中比較一個(gè)或多個(gè)特征還包括 對(duì)所述捕獲圖像的兩個(gè)或更多幀進(jìn)行采樣；過(guò)濾兩個(gè)或更多采樣幀以去除噪聲； 從采樣幀中提取一個(gè)或多個(gè)特征；以及 計(jì)算所提取的采樣幀的特征的差別。
5. 權(quán)利要求4的方法，其中比較一個(gè)或多個(gè)特征還包括 將相應(yīng)的采樣幀分成兩個(gè)或更多子區(qū)域，其中過(guò)濾兩個(gè)或更多采樣幀包括過(guò)濾所述采樣幀的相應(yīng)子區(qū)域，從所述采樣幀中提取一個(gè) 或多個(gè)特征包括從所述采樣幀的相應(yīng)子區(qū)域中提取一個(gè)或多個(gè)特 征，以及計(jì)算所提取特征之間差別包括針對(duì)所述采樣幀的相應(yīng)子區(qū) 域來(lái)計(jì)算所提取特征之間的差別；累積針對(duì)相應(yīng)子區(qū)域而計(jì)算得到的所提取特征之間的差別；以及整合所累積的兩個(gè)或更多子區(qū)域的差別。
6. 權(quán)利要求l的方法，其中檢測(cè)捕獲圖像中的運(yùn)動(dòng)包括 檢測(cè)與捕獲圖像相關(guān)聯(lián)的加速度量；以及將檢測(cè)到的加速度與預(yù)定閾值相比較。
7. 權(quán)利要求l的方法，其中在將捕獲圖像用于圖像匹配應(yīng)用之前穩(wěn)定捕獲圖像包括確定檢測(cè)到的運(yùn)動(dòng)是否超出預(yù)定閾值；以及如果檢測(cè)到的運(yùn)動(dòng)超出了預(yù)定閾值，則阻止圖像匹配應(yīng)用使用所 述捕獲圖像。
8. 權(quán)利要求7的方法，其中所述圖像匹配應(yīng)用包括移動(dòng)視覺(jué)搜 索應(yīng)用，并且其中阻止所述圖像匹配應(yīng)用使用捕獲圖像包括指示 所述移動(dòng)視覺(jué)搜索應(yīng)用不要根據(jù)捕獲圖像來(lái)產(chǎn)生新的搜索結(jié)果。
9. 權(quán)利要求l的方法，其中節(jié)約電力還包括當(dāng)檢測(cè)到的運(yùn)動(dòng) 超出預(yù)定閾值時(shí)，關(guān)閉用于捕獲圖像的電子設(shè)備中的一個(gè)或多個(gè)組 件。
10. 權(quán)利要求1的方法，其中該動(dòng)作是從包含下列各項(xiàng)的群組中 選出的當(dāng)4企測(cè)到的運(yùn)動(dòng)超出預(yù)定閾值時(shí)，阻止所述圖像匹配應(yīng)用 使用捕獲圖像，指示移動(dòng)視覺(jué)搜索應(yīng)用不要根據(jù)捕獲圖像來(lái)產(chǎn)生新 的搜索結(jié)果，關(guān)閉用于捕獲圖像的電子設(shè)備中的一個(gè)或多個(gè)組件， 從工作于電子設(shè)備的第一應(yīng)用切換到第二應(yīng)用，改變工作在電子設(shè) 備的應(yīng)用的工作模式，以及改變工作在電子設(shè)備上的應(yīng)用的輸入方 法。
11. 一種用于監(jiān)視捕獲圖像的運(yùn)動(dòng)和圖像質(zhì)量的設(shè)備，所述設(shè)備 包括處理器；以及與處理器通信的存儲(chǔ)器，其中該存儲(chǔ)器存儲(chǔ)處理器可執(zhí)行的應(yīng) 用，其中該應(yīng)用被配置成在執(zhí)行時(shí)檢測(cè)捕獲圖像中的運(yùn)動(dòng)，以及響 應(yīng)于檢測(cè)到的運(yùn)動(dòng)來(lái)采取動(dòng)作，其中該動(dòng)作包括在將捕獲圖像用 于圖像匹配應(yīng)用之前穩(wěn)定捕獲圖像，或是響應(yīng)于檢測(cè)到的超出預(yù)定 閾值的運(yùn)動(dòng)來(lái)節(jié)約電力。
12. 權(quán)利要求ll的設(shè)備，其中為了檢測(cè)捕獲圖像中的運(yùn)動(dòng)，該 應(yīng)用被進(jìn)一步配置成在執(zhí)行時(shí)，比較捕獲圖像的兩個(gè)或更多連續(xù) 幀中的一個(gè)或多個(gè)特征。
13. 權(quán)利要求12的設(shè)備，其中為了比較兩個(gè)或更多連續(xù)幀中的一個(gè)或多個(gè)特征，該應(yīng)用被進(jìn)一步配置成在執(zhí)行時(shí)， 對(duì)所述捕獲圖像的兩個(gè)或更多幀進(jìn)行采樣； 過(guò)濾兩個(gè)或更多采樣幀以去除噪聲； 從采樣幀中提取一個(gè)或多個(gè)特征；以及 計(jì)算所提取的采樣幀的特征的差別。
14. 權(quán)利要求13的設(shè)備，其中為了比較兩個(gè)或更多連續(xù)幀中的 一個(gè)或多個(gè)特征，該應(yīng)用被進(jìn)一步配置成在執(zhí)行時(shí)，將相應(yīng)的采樣幀分成兩個(gè)或更多子區(qū)域，其中過(guò)濾兩個(gè)或更多采 樣幀包括過(guò)濾所述采樣幀的相應(yīng)子區(qū)域，從所述采樣幀中提取 一 個(gè) 或多個(gè)特征包括從所述采樣幀的相應(yīng)子區(qū)域中提取 一 個(gè)或多個(gè)特 征，以及計(jì)算所提取特征之間差別包括針對(duì)所述釆樣幀的相應(yīng)子區(qū)域計(jì)算所提取特征之間的差別；累積針對(duì)相應(yīng)子區(qū)域而計(jì)算得到的所提取特征之間的差別；以及 整合所累積的兩個(gè)或更多子區(qū)域的差別。
15. 權(quán)利要求ll的設(shè)備，其中為了檢測(cè)捕獲圖像中的運(yùn)動(dòng)，該 應(yīng)用被進(jìn)一步配置成在執(zhí)行時(shí)，檢測(cè)與捕獲圖像相關(guān)聯(lián)的加速度量；以及 將檢測(cè)到的加速度與預(yù)定閾值相比較。
16. 權(quán)利要求ll的設(shè)備，其中為了在將捕獲圖像用于圖像匹配 應(yīng)用之前穩(wěn)定捕獲圖像，該應(yīng)用被進(jìn)一步配置成在執(zhí)行時(shí)，確定^r測(cè)到的運(yùn)動(dòng)是否超出預(yù)定閾值；以及 如果檢測(cè)到的運(yùn)動(dòng)超出了預(yù)定閾值，則阻止圖像匹配應(yīng)用使用所 述捕獲圖像。
17，權(quán)利要求16的設(shè)備，其中所述圖像匹配應(yīng)用移動(dòng)視覺(jué)搜索 應(yīng)用，并且其中為了阻止所述圖像匹配應(yīng)用包括使用捕獲圖像，該 應(yīng)用進(jìn)一步被配置成在執(zhí)行時(shí)，指示所述移動(dòng)視覺(jué)搜索應(yīng)用不要 根據(jù)捕獲圖像來(lái)產(chǎn)生新的搜索結(jié)果。
18.權(quán)利要求ll的設(shè)備，其中圖像匹配應(yīng)用保存在所述存儲(chǔ)器
19. 權(quán)利要求ll的設(shè)備，其中為了節(jié)電，該應(yīng)用被進(jìn)一步配置 成在執(zhí)行時(shí)，當(dāng)檢測(cè)到的運(yùn)動(dòng)超出預(yù)定閾值時(shí)，關(guān)閉用于捕獲圖 像的電子設(shè)備中的一個(gè)或多個(gè)組件。
20. 權(quán)利要求ll的設(shè)備，還包括可以由處理器操作的相機(jī)模塊，該相機(jī)模塊被配置成捕獲一個(gè)或 多個(gè)圖像，所述存儲(chǔ)器被配置成存儲(chǔ)一個(gè)或多個(gè)捕獲圖像。
21. —種用于監(jiān)視捕獲圖像的運(yùn)動(dòng)和圖像質(zhì)量的計(jì)算機(jī)程序產(chǎn) 品，其中該計(jì)算機(jī)程序產(chǎn)品包括至少一個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，并 且在該介質(zhì)中存儲(chǔ)了計(jì)算機(jī)可讀程序代碼部分，該計(jì)算機(jī)可讀程序 代碼部分包括用于檢測(cè)捕獲圖像中的運(yùn)動(dòng)的第 一 可執(zhí)行部分；以及 用于響應(yīng)于檢測(cè)到的運(yùn)動(dòng)而采取 一 個(gè)動(dòng)作的第二可執(zhí)行部分，其 中所述動(dòng)作包括在將所述捕獲圖像用于圖像匹配應(yīng)用之前穩(wěn)定所 述捕獲圖像，或是響應(yīng)于檢測(cè)到的超出預(yù)定閾值的運(yùn)動(dòng)來(lái)節(jié)約電力。
22. 權(quán)利要求21的計(jì)算機(jī)程序產(chǎn)品，其中第一可執(zhí)行部分被配 置成比較捕獲圖像的兩個(gè)或更多連續(xù)幀中的一個(gè)或多個(gè)特征。
23. 權(quán)利要求22的計(jì)算機(jī)程序產(chǎn)品，其中為了比較兩個(gè)或更多 連續(xù)幀中的一個(gè)或多個(gè)特征，第一可執(zhí)行部分進(jìn)一步被配置成對(duì)所述捕獲圖像的兩個(gè)或更多幀進(jìn)行采樣； 過(guò)濾兩個(gè)或更多采樣幀以去除噪聲； 從采樣幀中提取一個(gè)或多個(gè)特征；以及 計(jì)算所提取的采樣幀的特征的差別。
24. 權(quán)利要求23的計(jì)算機(jī)程序產(chǎn)品，其中為了比較兩個(gè)或更多 連續(xù)幀中的一個(gè)或多個(gè)特征，第一可執(zhí)行部分進(jìn)一步被配置成將相應(yīng)的采樣幀分成兩個(gè)或更多子區(qū)域，其中過(guò)濾兩個(gè)或更多采 樣幀包括過(guò)濾所述釆樣幀的相應(yīng)子區(qū)域，從所述采樣幀中提取 一 個(gè) 或多個(gè)特征包括從所述采樣幀的相應(yīng)子區(qū)域中提取一個(gè)或多個(gè)特 征，以及計(jì)算所提取特征之間差別包括針對(duì)所述采樣幀的相應(yīng)子區(qū) 域來(lái)計(jì)算所提取特征之間的差別；累積針對(duì)相應(yīng)子區(qū)域而計(jì)算得到的所提取特征之間的差別；以及 整合所累積的兩個(gè)或更多子區(qū)域的差別。
25. 權(quán)利要求21的計(jì)算機(jī)程序產(chǎn)品，其中第一可執(zhí)行部分被配 置成檢測(cè)與捕獲圖像相關(guān)聯(lián)的加速度量；以及 將檢測(cè)到的加速度與預(yù)定閾值相比較。
26. 權(quán)利要求21的計(jì)算機(jī)程序產(chǎn)品，其中為了在將捕獲圖像用 于圖像匹配應(yīng)用之前穩(wěn)定捕獲圖像，第一可執(zhí)行部分進(jìn)一步被配置 成確定檢測(cè)到的運(yùn)動(dòng)是否超出預(yù)定閾值；以及 如果檢測(cè)到的運(yùn)動(dòng)超出了預(yù)定閾值，則阻止圖像匹配應(yīng)用使用所 述捕獲圖像。
27. 權(quán)利要求26的計(jì)算機(jī)程序產(chǎn)品，其中所述圖像匹配應(yīng)用移 動(dòng)視覺(jué)搜索應(yīng)用，并且其中為了阻止所述圖像匹配應(yīng)用使用捕獲圖 像，所述第二可執(zhí)行部分進(jìn)一步被配置成指示所述移動(dòng)視覺(jué)搜索 應(yīng)用不要根據(jù)捕獲圖像來(lái)產(chǎn)生新的搜索結(jié)果。
28. 權(quán)利要求21的計(jì)算機(jī)程序產(chǎn)品，其中為了節(jié)電，所述第二 可執(zhí)行部分進(jìn)一步被配置成當(dāng)檢測(cè)到的運(yùn)動(dòng)超出預(yù)定閾值時(shí)，關(guān) 閉用于捕獲圖像的電子設(shè)備中的一個(gè)或多個(gè)組件。
29. —種用于監(jiān)視捕獲圖像的運(yùn)動(dòng)和圖像質(zhì)量的設(shè)備，所述設(shè)備 包括用于檢測(cè)捕獲圖像中的運(yùn)動(dòng)的裝置；以及響應(yīng)于檢測(cè)到的運(yùn)動(dòng)而采取動(dòng)作的裝置，其中所述動(dòng)作包括在 將所述捕獲圖像用于圖像匹配應(yīng)用之前穩(wěn)定所述捕獲圖像，或是響 應(yīng)于檢測(cè)到的超出預(yù)定閾值的運(yùn)動(dòng)來(lái)節(jié)約電力。
全文摘要
本發(fā)明提供了一種用于監(jiān)視與捕獲圖像相關(guān)聯(lián)的運(yùn)動(dòng)和/或圖像質(zhì)量的方法、設(shè)備和計(jì)算機(jī)程序產(chǎn)品。響應(yīng)于檢測(cè)到的運(yùn)動(dòng)以及與捕獲圖像相關(guān)聯(lián)的相應(yīng)圖像質(zhì)量，在這里可以采取各種動(dòng)作。具體地，舉例來(lái)說(shuō)，所述運(yùn)動(dòng)和圖像質(zhì)量監(jiān)視器可以只在捕獲圖像的圖像特征穩(wěn)定(也就是在捕獲圖像的連續(xù)幀之間檢測(cè)到很少或是沒(méi)有運(yùn)動(dòng))的時(shí)候才允許捕獲圖像與移動(dòng)視覺(jué)搜索系統(tǒng)之類的圖像匹配應(yīng)用結(jié)合使用。檢測(cè)到的運(yùn)動(dòng)和/或圖像質(zhì)量的變化進(jìn)一步可以用于節(jié)能目的，其中舉例來(lái)說(shuō)，所述目的是通過(guò)根據(jù)檢測(cè)到的運(yùn)動(dòng)量和/或捕獲的圖像質(zhì)量接通或切斷工作在移動(dòng)設(shè)備上的各種應(yīng)用和/或組件來(lái)實(shí)現(xiàn)的。
文檔編號(hào)G06K9/22GK101681430SQ200880013506
公開日2010年3月24日 申請(qǐng)日期2008年3月19日 優(yōu)先權(quán)日2007年4月24日
發(fā)明者C·P·施羅特, K·普利, M·賈科布, 江 高 申請(qǐng)人:諾基亞公司