自動發(fā)現(xiàn)受歡迎的地標的制作方法
【專利摘要】本發(fā)明涉及自動發(fā)現(xiàn)受歡迎的地標。在一個實施例中，本發(fā)明是一種用于填充以及更新地標圖像數(shù)據(jù)庫的方法，所述方法包括：根據(jù)地理接近性對地理標注圖像進行地理聚類以生成一個或多個地理集群，以及根據(jù)圖像相似性對一個或多個地理集群進行視覺聚類以生成一個或多個視覺集群。在另一個實施例中，本發(fā)明是一種用于從數(shù)字圖像識別地標的系統(tǒng)，其包括以下組件：地理標注圖像數(shù)據(jù)庫；地標數(shù)據(jù)庫；地理聚類模塊；以及視覺聚類模塊。在其它實施例中，本發(fā)明可以是一種增強檢索地標圖像的用戶查詢的方法，或一種用文本標記自動標注新的數(shù)字圖像的方法。
【專利說明】自動發(fā)現(xiàn)受歡迎的地標
[0001]分案說明
[0002]本申請屬于申請日為2009年5月12日的中國專利申請200980127106.5的分案申請。

【技術(shù)領(lǐng)域】
[0003]本發(fā)明總體上涉及數(shù)字圖像集合，更具體地涉及識別大型數(shù)字圖像集合中的受歡迎的地標(landmark)。

【背景技術(shù)】
[0004]隨著數(shù)字圖像的使用增加、數(shù)字存儲介質(zhì)的容量和可用性增大以及由諸如因特網(wǎng)的數(shù)字傳輸介質(zhì)提供的互連性，數(shù)量日益增大的人群可訪問愈加大型的數(shù)字圖像庫。來自遍及世界的各種位置的具有廣泛興趣的人拍攝各種主題的照片，并且使那些照片例如在因特網(wǎng)上可用。例如，來自世界各地的各種地標和旅游地點的數(shù)字照片可以由具有拍攝照片的不同技能水平的人拍攝，并且被張貼(post)到web上。照片可以示出來自不同角度、以及從相同或不同距離拍攝的相同地標。
[0005]為了利用包含在這些大型數(shù)字圖像庫中的信息，必要的是，對所述庫進行組織。例如，在諸如Google照片或Picasa的數(shù)字圖像網(wǎng)站,起始于高級菜單,人們可以向下鉆取(drill down)至對其而言照片可用的詳細的主題收錄。替選地，人們可以能夠搜索具有數(shù)字照片的一個或多個站點。例如，一些旅游信息網(wǎng)站下載了與已公布的受歡迎的旅游地點列表相關(guān)聯(lián)的地標的圖像。
[0006]然而，沒有可以從這些大型集合自動提取諸如最受歡迎的旅游目的地的信息的已知系統(tǒng)。隨著大量新的照片被添加到這些數(shù)字圖像集合，可能不可行的是，用戶以會增加那些數(shù)字圖像集合的有用性的完整和一致的方式人工標記照片。因此所需要的是，可以自動識別并標記大型數(shù)字圖像集合中的受歡迎的地標的系統(tǒng)和方法。


【發(fā)明內(nèi)容】

[0007]在一個實施例中，本發(fā)明是一種用于填充(populate)以及更新地標圖像數(shù)據(jù)庫的方法，所述方法包括:根據(jù)地理接近性對地理標注(geo-tagged)圖像進行地理聚類(geo-cluster)以生成一個或多個地理集群(geo-cluster),以及根據(jù)圖像相似性對一個或多個地理集群視覺聚類以生成一個或多個視覺集群。
[0008]在另一個實施例中，本發(fā)明是一種用于從數(shù)字圖像識別地標的系統(tǒng)，其包括以下組件:地理標注圖像數(shù)據(jù)庫；地標數(shù)據(jù)庫；與所述地理標注圖像數(shù)據(jù)庫通信的地理聚類模塊，其中所述地理標注圖像被聚組成一個或多個地理集群；以及與所述地理聚類模塊通信的視覺聚類模塊，其中所述一個或多個地理集群被聚組成一個或多個視覺集群，以及其中視覺集群數(shù)據(jù)被存儲在地標數(shù)據(jù)庫中。
[0009]在一個進一步實施例中，本發(fā)明是一種增強用來檢索地標圖像的用戶查詢的方法，包括以下階段:接收用戶查詢；識別用戶查詢中的一個或多個觸發(fā)詞；從地標數(shù)據(jù)庫中選擇與一個或多個觸發(fā)詞相對應(yīng)的一個或多個對應(yīng)的標簽(tag);以及用一個或多個對應(yīng)的標簽增補用戶查詢，生成增補的用戶查詢。
[0010]在又另一個實施例中，本發(fā)明是一種自動標注新的數(shù)字圖像的方法，包括以下階段:將新的數(shù)字圖像與地標圖像數(shù)據(jù)庫中的圖像進行比較，其中地標圖像數(shù)據(jù)庫包括一個或多個地標的圖像的視覺集群；以及基于所述視覺集群中的至少一個用至少一個標簽標注新的數(shù)字圖像。

【專利附圖】

【附圖說明】
[0011]將參考本發(fā)明的實施例，這些實施例的示例可以在附圖中圖示。這些附圖意在說明而非限制。盡管在這些實施例的語境中一般地描述了本發(fā)明，但是應(yīng)當理解的是，這并不意在將本發(fā)明的范圍限制在這些特定實施例。
[0012]圖1是根據(jù)本發(fā)明的一個實施例的用來填充和更新地標圖像數(shù)據(jù)庫的系統(tǒng)。
[0013]圖2示出了實現(xiàn)本發(fā)明的一個實施例的方法的高層級流程圖。
[0014]圖3是示出了在一個實施例中的圖2中所示的地理聚類階段的更詳細操作的流程圖。
[0015]圖4是示出了在一個實施例中的圖3中所示的地理集群創(chuàng)建階段的更詳細操作的流程圖。
[0016]圖5是示出了在一個實施例中的圖2中所示的視覺聚類階段的更詳細操作的流程圖。
[0017]圖6是在本發(fā)明的一個實施例中使用的圖形用戶接口。
[0018]圖7是根據(jù)本發(fā)明的一個實施例的更新地標圖像數(shù)據(jù)庫的方法。
[0019]圖8是根據(jù)本發(fā)明的一個實施例的使用已存儲的地標信息來增強用戶查詢的方法。
[0020]圖9是根據(jù)本發(fā)明的一個實施例的用來自動注釋包含地標的圖像的方法。
[0021]圖10是根據(jù)本發(fā)明的一個實施例的示出了關(guān)于根據(jù)用戶指定的選擇標準檢索的地標和對應(yīng)的集群的信息的示例用戶界面屏。
[0022]圖11是根據(jù)本發(fā)明的一個實施例圖示了用來維護集群和地標的方法的操作的流程圖。
[0023]圖12是根據(jù)本發(fā)明的一個實施例的示出了有關(guān)一個視覺集群的細節(jié)的示例用戶界面屏。
[0024]圖13是根據(jù)本發(fā)明的一個實施例圖示了用來維護視覺集群的方法的操作的流程圖。

【具體實施方式】
[0025]雖然在此參考用于特定應(yīng)用的說明性實施例描述了本發(fā)明，但是應(yīng)當理解的是，本發(fā)明不限于此。本領(lǐng)域的技術(shù)人員使用在此的教導(dǎo)將認識到額外修改、應(yīng)用和在本發(fā)明的范圍以及本發(fā)明在其中將是大量利用的額外領(lǐng)域內(nèi)的實施例。
[0026]本發(fā)明包括用于自動識別并分類數(shù)字圖像中的對象的方法和系統(tǒng)。例如，本發(fā)明的實施例可以基于在因特網(wǎng)上可訪問的數(shù)字圖像集合來識別、分類以及排序最受歡迎的旅游地標。本發(fā)明的方法和系統(tǒng)可以使得能夠?qū)ψ钍軞g迎的旅游位置的最新列表和圖像集合的有效維護，其中旅游位置的受歡迎度可以由該位置被用戶張貼到因特網(wǎng)上的圖像的數(shù)量來估算。
[0027]在圖1中示出了根據(jù)本發(fā)明的一個實施例的受歡迎的地標識別系統(tǒng)100。處理模塊101包括地理聚類模塊102和視覺聚類模塊103。視覺聚類模塊103還可以包括受歡迎度模塊104。在下面描述了模塊102-104的處理功能:關(guān)于圖3-4描述了地理聚類模塊102 ；關(guān)于圖5描述了視覺聚類模塊?？梢栽谲浖⒂布蛞陨系慕M合中實現(xiàn)模塊102-104的處理功能。例如，可以將模塊102-104完全實現(xiàn)為軟件模塊，或可以使用諸如現(xiàn)場可編程門陣列(FPGA)的硬件來實現(xiàn)地理聚類模塊102的一些功能。本領(lǐng)域技術(shù)人員將理解的是，處理模塊101可以包括幫助本發(fā)明的功能的額外組件和模塊。例如，處理模塊101可以包括一個或多個處理器、存儲器、存儲設(shè)備、用于連接到包括圖形用戶接口 130、地理標注圖像庫110和地標數(shù)據(jù)庫系統(tǒng)120的外部設(shè)備的模塊。
[0028]地標數(shù)據(jù)庫系統(tǒng)120可以包括地標數(shù)據(jù)庫121和相關(guān)聯(lián)的索引122。地標數(shù)據(jù)庫系統(tǒng)120可以與模塊101共同位于同一處理平臺或可以分立定位。地標數(shù)據(jù)庫121可以包括系統(tǒng)100所識別的地標的集合。地標數(shù)據(jù)庫121中的為每一個地標存儲的信息可以包括地標的圖像或圖像列表、圖像和特征模板以及來自圖像的包括地理坐標、時間和用戶信息的元數(shù)據(jù)。地標數(shù)據(jù)庫121還可以包含處理模塊101中的處理所需的視覺聚類和地理聚類數(shù)據(jù)。索引122可以包括按照例如而非限制受歡迎度、地理區(qū)域、時間或如感興趣的主題的其它用戶定義的標準中的一個或多個的順序?qū)⒌貥税才旁诘貥藬?shù)據(jù)庫121中的索引。鏈路141可以是包括例如而非限制，外圍組件互連(PCI)總線、IEEE 1394火線接口、以太網(wǎng)接口或IEEE 802.11接口的互連機制中的任何一個或組合。
[0029]用戶接口 130允許用戶或其它外部實體與處理系統(tǒng)101、地標數(shù)據(jù)庫系統(tǒng)120以及地理標注圖像庫110交互?？梢允褂冒ɡ缍窍拗?，PCI總線、IEEE 1394火線接口、以太網(wǎng)接口或IEEE 802.11接口的互連機制中的任何一個或組合將用戶接口 130連接到系統(tǒng)100的其它實體?？梢詫D形用戶接口、web接口以及應(yīng)用編程接口中的一個或多個包括在用戶接口 130中。
[0030]地理標注圖像庫110可以包括跨一個或多個網(wǎng)絡(luò)分布的一個或多個數(shù)字地理標注圖像庫。本領(lǐng)域技術(shù)人員將理解的是，還可以將庫110實現(xiàn)為指向遍及網(wǎng)絡(luò)分布的可訪問的地理標注圖像集合的鏈接的集合。還可以通過制作在分布式位置可用的全部或部分圖像的副本(例如，下載并存儲在本地存儲中)來實現(xiàn)庫110。在一些實施例中，地理標注圖像庫的一部分可以存在于與處理系統(tǒng)101和/或地標數(shù)據(jù)庫系統(tǒng)120相同的處理平臺上。構(gòu)成地理標注圖像庫110的不同地理標注圖像集合可以通過因特網(wǎng)、內(nèi)聯(lián)網(wǎng)或其它形式的互聯(lián)網(wǎng)絡(luò)互連。處理系統(tǒng)101將從地理標注圖像庫可用的圖像作為輸入。在一些實施例中，可以在將來自分布式圖像集合的圖像存儲在庫I1中時或輸入到處理模塊101之前將其轉(zhuǎn)換為諸如GIF的標準圖形格式。實施例還可以要求其它形式的標準化，諸如降低或增強分辨率，或在下述之前執(zhí)行對圖像的處理:將圖像存儲在庫110時或輸入到處理模塊101之前?？梢酝ㄟ^鏈路142和143使用包括例如而非限制，PCI總線、IEEE 1394火線接口、以太網(wǎng)接口或IEEE 802.11接口的互連機制中的任何一個或組合將庫110連接到系統(tǒng)的其它組件。
[0031]圖2是使用來自圖像庫110的地理編碼圖像來創(chuàng)建或更新地標數(shù)據(jù)庫121的本發(fā)明的一個實施例的過程200的流程圖。過程200包括兩個主要處理階段:地理聚類階段201和視覺聚類階段202。給定地理編碼數(shù)字圖像集合，例如大型的各種旅游目的地數(shù)字圖像集合，地理聚類階段201可以基于每一個照片的地理位置代碼將可用圖像分成分立的組。地理聚類階段使用在每一個照片中可用的地理編碼以將圖像相對快速地分隔成不同的組或地理集群?？梢岳妙A(yù)配置的參數(shù)，包括在其內(nèi)的圖像被認為屬于同一地理集群的默認半徑。然后可以將在地理聚類階段201生成的地理集群輸入到視覺聚類階段202。在視覺聚類階段202，系統(tǒng)試圖通過基于圖像相似性將每一個地理集群中的圖像再分成同一對象或地標的圖像集群(即，視覺集群)來分隔每一個地理集群中的圖像。注意到，總的來說，至少部分由于對照片集合的地理聚類是比較已包括在每一個照片中的地理位置信息，所以對照片集合的地理聚類在計算上比對同一圖像集合的視覺聚類花費更少。例如，相比之下，視覺聚類202可以包括執(zhí)行對象識別、特征向量生成以及對圖像的每一個中的每一個可識別的對象的比較，然后比較不同圖像的特征向量。
[0032]在一些實施例中，可以將包括相關(guān)聯(lián)的圖像和/或?qū)ο嚓P(guān)聯(lián)的圖像的引用的視覺集群信息存儲在諸如地標數(shù)據(jù)庫121的數(shù)據(jù)庫中。存儲在地標數(shù)據(jù)庫121中的圖像和/或虛擬圖像可以使用允許基于包括受歡迎度的可配置的標準訪問已存儲的視覺集群的一個或多個索引122來訪問。例如，已存儲的視覺集群可以由更新索引122以允許按照向每一個集群提交了圖像的獨特(unique)用戶的數(shù)量的順序訪問的受歡迎度模塊104處理。
[0033]在一些實施例中，所選擇的視覺集群可以經(jīng)受用戶查閱和/或可以由計算機程序進一步處理。例如，可選地，滿足指定標準，諸如具有少于預(yù)定數(shù)量的圖像，的視覺集群可以經(jīng)受用戶查閱。用戶可以通過包括以下的行為來修改一個或多個視覺集群:刪除圖像、添加圖像或?qū)D像重新分配到另一個集群。用戶還可以指定新的標簽信息或修改現(xiàn)存標簽信息。本領(lǐng)域技術(shù)人員將理解的是，根據(jù)從用戶或計算機程序接收的外部數(shù)據(jù)來處理視覺集群可以要求系統(tǒng)執(zhí)行額外的功能以維護存儲在數(shù)據(jù)庫系統(tǒng)120中的地理集群和視覺集群信息的一致性。
[0034]圖3示出了兩個處理階段，創(chuàng)建地理集群301和驗證地理集群302，在本發(fā)明的一些實施例中所述階段包括在地理聚類階段201中。創(chuàng)建地理集群301可以包括使用一個或多個預(yù)定義半徑參數(shù)來基于兩個圖像上的地理位置代碼確定一個圖像是否在另一個圖像的地理半徑內(nèi)。注意到，地理聚類算法可能需要考慮實際指示相機的位置而不是對象或地標的位置的地理位置編碼。對照片的地理標注可以通過若干裝置來實現(xiàn)，所述裝置包括具有GPS能力的數(shù)碼相機、連同匹配軟件的與相機分離的GPS設(shè)備、使用諸如Google地球的工具或?qū)φ掌目山粨Q圖像格式(EXIF)標簽的人工編輯。地理標注的方法在本領(lǐng)域一般已知，因此在本公開中沒有描述。并且，盡管默認的地理集群半徑可以適于感興趣的大部分地標或?qū)ο?，但是一些地標可能需要不同的集群半徑參?shù)以產(chǎn)生對圖像的最有效的聚組。在階段301，基于地理接近性來生成一個或多個圖像的集群。
[0035]在地理集群驗證階段302，可以基于所選擇的標準來驗證在創(chuàng)建地理聚類階段301生成的地理集群中的每一個。例如，在本發(fā)明的一個實施例中，目標可以是確保選擇用于進一步處理的每一個地理集群合理地包括旅游地標，即受歡迎的地標。相應(yīng)地，驗證標準可以是僅進一步處理具有來自比預(yù)定閾值多的獨特用戶的圖像的地理集群。諸如具有至少預(yù)定數(shù)量的提交了同一地標的圖像的獨特用戶的驗證標準可能濾除沒有什么受歡迎吸引力的其它建筑物、構(gòu)筑物和名勝古跡、公園、山巒、風(fēng)景等的圖像。例如，張貼自己的沒有太大受歡迎吸引力的新近建造的房屋的圖片的熱情房主不太可能張貼他的房屋的若干數(shù)量的圖像，其中該圖像的數(shù)量與由因特網(wǎng)數(shù)字圖像集合站點的所有用戶張貼的任何受歡迎的地標的圖像的數(shù)量相比較是可觀的。在一個實施例中，可以每季節(jié)和/或每地理區(qū)域設(shè)置閾值。在其它實施例中，可以通過針對獨特用戶的分布首先分析地理集群來導(dǎo)出閾值。在又其它實施例中，可以為每一個類型的地標設(shè)置閾值。對用于設(shè)置閾值的方法的前述描述僅用于說明的目的。本領(lǐng)域技術(shù)人員將理解的是，存在許多其它方法，通過其可以根據(jù)每一次使用的焦點來驗證地理集群。
[0036]圖4圖示了在本發(fā)明的一個實施例中的地理聚類階段中的處理的進一步細節(jié)301。對于每一個地理標注圖像，可以重復(fù)階段401-405。對于尚不屬于集群的每一個地理標注圖像，在階段401確定從圖像到每一個集群的距離。距離確定可以基于圖像的中心的地理坐標。例如，在一個實施例中，距離可以是從圖像的中心到集群的移動平均圖像中心，其中每當新的圖像被添加到集群時移動平均被更新以及移動平均可以被計算為集群中的圖像中的每一個的中心的平均。在階段402，作出關(guān)于圖像是否與現(xiàn)存集群匹配的決定。決定可以基于落入距集群的中心地理坐標的預(yù)定半徑所定義的區(qū)域內(nèi)的圖像的地理坐標。預(yù)定半徑可以例如基于每地理區(qū)域基礎(chǔ)、基于對每一個集群中的圖像的中心坐標的分析或基于地標的類型。如果認為圖像是對現(xiàn)存集群的匹配，則在階段403將圖像添加到該集群。否貝U，在階段404創(chuàng)建新的集群。將圖像添加到現(xiàn)存集群或創(chuàng)建新的集群，可能需要計算一些集群參數(shù)，諸如集群的地理中心坐標。當過程301為輸入的地理標注圖像集而完成后，地理集群集應(yīng)當可用?？梢詫⒌乩砑号c相關(guān)聯(lián)的信息一起存儲為地理標注圖像庫110或處理模塊101可訪問的另一個存儲設(shè)備的一部分。與每一個圖像或地理集群相關(guān)聯(lián)的信息可以包括地理位置和描述圖像的其它元數(shù)據(jù)、如果可用的話，分配給圖像的文本標簽以及基于圖像的地理位置信息的額外位置信息(即，指定國家和城市的文本標記)。
[0037]圖5是在本發(fā)明的一個實施例中的視覺聚類階段202的詳細視圖。對于在階段201生成的每一個地理集群，重復(fù)階段501-505。到視覺聚類階段202的輸入是在階段201產(chǎn)生的地理集群集。來自視覺聚類階段202的輸出是有關(guān)輸入的地理集群中的每一個的一個或多個視覺集群。每一個視覺集群應(yīng)當包括具有同一例如受歡迎的旅游地標的圖像。視覺集群集可以收集以各種相機角度、相機距離和光線條件描繪特定地標的所有圖像。該視覺集群集是否包含具有特定地標的所有圖像并且只有那些圖像，是視覺聚類方法的有效性和參數(shù)的函數(shù)。無論視覺集群集是否具有包含特定地標的所有圖像并且只有那些圖像，本公開的教導(dǎo)都適用。對于地理集群，階段501創(chuàng)建集群中的圖像的索引。索引可以是集群中的圖像的列表，其具有包括原始圖像或?qū)υ紙D像的引用、從原始圖像導(dǎo)出的圖像(例如，原始圖像的較低分辨率版本)、一個或多個圖像模板和特征向量、用戶標識、地理標注、時間信息以及已分配的任何標簽的數(shù)據(jù)元素。在階段502，將地理集群中的每一個圖像與對應(yīng)的索引進行匹配。匹配過程502對于地理集群中的每一個圖像，生成對匹配圖像的引用。在匹配過程502之后，索引可以對于每一個圖像，包含對該地理集群內(nèi)的所有其它匹配圖像的引用。階段502中的匹配可以包括每一個圖像內(nèi)的對象識別以識別諸如地標的感興趣的對象、生成每一個所識別的對象的特征向量，然后比較特征向量以獲取匹配信息。比較可以基于分配給包括在特征向量中的特征的可配置的數(shù)字分值以及將兩個圖像分類成匹配對的可配置的數(shù)字閾值。圖像中的對象識別和生成特征向量的方法在本領(lǐng)域眾所周知。例如，在希臘科孚島的 Internat1nal Conference on Computer Vis1n (1999 年 9 月)第 1150-1157頁，David G.Lowe 的"Object recognit1n from local scale-1nvariant features"中描述了圖像中的對象識別的方法。
[0038]在階段503，基于在階段501-502生成的索引和匹配，生成匹配區(qū)域圖。在匹配區(qū)域圖中，節(jié)點是圖像，以及在節(jié)點之間的鏈接指示圖像之間的關(guān)系。例如，根據(jù)階段502匹配的圖像對會具有在它們之間的鏈接。在階段504，使用匹配區(qū)域圖來生成視覺集群。簡而言之，視覺集群是在基于階段504中的額外處理刪去弱鏈接后匹配區(qū)域圖中的連接的子樹。弱鏈接可以是在圖像基于圖像或特征模板來匹配的情況下帶有小于閾值數(shù)量的匹配特征的鏈接。一些實施例可以將沒有匹配指定特征集的鏈接認作為弱鏈接。如果可用的話，集群中的圖像之間的文本標記協(xié)議可以是另一個標準。并且，可以在刪去弱鏈接時考慮集群中的圖像的數(shù)量，以最小化帶有非常少圖像的集群。本領(lǐng)域技術(shù)人員將理解的是，除在此描述的那些外，刪去弱鏈接可以基于多種標準。最后，在階段505保存視覺集群數(shù)據(jù)。可以將視覺集群保存到地標數(shù)據(jù)庫121。連同每一個視覺集群的圖像和對象信息外，可以保存其它相關(guān)數(shù)據(jù)，包括但不限于描述集群的一個或多個文本標記以及特別代表集群的一個或多個圖像?？梢岳缤ㄟ^合并視覺集群的每一個構(gòu)成圖像的文本標記來生成描述該視覺集群的文本標記。特別代表視覺集群的一個或多個圖像對于在例如受歡迎的旅游地標的索引中顯示可以是有用的。
[0039]在本發(fā)明的另一個實施例中，實現(xiàn)了對生成的視覺集群的用戶驗證。圖6圖示了圖形用戶接口 601，其可以向用戶顯示每一個視覺集群中的圖像，以及向用戶提供人工編輯每一個集群的各個方面的能力。例如，圖形用戶接口可以檢索存儲在地標數(shù)據(jù)庫621中的視覺集群，以及將編輯后的視覺集群寫回到同一數(shù)據(jù)庫621。圖形用戶接口 601可以包括集群標記模塊602，其允許用戶將新的文本標記分配給每一個集群和/或圖像和/或修改每一個集群和/或圖像的當前分配的文本標記。例如，集群標記模塊602可以顯示每一個集群和它的當前文本標記，以及分配給集群中的個體圖像的標記，以及允許用戶修改分配給集群的文本標記。集群合并模塊603可以允許用戶合并或拆分集群。對集群的這樣的人工合并或拆分可以是用戶在查看了一個或多個集群中的圖像后所期望的。集群編輯模塊604可以允許用戶從集群添加或刪除個體圖像。模塊604在人工去除集群的對應(yīng)的地標的低劣表示時以及對于人工添加集群的對應(yīng)的地標的一個或多個新的圖像可以是有用的。除上述夕卜，本發(fā)明的實施例可以在用戶與系統(tǒng)100交互時向用戶提供各種選項。
[0040]返回到圖1，在一些實施例中，受歡迎度模塊104可以計算每一個視覺集群的受歡迎度分值，并且相應(yīng)地對視覺集群進行排名。用于訪問地標數(shù)據(jù)庫121的索引122中的一個或多個可以基于受歡迎度模塊所計算的受歡迎度排名。集群的受歡迎度分值可以基于以下中的一個或多個:集群中的圖像的總數(shù)、向集群貢獻了圖像的獨特用戶的數(shù)量、在視覺集群的中心的某一預(yù)定半徑內(nèi)的圖像或帶有獨特用戶標識符的圖像的數(shù)量。應(yīng)當理解的是，還可以使用沒有在上面描述的其它方法來計算受歡迎度分值。
[0041]在本發(fā)明的另一個實施例中，逐步生成地標數(shù)據(jù)庫。圖7是可以用于逐步生成地標數(shù)據(jù)庫的示例性過程。階段701中通過其它裝置將新近可用的地理標注圖像下載到本地存儲或使新近可用的地理標注圖像對處理模塊101可用。在階段702，在包括新的地理標注圖像的所有可用的地理標注圖像上實現(xiàn)地理聚類。在上面關(guān)于圖3-4描述了地理聚類。在階段703，由階段702產(chǎn)生的地理集群經(jīng)受視覺聚類。在上面關(guān)于圖5描述了視覺聚類。完成了視覺聚類后，在階段704，一些實施例可以傳播用戶發(fā)起的對先前存儲在地標數(shù)據(jù)庫中的視覺聚類中的先前聚類的部分或全部改變。例如，可以將用戶分配或修改的標簽傳播給新的聚類?？蛇x地，在階段705，新的視覺聚類可以經(jīng)受用戶驗證和人工編輯。在上面關(guān)于圖6描述了若干類型的用戶交互。
[0042]具有地標數(shù)據(jù)庫121的系統(tǒng)100可以使能許多應(yīng)用。例如，地標數(shù)據(jù)庫121可以用于增補用戶查詢以使查詢更聚焦。圖8圖示了一個實施例中的可以用于增補用戶查詢的過程。在階段802可以為預(yù)定觸發(fā)詞集解析所接收的用戶查詢。例如，諸如“巴黎”的城市名可以用于觸發(fā)城市中的地標，反之亦然。識別了查詢中的觸發(fā)詞后，在階段803可以為那些觸發(fā)詞搜索地標數(shù)據(jù)庫以識別相關(guān)聯(lián)的標簽詞。繼續(xù)前面的示例，“巴黎”的觸發(fā)詞可以促使搜索發(fā)現(xiàn)“埃菲爾鐵塔”。在階段804，然后將所識別的相關(guān)聯(lián)的標簽詞用于增補查詢字符串。這樣的增補后的查詢字符串對于找到更廣泛的相關(guān)信息可以是有用的。
[0043]在圖9中不出了在本發(fā)明的一個實施例中的另一個應(yīng)用。過程900可以用于對數(shù)字圖像的在線自動標注。例如，在階段901，將新的數(shù)字圖像與地標圖像數(shù)據(jù)庫中的圖像進行比較。如果找到一個或多個匹配的圖像，則在階段902基于所有匹配的圖像生成標簽。在階段903，用新近生成的標簽標注新的圖像。
[0044]圖10圖示了在本發(fā)明的一個實施例中的用戶接口 1000，其中根據(jù)用戶輸入選擇了地標集，并且顯示了關(guān)于每一個所選擇的地標的視覺集群的細節(jié)?？梢栽谥T如1010的每一個區(qū)域內(nèi)顯示根據(jù)用戶指定的標準來選擇的地標。每一個所選擇的地標還可以具有用于接收用戶輸入的區(qū)域，例如復(fù)選框1040。對于每一個所顯示的地標，可以顯示視覺集群的摘要列表。視覺集群的摘要列表可以被顯示，使得其被清楚地示出為屬于特定所顯示的地標，例如，用于第一所顯示的地標的視覺集群的摘要列表可以包含在與第一所顯示的地標相對應(yīng)的顯示區(qū)域1010內(nèi)。用于所顯示的地標的視覺集群的摘要列表的每一個條目1020可以具有對應(yīng)的位置以接收特定于該集群的用戶輸入，諸如對應(yīng)于在1020中表示的視覺集群的復(fù)選框1030。每一個條目1020可以包括關(guān)于集群的描述信息1022和用來檢索進一步細節(jié)的鏈接1021。例如，關(guān)于每一個集群的描述信息可以包括圖像的數(shù)量、就向集群貢獻圖像的獨特用戶或作者的數(shù)量而言的受歡迎度、關(guān)于集群是否被人工修改或驗證過的信息以及諸如鍵的任何訪問信息。鏈接1021包括用來檢索所選擇的集群的圖像和個體圖像相關(guān)數(shù)據(jù)的鏈接方法，諸如用戶可導(dǎo)航的超鏈接。
[0045]圖11是示出了本發(fā)明的一個實施例中的與接口 1000有關(guān)的處理的流程圖。在階段1110，用戶指定一個或多個選擇標準，諸如國家、城市、地區(qū)和/或其它關(guān)鍵詞。包括關(guān)鍵詞的用戶指定的信息可以用來基于分配給圖像的標簽搜索圖像。用戶還可以指定其它檢索標準，諸如所顯示的地標的最低受歡迎程度以及具有用戶所提交的最小數(shù)量的圖像的地標。例如，用戶可能希望查看埃及的至少10個獨立用戶為其提交過圖像的地標。用戶還可以指定只有具有至少指定數(shù)量的圖像的地標才應(yīng)當被顯示。對于滿足用戶指定的選擇標準的每一個地標，重復(fù)階段1112至1120。在階段1112，找到滿足用戶指定的選擇標準的一個或多個地標。對于每一個所選擇的地標，重復(fù)階段1114至1116以顯示具有所選擇的地標的視覺集群。在階段1114，選擇視覺集群，以及在階段1116，顯示描述1020視覺集群的信息。例如，對于每一個視覺集群，可以顯示圖像的數(shù)量、圖像的獨特用戶標識符或作者的數(shù)量、用來訪問集群中的圖像的鏈接、其它訪問信息等。對于在階段1116顯示的每一個視覺集群，可以顯示諸如復(fù)選框1030的用戶輸入圖形并且使所述用戶輸入圖形能夠用于用戶輸入。
[0046]在階段1118，作出關(guān)于是否存在待顯示的與所選擇的地標相對應(yīng)的更多視覺集群的確定。如果對于所選擇的地標，沒有更多視覺集群待被顯示，則在階段1120，顯示關(guān)于地標的信息。例如，可以顯示諸如地標的名稱和位置、受歡迎度、圖像的數(shù)量等的信息。對于在階段1120中顯示的每一個地標，還可以顯示對應(yīng)的用戶輸入圖形，并且使所述用戶輸入圖形能夠用于用戶輸入。例如，在圖10中，復(fù)選框1040可以接收與在區(qū)域1010中顯示的地標相對應(yīng)的用戶輸入。在階段1122，作出關(guān)于是否存在待被顯示的額外地標的確定。如果已顯示所有滿足用戶指定的選擇標準的地標，則在階段1124，接收與視覺集群相對應(yīng)的用戶輸入。與視覺集群相對應(yīng)的用戶輸入例如可以指示合并一個或多個集群或使一個或多個集群與所選擇的地標去關(guān)聯(lián)。在階段1126，相應(yīng)地處理視覺集群。在階段1128，接收與每一個地標相對應(yīng)的用戶輸入。與每一個地標相對應(yīng)的用戶輸入例如可以指示合并和/或刪除一個或多個地標。
[0047]圖12示出了在本發(fā)明的一個實施例中的在其中用戶可以查看關(guān)于所選擇的視覺集群的信息的用戶接口 1200。接口 1200可以包括在其中顯示了代表所選擇的視覺集群的一個或多個示例圖像的區(qū)域1210、在其中列出了包括視覺集群中的每一個圖像的細節(jié)的描述數(shù)據(jù)元素組的區(qū)域1220以及在其中顯示了所選擇的圖像的區(qū)域1230。區(qū)域1220對于所選擇的集群中的每一個圖像，可以包括描述信息1224和諸如復(fù)選框1222的對應(yīng)的用戶輸入圖形。描述信息1224可以包括，例如而非限制，用來檢索對應(yīng)的圖像的鏈接、有關(guān)圖像的數(shù)據(jù)和時間信息、圖像的作者信息以及標簽信息。區(qū)域1230可以顯示從在1220中顯示的列表檢索的圖像。在區(qū)域1230中顯示的圖像可以例如而非限制，使用戶能夠查看所顯示的圖像中的感興趣的區(qū)1232。例如，探明任何圖像中的感興趣的區(qū)的能力可以允許用戶更好地確定特定圖像處于當前集群中的合適性。
[0048]圖13是示出了在一個實施例中的與接口 1200有關(guān)的處理的流程圖。在階段1310，接收選擇視覺集群的用戶輸入。在階段1312，例如在區(qū)域1210中選擇并顯示代表所選擇的視覺集群的一個或多個圖像。在階段1314，例如在區(qū)域1220中顯示有關(guān)所選擇的集群中的每一個圖像的信息。信息關(guān)于每一個各種數(shù)據(jù)元素列出，所述各種數(shù)據(jù)元素包括例如而非限制，用來檢索對應(yīng)的圖像的鏈接、有關(guān)圖像的數(shù)據(jù)和時間信息、圖像的作者信息以及標簽信息。還可以為每一個列出的圖像顯示諸如復(fù)選框1222的用戶輸入圖形，并且使所述用戶輸入圖像能夠用于用戶輸入。在階段1316，接收用戶輸入。在階段1318，根據(jù)所接收的用戶輸入來處理視覺集群。例如，可以從所選擇的集群刪除圖像、可以改變一些標簽信息等。
[0049]在本發(fā)明的一個實施例中，使用眾所周知的計算機來實現(xiàn)在此描述的本發(fā)明的系統(tǒng)和組件。這樣的計算機可以是能夠執(zhí)行在此描述的功能的任何商用和眾所周知的計算機，諸如可從 Internat1nal Business Machines (國際商業(yè)機器)、Apple、SiliconGraphics 公司、Sun、HP、Dell、Compaq、Digital、Cray 等獲得的計算機。
[0050]包括具有存儲在其中的控制邏輯(軟件)的計算機可用或可讀介質(zhì)的任何裝置或制成品在此被稱為計算機程序產(chǎn)品或程序存儲設(shè)備。這包括但不限于計算機、主存儲器、硬盤或可移動的存儲單元。具有存儲在其中的、在由一個或多個數(shù)據(jù)處理設(shè)備執(zhí)行時促使這樣的數(shù)據(jù)處理設(shè)備如在此所描述的那樣操作的控制邏輯的這樣的計算機程序產(chǎn)品表示本發(fā)明的實施例。
[0051]應(yīng)當理解，【具體實施方式】部分而不是
【發(fā)明內(nèi)容】
和摘要部分意在用于解釋權(quán)利要求。
【發(fā)明內(nèi)容】
和摘要部分可以闡明發(fā)明人考慮的本發(fā)明的一個或多個而非所有的示例性實施例，因此
【發(fā)明內(nèi)容】
和摘要部分并不意在以任何方式來限制本發(fā)明和所附的權(quán)利要求。
[0052]在上面借助于說明指定的功能及其關(guān)系的實現(xiàn)的功能構(gòu)造塊來描述了本發(fā)明。在此為了便于描述，任意地限定了這些功能構(gòu)造塊的邊界?？梢韵薅ㄌ孢x邊界，只要所述指定的功能及其關(guān)系被適當?shù)貓?zhí)行。
[0053]特定實施例的前述描述如此充分地揭示了本發(fā)明的一般特性，使得其他人可以在不背離本發(fā)明的一般思想的情況下，通過應(yīng)用在本領(lǐng)域的技術(shù)內(nèi)的知識而容易地修改和/或調(diào)整本發(fā)明的一般特性以用于這樣的特定實施例的各種應(yīng)用，而不用進行過度的實驗。因此，基于在此提供的教導(dǎo)和指導(dǎo)，這樣的調(diào)整和修改意在在所公開的實施例的等同物的含義和范圍內(nèi)。應(yīng)當理解的是，在此的措詞或術(shù)語用于描述而非限制的目的，因此本說明書的術(shù)語或措詞應(yīng)當由技術(shù)人員根據(jù)所述教導(dǎo)和指導(dǎo)來解釋。
[0054]本發(fā)明的寬度和范圍不應(yīng)當由上述示例性實施例的任何一個限制，而是應(yīng)當僅根據(jù)所附權(quán)利要求及其等同物來限定。
【權(quán)利要求】
1.一種增強檢索地標圖像的用戶查詢的方法，包括: 接收用戶查詢； 識別所述用戶查詢中的一個或多個觸發(fā)詞； 從地標數(shù)據(jù)庫中選擇與所述一個或多個觸發(fā)詞相對應(yīng)的一個或多個對應(yīng)的標簽； 用所述一個或多個對應(yīng)的標簽增補所述用戶查詢，以及 生成增補的用戶查詢。
2.如權(quán)利要求1所述的方法，進一步包括: 基于所述增補的用戶查詢來檢索圖像。
3.如權(quán)利要求1所述的方法，進一步包括: 利用特定的受歡迎度標準來增補所述用戶查詢。
4.如權(quán)利要求1所述的方法，進一步包括: 基于所述增補的用戶查詢來檢索圖像； 根據(jù)特定的受歡迎度標準來對所檢索的圖像進行排序。
5.如權(quán)利要求1所述的方法，進一步包括: 利用特定的受歡迎度標準來增補所述用戶查詢，其中所述受歡迎度標準包括地標的受歡迎度，所述地標的受歡迎度基于與具有每一個地標的圖像相關(guān)聯(lián)的獨特用戶標識符的數(shù)量。
6.一種增強檢索地標圖像的用戶查詢的系統(tǒng)，包括: 用于接收用戶查詢的裝置； 用于識別所述用戶查詢中的一個或多個觸發(fā)詞的裝置； 用于從地標數(shù)據(jù)庫中選擇與所述一個或多個觸發(fā)詞相對應(yīng)的一個或多個對應(yīng)的標簽的裝置； 用于用所述一個或多個對應(yīng)的標簽增補所述用戶查詢的裝置，以及 用于生成增補的用戶查詢的裝置。
7.如權(quán)利要求6所述的系統(tǒng)，進一步包括: 用于基于所述增補的用戶查詢來檢索圖像的裝置。
8.如權(quán)利要求6所述的系統(tǒng)，進一步包括: 用于利用特定的受歡迎度標準來增補所述用戶查詢的裝置。
9.如權(quán)利要求6所述的系統(tǒng)，進一步包括: 用于基于所述增補的用戶查詢來檢索圖像的裝置； 用于根據(jù)特定的受歡迎度標準來對所檢索的圖像進行排序的裝置。
10.如權(quán)利要求6所述的系統(tǒng)，進一步包括: 用于利用特定的受歡迎度標準來增補所述用戶查詢的裝置，其中所述受歡迎度標準包括地標的受歡迎度，所述地標的受歡迎度基于與具有每一個地標的圖像相關(guān)聯(lián)的獨特用戶標識符的數(shù)量。
11.一種增強檢索地標圖像的用戶查詢的方法，包括: 接收用戶查詢； 識別所述用戶查詢中的一個或多個觸發(fā)詞； 從地標數(shù)據(jù)庫中選擇與所述一個或多個觸發(fā)詞相對應(yīng)的一個或多個對應(yīng)的標簽； 用所述一個或多個對應(yīng)的標簽增補所述用戶查詢，生成增補的用戶查詢； 基于所述增補的用戶查詢檢索一個或多個地標； 生成包括所述一個或多個地標的用戶界面；以及 使得一個或多個摘要列表被顯示，其中每一個摘要列表對應(yīng)于檢索到的地標中的一個。
12.如權(quán)利要求11所述的方法，其中每一個摘要列表包括關(guān)于所述地標的描述信息。
13.如權(quán)利要求11所述的方法，其中每一個摘要列表包括能夠被用來檢索關(guān)于所述圖像的進一步細節(jié)的鏈接。
14.如權(quán)利要求11所述的方法，其中每一個摘要列表包括用來接收特定于所選擇的圖像的用戶輸入的位置。
15.如權(quán)利要求11所述的方法，其中每一個摘要列表包括關(guān)于所選擇的圖像的受歡迎度?目息。
16.如權(quán)利要求11所述的方法，其中每一個摘要列表包括有關(guān)所選擇的圖像是否已經(jīng)被修改的信息。
【文檔編號】G06F17/30GK104298710SQ201410455635
【公開日】2015年1月21日 申請日期:2009年5月12日 優(yōu)先權(quán)日:2008年5月12日
【發(fā)明者】費爾南多·A·布魯切爾, 烏爾里希·布德邁爾, 哈特維?！啴? 哈特姆特·內(nèi)文 申請人:谷歌公司