經(jīng)由挖掘的超鏈接文本的片段來瀏覽圖像的制作方法
【專利說明】
【背景技術】
[0001]互聯(lián)網(wǎng)是服務全世界數(shù)十億用戶的全球數(shù)據(jù)通信系統(tǒng)。互聯(lián)網(wǎng)為用戶提供對廣泛在線信息資源和服務(包括由萬維網(wǎng)、基于內(nèi)聯(lián)網(wǎng)的企業(yè)、及其類似提供的那些資源和服務)的訪問。萬維網(wǎng)被組織為網(wǎng)站的集合，網(wǎng)站中的每個被組織為網(wǎng)頁的集合。給定的網(wǎng)頁可以包括廣泛的各種類型的在線信息，例如，文本、圖像、圖形、音頻和視頻。萬維網(wǎng)當前承載數(shù)十億的網(wǎng)頁，這些網(wǎng)頁當前共同承載約一萬億的圖像并且這些數(shù)量繼續(xù)快速地增長。現(xiàn)今存在許多不同的搜索引擎，這些搜索引擎給用戶提供了搜索特定計算設備上的或者諸如互聯(lián)網(wǎng)或?qū)Ｓ镁W(wǎng)絡等網(wǎng)絡上的期望的在線信息的能力。由于現(xiàn)今存在的各種類型的個人計算設備(例如，個人計算機、膝上/筆記本計算機、智能電話和平板計算機)的普遍性以及互聯(lián)網(wǎng)的普遍性，用戶通常使用一個或多個搜索引擎來定位他們感興趣的特定圖像。

【發(fā)明內(nèi)容】

[0002]提供本概述以便以簡要的形式引入一系列概念，這些概念在下文的【具體實施方式】中被進一步描述。本概述既不是要標識要求保護的主題的關鍵特征或必要特征，也不是要用于幫助確定要求保護的主題的范圍。
[0003]本文描述的圖像瀏覽框架實施例一般適用于允許用戶瀏覽存儲在包括多個圖像和文本的信息存儲庫(repository)中的圖像。在一個示例性實施例中，按照如下來準備圖像以用于瀏覽。對存儲庫中的圖像中的每個，對存儲庫中的文本進行挖掘以提取與該圖像有關的文本的一個或多個片段，這些一個或多個文本的片段中的每個在語義上與該圖像相關。然后，對提取的與圖像有關的文本的片段中的每一個，檢測該片段中的一個或多個關鍵項(keyterm)，其中，關鍵項中的每個表示與圖像有關的概念或與圖像有關的實體，并且該片段和這些一個或多個關鍵項與圖像相關聯(lián)。與存儲庫中的圖像中的每個相關聯(lián)的關鍵項中的每個隨后被超鏈接到存儲庫中的與該關鍵項相關聯(lián)的每個其他圖像。
[0004]在另一個示例性實施例中，其中，信息存儲庫中的圖像和文本以網(wǎng)頁的形式存儲，網(wǎng)頁中的每個使用超文本標記語言(HTML)被結構化，對該存儲庫進行挖掘以提取與存儲庫中的特定圖像有關的文本的片段。識別出存儲庫中的包括該特定圖像的所有網(wǎng)頁。隨后生成三元組的列表，在該列表中，每個三元組與被識別的網(wǎng)頁中的不同的一個相對應，并且包括該特定圖像的統(tǒng)一資源定位符(URL)、被識別的網(wǎng)頁的URL、以及針對被識別的網(wǎng)頁的HTML代碼。隨后，從該三元組的列表中隨機選擇規(guī)定數(shù)量的三元組，這樣的隨機選擇生成三元組的隨機子集。隨后，針對該三元組的隨機子集中的被識別的網(wǎng)頁中的每個，進行下文的動作。對針對被識別的網(wǎng)頁的HTML代碼進行解析，產(chǎn)生解析樹。隨后，找到解析樹中的圖像節(jié)點和文本節(jié)點。隨后確定這些節(jié)點在被識別的網(wǎng)頁中的線性排序。隨后，識別包括特定圖像的URL的圖像節(jié)點中的一個，其中，這樣的識別包括每當沒有圖像節(jié)點包括該特定圖像的URL或者一個以上的圖像節(jié)點包括該特定圖像的URL時，從三元組的隨機子集中刪除識別的網(wǎng)頁。隨后將文本節(jié)點中的每個劃分成一個或多個句子，對這些句子進行過濾以去除不以大寫字母開始和不以合適的標點符號結束的任何句子。隨后計算從過濾后的句子中的每個句子到被識別的圖像節(jié)點的字符中的距離。隨后生成過濾后的句子中的每個句子的句子字向量。隨后，對與三元組的隨機子集中的被識別的網(wǎng)頁中的每個中的被識別的圖像節(jié)點相關聯(lián)的文本進行聚合，并且針對該聚合的文本來生成圖像詞向量。隨后，針對三元組的隨機子集中的被識別的網(wǎng)頁中每個網(wǎng)頁的過濾后的句子的每個，進行以下動作。生成過濾后的句子的相關性分數(shù)，該相關性分數(shù)表示該過濾后的句子與特定圖像如何相關的估計，并且生成過濾后的句子的興趣度分數(shù)，該興趣分數(shù)度表示該過濾后的句子如何令用戶感興趣的估計。隨后根據(jù)這些相關性分數(shù)和興趣度分數(shù)，生成過濾后的句子的總分數(shù)，其中，該總分數(shù)指示該過濾后的句子如何相關和令人感興趣。選擇組合的相關分數(shù)和興趣分數(shù)大于規(guī)定分數(shù)閾值的任一個過濾后的句子，并且這些被選擇的過濾后的句子被分配成與特定圖像有關的文本的片段。
[0005]在又一個示例性實施例中，在顯示設備上顯示圖像瀏覽圖形化用戶界面(GUI)，其中，該GUI包括當前圖像部分。隨后，接收來自用戶的查看信息存儲庫中的期望圖像的請求。隨后，在當前圖像部分中顯示該期望圖像，并且在該期望圖像上顯示一個或多個熱點，其中，熱點中的每個被超鏈接到與該期望圖像有關的文本的不同片段，所述文本的片段在語義上與期望圖像相關并且包括一個或多個關鍵項，關鍵項中的每個表示與期望圖像有關的概念或與期望圖像有關的實體，并且關鍵項中的每個被超鏈接到存儲庫中的與該關鍵項相關聯(lián)的每個其他圖像。
【附圖說明】
[0006]參照以下的描述、所附的權利要求、以及附圖，將更好地理解本文描述的圖像瀏覽框架實施例的特定特征、方面和優(yōu)點，在附圖中:
[0007]圖1是以簡化的形式示出了用于對存儲在信息存儲庫中的圖像進行準備以用于瀏覽的過程的示例性實施例的流程圖。
[0008]圖2是以簡化的形式示出了用于對信息存儲庫中的文本進行挖掘以提取與存儲庫中的給定圖像有關的文本的一個或多個片段的過程的示例性實施例的流程圖。
[0009]圖3A和圖3B是以簡化的形式示出了用于從信息存儲庫中的被識別為包括圖像的網(wǎng)頁提取完整句子，并且針對被提取的完整句子中的每個來計算組合的相關性和興趣度分數(shù)的過程的示例性實施例的流程圖。
[0010]圖4是以簡化的形式示出了用于選擇組合的相關性和興趣度分數(shù)大于規(guī)定的分數(shù)閾值的被提取的完整句子中的任何一個的過程的示例性實施例的流程圖。
[0011]圖5是以簡化的形式示出了用于對分數(shù)最高的被提取的完整句子的排序列表進行過濾的過程的示例性實施例的流程圖。
[0012]圖6是以簡化的形式示出了用于允許用戶瀏覽準備的圖像的過程的示例性實施例的流程圖。
[0013]圖7-圖15是以簡化形式示出了用于允許用戶語義地瀏覽存儲在信息存儲庫中的圖像的圖形化用戶界面(GUI)的一般化布局的示例性實施例的圖。
[0014]圖16是示出了可以在其上實現(xiàn)本文描述的圖像瀏覽框架的各種實施例和元素的通用計算機系統(tǒng)的簡化示例的圖。
[0015]圖17是以簡化形式示出了用于允許用戶語義地瀏覽存儲在信息存儲庫中的圖像的GUI的一般化布局的可替換的實施例的圖。
【具體實施方式】
[0016]在圖像瀏覽框架實施例的下文描述中，參照形成該描述一部分的附圖，并且在下文描述中，以說明方式示出了其中可以實現(xiàn)圖像瀏覽框架的特定實施例。應該理解的是，可以利用其他實施例并且可以進行結構改變，而不偏離圖像瀏覽框架實施例的范圍。
[0017]還應注意到，出于清楚的原因，將借助特定的術語來描述本文描述的圖像瀏覽框架實施例，并且這并不是要將這些實施例限制于如此選擇的特定術語。此外，應該理解，每個術語包括以廣泛地相似的方式操作以實現(xiàn)相似目的的所有技術等價物。本文中提到的“一個實施例”、或“另一個實施例”、或“示例性實施例”、或“可替換的實施例”、或“一個實現(xiàn)”、或“另一個實現(xiàn)”、或“示例性實現(xiàn)”、或“可替換的實現(xiàn)”表示結合實施例或?qū)崿F(xiàn)描述的特定結構、或特定特征可以被包括在圖像瀏覽框架的至少一個實施例中。在說明書的各種地方出現(xiàn)的短語“在一個實施例中”、“在另一個實施例中”、“在示例性實施例中”、“在可替換實施例中”、在一個實現(xiàn)中”、“在另一個實現(xiàn)中”、“在示例性實現(xiàn)中”、“在可替換實現(xiàn)中”不一定都指代同一個實施例或?qū)崿F(xiàn)，單獨的或可替換的實施例/實現(xiàn)也不與其他實施例/實現(xiàn)相互排斥。還有此外，表示圖像瀏覽框架的一個或多個實施例或?qū)崿F(xiàn)的處理流程的順序不固有地指示任何特定順序，不暗示圖像瀏覽框架的任何限定。
[0018]本文使用術語“圖像”來指代可以在計算機顯示設備(其中例如，計算機顯示器)上查看的數(shù)字圖像。本文中使用術語“用戶”來指代正在使用計算機(本文中也稱為計算設備)來瀏覽圖像的個人。本文中使用“部分”來指代計算機顯示設備的顯示屏幕的分段區(qū)域，在該區(qū)域中可以顯示特定類型的圖形化用戶界面(GUI)和/或信息(其中例如，一個或多個圖像和文本)，或者可以由用戶執(zhí)行的特定類型的動作，其中，所述GUI/信息/動作一般與在計算機上運行的特定應用程序相關聯(lián)。如在計算機操作環(huán)境的領域中所認識到的，給定的計算機顯示設備可以包括可以層疊地分層或重疊的多個不同部分。
[0019]1.0經(jīng)由挖掘的超鏈接文本的片段來瀏覽圖像
[0020]一般而言，本文描述的圖像瀏覽框架實施例對準備用于瀏覽的圖像，其中，圖像存儲在包括多個圖像和文本的信息存儲庫中。一旦已經(jīng)準備了用于瀏覽的圖像，則圖像瀏覽框架實施例還允許用戶以語義上有意義的方式來瀏覽圖像。在本文描述的圖像瀏覽框架的示例性實施例中，信息存儲庫是萬維網(wǎng)(下文中簡稱為網(wǎng)絡(Web))，并且存儲庫中的圖像和文本以網(wǎng)頁的形式存儲，其中，網(wǎng)頁中的每個使用超文本標記語言(HTML)代碼來進行結構化。然而，應該認識到，圖像瀏覽框架的可替換實施例也是可能的，其中，信息存儲庫可以是存儲圖像和文本的任何其他類型的數(shù)據(jù)庫機制并且還可以存儲其他類型的信息，其中，該數(shù)據(jù)庫機制可以是分布式的或集中式的。
[0021]出于包括但不限于下文的原因，本文中描述的圖像瀏覽框架實施例是有利的。如將要從下文的更詳細描述中認識到的，圖像瀏覽框架實施例為正在搜索圖像的用戶(例如，正在使用搜索引擎來在網(wǎng)絡上進行圖像搜索的用戶)提供了與由用戶查看的圖像有關的語義上令人感興趣的文本信息。圖像瀏覽框架實施例還建議其他語義上相關的圖像，以供用戶查看。圖像瀏覽框架實施例還允許用戶語義地瀏覽網(wǎng)上的圖片(例如，用戶可以以語義上有意義的方式從一個圖像轉(zhuǎn)換到下個圖像)。圖像瀏覽框架實施例還提供給用戶直觀的并且易于使用的用戶界面。圖像瀏覽框架實施例由此優(yōu)化了圖像搜索過程的效率和有效性，并且縮短了用戶定位與其興趣匹配、滿足其要求、或使其受教、或使其娛樂、或其組合的特定圖像所花費的時間量。
[0022]1.1過程框架
[0023]圖1以簡化的形式示出了用于對存儲在信息存儲庫中的圖像進行準備以用于瀏覽的過程的示例性實施例，其中，所述存儲庫包括多個圖像和文本。如上文描述的，在本文描述的圖像瀏覽框架的示例性實施例中，信息存儲庫是網(wǎng)絡并且存儲庫中的圖像和文本以網(wǎng)頁的形式存儲，網(wǎng)頁中的每個使用HTML代碼來進行結構化。如在圖1中例示的，在塊100中，過程開始于對存儲庫中的圖像中的每個進行以下動作。對存儲庫中的文本進行挖掘以提取與圖像有關的文本的一個或多個片段，其中，這些一個或多個片段中的每個在語義上與圖像相關，并且對于閱讀該片段的用戶而言是語義上有興趣的(塊102)。這是有利的，因為當用戶瀏覽存儲在存儲庫中的圖片時，用戶通常希望被娛樂或教育。隨后，針對被提取的與圖像有關的文本的片段的每個進行以下動作(塊104)。在被提取的與圖像有關的文本的片段中檢測一個或多個關鍵項，其中，關鍵項中的每個表示與圖像相關的語義上有意義的概念，或與圖像相關的語義上有意義的實體(塊106)。隨后將被提取的與圖像有關的文本的片段以及在該片段中檢測到的一個或多個關鍵項與圖像相關聯(lián)(塊108)。在塊100的動作已經(jīng)完成