專利名稱：廣域網(wǎng)搜索中搜索列表項(xiàng)的內(nèi)容性能評(píng)估優(yōu)化的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及自動(dòng)文檔內(nèi)容分析的領(lǐng)域，更具體而言，本發(fā)明涉及用于對(duì)廣域網(wǎng)搜索引擎中的搜索列表項(xiàng)進(jìn)行自動(dòng)性能索引(indexing)和優(yōu)化的機(jī)制。
背景技術(shù)：
因特網(wǎng)是真正全球可達(dá)的廣域網(wǎng)，它將遍及世界的計(jì)算機(jī)互連在一起。因特網(wǎng)中一般被稱為萬維網(wǎng)的部分是數(shù)量相當(dāng)巨大的互相關(guān)數(shù)據(jù)的集合。萬維網(wǎng)(有時(shí)被稱為“Web”)的內(nèi)容包括根據(jù)已知協(xié)議HTTP(超文本傳輸協(xié)議)而通過因特網(wǎng)傳輸?shù)木哂幸阎狧TML(超文本置標(biāo)語言)格式的文檔等等。
對(duì)想要在其中尋找特定信息的任何人來說，Web的寬度和深度都是令人驚訝并且不堪其負(fù)的。因此，Web的一個(gè)極其重要的組件是搜索引擎。這里所使用的搜索引擎是用于定位與共同代表一個(gè)搜索查詢(searchquery)的一個(gè)或多個(gè)用戶指定搜索項(xiàng)相關(guān)的內(nèi)容的交互系統(tǒng)。通過已知的公共網(wǎng)關(guān)接口(CGI)，Web可以包括交互式的內(nèi)容，即該內(nèi)容響應(yīng)于連接到Web的計(jì)算機(jī)的人類用戶指定的數(shù)據(jù)。搜索引擎接收來自用戶的一個(gè)或多個(gè)搜索項(xiàng)的搜索查詢，并將確定為與該搜索查詢相關(guān)的一個(gè)或多個(gè)文檔的列表提供給用戶。
搜索引擎大大提高了用戶可以在Web上查找所需信息的效率。因此，搜索引擎是Web上的最常用資源之一。有效的搜索引擎可以幫助用戶在Web內(nèi)當(dāng)前給出的幾十億文檔中查找出準(zhǔn)確的特定信息。搜索引擎的主要功能和存在的目的是為了在用戶的查詢只給出少量搜索項(xiàng)的情況下，從幾十億可獲得的文檔中識(shí)別出少數(shù)最相關(guān)的結(jié)果，并且在盡可能少的時(shí)間內(nèi)完成搜索。
一般，搜索引擎維護(hù)一個(gè)用于將搜索項(xiàng)關(guān)聯(lián)到Web上的信息資源的記錄數(shù)據(jù)庫。搜索引擎主要以若干常見方法獲取關(guān)于Web內(nèi)容的信息。最常見的方法一般被稱為Web爬行(crawling)，另一方法是利用這種信息的提供者或第三方(即，既不是信息的提供者，也不是搜索引擎的提供者)對(duì)這種信息的提交。另一種搜索引擎獲取關(guān)于Web內(nèi)容的信息的常見方法是由人工編輯基于其復(fù)查來建立信息索引。
為了理解爬行，首先必須理解HTML文檔可以包括對(duì)其他信息的引用(一般被稱為“鏈接”)。“點(diǎn)擊”文檔的一部分，致使顯示所引用的文檔，這樣就激活了這樣的鏈接。Web爬行一般指的是一種自動(dòng)過程，利用該過程，由一個(gè)文檔引用的文檔被檢索和分析，由這些文檔引用的文檔又被檢索和分析，并且所述檢索和分析以遞歸方式重復(fù)。因此，嘗試著自動(dòng)遍歷Web的全部內(nèi)容，以分類Web的全部內(nèi)容。
鑒于Web的文檔被持續(xù)添加和/或修改的事實(shí)，并且Web極端寬廣，因而還沒有一種Web爬行器已經(jīng)成功分類了Web的全部內(nèi)容。因此，想要將其內(nèi)容包括進(jìn)搜索引擎數(shù)據(jù)庫的Web內(nèi)容的提供者直接將其內(nèi)容提交給搜索引擎的提供者。通過因特網(wǎng)可獲得的內(nèi)容和/或服務(wù)的其他提供者與搜索引擎的運(yùn)營者簽訂合同，以使其內(nèi)容被定期爬行和更新，從而使搜索結(jié)果中包括當(dāng)前信息。這些搜索引擎(例如由加州Pasadena的Overture公司(http//www.overture.com)提供的并在美國專利6,269,361中有所描述的搜索引擎，這里通過參考將所述專利結(jié)合于此)允許因特網(wǎng)內(nèi)容和/或服務(wù)的提供者編寫并提交與其內(nèi)容和/或服務(wù)相關(guān)聯(lián)并充當(dāng)搜索查詢結(jié)果的簡要標(biāo)題和描述(有時(shí)被稱為搜索列表項(xiàng))。隨著因特網(wǎng)的發(fā)展以及因特網(wǎng)上的商業(yè)行為的發(fā)展，某些搜索引擎專門用于提供與信息結(jié)果分開呈現(xiàn)的商業(yè)搜索結(jié)果，以獲得幫助實(shí)現(xiàn)定向廣告的額外益處，從而促進(jìn)因特網(wǎng)上的商業(yè)交易。
由于提供多余信息的搜索引擎相對(duì)于使多余信息的呈現(xiàn)最小化的搜索引擎具有顯著缺點(diǎn)，因此搜索引擎提供者強(qiáng)烈希望使提供給搜索查詢的結(jié)果的相關(guān)性最大化。
我們需要一種這樣的系統(tǒng)，該系統(tǒng)用于在多種環(huán)境和市場中評(píng)估搜索列表項(xiàng)的性能，并用于自動(dòng)識(shí)別和優(yōu)化某些列表項(xiàng)，以便提高這些列表項(xiàng)的性能。

發(fā)明內(nèi)容
根據(jù)本發(fā)明，搜索數(shù)據(jù)庫中的搜索列表項(xiàng)的性能被監(jiān)控，以識(shí)別通常不相關(guān)和/或不需要的搜索列表項(xiàng)，以對(duì)其自動(dòng)優(yōu)化或刪除。性能作為如下關(guān)系被測(cè)量，所述關(guān)系是搜索列表項(xiàng)被呈現(xiàn)給用戶的方式和該搜索列表項(xiàng)相對(duì)于所有其它搜索列表項(xiàng)和/或以類似方式呈現(xiàn)的其他搜索列表項(xiàng)的選擇頻率之間的關(guān)系。例如，用戶從一個(gè)或多個(gè)搜索列表項(xiàng)的集合中選出一個(gè)搜索列表項(xiàng)的比率提供了對(duì)于該搜索列表項(xiàng)與搜索查詢的具體搜索項(xiàng)的相關(guān)性的量度。
根據(jù)本發(fā)明，其被選次數(shù)比期望次數(shù)少得多的搜索列表項(xiàng)被標(biāo)記為可能不相關(guān)和/或不需要的搜索列表項(xiàng)，并且被估計(jì)進(jìn)行優(yōu)化和/或刪除。性能可以與搜索結(jié)果集合中的相對(duì)位置(有時(shí)被稱為等級(jí))上的期望性能進(jìn)行比較。例如，一個(gè)搜索列表項(xiàng)相對(duì)于所有其它搜索結(jié)果而言可能表現(xiàn)為平均等級(jí)，但是對(duì)于其位置來說性能太差，例如一個(gè)首先呈現(xiàn)給用戶的搜索列表項(xiàng)具有如下的選擇率該選擇率比第一排位上的搜索列表項(xiàng)所預(yù)期的選擇率低很多，或許與第四位置上的搜索列表項(xiàng)更有可比性。這可以指示該搜索列表項(xiàng)總體上給用戶留下不滿意的印象，或許可以從評(píng)估和優(yōu)化中受益，或者當(dāng)它與搜索查詢不相關(guān)時(shí)，應(yīng)該被完全刪除。
至少使用兩種不同的性能測(cè)量。一種是絕對(duì)性能。另一種是相對(duì)性能。絕對(duì)性能測(cè)量的是一個(gè)特定搜索列表項(xiàng)與具有給定長度的搜索結(jié)果集合中處于類似位置上的任何搜索列表項(xiàng)的期望選擇頻率相比的選擇頻率。相對(duì)性能測(cè)量的是與期望相對(duì)選擇頻率相比較，搜索結(jié)果集合中的一個(gè)特定搜索列表項(xiàng)相對(duì)于該集合中的其它搜索列表項(xiàng)的選擇頻率的選擇頻率。選擇頻率在這里有時(shí)被稱為點(diǎn)進(jìn)率。
期望相對(duì)選擇頻率是從過去的性能數(shù)據(jù)中導(dǎo)出的，過去的性能數(shù)據(jù)一般來自充當(dāng)所有搜索查詢的結(jié)果的所有搜索列表項(xiàng)，并且具體地說，來自屬于作為類似結(jié)果返回給同一查詢的公共產(chǎn)品和/或服務(wù)的搜索列表項(xiàng)。以這種方式，期望點(diǎn)進(jìn)率包括用于每一等級(jí)搜索列表項(xiàng)的一般期望點(diǎn)進(jìn)率和用于作為特定查詢的結(jié)果返回的特定搜索列表項(xiàng)的特定期望點(diǎn)進(jìn)率。
有時(shí)，仔細(xì)構(gòu)造搜索查詢，以便獲取相當(dāng)高度相關(guān)的搜索列表項(xiàng)。例如，搜索查詢“ucla sweatshirt”是相對(duì)具體的，并且可能獲得非常相關(guān)的搜索列表項(xiàng)。因此，看到一個(gè)短列表的相關(guān)搜索列表項(xiàng)的用戶可能點(diǎn)進(jìn)這些搜索列表項(xiàng)，并且期望點(diǎn)進(jìn)率高于響應(yīng)于該查詢所提供的所有搜索列表項(xiàng)的平均值。有時(shí)，搜索查詢的目標(biāo)不明確，因此可能獲得大量具有相對(duì)較小相關(guān)性的搜索列表項(xiàng)。例如，搜索查詢“internet store”可以獲得幾乎指向所有現(xiàn)有的電子商務(wù)網(wǎng)站的搜索列表項(xiàng)。因此，看到一個(gè)長列表的最不相關(guān)搜索列表項(xiàng)的用戶可能在未點(diǎn)進(jìn)的情況下錯(cuò)過很多搜索列表項(xiàng)，因此期望點(diǎn)進(jìn)率低于響應(yīng)于該查詢提供的搜索列表項(xiàng)的平均值。因此，根據(jù)本發(fā)明，特定的期望點(diǎn)進(jìn)率提高了性能評(píng)估。
為了確保性能測(cè)量在統(tǒng)計(jì)上是可靠的，在搜索列表項(xiàng)已經(jīng)具有最小數(shù)目的印象(impression)之前，不評(píng)估搜索列表項(xiàng)的性能。這里所使用的印象是響應(yīng)于搜索查詢而作為結(jié)果給予用戶的搜索列表項(xiàng)的呈現(xiàn)。印象包括上下文，該上下文進(jìn)而包括搜索結(jié)果集合的大小和搜索列表項(xiàng)在集合中被呈現(xiàn)的位置。印象被過濾，以確保在搜索列表項(xiàng)性能的評(píng)估中只考慮合法搜索。點(diǎn)擊被類似地過濾，以確保點(diǎn)擊僅代表人類用戶所執(zhí)行的合法選擇。這里所使用的點(diǎn)擊是用戶從搜索結(jié)果集合中選出一個(gè)搜索列表項(xiàng)的行為。在某些搜索引擎中，人類用戶對(duì)搜索列表項(xiàng)的點(diǎn)擊是可計(jì)費(fèi)的事件，搜索引擎提供者向被點(diǎn)擊的搜索列表項(xiàng)的所有者收取商定的數(shù)額。
為了使性能測(cè)量適合于改變，并且為了避免很久以前的性能對(duì)當(dāng)前性能測(cè)量的不當(dāng)影響，性能可以被局限為僅僅最近的印象和點(diǎn)擊，或者性能被動(dòng)態(tài)調(diào)整以覆蓋時(shí)段和服務(wù)位置的任意組合。
當(dāng)確定一個(gè)搜索列表項(xiàng)的性能等級(jí)低于最小性能允許等級(jí)時(shí)，該搜索列表項(xiàng)被標(biāo)記為進(jìn)行優(yōu)化或從搜索數(shù)據(jù)庫中刪除，以使該搜索列表項(xiàng)或者被編輯以提高性能，或者不再可用作該搜索查詢的結(jié)果。結(jié)果，對(duì)提交搜索查詢的用戶給出不滿意的(或簡言之，無吸引力的)印象的搜索列表項(xiàng)被自動(dòng)標(biāo)識(shí)，并被改進(jìn)或被從搜索數(shù)據(jù)庫中選出，從而大大提高搜索引擎的價(jià)值和功能。這樣做自動(dòng)地使得特別大的搜索數(shù)據(jù)庫的監(jiān)控和維護(hù)更加便于管理。另外，搜索引擎提供者可以通過監(jiān)控各個(gè)搜索列表項(xiàng)的性能來動(dòng)態(tài)提高他們的搜索引擎的整體性能。
一旦一個(gè)搜索列表項(xiàng)被標(biāo)記為低性能，就可以用多種方式中的任意一種來處理該搜索列表項(xiàng)。一種方式是使該搜索列表項(xiàng)在搜索數(shù)據(jù)庫中保持活動(dòng)以待對(duì)其進(jìn)行修改。另一種方式是刪除該待修改的列表項(xiàng)，并且隨后將其重新包括進(jìn)搜索數(shù)據(jù)庫中。對(duì)低性能搜索列表項(xiàng)的修改還可以由人工編輯手工完成或者自動(dòng)完成。例如，性能數(shù)據(jù)示出，在其標(biāo)題中包含了搜索查詢的搜索列表項(xiàng)比其標(biāo)題不包含該搜索查詢的搜索列表項(xiàng)表現(xiàn)出更好的性能?？梢宰詣?dòng)檢測(cè)出自身缺少搜索查詢，并且搜索列表項(xiàng)自身可以被自動(dòng)修改，以使其標(biāo)題包括該搜索查詢。


圖1的框圖示出了彼此耦合到廣域網(wǎng)的根據(jù)本發(fā)明的搜索引擎、客戶端計(jì)算機(jī)和主機(jī)計(jì)算機(jī)。
圖2的框圖更詳細(xì)地示出了搜索引擎。
圖3的邏輯流程圖示出了根據(jù)本發(fā)明由搜索引擎執(zhí)行的性能監(jiān)控。
圖4的框圖更詳細(xì)地示出了圖2的搜索引擎的搜索服務(wù)器。
圖5的邏輯流程圖示出了檢測(cè)搜索列表項(xiàng)的用戶選擇的方式。
圖6的狀態(tài)圖示出了根據(jù)本發(fā)明，在性能監(jiān)控期間搜索列表項(xiàng)的各種狀態(tài)。
圖7的邏輯流程圖示出了根據(jù)本發(fā)明準(zhǔn)備作為搜索結(jié)果呈現(xiàn)的多個(gè)搜索列表項(xiàng)以用于性能評(píng)估的過程。
圖8的邏輯流程圖示出了根據(jù)本發(fā)明，關(guān)于搜索列表項(xiàng)的印象和選擇的信息的收集過程。
圖9是根據(jù)本發(fā)明用于評(píng)估搜索列表項(xiàng)的性能的性能數(shù)據(jù)庫的框圖。
圖10更詳細(xì)地示出了圖9的性能數(shù)據(jù)庫的搜索文件的框圖。
圖11更詳細(xì)地示出了圖9的性能數(shù)據(jù)庫的競價(jià)點(diǎn)擊文件(bid clickfile)的框圖。
圖12更詳細(xì)地示出了圖2的搜索引擎的性能監(jiān)控器的框圖。
圖13是根據(jù)本發(fā)明的多個(gè)搜索列表項(xiàng)的性能評(píng)估的邏輯流程圖。
圖14、15和16中的每一個(gè)分別更詳細(xì)地示出了圖13的邏輯流程圖中的一部分的邏輯流程圖。
具體實(shí)施例方式
根據(jù)本發(fā)明，搜索數(shù)據(jù)庫中表現(xiàn)非常差的搜索列表項(xiàng)被自動(dòng)標(biāo)記以進(jìn)行刪除和評(píng)估。搜索列表項(xiàng)的非常差的性能是一個(gè)有力的指示符，其指示該搜索列表項(xiàng)正給搜索數(shù)據(jù)庫的用戶留下不合需要的印象。自動(dòng)標(biāo)記這樣的搜索列表項(xiàng)能夠搜出可能已逃過任何編輯過濾機(jī)制的不合需要的搜索列表項(xiàng)，以避免這樣的搜索列表項(xiàng)被包括進(jìn)搜索數(shù)據(jù)庫中。
圖1示出了被耦合到并服務(wù)于廣域網(wǎng)104的搜索引擎102，所述廣域網(wǎng)104在該示例性實(shí)施例中是因特網(wǎng)。多個(gè)主機(jī)計(jì)算機(jī)系統(tǒng)106A-D被耦合到因特網(wǎng)104，并向多個(gè)客戶端計(jì)算機(jī)系統(tǒng)108A-C提供內(nèi)容。當(dāng)然，圖1為了示例目的而被大大簡化。例如，雖然只示出了四個(gè)(4)主機(jī)計(jì)算機(jī)系統(tǒng)和三個(gè)(3)客戶端計(jì)算機(jī)系統(tǒng)，但是應(yīng)該意識(shí)到(i)耦合到因特網(wǎng)的主機(jī)計(jì)算機(jī)系統(tǒng)和客戶端計(jì)算機(jī)系統(tǒng)的總數(shù)可以為幾百萬個(gè)計(jì)算機(jī)系統(tǒng)，并且(ii)主機(jī)計(jì)算機(jī)系統(tǒng)可以像客戶端計(jì)算機(jī)系統(tǒng)那樣檢索信息，而客戶端計(jì)算機(jī)系統(tǒng)可以像主機(jī)計(jì)算機(jī)系統(tǒng)那樣容納信息。
搜索引擎102是一種計(jì)算機(jī)系統(tǒng)，它對(duì)主機(jī)計(jì)算機(jī)系統(tǒng)106A-D所容納的信息進(jìn)行分類，并服務(wù)于客戶端計(jì)算機(jī)系統(tǒng)108A-C的搜索請(qǐng)求而提供可能被主機(jī)計(jì)算機(jī)106A-D中的任意一個(gè)所容納的信息。響應(yīng)于這種請(qǐng)求，搜索引擎102產(chǎn)生與搜索請(qǐng)求中指定的一個(gè)或多個(gè)搜索項(xiàng)相匹配的任意已分類信息的報(bào)告。由主機(jī)計(jì)算機(jī)系統(tǒng)106A-D所容納的這些信息包括通常被稱為網(wǎng)站的形式的信息。這種信息在因特網(wǎng)中被普遍稱為萬維網(wǎng)的部分中通過已知并廣泛使用的超文本傳輸協(xié)議(HTTP)被檢索。呈現(xiàn)給用戶的單個(gè)多媒體文檔一般被稱為網(wǎng)頁，并且在單個(gè)人、小組或組織的控制下多個(gè)互相關(guān)的網(wǎng)頁一般被稱為網(wǎng)站。雖然這里描述了對(duì)相關(guān)網(wǎng)頁和網(wǎng)站的搜索，但是應(yīng)該意識(shí)到，這里描述的某些技術(shù)可同樣應(yīng)用于對(duì)以其他形式存儲(chǔ)在廣域網(wǎng)中的信息的搜索。
搜索引擎102在圖2中被更詳細(xì)地示出。搜索引擎102包括搜索服務(wù)器206，它使用搜索數(shù)據(jù)庫208來接收和服務(wù)于來自客戶端計(jì)算機(jī)系統(tǒng)108A-C中的任意一個(gè)搜索請(qǐng)求。搜索引擎102還包括提交服務(wù)器202，其用于接收來自主機(jī)計(jì)算機(jī)系統(tǒng)108A-D中的任意一個(gè)的搜索列表項(xiàng)提交。每個(gè)提交請(qǐng)求在搜索數(shù)據(jù)庫208中分類主機(jī)計(jì)算機(jī)系統(tǒng)108A-D中的任意一個(gè)所容納的信息，從而可通過搜索服務(wù)器206獲得搜索結(jié)果。
為了避免將不需要的搜索結(jié)果提供到客戶端計(jì)算機(jī)系統(tǒng)108A-C，搜索引擎102包括編輯評(píng)估器204，它評(píng)估已提交的搜索列表項(xiàng)，然后再將這樣的搜索列表項(xiàng)包括到搜索數(shù)據(jù)庫208中。
在此示例性實(shí)施例中，搜索引擎102(以及提交服務(wù)器202、編輯評(píng)估器204和搜索服務(wù)器206中的每一個(gè))是作為在一個(gè)或多個(gè)計(jì)算機(jī)中執(zhí)行的一個(gè)或多個(gè)計(jì)算機(jī)進(jìn)程的全部或一部分。簡言之，提交服務(wù)器202接收到對(duì)搜索數(shù)據(jù)庫208中列表信息的請(qǐng)求，并且編輯評(píng)估器204評(píng)估已提交的搜索列表項(xiàng)，然后再將它們包括到搜索數(shù)據(jù)庫208中。在2002年9月13日遞交的由Dominic Cheung等人所著的題為“Automated Processingof Appropriateness Determination of Content for Search Listings in Wide AreNetwork Searches”的美國專利申請(qǐng)10/244,051中更完整地描述了評(píng)估這種搜索列表項(xiàng)的過程，這里通過參考并入該專利的描述以用于任意和所有用途。
搜索引擎102還包括性能數(shù)據(jù)庫210，其包括根據(jù)本發(fā)明跟蹤各個(gè)搜索列表項(xiàng)的性能的數(shù)據(jù)。編輯評(píng)估器204包括性能監(jiān)控器212，它使用性能數(shù)據(jù)庫210來評(píng)估搜索列表項(xiàng)性能，以判斷即便需要應(yīng)該從搜索數(shù)據(jù)庫208中刪除哪些搜索列表項(xiàng)。這里在邏輯流程圖300(圖3)的上下文中描述了性能監(jiān)控器212的行為，并將在下文中更詳細(xì)描述。
在步驟302中，性能監(jiān)控器212(圖2)周期性地評(píng)估被監(jiān)控的搜索列表項(xiàng)的性能。在此示例性實(shí)施例中，搜索列表項(xiàng)的性能在每次該搜索列表項(xiàng)被用作搜索結(jié)果時(shí)被更新，從而確保該搜索列表項(xiàng)的性能評(píng)估總是最新的。在替換實(shí)施例中，搜索列表項(xiàng)性能被周期性地(例如每日)評(píng)估。
在此示例性實(shí)施例中，只有在無人為編輯漏洞的情況下被自動(dòng)批準(zhǔn)的搜索列表項(xiàng)被標(biāo)記以用于性能監(jiān)控。此外，某些提交者被認(rèn)為是可信賴的，并且一般不監(jiān)控他們的搜索列表項(xiàng)的性能。在此實(shí)施例中，每月執(zhí)行一次搜索列表項(xiàng)的周期性性能評(píng)估。在替換實(shí)施例中，這種評(píng)估分別是每周執(zhí)行一次和每半個(gè)月執(zhí)行一次。當(dāng)然，可以使用其他評(píng)估周期。優(yōu)選地，性能評(píng)估頻率使得(i)可以收集足夠性能數(shù)據(jù)，以提供對(duì)相關(guān)性能的相當(dāng)可靠的評(píng)估，并且(ii)可以在評(píng)估之間收集到足夠數(shù)據(jù)，實(shí)際上可以期望所述評(píng)估改變相當(dāng)大的并可測(cè)量的量。
下面將描述性能監(jiān)控器212評(píng)估各種搜索列表項(xiàng)的性能的方式。在測(cè)試步驟304(圖3)中，性能監(jiān)控器212(圖2)判斷經(jīng)評(píng)估的性能是否低于預(yù)定的閾值。下面將結(jié)合對(duì)評(píng)估搜索列表項(xiàng)性能的更詳細(xì)描述來描述預(yù)定的閾值。如果性能不低于預(yù)定閾值，性能監(jiān)控器212則確定該搜索列表項(xiàng)不是特別不需要，并且根據(jù)邏輯流程圖300(圖3)的處理完成，將該搜索列表項(xiàng)留在搜索數(shù)據(jù)庫208(圖2)中。
相反，如果搜索列表項(xiàng)的性能低于預(yù)定閾值，性能監(jiān)控器212則確定該搜索列表項(xiàng)非常不需要，并且處理轉(zhuǎn)移到測(cè)試步驟306(圖3)。在測(cè)試步驟306中，性能監(jiān)控器212判斷該搜索列表項(xiàng)是不是自動(dòng)修改的候選。性能監(jiān)控器212保存多個(gè)被認(rèn)為能夠提高搜索列表項(xiàng)的性能的搜索列表項(xiàng)修改概況(profile)。一個(gè)這樣的概況指示在該搜索列表項(xiàng)的標(biāo)題中包括特別適合于該搜索列表項(xiàng)的搜索查詢。在此示例性的實(shí)施例中，性能監(jiān)控器212通過判斷該搜索列表項(xiàng)的標(biāo)題是否已經(jīng)包括該搜索查詢來執(zhí)行測(cè)試步驟306的判斷。
如果該搜索列表項(xiàng)是對(duì)自動(dòng)修改的候選，處理則從測(cè)試步驟306轉(zhuǎn)移到步驟308，在步驟308中，性能監(jiān)控器212對(duì)該搜索列表項(xiàng)應(yīng)用一個(gè)或多個(gè)自動(dòng)修改概況。在此示例性示例中，性能監(jiān)控器212修改搜索列表項(xiàng)的標(biāo)題以包括搜索查詢。在步驟310中，經(jīng)修改的搜索列表項(xiàng)以這樣的方式上線(即被存儲(chǔ)在搜索數(shù)據(jù)庫208中)使經(jīng)修改的搜索列表項(xiàng)可用于充當(dāng)搜索查詢的結(jié)果。在步驟310之后，根據(jù)邏輯流程圖300的處理完成。
如果性能監(jiān)控器212(圖2)在測(cè)試步驟306(圖3)中確定該搜索列表項(xiàng)不是用于自動(dòng)修改的候選，處理則轉(zhuǎn)移到步驟312。在步驟312中，性能監(jiān)控器212(圖2)使搜索列表項(xiàng)下線。在一個(gè)實(shí)施例中，性能監(jiān)控器212通過從搜索數(shù)據(jù)庫208中刪除該搜索列表項(xiàng)而使該搜索列表項(xiàng)下線。在替換實(shí)施例中，性能監(jiān)控器212通過將該搜索列表項(xiàng)標(biāo)記為不可用并使如此標(biāo)記的搜索列表項(xiàng)離開搜索數(shù)據(jù)庫208，而使該搜索列表項(xiàng)下線。在此替換實(shí)施例中，搜索服務(wù)器206只提供搜索數(shù)據(jù)庫208中未被標(biāo)記為不可用的搜索列表項(xiàng)，以作為搜索結(jié)果。
在步驟314(圖3)中，性能監(jiān)控器212(圖2)通知下線搜索列表項(xiàng)的所有者關(guān)于該搜索列表項(xiàng)的下線狀態(tài)。因此，該所有者可以采取正確的行動(dòng)，例如提交更可能被搜索服務(wù)器206的用戶接受的新的搜索列表項(xiàng)。
狀態(tài)圖600(圖6)示出了更復(fù)雜的實(shí)施例，其中低性能的搜索列表項(xiàng)不被刪除(例如立即或在步驟308的自動(dòng)修改之后在步驟312(圖3)中刪除，隨后持續(xù)低性能)，反之，向低性能搜索列表項(xiàng)的所有者提供在刪除前改進(jìn)其搜索列表項(xiàng)的機(jī)會(huì)。
當(dāng)搜索列表項(xiàng)被首次批準(zhǔn)包括進(jìn)搜索數(shù)據(jù)庫208(圖2)時(shí)，該搜索列表項(xiàng)處于累積狀態(tài)602(圖6)。在累積狀態(tài)602中，關(guān)于該搜索列表項(xiàng)的性能的數(shù)據(jù)以如下將更完整描述的方式被累積。處于累積狀態(tài)602的搜索列表項(xiàng)不就其性能進(jìn)行評(píng)估，直到該搜索列表項(xiàng)已經(jīng)累積了預(yù)定數(shù)目的印象為止，即該搜索列表項(xiàng)已經(jīng)作為搜索結(jié)果被呈現(xiàn)給用戶達(dá)預(yù)定次數(shù)。在此示例性實(shí)施例中，預(yù)定數(shù)目的印象是200個(gè)印象。當(dāng)然，可以使用其它值作為預(yù)定數(shù)目的印象。
一旦該搜索列表項(xiàng)已被累積了預(yù)定數(shù)目的印象，該搜索列表項(xiàng)則進(jìn)入評(píng)估狀態(tài)604。評(píng)估狀態(tài)604是大多數(shù)搜索列表項(xiàng)停留大半時(shí)間的狀態(tài)。在評(píng)估狀態(tài)604中，搜索列表項(xiàng)的性能以這里將更完整描述的方式被評(píng)估。只要搜索列表項(xiàng)的性能保持在預(yù)定閾值之上，該搜索列表項(xiàng)就保持在評(píng)估狀態(tài)604中。但是，如果該搜索列表項(xiàng)的性能落到預(yù)定閾值以下，則該搜索列表項(xiàng)進(jìn)入警告狀態(tài)606。
在警告狀態(tài)606中，將該搜索列表項(xiàng)的較差性能告知該低性能搜索列表項(xiàng)的所有者，并為其提供有限的時(shí)間量來修改該搜索列表項(xiàng)。可替換地，若不向所有者提供修改搜索列表項(xiàng)的機(jī)會(huì)，如果確定適合于自動(dòng)修改(如以上相對(duì)于步驟306到310(圖3)所述)，則可以自動(dòng)修改該搜索列表項(xiàng)。
提供給所有者的關(guān)于需要修改或自動(dòng)修改的通知可以在基于網(wǎng)絡(luò)的賬戶管理應(yīng)用內(nèi)通過電子郵件或以布告形式提供給所有者，其中通過所述賬戶管理應(yīng)用為所有者提供了對(duì)其擁有的搜索列表項(xiàng)的訪問權(quán)限，這種基于網(wǎng)絡(luò)的應(yīng)用將參考圖17來更完整地描述。這種訪問權(quán)限例如可以包括搜索列表項(xiàng)性能的統(tǒng)計(jì)、搜索列表項(xiàng)的屬性和計(jì)費(fèi)信息。該通知還可以包括關(guān)于改進(jìn)搜索列表項(xiàng)性能的方式的建議。
如果所有者在預(yù)定的時(shí)間段(例如14天)內(nèi)修改了低性能的搜索列表項(xiàng)，該搜索列表項(xiàng)則進(jìn)入試用狀態(tài)608。相反，如果該搜索列表項(xiàng)在預(yù)定時(shí)間段內(nèi)未被修改，則該搜索列表項(xiàng)進(jìn)入刪除狀態(tài)610，在該狀態(tài)中，該搜索列表項(xiàng)被從搜索數(shù)據(jù)庫208(圖2)中刪除，并將該刪除告知該搜索列表項(xiàng)的所有者。
在試用狀態(tài)608中，關(guān)于搜索列表項(xiàng)性能的數(shù)據(jù)以類似于累積狀態(tài)602的方式被累積。處于試用狀態(tài)608的搜索列表項(xiàng)不就其性能進(jìn)行評(píng)估，直到該搜索列表項(xiàng)已累積了預(yù)定數(shù)目的印象為止。在此示例性實(shí)施例中，預(yù)定數(shù)目的印象是200個(gè)印象。一旦處于試用狀態(tài)608的搜索列表項(xiàng)已經(jīng)累積了預(yù)定最小數(shù)目的印象，該搜索列表項(xiàng)就進(jìn)入評(píng)估狀態(tài)604，并且繼續(xù)對(duì)搜索列表項(xiàng)的評(píng)估。
在某些實(shí)施例中，累積狀態(tài)602和試用狀態(tài)608是相同的狀態(tài)。在替換實(shí)施例中，試用狀態(tài)608不同于累積狀態(tài)602。例如，累積狀態(tài)602和試用狀態(tài)608之間的差異包括在轉(zhuǎn)移到評(píng)估狀態(tài)604之前要累積的印象的預(yù)定數(shù)目方面的差異，以及在搜索列表項(xiàng)處于試用狀態(tài)608的在先次數(shù)的記錄保存方面的差異。后一差異在限制特定搜索列表項(xiàng)可以被允許進(jìn)入試用狀態(tài)608的次數(shù)時(shí)很有用。例如，在不向所有者提供再次修改搜索列表項(xiàng)的機(jī)會(huì)的情況下，搜索列表項(xiàng)在被刪除之前被限制為一次自動(dòng)修改和三個(gè)試用狀態(tài)。
為了輔助各種搜索列表項(xiàng)性能的評(píng)估，搜索服務(wù)器206收集關(guān)于搜索列表項(xiàng)的印象和搜索列表項(xiàng)的點(diǎn)擊的數(shù)據(jù)。搜索列表項(xiàng)的印象指的是搜索列表項(xiàng)作為搜索結(jié)果被呈現(xiàn)給用戶的方式。點(diǎn)擊指的是用戶對(duì)搜索列表項(xiàng)的選擇，從而檢索和查看由搜索列表項(xiàng)代表的網(wǎng)頁或其他信息。
在此示例性的實(shí)施例中，搜索列表項(xiàng)的印象由該列表項(xiàng)作為結(jié)果被提供到的搜索以及在搜索結(jié)果內(nèi)的顯示位置來限定。此外，在替換實(shí)施例中，印象包括指定該搜索列表項(xiàng)是否被競價(jià)的數(shù)據(jù)，即指定該搜索列表項(xiàng)的所有者是否已為該搜索列表項(xiàng)的顯著位置付款的數(shù)據(jù)。舉個(gè)例子，搜索列表項(xiàng)的印象可以由指定該搜索列表項(xiàng)是第三競價(jià)(third bid)搜索列表項(xiàng)的數(shù)據(jù)來定義，所述第三競價(jià)搜索列表項(xiàng)是作為對(duì)由搜索項(xiàng)“試驗(yàn)性飛行器引擎”定義的搜索的搜索結(jié)果而提供的。
由于搜索引擎的存在理由是用于輔助廣域網(wǎng)(例如因特網(wǎng)104)中的所需信息的定位，因此對(duì)于所需信息的成功定位的指示是對(duì)與呈現(xiàn)給用戶的結(jié)果搜索列表項(xiàng)相關(guān)聯(lián)的信息的嘗試檢索。簡言之，用戶被賦予一個(gè)對(duì)與搜索列表項(xiàng)相關(guān)聯(lián)的網(wǎng)頁的鏈接，并且例如通過使用鼠標(biāo)或其他傳統(tǒng)輸入設(shè)備“點(diǎn)擊”該鏈接而激活該鏈接，從而請(qǐng)求與該搜索列表項(xiàng)相關(guān)聯(lián)的網(wǎng)頁。因此，搜索列表項(xiàng)的“點(diǎn)擊”指的是由用戶激活與搜索列表項(xiàng)相關(guān)聯(lián)的鏈接，而“點(diǎn)擊”是對(duì)該搜索列表項(xiàng)為用戶提供了所需信息的指示。
一般，搜索結(jié)果列表中的某些位置比其他位置更好。換句話說，相對(duì)于其他位置上的搜索結(jié)果，用戶一般更可能點(diǎn)擊呈現(xiàn)在搜索結(jié)果中的這些位置上的搜索結(jié)果。因此，在一個(gè)實(shí)施例中，通過比較一個(gè)搜索列表項(xiàng)相對(duì)于呈現(xiàn)給用戶的搜索結(jié)果中的類似位置上的其他搜索列表項(xiàng)的點(diǎn)擊率，來評(píng)價(jià)該搜索列表項(xiàng)的性能。因此，關(guān)于呈現(xiàn)給用戶的搜索列表項(xiàng)的各個(gè)位置以及用戶對(duì)這些搜索列表項(xiàng)的點(diǎn)擊的信息被收集。
為了收集代表印象和點(diǎn)擊的數(shù)據(jù)，搜索服務(wù)器206包括鏈接打包器404(圖4)和重定向模塊406。搜索服務(wù)器206還包括搜索引擎邏輯402，除非這里另外描述，否則該搜索引擎邏輯402就是傳統(tǒng)上的搜索引擎邏輯。邏輯流程圖500(圖5)示出了搜索服務(wù)器206響應(yīng)于接收到來自客戶端計(jì)算機(jī)系統(tǒng)108A-D(圖1)中的任意一個(gè)的包括了一個(gè)或多個(gè)搜索項(xiàng)的搜索請(qǐng)求的行為。
在步驟502中，搜索引擎邏輯402(圖4)從搜索數(shù)據(jù)庫208(圖2)獲得多個(gè)搜索列表項(xiàng)，這些搜索列表項(xiàng)一般與搜索項(xiàng)最相關(guān)，并且根據(jù)與存儲(chǔ)在搜索數(shù)據(jù)庫208中的各個(gè)搜索列表項(xiàng)相關(guān)聯(lián)的競價(jià)額。
在步驟504(圖5)中，搜索引擎邏輯402(圖4)將在步驟502中獲得的搜索列表項(xiàng)傳遞到鏈接打包器404。對(duì)于每個(gè)搜索列表項(xiàng)，鏈接打包器404解析該搜索列表項(xiàng)的URL，并編碼URL和代表該搜索列表項(xiàng)的印象的數(shù)據(jù)。經(jīng)編碼的URL和印象數(shù)據(jù)被包括在被尋址到重定向模塊406的新URL中。因而，鏈接打包器404在將搜索結(jié)果呈現(xiàn)給用戶時(shí)保存代表印象的數(shù)據(jù)，并編碼隨后由重定向模塊406接收并解析的數(shù)據(jù)以獲得代表點(diǎn)擊的數(shù)據(jù)。重定向模塊406的接收和解析將在下文中更完整地描述。鏈接打包器404將編碼后的URL提供到搜索引擎邏輯402，搜索引擎邏輯402然后在步驟506中將編碼后的URL作為搜索結(jié)果的一部分提供到用戶。
邏輯流程圖504(圖7)更詳細(xì)示出了由鏈接打包器404(圖4)執(zhí)行的步驟504。在步驟702中，鏈接打包器404(圖4)確定包括在用于當(dāng)前所服務(wù)的搜索請(qǐng)求的結(jié)果集合中的結(jié)果搜索列表項(xiàng)的總數(shù)目。在步驟704(圖7)中，鏈接打包器404(圖4)確定包括在搜索結(jié)果集合中的競價(jià)搜索列表項(xiàng)的總數(shù)目。在一個(gè)實(shí)施例中，包括在搜索結(jié)果集合中的搜索列表項(xiàng)的總數(shù)目和競價(jià)搜索列表項(xiàng)的總數(shù)目是由搜索引擎邏輯402預(yù)定的，并被傳輸給鏈接打包器404。在替換實(shí)施例中，搜索引擎邏輯402將生成的搜索列表項(xiàng)的集合傳輸?shù)芥溄哟虬?04，并且鏈接打包器404通過檢查這些搜索列表項(xiàng)自身來推斷總的搜索列表項(xiàng)和競價(jià)搜索列表項(xiàng)的數(shù)目。
循環(huán)步驟706和下一步驟718定義了一個(gè)循環(huán)，在該循環(huán)中，鏈接打包器404(圖4)根據(jù)步驟708到716(圖7)來處理結(jié)果集合中的每個(gè)搜索列表項(xiàng)。在步驟706到718的循環(huán)的特定迭代期間，被處理的特定搜索列表項(xiàng)被稱為當(dāng)前搜索列表項(xiàng)。
在步驟708中，鏈接打包器404(圖4)確定結(jié)果集合中的當(dāng)前搜索列表項(xiàng)的位置。在一個(gè)實(shí)施例中，列表中的相對(duì)位置由搜索引擎邏輯402根據(jù)結(jié)果集合中的每個(gè)搜索列表項(xiàng)的相對(duì)相關(guān)性和/或相對(duì)競價(jià)額來指定，并且這些相對(duì)位置被搜索引擎402通過發(fā)送明確指定這些位置的數(shù)據(jù)而傳輸?shù)芥溄哟虬?04。在替換實(shí)施例中，由搜索引擎402確定的相對(duì)位置是從搜索列表項(xiàng)被傳輸?shù)芥溄哟虬?04的順序中推斷出的。
在測(cè)試步驟710(圖7)中，鏈接打包器404(圖4)判斷當(dāng)前搜索列表項(xiàng)是否是被競價(jià)的。例如，鏈接打包器404可以讀取從搜索引擎邏輯402接收到的明確指示每個(gè)搜索列表項(xiàng)是否被競價(jià)的數(shù)據(jù)。可替換地，可以從結(jié)果集合中的每個(gè)搜索列表項(xiàng)的相對(duì)位置中推斷出一個(gè)搜索列表項(xiàng)是否被競價(jià)。在替換實(shí)施例中，結(jié)果集合中的前三個(gè)和最后兩個(gè)搜索列表項(xiàng)被競價(jià)，并且其余的搜索列表項(xiàng)都未被競價(jià)。
如果當(dāng)前搜索列表項(xiàng)被競價(jià)，處理則轉(zhuǎn)移到步驟712(圖7)，在步驟712中，鏈接打包器404(圖4)確定該當(dāng)前搜索列表項(xiàng)在競價(jià)搜索結(jié)果中的相對(duì)位置。以上述方式，該相對(duì)位置可以被明確給出，或從搜索列表項(xiàng)結(jié)果的集合中推斷出。相反，如果當(dāng)前搜索列表項(xiàng)未被競價(jià)，鏈接打包器404則跳過步驟712(圖7)。
在步驟714中，鏈接打包器404(圖4)編碼搜索列表項(xiàng)的總數(shù)目、競價(jià)搜索列表項(xiàng)的總數(shù)目、當(dāng)前搜索列表項(xiàng)的URL和當(dāng)前搜索列表項(xiàng)在所有搜索結(jié)果和所有競價(jià)搜索結(jié)果中的相對(duì)位置。這些值可以被編碼為明文CGI變量或可以被編碼為數(shù)據(jù)的散列或其他密碼加擾，以隱藏特定的經(jīng)編碼的值，并從而阻止對(duì)這些值的篡改。
在步驟716(圖7)中，鏈接打包器404(圖4)形成可跟蹤的URL，其包括從步驟714(圖7)編碼出的數(shù)據(jù)。該URL是可跟蹤的，因?yàn)樗粚ぶ返街囟ㄏ蚰K406(圖4)。因此，在將搜索列表項(xiàng)呈現(xiàn)給位于任意客戶端計(jì)算機(jī)108A-D(圖1)上的用戶之后，用戶對(duì)任意搜索列表項(xiàng)的任意選擇向重定向模塊406(圖4)發(fā)送HTTP請(qǐng)求。重定向模塊406因而位于能截取被點(diǎn)擊的搜索列表項(xiàng)的位置上，并如邏輯流程圖800(圖8)那樣記錄這種點(diǎn)擊行為。
在步驟802中，重定向模塊406(圖4)獲取HTTP請(qǐng)求的URL。如上所述，URL包括代表呈現(xiàn)給用戶的搜索列表項(xiàng)的總數(shù)目的數(shù)據(jù)、代表呈現(xiàn)給用戶的競價(jià)搜索列表項(xiàng)的總數(shù)目的數(shù)據(jù)、代表用戶選擇的搜索列表項(xiàng)的URL的數(shù)據(jù)和代表用戶選擇的搜索列表項(xiàng)在所有搜索列表項(xiàng)和所有競價(jià)搜索列表項(xiàng)中的相對(duì)位置的數(shù)據(jù)。重定向模塊406在步驟804(圖8)中從URL中解碼出這些值。
在步驟806中，重定向模塊406(圖4)以如下所述的方式記錄由獲取的URL所代表的點(diǎn)擊，以用于隨后的性能評(píng)估。簡言之，重定向模塊406記錄由用戶選出的特定搜索列表項(xiàng)以及從中選出該搜索列表項(xiàng)的搜索結(jié)果集合，并且用于按如下方式(下面將更完整描述)進(jìn)行點(diǎn)擊過濾的數(shù)據(jù)和時(shí)間戳也一道被記錄。
在步驟806中，重定向模塊406將HTTP請(qǐng)求重定向到在步驟804中從所獲取的URL解碼出的URL中所代表的地址。因此，用戶最終獲得了按所選搜索列表項(xiàng)的URL尋址到的網(wǎng)頁，這正是用戶所盼望的行為。
如上所述，搜索、印象和點(diǎn)擊被置于性能數(shù)據(jù)庫210(圖2)中。性能數(shù)據(jù)庫210在圖9中被詳細(xì)示出。
性能數(shù)據(jù)庫210包括搜索點(diǎn)擊結(jié)(join)902，該搜索點(diǎn)擊結(jié)902進(jìn)而包括搜索文件904、競價(jià)點(diǎn)擊文件906和未競價(jià)點(diǎn)擊文件908。搜索文件904在圖10中被詳細(xì)示出。
搜索文件904包括多個(gè)搜索記錄，其中每個(gè)搜索記錄代表搜索數(shù)據(jù)庫208(圖2)中的各個(gè)搜索。標(biāo)識(shí)符1002唯一地標(biāo)識(shí)一個(gè)特定搜索。項(xiàng)1004代表在由標(biāo)識(shí)符1002標(biāo)識(shí)的搜索中由用戶提供的一個(gè)或多個(gè)搜索項(xiàng)。鏈接列表1006代表由搜索引擎邏輯402(圖4)收集的結(jié)果集合中包括的搜索列表項(xiàng)，并且對(duì)于結(jié)果集合中的每個(gè)搜索列表項(xiàng)，包括一個(gè)可以用來在搜索數(shù)據(jù)庫208(圖2)中定位該搜索列表項(xiàng)的標(biāo)識(shí)符、該搜索列表項(xiàng)是被競價(jià)的還是未被競價(jià)的信息、以及該搜索列表項(xiàng)在所有搜索列表項(xiàng)中以及在競價(jià)搜索列表項(xiàng)(如果該搜索列表項(xiàng)是被競價(jià)的話)中的相對(duì)位置。該搜索列表項(xiàng)是否是被競價(jià)的信息可以在鏈接列表1006中明確示出，或者也可以通過檢索代表搜索列表項(xiàng)的搜索數(shù)據(jù)庫208中的數(shù)據(jù)來確定。
搜索文件904中的一個(gè)搜索記錄可以代表一次發(fā)送到特定單獨(dú)用戶的搜索結(jié)果的單個(gè)集合，或者可以代表如下的多個(gè)搜索在所述搜索中，由項(xiàng)1004表示的搜索項(xiàng)和由鏈接列表1006表示的結(jié)果搜索列表項(xiàng)的集合是相同的。類似地，結(jié)果集合可以被看作在搜索列表項(xiàng)的單個(gè)統(tǒng)一代表(即單個(gè)的結(jié)果頁)的單個(gè)事務(wù)中被發(fā)送到用戶的搜索列表項(xiàng)的集合，或者可替換地，可以被看作跨越多個(gè)頁并被分批發(fā)送給用戶的搜索列表項(xiàng)的較大集合。
競價(jià)點(diǎn)擊文件906和未競價(jià)點(diǎn)擊文件908彼此相似，并且以下對(duì)競價(jià)點(diǎn)擊文件906的描述可同樣應(yīng)用于未競價(jià)點(diǎn)擊文件908，除了另外指出的部分之外。根本上講，競價(jià)點(diǎn)擊文件906代表競價(jià)搜索列表項(xiàng)的點(diǎn)擊，而未競價(jià)點(diǎn)擊文件908代表未競價(jià)搜索列表項(xiàng)的點(diǎn)擊。在圖11中更詳細(xì)示出了競價(jià)點(diǎn)擊文件906。
競價(jià)點(diǎn)擊文件906包括多個(gè)點(diǎn)擊記錄，其中每個(gè)點(diǎn)擊記錄代表一個(gè)點(diǎn)擊，即用戶對(duì)由重定向模塊406按上述方式收集的結(jié)果搜索列表項(xiàng)的一次選擇。每個(gè)點(diǎn)擊記錄包括時(shí)間戳1102、搜索標(biāo)識(shí)符1104和鏈接標(biāo)識(shí)符1106。時(shí)間戳1102代表重定向模塊406檢測(cè)到該點(diǎn)擊的數(shù)據(jù)和時(shí)間。時(shí)間戳1102被用于點(diǎn)擊過濾(下面將更完整描述)。
搜索標(biāo)識(shí)符1104指定該點(diǎn)擊所屬的單個(gè)搜索，并且對(duì)應(yīng)于標(biāo)識(shí)符1002(圖10)中其各自的標(biāo)識(shí)符，從而指定相關(guān)的搜索記錄。因此，搜索標(biāo)識(shí)符1104指定用戶已從中做出選擇的搜索列表項(xiàng)結(jié)果的集合，例如鏈接列表1006。鏈接標(biāo)識(shí)符1106標(biāo)識(shí)用戶選出的搜索列表項(xiàng)，即將鏈接列表1006中的一個(gè)特定搜索列表項(xiàng)標(biāo)識(shí)為用戶所選擇的那個(gè)。
因此，搜索點(diǎn)擊結(jié)902(圖9)記錄特定搜索的結(jié)果集合中的特定搜索列表項(xiàng)的印象和點(diǎn)擊。盼望點(diǎn)進(jìn)率910包括在評(píng)估搜索數(shù)據(jù)庫208中的特定搜索列表項(xiàng)中使用的附加歷史數(shù)據(jù)。具體而言，盼望點(diǎn)進(jìn)率910包括絕對(duì)點(diǎn)進(jìn)歷史表912和相對(duì)點(diǎn)進(jìn)歷史表914。
表912和914在量化特定搜索列表項(xiàng)性能的過程中以下面將更完整描述的方式被使用。絕對(duì)點(diǎn)進(jìn)歷史表912記錄在具有各種大小的結(jié)果集合中點(diǎn)擊位于每個(gè)位置上的搜索列表項(xiàng)的次數(shù)。例如，絕對(duì)點(diǎn)進(jìn)歷史表912記錄只包括單個(gè)搜索列表項(xiàng)的結(jié)果集合的數(shù)目以及所述單個(gè)搜索列表項(xiàng)被點(diǎn)擊的次數(shù)。另外，絕對(duì)點(diǎn)進(jìn)歷史表912記錄包括兩個(gè)搜索列表項(xiàng)的結(jié)果集合的數(shù)目以及第一和第二搜索列表項(xiàng)分別被點(diǎn)擊的次數(shù)。類似地，絕對(duì)點(diǎn)進(jìn)歷史表912記錄包括三個(gè)搜索列表項(xiàng)的結(jié)果集合的數(shù)目以及第一、第二和第三搜索列表項(xiàng)分別被點(diǎn)擊的次數(shù)。絕對(duì)點(diǎn)進(jìn)歷史表912記錄包括了四個(gè)、五個(gè)以及直到預(yù)定的最大數(shù)目的搜索列表項(xiàng)的結(jié)果集合的類似信息。
相對(duì)點(diǎn)進(jìn)歷史表914除了記錄在同一搜索中點(diǎn)擊的多個(gè)搜索列表項(xiàng)之外，記錄類似的信息。例如，對(duì)于包括兩個(gè)搜索列表項(xiàng)的結(jié)果集合，相對(duì)點(diǎn)進(jìn)歷史表914記錄第一和第二搜索列表項(xiàng)都被點(diǎn)擊的次數(shù)。類似地，對(duì)于包括三個(gè)搜索列表項(xiàng)的結(jié)果集合，相對(duì)點(diǎn)進(jìn)歷史表914記錄(i)第一和第二、(ii)第二和第三以及(iii)第一和第三搜索列表項(xiàng)都被點(diǎn)擊的次數(shù)。對(duì)于包括了四個(gè)、五個(gè)以及直到預(yù)定的最大數(shù)目的搜索列表項(xiàng)的結(jié)果集合中的類似組合，點(diǎn)擊被類似地記錄。
應(yīng)該注意，無論搜索項(xiàng)或特定用戶是怎樣的，用于所有搜索的所有點(diǎn)擊歷史都要被包括在絕對(duì)點(diǎn)進(jìn)歷史表912和相對(duì)點(diǎn)進(jìn)歷史表914中。表912和914的目的是要提供對(duì)如下可能性的估計(jì)無論搜索列表項(xiàng)的內(nèi)容如何，在具有特定長度的結(jié)果集合中處于特定位置的一個(gè)搜索列表項(xiàng)都會(huì)被點(diǎn)擊。因此，性能監(jiān)控器212具有一個(gè)參考點(diǎn)，利用該參考點(diǎn)來識(shí)別低性能的搜索列表項(xiàng)。
得分916代表由性能監(jiān)控器212按下述方式確定的各個(gè)搜索列表項(xiàng)的相對(duì)性能。刪除表924標(biāo)識(shí)已被性能監(jiān)控器212確定為低性能的，并因此需要被修改和/或從搜索數(shù)據(jù)庫208中刪除的各個(gè)搜索列表項(xiàng)。參數(shù)922包括用于控制性能監(jiān)控器212按下述方式對(duì)性能的評(píng)估的數(shù)據(jù)。
因此，利用由重定向模塊406與鏈接打包器404合作收集的性能數(shù)據(jù)，性能監(jiān)控器212被用于有效地評(píng)估特定搜索列表項(xiàng)的性能。性能監(jiān)控器212在圖12中被更詳細(xì)示出。
性能監(jiān)控器212包括點(diǎn)擊過濾器1202，其用于刪除代表可能不適當(dāng)?shù)赜绊懰阉髁斜眄?xiàng)的性能評(píng)估的用戶選擇的數(shù)據(jù)。例如，當(dāng)搜索列表項(xiàng)的用戶選擇顯示出在時(shí)間上彼此非?？拷灾劣诓豢赡苁侨祟愑脩舻倪x擇結(jié)果時(shí)，假設(shè)用戶在單個(gè)選擇中由于疏忽多次點(diǎn)擊同一鏈接，或假設(shè)計(jì)算機(jī)進(jìn)程正在仿真人類用戶并比人類更快地做出選擇。在任意一種情況下，跟隨在來自同一客戶端計(jì)算機(jī)系統(tǒng)(例如客戶端計(jì)算機(jī)系統(tǒng)108A-D中的任意一個(gè))的另一搜索列表項(xiàng)選擇之后的與之相距時(shí)間小于預(yù)定閾值時(shí)間的搜索列表項(xiàng)選擇被點(diǎn)擊過濾器1202所丟棄。所述預(yù)定時(shí)間閾值在參數(shù)922(圖9)中表示。
點(diǎn)擊過濾器1202(圖12)還丟棄對(duì)應(yīng)于在時(shí)間上跟隨類似搜索太近的搜索的點(diǎn)擊。在此示例性實(shí)施例中，用于丟棄搜索記錄的搜索之間的閾值選擇是對(duì)于同一搜索項(xiàng)的預(yù)定數(shù)目次搜索所采用的平均搜索間間隔的預(yù)定部分。該預(yù)定部分和預(yù)定數(shù)目次搜索在參數(shù)922(圖9)中表示。
其他類型的點(diǎn)擊不代表在對(duì)Web內(nèi)容的誠實(shí)搜索的環(huán)境中人類用戶的點(diǎn)擊。這種點(diǎn)擊的例子包括與以下搜索有關(guān)的點(diǎn)擊在一種搜索中，搜索列表項(xiàng)的所有者提交搜索查詢以判斷該搜索列表項(xiàng)被如何放置在與同一搜索查詢有關(guān)的其他搜索列表項(xiàng)之中，而在另一種搜索中，搜索列表項(xiàng)的所有者對(duì)該搜索列表項(xiàng)進(jìn)行搜索，以試圖不適當(dāng)?shù)乜浯笤撍阉髁斜眄?xiàng)的評(píng)估性能。點(diǎn)擊過濾器1202以如下美國專利申請(qǐng)更完整描述的方式來刪除所有非法搜索與本申請(qǐng)同日遞交的Scott B.Kline等人所著的題為“Detection of Improper Search Queries fin a Wide Area Network SearchEngine”(代理案卷號(hào)P-2242)的美國專利申請(qǐng)序列號(hào)10/＿,＿，這里通過參考而并入其描述。在刪除非法搜索的過程中，點(diǎn)擊過濾器1202還刪除與這些被刪除的搜索相關(guān)聯(lián)的任意點(diǎn)擊。除了過濾搜索之外，點(diǎn)擊過濾器1202還可以以如下美國專利申請(qǐng)所描述的方式檢測(cè)無效點(diǎn)擊由Stephan Doliov所著的題為“System and Method to Determine the Validity ofan Interaction on a Network”的美國專利申請(qǐng)序列號(hào)09/765,802，這里通過參考而并入其描述。任何檢測(cè)到的無效點(diǎn)擊都會(huì)被刪除。在淺搜索項(xiàng)市場中(即，在相對(duì)很少被搜索的搜索項(xiàng)的上下文中)，對(duì)點(diǎn)擊的過濾是尤其重要的。由于相對(duì)而言很少搜索這些項(xiàng)，因此淺市場中的不適當(dāng)搜索更有可能在相當(dāng)程度上影響搜索列表項(xiàng)的測(cè)量性能。
在一個(gè)實(shí)施例中，點(diǎn)擊過濾器1202(圖12)在點(diǎn)擊和搜索被累積在搜索點(diǎn)擊結(jié)902(圖9)中時(shí)過濾這些點(diǎn)擊和搜索。因此，搜索點(diǎn)擊結(jié)902存儲(chǔ)僅代表合法點(diǎn)擊和搜索的數(shù)據(jù)。在替換實(shí)施例中，所有點(diǎn)擊和搜索都被記錄在搜索點(diǎn)擊結(jié)902中，并且點(diǎn)擊過濾器1202(圖12)在性能監(jiān)控器212輸入點(diǎn)擊和搜索以用于處理時(shí)過濾這些點(diǎn)擊和搜索。
性能監(jiān)控器212包括搜索列表項(xiàng)精選器1204，它評(píng)估搜索列表項(xiàng)的性能以判斷是否有搜索列表項(xiàng)的性能低于閾值達(dá)足夠的容限，以確保刪除該搜索列表項(xiàng)。該過程由邏輯流程圖1300(圖13)示出。
在此示例性的實(shí)施例中，根據(jù)邏輯流程圖1300的處理每月執(zhí)行一次。這提供了這樣一種機(jī)會(huì)使搜索列表項(xiàng)被包括在針對(duì)足夠數(shù)量搜索的結(jié)果集合中，以提供足夠可靠的統(tǒng)計(jì)分析。當(dāng)然，可以使用其它頻率，例如每季度、每兩個(gè)月、每周，或?qū)τ谔貏e活躍的搜索列表項(xiàng)，甚至可以每日?qǐng)?zhí)行一次。
循環(huán)步驟1302和下一步驟1316定義了一個(gè)循環(huán)，在該循環(huán)中，搜索列表項(xiàng)精選器1204根據(jù)步驟1304到1314處理每個(gè)存儲(chǔ)在搜索文件904(圖9)中的搜索。在步驟1302到1316的循環(huán)的每次迭代期間，由搜索列表項(xiàng)精選器處理的特定搜索有時(shí)被稱為當(dāng)前搜索。
在步驟1304中，搜索列表項(xiàng)精選器1204(圖12)從競價(jià)點(diǎn)擊文件906(圖9)和未競價(jià)點(diǎn)擊文件908中收集與當(dāng)前搜索有關(guān)的點(diǎn)擊記錄。這些點(diǎn)擊記錄的搜索字段1104(圖11)標(biāo)識(shí)了當(dāng)前搜索。結(jié)果是來自鏈接列表1006(圖10)內(nèi)的鏈接字段1106的一組鏈接，這組鏈接是由已經(jīng)看到對(duì)應(yīng)于當(dāng)前搜索而返回的這組結(jié)果的用戶所選出的。
循環(huán)步驟1306和下一步驟1314定義了一個(gè)循環(huán)，在該循環(huán)中，搜索列表項(xiàng)精選器1204根據(jù)步驟1308到1312處理該當(dāng)前搜索的鏈接列表1006(圖10)的每個(gè)搜索列表項(xiàng)。在步驟1306到1314的循環(huán)的每次迭代期間，在圖13的上下文中，由搜索列表項(xiàng)精選器1204處理的特定搜索列表項(xiàng)有時(shí)被稱為當(dāng)前搜索列表項(xiàng)。
在步驟1308中，搜索列表項(xiàng)精選器1203更新當(dāng)前搜索列表項(xiàng)的絕對(duì)得分。步驟1308在邏輯流程圖1308(圖14)中被更詳細(xì)地示出。在步驟1402中，搜索列表項(xiàng)精選器1203為大小等于當(dāng)前搜索的鏈接列表1006(圖10)的尺寸的搜索結(jié)果集合中的當(dāng)前搜索列表項(xiàng)的位置上的搜索列表項(xiàng)確定期望點(diǎn)進(jìn)率。例如，如果該當(dāng)前搜索列表項(xiàng)是當(dāng)前搜索結(jié)果集合中的第三搜索列表項(xiàng)，并且當(dāng)前搜索產(chǎn)生了十個(gè)結(jié)果搜索列表項(xiàng)，搜索列表項(xiàng)精選器1204(圖12)則在步驟1402(圖14)中確定具有十個(gè)搜索列表項(xiàng)的集合中的第三位置搜索列表項(xiàng)的期望點(diǎn)進(jìn)率。
搜索列表項(xiàng)精選器1204(圖12)根據(jù)絕對(duì)點(diǎn)進(jìn)歷史表912做出這樣的判定，所述絕對(duì)點(diǎn)進(jìn)歷史表912存儲(chǔ)了(i)具有其各自長度的搜索文件904中的搜索的總數(shù)目，以及(ii)對(duì)于每個(gè)搜索長度，位于其各自位置上的搜索列表項(xiàng)被點(diǎn)擊的次數(shù)。因此，對(duì)于每個(gè)位置的期望點(diǎn)進(jìn)率是處于該位置的搜索列表項(xiàng)被點(diǎn)擊的次數(shù)除以具有所討論長度的搜索結(jié)果集合被呈現(xiàn)給用戶的次數(shù)。
在某些實(shí)施例中，當(dāng)評(píng)估當(dāng)前搜索列表項(xiàng)時(shí)，該搜索列表項(xiàng)的所有印象都要考慮。但是，在此示例性實(shí)施例中，只有有限數(shù)目(例如200)的最近期印象被考慮。通過僅考慮近期印象，近期性能被評(píng)估。不管可能以其他方式過度影響近期性能評(píng)估的印象的長期歷史如何，在非常大量印象之后的性能改變都可以被檢測(cè)到。
在測(cè)試步驟1404中，搜索列表項(xiàng)精選器1204判斷當(dāng)前搜索列表項(xiàng)是否被包括在步驟1304中所收集的集合中。如果是，處理則轉(zhuǎn)移到步驟1408，在步驟1408中，搜索列表項(xiàng)精選器1204計(jì)算對(duì)于該當(dāng)前列表項(xiàng)的點(diǎn)擊絕對(duì)得分。相反，如果該當(dāng)前搜索列表項(xiàng)沒有被包括在所收集的點(diǎn)擊的集合中，處理則轉(zhuǎn)移到步驟1406，在步驟1406中，搜索列表項(xiàng)精選器1204計(jì)算對(duì)于該當(dāng)前搜索列表項(xiàng)的未點(diǎn)擊絕對(duì)得分。
在此示例性實(shí)施例中的點(diǎn)擊絕對(duì)得分是2減去期望點(diǎn)進(jìn)率的差。在此示例性實(shí)施例中的未點(diǎn)擊絕對(duì)得分是1減去期望點(diǎn)進(jìn)率的差。一般期望被點(diǎn)擊但是未被點(diǎn)擊的搜索列表項(xiàng)具有較低的絕對(duì)得分(接近于0)。一般不期望被點(diǎn)擊且沒有被點(diǎn)擊的搜索列表項(xiàng)具有小于但接近于1的絕對(duì)得分。一般期望被點(diǎn)擊且被點(diǎn)擊的搜索列表項(xiàng)具有大于但接近于1的絕對(duì)得分。一般不期望被點(diǎn)擊但被點(diǎn)擊的搜索列表項(xiàng)具有最高得分(接近于2)。因此，絕對(duì)得分測(cè)量出如下關(guān)系搜索列表項(xiàng)是否被用戶所選擇相對(duì)于用戶由于該搜索列表項(xiàng)在結(jié)果集合中的位置而將選擇該搜索列表項(xiàng)的期望之間的關(guān)系。當(dāng)然，絕對(duì)得分可以按照需要而按比例改變。在此示例性實(shí)施例中，絕對(duì)得分被按比例放大50倍，從而使絕對(duì)得分的范圍從0到100。
在步驟1406或步驟1408之后，處理轉(zhuǎn)移到步驟1410，在步驟1410中，搜索列表項(xiàng)精選器1204將在步驟1406或1408中確定的絕對(duì)得分合并到當(dāng)前搜索列表項(xiàng)的累計(jì)絕對(duì)得分中。在一個(gè)實(shí)施例中，搜索列表項(xiàng)精選器1204保存來自經(jīng)過濾的點(diǎn)擊記錄的絕對(duì)得分的算術(shù)平均。搜索列表項(xiàng)精選器1204(圖12)保存在得分916中的絕對(duì)得分?jǐn)?shù)據(jù)庫920(圖9)中的累計(jì)絕對(duì)得分。在步驟1410(圖14)之后，根據(jù)邏輯流程圖1308的處理完成，因此步驟1308(圖13)完成。
在步驟1310中，搜索列表項(xiàng)精選器1204(圖12)更新當(dāng)前搜索列表項(xiàng)的相對(duì)得分。步驟1310在邏輯流程圖1310(圖15)中被更詳細(xì)地示出。在步驟1502中，搜索列表項(xiàng)精選器1204以上述參考步驟1402(圖14)所述的方式確定當(dāng)前搜索列表項(xiàng)的期望點(diǎn)進(jìn)率。
循環(huán)步驟1504(圖15)和下一步驟1510定義了一個(gè)循環(huán)，在該循環(huán)中，搜索列表項(xiàng)精選器1204(圖12)根據(jù)步驟1506到1508處理當(dāng)前搜索中除了當(dāng)前搜索列表項(xiàng)之外的每個(gè)搜索列表項(xiàng)。在步驟1504到1510的循環(huán)的每次迭代期間，特定的搜索列表項(xiàng)有時(shí)被稱為其他搜索列表項(xiàng)，其不同于當(dāng)前搜索列表項(xiàng)。
在步驟1506(圖15)中，搜索列表項(xiàng)精選器1204(圖12)以上述對(duì)于當(dāng)前搜索列表項(xiàng)所述的方式確定其他搜索列表項(xiàng)的期望點(diǎn)進(jìn)率。
在步驟1508(圖15)中，搜索列表項(xiàng)精選器1204(圖12)確定當(dāng)前搜索列表項(xiàng)和其他搜索列表項(xiàng)之間的相對(duì)得分。在此示例性實(shí)施例中，相對(duì)得分是通過以下方程式給出的，其中(i)x代表其他搜索列表項(xiàng)在當(dāng)前搜索中的位置，(ii)r代表當(dāng)前搜索列表項(xiàng)在當(dāng)前搜索中的位置，(iii)C代表在步驟1304(圖13)中收集到的點(diǎn)擊集合，并且(iv)b代表當(dāng)前搜索中的搜索列表項(xiàng)數(shù)目2-P[(x∉C|r∈C)|b],]]>如果r∈C且x∉C---(1)]]>
1-P[(x∉C|r∈C)|b],]]>如果r∈C且x∈C (2)2-P[(x∉C|r∉C)|b],]]>如果r∉C]]>且x∉C---(3)]]>1-P[(x∉C|r∉C)|b],]]>如果r∉C]]>且x∈C (4)為了確定等式(1)和(2)中的值，搜索列表項(xiàng)精選器1204采用以下等價(jià)關(guān)系P[(x∉C|r∈C)|b]=1-P[(x∈C|r∈C)|b]=1-P(x∈C,r∈C|b)P(r∈C|b)---(5)]]>在等式(5)中，通過使用在步驟1502中確定的期望點(diǎn)進(jìn)率來估計(jì)p(r∈C|b)，該p(r∈C|b)代表在給定當(dāng)前搜索的結(jié)果數(shù)目的情況下，當(dāng)前搜索列表項(xiàng)被點(diǎn)擊的概率。通過使用相對(duì)點(diǎn)進(jìn)歷史表914(圖9)來估計(jì)P(x∈C，r∈C|b)，其中p(x∈C，r∈C|b)代表在給定當(dāng)前搜索的結(jié)果數(shù)目的情況下，當(dāng)前搜索列表項(xiàng)和其他搜索列表項(xiàng)都被點(diǎn)擊的概率。歷史表914存儲(chǔ)了對(duì)于搜索文件904中表示的所有搜索，一個(gè)具有特定長度的搜索內(nèi)位于其各自位置上的兩個(gè)搜索列表項(xiàng)都已被點(diǎn)擊的總次數(shù)。例如，相對(duì)點(diǎn)進(jìn)歷史表914代表結(jié)果集合中具有5個(gè)搜索列表項(xiàng)的搜索的第二和第三列表項(xiàng)都被點(diǎn)擊的總次數(shù)。從相對(duì)點(diǎn)進(jìn)歷史表914，搜索列表項(xiàng)精選器1204獲取已經(jīng)從具有當(dāng)前搜索的結(jié)果集合的長度的搜索結(jié)果集合中選出在當(dāng)前搜索列表項(xiàng)和其他搜索列表項(xiàng)各自位置上的搜索列表項(xiàng)的總次數(shù)。搜索列表項(xiàng)精選器1204將這個(gè)數(shù)除以具有當(dāng)前搜索的長度的搜索的總數(shù)目以估計(jì)p(x∈C，r∈C|b)。因此，等式(5)在可應(yīng)用等式(1)或(2)的情況下被用于確定相對(duì)得分。
為了確定等式(3)和(4)中的值，搜索列表項(xiàng)精選器1204采用以下等價(jià)關(guān)系P[(x∉C|r∉C)|b]=1-P[(x∈C|r∉C)|b]]]>=1-P(x∈C,r∉C|b)P(r∉C|b)---(6)]]>=1-[P(x∈C|b)-P(x∈C,r∈C)|b][1-P(r∈C|b)]]]>在等式(6)中，p(r∈C|b)和p(x∈C，r∈C|b)都以上述參考等式(1)和(2)所述的方式來估計(jì)。另外，通過使用在步驟1506中確定的其它搜索列表項(xiàng)的期望點(diǎn)進(jìn)率來估計(jì)p(r∈C|b)，該p(r∈C|b)代表在給定當(dāng)前搜索的結(jié)果數(shù)目的情況下，其他搜索列表項(xiàng)被點(diǎn)擊的概率。因此，等式(6)在可應(yīng)用等式(3)或(4)的情況下被用于確定相對(duì)得分。
當(dāng)用戶選擇除當(dāng)前搜索列表項(xiàng)之外的搜索列表項(xiàng)時(shí)，等式(1)到(4)一般會(huì)使當(dāng)前搜索列表項(xiàng)的性能下降。等式(2)和(4)一般會(huì)使當(dāng)前搜索列表項(xiàng)的性能更嚴(yán)重地下降，因?yàn)樗鼈兇碛脩粼谄渲羞x擇了其他搜索列表項(xiàng)的搜索。
一旦當(dāng)前搜索的除當(dāng)前搜索列表項(xiàng)之外的所有搜索列表項(xiàng)都已根據(jù)步驟1504到1510的循環(huán)被處理，處理就轉(zhuǎn)移到步驟1512，在步驟1512中，搜索列表項(xiàng)精選器1204將在步驟1508的迭代性能中為當(dāng)前搜索列表項(xiàng)確定的所有相對(duì)得分組和起來。在此示例性實(shí)施例中。搜索列表項(xiàng)精選器1204使用相對(duì)得分的幾何平均來組合相對(duì)得分。在步驟1514中，搜索列表項(xiàng)精選器1204加權(quán)經(jīng)組合的當(dāng)前搜索列表項(xiàng)的相對(duì)得分，以產(chǎn)生當(dāng)前搜索列表項(xiàng)的相對(duì)得分。
在步驟1516中，搜索列表項(xiàng)精選器1204將相對(duì)得分合并到當(dāng)前搜索列表項(xiàng)的累計(jì)相對(duì)得分中。在一個(gè)實(shí)施例中，搜索列表項(xiàng)精選器1204保存從已過濾的點(diǎn)擊記錄和從在結(jié)果集合中包括一個(gè)以上搜索列表項(xiàng)的搜索而來的相對(duì)得分的算術(shù)平均。搜索列表項(xiàng)精選器1204(圖12)保存在得分916中的相對(duì)得分?jǐn)?shù)據(jù)庫918(圖9)中的累計(jì)相對(duì)得分。在步驟1516之后，根據(jù)邏輯流程圖1310的處理完成，因此步驟1310完成。
對(duì)搜索列表項(xiàng)的累計(jì)絕對(duì)得分或累計(jì)相對(duì)得分的更新被看作一個(gè)觸發(fā)事件，該觸發(fā)事件觸發(fā)用于刪除搜索列表項(xiàng)的測(cè)試。
在此示例性實(shí)施例中，搜索列表項(xiàng)精選器1204在步驟1312中執(zhí)行這樣的測(cè)試。在替換實(shí)施例中，搜索列表項(xiàng)精選器1204將已更新了累計(jì)絕對(duì)和/或相對(duì)得分的搜索列表項(xiàng)放置在一個(gè)隊(duì)列中，以用于隨后為找到可能的刪除而對(duì)這些得分執(zhí)行的測(cè)試。在任意一種情況下，都以邏輯流程圖1312(圖16)所示的方式來執(zhí)行用于刪除當(dāng)前搜索列表項(xiàng)的測(cè)試，其中邏輯流程圖1312更詳細(xì)示出了步驟1312。
在測(cè)試步驟1602中，搜索列表項(xiàng)精選器1204(圖12)判斷當(dāng)前搜索中的競價(jià)列表項(xiàng)的數(shù)目是否至少為預(yù)定的最小閾值。測(cè)試步驟1602的一般目的在于判斷是否顯示出足夠數(shù)目的其他競價(jià)搜索列表項(xiàng)，從而使相對(duì)得分成為對(duì)當(dāng)前搜索性能的合適量度，否則，一般獨(dú)立于當(dāng)前搜索中的其他搜索列表項(xiàng)的性能的絕對(duì)得分是更好的量度。如上所述，該示例性實(shí)施例處理被競價(jià)以及未被競價(jià)的搜索列表項(xiàng)。在此示例性實(shí)施例中，搜索引擎102使用傳統(tǒng)技術(shù)(有時(shí)被稱為“爬行”)來發(fā)現(xiàn)未競價(jià)列表項(xiàng)，而競價(jià)列表項(xiàng)被其所有者提交以用于包括在搜索數(shù)據(jù)庫208中。因此，競價(jià)列表項(xiàng)更可疑，因此被更仔細(xì)地檢查，并且在此示例性實(shí)施例中，預(yù)定的最小閾值只屬于競價(jià)搜索列表項(xiàng)。在替換實(shí)施例中，未競價(jià)搜索列表項(xiàng)或所有搜索列表項(xiàng)的數(shù)目可以被用作判斷在當(dāng)前搜索的上下文中，是絕對(duì)得分還是相對(duì)得分更有效的決定因素。預(yù)定的最小閾值被存儲(chǔ)在參數(shù)922(圖9)中。
如果競價(jià)列表項(xiàng)的數(shù)目低于預(yù)定的最小閾值，則確定當(dāng)前搜索列表項(xiàng)的絕對(duì)得分是對(duì)性能的更好量度，并且搜索列表項(xiàng)精選器1204的處理前進(jìn)至測(cè)試步驟1606。相反，如果當(dāng)前搜索中的競價(jià)列表項(xiàng)的數(shù)目至少為預(yù)定的最小閾值，則確定相對(duì)得分是對(duì)性能的更好量度，并且搜索列表項(xiàng)精選器1204的處理前進(jìn)至測(cè)試步驟1604。
對(duì)于相對(duì)得分和絕對(duì)得分中的每一個(gè)，都將其各自預(yù)定的最小印象數(shù)目存儲(chǔ)在參數(shù)922(圖9)中。在已經(jīng)累積了足夠數(shù)目的印象，從而以上述方式提供相當(dāng)可靠的統(tǒng)計(jì)分析之前，不考慮搜索列表項(xiàng)的刪除。在一個(gè)實(shí)施例中，預(yù)定的最小印象數(shù)目是200。在替換實(shí)施例中，預(yù)定的最小印象數(shù)目可以根據(jù)搜索列表項(xiàng)和/或搜索列表項(xiàng)作為充當(dāng)其結(jié)果的候選的搜索項(xiàng)的各種特性而變化。例如，可以根據(jù)以下因素來指定不同的預(yù)定最小印象數(shù)目(i)根據(jù)搜索列表項(xiàng)的所有者，因?yàn)槟承┧阉髁斜眄?xiàng)所有者可能隨時(shí)間流逝而建立更大信任；(ii)根據(jù)特定搜索項(xiàng)的搜索量；(iii)根據(jù)搜索列表項(xiàng)所屬的市場；以及(iv)根據(jù)最初批準(zhǔn)搜索列表項(xiàng)被包括在搜索數(shù)據(jù)庫208中的方式，即通過人工編輯復(fù)查或通過自動(dòng)編輯復(fù)查。
在測(cè)試步驟1604或1606中，如果當(dāng)前搜索列表項(xiàng)的印象數(shù)目分別低于相對(duì)得分或絕對(duì)得分的預(yù)定閾值，根據(jù)邏輯流程圖1312的處理則完成，從而步驟1312(圖13)完成，并且當(dāng)前搜索列表項(xiàng)不被刪除。在這種情況下，當(dāng)前搜索列表項(xiàng)處于累積狀態(tài)602(圖6)或試用狀態(tài)608。相反，如果當(dāng)前搜索列表項(xiàng)的印象數(shù)目至少分別為相對(duì)得分或絕對(duì)得分的預(yù)定閾值，處理則分別轉(zhuǎn)移到測(cè)試步驟1608(圖16)，并且當(dāng)前搜索列表項(xiàng)處于評(píng)估狀態(tài)604(圖6)。
對(duì)于相對(duì)得分和絕對(duì)得分中的每一個(gè)，其各自的預(yù)定最小閾值得分被存儲(chǔ)在參數(shù)922(圖9)中。如果一個(gè)搜索列表項(xiàng)具有必須具備的印象數(shù)目以及低于預(yù)定最小得分的得分，則將該搜索列表項(xiàng)標(biāo)記為刪除。在一個(gè)實(shí)施例中，預(yù)定的最小得分為46.5。在替換實(shí)施例中，預(yù)定的最小印象數(shù)目可以根據(jù)搜索列表項(xiàng)的各種特性而變化。例如，可以根據(jù)如下因素來指定不同的預(yù)定最小得分(i)根據(jù)搜索列表項(xiàng)的所有者，因?yàn)槟承┧阉髁斜眄?xiàng)所有者可能隨時(shí)間流逝而建立更大信任；(ii)根據(jù)特定搜索項(xiàng)的搜索量；(iii)根據(jù)搜索列表項(xiàng)所屬的市場；以及(iv)根據(jù)最初批準(zhǔn)搜索列表項(xiàng)被包括在搜索數(shù)據(jù)庫208中的方式，即通過人工編輯復(fù)查或通過自動(dòng)編輯復(fù)查。
在測(cè)試步驟1608或1610中，如果當(dāng)前搜索列表項(xiàng)的累計(jì)相對(duì)或絕對(duì)得分分別低于相對(duì)得分或絕對(duì)得分的預(yù)定閾值得分，處理則轉(zhuǎn)移到步驟1614，在步驟1614中，搜索列表項(xiàng)精選器1204通過在刪除表924中描述該當(dāng)前搜索列表項(xiàng)而將該當(dāng)前搜索列表項(xiàng)標(biāo)記為刪除。這代表當(dāng)前搜索列表項(xiàng)進(jìn)入警告狀態(tài)606的轉(zhuǎn)換。在一個(gè)實(shí)施例中，無法達(dá)到預(yù)定最小絕對(duì)得分的搜索列表項(xiàng)不被自動(dòng)刪除，而是被自動(dòng)修改或被標(biāo)記以用于人工編輯的復(fù)查。相反，如果當(dāng)前搜索列表項(xiàng)的累計(jì)相對(duì)或絕對(duì)得分分別至少等于相對(duì)得分或絕對(duì)得分的預(yù)定閾值得分，根據(jù)邏輯流程圖1312的處理則完成，從而步驟1312(圖13)完成，并且當(dāng)前搜索列表項(xiàng)不被刪除。
因此，只有當(dāng)一個(gè)搜索列表項(xiàng)的印象數(shù)目達(dá)到預(yù)定最小值并且其得分已落到預(yù)定允許閾值之下時(shí)，該搜索列表項(xiàng)才會(huì)被標(biāo)記為從搜索數(shù)據(jù)庫208中刪除。如果只有少數(shù)幾個(gè)搜索列表項(xiàng)與當(dāng)前搜索列表項(xiàng)一起呈現(xiàn)，則使用絕對(duì)得分，而不使用相對(duì)得分。
在步驟1312(圖13)之后，根據(jù)步驟1306到1314的循環(huán)來處理當(dāng)前搜索的下一搜索列表項(xiàng)。在當(dāng)前搜索的所有搜索列表項(xiàng)都根據(jù)步驟1306到1314的循環(huán)被處理之后，搜索列表項(xiàng)精選器1204的處理穿過下一步驟1316而轉(zhuǎn)移到循環(huán)步驟1302，在步驟1302中，搜索列表項(xiàng)精選器1204根據(jù)步驟1304到1314處理下一搜索。當(dāng)搜索文件904的所有搜索都已被搜索列表項(xiàng)精選器1204處理之后，根據(jù)邏輯流程圖1300的處理完成。
性能監(jiān)控器212包括搜索列表項(xiàng)刪除代理1208，它檢測(cè)被添加到刪除表924中的搜索列表項(xiàng)，從搜索數(shù)據(jù)庫208中刪除它們。這樣的檢測(cè)例如可以通過(i)周期性地檢查刪除表924以尋找新條目，(ii)當(dāng)新條目被添加到刪除表924時(shí)，從搜索列表項(xiàng)精選器1204接收信號(hào)，或者(iii)當(dāng)新條目被寫入刪除表924時(shí)使用基于觸發(fā)器的事件檢測(cè)機(jī)制。
優(yōu)選地，任意被刪除的搜索列表項(xiàng)的內(nèi)容都被保留，這是因?yàn)檫@些搜索列表項(xiàng)隨后可能在搜索數(shù)據(jù)庫208中被恢復(fù)。搜索列表項(xiàng)的內(nèi)容可以在刪除表924中被完整描述，或者搜索列表項(xiàng)可以保持存儲(chǔ)在搜索數(shù)據(jù)庫208中，而通過將指示這些搜索列表項(xiàng)不可用于包括在搜索結(jié)果集合中的標(biāo)志與搜索列表項(xiàng)相關(guān)聯(lián)來虛擬地刪除這些搜索列表項(xiàng)。另外，被刪除的搜索列表項(xiàng)可以在獨(dú)立于搜索數(shù)據(jù)庫208和刪除列表項(xiàng)924的數(shù)據(jù)結(jié)構(gòu)中被完整地描述。
搜索列表項(xiàng)刪除代理1208還將在刪除表924中描述的搜索列表項(xiàng)的刪除傳輸?shù)絼h除通知代理1206。刪除通知代理1206將此刪除告知被刪除的搜索列表性的所有者和與搜索引擎102相關(guān)聯(lián)的人工編輯。在此示例性實(shí)施例中，該通知是通過電子郵件傳輸給搜索列表項(xiàng)的所有者的，并且該通知包括刪除原因，包括被刪除的搜索列表項(xiàng)的性能以及(在可獲得修改建議的情況下)搜索列表項(xiàng)的修改建議。這使所有者能夠重新考慮搜索項(xiàng)、URL、標(biāo)題和被刪除的搜索列表項(xiàng)的描述之間的相互關(guān)系的本質(zhì)。在此示例性實(shí)施例中，對(duì)人工編輯(或者可替換地，對(duì)計(jì)算機(jī)實(shí)現(xiàn)的編輯器)的通知具有被刪除的搜索列表項(xiàng)以及相關(guān)性能得分的報(bào)告的形式。這樣的報(bào)告使編輯器能夠通過檢查合適的搜索列表項(xiàng)是否被不公平地從搜索數(shù)據(jù)庫208刪除，來評(píng)估性能監(jiān)控器212的性能。
性能監(jiān)控器212還包括搜索列表項(xiàng)修改代理1210，它以上述參考步驟306到310(圖3)所述方式對(duì)搜索列表項(xiàng)應(yīng)用自動(dòng)修改概況。
屏幕視圖1700(圖17)示出了如參考圖6所描述的基于網(wǎng)絡(luò)的賬戶管理應(yīng)用的顯示。屏幕視圖1700包括直方圖1702，其示出了由單個(gè)所有者管理的各個(gè)搜索列表項(xiàng)的得分性能。直方圖1702以容易理解且直觀可達(dá)的方式向搜索列表項(xiàng)的所有者提供性能評(píng)估。具體而言，直方圖1702在圖形上將評(píng)估出的各個(gè)搜索列表項(xiàng)的性能表示為一系列0到5個(gè)長劃線(dash)。三個(gè)長劃線一般代表平均性能。五個(gè)長劃線代表比平均性能好很多。沒有長劃線的表示指示比平均性能差很多。在替換實(shí)施例中，沒有長劃線的表示指示搜索列表項(xiàng)處于累積狀態(tài)602(圖6)或試用狀態(tài)608，并且單個(gè)長劃線代表搜索列表項(xiàng)處于警告狀態(tài)606。如果直方圖只包括單個(gè)長劃線，則該長劃線用紅色示出，以對(duì)性能特別差的搜索列表項(xiàng)引起注意。否則，在此示例性實(shí)施例中，包括了兩個(gè)或更多個(gè)長劃線的直方圖的長劃線用藍(lán)色示出。
在此實(shí)施例中，直方圖1702(圖17)代表以參考邏輯流程圖1312(圖16)所述方式選出的相關(guān)搜索列表項(xiàng)的累計(jì)絕對(duì)得分或累計(jì)相對(duì)得分。所代表的性能得分在編輯屏幕視圖1700(圖17)以顯示給用戶時(shí)被獲取，從而使直方圖1702所代表的信息是最近的。例如，如果屏幕視圖1700的搜索列表項(xiàng)的所有者發(fā)布刷新顯示指令以重編輯屏幕視圖1700，則直方圖1702的性能得分中的任意改變都會(huì)被修改，以反映自屏幕視圖1700的先前構(gòu)成以來在性能得分中的改變，這些改變例如是由于響應(yīng)于一個(gè)或多個(gè)搜索而服務(wù)于結(jié)果集合中的一個(gè)或多個(gè)搜索列表項(xiàng)而引起的。
在另一實(shí)施例中，屏幕視圖1700存在變化，包括用于各種市場的詳細(xì)視圖和概括視圖。下表以詳細(xì)視圖概括出美國市場中利用直方圖1702的性能得分表示。


下表以概括視圖概括出美國市場中利用直方圖1702的性能得分表示。

下表概括出除了美國之外的所有市場中利用直方圖1702的性能得分表示。

以上描述僅僅是示例性的，而非限制性的。本發(fā)明僅僅由所附權(quán)利要求書及其等同物的全部范圍來限定。
權(quán)利要求
1.一種用于提高搜索列表項(xiàng)的性能的方法，該方法包括確定在一個(gè)或多個(gè)搜索結(jié)果集合中的搜索列表項(xiàng)中的一個(gè)當(dāng)前搜索列表項(xiàng)的選擇頻率；將所述選擇頻率與最小允許頻率相比較；在所述選擇頻率低于所述最小允許頻率的情況下，使所述當(dāng)前搜索列表項(xiàng)不可被用作搜索結(jié)果。
2.如權(quán)利要求1所述的方法，其中所述比較只有在所述當(dāng)前搜索列表項(xiàng)作為一個(gè)或多個(gè)搜索的結(jié)果被呈現(xiàn)的次數(shù)達(dá)預(yù)定最小次數(shù)的情況下才被執(zhí)行。
3.如權(quán)利要求1所述的方法，其中所述確定包括使可跟蹤的URL與搜索結(jié)果列表中的所述當(dāng)前搜索列表項(xiàng)相關(guān)聯(lián)。
4.如權(quán)利要求3所述的方法，其中所述可跟蹤的URL包括去往URL捕捉器的URL；并且其中所述URL捕捉器重定向到與所述當(dāng)前搜索列表項(xiàng)相關(guān)聯(lián)的遠(yuǎn)程URL。
5.如權(quán)利要求1所述的方法，其中所述確定包括確定在最近呈現(xiàn)給一個(gè)或多個(gè)用戶的預(yù)定數(shù)目的搜索結(jié)果集合中的當(dāng)前搜索列表項(xiàng)的選擇頻率。
6.如權(quán)利要求1所述的方法，其中所述確定包括根據(jù)所述當(dāng)前搜索列表項(xiàng)在所述一個(gè)或多個(gè)搜索結(jié)果集合中的各自位置來確定所述一個(gè)或多個(gè)搜索結(jié)果集合中的當(dāng)前搜索列表項(xiàng)的選擇頻率。
7.如權(quán)利要求1所述的方法，其中所述確定包括根據(jù)所述當(dāng)前搜索列表項(xiàng)在所述一個(gè)或多個(gè)搜索結(jié)果集合中的各自位置，并且還根據(jù)在所述一個(gè)或多個(gè)搜索結(jié)果集合中的各個(gè)其他位置上的一個(gè)或多個(gè)搜索列表項(xiàng)各自的選擇頻率，來確定所述一個(gè)或多個(gè)搜索結(jié)果集合中的當(dāng)前搜索列表項(xiàng)的選擇頻率。
8.如權(quán)利要求1所述的方法，還包括根據(jù)負(fù)責(zé)將所述當(dāng)前搜索列表項(xiàng)包括到從其收集搜索列表項(xiàng)以用作搜索結(jié)果的數(shù)據(jù)庫中的實(shí)體的身份，來選擇所述最小允許頻率。
9.如權(quán)利要求1所述的方法，還包括根據(jù)對(duì)所述當(dāng)前搜索列表項(xiàng)執(zhí)行編輯復(fù)查的編輯機(jī)制來選擇所述最小允許頻率。
10.如權(quán)利要求9所述的方法，其中所述編輯機(jī)制包括對(duì)所述當(dāng)前搜索列表項(xiàng)的人工編輯復(fù)查。
11.如權(quán)利要求9所述的方法，其中所述編輯機(jī)制包括由計(jì)算機(jī)執(zhí)行的對(duì)所述當(dāng)前搜索列表項(xiàng)的編輯復(fù)查。
12.如權(quán)利要求1所述的方法，還包括根據(jù)所述當(dāng)前搜索列表項(xiàng)被包括到所述一個(gè)或多個(gè)搜索結(jié)果中的次數(shù)來選擇所述最小允許頻率。
13.如權(quán)利要求1所述的方法，還包括根據(jù)與所述當(dāng)前搜索列表項(xiàng)相關(guān)聯(lián)的搜索項(xiàng)已被搜索的次數(shù)來選擇所述最小允許頻率。
14.如權(quán)利要求1所述的方法，還包括根據(jù)所述一個(gè)或多個(gè)搜索結(jié)果集合有意向的地理市場來選擇所述最小允許頻率。
15.如權(quán)利要求1所述的方法，其中使所述當(dāng)前搜索列表項(xiàng)不可用包括通知與所述當(dāng)前搜索列表項(xiàng)相關(guān)聯(lián)的一方該當(dāng)前搜索列表項(xiàng)遭到刪除。
16.如權(quán)利要求1所述的方法，其中使所述當(dāng)前搜索列表項(xiàng)不可用包括通知與所述當(dāng)前搜索列表項(xiàng)相關(guān)聯(lián)的一方該當(dāng)前搜索列表項(xiàng)遭到刪除。
17.如權(quán)利要求16所述的方法，其中使所述當(dāng)前搜索列表項(xiàng)不可用還包括在使所述當(dāng)前搜索列表項(xiàng)不可用之前，向所述方提供修改所述當(dāng)前搜索列表項(xiàng)的機(jī)會(huì)。
18.如權(quán)利要求17所述的方法，還包括對(duì)所述當(dāng)前搜索列表項(xiàng)進(jìn)行修改，其中所述修改是由與所述搜索列表項(xiàng)相關(guān)聯(lián)的一方提交的；以及在使所述當(dāng)前搜索列表項(xiàng)不可用之前，對(duì)經(jīng)修改的當(dāng)前搜索列表項(xiàng)重復(fù)確定和比較的步驟。
全文摘要
一種系統(tǒng)和方法，用于通過檢測(cè)和刪除與其他搜索列表項(xiàng)相比用戶明顯不常選擇的搜索列表項(xiàng)，來提高搜索引擎給出的搜索結(jié)果的相關(guān)性，并且用戶可以滿意地感受到這種相關(guān)性的提高。代表作為搜索結(jié)果的一部分的各個(gè)搜索列表項(xiàng)的呈現(xiàn)的數(shù)據(jù)以及代表用戶對(duì)這些搜索列表項(xiàng)的選擇的數(shù)據(jù)被累積并分析，以評(píng)估搜索列表項(xiàng)的性能。搜索列表項(xiàng)的選擇率被與搜索結(jié)果集合中處于類似和不同位置上的搜索列表項(xiàng)的選擇率進(jìn)行比較。具有非常低選擇率的搜索列表項(xiàng)被標(biāo)記為從搜索數(shù)據(jù)庫中刪除。搜索列表項(xiàng)的所有者可以獲得修改搜索列表項(xiàng)的機(jī)會(huì)，并且經(jīng)修改的搜索列表項(xiàng)被類似地監(jiān)控低性能。
文檔編號(hào)G06F17/30GK1784679SQ200480011897
公開日2006年6月7日 申請(qǐng)日期2004年4月30日 優(yōu)先權(quán)日2003年5月2日
發(fā)明者多米尼科·張, 艾倫·朗, 斯科特·斯內(nèi)爾, 張潔, 皮埃爾·王, 斯科特·B·克萊恩, 卓迪·D·比格斯 申請(qǐng)人:奧弗圖爾服務(wù)公司