專利名稱：智能、圖示和自動(dòng)化互聯(lián)網(wǎng)和計(jì)算機(jī)信息的檢索和挖掘方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息的檢索技術(shù)領(lǐng)域，更具體的，是關(guān)于用于在本地計(jì)算機(jī)和網(wǎng)絡(luò)上多臺(tái)計(jì)算機(jī)上進(jìn)行信息的檢索、挖掘、過濾、圖示和檢索自動(dòng)化的方法及其該方法實(shí)現(xiàn)的軟件和系統(tǒng)。本發(fā)明的優(yōu)先日是2004年11月1日交到美國(guó)專利局的預(yù)備申請(qǐng)(申請(qǐng)?zhí)?0/624,249)，同時(shí)也是2004年12月28日交到中國(guó)國(guó)家知識(shí)產(chǎn)權(quán)局的專利申請(qǐng)(申請(qǐng)?zhí)?00410073518.4)的部分繼續(xù)。
背景技術(shù)：
以下列出了當(dāng)前網(wǎng)絡(luò)搜索方法的局限性1、現(xiàn)有技術(shù)的網(wǎng)絡(luò)搜索方法經(jīng)常返回大量的結(jié)果，例如，一個(gè)搜索的條目會(huì)有成百上千甚至百萬的結(jié)果。在實(shí)際的應(yīng)用中，用戶不可能在限定的時(shí)間內(nèi)去讀取所有的信息。大多數(shù)的用戶不會(huì)讀取超過前10到30條搜索結(jié)果。結(jié)果是用戶經(jīng)?？床坏接杏玫幕蛑匾男畔?。這就使搜索引擎返回的數(shù)千、百萬的網(wǎng)頁成為無效頁。它降低了搜索引擎索引和搜索數(shù)十億網(wǎng)頁的有效性。把如此多的搜索結(jié)果組織起來的需求已得到廣泛的驗(yàn)證。也有以前的搜索引擎使用預(yù)先確定的分類或標(biāo)簽或聚類技術(shù)。預(yù)先確定的網(wǎng)頁的分類方法需要一種給定的分類組織。聚類技術(shù)比如Clusty.com分類搜索結(jié)果就是通過從部分搜索結(jié)果中提取聚類詞來實(shí)現(xiàn)的。由于聚類是屬于統(tǒng)計(jì)性質(zhì)，它經(jīng)常會(huì)給出沒有意義或不相關(guān)的聚類。與本發(fā)明相比較，以前的聚類技術(shù)不僅在提取正確的和重要的詞和概念處存在不足，而且它們?cè)诙鄠€(gè)屬性中存在重復(fù)文件，不便于用戶選擇多個(gè)屬性對(duì)搜索結(jié)果進(jìn)行過濾。
2、以前的搜索引擎強(qiáng)迫用戶去使用關(guān)鍵字/詞或字串去搜索信息。有時(shí)，一個(gè)用戶不知道使用哪些合適的關(guān)鍵字/詞進(jìn)行搜索。更理想的方法是接受用戶用自然語言來描述他所尋找的信息。
3、使用以前的搜索方法，用戶經(jīng)常要坐在計(jì)算機(jī)前，花費(fèi)數(shù)小時(shí)去找尋需要的信息。用戶需要手動(dòng)點(diǎn)擊和跟蹤鏈接、用已完成的搜索結(jié)果中的概念重新描述搜索、和等待大型文件的下載。
4、對(duì)于用戶來說，以前的搜索技術(shù)沒有有效的解決方案來監(jiān)視站點(diǎn)和搜索結(jié)果。用戶通常需要在一段時(shí)間里用多組搜索關(guān)鍵字/詞重復(fù)地進(jìn)行搜索，以查看新的信息是否出現(xiàn)或最近訪問的網(wǎng)站是否發(fā)生變化。
5、在以前的有些搜索技術(shù)中，用戶必須對(duì)互聯(lián)網(wǎng)和個(gè)人計(jì)算機(jī)分別進(jìn)行搜索來發(fā)現(xiàn)存在這兩處的有關(guān)信息。在以前對(duì)本地計(jì)算機(jī)上的文件進(jìn)行索引搜索的解決方案中，在本地計(jì)算機(jī)上的搜索界面不同于互聯(lián)網(wǎng)絡(luò)搜索時(shí)用的瀏覽器界面。另外的一些用相同的界面來顯示網(wǎng)站搜索和本地計(jì)算機(jī)文件搜索的解決方案把這兩種搜索被捆綁在一起。即使當(dāng)一個(gè)用戶只需要搜索他的計(jì)算機(jī)硬盤上的文件時(shí)，搜索的關(guān)鍵字/詞也被發(fā)送到網(wǎng)的搜索引擎，泄露了用戶的個(gè)人行為，這是沒有必要的。在有些以前的實(shí)現(xiàn)中，當(dāng)計(jì)算機(jī)沒有接入互聯(lián)網(wǎng)時(shí)，本地的文件搜索不能進(jìn)行。
6、搜索引擎接收到，通常也記錄下用戶使用的搜索關(guān)鍵字/詞串，這會(huì)泄露用戶發(fā)給搜索引擎的意圖或創(chuàng)造性的想法。在有些時(shí)候，它涉及到用戶的個(gè)人隱私或機(jī)密。
由前所述可很顯然的看出需要發(fā)展一種更先進(jìn)的或智能的方法檢索和挖掘互聯(lián)網(wǎng)和計(jì)算機(jī)上的信息，以克服上面提到的各種缺陷。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提供一種智能、圖示和自動(dòng)化互聯(lián)網(wǎng)和計(jì)算機(jī)信息的檢索和挖掘方法，該方法包括網(wǎng)搜索的改進(jìn)，概念搜索，文本挖掘，從搜索結(jié)果中提取概念，用戶可選擇對(duì)搜索結(jié)果根據(jù)概念進(jìn)行過濾，概念聚類以及統(tǒng)計(jì)和邏輯關(guān)系的圖示化，自動(dòng)深入和擴(kuò)展搜索，自動(dòng)改變探測(cè)和跟蹤，本地計(jì)算機(jī)文件搜索，相關(guān)的隊(duì)列或者概念隊(duì)列，把META和用戶隱私分開。是一種高級(jí)智能搜索，信息挖掘，管理，圖示化以及分析工具，它給用戶提供了一個(gè)空前的能力。
本發(fā)明提供了一個(gè)非常必要的工具及其方法，它能夠幫助用戶迅速看到包含在大量的搜索結(jié)果中的重要的概念，可作為對(duì)搜索結(jié)果的概要。它把搜索結(jié)果中重要的概念進(jìn)行提取和排序，計(jì)算出它們的統(tǒng)計(jì)。這里可能有很多的概念，本發(fā)明可讓用戶選擇搜索結(jié)果中的概念和其它特征，并以此選擇對(duì)搜索結(jié)果進(jìn)行過濾、排序、分類。對(duì)于其他重要的概念，它也提供了一個(gè)基于搜索結(jié)果所含的概念對(duì)搜索結(jié)果的聚類、和搜索結(jié)果之間的統(tǒng)計(jì)的和邏輯關(guān)系的圖示法，因而，它使得用戶可對(duì)大量的搜索結(jié)果中所含信息和搜索結(jié)果之間的關(guān)系盡快達(dá)到理解。同時(shí)，通過從搜索結(jié)果中提取具有特征的重要的概念和他們的統(tǒng)計(jì)信息，提供給用戶一個(gè)更好的信息挖掘的方法。它不僅提取出現(xiàn)頻率最高的概念，稱為MPC(最流行概念)，而且也提取重要但是出現(xiàn)頻率較低的概念，稱為MOC(最新鮮概念)。概念排序可基于和搜索的相關(guān)度，搜索結(jié)果的統(tǒng)計(jì)信息，鏈接流行度，和新鮮或稀有度。無論是MPCs和MOCs，它可能被排序在前。用戶可以選擇或排除從搜索結(jié)果中所提取的重要概念對(duì)搜索結(jié)果進(jìn)行篩選，還能基于從搜索結(jié)果中所提取出來的重要概念來細(xì)調(diào)一個(gè)搜索或是改變一個(gè)搜索的方向。同時(shí)，基于從概念路徑圖中重要概念的統(tǒng)計(jì)以及邏輯關(guān)系，本發(fā)明也提供了一個(gè)圖示化的搜索結(jié)果的聚類。通過目錄和搜索結(jié)果的關(guān)系，概念路徑圖給用戶提供了一個(gè)快捷的形象化和操縱搜索結(jié)果的方法。這些都提供了比先前的搜索細(xì)化(”Refine Search”)和聚類的技術(shù)方法更加靈活和有效的手段。
本發(fā)明提供了一個(gè)自然語言用戶界面，用戶能夠運(yùn)用自然語言來描述他所要查找的信息，而無需使用準(zhǔn)確的關(guān)鍵字/詞。本發(fā)明在自然語言的基礎(chǔ)上，完成自然語言處理和自動(dòng)公式化的搜索。本發(fā)明通過把搜索關(guān)鍵字/詞擴(kuò)展到由同義詞，從屬詞，關(guān)鍵字/詞的子類詞，一個(gè)概念的首字母縮寫形式或完全表達(dá)形式等所構(gòu)成的概念來擴(kuò)展搜索。同時(shí)使用兩個(gè)或更多的關(guān)鍵字/詞之間語義的相互加強(qiáng)來加深理解，通過這種方式從搜索關(guān)鍵字/詞的多重語義中適當(dāng)?shù)叵缌x。
本發(fā)明通過自動(dòng)跟蹤鏈接，使用先前搜索找到的概念再表示搜索以達(dá)到加深關(guān)鍵字/詞搜索的目的，從而使搜索過程大大地自動(dòng)化。同時(shí)，它也能為用戶從搜索結(jié)果中自動(dòng)下載大量的文件。運(yùn)用這種方法，用戶不必再數(shù)小時(shí)的坐在計(jì)算機(jī)前用手去點(diǎn)擊鏈接以跟蹤一個(gè)搜索路徑和等待大量文件的下載。實(shí)際上，這種搜索是自動(dòng)的，它或在后臺(tái)操作，使用戶能夠做其他的工作，或使用戶能夠離開計(jì)算機(jī)去做其他的事情。
本發(fā)明提供了一個(gè)完整的界面，它允許用戶使用相同的、熟悉的瀏覽界面去搜索互聯(lián)網(wǎng)和他的計(jì)算機(jī)，以此獲取相關(guān)的信息，但對(duì)于電腦中機(jī)密或和安全相關(guān)文件的搜索受用戶控制。在此，用戶個(gè)人電腦的信息搜索就意味著搜索在個(gè)人電腦的硬盤上或在一個(gè)本地網(wǎng)絡(luò)的一臺(tái)計(jì)算機(jī)上的文件，包括郵件(比如Microsoft Outlook，Outlook Express，Eudora)和應(yīng)用文件(比如Microsoft Word，Excel，Power Point，Adobe pdf，text，Word Perfect，html)和其他包含文本或?qū)ξ募?biāo)題或其屬性由文本描述的文件。
本發(fā)明提供了一個(gè)有效的自動(dòng)化的方法，它使得用戶可以監(jiān)視選取的網(wǎng)站，監(jiān)視一個(gè)或多個(gè)搜索得到的新結(jié)果，用戶不必再去點(diǎn)擊完成搜索或在一段時(shí)間內(nèi)去重復(fù)性的瀏覽。
本發(fā)明同時(shí)為用戶提供了一個(gè)方法可以不把所有具有啟迪作用的關(guān)鍵字/詞都泄漏給任何一個(gè)單一的搜索引擎就可進(jìn)行搜索。運(yùn)用這種方法，沒有任何一個(gè)搜索引擎全部接收搜索用戶的關(guān)鍵字/詞列表，這樣，就避免搜索引擎去揣測(cè)用戶的真正意圖或侵犯用戶的隱私。它保護(hù)了用戶的隱私和機(jī)密。


圖1展示一個(gè)智能搜索引擎，它接受一個(gè)用戶用自然語言描述和自動(dòng)搜索；圖2展示一個(gè)查詢發(fā)生器的接口；圖3展示一個(gè)智能搜索引擎，它接受搜索關(guān)鍵字/詞和關(guān)鍵字/詞到概念的拓展和自動(dòng)搜索；圖4展示一個(gè)用圖表、過濾和圖示法的搜索結(jié)果表示的一個(gè)的用戶界面；圖5展示把本發(fā)明嵌入到一個(gè)網(wǎng)絡(luò)搜索引擎界面的工具欄中的智能搜索的接口；圖6展示用列表、過濾和圖示法的搜索結(jié)果表示的一個(gè)用來完成圖表5中一次搜索的一個(gè)用戶界面接口；圖7展示用分離窗口在本地計(jì)算機(jī)上顯示列表、過濾和圖示法的查詢結(jié)果；圖8展示概念路徑圖的例子，8(a)一個(gè)MPP CPM，8(b)一個(gè)MOP CPM，和8(c)一個(gè)MPP CPM的替換形式；圖9展示一個(gè)用戶界面窗口的MPPCPM的例子，一個(gè)結(jié)點(diǎn)包含了在912中高亮顯示的重要概念所包含的網(wǎng)頁或文件圖10展示了本發(fā)明的索引文件的原理框圖和數(shù)據(jù)庫的一個(gè)接口；圖11展示了一個(gè)可調(diào)整的三層工具欄界面使用戶可以在其上進(jìn)行排序項(xiàng)權(quán)重的調(diào)整；圖12展示了一個(gè)將搜索本地計(jì)算機(jī)硬盤和本發(fā)明的新特色進(jìn)行一體化的改進(jìn)的一個(gè)搜索界面；圖13展示了一個(gè)為進(jìn)行網(wǎng)絡(luò)搜索建立的本發(fā)明的部分實(shí)現(xiàn)的高水平的流程圖表；以下結(jié)合附圖和發(fā)明人給出的具體實(shí)施的例子對(duì)本發(fā)明作更進(jìn)一步的詳細(xì)描述。
具體實(shí)施例方式
本發(fā)明的描述將引用圖示，在文中的同一數(shù)字將代表圖示中的同一個(gè)部件或部分。下面將描述本專利的實(shí)現(xiàn)例子。這些實(shí)現(xiàn)例子是用來描述本發(fā)明的有關(guān)方面，而不應(yīng)被解釋成為限制本發(fā)明的范圍。當(dāng)實(shí)現(xiàn)例子用到方塊圖、結(jié)構(gòu)或流程，每一塊部件或步驟既代表方法里的一個(gè)步驟，也代表實(shí)現(xiàn)方法的裝置里用于實(shí)現(xiàn)一個(gè)步驟的一個(gè)部件。取決于實(shí)現(xiàn)方式，一個(gè)裝置的部件可由硬件、軟件、固件或它們的組合來實(shí)現(xiàn)。
為了更清楚的理解本發(fā)明，在具體說明本發(fā)明之前，發(fā)明人給出以下定義概念在本發(fā)明，當(dāng)應(yīng)用于把關(guān)鍵字/詞甲或短語甲擴(kuò)展到它的內(nèi)涵時(shí)，這個(gè)詞代表和關(guān)鍵字/詞甲或短語甲有相同或相近含義的關(guān)鍵字/詞或短語的集。這個(gè)集可能包括關(guān)鍵字/詞甲或短語甲的同義字/詞或短語，以及它的母類詞和子類詞。在本發(fā)明中，有些時(shí)候，概念、關(guān)鍵字/詞或搜索關(guān)鍵字/詞或搜索關(guān)鍵字/詞串這些術(shù)語可交替使用。在這種情況下，它就意味著這些關(guān)鍵字/詞、搜索關(guān)鍵字/詞或搜索關(guān)鍵字/詞串是一個(gè)概念的代表。當(dāng)應(yīng)用于從文件、網(wǎng)頁或搜索結(jié)果中抽取有代表性的或被特定規(guī)則或標(biāo)準(zhǔn)認(rèn)為重要的字/詞或含義時(shí)，概念，或可交替使用的重要概念，就是按照一個(gè)或多個(gè)規(guī)則或標(biāo)準(zhǔn)從一個(gè)頁或文件中所提取出的關(guān)鍵字/詞、關(guān)鍵字/詞字串或短語。它可以被擴(kuò)展到一個(gè)具相同或近似含義的關(guān)鍵字/詞或短語集。
文件在網(wǎng)絡(luò)搜索背景下的文件意味著應(yīng)用一個(gè)搜索引擎可以找到的網(wǎng)頁或文件。在計(jì)算機(jī)硬盤進(jìn)行信息檢索的背景下的文件意味著所有文件存儲(chǔ)在計(jì)算機(jī)硬盤或本地網(wǎng)絡(luò)上的文件。文件的例子包括但不限于微軟Word、Excel Spreadsheet、PowerPoint，PDF，電子郵件，txt，xml，html和任何含有文字內(nèi)容的信息體。
硬盤搜索搜索在用戶計(jì)算機(jī)的一個(gè)或多個(gè)硬盤上或在用戶本地網(wǎng)絡(luò)中計(jì)算機(jī)上的文件。
關(guān)鍵字/詞，短語當(dāng)術(shù)語關(guān)鍵字/詞或短語單獨(dú)使用時(shí)，它意味用戶用這些關(guān)鍵字/詞或字串描述他想要搜索的信息。
搜索關(guān)鍵字/詞，查詢關(guān)鍵字/詞，搜索關(guān)鍵字/詞字串，查詢關(guān)鍵字/詞字串，搜索短語、查詢短語搜索時(shí)實(shí)際使用的關(guān)鍵字/詞或關(guān)鍵字/詞串。它可從用戶提供的關(guān)鍵字/詞或短語中生成，但可能不同于這些。在有些情況下，它可能由本發(fā)明的查詢發(fā)生器生成。
詞義一個(gè)字或短語的含義。一個(gè)字或短語可能有多種含義。
同義詞集一個(gè)字的一組同義詞。
引號(hào)內(nèi)的字/詞串表示用于和此字/詞串精確匹配的搜索。為方便，定義一個(gè)搜索的搜索關(guān)鍵字/詞或描述，或有關(guān)文件或文件所含的任何信息，如一個(gè)字/詞、字/詞串、短語、句子、句型、論語、概念、鏈接、文件的URL、文件類型、日期、標(biāo)題或作者、等等，都被稱為一個(gè)信息元。
1、智能查詢生成器和查詢擴(kuò)展本發(fā)明提供給用戶一個(gè)如圖1中所展示的自然語言界面NLI(Natural Language Interface)100，而不會(huì)強(qiáng)迫用戶使用一個(gè)關(guān)鍵字/詞字串來進(jìn)行搜索。在這個(gè)實(shí)現(xiàn)中，在box 102里用戶可以輸入其搜索的一個(gè)自然語言描述NLDS(Natural Language Description)，或就像使用傳統(tǒng)搜索引擎那樣輸入一個(gè)關(guān)鍵字/詞字串，或使用關(guān)鍵字/詞字串和自然語言描述的一個(gè)組合。
在一種實(shí)現(xiàn)中，在NLI的頂部，有一個(gè)用戶意圖表UIL(User Intentions List)104用來讓用戶明確其搜索意圖。在一種實(shí)現(xiàn)中，控件“全部選中”101是默認(rèn)選中的，并能夠搜索和返回所有找到的東西。用戶也可以忽略并且不使用UIL 104。用戶的意圖可以從NLDS 102中提取。同時(shí)有按鈕106可供用戶輸入關(guān)鍵字/詞串進(jìn)行查詢。
運(yùn)行在用戶本地計(jì)算機(jī)上的QG(查詢生成器)從NLDS中提取出字或字串，并把它們當(dāng)作搜索關(guān)鍵字/詞或字串提交給搜索引擎，或把它們當(dāng)作搜索關(guān)鍵字/詞或字串來執(zhí)行搜索。個(gè)性化搜索可通過兩種途徑實(shí)現(xiàn)一種是用戶對(duì)檢索的描述和UIL(如果用戶使用了UIL)；另一種是根據(jù)用戶偏好以及存儲(chǔ)在本機(jī)上的搜索結(jié)果的歷史記錄。這種個(gè)性化的搜索保護(hù)了用戶的隱私，因?yàn)橛脩舻臍v史搜索記錄或偏好都保存在用戶的本地計(jì)算機(jī)上，而不是搜索引擎。
除了直接從用戶對(duì)其搜索的描述中提取搜索關(guān)鍵字/詞字串外，QG同樣包含了一個(gè)自然語言理解模塊202，一個(gè)將關(guān)鍵字/詞擴(kuò)展成概念的模塊208，一個(gè)安裝在用戶本地計(jì)算機(jī)上的知識(shí)庫210。這個(gè)知識(shí)庫可用來把用戶的自然語言描述解釋和翻譯成相應(yīng)的關(guān)鍵字/詞，同時(shí)將關(guān)鍵字/詞擴(kuò)展成為概念，如表2所示。例如，當(dāng)一個(gè)用戶輸入自然語言描述“我要找一個(gè)可以把我所有計(jì)算機(jī)都連到英特網(wǎng)上的器件”(“I am looking for a device that will be able to connect all my computers wirelessly to the Interne”)后，自然語言理解模塊202利用包含了無線網(wǎng)絡(luò)知識(shí)的知識(shí)庫210，將用戶描述轉(zhuǎn)換成關(guān)鍵字/詞串，如(無線路由器wireless router)，(無線接入點(diǎn)wireless access point)，(WLAN路電器WLAN router)，(無線寬帶路由器wireless broadband router)，等等。另外再舉一個(gè)例子，當(dāng)一個(gè)用戶輸入自然語言描述“我想買一臺(tái)無線路由器把我所有計(jì)算機(jī)都無線地連到英特網(wǎng)上”(“I want to buy a wireless router that connects allmy computers wirelessly to the互聯(lián)網(wǎng)”)后，搜索關(guān)鍵字/詞串提取模塊204將利用其中包含有關(guān)無線網(wǎng)絡(luò)的知識(shí)庫210，提取關(guān)鍵字/詞串(無線路由器wireless router)，(計(jì)算機(jī)無線地連到英特網(wǎng)connectcomputer wirelessly互聯(lián)網(wǎng))；自然語言理解模塊202和將關(guān)鍵字/詞擴(kuò)展成概念的模塊208將解釋用戶的搜索意圖為(買to buy)，(購物to purchase)，并把提取的關(guān)鍵字/詞串?dāng)U展到(無線路由器wirelessrouter)，(無限接入點(diǎn)wireless access point)，(WLAN路由器WLAN router)，(無線寬帶路由器wireless broadband router)，(802.11路由器802.11router)，(家庭網(wǎng)絡(luò)home networking)，等等。
同樣，NL1100給用戶提供了更多選項(xiàng)來篩選他的搜索，包括108修改日期范圍，一個(gè)保持一個(gè)搜索在一段時(shí)間里存活的選項(xiàng)(根據(jù)在110中指定的日期范圍，每隔一定的時(shí)間就激活搜索，以檢測(cè)有無新信息源和已有信息源有無變化)，以及當(dāng)檢測(cè)到變化時(shí)，在本地計(jì)算機(jī)上通知用戶或發(fā)送一個(gè)郵件給用戶的選項(xiàng)。為了這個(gè)目的，NIL100也給用戶提供了在112輸入他的郵件賬戶的輸入框。其它的選項(xiàng)包括下面的116的概念跟蹤和118的鏈接跟蹤選項(xiàng)，在搜索中它們?cè)诔跏妓阉鞯幕A(chǔ)上擴(kuò)展搜索范圍。這些特性將在本發(fā)明后面部分將進(jìn)行詳細(xì)的說明。
在一種實(shí)現(xiàn)里，如果用戶點(diǎn)擊按鈕106，將出現(xiàn)一個(gè)關(guān)鍵字/詞用戶界面(KUI)300，如圖3所示。這個(gè)KUI 300不同于以前的搜索引擎界面之處在于KUI 300包含了一個(gè)UIL 302，一個(gè)關(guān)鍵字/詞擴(kuò)展成概念選項(xiàng)(按鈕304和306)，一個(gè)“可能用到的詞”輸入?yún)^(qū)308，日期范圍過濾器310，搜索存活日期范圍312和電子郵件通知用戶選項(xiàng)314。用戶輸入到KUI 300關(guān)鍵字/詞串被發(fā)送到位于QG200中的搜索關(guān)鍵字/詞產(chǎn)生模塊206。如果按鈕304和/或306被選中，QG200將使用一個(gè)將關(guān)鍵字/詞擴(kuò)展成概念的模塊208將用戶輸入的關(guān)鍵字/詞擴(kuò)展成為概念。然后，QG200中的搜索關(guān)鍵字/詞產(chǎn)生模塊206將基于用戶輸入的關(guān)鍵字/詞串和關(guān)鍵字/詞擴(kuò)展到概念的結(jié)果產(chǎn)生搜索關(guān)鍵字/詞串去完成此次搜索，或?qū)⑵涮峤唤o搜索引擎。UIL 302默認(rèn)是“全部選中”，這意味著UIL中所有意圖被選中。這樣，本實(shí)現(xiàn)將搜索所有能發(fā)現(xiàn)的文件并返回。
在另一個(gè)實(shí)現(xiàn)中，UIL可能被忽略。本實(shí)現(xiàn)可提供給用戶按鈕320來選擇NLDS界面100進(jìn)行搜索。在另一個(gè)實(shí)現(xiàn)中，自然語言理解模塊202和搜索關(guān)鍵字/詞串提取模塊204抽取及產(chǎn)生的關(guān)鍵字/詞串被送到將關(guān)鍵字/詞擴(kuò)展成概念的模塊208。208聯(lián)合知識(shí)庫210將具有相同或相近含義的的字或短語加入關(guān)鍵字/詞串。這樣，即便用戶用不同的詞或短語描述他要找的信息，包含這些信息的網(wǎng)頁和文件也能被抽取出來。
類似以前的搜索引擎，某些普通詞可以不包括在搜索關(guān)鍵字/詞當(dāng)中，比如是、的、個(gè)、而且、也、又、等，除非用戶用引號(hào)將這些詞裝入一個(gè)句子中，或他們是唯一的查詢字。
在以上所有的實(shí)現(xiàn)中，關(guān)鍵字/詞串的提取和將用戶自然語言描述翻譯成相應(yīng)的關(guān)鍵字/詞字串都是在用戶本地計(jì)算機(jī)上完成的。在另一個(gè)實(shí)現(xiàn)中，這些功能都是在搜索引擎服務(wù)器中實(shí)現(xiàn)的。這樣做的好處是關(guān)鍵字/詞字串提取模塊204，自然語言理解模塊202和知識(shí)庫210的維護(hù)和更新都能在一個(gè)集中的機(jī)器上完成。用戶的本地計(jì)算機(jī)直接提交用戶的自然語言搜索描述給搜索引擎。在搜索引擎上實(shí)現(xiàn)這些功能的不利條件在于它可能引起搜索引擎的負(fù)荷過重。在另外一個(gè)實(shí)現(xiàn)中，有些功能的實(shí)現(xiàn)是利用大量的本地計(jì)算機(jī)的處理能力來實(shí)現(xiàn)的，有些功能的實(shí)現(xiàn)是在搜索引擎上實(shí)現(xiàn)的，以使用搜索引擎中維護(hù)的最新的關(guān)鍵字/詞字串抽取方法，自然語言理解方法和知識(shí)庫來進(jìn)一步的處理或提高本地計(jì)算機(jī)的結(jié)果抽取和結(jié)果翻譯的效果。
在一個(gè)實(shí)現(xiàn)中，當(dāng)用戶的計(jì)算機(jī)連接到互聯(lián)網(wǎng)或訪問一個(gè)搜索引擎或一個(gè)服務(wù)器時(shí)，它將與服務(wù)器進(jìn)行通信，該服務(wù)器能夠給QG的部件提供更新，以使它們保持最新。這些模塊包括在用戶本地計(jì)算機(jī)上的搜索關(guān)鍵字/詞串提取模塊204，那么將關(guān)鍵字/詞擴(kuò)展成概念的模塊208，自然語言理解模塊202和知識(shí)庫210。更新可以在每次本地計(jì)算機(jī)連接到互聯(lián)網(wǎng)，或用戶訪問一個(gè)搜索引擎或服務(wù)器時(shí)完成，或周期性的去完成。
1.1提取搜索關(guān)鍵字/詞串和搜索意圖1.1.1從NLDS中提取搜索關(guān)鍵字/詞串和搜索意圖在提取關(guān)鍵字/詞包含在NLDS中的情況下，本發(fā)明識(shí)別和提取嵌入在NLDS中的搜索關(guān)鍵字/詞。在某一實(shí)現(xiàn)中，它是通過使用已知的句型和線索字獲得的。每種語言，比如英語，中文，法語，德語，都有非常頻繁使用的特定句型和線索詞來描述一個(gè)搜索。
在某一實(shí)現(xiàn)中，搜索關(guān)鍵字/詞字串提取實(shí)現(xiàn)204掃瞄尋找NLDS中的下列搜索描述意圖，搜索關(guān)鍵字/詞，可能詞，日期范圍，信息源，頁類型，被排隊(duì)在外的其一事物。
在一個(gè)NLDS中，一個(gè)搜索的題目及/或意圖很有可能在和下面給出的句型相似的一個(gè)或多個(gè)句子里給出我要找.....的信息 找.....的信息我要找(或?qū)憽⒗斫?、學(xué)習(xí)、調(diào)查、研究，等)..... 搜索...
我希望找..... 我對(duì).....感興趣(我的)搜索的目的(意圖、目標(biāo)、等)是...... 我的目的是......
因?yàn)?.....我搜索...... ......是我要找的...
......是搜索的焦點(diǎn)(目的、動(dòng)機(jī)、等) ......
在上面所列舉的例子句型中，搜索的主題或關(guān)鍵字/詞一般是包含在上面句型中的“....”部分。這樣，主題或搜索關(guān)鍵字/詞及/或意圖就能從這樣的句型中抽取出來。本發(fā)明可建立了一個(gè)可以識(shí)別這些句型的句型數(shù)據(jù)庫或列表。自然語言處理和理解領(lǐng)域中的自然語言理解算法以及人工智能算法可應(yīng)用于抽取這樣句式中的主題或搜索關(guān)鍵字/詞或搜索意圖。同樣存在一些句子模式，通過這些模式程序可以推斷出用戶是需要關(guān)于這一主題的部分還是全部的信息，例如我想得到任何關(guān)于......的信息。搜索所有關(guān)于......的信息。
查找任何和......相關(guān)信息。......
如同在以前的搜索引擎中，用戶也可能只是在NLDS中鍵入孤立關(guān)鍵字/詞。比如輸入(無線網(wǎng)絡(luò))、(家庭網(wǎng)絡(luò))。這些沒有完整句子結(jié)構(gòu)的名詞可以用句子部分分析、詞類分析和句子結(jié)構(gòu)分析這類自然語言理解算法很容易識(shí)別出來。這些算法可用于識(shí)別和抽取這一類孤立的搜索關(guān)鍵字/詞。
根據(jù)一些線索詞和短語，也可以確定搜索的目為購物。這些線索詞和短語包括便宜、更便宜、最便宜、低(更低、最低)價(jià)、買、購買等等。這些線索詞和短語指出用戶有很大可能在進(jìn)行一次關(guān)于買東西的信息的搜索。因此與關(guān)鍵字/詞相關(guān)的零售商和發(fā)明的網(wǎng)站應(yīng)該在搜索列表中排在前邊。這個(gè)方法也要包括對(duì)于異常情況的處理。例如，買(buy)這個(gè)詞出現(xiàn)在“買或自制(buy or make)”和“買和自做的對(duì)比(buy vs.make)”中時(shí)，它說明搜索是為了做一個(gè)是購買還是自己制造的決定，搜索有很大的可能是為了調(diào)查競(jìng)爭(zhēng)和市場(chǎng)的信息，而不是為了搜索零售商和商品從而進(jìn)行購物。根據(jù)這些線索詞和短語以及異?？梢詷?gòu)建一個(gè)數(shù)據(jù)庫或列表并且用它來抽取搜索的目的。
同樣的，本發(fā)明也可以建立用于指導(dǎo)別的代表或過濾搜索特征或域的抽取的數(shù)據(jù)庫或列表，其中包括可能用到的詞、日期范圍、來源、網(wǎng)頁類型和排除。
在NLDS中，對(duì)于“可能用到的詞”的搜索以以下句子模式出現(xiàn)的幾率非常高。
可能包括...... 可能用到以下的詞......
這些詞語可能用到...... 應(yīng)該包括......
......可能包括在內(nèi) 可能用到的詞有......
......
“可能用到的詞”也可以通過識(shí)別包含和“可能”相近義的詞的句子來提取。和“可能”相近義的詞可以用一個(gè)列表來表達(dá)，這個(gè)列表可包含(好像、可能、也許、應(yīng)該、......)。本實(shí)現(xiàn)在搜索是可不包含、包含部分或是包含所有“可能用到的詞”，并把搜索結(jié)果中包含較多“可能用到的詞”的頁將要排序在包含較少或是沒有包含“可能用到的詞”的頁的前面。在NLDS中，一個(gè)搜索的時(shí)間范圍很可能出現(xiàn)在以下的句子模式中。
網(wǎng)頁應(yīng)該在近期修改過的(寫的、發(fā)表的、......)日期范圍......
返回在過去......修改的或發(fā)表的............
在NLDS中，搜索結(jié)果來源的說明很可能出現(xiàn)在以下句子模式中。
我的興趣是大學(xué)(制造商、公司、非盈利機(jī)構(gòu)、等)僅返回.edu的搜索結(jié)果只搜索英文(中文、澳大利亞、等)網(wǎng)站 ......
在NLDS中，對(duì)于搜索頁類型的說明很可能出現(xiàn)在以下句子模式中。
只搜索html(word、pdf、等)網(wǎng)頁僅返回Word(pdf、html、等)的搜索結(jié)果在NLDS中，搜索中需要排除項(xiàng)的說明很可能出現(xiàn)在以下句子模式中。
我不想獲得...... 不要搜索......
不包括...... ......
本實(shí)現(xiàn)也可從搜索結(jié)果中排除掉包含排除關(guān)鍵字/詞的網(wǎng)頁和文件。
本發(fā)明可建立類似以上的句子模式的數(shù)據(jù)庫或列表，并使用這類數(shù)據(jù)庫或列表來鑒別和抽取表達(dá)搜索的各種特征。自然語言處理或理解和人工智能領(lǐng)域中自然語言理解算法可以應(yīng)用在從這類句子模式中提取出的搜索的各類特征。
這個(gè)發(fā)明可使用搜索關(guān)鍵字/詞抽取排除列表(Search Word Extraction Exclusion List SWEEL)來排除一些很常見但是對(duì)得到特定信息沒有用處的詞。在這個(gè)列表中的詞將不會(huì)被認(rèn)為是搜索關(guān)鍵字/詞。SWEEL列表包括如下的詞(是、這個(gè)、那個(gè)、我們、她、他、它、然后、而且、不但、但是、......等等)。
自然語言理解算法可以從NLDS中識(shí)別出關(guān)鍵字/詞中的或關(guān)系。在一個(gè)實(shí)現(xiàn)中，除非一個(gè)關(guān)鍵字/詞被識(shí)別為“或”或是“可能用到的詞”，否則它將被認(rèn)為與別的關(guān)鍵字/詞是與的關(guān)系。一個(gè)實(shí)現(xiàn)可把抽取的關(guān)鍵字/詞(和概念的擴(kuò)展，在下一節(jié)中將要描述)按照識(shí)別出來的關(guān)系“與”或“或”在一起，以及包括“可能用到的詞”和排除“可能用到的詞”的各種不同情況來進(jìn)行搜索。
在另一種實(shí)現(xiàn)中，NLDS將不會(huì)被輸入到輸入框102中，而是將它寫入一個(gè)文件中，如后綴名為.doc，rtf，pdf，或.txt的電腦中的文件里。這個(gè)發(fā)明將提供選項(xiàng)使用戶可以選擇這個(gè)文件作為NLDS并從此文件中產(chǎn)生關(guān)鍵字/詞進(jìn)行搜索。這個(gè)功能通過用戶向輸入框120鍵入文件路徑或是點(diǎn)擊按鈕122進(jìn)行瀏覽來實(shí)現(xiàn)，之后程序?qū)⒓虞d用戶指定的文件并把它作為NLDS。
這個(gè)發(fā)明同樣可以從一般的描述和例句或文章中抽取出關(guān)鍵字/詞，這些一般的描述和例句或文章不一定是為了描述一個(gè)搜索而寫的NLDS。例如，用戶可以可以在120中輸入文件路徑或在102中輸入如下文字“一個(gè)無線安全代理使用認(rèn)證服務(wù)器來管理用戶認(rèn)證”(“A wireless security agent uses anauthentication server to manage user authentication”)。自然語言理解模塊202將分析這個(gè)句子并可抽取如下搜索關(guān)鍵字/詞(無線安全wireless security)，(安全代理security agent)，(認(rèn)證authentication)，(認(rèn)證服務(wù)器authentication server)，(用戶認(rèn)證user authentication)，并且可使用它們來進(jìn)行搜索。在更高一層，自然語言理解模塊202不僅可以抽取關(guān)鍵字/詞，還可以分析句子中的結(jié)構(gòu)。在此例中，可以提取出主語(無線安全代理wireless security agent)、謂語(使用uses)、直接賓語(認(rèn)證服務(wù)器authenticationserver)、副語從句(管理用戶認(rèn)證manager user authentication，可以進(jìn)一步分解成動(dòng)詞和賓語)。在這個(gè)例子中，一個(gè)實(shí)現(xiàn)可首先使用抽取的搜索關(guān)鍵字/詞串來粗略的搜索，然后可以從粗略搜索的結(jié)果中提取出含有和上述一般的描述和例句或文章相似或同義的主語、謂語、直接賓語和副語從句，以及在這些部分間有相似邏輯關(guān)系的網(wǎng)頁或文件。
在有些情況下用戶并不知道使用哪一個(gè)詞可以描述自己搜索的目標(biāo)。在這種情況下用戶可能會(huì)使用描述性語言來描述搜索目標(biāo)的特征、特性或功能。前面所說的用戶向NLDS中輸入“我要找一個(gè)可以把我所有計(jì)算機(jī)都連到英特網(wǎng)上的器件”(“I am looking for a device that will be able to connect all my computerswirelessly to the Interne”)就是這樣的一個(gè)例子。在這種情況下，自然語言理解模塊可以使用知識(shí)庫210將用戶的描述圖示到可能的專業(yè)詞匯同時(shí)生成相應(yīng)的搜索關(guān)鍵字/詞串。在一些專業(yè)領(lǐng)域，例如醫(yī)學(xué)、技術(shù)、生物學(xué)、地理等，本發(fā)明可以建立此類領(lǐng)域的領(lǐng)域定義和關(guān)系知識(shí)庫，或把此類領(lǐng)域的領(lǐng)域定義和關(guān)系知識(shí)庫包含在知識(shí)庫210中。
1.1.2從KUI中抽取搜索關(guān)鍵字/詞串對(duì)于那些習(xí)慣于使用以前的搜索引擎和關(guān)鍵字/詞串進(jìn)行搜索的用戶，本發(fā)明提供了更為實(shí)用的功能KUI 300。在KUI 300里，用戶可以點(diǎn)擊按鈕320啟動(dòng)NLI并使用NLDS進(jìn)行搜索。KUI300與以前的搜索引擎有如下不同·KUI300提供了UIL302讓用戶可以說明他的搜索意圖。例如購買產(chǎn)品、尋找學(xué)習(xí)資料、市場(chǎng)研究等等。比起個(gè)性化方法試圖猜測(cè)用戶的意圖來，KUI300允許用戶明確地指出自己的意圖，這樣本發(fā)明可以呈現(xiàn)給用戶正確信息。當(dāng)然用戶也可以通過點(diǎn)選301中的“全部選中”選項(xiàng)跳過這一步。在一種實(shí)現(xiàn)中這個(gè)選擇框在默認(rèn)下選中的。在別的實(shí)現(xiàn)中UIL可能被省略。
·用戶可以點(diǎn)擊選擇按鈕304或/和306使用本發(fā)明提供的將用戶輸入的關(guān)鍵字/詞和短語擴(kuò)展為概念的功能。將關(guān)鍵字/詞擴(kuò)展成概念的模塊208與知識(shí)庫210協(xié)同工作，將關(guān)鍵字/詞和短語擴(kuò)展使其包含了同義或近義的詞和短語，從而保證了搜索可以得到含有用戶想得到的信息但是用了和用戶的關(guān)鍵字/詞和短語不同的文字表達(dá)的的頁和文件。
·KUI 300包括了“可能用到的詞”輸入項(xiàng)308。308輸入項(xiàng)允許用戶輸入他也不確定是否會(huì)出現(xiàn)在自己想要得到頁或文件中出現(xiàn)的詞和短語。沒有以前的搜索引擎可以提供這一功能。
·與NLI 100相似，KUI 300同樣提供對(duì)時(shí)間過濾310、保持搜索存活一段時(shí)間的選項(xiàng)312以獲取新的信息源和變化、電子郵件通知選項(xiàng)314、概念跟蹤選項(xiàng)316和鏈接跟蹤選項(xiàng)318。這些將在下面的章節(jié)中進(jìn)行詳細(xì)的討論。
用戶在輸入框303、305、206和309中輸入的關(guān)鍵字/詞串將被發(fā)送到QG 200的搜索關(guān)鍵字/詞串生成模塊206。如果按鈕304和/或306被選中，QG 200將使用將關(guān)鍵字/詞擴(kuò)展成概念的模塊208將用戶輸入的關(guān)鍵字/詞串?dāng)U展為概念集合，例如使其包括與關(guān)鍵字/詞同意或近義的詞或短語。在此之后根據(jù)用戶輸入的關(guān)鍵字/詞和關(guān)鍵字/詞擴(kuò)展到概念的結(jié)果，QG 200中的搜索關(guān)鍵字/詞串生成模塊206將生成搜索用的關(guān)鍵字/詞串用來進(jìn)行搜索或是提交給一個(gè)搜索引擎。
本實(shí)現(xiàn)可以給用戶提供在各個(gè)輸入項(xiàng)輸入內(nèi)容的例子，以便用戶了解如何輸入以進(jìn)行搜索，比如輸入項(xiàng)303太陽系，火星，生命存在的證據(jù) 輸入項(xiàng)308紅行星，爬行器輸入項(xiàng)305我相信火星上有生命，熱火星 輸入項(xiàng)309火星人，外空人上述可能用到的詞的實(shí)現(xiàn)提供了一種新的信息搜索方法，該方法包括提供一個(gè)接受用戶輸入描述甲和描述乙來定義一個(gè)搜索的接口；搜索含有描述甲中部分或全部信息，且不包含或包含描述乙中部分或全部信息的文件或其它信息體。
這個(gè)方法還進(jìn)一步包括下列一項(xiàng)或多項(xiàng)描述甲或描述乙或兩者都是有一或多個(gè)關(guān)鍵字/詞組成；把一個(gè)含有越多的描述乙中信息的文件或其它信息體排序越高。
1.2關(guān)鍵字/詞到概念的擴(kuò)展這個(gè)發(fā)明提供了兩種關(guān)鍵字/詞到概念的擴(kuò)展方法，說明如下。
1.2.1使用關(guān)系字典、領(lǐng)域定義和關(guān)系知識(shí)庫(Domain Ontology)和知識(shí)庫進(jìn)行概念擴(kuò)展下面給出一種實(shí)現(xiàn)的步驟并使用用戶輸入關(guān)鍵字/詞串(上漲的油價(jià)rising cost of oil)作為例子來說明。我們使用WordNet作為關(guān)系字典的例子來提供詞義和同義詞集合，同時(shí)它還會(huì)以指向母類詞和子類詞(或稱為母類詞和從屬詞，hypernyms and hyponyms/troponyms)等的鏈接形式顯示出相關(guān)詞語之間的概念等級(jí)關(guān)系。(注用和英文WordNet同樣的方法可以建立中文的WordNet)1.首先要獲取用戶輸入的關(guān)鍵字/詞的詞根和所有變形，刪除簡(jiǎn)單詞和聯(lián)結(jié)詞(例如；的、了、而且、然后，of，in，at，on，and，is，with等等)，并且生成輸入關(guān)鍵字/詞的擴(kuò)展關(guān)鍵字/詞列表。舉例說在英文里，rising的根詞是rise。英文的關(guān)鍵字/詞擴(kuò)展列表是((rising，rise，rose，risen，rises)，cost，(oil，oiled，oiling，oils))。
2.如果關(guān)鍵字/詞甲只有一個(gè)意思，那么將這個(gè)意思以及和關(guān)鍵字/詞甲此意的同義詞形成關(guān)鍵字/詞甲的查詢集合(Query SetQS)。
3.如果關(guān)鍵字/詞甲不只一個(gè)意思，那么將它的每一個(gè)意思和描述與其它關(guān)鍵字/詞的所有意思和描述進(jìn)行一一比較。如果關(guān)鍵字/詞乙的第二個(gè)意思的同義詞集合中包含了關(guān)鍵字/詞甲的第一個(gè)意思的同義詞集合中的詞，或關(guān)鍵字/詞乙的第二個(gè)意思的描述與關(guān)鍵字/詞甲的第一個(gè)意思的描述相似，這時(shí)關(guān)鍵字/詞甲的第一個(gè)意思將被選擇而且將它的同義詞集合加入到關(guān)鍵字/詞甲的QS中。關(guān)鍵字/詞乙的第二個(gè)意思也會(huì)被選擇并且將它的同義詞集合加入到關(guān)鍵字/詞乙的QS中。這種方法叫作互增強(qiáng)(MutulaReinforcement MR)或交義確認(rèn)(Cross Validation CV)。以關(guān)鍵字/詞(上漲rising，價(jià)cost)為例。下面是英文WordNet對(duì)于rising和cost返回的結(jié)果。
名詞rise有10個(gè)意思(前6來自賦加了標(biāo)記的文本)1.(9)rise--(a growth in strength or humber or importance)2.(3)rise，ascent，ascension，ascending--(the act of changing location in an upward direction)3.(1)ascent，acclivity，rise，raise，climb，upgrade--(an upward slope or grade(as in aroad)；″the car couldn′t make it up the rise″)4.(1)rise，rising，ascent，ascension--(a movement upward；″they cheered the rise of the hot-air balloon″)5.(1)raise，rise，wage hike，hike，wage increase，salary increase--(the amount a salary isincreased；″he got a 3％raise″；″he got a wage hike″)6.(1)upgrade，rise，rising slope--(the property possessed by a slope or surface that rises)7.lift，rise--(a wave that lifts the surface of the water or ground)8.emanation，rise，procession--((theology)the origination ofthe Holy Spirit at Pentecost；…)9.rise，boost，hike，cost increase--(an increase in cost；″they asked for a 10％rise in rates″)10.advance，rise--(increase in price or value；″the news caused a general advance on the stock market″)動(dòng)詞rise有17個(gè)意思(前16個(gè)來自賦加了標(biāo)記的文本)1.(30)rise，lift，arise，move up，go up，come up，uprise--(move upward；″The fog lifted″；″The smoke arose from the forest fire″；″The mist uprose from the meadows″)2.(23)rise，go up，climb--(increase in value or to a higher point；″prices climbed steeply″；…)3.(20)arise，rise，uprise，get up，stand up--(rise to one′s feet；″The audience got up and applaude d″)4.(8)rise，lift，rear--(rise up；″The building rose before them″)……名詞cost有3個(gè)意思(前3個(gè)來自賦加了標(biāo)記的文本)1.(379)cost--(the total spent for goods or services including money and time and labor)2.(53)monetary value，price，cost--(the property of having material worth(often indicated by theamount of money something would bring if sold)；″the fluctuating monetary value of gold and silver″；″he putsa high price on his services″；″he couldn′t calculate the cost ofthe collection″)3.(17)price，cost，toll--(value measured by what must be given or done or undergone to obtainsomething；″the cost in human life was enormous″；″the price of success is hard work″；″what price glory？″)按上述的處理步驟將選擇名詞rise的第9個(gè)意思、動(dòng)詞rise的第2個(gè)意思以及名詞cost的第2、3個(gè)意思。這是因?yàn)樗鼈兌及ㄔ~value、cost或是因?yàn)榕cvalue和cost的概念相關(guān)。因此包括(rise，rising，rose，risen)的QS現(xiàn)在將包括(rise，boost，hike，cost increase，rising，rose，risen，go up，wentup，gone up，going up，goes up，climb，climbed，climbing，climbs)，而包括(cost)的QS現(xiàn)在將包括(cost，price，monetary value，toll).
如果沒有找到關(guān)鍵字/詞甲的互增強(qiáng)或交叉確認(rèn)，那么可以把關(guān)鍵字/詞甲的第一到第三個(gè)詞義的同義集或所有詞義的同義集添加到關(guān)鍵字/詞甲的QS中。再一個(gè)實(shí)現(xiàn)中，把多少個(gè)詞義的同義集添加到QS中取決于詞義的使用頻率或詞義在賦加了標(biāo)記的文本中的使用來決定，使用頻率很低的詞將會(huì)被刪除。詞義在賦加了標(biāo)記的文本中的使用由WordNet或類似的電子詞典提供，在上面的例子里顯示在詞義序號(hào)后的括號(hào)()中。把上述方法用于中文將產(chǎn)生(上漲)的QS為(上漲、上升、上爬、高漲、漲、上增、猛漲、攀高、……)，(價(jià))的QS為(價(jià)、價(jià)格、費(fèi)用、單價(jià)、要價(jià)、批發(fā)價(jià)、零售價(jià)、……)4.對(duì)所有的關(guān)鍵字/詞重復(fù)以上操作。
5.將每個(gè)關(guān)鍵字/詞的所有被選中意思的母類詞和子類詞的同義詞集合加入到那個(gè)關(guān)鍵字/詞的QS中。在選母類詞的同義詞集合時(shí)，可以在母類詞層次結(jié)構(gòu)中向上走一層或兩層。在一種實(shí)現(xiàn)中，在母類詞層次結(jié)構(gòu)中向上走一層詞同義詞集合將被加入到一個(gè)關(guān)鍵字/詞的QS中，而對(duì)于母類詞層次結(jié)構(gòu)中向上走的第二層，只有當(dāng)?shù)诙拥哪割愒~和選中的第一層的母類詞同義詞集或描述、或和關(guān)鍵字/詞本身選中的同義詞集或描述有很大重合時(shí)才會(huì)被加入到一個(gè)關(guān)鍵字/詞的QS中。這里所謂的很大一部分可以理解為超過50％或是多于兩個(gè)字/詞。我們將以關(guān)鍵字/詞(rise)為例來說明這個(gè)步驟。(rise)的第2個(gè)意思和母類詞在WordNet中是這樣的Sense 2rise，go up，climb--(increase in value or to a higher point；″prices climbed steeply″；″thevalue of our house rose sharply last year″)＝＞grow-(become larger，greater，or bigger；expand or gain；″The problem grew too large″；…)＝＞increase-(become bigger or greater in amount；″The amount of work increased″)＝＞change magnitude--(change in size or magnitude)向上第一層母類詞是(grow)，第二層母類詞是(increase)。第一層和第二層母類詞的描述都包含(become，bigger，greater)，所以來自這兩層的同義詞集合都將被加入到關(guān)鍵字/詞(rising)的QS中去。為簡(jiǎn)化操作，可以只選擇第一層母類詞，即在本例中只是加入(grow)。在中文，用(油)做例子，(油)的母類詞向上一層是(燃料)，向上涼層是(能源)。能源和燃料的描述有很大相同，所以這兩層母類詞都可以加入(油)的QS中。
一種方法可向下一層尋求子類詞。對(duì)于母類詞和子類詞，只有與已經(jīng)包含在QS中的關(guān)鍵字/詞的同義詞不同或不包含在QS中同義詞集合中的字/詞或詞串時(shí)才會(huì)被加入到QS中。以關(guān)鍵根詞(oil)的第一個(gè)意思為例，它有子類詞(fuel oil，lubricating oil，crude oil，crude，petroleum等等.)。因?yàn)?fueloil，lubricating oil，crude oil)已經(jīng)包含關(guān)鍵字/詞(oil)，而包含(fuel oil，lubricating oil，crude oil)的文件會(huì)在查詢關(guān)鍵字/詞(oil)時(shí)被檢索到，所以只有子類詞集中(crude，petroleum)才會(huì)從被加入到它的QS中。相對(duì)而言，包含(crude，petroleum)的文件將不會(huì)在對(duì)關(guān)鍵字/詞(oil)的搜索中被檢索到。因此(crude，petroleum)將被加入到關(guān)鍵字/詞(oil)的QS中。同樣的，在中文里，(油)的子類詞可包括(石油、原油、汽油、柴油、潤(rùn)滑油、煤油)。因這些詞都含(油)字，他們就不必被加入QS中。
如果是因?yàn)殛P(guān)鍵字/詞乙的第二個(gè)意思的MR(互增強(qiáng))而選中了關(guān)鍵字/詞甲的第一個(gè)意思，同時(shí)關(guān)鍵字/詞甲的第三個(gè)意思的子類詞集與第一個(gè)意思的同義詞集合或子類詞有交集，那么第三個(gè)意思的同義詞集和與第一個(gè)意思有交集的第三個(gè)意思的子類詞的同義詞集也將被加入到關(guān)鍵字/詞甲的QS中。
在一個(gè)實(shí)現(xiàn)中，只是對(duì)名詞性和動(dòng)性的詞義進(jìn)行母類詞和子類詞的概念擴(kuò)展。同樣，這種概念擴(kuò)展也可以應(yīng)用在形容詞性和副詞性的詞義上。
完成上述后，搜索關(guān)鍵字/詞串生成模塊206將使用所有關(guān)鍵字/詞的QS生成供搜索使用的關(guān)鍵字/詞串。搜索關(guān)鍵字/詞串生成模塊206對(duì)從每個(gè)關(guān)鍵字/詞擴(kuò)展而來的詞使用或(OR)關(guān)系，并且對(duì)用戶輸入的關(guān)鍵字/詞使用不同的與關(guān)系組合。在(上漲的油價(jià)rising cost of oil)的例子中搜索關(guān)鍵字/詞串生成模塊206可以生成以下的搜索。
中文(上漲OR上升OR上爬OR高漲OR漲OR上增OR猛漲OR攀高…)AND(價(jià)OR價(jià)格OR費(fèi)用OR單價(jià)OR要價(jià)OR批發(fā)價(jià)OR零售價(jià)、……)AND(油OR燃料OR能源……)，英文(riseOR boost OR hike OR“cost increase”O(jiān)R“go up”O(jiān)R climb OR grow OR increase)AND(cost OR price ORvalue OR toll)AND(oil OR crude OR petroleum)請(qǐng)注意每個(gè)詞的不同形式，例如rise，rising，rose等等，并不包含在上面的例子中。一種實(shí)現(xiàn)也可以包含它們。處理根詞不同變化形態(tài)的匹配可以在搜索算法階段或在查詢生成算法階段的得到處理。這個(gè)發(fā)明的實(shí)現(xiàn)可以構(gòu)建地和任意解決方案接口。
對(duì)于用戶使用NLI100輸入的查詢描述或關(guān)鍵字/詞，如果一個(gè)實(shí)現(xiàn)不能確定用戶對(duì)于抽取或生成出的關(guān)鍵字/詞之間是想使用與關(guān)系還是或關(guān)系時(shí)，QG200將使用多種與或組合來進(jìn)行搜索，而搜索結(jié)果排序依賴于以與關(guān)系組合在一起的關(guān)鍵字/詞個(gè)數(shù)。包含以與關(guān)系組合在一起的所有關(guān)鍵字/詞的搜索結(jié)果排在最前面。例如，QG200可以為關(guān)鍵字/詞組合產(chǎn)生更多的搜索(上漲OR上升OR上爬OR高漲OR漲OR上增OR猛漲OR攀高…)AND(價(jià)OR價(jià)格OR費(fèi)用OR單價(jià)OR要價(jià)OR批發(fā)價(jià)OR零售價(jià)、……)，(rise OR boost OR…)AND(cost OR price OR value OR toll)，(價(jià)OR價(jià)格OR費(fèi)用OR單價(jià)OR要價(jià)OR批發(fā)價(jià)OR零售價(jià)、…)AND(油OR燃料OR能源……)，(cost OR price OR value OR toll)AND(oil OR crude OR petroleum)。但是搜索(上漲OR上升OR上爬OR高漲OR漲OR上增OR猛漲OR攀高…)AND(價(jià)OR價(jià)格OR費(fèi)用OR單價(jià)OR要價(jià)OR批發(fā)價(jià)OR零售價(jià)、……)AND(油OR燃料OR能源……)，或(rise OR boost OR hike OR“cost increase”O(jiān)R“go up”O(jiān)R climb OR grow ORincrease)AND(cost OR price OR value OR toll)AND(oil OR crude OR petroleum)的結(jié)果將會(huì)被排在最前面。
自然語言理解模塊202可以使用句子部分、詞性、詞類和角色分析算法去分析一個(gè)關(guān)鍵字/詞是否是一個(gè)名詞、動(dòng)詞或形容詞等等。這可以用來限制在關(guān)鍵字/詞到概念擴(kuò)展時(shí)關(guān)鍵字/詞的哪些詞義將被選擇。在作決策時(shí)可以使用一些簡(jiǎn)單的規(guī)則。例如，在(rising cost of oil)中，如果跟隨在of后的詞是在標(biāo)點(diǎn)符號(hào)前的唯一詞或是關(guān)鍵字/詞串的末尾，那么自然語言理解模塊202可以使用“of xxx”模式來確定xxx是一個(gè)名詞。因此在這個(gè)例子中oil被確定為名詞。自然語言理解模塊也可以使用“ofa/an/the xxx yyy”或“of xxx yyy”模式來確定xxx是一個(gè)形容詞而yyy是一個(gè)名詞，自然它們必須要有相應(yīng)的詞義。自然語言理解模塊可以使用諸如辨別在一個(gè)句子中的詞的詞類的簡(jiǎn)單語言和語法規(guī)則來獲得很高的正確可能性。這樣作達(dá)到了減少處理的目的，而且100％的正確率在這個(gè)應(yīng)用中也是沒有必要的。
如果不能確定關(guān)鍵字/詞是名詞、動(dòng)詞還是形容詞等等，那么將關(guān)鍵字/詞擴(kuò)展成概念的模塊208將使用關(guān)鍵字/詞的名詞和動(dòng)詞詞性或是這個(gè)關(guān)鍵字/詞的所有詞性包括形容詞和副詞。
1.2.2使用搜索結(jié)果的概念擴(kuò)展通常來說搜索返回的頁和文件都會(huì)包含搜索關(guān)鍵字/詞的定義、概念擴(kuò)展、意義和描述。因此這個(gè)發(fā)明的另一個(gè)實(shí)現(xiàn)將會(huì)解決關(guān)鍵字/詞含糊問題。這個(gè)發(fā)明還會(huì)使用與搜索關(guān)鍵字/詞匹配的搜索結(jié)果文檔的上下文和同時(shí)出現(xiàn)的詞來將關(guān)鍵字/詞擴(kuò)展為概念等同的詞的集合。
舉個(gè)例子來說，一個(gè)用戶NLI 100或KUI 300輸入關(guān)鍵字/詞(QoS)或(WLAN)進(jìn)行查詢。如果210知識(shí)庫包含相關(guān)的領(lǐng)域知識(shí)，它們就可以被擴(kuò)展為包括(QoS，服務(wù)質(zhì)量，“quality of service”)，(WLAN，“無線局域網(wǎng)”，“wireless LAN”，“wireless local areanetwork”，802.11，802.11a，802.11b，802.11g，WEP，WPA，…)的查詢序列。查詢可以通過應(yīng)用概念擴(kuò)展后的關(guān)鍵字/詞進(jìn)行。然而，如果210知識(shí)庫不包含相關(guān)的領(lǐng)域知識(shí)，檢索只能根據(jù)用戶輸入的關(guān)鍵字/詞(QoS)或(WLAN)進(jìn)行檢索。這樣的檢索結(jié)果中很可能包含包括縮寫詞的定義，本發(fā)明就可以使用自然語言處理算法較易的識(shí)別和抽取這種信息，比如可以通過搜索如下的句子模式QoS＝服務(wù)質(zhì)量... QoS(服務(wù)質(zhì)量)...
xxx稱為(or叫做、縮寫為、等)yyy... 服務(wù)質(zhì)量(QoS)...
無線局域網(wǎng)＝WLAN... WLAN的意思是無線局域網(wǎng)...
......
QoS＝Quality of Service...QoS(Quality of Service)...
Quality of Service(QoS)...wireless local area network＝WLAN...
xxx is referred to as(or called，abbreviated as，etc)yyy...
WLAN means wireless LAN.........
同樣，在檢索關(guān)鍵字/詞WLAN得到的結(jié)果中，無線局域網(wǎng)，802.11，802.11a，802.11b，802.11g，WEP，WPA，無線路由器，wireless router，寬帶，broadband，寬帶，家庭網(wǎng)絡(luò)，home networking等詞也會(huì)以很高的頻率出現(xiàn)。這樣，本發(fā)明可以通過將輸入詞的查詢結(jié)果作為知識(shí)背景來擴(kuò)展用戶查詢，通過這種方式查詢的結(jié)果比通過一個(gè)實(shí)體維護(hù)的知識(shí)庫的方式更準(zhǔn)確，因?yàn)榛ヂ?lián)網(wǎng)是動(dòng)態(tài)分布式的，它的信息在快速地更新。在上面的例子中，通過應(yīng)用用戶的查詢結(jié)果，輸入關(guān)鍵字/詞(QoS)和(WLAN)的查詢被擴(kuò)展成為相當(dāng)于輸入(QoS，服務(wù)質(zhì)量，“quality of service”)，(WLAN，無線局域網(wǎng)，“wirelessLAN”，“wireless local area network”，802.11，802.11a，802.11b，802.11g，WEP，WPA，無線路由器，wireless router，寬帶，broadband，寬帶，家庭網(wǎng)絡(luò)，home networking，...)的查詢。
在一個(gè)具體的實(shí)現(xiàn)中，本發(fā)明應(yīng)用202自然語言處理實(shí)現(xiàn)，204輸入序列抽取實(shí)現(xiàn)和206查詢?cè)~產(chǎn)生實(shí)現(xiàn)來分析查詢結(jié)果，找到定義、等價(jià)概念、縮寫和查詢?cè)~相關(guān)概念等。應(yīng)用的方法有句式分析、上下文分析，并發(fā)性分析和聯(lián)想分析等。QG 200擴(kuò)展那些有MR或可以應(yīng)用202自然語言實(shí)現(xiàn)，210知識(shí)基礎(chǔ)庫和域本體來理解的查詢?cè)~。獲得查詢結(jié)果后，應(yīng)用自然語言理解算法在查詢結(jié)果返回的部分文檔中抽取諸如高頻詞以及與關(guān)鍵字/詞高度相關(guān)的詞等來擴(kuò)展查詢。在另一個(gè)具體的實(shí)現(xiàn)中，QG200應(yīng)用除關(guān)鍵字/詞之外的用戶輸入或抽出的關(guān)鍵字/詞來進(jìn)行概念擴(kuò)展并進(jìn)行一次獨(dú)立的搜索，在搜索結(jié)果返回部分文檔的基礎(chǔ)上應(yīng)用自然語言理解算法來抽取和查詢?cè)~同時(shí)出現(xiàn)的詞語用來擴(kuò)展查詢。
關(guān)于這些具體實(shí)現(xiàn)的另一些例子如下
用戶輸入(軟件定義無線接發(fā)器Software Defined Radio)，通過使用查詢結(jié)果上的分析，查詢被擴(kuò)展成為(SDR，軟無線，自知無線接發(fā)器cognitive radio)。
用戶輸入(PSA)，通過使用查詢結(jié)果上的分析，查詢被擴(kuò)展成包括如下關(guān)鍵字/詞的一組查詢(前列腺特定抗體，Prostate-Specific Antigen，前列腺癌，prostate cancer，自由PSA，free PSA，fPSA，復(fù)PSA，complex PSA cPSA，pro PSA pPSA，切片化驗(yàn)，biopsy)。
用戶輸入(無線網(wǎng)絡(luò)wireless networks)，通過使用查詢結(jié)果上的分析，查詢被擴(kuò)展為包括如下關(guān)鍵字/詞的一組查詢(WLAN，無線局域網(wǎng)，wireless local area network，802.11，GSM，3G，蜂窩網(wǎng)，cellular networks，......)。
此類查詢擴(kuò)展方法也可應(yīng)用于本發(fā)明的概念跟蹤的實(shí)現(xiàn)，這將在以后的章節(jié)討論。
本發(fā)明的查詢生成和概念擴(kuò)展的實(shí)現(xiàn)提供了一種使用用戶提供的對(duì)搜索的描述產(chǎn)生搜索查詢的新方法，該方法包括從用戶提供的對(duì)搜索的描述里提取一或多個(gè)字、詞、短語或句子作為甲集；把甲集擴(kuò)展到一個(gè)含有一或多個(gè)和甲集中一或多個(gè)字、詞、短語或句子概念上相關(guān)的字、詞、短語或句子的集合，稱這個(gè)集合為乙集；把乙集作為一個(gè)搜索的描述交給一個(gè)搜索程序甲(稱為搜索程序甲)去搜索含有乙集中部分或全部的字、詞、短語或句子的文件。
上述方法可進(jìn)一步包括下列一項(xiàng)或多項(xiàng)把甲集擴(kuò)展到乙集時(shí)使用了一或多個(gè)知識(shí)庫；首先用甲集的一或多個(gè)字、詞、短語或句子作為一個(gè)搜索的描述進(jìn)行搜索，把甲集擴(kuò)展到乙集時(shí)使用到此搜索的結(jié)果；當(dāng)甲集含有兩個(gè)或更多個(gè)字、詞、短語或句子時(shí)，乙集包括甲集、甲集中有其它甲集的字、詞、短語或句子的含義支持的字、詞、短語或句子的一個(gè)或多個(gè)含義的同義詞；搜索程序甲在一個(gè)網(wǎng)絡(luò)中搜索信息；搜索程序甲在用戶的個(gè)人計(jì)算計(jì)里搜索信息。
2.用戶概念選擇、特征過濾和概念路徑圖2.1搜索引擎或本地機(jī)的概念過濾和圖示概念過濾和圖示的用戶界面如圖4所示，在本發(fā)明的這一實(shí)現(xiàn)中，概念抽取、過濾和圖示(在后面詳細(xì)討論)通過一個(gè)搜索引擎實(shí)現(xiàn)。
如圖1、圖3所示，用戶訪問一個(gè)預(yù)定的搜索引擎的網(wǎng)址時(shí)，搜索結(jié)果被顯示在如圖4所示的瀏覽器窗口中。在面板400中，如果用戶點(diǎn)擊了“啟動(dòng)硬盤搜索”選項(xiàng)時(shí)，網(wǎng)上搜索得到的結(jié)果被顯示在中間的面板408上，同時(shí)用戶本地計(jì)算機(jī)的搜索結(jié)果被顯示在右側(cè)面板410上。在本發(fā)明中，硬盤用戶本地機(jī)硬盤或用戶機(jī)所在局域網(wǎng)上的硬盤。用戶PC機(jī)或局域網(wǎng)上的計(jì)算機(jī)都稱為本地機(jī)或本地計(jì)算機(jī)。
在具體的實(shí)現(xiàn)中，為了明顯的區(qū)分按鈕的選擇狀態(tài)和非選擇狀態(tài)，如“啟動(dòng)硬盤搜索”按鈕，當(dāng)按鈕被點(diǎn)擊或選中時(shí)，它變?yōu)楦吡炼蕊@示，或變化它的顏色或亮度。另外，用戶可以通過鼠標(biāo)托拽的方式調(diào)整面板408、409和410的寬度。
搜索結(jié)果的網(wǎng)頁或文件中包含的前N個(gè)最重要的概念被顯示在左側(cè)的412面板上，N是一個(gè)正整數(shù)，它允許用戶設(shè)定或采用系統(tǒng)默認(rèn)值。N可以通過選擇按鈕405設(shè)定，也可以通過輸入框406設(shè)定，N會(huì)被自動(dòng)限制小于抽取出的概念總數(shù)。注在一個(gè)實(shí)現(xiàn)中，從結(jié)果中抽取出來的概念可能和用戶輸入的關(guān)鍵字/詞相同。
左側(cè)的面板包括以下幾個(gè)部分第一部分412顯示查詢結(jié)果中取出來的最重要的N個(gè)概念。在一個(gè)具體的實(shí)現(xiàn)中，重要概念列表默認(rèn)顯示并且允許用戶通過在重要概念列表上進(jìn)行概念的選擇和排除操作來過濾結(jié)果。另外的部分416允許用戶通過其它特性如文件類型、更新時(shí)間和域名等來過濾搜索結(jié)果。
在412部分，緊靠著每一個(gè)概念，是一個(gè)“選中”選擇按鈕420和“排除”選擇按鈕421來供用戶選擇利排除概念。當(dāng)用戶使用一個(gè)或一組“選中”或“排除”按鈕選擇時(shí)，這個(gè)搜索引擎過濾網(wǎng)上返回的結(jié)果，將只包含用戶輸入關(guān)鍵字/詞或NLDS，同時(shí)包含用戶選擇概念并且不包含用戶選擇排除概念的結(jié)果顯示在中間面板408上。裝入用戶機(jī)的本地搜索程序過濾本地搜索結(jié)果，將只包含用戶輸入或本機(jī)搜索引擎抽出的關(guān)鍵字/詞，同時(shí)包含用戶選擇概念并且不包含用戶選擇排除概念的結(jié)果顯示在右側(cè)面板410上。在一個(gè)具體的實(shí)現(xiàn)中，如果有個(gè)網(wǎng)頁或文件包含的概念被選中的越多，在410或408面板上它的排序位置越高。
在一個(gè)具體的實(shí)現(xiàn)中，一旦一個(gè)概念(不同于用戶原始輸入關(guān)鍵字/詞)被選擇或排除，搜索結(jié)果將立即根據(jù)這個(gè)選擇的變化進(jìn)行過濾。在這個(gè)實(shí)現(xiàn)中，用戶的原始輸入檢索詞被放在了重要概念列表的第一位，這個(gè)概念會(huì)被自動(dòng)設(shè)為選中狀態(tài)。用戶可以取消選中，當(dāng)用戶取消選中或排除這個(gè)概念，并且選擇概念列表中的其它概念時(shí)，搜索引擎和本地搜索程序認(rèn)為這是用戶通過選擇概念、排除概念(如果用戶選擇了排除概念)的設(shè)置進(jìn)行的新搜索。這樣，搜索引擎和本地硬盤搜索程序就會(huì)進(jìn)行一次新的搜索。在另外一個(gè)實(shí)現(xiàn)中，一個(gè)新搜索是這樣定義的用戶取消選擇或選擇排除原始輸入關(guān)鍵字/詞，在412部分選擇其它概念，并且/或在選擇框426種輸入新的概念，點(diǎn)擊選擇按鈕427。以上實(shí)現(xiàn)幫助用戶根據(jù)他對(duì)返回結(jié)果的理解調(diào)整自己的搜索。他可以對(duì)原始輸入關(guān)鍵字/詞串取消選定或排除，選擇或排除412中的重要概念，也可以在426輸入框中鍵入新的關(guān)鍵字/詞來重構(gòu)自己的搜索。
左側(cè)面板底部的輸入框426被用來添加搜索關(guān)鍵字/詞。用戶可以選擇概念(這些概念可以包括也可以不包括原始輸入關(guān)鍵字/詞)，可以在426輸入框中輸入新的關(guān)鍵字/詞，這個(gè)關(guān)鍵字/詞可以被擴(kuò)展為概念，點(diǎn)擊搜索按鈕427應(yīng)用選擇和輸入的關(guān)鍵字/詞和概念來做另外一個(gè)搜索。如果用戶的原始輸入關(guān)鍵字/詞被選擇，這個(gè)搜索將是在原始搜索結(jié)果中的一個(gè)提煉。如果用戶的原始輸入關(guān)鍵字/詞沒有被選擇，這個(gè)搜索將是一個(gè)新搜索。
在另外一種具體實(shí)現(xiàn)中，原始輸入關(guān)鍵字/詞沒有被列在面板412或612的重要概念列表中。提供一個(gè)“在結(jié)果內(nèi)搜”和一個(gè)“新搜索”按鈕。當(dāng)用戶點(diǎn)擊“在結(jié)果內(nèi)搜”按鈕時(shí)，將按照原始輸入關(guān)鍵字/詞和新輸入的關(guān)鍵字/詞進(jìn)行檢索。當(dāng)用戶點(diǎn)擊“新搜索”按鈕時(shí)，按照用戶新輸入的關(guān)鍵字/詞進(jìn)行檢索。
在一種實(shí)現(xiàn)中，當(dāng)用戶使用最前面的N個(gè)概念進(jìn)行概念過濾后，根據(jù)匹配的搜索結(jié)果中的概念更新重要概念列表。在另外一個(gè)實(shí)現(xiàn)中，當(dāng)用戶使用概念進(jìn)行結(jié)果過濾時(shí)，重要概念列表并不改變而是維持原始的結(jié)果，這樣用戶可以繼續(xù)在原始結(jié)果上進(jìn)行概念過濾。還有一種實(shí)現(xiàn)方式是，用戶可以選擇使用上面的任何一種方式。
用戶界面的412、416、612和616中顯示的“統(tǒng)計(jì)”指的是和它同一行的重要概念或過濾特征的統(tǒng)計(jì)情況。在一種實(shí)現(xiàn)中，這些統(tǒng)計(jì)是包含某個(gè)重要概念/關(guān)鍵字/詞或符合這個(gè)過濾特征的網(wǎng)頁和文件的數(shù)目。在另外一種實(shí)現(xiàn)中，“統(tǒng)計(jì)”這一項(xiàng)包含更多的統(tǒng)計(jì)信息，如一個(gè)重要概念在搜索結(jié)果中出現(xiàn)的總次數(shù)等。
搜索引擎可以預(yù)先對(duì)網(wǎng)頁做概念抽取。在一種實(shí)現(xiàn)中，概念抽取是獨(dú)立于搜索的。這樣，在用戶構(gòu)建一個(gè)搜索前，一個(gè)搜索引擎的網(wǎng)頁和文件中的重要概念可以被抽取出來，一個(gè)概念-網(wǎng)頁/文件索引BsE可以在搜索引擎上建立。同樣的方式，為了支持關(guān)鍵字/詞檢索，可以建立關(guān)鍵字/詞-網(wǎng)頁/文件索引ASE。這種方式下，當(dāng)用戶應(yīng)用索引ASE和用戶輸入關(guān)鍵字/詞檢索到一個(gè)網(wǎng)頁或文件時(shí)，這個(gè)網(wǎng)頁或文件包含的重要概念可以通過索引BSE立即得到。類似的，一個(gè)網(wǎng)頁/文件-概念索引CSE也可以事先在搜索引擎上建立。在一種實(shí)現(xiàn)中，本發(fā)明針對(duì)某個(gè)搜索引擎的網(wǎng)頁和文件的概念抽取、過濾和圖示(在以后的章節(jié)詳細(xì)討論)可以事先被執(zhí)行。本地計(jì)算機(jī)或局域網(wǎng)上的概念抽取、過濾和圖示通過一個(gè)運(yùn)行在用戶計(jì)算機(jī)上的程序建立。這種實(shí)現(xiàn)的過程如下1.用戶通過使用搜索引擎接口100或300或類似于Yahoo和Google的常規(guī)的搜索引擎接口輸入NLDS或關(guān)鍵字/詞來初始化一個(gè)搜索一個(gè)控制程序探測(cè)到這個(gè)事件，將搜索請(qǐng)求和描述發(fā)送到本發(fā)明實(shí)現(xiàn)的一個(gè)搜索引擎實(shí)現(xiàn)上去，如果選擇了硬盤搜索，同時(shí)發(fā)送給硬盤搜索程序。
2.本發(fā)明實(shí)現(xiàn)的一個(gè)搜索引擎識(shí)別用戶搜索企圖并抽取出關(guān)鍵字/詞序列。將關(guān)鍵字/詞用于概念擴(kuò)展，并構(gòu)造關(guān)鍵字/詞串來進(jìn)行搜索。如果用戶使用的是類似于Yahoo和Google的常規(guī)的搜索引擎接口，用戶輸入的關(guān)鍵字/詞可以直接用來構(gòu)建搜索。
3.如果選擇了硬盤搜索，控制程序啟動(dòng)安裝在用戶機(jī)上面的硬盤檢索程序抽取出關(guān)鍵字/詞，進(jìn)行概念擴(kuò)展并生成用來搜索的關(guān)鍵字/詞串。如果用戶使用的是類似于Yahoo和Google的常規(guī)的搜索引擎接口，用戶輸入的關(guān)鍵字/詞可以直接用來構(gòu)建搜索。如果沒有選擇硬盤搜索，跳過這一步。
4.搜索引擎使用已建立的關(guān)鍵字/詞-網(wǎng)頁/文件索引(ASE)來搜索包含查詢關(guān)鍵字/詞的網(wǎng)頁和文件。然后使用已建立的網(wǎng)頁/文件-概念索引(CSE)獲得搜索結(jié)果中包含的重要概念。搜索引擎將網(wǎng)頁/文件以及概念排序，向運(yùn)行在用戶本機(jī)上的界面程序返回排序后的搜索結(jié)果列表和前N個(gè)概念。這個(gè)用戶界面程序在接口400中相應(yīng)的部分進(jìn)行搜索結(jié)果、概念和概念路徑圖的顯示。在一種實(shí)現(xiàn)中，搜索引擎應(yīng)用一個(gè)事先建好的網(wǎng)頁/文件-概念索引(CSE)進(jìn)行檢索并且在用戶選擇搜索結(jié)果的網(wǎng)頁或文件列表的時(shí)候顯示網(wǎng)頁或文件中的重要概念。
5.如果選擇了硬盤搜索，硬盤檢索程序在事先建好的關(guān)鍵字/詞-網(wǎng)頁/文件索引(APC)中查尋包含關(guān)鍵字/詞串的文件。硬盤檢索程序應(yīng)用事先建好的一個(gè)網(wǎng)頁/文件-概念索引(Cpc)檢索查詢結(jié)果中包含的重要概念。硬盤檢索程序然后對(duì)文件和概念進(jìn)行排序，向運(yùn)行在用戶本機(jī)的界面程序返回查詢結(jié)果的排序列表和前N個(gè)重要概念列表，用戶界面程序然后在接口400中相應(yīng)的部分進(jìn)行搜索結(jié)果、概念和概念路徑圖的顯示。如果沒有選擇硬盤搜索，跳過這一步。
6.在顯示概念列表的面板412上，當(dāng)用戶把鼠標(biāo)浮動(dòng)到概念上方或點(diǎn)擊概念的“選中”或“排除”按鈕時(shí)，或用戶選擇時(shí)間范圍、來源、文件類型等過濾屬性時(shí)，搜索引擎中的過濾程序根據(jù)用戶選擇條件過濾搜索結(jié)果并且將過濾結(jié)果顯示在中間面板408上。為了根據(jù)用戶在面板412中選擇的概念對(duì)搜索結(jié)果進(jìn)行過濾，搜索引擎使用了一個(gè)事先定義的概念-網(wǎng)頁/文件索引(BSE)檢索網(wǎng)頁和文件列表找到含有那些選中概念的結(jié)果的交集。搜索引擎同時(shí)應(yīng)用概念-網(wǎng)頁/文件索引(BSE)構(gòu)建網(wǎng)絡(luò)搜索結(jié)果的概念路徑圖。
7.如果選擇了硬盤檢索，一個(gè)本地過濾程序?qū)⑦^濾硬盤檢索結(jié)果。如果硬盤搜索結(jié)果和網(wǎng)絡(luò)搜索結(jié)果同時(shí)顯示在面板400中的瀏覽器窗口中，將滿足過濾條件的結(jié)果顯示在右側(cè)面板410上。如果選擇了“Hard Drive Search in New Window”，網(wǎng)絡(luò)搜索結(jié)果過濾和硬盤搜索結(jié)果過濾將分別執(zhí)行和分別進(jìn)行結(jié)果顯示。為了根據(jù)用戶在面板412選擇的概念進(jìn)行過濾操作，本地過濾程序應(yīng)用事先建立的概念-網(wǎng)頁/文件索引(BPC)檢索網(wǎng)頁和文件列表找到含有那些選中概念的結(jié)果的交集。搜索引擎同時(shí)應(yīng)用概念-網(wǎng)頁/文件索引(BPC)構(gòu)建硬盤搜索結(jié)果的概念路徑圖。
本發(fā)明的搜索引擎事先建立索引ASE，BSE，和CSE，也就是，索引在用戶使用搜索引擎進(jìn)行搜索時(shí)就立即可以被使用了。本發(fā)明會(huì)定期更新這些索引使它們能夠和網(wǎng)上的內(nèi)容及時(shí)匹配。本發(fā)明的硬盤檢索程序也會(huì)事先建立索引集APC，BPC，和CPC，它們的格式和前面提到的類似。在一個(gè)實(shí)現(xiàn)中，這些索引在硬盤程序第一次被安裝的時(shí)候建立，然后根據(jù)默認(rèn)的時(shí)間段更新。為了使索引能夠跟得上用戶本地計(jì)算機(jī)文件的更新，用戶可以設(shè)置這個(gè)默認(rèn)的時(shí)間段的大小。事先建立這些索引可以使本發(fā)明提供快速的查詢功能。
上面的實(shí)現(xiàn)需要一個(gè)網(wǎng)絡(luò)搜索引擎，用戶通過網(wǎng)絡(luò)訪問這個(gè)搜索引擎來進(jìn)行網(wǎng)絡(luò)搜索。在另外一個(gè)實(shí)現(xiàn)中，用戶可以自己選擇一個(gè)網(wǎng)絡(luò)搜索引擎使用，如Yahoo和Google，而本發(fā)明中的概念抽取、過濾和圖示在用戶本地機(jī)器上實(shí)現(xiàn)。一種辦法是使用網(wǎng)瀏覽器嵌入程序，如一個(gè)Microsoft互聯(lián)網(wǎng)Explorer嵌入程序，把本發(fā)明的概念抽取、過濾和圖示和搜索引擎結(jié)果綁定起來。圖5展示了一種常規(guī)的搜索引擎界面和一個(gè)含有工具條的網(wǎng)瀏覽器接口，可以用來嵌入本發(fā)明。用戶點(diǎn)擊“Enable DIGGOL”按鈕503，如圖5中高亮度顯示部分，來開啟本發(fā)明的功能。當(dāng)本發(fā)明的功能被開啟后，并且用戶在輸入框509中鍵入了搜索關(guān)鍵字/詞，點(diǎn)擊“Search”安鈕509，本發(fā)明的功能就被啟動(dòng)了。在一種實(shí)現(xiàn)中，一個(gè)新的瀏覽窗口600被開啟，如圖6中所示。如果“啟動(dòng)硬盤搜索”按鈕505被點(diǎn)擊，這個(gè)新瀏覽窗口將在右側(cè)包含一個(gè)面板623來顯示本地搜索結(jié)果，中間包含一個(gè)面板621顯示網(wǎng)絡(luò)搜索結(jié)果。在這個(gè)實(shí)現(xiàn)中，網(wǎng)絡(luò)搜索結(jié)果利本地搜索結(jié)果的概念抽取、過濾和圖示操作都通過本發(fā)明安裝在用戶機(jī)器上的一個(gè)程序運(yùn)行來實(shí)現(xiàn)。這個(gè)實(shí)現(xiàn)的運(yùn)轉(zhuǎn)過程如下1.用戶選擇使用一個(gè)習(xí)慣的搜索引擎，鍵入關(guān)鍵字/詞串，如一個(gè)類似于Yahoo或Google的搜索引擎，然后通過這個(gè)搜索引擎進(jìn)行檢索。一個(gè)運(yùn)行在用戶本機(jī)上面的控制程序探測(cè)到這個(gè)搜索事件，打開瀏覽窗口600，如果選擇了硬盤檢索，同時(shí)把搜索關(guān)鍵字/詞串發(fā)送給硬盤檢索程序。
2.用戶選擇的搜索引擎將搜索結(jié)果返回給用戶本地機(jī)器上的搜索引擎接口。用戶本機(jī)上的控制程序監(jiān)測(cè)到這個(gè)事件，并且初始化一個(gè)本地下載程序。下載程序下載搜索引擎返回的結(jié)果。它也從搜索引擎下載搜索結(jié)果中的網(wǎng)頁和文件，如應(yīng)用網(wǎng)絡(luò)服務(wù)協(xié)議，或在搜索引擎返回的查詢結(jié)果中抽取出所有的URL，然后根據(jù)它們各自的URL下載網(wǎng)頁或文件。在一個(gè)實(shí)現(xiàn)中，下載程序調(diào)用病毒掃描程序掃描下載的網(wǎng)頁或文件。在一個(gè)實(shí)現(xiàn)中，本地排序程序根據(jù)原始搜索引擎的排序和本地定義的一組排序規(guī)則對(duì)搜索結(jié)果進(jìn)行重新排序。
3.一個(gè)本地概念抽取程序在下載的網(wǎng)頁和文件中抽取出重要概念，建立一個(gè)概念-網(wǎng)頁/文件索引(BIP)，這個(gè)索引可以查詢包含某個(gè)概念的所有網(wǎng)頁或文件。在一個(gè)實(shí)現(xiàn)中，本地概念抽取程序同時(shí)建立一個(gè)網(wǎng)頁/文件-概念索引(CIP)，這樣當(dāng)用戶選擇搜索結(jié)果中的某個(gè)網(wǎng)頁或文件時(shí)，用戶界面程序可以通過索引CIP檢索并向用戶顯示這個(gè)網(wǎng)頁或文件中包含的重要概念。一個(gè)排序程序綜合應(yīng)用原始搜索引擎排序和相關(guān)度排序?qū)W(wǎng)頁和文件重新排序。這個(gè)本地排序程序同時(shí)對(duì)每個(gè)文檔中抽取出的重要概念進(jìn)行排序，然后對(duì)所有抽取出的概念進(jìn)行綜合排序來取得612部分要顯示的前N個(gè)重要概念。排序后的搜索結(jié)果和前N個(gè)概念被發(fā)送給運(yùn)行在用戶本地機(jī)器的用戶界面程序，這個(gè)程序?qū)⑺阉鹘Y(jié)果、概念和概念路徑圖填充在用戶界面600的面板中顯示給用戶。
4.如果選擇了硬盤搜索，硬盤檢索程序根據(jù)用戶輸入關(guān)鍵字/詞串，使用事先建立的關(guān)鍵字/詞-網(wǎng)頁/文件索引(APC)查找包含這個(gè)關(guān)鍵字/詞串的文件。硬盤檢索程序應(yīng)用一個(gè)事先建立的網(wǎng)頁/文件-概念索引(CPC)獲取搜索結(jié)果中包含的重要概念。硬盤檢索程序然后對(duì)文件和概念進(jìn)行排序，向運(yùn)行在用戶本地機(jī)器上的界面程序返回搜索結(jié)果的排序列表和前N個(gè)概念，用戶界面程序?qū)⑺阉鹘Y(jié)果、概念和概念路徑圖填充在用戶界面600的面板中顯示給用戶。如果沒有選擇硬盤檢索，跳過這一步。
5.在顯示概念列表的面板612上，當(dāng)用戶把鼠標(biāo)浮動(dòng)到概念上方或點(diǎn)擊概念的“選中”或“排除”按鈕時(shí)，或用戶在面板616中選擇時(shí)間范圍、來源、文件類型等過濾屬性時(shí)，一個(gè)本地過濾程序根據(jù)用戶選擇條件過濾搜索結(jié)果并且將過濾結(jié)果顯示在中間面板621上。為了根據(jù)用戶在面板612中選擇的概念對(duì)搜索結(jié)果進(jìn)行過濾，本地過濾程序使用了上面第3步建立的概念-網(wǎng)頁/文件索引(BIP)檢索網(wǎng)頁和文件列表找到含有那些選中概念的結(jié)果的交集。本地過濾程序同時(shí)應(yīng)用概念-網(wǎng)頁/文件索引(BIE)構(gòu)建網(wǎng)絡(luò)搜索結(jié)果的概念路徑圖。
6.如果選擇了硬盤檢索，一個(gè)本地過濾程序過濾硬盤檢索結(jié)果，如果硬盤搜索結(jié)果和網(wǎng)絡(luò)搜索結(jié)果同時(shí)顯示在面板600中的瀏覽器窗口中，將滿足過濾條件的結(jié)果顯示在右側(cè)面板623上。如果選擇了“Hard Drive Search in New Window”，網(wǎng)絡(luò)搜索結(jié)果過濾和硬盤搜索結(jié)果過濾將分別執(zhí)行和分別進(jìn)行結(jié)果顯示。為了根據(jù)用戶在面板612選擇的概念進(jìn)行過濾操作，本地過濾程序應(yīng)用事先建立的概念-網(wǎng)頁/文件索引(BPC)檢索網(wǎng)頁和文件列表找到含有那些選中概念的結(jié)果的交集。搜索引擎同時(shí)應(yīng)用概念-網(wǎng)頁/文件索引(BPC)構(gòu)建硬盤搜索結(jié)果的概念路徑圖。
在一個(gè)實(shí)現(xiàn)中，網(wǎng)頁和文件的下載數(shù)目M或可以下載的文件大小K(兆字節(jié)megabytes)可以默認(rèn)設(shè)置或被用戶設(shè)置。M和K是正整數(shù)，如M＝1,000，表示最初下載1000個(gè)網(wǎng)頁和文件?；騅＝100，表示下載的網(wǎng)頁和文件的大小不會(huì)超過100MB。當(dāng)?shù)谝慌螺d的網(wǎng)頁和文件集合抵達(dá)了M或K的限制后，下載程序暫時(shí)停止下載，并且保存一個(gè)first指針指向原始結(jié)果集中下一個(gè)要下載的網(wǎng)頁或文件。當(dāng)?shù)谝慌螺d集合完成了大部分下載以后，如下載了900個(gè)網(wǎng)頁和文件，或90MB，用戶仍然沒有停止原始搜索，關(guān)閉程序或開啟了一個(gè)新搜索，則控制程序再次激活下載程序繼續(xù)下載。下載程序?qū)⑼ㄟ^first指針從1001個(gè)網(wǎng)頁或文件，或從下載程序沒有到達(dá)100MB以前停止的下一個(gè)網(wǎng)頁或文件開始下載。
另一個(gè)實(shí)現(xiàn)是上面兩種實(shí)現(xiàn)的綜合，在搜索引擎上完成概念抽取和索引集ASE，BSE以及CSE的事先定義，但是概念過濾和概念路徑圖的生成在用戶本機(jī)上完成。為了做到這一點(diǎn)，搜索時(shí)，搜索引擎縮減索引BSE，在一些情況下縮減索引CSE，使它們只包含搜索結(jié)果的網(wǎng)頁和文件以及它們的概念。我們把這些索引分別稱為B’SE，利C’SE。一個(gè)本地下載程序下載索引集B’SE和C’SE到本地客戶機(jī)。然后，本地過濾程序和概念路徑圖生成程序可以應(yīng)用下載的索引集進(jìn)行概念過濾和生成概念路徑圖。下載事先建立好的索引集BSE和CSE節(jié)省了處理時(shí)間，這樣概念過濾結(jié)果和概念路徑圖可以很快顯示給用戶。
另一方面，通過下載索引集B’SE和C’SE在用戶本機(jī)上進(jìn)行搜索結(jié)果的概念過濾和概念路徑圖的生成應(yīng)用了數(shù)以百萬計(jì)的PC機(jī)的廣大運(yùn)算信息源。
另一個(gè)在本地計(jì)算機(jī)和搜索服務(wù)器之間的任務(wù)切分靈活性體現(xiàn)在從NLDS中抽取搜索關(guān)鍵字/詞串以及在100和300中將關(guān)鍵字/詞擴(kuò)展為概念。在一種實(shí)現(xiàn)中，它們?cè)谶B接到互聯(lián)網(wǎng)上的搜索引擎服務(wù)器上運(yùn)行；在另外一種實(shí)現(xiàn)中它們?cè)诒镜赜?jì)算機(jī)上運(yùn)行，該計(jì)算機(jī)生成概念化擴(kuò)展的查詢關(guān)鍵字/詞串和查詢合并，同時(shí)發(fā)送它們到互聯(lián)網(wǎng)上的搜索引擎服務(wù)器。搜索引擎直接使用提交的搜索詞來執(zhí)行搜索。從NLDS中抽取搜索關(guān)鍵字/詞串和擴(kuò)展關(guān)鍵字/詞的執(zhí)行將使用數(shù)以百萬計(jì)的PC上大量的可用計(jì)算資源。
在用戶點(diǎn)擊了“新窗口顯示硬盤搜索結(jié)果”的情況下，硬盤的搜索結(jié)果在一個(gè)新窗口中顯示，如圖7所示。搜索結(jié)果和概念化過濾結(jié)果的方法將在第3節(jié)中說明。
2.2CPM圖早前的搜索引擎僅僅是把搜索結(jié)果顯示成一個(gè)線性的列表。用戶需要拖動(dòng)卷軸，一頁一頁地翻看這個(gè)列表。聚類搜索引擎提供一個(gè)類別列表，如果一個(gè)類別有子類別的話，用戶需要點(diǎn)擊這個(gè)類別才能看到它有什么子類別。本發(fā)明向用戶提供一種簡(jiǎn)單的圖形可視性結(jié)果，該可視化結(jié)果顯示了搜索結(jié)果按照其包含的重要概念進(jìn)行的邏輯和/或統(tǒng)計(jì)分布。該可視化結(jié)果被稱為概念路徑圖(CPM)或簡(jiǎn)稱為概念圖。如果一個(gè)用戶通過點(diǎn)擊400中450或452，600中的650或652，700中的750以顯示概念圖，一個(gè)概念圖生成程序會(huì)基于412或612或712區(qū)中左邊面板顯示的概念各自生成一幅概念圖，同時(shí)用戶接口程序會(huì)在瀏覽器窗口400或600或700中分別顯示這些概念圖。具體實(shí)現(xiàn)中會(huì)向用戶提供兩種概念圖選項(xiàng)，用戶可以挑選其中一個(gè)顯示最流行概念圖(MPP)和最新鮮概念圖(MOP)，其定義在后面說明。對(duì)MPP來說更具邏輯性的名稱是最大交集路徑，而MOP的名稱為最小交集路徑。在一個(gè)實(shí)現(xiàn)中，上面提到的概念或重要概念可能是從結(jié)果中抽取出來的查詢?cè)~和短語。
下面我們用從100個(gè)查詢結(jié)果中抽取出的10個(gè)概念來圖示說明CPM。搜索結(jié)果可能是互聯(lián)網(wǎng)或本地計(jì)算機(jī)或本地網(wǎng)絡(luò)硬盤中的頁或文件。我們稱這10個(gè)概念為A，B，C，D，E，F(xiàn)，G，H，I，J。其中A是查詢關(guān)鍵字/詞字串。注意在程序中這些概念的任何一個(gè)都可能是一個(gè)查詢?cè)~或是查詢?cè)~的集合或是一個(gè)短語。例如，如果用戶查詢關(guān)鍵字/詞串(上漲的油價(jià)rising cost of oil)那么A＝(上漲的油價(jià)risingcost oil)，注意“of”“的”沒有被用作一個(gè)查詢?cè)~因?yàn)樗桥懦~列表里面的詞。而其它概念可能是B＝(OPEC)，C＝(伊拉克戰(zhàn)爭(zhēng)Iraq war)，…，I＝(俄國(guó)Russia)，J＝(優(yōu)科斯Yukos)。假設(shè)這100個(gè)文件中的概念統(tǒng)計(jì)為A＝100，B＝70，C＝55，D＝50，E＝41，F(xiàn)＝38，G＝30，I＝10，J＝2，這些數(shù)字表達(dá)有多少頁或文件包含這些概念。例如，B＝70意味著有70個(gè)頁或文件包含概念B(或上面例子中的OPEC)。
圖8(a)顯示的MPPCPM圖中，最流行概念或最大交集概念，即，被最多搜索結(jié)果包含的概念，最先被挑選出來，作為通向CPM圖鄰接節(jié)點(diǎn)的過渡路徑。過渡路徑上面的概念的功能就像是一個(gè)過濾器，只有包含了標(biāo)識(shí)出的概念的搜索結(jié)果才會(huì)流動(dòng)到下一個(gè)鄰接的節(jié)點(diǎn)。在一個(gè)具體實(shí)現(xiàn)中，從右上角向左下角依次顯示最流行概念到最不流行概念。在上面的例子中，在查詢?cè)~字串A之后的第一層中，B是最流行概念并且作為右上角第一個(gè)1層過渡路徑，稱作1層路徑B，它指向一個(gè)包含了70個(gè)概念的節(jié)點(diǎn)。第一層其它的過渡路徑包含有30個(gè)頁或文件，表示為nB(nB＝不包含B)路徑。假設(shè)除了A，概念E是nB中最流行的概念且E＝20。這樣E被用作一層路徑B下面的第二條1層過渡路徑，指向一個(gè)20個(gè)搜索結(jié)果的節(jié)點(diǎn)。在子集nBnE中有10個(gè)概念，假設(shè)概念G是除了A之外的最流行概念，且G＝6，這樣G是1層路徑E左下方的第三條1層過渡路徑，指向一個(gè)6個(gè)搜索結(jié)果的節(jié)點(diǎn)。在子集nBnEnG中有4個(gè)概念，假設(shè)兩個(gè)概念C和I是除了A之外的最流行概念，它們兩個(gè)有相同的概念數(shù)，且C＝2，I＝2。這樣C和I被作為一層路徑G左下方的第四條和第五條一層過渡概念路徑，分別指向2個(gè)搜索結(jié)果的節(jié)點(diǎn)。當(dāng)兩個(gè)過渡路徑有相同的流行度時(shí)，可以按照過渡路徑的概念的權(quán)值將權(quán)值高的排在右上方，同時(shí)也可以按照概念的字母順序排列。在MPP CPM的第二層中，相對(duì)B的子集有70個(gè)概念，假設(shè)概念C是除了A和B之外的最流行概念，C＝33。于是C被作為一層路徑B后面右上方的第一個(gè)2層過渡路徑，指向一個(gè)含有33個(gè)搜索結(jié)果的節(jié)點(diǎn)。在BnC相關(guān)子集中有37個(gè)結(jié)果，假設(shè)概念E是除了A和B之外的最流行概念，E＝16。那么E被用作B子集中2層路徑C下面的第2條二層過渡路徑，指向一個(gè)16個(gè)搜索結(jié)果的節(jié)點(diǎn)。在BnCnE的子集中有22個(gè)概念，假設(shè)概念F是除了A和B之外最流行的概念，F(xiàn)＝14。于是F被用作B子集中2層路徑E左面的第3條二層過渡路徑，指向一個(gè)14個(gè)搜索結(jié)果的節(jié)點(diǎn)。概念圖將繼續(xù)擴(kuò)展下去，直到一個(gè)節(jié)點(diǎn)內(nèi)所有網(wǎng)頁和文件所包含的被列出的概念都已經(jīng)在指向該節(jié)點(diǎn)的過渡路徑中被使用了，或在一個(gè)節(jié)點(diǎn)中只有一個(gè)搜索結(jié)果了。一個(gè)概念路徑就是一個(gè)過渡路徑的序列，搜索結(jié)果按照和過渡路徑相關(guān)的概念的排列順序的被過濾，例如圖8(a)中的概念路徑ABC、ABG、AECD。事實(shí)上，ABG是AB(nC)G，AECD是A(nB)ECD。注意概念在一條路徑里面的順序是十分重要的，因?yàn)樗阉鹘Y(jié)果將根據(jù)概念在路徑中的順序被過濾。
在圖8(b)中顯示的一個(gè)MOP CPM中，最新鮮概念或最小交集概念，即被最少搜索結(jié)果包含的概念，是CPM中第一個(gè)作為通向鄰接節(jié)點(diǎn)的過渡路徑被挑選出來的。事實(shí)上，一個(gè)概念被最少的搜索結(jié)果包含可能意味著它是一個(gè)非常新的，獨(dú)特的觀點(diǎn)、看法或發(fā)現(xiàn)等等。因此它可能非常新穎和有信息量。一個(gè)MOP CPM圖的目標(biāo)就是在大量的混亂的搜索結(jié)果中間挖掘出來這樣的網(wǎng)頁和文件，并且清晰明顯的顯示給用戶。在一個(gè)MOP CPM中，非常少的過渡途徑就可引出包含最不流行概念的網(wǎng)頁或文件，并且可以被顯示在顯著的位置。類似MPP，過渡路徑中的概念的功能就像是一個(gè)過濾器，只有包含了過渡路徑中標(biāo)示了的概念的搜索結(jié)果才能流到相鄰節(jié)點(diǎn)。在一個(gè)實(shí)現(xiàn)中，按照最稀有或最不流行到最普通或最流行的順序，概念從右上方向左下方排列。在上面的例子中，位于右上方的J是最不流行概念，被作為第一條1層過渡路徑，指向含有2個(gè)結(jié)果的節(jié)點(diǎn)。第一層剩余的過渡路徑表示為nJ路徑，包含了98個(gè)網(wǎng)頁和文件。假設(shè)概念I(lǐng)是nJ子集中最不流行的概念，I＝9。那么I被作為一層路徑J下面的第二條一層過渡路徑，指向一個(gè)含有9個(gè)搜索結(jié)果的節(jié)點(diǎn)。在子集nJnI中有89個(gè)概念，假設(shè)概念E是最不流行概念，E＝21。那么I被作為一層路徑I下面的第三條一層過渡路徑，指向一個(gè)含有21個(gè)搜索結(jié)果的節(jié)點(diǎn)。在子集nJnInE中有68個(gè)概念，假設(shè)概念G是最不流行概念，G＝29。那么G被作為第一層路徑E下面的第四條一層過渡路徑，指向一個(gè)含有29個(gè)搜索結(jié)果的節(jié)點(diǎn)。在子集nJnInEnG中有39個(gè)概念，假設(shè)概念C是最不流行概念，E＝39。那么C被作為一層路徑G下面的第五條一層過渡路徑，指向一個(gè)含有39個(gè)搜索結(jié)果的節(jié)點(diǎn)。在MOP CPM中的第二層中，假設(shè)概念I(lǐng)和概念G是最不流行概念，I＝1且G＝I。那么I和G被作為一層路徑J之后的右上方的第一條和第二條二層過渡路徑，各自指向一個(gè)包含1個(gè)搜索結(jié)果的節(jié)點(diǎn)。當(dāng)兩個(gè)過渡路徑都最不流行時(shí)，可以按照過渡路徑的概念的權(quán)值把權(quán)值高的排在右上方，同時(shí)也可以按照概念的字母順序排列。MOP CPM可以繼續(xù)擴(kuò)展下去，直到一個(gè)節(jié)點(diǎn)內(nèi)再?zèng)]有列出的概念，或一個(gè)節(jié)點(diǎn)內(nèi)只有一個(gè)概念。
一般來說，鑒于受到屏幕大小的限制，一個(gè)概念圖只能顯示第一層和第二層的過渡路徑和節(jié)點(diǎn)。其它過渡路徑和節(jié)點(diǎn)都被收攏起來。被收攏的部分用一個(gè)“+”符號(hào)它和剩余概念的列表。點(diǎn)擊這個(gè)“+”號(hào)會(huì)擴(kuò)展CPM圖一層或多層。剩余概念的列表可以是僅顯示概念第一個(gè)單詞的局部列表。當(dāng)鼠標(biāo)移動(dòng)到或點(diǎn)擊概念的顯示出來的部分時(shí)，一個(gè)懸浮窗口將出現(xiàn)并顯示完整的概念。用戶可以通過點(diǎn)擊“+”或“-”符號(hào)來展開或收攏CPM。
在一個(gè)實(shí)現(xiàn)中，CPM也可以否定方式顯示路徑和節(jié)點(diǎn)，例如，使用上面例子中的MPP，第一層的否定過渡路徑是“No B”，它意味著所有不包含B的搜索結(jié)果可以通過這個(gè)節(jié)點(diǎn)到相鄰節(jié)點(diǎn)去。在上面例子的MPP的第一層中的一個(gè)否定模式中，nB節(jié)點(diǎn)包含了所有不包含概念B的搜索結(jié)果。如上面圖8(c)中的MPP圖，圖中示意了否定路徑和否定節(jié)點(diǎn)的MPP圖。如圖8(a)和(b)中所示，每一個(gè)過渡路徑都由一個(gè)概念標(biāo)示。每一個(gè)指向第一個(gè)節(jié)點(diǎn)的過渡路徑都像是一個(gè)真空管。它將所有包含了指向上述第一個(gè)節(jié)點(diǎn)的過渡路徑中標(biāo)示出的概念的所有網(wǎng)頁和文件吸收進(jìn)上述的第一個(gè)節(jié)點(diǎn)。而剩余的網(wǎng)頁和文件則繼續(xù)向下流動(dòng)。圖8中CPM的各種變化和其它替代圖形表示也都可以被用作表示CPM。
當(dāng)用戶在搜索結(jié)果面板中選擇了“概念圖”，則同時(shí)412或612或712或912區(qū)中左邊面板中的一個(gè)或更多的概念就被選中。左邊面板中被選中的節(jié)點(diǎn)將變成高亮度顯示或不同顏色和形狀顯示。這樣可以使得用戶能通過點(diǎn)擊高亮或特殊顏色和形狀的節(jié)點(diǎn)，快速定位節(jié)點(diǎn)或聚類或網(wǎng)頁和文件。如圖9所示，在左邊面板912區(qū)中搜索詞(上漲油價(jià)Rising Cost Oil)和兩個(gè)概念(OPEC)(伊拉克戰(zhàn)爭(zhēng)Iraq war)被選中，則CPM中的939節(jié)點(diǎn)變成不同的形狀，因?yàn)樗腥勘贿x中的概念。注意圖9中硬盤搜索沒有啟用，所以沒有顯示硬盤搜索的結(jié)果。CPM中的一個(gè)節(jié)點(diǎn)變成了高亮度或不同的顏色和形狀，所以一個(gè)概念圖產(chǎn)生程序用BSE或BIP或BPC索引來將用戶選擇的概念和包含這些概念的網(wǎng)頁和文件對(duì)應(yīng)起來。對(duì)應(yīng)一個(gè)網(wǎng)頁可能是一個(gè)指向網(wǎng)頁的摘要或網(wǎng)頁的URL的指示器。對(duì)應(yīng)一個(gè)文件可能包含一個(gè)指向文件的摘要或文件的完整路徑的指示器。通過使用BSE or BIP，or BPC索引抽取出和各個(gè)選中概念相關(guān)的網(wǎng)頁和文件的集合，概念圖生成程序找出所有上述被選中概念相關(guān)集合的交集。然后使用上述的交集，它找到含有這個(gè)交集的CPM節(jié)點(diǎn)并且將其高亮度化。當(dāng)用戶點(diǎn)擊CPM中的一個(gè)節(jié)點(diǎn)的時(shí)候，所有屬于這個(gè)節(jié)點(diǎn)的網(wǎng)頁和文件的摘要和URL都在搜索結(jié)果面板中顯示。為了實(shí)現(xiàn)這一功能，概念圖生成程序生成一個(gè)索引或列表，該列表可以列出CPM中的各個(gè)節(jié)點(diǎn)中的概念。這一工作將由概念圖生成程序在構(gòu)建概念圖的同時(shí)完成。
無論MPP CPM還是MOP CPM都提供搜索結(jié)果的統(tǒng)計(jì)和邏輯的分布或組織的清晰可視的整體視圖。這個(gè)功能對(duì)之前的搜索引擎技術(shù)和界面都是難于完成的。一個(gè)用戶可以很快地看出通過沿著一條概念路徑進(jìn)行概念過濾的效果，或通過選擇左邊面板中的高亮節(jié)點(diǎn)中的概念進(jìn)行過濾的效果。一個(gè)MPP概念圖中的概念路徑是同一層中最流行概念的搜索結(jié)果的連續(xù)聚類。流行度可以看作是大眾認(rèn)為什么東西重要的一種投票。這樣，一個(gè)概念被大量的網(wǎng)頁提到說明這些網(wǎng)頁的作者認(rèn)為這個(gè)概念是重要的有價(jià)值的。在MPP CPM圖中，各層含有最流行概念的網(wǎng)頁和文件在顯著的位置向用戶顯示。在MPP CPM中就是同層中最新穎的概念的搜索結(jié)果的連續(xù)聚類。一個(gè)MOP CPM圖的目標(biāo)就是挖掘出沒有經(jīng)過廣泛認(rèn)同的新穎的處于發(fā)展初期的有潛在價(jià)值的觀點(diǎn)。
CPM中的過渡路徑可以是基于上面的MPP和MOP之外的其它關(guān)系。在一個(gè)實(shí)現(xiàn)中，過渡路徑是基于兩個(gè)節(jié)點(diǎn)，既兩個(gè)子集間的邏輯和語義關(guān)系。如果兩個(gè)節(jié)點(diǎn)中含有的網(wǎng)頁和文件子集所包含的內(nèi)容和有一個(gè)邏輯或語義關(guān)系的匹配，那么本發(fā)明就可以在兩個(gè)節(jié)點(diǎn)間建立一條過渡路徑，這條過渡途徑的含義就是這個(gè)邏輯或語義關(guān)系。在一個(gè)實(shí)現(xiàn)中，上述的邏輯和語義關(guān)系是前提或必要條件關(guān)系，如果概念A(yù)中的網(wǎng)頁和文件包含了概念B中一些內(nèi)容的前提或具備條件，那么AB間設(shè)置一條過渡路徑，該過渡路徑被稱為前提或具備條件過渡路徑。
本發(fā)明的CPM，MPP和MOP的實(shí)現(xiàn)提供了一種把文件組織成一個(gè)結(jié)構(gòu)或顯示此結(jié)構(gòu)的新方法，該方法包括
把兩個(gè)或更多個(gè)文件組織成在一個(gè)維度(稱為甲維度，如豎軸)上相連接的兩個(gè)或更多個(gè)集，其中一個(gè)集的成員是基于和文件相關(guān)的信息元或文件所含的信息元次定的，兩個(gè)集之間的連結(jié)意味著在這兩個(gè)集之間存在一個(gè)關(guān)系(稱為甲關(guān)系)；把兩個(gè)或更多個(gè)文件組織成在另一個(gè)維度(稱為乙維度，如水平軸)上相連接的兩個(gè)或更多個(gè)集，其中一個(gè)集的成員是基于和文件相關(guān)的信息元或文件所含的信息元決定的，兩個(gè)集之間的連結(jié)意味著在這兩個(gè)集之間存在一個(gè)關(guān)系(稱為乙關(guān)系)。
上述的方法還可進(jìn)一步包括下列一項(xiàng)或多項(xiàng)甲關(guān)系和乙關(guān)系之一或兩者是子集關(guān)系，意味著在一個(gè)連結(jié)一端的集是在連結(jié)另一端的集的子集；甲關(guān)系和乙關(guān)系之一或兩者是一個(gè)在一個(gè)連結(jié)兩端的集之間的一個(gè)邏輯或語義關(guān)系；在甲維度和乙維度之一或兩者上有三個(gè)或更多的集連結(jié)在一起，且甲關(guān)系和乙關(guān)系之一或兩者是可傳遞關(guān)系；將文件組織成的結(jié)構(gòu)以圖論圖或圖像的方式顯示。
2.3概念顯示，概念過濾和概念圖的索引結(jié)構(gòu)在前面描述了3種索引查詢?cè)~到網(wǎng)頁或文件的索引ASE和APC，概念到網(wǎng)頁或文件的索引BSE，BIP，和BPC，網(wǎng)頁或文件到概念的索引CSE，CIP，和CPC。在一個(gè)實(shí)現(xiàn)中，3個(gè)索引的格式為ASE和APC{[查詢?cè)~_1，(網(wǎng)頁_1，文件_2，....，網(wǎng)頁數(shù)量/文件)]，[查詢?cè)~_2，(文件_i，網(wǎng)頁_i，....，文件數(shù)量)]，....}BSE，BIP，和BPC{[概念_1，(文件_1，網(wǎng)頁_2，....，網(wǎng)頁的數(shù)量/文件)]，[概念_2，(文件_i，網(wǎng)頁_j，....，網(wǎng)頁的數(shù)量/文件)]，.....}CSE，CIP，和CPC{[網(wǎng)頁_1，(概念_1，概念_2，....，抽取出的重要概念的數(shù)量)]，[文件_i，(概念_j，概念k，....，抽取出的重要概念的數(shù)量)]，....}在上面，對(duì)于一個(gè)網(wǎng)頁搜索結(jié)果，網(wǎng)頁_i或文件_j可以包含網(wǎng)頁或文件標(biāo)題以及URL，還有對(duì)下載和保存在本地硬盤上的網(wǎng)頁或文件的版本的指示器。對(duì)于用戶本地電腦上的文件，文件_j可以包含文件的名字和路徑。
索引ASE、APC和BSE、BIP、BPC之間的不同在于，ASE和APC必須包含除了SWEEL之外的用戶搜索網(wǎng)頁和文件的所有關(guān)鍵字/詞，而BSE，BIP和BP僅僅包含概念，例如被認(rèn)為重要并作為重要詞抽取出來的詞，詞組，短語等。ASE和APC中的條目是一個(gè)單詞或一個(gè)常用的短語，而一個(gè)BSE，BIP和BP中的條目可以是從網(wǎng)頁或文件中抽取出的單詞串，甚至是一個(gè)簡(jiǎn)單的短語。
在搜索引擎中，為網(wǎng)頁搜索準(zhǔn)備ASE，BSE和CSE的功能模塊可以提前進(jìn)行。所有的3個(gè)索引都在搜索引擎中維護(hù)，如圖10所示。圖10中橢圓形框內(nèi)是用戶輸入和系統(tǒng)的輸出。圖10中方框是程序的操作。圖10種圓柱框內(nèi)是文件或數(shù)據(jù)庫。相同的模塊圖也可以應(yīng)用在本地硬盤的文件搜索中的APC，BPC和CPC上，其中所有3個(gè)索引也都在本地電腦構(gòu)建和維護(hù)。在另一個(gè)混合上面兩種實(shí)現(xiàn)的方法中，功能模塊圖類似上面圖10，除了它們的維護(hù)和使用地點(diǎn)可能變化，例如在搜索引擎服務(wù)器上或在用戶的PC上，或同時(shí)在兩者上都有。為了支持快速抽取和快速更新，本發(fā)明可用包括哈希表，倒排序，B+樹，grid文件，多路B-樹在內(nèi)的合適的數(shù)據(jù)結(jié)構(gòu)構(gòu)建索引。
2.4特征過濾在一個(gè)實(shí)現(xiàn)中，如416和616區(qū)中列出的類似文件類型，修改日期，來源等被提供給用戶以過濾搜索結(jié)果。一個(gè)特征過濾程序抽取特定的源，文件類型和日期范圍等等，同時(shí)統(tǒng)計(jì)這些搜索結(jié)果。在一個(gè)實(shí)現(xiàn)中，當(dāng)用戶在104或302中的搜索引擎界面中選擇超過一個(gè)搜索目標(biāo)時(shí)，區(qū)416和616同樣包括可以通過用戶選擇的(如400和600所示)搜索目標(biāo)將研究結(jié)果分類的一個(gè)域。當(dāng)用戶點(diǎn)擊416區(qū)中列出的搜索目標(biāo)時(shí)，只有匹配了被選中的搜索對(duì)象的搜索結(jié)果才會(huì)顯示在408的搜索結(jié)果面板中。416和616中的特征域可以由用戶通過點(diǎn)擊+或-符號(hào)來展開或收攏。一旦一個(gè)新的特征域被選中，之前選中的展開的域會(huì)收攏，同時(shí)新選中的特征域展開。這使得有限的空間內(nèi)可以安排多個(gè)區(qū)。
416和616的來源域中，已知的頂級(jí)域名擴(kuò)展名如，.gov，.edu，.tv，.info等，國(guó)家域名擴(kuò)展.cn，.us，.ca等，還有兩級(jí)域名.edu.cn，.gov.cn，.gov.uk，.ac.uk都被包含在內(nèi)。程序中的源聚類模塊將計(jì)算來自一個(gè)網(wǎng)站或域名的網(wǎng)頁和文件的數(shù)量，例如，cnn.com，ieee.org，irs.gov，ucla.edu等。在一個(gè)實(shí)現(xiàn)中，源聚類程序?qū)⑦x出前S個(gè)包含了最多的網(wǎng)頁和文件的網(wǎng)站或域名，其中S是由用戶指定的或系統(tǒng)默認(rèn)的一個(gè)正整數(shù)。這S個(gè)網(wǎng)站或域名將在來源區(qū)域416或616中列出。這使得用戶可以通過選擇或排除一個(gè)或多個(gè)網(wǎng)址或域名來過濾搜索結(jié)果。
為416，616或716中的各個(gè)過濾特性建立了特征到網(wǎng)頁/文件索引(FTFI)，這個(gè)索引類似概念到網(wǎng)頁/文件的索引BSE，BIP或BPC。FTFI的格式如下{[過濾特征_1，(文件_1，網(wǎng)頁_2，....，網(wǎng)頁/文件數(shù)目)]，[過濾特征_2，(文件_i，網(wǎng)頁_j，....，網(wǎng)頁/文件數(shù)目)]，.....}這樣的一個(gè)索引可以用在支持選擇或排除特性過濾中。當(dāng)一個(gè)過濾特征被選中，特征的FTFI可以被用作根據(jù)選中的特征過濾網(wǎng)頁和文件列表，并且過濾結(jié)果將被顯示或進(jìn)一步被其它特征及概念交集過濾。當(dāng)過濾特征被排除，特征的FTFI可被用于根據(jù)排除特性抽取網(wǎng)頁和文件列表，被抽取出來的網(wǎng)頁和文件將從搜索結(jié)果中刪除。另外概念到網(wǎng)頁/文件索引BsE，BIPor BPC也可擴(kuò)展包含其它特征。一種擴(kuò)展格式如下{[概念_1，(文件_1，網(wǎng)頁_2，....，網(wǎng)頁/文件數(shù)量)]，[概念_2，(文件_i，網(wǎng)頁_j，.....，網(wǎng)頁/文件數(shù)量)]，.....，[過濾特征_1，(文件_k，網(wǎng)頁_m，....，網(wǎng)頁/文件數(shù)量)]，[過濾特征_2，(文件_p，網(wǎng)頁q，....，網(wǎng)頁/文件數(shù)量)]，.....}網(wǎng)頁/文件到概念索引CSE，CIP和CPC可擴(kuò)展包含其它過濾特征。一種擴(kuò)展格式如下{[網(wǎng)頁_1，(概念_1，概念_2，過濾特征_1，過濾特征_2，....，抽取出的重要概念數(shù)量)]，[文件_i，(概念_j，概念_k，過濾特征_l，過濾特征_k....，抽取出的重要概念)]，....}3.在搜索結(jié)果或文件中抽取概念并排序3.1抽取重要概念在一個(gè)實(shí)現(xiàn)中，重要概念是能夠表示一個(gè)網(wǎng)頁或文件特征的名詞，短語和首字母縮寫詞。這將使得一個(gè)網(wǎng)頁或文件及大量的搜索結(jié)果壓縮成重要概念列表。
詳細(xì)的自然語言處理利理解將使概念抽取更加精確。然而，關(guān)鍵問題是如何快速地處理大量的網(wǎng)頁和文件。本程序的實(shí)現(xiàn)將抽取下面的詞組和短語作為重要概念(1)在文章的特別位置和特別段落，例如，標(biāo)題和章節(jié)標(biāo)題；(2)有特別的統(tǒng)計(jì)特性或特征，例如詞頻最高和最低的詞(不包括排除詞列表中的普通詞)，2或3個(gè)詞的短語，開頭大寫和全部大寫的詞，特別要給與大寫字母開頭或全部是大寫字母的兩個(gè)以上的連續(xù)單詞以重視，還有高亮度，黑體，斜體，下劃線或不同字體顏色修飾的單詞，(3)和查詢關(guān)鍵字/詞在同一句的單詞，和重要詞列表(IW/P)中的詞或詞根在同一句中的單詞，和IW/P列表在同一個(gè)句式集合里面的單詞。
每種語言都有一些特定的詞和句式用在強(qiáng)調(diào)句中。識(shí)別出這樣的詞和句式有助于識(shí)別出含有文章重要論點(diǎn)，結(jié)論，觀點(diǎn)，問題或總結(jié)的句子。這樣，從這些句子中可抽取出重要的概念。在一個(gè)實(shí)現(xiàn)中，以英語和中文為例，重要詞列表由3組詞組成。注意每個(gè)詞都可以擴(kuò)展成它的不同形態(tài)，例如名詞，動(dòng)詞，現(xiàn)在時(shí)，過去時(shí)和將來時(shí)態(tài)，形容詞，副詞。由于空間有限，下面僅給出每組的部分子集內(nèi)容。
IW/P列表第一組根據(jù)本組的字/詞或短語抽出的概念排序的優(yōu)先為中等。英文(better，more，worse，require，outcome，result，important，significant，interesting，true，depend，independent，surprising，oversight，overlook，mistake，investigate，research，study，explore，look into，concept，intriguing，worthwhile，worth，special，specialized，need to，consider，evaluate，improve，enhance，advance，necessary，sufficient，insufficient，standard，new，innovative，overcome，efficient，inefficient，backward，old，outstanding，new，alternative，all-er adjectives or adverbs，etc.)；中文(較好、更多、重要、依賴于、標(biāo)準(zhǔn)、充分、杰出的、特殊、調(diào)查、重大、研究、必要、探索、錯(cuò)誤、概念、忽視、考慮、創(chuàng)新、提高、改進(jìn)、真實(shí)、需要、等等)IW/P列表組2根據(jù)本組的字/詞或短語抽出的概念排序的優(yōu)先為高等。英文(best，most，worst，referred to as，is/are/was/were called，abbreviated as，critical，crucial，vital，purpose，objective，goal，key，main，major，overwhelming，striking，remarkable，extreme，exceeding，disaster，necessary and sufficient，iff，fundamental，all-est adjectives or adverbs，etc.)；中文(最好、最壞、最差、稱為、關(guān)鍵、目的、主要、必要和充分、等等)IW/P列表組3根據(jù)本組的字/詞或短語抽出的概念排序的優(yōu)先為最高等。英文(key idea，mainidea，major idea，main purpose，main objective，main goal，main problem，major problem，main difficulty，main obstacle，break through，breakthrough，major development，major innovation，invention，discover，groundbreaking，break new ground，new record，world record，record high，record low，unparallel，unprecedented，revolutionary，unexpected，never，etc.)中文(主要思想、主要目的、關(guān)鍵問題、主要困難、突破、重大發(fā)展、發(fā)明、開辟新領(lǐng)域、新紀(jì)錄、空前、革命性、決不、等等)排除詞列表(ICEEL)中的普通詞可從抽取出的重要概念中排除。注意ICEEL可以用作SWEEL。ICEEL的一部分內(nèi)容的例子顯示如下英文(單個(gè)字母或少于3位的數(shù)字；about after all am among ananother any anybody anything anytime are as at be been but by can could did do each everybody find first firstlyfive for four from had has have he her him his how if in into is it its just little made make many may more muchmy no not of on one only or other out over people said second secondly see seven shall she should so somesomebody something sometimes ten that the their them themselves then there these they thing third thirdly thisthose three to two up use very via was way we were what when where which who whom will with words wouldyou your，etc.)；中文(的、關(guān)于、以后、是、可以、其它、而且、然而、等等、所以、那里、這里、首先、有關(guān)、......)。
3.1.1使用IW/P列表抽取重要概念在一個(gè)實(shí)現(xiàn)中，使用IW/P列表抽取重要概念可以通過識(shí)別包含IW/P列表中一個(gè)或多個(gè)單詞的句子來實(shí)現(xiàn)。在跨任何標(biāo)點(diǎn)和定義從句(對(duì)于英文，即以that，those，who，whom，which開頭的子句)的部分都將切斷，刪除所有ICEEL中的單詞，然后將所有的剩余單詞作為概念。對(duì)于該實(shí)現(xiàn)的更細(xì)致的說明如下1.從包含至少一個(gè)IW/P中的單詞或短語的句子(不超過句號(hào)(。)或分號(hào)(；)或引號(hào)(“”或‘’)或冒號(hào)()，但可以跨逗號(hào)(，))中抽取出除了排除詞列表中的單詞之外的所有單詞。如果抽取出的單詞串長(zhǎng)度小于5那么停止，否則轉(zhuǎn)到第2步。
2.刪除上面句子中跨逗號(hào)的單詞。如果抽取出的單詞串長(zhǎng)度小于5，停止，否則，到第3步。
3.進(jìn)一步刪除上面句子中跨定語從句或形容詞性動(dòng)詞詞組的單詞。如果抽取出的單詞串長(zhǎng)度小于5，停止，否則，到第4步。
4.英文進(jìn)一步刪除上面句子中跨介詞(in，on，with，from等等，但不包括“of”和“to”)的單詞。如果抽取出的單詞串長(zhǎng)度小于5，停止，否則，到第5步。中文進(jìn)一步刪除上面句子中跨聯(lián)結(jié)詞、助詞的字/詞。
5.英文進(jìn)一步刪除上面句子中跨“of”和“to”的單詞。如果抽取出的單詞串中至少有一個(gè)IW/P列表之外的單詞，停止，否則，用第4步抽取出的單詞串。
保持抽取出的單詞串和其在原文中出現(xiàn)的順序完全一樣是很重要的。在另外一種實(shí)現(xiàn)中，句式和IW/P列表中的詞被聯(lián)合用來抽取包含了一個(gè)或多個(gè)IW/P中的單詞的句子中的最重要的單詞串。同樣不要跨越任何標(biāo)點(diǎn)和從句。這一要求在通過句式，IW/P或搜索詞辨識(shí)出的句子中，利用了很多已知的句式，例如“此研究的目的是......”，“the goal of this study is to.....”，“結(jié)論是......”，“the conclusion is....”，等等，并且利用詞性來分析識(shí)別主語，謂語，賓語，定語從句。利用詞類分析識(shí)別名詞，動(dòng)詞，不定式等。其它可以抽取出概念的句式還有“The(形容詞)目的是...”，“(名詞短語)提供了(名詞短語)”，“(名詞短語)產(chǎn)生了(名詞短語)”，“(名詞短語)使得名詞短語)”，以及主語或賓語是大寫字母開頭的短語的句子等等。
3.1.2重要概念分組重要概念可能出現(xiàn)在文本的不同部分，并且具有不同的特性和重要性。本發(fā)明的一個(gè)具體化實(shí)現(xiàn)就是將抽取出來的重要概念進(jìn)行了分組。每組具有自己的抽取和排序規(guī)則。將從組A到F抽出的概念作為候選重要概念。重要概念根據(jù)預(yù)先分配的百分比從六組中選出。從每組選出的重要概念都有不同的排序權(quán)值，A組具有最高的排序權(quán)值。
A.(40％)抽取詞在文章的標(biāo)題和副標(biāo)題中。一個(gè)具有五個(gè)或更少的詞組成的標(biāo)題將被作為一個(gè)獨(dú)立的概念抽出。例如，本部分的標(biāo)題“Grouping of Important Concepts”將被作為一個(gè)重要概念抽出。多于五個(gè)詞組成的標(biāo)題將根據(jù)介詞，連接詞以及標(biāo)點(diǎn)截?cái)?如in，for，with，by，at，on，and，or，逗號(hào)，分號(hào)等)成許多部分。例如，標(biāo)題“Indexing Structure for Concept Display，Conceptual Filtering and ConceptPath Maps”將被截為四部分(Indexing Structure)，(Concept Display)，(ConceptualFiltering)，(Concept PathMaps).ICEEL中的詞將從每個(gè)部分中移除。僅由一個(gè)詞組成的第一部分將試著與緊隨其后的部分組合，如果組合成的詞不大于五個(gè)，則將其作為一個(gè)獨(dú)立的概念抽出。如果組合成的詞大于5個(gè)，則這兩個(gè)部分不能組合，并且第一個(gè)部分重新試著和下一個(gè)部分組合。如果組合得到的詞長(zhǎng)度不大于5，將其作為一個(gè)獨(dú)立的概念抽出。如果組合得到的詞長(zhǎng)度大于個(gè)，這兩個(gè)部分不能合并。每一個(gè)剩余部分將作為一個(gè)重要概念抽出。一種具體實(shí)現(xiàn)的方法是，抽出的概念將根據(jù)概念在文本中出現(xiàn)的次數(shù)分配權(quán)值，多次出現(xiàn)或很少出現(xiàn)都賦予較高的權(quán)值，由兩個(gè)到三個(gè)詞組成概念的權(quán)值高于由一個(gè)或超過三個(gè)詞組成的概念，分配權(quán)值同時(shí)考慮抽出的概念是否包涵關(guān)鍵字/詞。出現(xiàn)次數(shù)是多還是少可以根據(jù)平均出現(xiàn)值或預(yù)先設(shè)定的值決定。在使用HTML或XML的結(jié)構(gòu)化文本中，將根據(jù)標(biāo)簽確定文章標(biāo)題或章節(jié)標(biāo)題。在沒有標(biāo)簽或非結(jié)構(gòu)化的文本中，文章標(biāo)題或章節(jié)標(biāo)題根據(jù)它是否在一個(gè)獨(dú)立的行，以及是否是緊隨一個(gè)冒號(hào)之后的短語或短行決定。標(biāo)題中的某些詞，如摘要，介紹，背景，討論，描述，結(jié)論，概要等，由于不能傳遞有關(guān)文章內(nèi)容的重要信息，因此將被排除。
B.(共12％，其中每組分配4％)抽取(a)兩到四個(gè)詞的短語中至少包含了關(guān)鍵字/詞中的兩個(gè)詞，關(guān)鍵字/詞的每一種不同的排列將形成不同的概念；(b)緊鄰一個(gè)或多個(gè)關(guān)鍵字/詞的兩到三個(gè)詞形成的短語；(c)非關(guān)鍵字/詞組成的兩到三個(gè)詞的短語，沒有緊鄰關(guān)鍵字/詞，但它是在有一個(gè)或多個(gè)關(guān)鍵字/詞的句子中。一種具體實(shí)現(xiàn)的方法是，抽出的概念根據(jù)以下規(guī)則排序抽取自每個(gè)子組的概念都被賦予一個(gè)介于0到1之間的子組權(quán)值，而子組(a)具有最高權(quán)值1，一個(gè)抽出的概念將根據(jù)關(guān)鍵字/詞在短語中或句子中出現(xiàn)的次數(shù)，名詞的個(gè)數(shù)以及短語的長(zhǎng)度來排序。每個(gè)屬于本組的排序權(quán)值都將被標(biāo)準(zhǔn)化并介于0到10之間。抽出概念的最終排序權(quán)值將由子組的排序權(quán)值和本組的排序權(quán)值共同決定。
C.(12％)如果單詞或其同義詞集在IW/P表中或一種指定的句型中，使用上述方法從同一個(gè)句子中抽取單詞。一種具體實(shí)現(xiàn)的方法是，抽出的概念按照如下規(guī)則排序抽出的概念按照介于0到1的組內(nèi)權(quán)重排序(IW/P表中的第三組具有最高的排序權(quán)值1，第二組權(quán)值為0.6，第一組權(quán)值為0.3)。組內(nèi)權(quán)重被標(biāo)準(zhǔn)化為介于0到10之間，并根據(jù)概念在網(wǎng)頁或文件中的出現(xiàn)次數(shù)決定大小，多次出現(xiàn)或很少出現(xiàn)都將被賦予較高的權(quán)值，因此抽取出的概念同時(shí)考慮了普遍概念以及特殊概念。具體實(shí)現(xiàn)時(shí)根據(jù)概念出現(xiàn)次數(shù)和平均出現(xiàn)值或預(yù)先設(shè)定值的偏離程度決定。抽出的概念將由子組的排序權(quán)值和本組的排序權(quán)值共同決定。
D.(共12％，其中每組分配4％)抽取(a)、首字母大寫的兩個(gè)或更多的詞組成的短語，該短語不能被標(biāo)點(diǎn)分割；(b)、所有字母均大寫的一個(gè)單詞包括縮寫詞；(c)、除句首大寫的由兩到三個(gè)首字母大寫的單詞組成的短語，在兩個(gè)緊連的詞中應(yīng)至少包含一個(gè)名詞。一種具體實(shí)現(xiàn)的方法是，抽出的概念按照如下規(guī)則排序從每個(gè)子組抽出的概念都被賦予一個(gè)介于0到1之間的子組權(quán)值，(a)組具有最高的權(quán)值1。組內(nèi)的排序根據(jù)概念在網(wǎng)頁或文件中的出現(xiàn)次數(shù)決定。一種具體實(shí)現(xiàn)的方法是，多次出現(xiàn)或很少出現(xiàn)都將被賦予較高的權(quán)值，因此抽取出的概念同時(shí)考慮了普遍概念以及特殊概念。具體實(shí)現(xiàn)時(shí)根據(jù)概念出現(xiàn)次數(shù)和平均出現(xiàn)值或預(yù)先設(shè)定值的偏離程度決定。抽出的概念將由子組的排序權(quán)值和本組的排序權(quán)值共同決定。
E.(12％)高亮顯示，斜體，有下劃線或以不同顏色或字體顯示的短語將被抽出。如這些詞不是名詞，則同時(shí)抽取出緊隨這些詞之后的名詞或鄰近這些詞的名詞。一種實(shí)現(xiàn)方法是，抽出的概念將根據(jù)高亮顯示，斜體，粗體，有下劃線，不同顏色或字體顯示這些突出特征出現(xiàn)的次數(shù)排序。如果一個(gè)網(wǎng)頁中超過10％的詞都是高亮顯示，斜體，粗體，有下劃線，以不同顏色或字體顯示，則該組特征被忽略。
F.(多次出現(xiàn)的關(guān)鍵字/詞分配7％，較少出現(xiàn)的關(guān)鍵字/詞分配5％，抽出的概念應(yīng)滿足兩種情況之一)抽取出現(xiàn)次數(shù)最多和出現(xiàn)次數(shù)最少的由一個(gè)名詞或兩到三個(gè)不是常用詞形成的詞組，并且抽出的詞不能是關(guān)鍵字/詞或和關(guān)鍵字/詞有相同的含義。如果一個(gè)網(wǎng)頁或文件中某個(gè)名詞或短語的出現(xiàn)次數(shù)超過10％，或出現(xiàn)次數(shù)最少的詞和短語是ICEEL中的詞，或其中不包含名詞，則不抽取這些詞。對(duì)于出現(xiàn)次數(shù)較多的詞或短語，只要出現(xiàn)次數(shù)小于10％，則排序權(quán)值隨出現(xiàn)次數(shù)的增多而上升。對(duì)于出現(xiàn)次數(shù)較少的詞或短語，排序權(quán)值隨出現(xiàn)次數(shù)的減少而上升。
對(duì)于上述六組，ICEEL中的常見詞以及被標(biāo)點(diǎn)分割的短語都不會(huì)被抽出。一種具體實(shí)現(xiàn)的方法是，一組中權(quán)值相等的概念既可以隨機(jī)選出也可以按照字母順序選出，以減少處理。每組組標(biāo)后的百分比代表了從每組中抽取概念數(shù)的最高百分比的例子，如果從所有搜索結(jié)果包含的網(wǎng)頁和文件中抽取的概念總數(shù)超過了用戶想要列出的概念數(shù)，概念總數(shù)根據(jù)要在412，612，712或912中顯示的概念數(shù)決定。一種具體實(shí)現(xiàn)的情況是，如果一個(gè)用戶選擇列出N個(gè)概念，從一個(gè)網(wǎng)頁或文件中抽出的N個(gè)概念將和搜索結(jié)果中其他頁或文件中分別抽出的N個(gè)概念匯總。重復(fù)或重疊的概念將被移除。如果一個(gè)重要概念已經(jīng)在一個(gè)高權(quán)值的組中出現(xiàn)，那么它將從其他較低權(quán)值的組中移除。如果兩個(gè)概念重疊的話，即它們包含相同的詞或部分組成它們的詞同義，其中的一個(gè)概念將被移除。將要移除哪一個(gè)概念根據(jù)這個(gè)概念是否是較高權(quán)值組中的概念，是否是由多個(gè)詞組成的具體概念，是否是一個(gè)由較少詞組成的普通概念決定。因此，從搜索結(jié)果的所有網(wǎng)頁和文件中得到的概念將被一起排序，以得到能夠顯示給用戶的前N個(gè)概念。
如果某組中沒有足夠的概念來達(dá)到分配的百分比，不足部分的百分比將按照比例分配到剩余的組中。一種具體實(shí)現(xiàn)的方法是，每類至少保證抽取出一個(gè)概念。例如，如果一個(gè)用戶選擇顯示10個(gè)概念，而從A到F組中共抽出100個(gè)概念。盡管僅應(yīng)從F組抽取一個(gè)概念(10的10％)，但此時(shí)應(yīng)保留該組出現(xiàn)次數(shù)最多的一個(gè)概念和出現(xiàn)次數(shù)最少的一個(gè)概念。在這種情況下，如果E組被分配抽到的概念多于一個(gè)，F(xiàn)組將借用E組的分配比例。否則，再向上借用。如果N＜6，某些組，例如B，D，E組的概念抽取都將被忽略。
B組進(jìn)行概念抽取是在關(guān)鍵字/詞已知的情況下。假定關(guān)鍵字/詞是(無線網(wǎng)絡(luò)wireless networks)，則B組(a)例子包含(無線局域網(wǎng)絡(luò)wireless local areanetworking)，(無線網(wǎng)絡(luò)接入點(diǎn)wirelessnetwork accesspoint)，B組(b)例子包含(無線聯(lián)結(jié)wireless connectivity)，(蜂窩無線cellular wireless)，(網(wǎng)絡(luò)安全network security)。很容易看出這些概念更有利于得到精確的查詢結(jié)果。然而，B組的概念只能在搜索時(shí)刻被抽出而不能預(yù)先處理，因?yàn)楫?dāng)時(shí)關(guān)鍵字/詞未知。為了減少搜索時(shí)的處理時(shí)間，每一個(gè)網(wǎng)頁和文件中的重要概念將被預(yù)先抽出。一種具體實(shí)現(xiàn)的方法是，A，C，D，E和F中的概念都被預(yù)先抽出，而只有B中的概念在搜索時(shí)抽出。然而另一種具體實(shí)現(xiàn)的方法是，B組的概念沒有被使用，分配給B組的抽取比例被分給其他組。如給C，D，E和F組各分配3％。這樣做避免了在搜索時(shí)從結(jié)果中抽取概念。同樣，A組中的概念權(quán)值可以獨(dú)立于關(guān)鍵字/詞預(yù)先設(shè)定，這樣也可以節(jié)省搜索時(shí)的處理時(shí)間。
3.2在本機(jī)進(jìn)行網(wǎng)頁結(jié)果的概念抽取就像上述提到的一種具體實(shí)現(xiàn)的方法，抽取概念，排序，用戶選擇概念進(jìn)行過濾以及CPM圖都是在搜索引擎端實(shí)現(xiàn)。另一種實(shí)現(xiàn)的方式是在用戶本機(jī)做，還有一種實(shí)現(xiàn)方式是部分在搜索引擎端，部分在用戶本機(jī)實(shí)現(xiàn)的方式。當(dāng)在用戶本機(jī)實(shí)現(xiàn)時(shí)，需要一個(gè)本地下載程序來下載從搜索引擎返回的網(wǎng)頁以及文件。這樣，用戶可以在本機(jī)分析下載的網(wǎng)頁以及文件來執(zhí)行概念抽取以及概念的排序操作。由于下載和概念的抽取和排序都需要一定的處理時(shí)間，為了在盡可能短的時(shí)間給用戶一定的結(jié)果反饋，一種具體實(shí)現(xiàn)的方法是漸進(jìn)地執(zhí)行這些任務(wù)，也就是在分析部分結(jié)果得到的概念以及過濾特征時(shí)就顯示給用戶，同時(shí)下載程序繼續(xù)下載搜索引擎返回的結(jié)果網(wǎng)頁和文件，并在新的一批結(jié)果分析處理完成時(shí)定期更新概念列表和相關(guān)度排序值。例如，當(dāng)搜索引擎返回的結(jié)果不大于50個(gè)時(shí)，將這些結(jié)果頁以及文件下載到本機(jī)上，并對(duì)這些頁以及文件進(jìn)行概念抽取，排序和過濾特征的提取，將分析結(jié)果顯示給用戶，同時(shí)本機(jī)上繼續(xù)進(jìn)行網(wǎng)頁以及支件的下載和分析操作。一種具體實(shí)現(xiàn)的方法是，等待時(shí)間根據(jù)下載和分析最初50個(gè)結(jié)果頁的時(shí)間進(jìn)行相應(yīng)調(diào)整。當(dāng)?shù)竭_(dá)設(shè)置的時(shí)間點(diǎn)，如5秒時(shí)，程序應(yīng)顯示給用戶相應(yīng)時(shí)間段的部分分析結(jié)果。同樣，為了避免長(zhǎng)時(shí)間等待，在進(jìn)行第一批和第二批的下載時(shí)，對(duì)于大的網(wǎng)頁以及文件(如超過100KB)不予下載，它們將被安排在后面批次中下載，這樣可以快速提供給用戶可瀏覽的分析結(jié)果。還要補(bǔ)充的一點(diǎn)是，在對(duì)結(jié)果進(jìn)行分析處理來得到概念，文件類型以及其他過濾特征時(shí)，為了節(jié)約下載時(shí)間，網(wǎng)頁或文件中的圖不下載。然而，圖中的文字注釋以及其他文字信息都和網(wǎng)頁的其他文字部分一樣被下載和分析。一種具體實(shí)現(xiàn)的方法是，開始時(shí)不下載的大于100k的網(wǎng)頁和文件在已經(jīng)下載了M個(gè)網(wǎng)頁或文件后開始下載時(shí)，對(duì)于之后遇到的大型網(wǎng)頁和文件也這樣處理。
一種具體實(shí)現(xiàn)的方法是，當(dāng)用戶選擇使用搜索引擎500時(shí)，點(diǎn)擊了按鈕503“啟動(dòng)DIGGOL”來啟動(dòng)本發(fā)明(當(dāng)本發(fā)明已被默認(rèn)啟動(dòng)時(shí)，這個(gè)步驟不是必要的)，當(dāng)用戶將搜索字串輸入到507并點(diǎn)擊按鈕509“搜索”時(shí)，程序開始進(jìn)行下載，概念抽取和排序，同時(shí)在5秒內(nèi)將部分結(jié)果的概念和過濾特征在612和616中顯示給用戶。當(dāng)程序下載了足夠多的搜索結(jié)果時(shí)，從結(jié)果中抽取概念，并將新的概念加入到概念池中。重復(fù)的概念和子集概念都將被移除，概念池中剩下的將被重新排序，這樣概念列表根據(jù)概念池中最新的概念及其排序值被更新。
為了用將搜索引擎從用戶很少察看的網(wǎng)頁和文件中抽取概念，一種具體實(shí)現(xiàn)的方法是，本發(fā)明中下載和分析網(wǎng)頁或文件是從每批結(jié)果的兩端進(jìn)行處理，也就是說對(duì)于第一批要處理的50個(gè)結(jié)果，下載、概念抽取以及其他過濾特征的提取按照如下順序進(jìn)行1，50，2，49，3，48，......等。在隨后的下載中，即使下載的結(jié)果數(shù)不是50，也是按照同樣的方法處理。這種方法稱為“兩頭燒蠟燭”。該方法既考慮到排序在前的結(jié)果的普遍性，同時(shí)考慮到排序在后的結(jié)果的新穎以及獨(dú)創(chuàng)性，并且排在后面的結(jié)果也可能包含有用信息。本發(fā)明中的排序方法將在后面介紹，該方法也遵循上述原則，同時(shí)抽取普遍性以及新穎性概念并給予較高的權(quán)值。這種“兩頭燒蠟燭”的處理方法以及排序方法使得搜索結(jié)果中排序靠后的網(wǎng)頁包含的權(quán)值較高的概念能和排序在前的結(jié)果中分析得到的概念一起及時(shí)顯示給用戶。以前的搜索引擎不能實(shí)現(xiàn)這個(gè)功能。
為提示用戶程序正在運(yùn)行中，一種具體實(shí)現(xiàn)的方法是，在瀏覽器窗口的底端顯示一個(gè)進(jìn)度欄。這個(gè)進(jìn)度欄顯示了所有搜索結(jié)果中共有多少個(gè)結(jié)果被分析過，顯示形式如“總共223，588頁，1，250頁已經(jīng)分析完成”。
為了更進(jìn)一步縮短概念抽取和排序以及過濾特征提取的處理時(shí)間，一種具體實(shí)現(xiàn)的方法是，如果網(wǎng)頁或文件過大(字?jǐn)?shù)大于5000)，則第一輪僅處理摘要，討論，結(jié)論，概要，文章的開頭和結(jié)尾，每段的開頭一到兩句以及結(jié)尾一到兩句。另一種具體實(shí)現(xiàn)的方法是，概念抽取先按照上述原則進(jìn)行，其余部分的抽取隨后繼續(xù)。后來抽出的任何一個(gè)新的概念都將被加入到概念池中。
為了避免用戶等待，一種具體實(shí)現(xiàn)的方法是，在界面600被打開時(shí)，由搜索引擎返回的網(wǎng)頁搜索結(jié)果顯示在650，612中顯示的概念列表以及616中顯示的過濾特征都將被激活，搜索結(jié)果網(wǎng)頁的順序也將根據(jù)結(jié)果相關(guān)度的排序結(jié)果改變。另一方面，由于本地文件已預(yù)先被抽取和建立索引，故硬盤搜索結(jié)果部分的概念，過濾特征以及相關(guān)度計(jì)算也將很快被激活。每當(dāng)部分搜索結(jié)果被下載并進(jìn)行概念提取后，用戶才能點(diǎn)擊搜索引擎在408或621返回的URL對(duì)應(yīng)的搜索結(jié)果來讀取網(wǎng)頁或文件，或點(diǎn)擊按鈕470或670“Next”來翻看下一頁搜索結(jié)果，或通過412或612選擇或排除概念列表中的概念來進(jìn)行概念過濾。在這種情況下，概念列表一直在更新中，也就是說，對(duì)于搜索結(jié)果的下載以及下載文件的概念抽取一直在進(jìn)行，以此來更新概念列表，同時(shí)根據(jù)用戶對(duì)列表中概念的選擇和排除來進(jìn)行相應(yīng)的結(jié)果過濾。當(dāng)用戶點(diǎn)擊408或621處搜索引擎返回的鏈接來觀看網(wǎng)頁或文件內(nèi)容時(shí)，只要該網(wǎng)頁或文件已經(jīng)被下載或正在下載，保存在本機(jī)上的下載版本或正在下載的文件將被直接提供給用戶界面，并通過408或621顯示給用戶。當(dāng)用戶點(diǎn)擊408或621處搜索引擎返回的鏈接來觀看網(wǎng)頁或文件內(nèi)容時(shí)，如果該網(wǎng)頁或文件還未被下載，則直接通過搜索引擎返回的URL進(jìn)行下載，并保存至下載隊(duì)列，同時(shí)進(jìn)行概念抽取以及過濾特征提取。一種具體實(shí)現(xiàn)的方法是，當(dāng)用戶點(diǎn)擊408或621處搜索引擎返回的鏈接來觀看網(wǎng)頁或文件內(nèi)容時(shí)，該網(wǎng)頁或文件將被移至處理隊(duì)列的最前面來進(jìn)行概念抽取以及過濾特征提取。另一種實(shí)現(xiàn)方法是，當(dāng)用戶點(diǎn)擊408或621處搜索引擎返回的鏈接來觀看網(wǎng)頁或文件內(nèi)容時(shí)，如果下載程序僅下載了網(wǎng)頁文本部分，則根據(jù)搜索引擎返回的URL直接重新下載網(wǎng)頁所有內(nèi)容包括圖像部分，這樣可以顯示給用戶完整的頁。
通常，搜索一個(gè)關(guān)鍵字/詞會(huì)返回大量的搜索結(jié)果。在搜索引擎的一種實(shí)現(xiàn)中，網(wǎng)頁和文件中的重要概念被事先抽取并為其建立索引，這樣就可以在概念列表中排序和列舉搜索結(jié)果的網(wǎng)頁和文件中包含的所有重要概念。但是，如果概念抽取和索引建立都在客戶機(jī)個(gè)人PC上完成，獨(dú)立搜索引擎中排序比較靠后的結(jié)果將會(huì)長(zhǎng)時(shí)間得不到下載和分析。舉例來說，如果下載程序按照原始搜索引擎的順序下載返回的一百萬個(gè)搜索結(jié)果，則第999，901到一百萬頁將等待很長(zhǎng)的時(shí)間才能被下載。在一種實(shí)現(xiàn)中，為用戶提供一個(gè)選擇面板，讓用戶來選擇哪一部分搜索結(jié)果應(yīng)該被優(yōu)先下載和分析。對(duì)于最先的1000個(gè)將要下載和分析的網(wǎng)頁和文件，允許用戶設(shè)置在搜索引擎返回的結(jié)果列表的開始、任意中間位置和結(jié)尾按照一定比例下載。有些文件由于較新或被鏈接的較少，使它們處于返回結(jié)果的中間或是結(jié)尾，但它們可能包含最新的相關(guān)信息，如果最先下載和分析這些結(jié)果，用戶就可以第一時(shí)間瀏覽包含在這些結(jié)果中的重要信息。然而這些結(jié)果在用戶平常使用搜索引擎時(shí)是不會(huì)被看到的。當(dāng)用戶需要下載搜索結(jié)果用來分析和抽取概念時(shí)，用戶也可以選擇下載M個(gè)網(wǎng)頁和文件來節(jié)省硬盤空間，如下載1000個(gè)網(wǎng)頁或文件。保存M個(gè)搜索結(jié)果可以使用戶在需要時(shí)迅速瀏覽它們而無需等待下載。用戶的空余空間越大，他可以下載的頁就越多。下載的網(wǎng)頁或文件超過指定數(shù)量時(shí)會(huì)自動(dòng)刪除那些已分析和抽取過概念的網(wǎng)頁或文件。用戶還可以設(shè)置一定容量如數(shù)個(gè)MBs來儲(chǔ)存下載的結(jié)果。當(dāng)下載的就結(jié)果超過了容量時(shí)，后來下載的的結(jié)果也會(huì)覆蓋那些分析和抽取過概念的結(jié)果。默認(rèn)的容量可以設(shè)置在100MB。在一種實(shí)現(xiàn)中，可以讓用戶選擇一組規(guī)則來決定哪些下載的文件會(huì)被保留在分配的存儲(chǔ)區(qū)中，比如保留所有大于0.5MB的文件。這樣設(shè)定之后大的網(wǎng)頁或文件就可以在用戶需要查看時(shí)被迅速打開而無需等待下載。而小文件因?yàn)橄螺d速度快，可以在用戶瀏覽時(shí)實(shí)時(shí)下載而無須保存。當(dāng)過多的網(wǎng)頁和文件需要下載時(shí)，不符合給定規(guī)則集的網(wǎng)頁和文件就將被覆蓋以限制空間的使用。
3.3概念的相關(guān)度排序及以概念過濾搜索結(jié)果本發(fā)明使用自然語言處理，根據(jù)搜索結(jié)果和搜索關(guān)鍵字/詞串的相關(guān)度對(duì)搜索結(jié)果排序。它改進(jìn)了原有相關(guān)度排序方法。一種具體實(shí)現(xiàn)的情況是，本項(xiàng)發(fā)明將基于內(nèi)容的相關(guān)度排序和搜索引擎本身的排序—如基于投票和流行度的加權(quán)平均的Google排序算法相組合進(jìn)行新的排序。
3.3.1搜索結(jié)果的相關(guān)度排序每一個(gè)搜索結(jié)果都可以根據(jù)它的鏈接情況來排序，或因?yàn)槭褂昧似渌阉饕娴慕Y(jié)果，那個(gè)搜索引擎已經(jīng)對(duì)結(jié)果進(jìn)行了一個(gè)排序，如Google或Yahoo。Google的墓手鏈搜的頁排序以及其它搜索引擎的排序，都不能很好的表示出結(jié)果的相關(guān)度。
當(dāng)用戶使用兩個(gè)或更多的關(guān)鍵字/詞進(jìn)行搜索時(shí)，他明顯希望返回和關(guān)鍵字/詞相關(guān)并且文章中含有關(guān)鍵字/詞的搜索結(jié)果。在原來的搜索引擎中，當(dāng)用戶使用兩個(gè)或更多的關(guān)鍵字/詞進(jìn)行搜索時(shí)，得到的搜索結(jié)果網(wǎng)頁中關(guān)鍵字/詞可能出現(xiàn)在的不同的框架中或完全不相關(guān)部分中。再舉個(gè)例子，當(dāng)用戶使用精確短語匹配進(jìn)行搜索時(shí)，如搜索和短語“價(jià)格改變”“price change”的精確匹配，以前的搜索引擎經(jīng)常返回被標(biāo)點(diǎn)分割的短語，如“...固定價(jià)格。改變地址...”，“...fixed price.Change of address..”，在這個(gè)例子中，單詞“價(jià)格”“price”和“改變”“change”同時(shí)出現(xiàn)但是這兩個(gè)詞本身無關(guān)并且和用戶希望得到的結(jié)果無關(guān)。
通常頁、文件或文章的創(chuàng)建和修改時(shí)間也是有用的排序相關(guān)因素，這是因?yàn)橛脩敉鶎?duì)最近或是特定日期范圍的信息感興趣。一種實(shí)現(xiàn)可以利用基于內(nèi)容的相關(guān)度排序、日期排序和基于鏈接的排序的加權(quán)組合來建立一個(gè)新的頁排序，如下所示搜索結(jié)果頁i的排序＝PR(i)＝a*基于鏈接排序+b*相關(guān)度排序+c*日期排序此處的a、b和c都是正數(shù)且a+b+c＝1，分別代表基于鏈接排序、相關(guān)度排序和日期排序的權(quán)值。舉例說明，a＝b＝0.4，c＝0.2。假定基于鏈接的排序最大值是10。當(dāng)c≠0，可有一個(gè)默認(rèn)的日期排序，比如默認(rèn)日期排序＝{10，如果t≤一周；8.5如果t≤1個(gè)月，等等}，此處t是頁或文件的創(chuàng)建或修改日期。當(dāng)用戶沒有在左側(cè)面板416或616中選擇日期范圍時(shí)，使用默認(rèn)日期排序。若用戶選擇了日期范圍，則可使用一個(gè)選擇日期排序，比如默認(rèn)日期排序＝{10，如果t在選擇的日期范圍內(nèi)；8如果t在選擇的日期范圍外1個(gè)月內(nèi)，等等}。相關(guān)度排序可由以下步驟計(jì)算1.每一個(gè)由用戶輸入的關(guān)鍵字/詞或其詞根變形都帶有10/N的點(diǎn)數(shù)。在一個(gè)關(guān)鍵字/詞擴(kuò)展為一個(gè)概念的情況下，出現(xiàn)在關(guān)鍵字/詞的擴(kuò)展集中的詞語的點(diǎn)數(shù)為9/N，一個(gè)出現(xiàn)在關(guān)鍵字/詞的上下文中的詞語的點(diǎn)數(shù)也為9/N，關(guān)鍵字/詞的子類詞的點(diǎn)數(shù)為9/N，而母類詞的點(diǎn)數(shù)為7/N，此處N是用戶輸入搜索欄的關(guān)鍵字/詞個(gè)數(shù)。
2.相關(guān)度排序＝(R1+R2)/(10N-1)，R1＝10*P1*P2，這里P1＝(兩個(gè)搜索關(guān)鍵字/詞序列按照用戶輸入順序在文章中出現(xiàn)的次數(shù))，P2＝這些詞語的點(diǎn)數(shù)之和，R2＝max{max所有句子[9*∑(同一句中關(guān)鍵字/詞的點(diǎn)數(shù)，不越過逗號(hào)和回車)]，max所有句子[8*∑(同一句中關(guān)鍵字/詞的點(diǎn)數(shù)，不越過句號(hào)、分號(hào)或換行符)]，max所有句子[6*∑(同一段中的關(guān)鍵字/詞點(diǎn)數(shù))]，max所有句子[5*∑(相鄰段中的關(guān)鍵字/詞點(diǎn)數(shù))]，max所有句子[4*∑(同一區(qū)域中的關(guān)鍵字/詞點(diǎn)數(shù)]，max所有句子[3*∑(同一頁中的關(guān)鍵字/詞的點(diǎn)數(shù))]}，(10N-1)是歸一化因數(shù)。
在計(jì)算R1時(shí)，當(dāng)M個(gè)關(guān)鍵字/詞，且M是大于2的正整數(shù)，按照用戶輸入的確切順序依次出現(xiàn)時(shí)，P1＝M-1。比如，如果用戶輸入關(guān)鍵字/詞串(無線網(wǎng)絡(luò)安全wireless network security)(注詞且分將把無線網(wǎng)絡(luò)安全且分成3個(gè)詞無線，網(wǎng)絡(luò)，安全)，然后在頁中找到如下的兩個(gè)詞短語(無線網(wǎng)絡(luò)wirelessnetworks)(網(wǎng)絡(luò)安全network security)，此時(shí)P1＝2。如果這個(gè)頁包含3個(gè)詞的短語(無線網(wǎng)絡(luò)安全wirelessnetwork security)，P1＝2仍然成立。這是因?yàn)?無線網(wǎng)絡(luò)wireless network)被計(jì)為是2個(gè)在一起的關(guān)鍵字/詞，而(網(wǎng)絡(luò)安全network security)同樣被計(jì)為兩個(gè)在一起的關(guān)鍵字/詞。在一種實(shí)現(xiàn)下，一個(gè)短語，例如(無線網(wǎng)絡(luò)wireless networks)和(網(wǎng)絡(luò)安全network security)，出現(xiàn)次數(shù)是不被計(jì)數(shù)的。每個(gè)短語只記一次。如果用戶僅搜索一個(gè)單個(gè)詞語，此時(shí)P1＝0，P2＝90，R2＝9*10/(10*1-1)＝10。
為了保存計(jì)算結(jié)果，一旦搜索關(guān)鍵字/詞序列中的所有兩詞短語被找到，R1達(dá)到最大值R1＝10*(N-1)*10。重要概念的抽取和排序程序會(huì)停止為計(jì)算R1而進(jìn)行的文本搜索。相似的，一旦找到一個(gè)包含所有關(guān)鍵字/詞的句子，程序也將停止為計(jì)算R2進(jìn)行的文本搜索。舉例來說，用戶輸入(無線網(wǎng)絡(luò)安全平臺(tái)的實(shí)現(xiàn)wireless network security platform implementation)，如果程序已經(jīng)找到下面的短語(無線網(wǎng)絡(luò)安全wireless network security)，(安全平臺(tái)security platform)和(平臺(tái)的實(shí)現(xiàn)platform implementation)，它將停止為計(jì)算R1而進(jìn)行的文本搜索，此時(shí)P1＝4，R1＝10*4*10達(dá)到可能的最大值。如果所有這些短語都出現(xiàn)在一個(gè)句子中，且沒有逗號(hào)，程序也將停止為計(jì)算R2進(jìn)行的文本搜索，且R2＝9*10也達(dá)到了極值。在這個(gè)例子中，相關(guān)排序是(400+90)/(10*5-1)＝10。這個(gè)相關(guān)度排序的定義使得它在很多情況下很可能只需要掃描一部分文本就可以計(jì)算出頁或文件的相關(guān)度排序。
在一種實(shí)現(xiàn)中，頁甲基于鏈接的排序由指向頁甲的鏈接數(shù)和類型以及指向頁甲的頁的基于鏈接排序。另一種實(shí)現(xiàn)是通過以前的搜索引擎實(shí)施網(wǎng)絡(luò)搜索，基于鏈接排序的條件可以直接使用此搜索引擎的排序結(jié)果，例如Google或Yahoo的排序，或是這些排序的一個(gè)函數(shù)。對(duì)于本地計(jì)算機(jī)搜索出來的文件，由于沒有或只有有限的超鏈接，可以把所有文件的基于鏈接的排序值設(shè)為10。或是，可以把所有文件的基于鏈接的排序值設(shè)為0，同時(shí)可將相關(guān)度排序項(xiàng)的權(quán)值增加到1。
用戶或許希望改變頁排序公式中給定三個(gè)因素的權(quán)值。例如，用戶或許對(duì)那些相關(guān)度排序中高的最近的頁更感興趣，而對(duì)那些在基于鏈接排序高的頁不那么關(guān)心因?yàn)榛阪溄优判蚩梢员绘溄Y(jié)場(chǎng)(LinkFarms)和鏈接交換(Link Exchages)操縱。所以他可能希望選擇權(quán)向量(a，b，c)＝(0.2，0.5，0.3)。一種實(shí)現(xiàn)用可變的三個(gè)滑動(dòng)條界面讓用戶改變權(quán)值，如圖11所示。一種實(shí)現(xiàn)中，用戶僅可以改變兩欄，比如相關(guān)度排序和基于鏈接排序，因?yàn)槿邫?quán)值相加為1，而第三項(xiàng)基于文件創(chuàng)建和修改日期的權(quán)值可以通過一個(gè)權(quán)值計(jì)算程序自動(dòng)算出來。在另一種實(shí)現(xiàn)中，用戶可以調(diào)整三個(gè)欄目，但是，用戶選擇的三個(gè)向量值將由權(quán)值計(jì)算程序自動(dòng)歸一化使得其和為1。
作為對(duì)考慮到關(guān)鍵字/詞在文章中出現(xiàn)的順序而計(jì)算相關(guān)度排序的擴(kuò)展，在一種實(shí)現(xiàn)下，搜索程序支持以“同樣的順序”搜索模式。這個(gè)模式獲取的搜索結(jié)果是包含搜索關(guān)鍵字/詞，并且關(guān)鍵字/詞出現(xiàn)的順序和用戶原始輸入的順序完全一致的網(wǎng)頁或文件。此程序可以進(jìn)一步支持僅獲取關(guān)鍵字/詞之間沒有標(biāo)點(diǎn)的網(wǎng)頁或文件。正如前面尋找“價(jià)格改變”“price change”的例子一樣。在另一種實(shí)現(xiàn)中，僅考慮關(guān)鍵字/詞出現(xiàn)的順序，而關(guān)鍵字/詞之間可以出現(xiàn)詞語或文章片斷。
本發(fā)明的搜索結(jié)果相關(guān)度的排序的實(shí)現(xiàn)提供了一種計(jì)算在搜索結(jié)果里的一個(gè)文件的排序的新方法，該方法包括在文件中識(shí)別出和用戶輸入的定義搜索的描述的部分或全部相同或同類或相似的一或多個(gè)匹配信息元；基于在文件中的下列一或多個(gè)因素計(jì)算一個(gè)相關(guān)度排序參數(shù)一或多個(gè)匹配信息元和它們?cè)诙x搜索的描述中的相應(yīng)部分的相同或同類或相似的程度；兩個(gè)或更多個(gè)匹配信息元出現(xiàn)的順序和它們?cè)诙x搜索的描述中的相應(yīng)部分出現(xiàn)的順序的比較；兩個(gè)或更多個(gè)匹配信息元在句子或文體結(jié)構(gòu)里的相對(duì)位置；在兩個(gè)或更多個(gè)匹配信息元是否出現(xiàn)標(biāo)點(diǎn)符號(hào)或其它符號(hào)；一或多個(gè)匹配信息元的格式；一或多個(gè)匹配信息元在文件里的角色；一或多個(gè)匹配信息元在文件里出現(xiàn)的位置或部分；及是否由和專門針對(duì)一個(gè)用戶的信息相似的信息出現(xiàn)及它們之間的相似程度。
3.3.2選擇從單個(gè)頁或文件以及搜索結(jié)果集合中抽取的概念對(duì)每一個(gè)頁或文件，抽取出來的重要概念分為A到F組并在每個(gè)組內(nèi)排序，用戶可以根據(jù)如前所述的百分比分配選擇特定的重要概念。對(duì)頁和文件的重要概念的抽取、排序和選擇在前面已經(jīng)描述。如果用戶選擇在重要概念列表412、612、712或912中顯示的N個(gè)重要概念，本發(fā)明的重要概念抽取和排序程序就會(huì)對(duì)結(jié)果集中每一個(gè)網(wǎng)頁或文件抽取前N個(gè)最重要的概念。這個(gè)稱為抽取集的集合，可能是搜索結(jié)果中的所有網(wǎng)頁和文件，也有可能只是其中的一部分。當(dāng)重要概念抽取和排序程序只對(duì)所有網(wǎng)頁和文件中預(yù)先確定和預(yù)先選擇的部分進(jìn)行抽取時(shí)，抽取集是結(jié)果集的一個(gè)子集。另一種情況是用戶在程序完成對(duì)所有網(wǎng)頁和文件的分析抽取之前結(jié)束了程序也會(huì)導(dǎo)致抽取集是結(jié)果集的子集。另外，當(dāng)程序仍在運(yùn)行且未完成對(duì)所有文件的抽取時(shí)，抽取集也只是搜索結(jié)果的子集。這種情況下，隨著程序?qū)W(wǎng)頁和文件抽取的完成，抽取集也不斷增大。如果N≥6，則頁或文件中組A到F都至少有一個(gè)重要概念被選取。如果N＜6，其中一些組，例如B，D，E可以被忽略。然后，每個(gè)來自抽取集中的網(wǎng)頁或文件的前N個(gè)概念可放入抽取概念池。重復(fù)或子集概念將從概念池中刪除。然后，對(duì)概念池中的概念排序。具體實(shí)現(xiàn)可用下面的公式計(jì)算概念j的概念排序＝CR(j)＝c*10*max{Na(j)，(Nt-Na(j)}/Nt+d*{∑所有含概念j的頁P(yáng)R(k)}/Na(j)此處c＞0，d＞0，c+d＝1，Nt是當(dāng)CR(j)計(jì)算時(shí)，抽取集中的網(wǎng)頁和文件總數(shù)。Na(j)是抽取集中包含概念j的網(wǎng)頁和文件總數(shù)。注意Na(j)＞0，因?yàn)槌槿「拍畛刂械母拍钪辽侔谝粋€(gè)網(wǎng)頁或文件中。還要注意到對(duì)所有概念而言CR(j)的最大值是10。這個(gè)排序公式同時(shí)對(duì)最流行概念MPC和最新鮮概念MOC排序，這很有意義。因?yàn)橥ǔ＿@兩類概念比中間概念攜帶了更多的信息。MPCs是那些最多數(shù)搜索結(jié)果認(rèn)為重要的概念，因此它們很可能是重要。這很像Google這類搜索引擎的排序算法。另外，MOCs則是那些搜索結(jié)果中小部分結(jié)果認(rèn)為其重要的概念。因此它們往往與平常的看法有所不同。通常，新發(fā)現(xiàn)往往是注意到大眾所不關(guān)注的，或走一條不是大家都走的路。所以MOCs也可能是重要的，所以本發(fā)明可以把它們排在前面。相比之下，在先前搜索技術(shù)下，稀有概念被掩蓋在平凡概念中，使得用戶無法看到它們。權(quán)因子c代表一個(gè)概念流行和新鮮程度的權(quán)重，權(quán)因子d代表包含此概念的網(wǎng)頁和文件的平均排序。例如c＝d＝0.5。
在一種實(shí)現(xiàn)中，概念抽取和排序算法提供一個(gè)接口讓戶選擇兩個(gè)正值A(chǔ)和B，且A+B＝N，這樣可以選擇在重要概念列表412，612 or 712種顯示A個(gè)MPCs和B個(gè)MOCs，其中N是在重要概念列表中顯示的概念總數(shù)。MPCs和MOCs的排序可以依據(jù)下式計(jì)算概念j的MPC排序＝CR(j)＝c*10*Na(j)/Nt+d*{∑所有概念j的頁P(yáng)R(k)}/Na(j)概念j的MOC排序＝CR(j)＝c*10*(Nt-Na(j))/Nt+d*{∑所有含概念j的頁P(yáng)R(k)}/Na(j)3.3.3在搜索時(shí)計(jì)算相關(guān)度排序和概念排序計(jì)算相關(guān)度排序要求知道用戶搜索時(shí)使用的關(guān)鍵字/詞，所以只能在搜索時(shí)計(jì)算。在重要概念抽取的6個(gè)組中，組A、C、D、E和F可以提前取得，但組B只能在搜索時(shí)取得。這是因?yàn)樗枰玫剿阉鲿r(shí)所使用的關(guān)鍵字/詞信息。在預(yù)處理階段，可以抽取組A，C，D，E和F中的重要概念，這些重要概念的索引BSE和CSE，或BIP和CIP，或BPC和CPC也可建立。而頁排序PR和概念排序CR則在搜索時(shí)計(jì)算。
在一次新搜索完成之后，用戶在概念列表上選擇一個(gè)概念后，程序會(huì)自動(dòng)進(jìn)行對(duì)概念的過濾，這等價(jià)于把概念作為附加關(guān)鍵字/詞的又一次搜索。所以，相關(guān)度排序和頁排序PR需要重新計(jì)算。具體實(shí)現(xiàn)時(shí)，為了減少概念過濾處理的次數(shù)以使得過濾結(jié)果可以迅速的顯示給用戶，相關(guān)度排序和頁排序只在新搜索時(shí)計(jì)算一次，過濾結(jié)果的排序直接應(yīng)用原始結(jié)果相關(guān)度排序的結(jié)果。具體實(shí)現(xiàn)時(shí)，概念排序CR是由過濾結(jié)果計(jì)算而來，根據(jù)新的排序，概念列表也將更新。另一種實(shí)現(xiàn)，為進(jìn)一步減少概念過濾的處理時(shí)間，概念排序CR和概念列表不會(huì)改變且始終與原始搜索得到的結(jié)果一樣。在目前的實(shí)現(xiàn)下，用戶可以選擇以上兩種方式的任意一種。在一種實(shí)現(xiàn)中，只抽取組A、C、D、E和F中的重要概念，而不抽取概念組B的概念。這樣，所有的概念抽取可以預(yù)處理，排除了在搜索時(shí)抽取概念的必要。這進(jìn)一步減少了搜索時(shí)的負(fù)擔(dān)。
如上所述，概念提取、概念過濾和CPM既可以在搜索引擎服務(wù)器上處理，也可以在用戶的PC上處理，或兩者各自處理一部分。相似地，相關(guān)度排序、頁排序PR和概念排序CR也可依照上述方式完成。在個(gè)人計(jì)算機(jī)上處理可以應(yīng)用網(wǎng)絡(luò)上千百萬臺(tái)個(gè)人計(jì)算機(jī)的處理能力，而不在搜索引擎服務(wù)器上集中處理。后者需要同一時(shí)間處理高達(dá)數(shù)以億計(jì)的用戶請(qǐng)求，需要使用大批的計(jì)算機(jī)集群或服務(wù)器集群。
在一種實(shí)現(xiàn)中，當(dāng)索引CSE，或CIP，或CPC在一個(gè)搜索執(zhí)行前第一次被建立時(shí)索引的每一個(gè)條目都是網(wǎng)頁或文件和搜索結(jié)果中抽取出來的所有重要概念列表的一個(gè)圖示，這些重要概念不包括那些需要知道用戶搜索關(guān)鍵字/詞后才能抽取出來的概念。列表中的概念數(shù)都要除以一個(gè)最大值，例如100，得到的百分比分配到如前所述的每一個(gè)組中。分配給組B的百分比可以保留到搜索時(shí)。組內(nèi)的概念可以排序。對(duì)于組A，依賴搜索關(guān)鍵字/詞的排序部分現(xiàn)在可以忽略。在每個(gè)頁或文件的索引CSE，或CIP，或CPC條目中的排過序的重要概念列表稱為預(yù)搜索排序列表(PSRL)。在搜索時(shí)，搜索關(guān)鍵字/詞是已知的，這樣組B的概念也可以抽取和排序，而組A概念卻可以重排序。對(duì)每個(gè)頁或文件的索引條目中的PSRL的修改得到了搜索時(shí)間排序列表(STRL)。當(dāng)選擇N個(gè)重要概念時(shí)，每個(gè)STRL組中的選擇依據(jù)便是先前分配的百分比。這N個(gè)來自頁或文件的概念被放在一起并且去處了重復(fù)的概念和子概念，計(jì)算余下的概念得到了概念排序的結(jié)果。。重要概念列表412和612上顯示的概念就是從重要概念池中選出的排序最高的N個(gè)概念。在另外一種實(shí)現(xiàn)中，為了減少處理時(shí)間，每組中排序最高的概念直接從頁或文件抽取的索引條目中的PSRL得到，此時(shí)沒有抽取概念組B的概念也沒有重計(jì)算組A的概念排序。
本發(fā)明的概念或其它信息元的提取和排序的實(shí)現(xiàn)提供了一種新的信息搜索方法，該方法包括從由一或多個(gè)文件或其部分形成的一個(gè)集合(稱為甲集)里提取的信息元集合中獲取一或多個(gè)信息元；對(duì)上述獲取的一或多個(gè)信息元基于下列一或多個(gè)排序參數(shù)進(jìn)行排序?qū)σ粋€(gè)從一組文件中提取的信息元，基于這組文件的一個(gè)鏈接流行度排序的一個(gè)函數(shù)；基于這組文件的一個(gè)相關(guān)度排序的一個(gè)函數(shù)；基于這組文件的一個(gè)日期排序的一個(gè)函數(shù)；一個(gè)信息元可從更多的文件里提取出來則把此信息元的排序提高；一個(gè)信息元可從更少的文件里提取出來則把此信息元的排序提高；一或多個(gè)信息元和另一個(gè)信息元的集合(稱此集合為乙集)里的信息元的關(guān)系；一或多個(gè)信息元在文體里的位置、格式或角色；一或多個(gè)信息元出現(xiàn)的上下文；一或多個(gè)信息元的含義。
上述的方法還可進(jìn)一步包括下列一項(xiàng)或多項(xiàng)甲集是一個(gè)搜索的結(jié)果(稱此搜索為甲搜索)，甲搜索是由一或多個(gè)描述定義的；乙集里的信息元包括一或多個(gè)重要字/詞和/或短語，句型，概念或含義和論語；提供一個(gè)用戶接口讓用戶調(diào)動(dòng)一或多個(gè)排序參數(shù)的權(quán)重。
4.本地計(jì)算機(jī)文件搜索在一種實(shí)現(xiàn)下，用戶界面提供給用戶在本機(jī)上對(duì)文件進(jìn)行搜索的選擇，如圖1，3-7和9所示的工具欄選項(xiàng)“啟動(dòng)硬盤搜索”所示。這個(gè)整合了網(wǎng)絡(luò)搜索和本地搜索的界面更加具有親和力。在具體實(shí)現(xiàn)時(shí)，網(wǎng)絡(luò)搜索結(jié)果和本地搜索結(jié)果都會(huì)在同一個(gè)窗口中顯示，如圖4和6所示。另外一種方式是用戶可以選擇將本地搜索結(jié)果顯示在一個(gè)獨(dú)立的窗口中，如圖7所示，只需點(diǎn)擊按鈕430或630“新窗口顯示硬盤搜索結(jié)果”，這樣就有足夠的空間顯示詳細(xì)的結(jié)果信息。當(dāng)用戶進(jìn)行網(wǎng)絡(luò)搜索時(shí)，一旦用戶選擇了“啟動(dòng)硬盤搜索”，PC的硬盤搜索也將同時(shí)進(jìn)行。另一方面，當(dāng)用戶選擇只在本地搜索即點(diǎn)擊按鈕“僅搜索硬盤”時(shí)，搜索關(guān)鍵字/詞和其他信息都不會(huì)發(fā)送給搜索引擎服務(wù)器。
硬盤搜索程序會(huì)預(yù)先建立索引APC，BPCand CPC。這三個(gè)索引的使用和關(guān)系顯示在圖10中。索引APC由關(guān)鍵字/詞組成并且圖示到包含此關(guān)鍵字/詞的文件列表。當(dāng)查詢到關(guān)鍵字/詞時(shí)，返回的是包含關(guān)鍵字/詞的文件名和路徑。這個(gè)索引的功能即利用關(guān)鍵字/詞查找文件。APC的關(guān)鍵字/詞是從文件名、文件屬性文本域(就像通過在本機(jī)文件名上點(diǎn)擊鼠標(biāo)右鍵得到的屬性信息一樣)和文件文本域中抽取的，搜索程序可以使用文本內(nèi)容作為文件文本的索引，舉例而言，電子郵件文件，圖像文件，音/視頻文件，程序文件或各種各樣應(yīng)用文件像Word、PPT、Pdf、html等等。
索引BPC由從硬盤上的文件抽取出的重要概念建立，每個(gè)索引圖示到抽取出重要概念的文件名列表和文件路徑。當(dāng)查詢到一個(gè)重要的概念時(shí)，例如概念過濾時(shí)，通過對(duì)重要概念列表進(jìn)行選擇來生成CPM時(shí)，返回的結(jié)果是文件名列表和路徑名。類似地，F(xiàn)TFI的建立是為了716中列出的每個(gè)過濾特性。當(dāng)查詢過濾特性時(shí)，返回的也是包括過濾屬性的文件名和路徑。
索引CPC由文件名建立且圖示文件到從文件中抽取出來的重要概念上。當(dāng)由文件名和路徑查詢時(shí)，比如從搜索結(jié)果中檢索和選擇N個(gè)重要的概念時(shí)，鼠標(biāo)指到文件名上顯示文件所包含的概念，這時(shí)返回的結(jié)果將是文件中抽取出的已排序的概念列表。這三個(gè)索引或許由一個(gè)文件組織起來也可能由一批獨(dú)立的文件組織起來。相似地，在416或616中的其他過濾條件，如文件類型、日期范圍等，也可以從搜索結(jié)果中抽取出來并組織起索引，使得按屬性的過濾可以實(shí)施的快一些。
為了提供硬盤搜索的結(jié)果和用戶選擇屬性進(jìn)行過濾的快速圖示，硬盤搜索程序預(yù)先處理每個(gè)文件的重要概念抽取和排序、其他過濾屬性的抽取并建立索引。在硬盤搜索程序第一次安裝時(shí)，它就在后臺(tái)執(zhí)行這些任務(wù)。為方便告知用戶進(jìn)度，程序會(huì)顯示一個(gè)進(jìn)度條，例如在窗口工具欄上顯示。工具欄將會(huì)顯示總文件中的多少文件已被處理和索引過。其格式如下所示“共923,588頁/文件，925個(gè)已分析檢索完成”。在所有文件都被索引后，它會(huì)告知用戶程序已經(jīng)準(zhǔn)備好可以立刻開始搜索和分析PC硬盤上的文件。如果PC關(guān)機(jī)或程序被中斷，下次啟動(dòng)時(shí)它可以自動(dòng)從上次中斷處繼續(xù)進(jìn)行。
如果硬盤上添加了新的文件，索引的建立、概念的抽取和排序以及文件屬性的提取都可自動(dòng)完成，新的結(jié)果會(huì)添加到索引中。這種更新是階段性的，而這個(gè)階段的間隔長(zhǎng)短可以由用戶在瀏覽器工具欄的選項(xiàng)上自己選擇。默認(rèn)的更新間隔是每天或每周特定時(shí)間晚上10點(diǎn)，前提是電腦處于開機(jī)狀態(tài)且空閑。
索引建立之后，硬盤搜索結(jié)果可以由索引APC迅速得到，抽取出的重要概念可以由索引CPC迅速得到。所以，當(dāng)用戶輸入關(guān)鍵字/詞后，搜索結(jié)果和概念中較高權(quán)值得部分可以迅速在721和712中顯示出來。同樣，當(dāng)鼠標(biāo)懸浮在文件名上時(shí)，來自索引CPC中的重要概念也將顯示在一個(gè)小窗口中。一旦鼠標(biāo)離開，小窗口將消失。當(dāng)雙擊文件名后，文件將通過相應(yīng)的應(yīng)用程序被打開。用戶在重要概念列表上選擇或排除概念時(shí)，過濾的結(jié)果利用索引CPC和FTFI也可以很快得到。
在另一實(shí)現(xiàn)中，當(dāng)用戶點(diǎn)擊日期、文件名、文件夾或日期域752，本地控制程序根據(jù)用戶點(diǎn)擊的域相應(yīng)地以降序或是升序改變硬盤搜索結(jié)果的排列方式。這樣的界面操作和用戶熟悉的Windows界面很相似。另外，如果當(dāng)用戶實(shí)行搜索時(shí)本地計(jì)算機(jī)沒有連接到網(wǎng)絡(luò)，搜索將自動(dòng)地被解釋為僅硬盤搜索執(zhí)行而且只執(zhí)行。
當(dāng)本地計(jì)算機(jī)連接了網(wǎng)絡(luò)時(shí)，本發(fā)明提供給用戶可以只選擇搜索硬盤而不實(shí)行網(wǎng)絡(luò)搜索的功能，此時(shí)用戶只需點(diǎn)擊按鈕“僅搜索硬盤”。當(dāng)用戶點(diǎn)擊了按鈕后，本地控制程序調(diào)用硬盤搜索程序，并告知它只搜索硬盤而不把用戶輸入的關(guān)鍵字/詞或NLDS提交給任何搜索引擎或網(wǎng)絡(luò)上的計(jì)算機(jī)。特別是當(dāng)用戶希望進(jìn)行本地文件的隱私查詢而不希望搜索引擎知道時(shí)，這種功能就非常有利。僅進(jìn)行硬盤檢索時(shí)，硬盤搜索的結(jié)果會(huì)顯示在一個(gè)帶有左面板的窗口中，左面板顯示了重要概念列表和其他的過濾條件，第二個(gè)面板顯示PC硬盤搜索的結(jié)果。整個(gè)情況如圖7所示。在一種實(shí)現(xiàn)中，當(dāng)按鈕“僅搜索硬盤”被點(diǎn)擊后，本地控制程序會(huì)在用戶計(jì)算機(jī)上顯示一個(gè)IE頁，如圖5所示，這同早期的搜索引擎界面類似，但輸入的關(guān)鍵字/詞只被用來搜索本機(jī)上的文件。另一種改進(jìn)的界面如圖12所示，這種界面提供了新的特性，包括把關(guān)鍵字/詞擴(kuò)展成概念，“可能用到的詞”，概念跟蹤和鏈接跟蹤。在另一種實(shí)現(xiàn)中，本地計(jì)算機(jī)連上網(wǎng)絡(luò)，硬盤搜索與本地搜索同時(shí)進(jìn)行，但是兩者的結(jié)果獨(dú)立，每個(gè)都有自己的文本區(qū)用來獲取用戶的關(guān)鍵字/詞輸入。
快速硬盤搜索使得任何人都可以方便地獲取計(jì)算機(jī)上的信息。一個(gè)未經(jīng)許可的用戶可以從計(jì)算機(jī)上迅速地找到一些私人信息。他所需要的時(shí)間只是不經(jīng)意的幾秒鐘。因此，有必要為這種私人信息加以保護(hù)以避免進(jìn)行硬盤檢索時(shí)此類信息被暴露。
一種實(shí)現(xiàn)方法是在進(jìn)行硬盤搜索前為硬盤搜索程序加上密碼或是使用其他的用戶認(rèn)證辦法，另一種實(shí)現(xiàn)方法足在搜索特定硬盤、分區(qū)、文件夾或文件時(shí)需要密碼或其他認(rèn)證方法。如果一個(gè)用戶輸入了正確的密碼或認(rèn)證信息，程序就會(huì)返回未受密碼保護(hù)以及特定受密碼保護(hù)的或認(rèn)證保護(hù)的硬盤、分區(qū)、文件夾或文件的搜索結(jié)果。否則，硬盤檢索程序只返回未受密碼保護(hù)的硬盤、分區(qū)、文件家伙文件的搜索結(jié)果。然而在另一種實(shí)現(xiàn)中，當(dāng)用戶輸入正確的密碼和認(rèn)證信息，硬盤檢索程序只返回受特定密碼保護(hù)或認(rèn)證保護(hù)的信息。還有一種實(shí)現(xiàn)方式是，硬盤搜索程序?qū)γ總€(gè)特定受密碼保護(hù)或認(rèn)證保護(hù)的硬盤、分區(qū)、文件夾或文件要求密碼或認(rèn)證信息，但是存在超級(jí)密碼或認(rèn)證，一旦輸入成功，搜索結(jié)果就將返回所有的信息，不論該信息是不是受保護(hù)。
在一個(gè)實(shí)現(xiàn)中，一個(gè)保護(hù)數(shù)據(jù)文件或一個(gè)保護(hù)數(shù)據(jù)庫用來存儲(chǔ)所有硬盤、硬盤分區(qū)、文件夾或文件。硬盤搜索程序或文件保護(hù)程序引用數(shù)據(jù)庫來決定是否需要密碼或某種用戶的授權(quán)來執(zhí)行搜索、顯示搜索結(jié)果、打開文件、修改文件、打印文件或執(zhí)行一個(gè)文件操作。硬盤搜索程序或文件保護(hù)程序能夠提供給用戶一個(gè)交互界面，用以添加、編輯或刪除保護(hù)數(shù)據(jù)文件或保護(hù)數(shù)據(jù)庫上的硬盤、硬盤分區(qū)、文件夾或文件。一個(gè)實(shí)現(xiàn)中，在進(jìn)行過一次硬盤搜索后，硬盤搜索程序詢問是否用戶想要保護(hù)任何硬盤、硬盤分區(qū)、文件夾或文件。如果用戶選擇保護(hù)一些硬盤、硬盤分區(qū)、文件夾或文件，它們會(huì)被添加到保護(hù)數(shù)據(jù)文件或保護(hù)數(shù)據(jù)庫。
在某些實(shí)現(xiàn)中，用戶對(duì)于搜索計(jì)算機(jī)上的某些特定信息的保護(hù)感興趣。在一個(gè)實(shí)現(xiàn)中，當(dāng)用戶使用確定的詞語、短語、句子或概念搜索信息時(shí)，或在搜索結(jié)果里顯示文件，而這個(gè)文件的文件名字、文件類型、屬性、作者、文本內(nèi)容或其他文本特征(指的全部為內(nèi)容)中包含確定的詞語、短語、句子或概念，硬盤搜索程序需要密碼或授權(quán)。在另一個(gè)實(shí)現(xiàn)中，這種通過文件內(nèi)容來保護(hù)文件的方去被更進(jìn)一步地?cái)U(kuò)展到文件保護(hù)程序，它基于其內(nèi)容來保護(hù)文件不受其他文件操作的影響。在這種擴(kuò)展的實(shí)現(xiàn)中，如果文件的文件名、文件類型、屬性、文本內(nèi)容或其他的至少匹配一條規(guī)則的文本特征中包含確定的詞語、短語、句子或概念，文件保護(hù)程序需要密碼或用戶的一種授權(quán)，目的是為了打開文件、修改文件、打印文件或執(zhí)行一個(gè)文件操作。
在一種實(shí)現(xiàn)中，保護(hù)數(shù)據(jù)文件或保護(hù)數(shù)據(jù)庫被用來存儲(chǔ)所有的詞語、短語、句子、概念和規(guī)則。硬盤搜索程序或文件保護(hù)程序查詢數(shù)據(jù)庫，決定是否需要密碼或用戶的某種授權(quán)來執(zhí)行搜索、顯示搜索結(jié)果、打開文件、修改文件、打印文件或執(zhí)行一個(gè)文件操作。硬盤搜索程序或文件保護(hù)程序能夠提供給用戶一個(gè)交互界面，用以添加、編輯或刪除保護(hù)數(shù)據(jù)文件或保護(hù)數(shù)據(jù)庫上的詞語、短語、句子、概念和規(guī)則。在一種實(shí)現(xiàn)中，硬盤完成搜索后，上述的交互界面詢問用戶是否需要保護(hù)這次搜索。如果用戶選擇保護(hù)這次搜索，這次硬盤搜索所用的關(guān)鍵字/詞就會(huì)被添加到保護(hù)數(shù)據(jù)文件或保護(hù)數(shù)據(jù)庫。在另外的實(shí)現(xiàn)中，硬盤搜索程序或文件保護(hù)程序能夠?qū)⒈Ｗo(hù)文件或保護(hù)數(shù)據(jù)庫中的詞語或短語拓展為概念，例如，將詞語或短語拓展，使其包含同義詞集合(synsets)，母類詞(hypernyms)，以及子類詞(hyponyms/troponyms)，在某種意義上，類似于這個(gè)發(fā)明中1.2節(jié)所描述的關(guān)鍵字/詞到概念的拓展方法。
在以上的實(shí)現(xiàn)中，為了保護(hù)信息不被非授權(quán)用戶執(zhí)行的硬盤搜索所查找到，硬盤搜索程序可以在它搜索特定硬盤、硬盤分區(qū)、文件夾、關(guān)鍵字/詞或概念之前，要求用戶輸入密碼或用戶的授權(quán)。另一個(gè)選擇，硬盤搜索程序可以搜索所有硬盤，包括受保護(hù)的硬盤、硬盤分區(qū)或文件夾，或使用受保護(hù)的關(guān)鍵字/詞或概念搜索，而不需要用戶的密碼或授權(quán)。搜索后，如果從受保護(hù)的硬盤、硬盤分區(qū)或文件夾中檢索到了文件，或，如果通過使用受保護(hù)的關(guān)鍵字/詞或概念來搜索而檢索到了文件，那么，硬盤搜索程序在顯示包含受保護(hù)的關(guān)鍵字/詞或概念的文件之前，需要輸入密碼或用戶的授權(quán)。如果用戶不輸入密碼或授權(quán)，硬盤搜索程序不會(huì)返回受保護(hù)的硬盤、硬盤分區(qū)或文件夾上的搜索結(jié)果，或不返回包含受保護(hù)的關(guān)鍵字/詞或概念的文件。
本發(fā)明的信息保護(hù)實(shí)現(xiàn)提供了一種保護(hù)信息的新方法，該方法包括將一或多個(gè)文件或其部分的一或多個(gè)特性、信息元或內(nèi)容的描述保存在一個(gè)集合里(稱為甲集)；含有甲集部分或全部信息的文件或其部分形成另一個(gè)集合(稱為乙集)，要求用戶通過一或多個(gè)保護(hù)措施才允許用戶讀或?qū)懸壹锏奈募蚱洳糠只虻玫皆谝壹锏奈募蚱洳糠值男畔ⅰ?br> 上述的方法還可進(jìn)一步包括下列一項(xiàng)或多項(xiàng)允許用戶讀或?qū)懸壹锏奈募蚱洳糠只虻玫皆谝壹锏奈募蚱洳糠值男畔⑹菫橛脩暨M(jìn)行一個(gè)搜索，并包括將用戶提供的對(duì)此搜索的描述和甲集的信息相比較以決定是否要求用戶通過一或多個(gè)保護(hù)措施才進(jìn)行此搜索；甲集進(jìn)一步包括一或多個(gè)規(guī)則以決定用戶可對(duì)含有甲集部分或全部信息的文件進(jìn)行哪些操作；檢查并標(biāo)記一或多個(gè)文件是否含有甲集部分或全部信息，將標(biāo)記為含有甲集部分或全部信息的文件加入乙集。
5.鏈接與概念跟蹤使用以前的搜索引擎在互聯(lián)網(wǎng)上要達(dá)到廣而精的搜索，用戶通常需要在計(jì)算機(jī)前浪費(fèi)大量的時(shí)間。用戶需要跟蹤使用原始關(guān)鍵字/詞搜索到的結(jié)果中的網(wǎng)頁上的鏈接或文件，在其中找到新的關(guān)鍵字/詞，等待下載大的文件。本發(fā)明通過自動(dòng)識(shí)別鏈接和重要的關(guān)鍵字/詞或概念并跟蹤，自動(dòng)跟蹤并下載大的文件到用戶計(jì)算機(jī)，而不需要用戶的參與，從而使這一搜索過程自動(dòng)化。這擴(kuò)大了搜索范圍，可以檢索到那些潛在的有用的信息，而這些信息有可能被以前的搜索引擎技術(shù)所忽略掉。使用以前章節(jié)描述的本發(fā)明的方法，擴(kuò)展的搜索結(jié)果可被分析、提取概念、排序、組織、過濾和圖示化。因此，本發(fā)明不僅在更大的范圍內(nèi)檢索到了更多的信息，擴(kuò)展了搜索范圍，而且為用戶提供了分析和圖示法工具，用以從海量的信息中提取到有用的信息。同時(shí)，許多瀏覽網(wǎng)頁工作是自動(dòng)的，這樣就節(jié)約了用戶的時(shí)間并提高了效率。所有的工作都可以在用戶做其他工作或閱讀網(wǎng)頁時(shí)在后臺(tái)被執(zhí)行。
在一種實(shí)現(xiàn)，一個(gè)自動(dòng)瀏覽程序提供給用戶一個(gè)交互界面，使用戶能夠選擇概念跟蹤的深度和鏈接跟蹤的深度，例如116和118，或316和318，或1216和1218所示。假設(shè)用戶輸入了原始的搜索關(guān)鍵字/詞并選擇了概念和鏈接跟蹤的深度D。自動(dòng)瀏覽程序需首先利用原始關(guān)鍵字/詞檢索網(wǎng)絡(luò)搜索結(jié)果。然后，提取到K個(gè)最重要的概念或來自于每個(gè)網(wǎng)頁或文件的重要的鏈接，這些網(wǎng)頁或文件以搜索引擎的搜索結(jié)果的排列為順序或以用戶選擇的格式排序，這樣重要的概念或重要的鏈接都首先是從排序最高的網(wǎng)頁或文件上提取出來。參數(shù)K是一個(gè)正整數(shù)，它可以被設(shè)置為默認(rèn)值或由用戶選擇。重要的概念或重要的鏈接可以在搜索之前由搜索引擎預(yù)提取并排序，或通過下載并分析搜索結(jié)果頁，在用戶本地的計(jì)算機(jī)上提取和排序，或通過預(yù)處理和搜索時(shí)處理或搜索引擎處理和本地計(jì)算機(jī)處理的聯(lián)合來提取和排序。在概念跟蹤中，自動(dòng)搜索程序使用從每個(gè)網(wǎng)頁或文件提取出的K個(gè)重要概念來執(zhí)行額外的網(wǎng)絡(luò)搜索。這些網(wǎng)絡(luò)搜索叫做一級(jí)或深度1概念跟蹤。從一級(jí)概念跟蹤中得到的網(wǎng)絡(luò)搜索結(jié)果被添加到搜索結(jié)果中。自動(dòng)瀏覽程序從每個(gè)網(wǎng)頁或文件提取到K個(gè)最重要的概念，在某種程度上類似于用于概念過濾的重要概念抽取，然后把這些抽取出的重要概念作為關(guān)鍵字/詞，再來進(jìn)一步執(zhí)行網(wǎng)絡(luò)搜索。這些網(wǎng)絡(luò)搜索叫做第二級(jí)或深度2概念跟蹤。上述過程對(duì)于使用原始搜索關(guān)鍵字/詞搜索到的網(wǎng)頁或文件，對(duì)于D級(jí)或深度D來說，每個(gè)概念跟蹤結(jié)果里的網(wǎng)頁或文件要重復(fù)執(zhí)行，直到全部重要概念都被跟蹤，直到用戶終止該過程后停止。D是一個(gè)正整數(shù)，它可以被設(shè)置為默認(rèn)值或由用戶選擇。
在一種實(shí)現(xiàn)，一個(gè)自動(dòng)搜索程序使用與概念過濾時(shí)的重要概念提取及CPM同樣的排序來選取用于概念跟蹤的K個(gè)重要概念。描述這些重要概念的關(guān)鍵字/詞或短語在概念跟蹤過程的搜索中被用作搜索關(guān)鍵字/詞。有另外一種實(shí)現(xiàn)，組C和與組E中最少出現(xiàn)的字和短語排在較高的位置上，因?yàn)樗鼈兏赡軘U(kuò)展原始搜索的結(jié)果，這些結(jié)果與原始的搜索關(guān)鍵字/詞相關(guān)，卻與原始關(guān)鍵字/詞不在同一概念范圍。概念跟蹤能夠成為一種強(qiáng)有力的自動(dòng)瀏覽方法，例如，假設(shè)用戶想要使用原始搜索關(guān)鍵字/詞(無線網(wǎng)絡(luò)安全wireless network security)調(diào)查有關(guān)無線網(wǎng)絡(luò)安全的技術(shù)和發(fā)明，搜索結(jié)果可能包含概念或關(guān)鍵字/詞(802.11i)，(WPA)，(WAPI)，(網(wǎng)絡(luò)接入控制network access control)，(802.1X)，(共鑰加密public keyencryption)，有名氣的和新創(chuàng)辦的公司的名字等。使用以前的搜索引擎，用戶可能需要閱讀并手動(dòng)地點(diǎn)擊鏈接，察看是否有感興趣的內(nèi)容，這可能浪費(fèi)大量時(shí)間，并且經(jīng)常忘記哪些途徑已經(jīng)查看過，哪些途徑還沒有查看過。更重要地，一些潛在的非常有用的途徑可能根本沒有被跟蹤到。這個(gè)發(fā)明將能自動(dòng)地跟蹤這些基于重要概念的鏈接，向用戶給出大量的擴(kuò)展的搜索結(jié)果，并且，使用本發(fā)明的過濾、排序和CPM實(shí)現(xiàn)可以將搜索結(jié)果過濾、再排序和圖示化。本發(fā)明可以比基于知識(shí)庫和領(lǐng)域定義和關(guān)系知識(shí)庫(Domain Ontology)的技術(shù)更加高效，因?yàn)榫W(wǎng)絡(luò)搜索結(jié)果能夠快速地引入新的進(jìn)展和正發(fā)生的事件，而升級(jí)知識(shí)庫和領(lǐng)域定義和關(guān)系知識(shí)庫(Domain Ontology)需要花費(fèi)相當(dāng)長(zhǎng)的時(shí)間。在上面提到的無線網(wǎng)絡(luò)安全例子中，本發(fā)明的網(wǎng)絡(luò)搜索結(jié)果能夠快速地包括新創(chuàng)辦公司的新產(chǎn)品，政府部門制定的新規(guī)則，或工業(yè)標(biāo)準(zhǔn)的新進(jìn)展等。在很長(zhǎng)一段時(shí)間內(nèi)，這些都可能不會(huì)包含到知識(shí)庫和領(lǐng)域定義和關(guān)系知識(shí)庫(Domain Ontology)中。
有另一種實(shí)現(xiàn)，在概念跟蹤中，需要知道搜索關(guān)鍵字/詞才可進(jìn)行的重要概念提取和排序以及相關(guān)性排序都被忽略掉。跟蹤位于k級(jí)(level-k)的每個(gè)重要概念所得到的搜索結(jié)果被看作一個(gè)k級(jí)搜索結(jié)果池(level-k pool)。這些k級(jí)池中的搜索結(jié)果和提取出的概念在池中排序，在這種情況下，忽略了需要知道搜索關(guān)鍵字/詞的重要概念的提取和排序以及相關(guān)性排序。然后，多個(gè)k級(jí)池的搜索結(jié)果和提取出概念被組合在一起，并且計(jì)算這個(gè)所有搜索結(jié)果組合中每個(gè)網(wǎng)頁或文件，或重要概念的最終排序。從跟蹤一個(gè)重要概得到的在k級(jí)池中的網(wǎng)頁或文件，或重要概念的最終排序可如下計(jì)算最終排序＝(產(chǎn)生此池的概念的排序)*(池中的網(wǎng)頁或文件，或重要概念的排序)對(duì)于第二級(jí)概念跟蹤中的網(wǎng)頁來說，這個(gè)公式意味著這個(gè)概念搜索軌跡上的所有重要概念的排序?qū)?huì)被鏈接在一起最終排序＝(原始搜索結(jié)果中的重要概念甲的排序)*(用重要概念甲作為搜索關(guān)鍵字/詞串得到的搜索結(jié)果中概念乙的排序)*(用重要概念乙作為搜索關(guān)鍵字/詞串得到的搜索結(jié)果中的網(wǎng)頁或文件，或重要概念的排序)本發(fā)明可用最終排序選擇下一級(jí)的鏈接跟蹤中所要跟蹤的重要概念，以及選取包含在412或612的列表中的重要概念。在另外的一種實(shí)現(xiàn)中，在概念跟蹤中用來做第一搜索關(guān)鍵字/詞的第一個(gè)重要概念在提取和排序重要概念中被當(dāng)作搜索關(guān)鍵字/詞，這些重要概念依賴于在通過第一搜索關(guān)鍵字/詞檢索到的搜索結(jié)果池中的搜索關(guān)鍵字/詞。最終的網(wǎng)頁或文件排序，或所有搜索結(jié)果組合中的重要概念能夠用與上面同樣的方式計(jì)算出來，除了使用在提取和排序重要概念中的第一搜索關(guān)鍵字/詞計(jì)算池內(nèi)排序。
在鏈接跟蹤中，自動(dòng)搜索程序檢索出第一組網(wǎng)頁和文件，這些網(wǎng)頁和文件通過從利用原始搜索關(guān)鍵字/詞搜索到的結(jié)果中的網(wǎng)頁或文件里提取到的K個(gè)重要鏈接所指向，并且將第一組網(wǎng)頁和文件以及他們的摘要(如果需要的話)添加到網(wǎng)絡(luò)搜索結(jié)果中。這叫做第一級(jí)鏈接跟蹤或深度1鏈接跟蹤。然后自動(dòng)搜索程序從第一組網(wǎng)頁和文件中提取出至多K個(gè)重要鏈接，檢索出第二組網(wǎng)頁和文件，這些文件由從第一組中的網(wǎng)頁和文件中提取出的重要鏈接所指向。將第二組網(wǎng)頁和文件以及他們的摘要(如果需要的話)添加到網(wǎng)絡(luò)搜索結(jié)果中。這叫做第二級(jí)鏈接跟蹤，或深度2鏈接跟蹤。上述過程對(duì)每個(gè)使用原始搜索關(guān)鍵字/詞搜索到的結(jié)果中的網(wǎng)頁或文件重復(fù)執(zhí)行，對(duì)于D級(jí)或深度D，直到完成每個(gè)鏈接跟蹤結(jié)果中的網(wǎng)頁和文件，或直到跟蹤全部重要鏈接，或直到用戶終止了這個(gè)過程。
在另外一種實(shí)現(xiàn)下，重要概念和需要搜索關(guān)鍵字/詞知識(shí)的相關(guān)性排序的提取和排序規(guī)則在鏈接跟蹤中被忽略掉。跟蹤位于k級(jí)(level-k)的鏈接跟蹤的每個(gè)重要鏈接所得到的搜索結(jié)果被看作一個(gè)搜索結(jié)果的k級(jí)池(level-k pool)。這些k級(jí)池中的搜索結(jié)果和提取出的重要鏈接在池中排序，在這種情況下，忽略掉重要概念，重要鏈接和需要搜索關(guān)鍵字/詞知識(shí)的相關(guān)性排序的提取和排序。然后，搜索結(jié)果和提取出的重要鏈接的k級(jí)池就被組合在一起，并且計(jì)算所有k級(jí)搜索結(jié)果組合中的重要鏈接的最終排序。跟蹤重要鏈接的k級(jí)池中的重要鏈接的最終排序?yàn)樽罱K排序＝(產(chǎn)生此池的鏈接的排序)*(池中的鏈接的排序)。
對(duì)于第k級(jí)鏈接跟蹤中的網(wǎng)頁來說，這個(gè)公式意思是這個(gè)概念搜索軌跡上的所有重要鏈接的排序?qū)?huì)被鏈接在一起。最終的排序用來選取在下一級(jí)鏈接跟蹤中所要跟蹤的重要鏈接。
為了控制一個(gè)搜索使用的處理器信息源總量，除了概念或鏈接跟蹤的深度外，自動(dòng)瀏覽程序也可以限制跟蹤的重要概念或重要鏈接的總數(shù)，例如，至多M個(gè)重要概念或重要鏈接，這里M是一個(gè)正整數(shù)，并且可以設(shè)為默認(rèn)值或由用戶選定。這就叫做概念跟蹤和鏈接跟蹤的寬度。有一種實(shí)現(xiàn)，自動(dòng)瀏覽程序首先使用原始搜索關(guān)鍵字/詞檢索網(wǎng)絡(luò)搜索結(jié)果。然后從每個(gè)網(wǎng)頁或文件中提取至多M個(gè)排在最前的重要概念或重要鏈接。這個(gè)提取可以做完搜索結(jié)果中所有的網(wǎng)頁和文件，或僅僅做完排在搜索結(jié)果最前的網(wǎng)頁和文件。提取出重要概念或重要鏈接的網(wǎng)頁和文件集合叫做提取集。在另外一種概念跟蹤的實(shí)現(xiàn)下，自動(dòng)搜索程序匯集所有從每個(gè)頁或文件中提取出的重要概念，刪除副本和子集概念，并對(duì)剩下的重要概念重排序，其形式與引入到重要概念列表(List of Important Concepts LIC)中的最靠前的N個(gè)重要概念的選擇相同。然后，用排序靠前的M個(gè)重要概念作為搜索關(guān)鍵字/詞，執(zhí)行額外的網(wǎng)絡(luò)搜索。這些網(wǎng)絡(luò)搜索叫做第一級(jí)或深度1概念跟蹤。第一級(jí)的網(wǎng)概念跟蹤搜索結(jié)果添加到搜索結(jié)果中。然后自動(dòng)瀏覽程序以類似于上述的方式從每個(gè)網(wǎng)頁或文件提取至多M個(gè)最靠前的重要概念，匯集所有從每個(gè)頁或文件中提取的重要概念，刪除副本和自己概念，并以上述相同方式對(duì)剩下的重要概念重排序。然后，用排序靠前的M個(gè)重要概念作為搜索關(guān)鍵字/詞，執(zhí)行額外的網(wǎng)絡(luò)搜索。這些網(wǎng)絡(luò)搜索叫做第二級(jí)或深度2概念跟蹤。以上過程重復(fù)直到D級(jí)或深度D為止。
鏈接跟蹤的另外一種實(shí)現(xiàn)，自動(dòng)搜索程序從每個(gè)原始搜索結(jié)果里的網(wǎng)頁或文件中提取至多M個(gè)排序靠前的重要鏈接。自動(dòng)瀏覽程序匯集從來自于提取集里每個(gè)網(wǎng)頁或文件中的重要鏈接，將其排序，并提取出至多M個(gè)排序靠前的用于鏈接跟蹤的重要鏈接。然后自動(dòng)搜索程序檢索出第一組由排在上面提到的M個(gè)最前面的重要鏈接所指向的網(wǎng)頁和文件，并將第一組網(wǎng)頁和文件以及他們的摘要(如果需要的話)加入到網(wǎng)絡(luò)搜索結(jié)果中。這叫做第一級(jí)鏈接跟蹤或深度1鏈接跟蹤。然后自動(dòng)搜索程序從第一組網(wǎng)頁和文件或第一組的子集中提取出至多M個(gè)重要鏈接，每個(gè)都作為一個(gè)提取集。自動(dòng)瀏覽程序匯集從來自于提取集里每個(gè)網(wǎng)頁或文件中的重要鏈接，將其排序，并提取出至多M個(gè)排序靠前的用于鏈接跟蹤的重要鏈接。然后自動(dòng)搜索程序檢索出第二組由排在上面提到的M個(gè)最前面的重要鏈接所指向的網(wǎng)頁和文件，并將第二組網(wǎng)頁和文件以及他們的摘要(如果需要的話)加入到網(wǎng)絡(luò)搜索結(jié)果中。這叫做第二級(jí)鏈接跟蹤或深度2鏈接跟蹤。以上過程重復(fù)到D級(jí)或深度D為止。
有一種實(shí)現(xiàn)，自動(dòng)搜索程序通過排序網(wǎng)頁或文件里的鏈接來決定跟蹤什么鏈接。首先，選取主框架中的鏈接。一個(gè)鏈接的排位由提取出的與此鏈接語義上相近的重要概念的排位決定。鏈接的排位由下面的過程確定1.如果URL鏈接是指向一個(gè)字串、或短語、或包含一個(gè)提取的重要概念的句子的超鏈接，鏈接與重要概念的排位相同，否則，2.如果URL鏈接和一重要概念在同一句，鏈接與重要概念的排位相同，否則，3.如果URL鏈接和一重要概念在同一段落，鏈接的排位是重要概念排位的0.7倍，否則，4.如果URL鏈接和一重要概念在同一章節(jié)，鏈接的排位是重要概念排位的0.5倍，否則，5.如果URL鏈接和一重要概念在同一幀，鏈接的排位是重要概念排位的0.3倍。
從用于鏈接跟蹤的網(wǎng)頁和文件中提取K個(gè)重要鏈接的實(shí)現(xiàn)時(shí)，K個(gè)鏈接能被分配給6組概念，分別命名為A到F，使用與用于概念過濾得重要概念提取的百分比相同的比率。然后這K個(gè)鏈接用于跟蹤。如果K＜6，可以忽略提取的與某些重要概念組相關(guān)的重要鏈接。
從位于鏈接跟蹤的每一級(jí)或深度的所有網(wǎng)頁和文件中提取總計(jì)M個(gè)重要鏈接的實(shí)現(xiàn)，M個(gè)排列在最前面的重要鏈接是從每個(gè)網(wǎng)頁或文件中提取出來的，并且添加到一個(gè)提取重要鏈接池中。刪除鏈接副本。剩下的重要鏈接由下面的公式排序鏈接j的鏈接排序＝LR(j)＝e*10*max{Na(j)，(Nt-Na(j))}/Nt+f*{∑所有含鏈接j的頁P(yáng)R(k)}/Na(j)其中e＞0，f＞0，e+f＝1，Nt是在提取集中的網(wǎng)頁或文件的總數(shù)，Na(j)是包含鏈接j的Nt集合中的頁總數(shù)。注意到，Na(j)＞0，因?yàn)橹辽僖粋€(gè)網(wǎng)頁或文件必須包含一個(gè)被接受的鏈接。還注意到，對(duì)于所有鏈接，LR(j)的最大值是10。這個(gè)排序公式將特別常用的和特別不常用的鏈接都進(jìn)行了排序。然后，選取排在最前的M個(gè)重要鏈接作為鏈接跟蹤。
為了減少用戶等待結(jié)果的時(shí)間，概念跟蹤和鏈接跟蹤過程都是能改進(jìn)的，也就是說，顯示一部分結(jié)果給用戶，同時(shí)自動(dòng)瀏覽程序繼續(xù)按特定的寬度和深度執(zhí)行概念跟蹤和鏈接跟蹤。一旦得到了新的概念跟蹤或鏈接跟蹤結(jié)果，他們就被添加到搜索結(jié)果中，顯示給用戶。通過其它過濾特征由重要概念過濾，以及CPM可以在部分結(jié)果上運(yùn)行，并且當(dāng)獲得了新的結(jié)果后他們可以不斷地升級(jí)更新。
重要概念和鏈接的提取和跟蹤能夠在搜索引擎服務(wù)器上執(zhí)行，或在用戶本地計(jì)算機(jī)上執(zhí)行。在搜索引擎服務(wù)器端執(zhí)行的優(yōu)點(diǎn)是絕大部分的搜索結(jié)果不需要下載到用戶的PC上，并且可以預(yù)先提取和排序一部分或所有的重要鏈接和概念，因此，在檢索搜索中的網(wǎng)頁和文件中，可以立即獲得它們。自動(dòng)瀏覽程序僅下載大文件到用戶的PC，這些大文件排位高，并且需要額外的下載時(shí)間。由于概念跟蹤和鏈接跟蹤可能依賴于用戶在原始搜索中使用的搜索關(guān)鍵字/詞，一些重要概念和重要鏈接的提取的排序需要在搜索引擎服務(wù)器搜索時(shí)執(zhí)行。這種情況增加了搜索引擎服務(wù)器端的工作量。當(dāng)有上百萬用戶執(zhí)行自動(dòng)概念跟蹤和鏈接跟蹤時(shí)，這就需要占用搜索引擎非常高的處理器信息源。在本地計(jì)算機(jī)運(yùn)行的優(yōu)點(diǎn)是它利用了大量可獲得的寬帶連接，海量的存儲(chǔ)器和幾百萬PC中的快速的處理器。然而它需要下載所有的或大量的搜索結(jié)果到用戶本地計(jì)算機(jī)，并且重要概念和重要鏈接的提取只能在搜索時(shí)執(zhí)行，因此，增加了執(zhí)行概念跟蹤和鏈接跟蹤的時(shí)間。有一種綜合的實(shí)現(xiàn)，它組合了以上兩種實(shí)現(xiàn)的優(yōu)點(diǎn)。在這種情況中，搜索引擎預(yù)先為每個(gè)網(wǎng)頁利文件提取并排序一部分或所有重要鏈接和重要概念，保存它們和一些壓縮的上下文，用來為每個(gè)網(wǎng)頁和文件提取和排序到一個(gè)文件中。在搜索時(shí)，在用戶PC上運(yùn)行的自動(dòng)瀏覽程序下載這些帶有預(yù)提取得重要鏈接和重要概念的文件，以及他們壓縮的每個(gè)網(wǎng)頁和文件的上下文?；谠妓阉髦惺褂玫乃阉麝P(guān)鍵字/詞分析他們，計(jì)算依賴于搜索關(guān)鍵字/詞的概念排序和鏈接排序中的組分，并通過闡述的搜索執(zhí)行自動(dòng)瀏覽，將它們提交到搜索引擎并檢索結(jié)果。它僅下載網(wǎng)頁和文件，對(duì)于這些網(wǎng)頁和文件，需要額外的重要鏈接和重要概念提取與排序。
本發(fā)明的概念或其它特征或信息元的提取、搜索結(jié)果過濾、鏈接與概念跟蹤的實(shí)現(xiàn)提供了一種新的信息搜索方法，該方法包括稱一個(gè)含有一或多個(gè)文件或其部分的集合為乙集，從乙集里提取一或多個(gè)信息元，稱以此一或多個(gè)信息元形成的集合為甲集；從甲集中選出一或多個(gè)信息元并形成丙集；用丙集去獲取另一個(gè)含有一或多個(gè)文件或其部分的集合(稱這個(gè)集合為丁集)。
上述的方法還可進(jìn)一步包括下列一項(xiàng)或多項(xiàng)從乙集里提取一或多個(gè)信息元形成甲集時(shí)使用下列一項(xiàng)或多項(xiàng)來決定提取哪些信息源字/詞或短語的列單、句型的列單、概念或意義的列單、字/詞或信息元和上述的一或多個(gè)列單里的項(xiàng)的關(guān)系、字/詞或信息元的位置或格式或上下文、字/詞或信息元在文本里的角色、信息元是基于哪些準(zhǔn)則鑒別出來的、以及信息元屬于哪個(gè)類別；乙集是一個(gè)搜索的結(jié)果(稱此搜索為甲搜索)，甲搜索是由一或多個(gè)描述定義的；當(dāng)乙集是一個(gè)由一或多個(gè)描述定義的甲搜索的結(jié)果時(shí)，從乙集里提取一或多個(gè)信息元形成甲集時(shí)使用下列方法之一(1).一或多個(gè)搜索引擎利用一或多個(gè)信息元和定義甲搜索的一或多個(gè)描述的相關(guān)性從乙集提取一或多個(gè)信息元形成甲集，(2).一或多個(gè)搜索引擎在甲搜索以前就從存在搜索引擎的部分或全部文件里預(yù)先提取一或多個(gè)信息元，當(dāng)甲搜索時(shí)，用戶的計(jì)算機(jī)從一或多個(gè)搜索引擎下載乙集文件所包含的預(yù)先提取的一或多個(gè)信息元，用戶的計(jì)算機(jī)利用下載的一或多個(gè)信息元和定義甲搜索的一或多個(gè)描述的相關(guān)性來決定由哪些信息元形成甲集，(3).當(dāng)甲搜索時(shí)，用戶的計(jì)算機(jī)從一或多個(gè)搜索引擎下載部分或全部搜索結(jié)果，并從其中提取一或多個(gè)信息元形成甲集；當(dāng)乙集是一個(gè)由一或多個(gè)描述定義的甲搜索的結(jié)果時(shí)，從甲集中選出一或多個(gè)信息元形成丙集包括提供一個(gè)用戶接口，讓用戶選擇甲集中一或多個(gè)信息元，以用戶的選擇形成丙集，并且用丙集去獲取丁集包括把丙集和定義甲搜索的一或多個(gè)描述一起當(dāng)作定義另一個(gè)搜索(稱此搜索為乙搜索)的描述交給一或多個(gè)搜索程序進(jìn)行乙搜索，并由乙搜索的結(jié)果或其部分形成丁集；當(dāng)乙集是一個(gè)由一或多個(gè)描述定義的甲搜索的結(jié)果時(shí)，從甲集中選出一或多個(gè)信息元形成丙集包括提供一個(gè)用戶接口，讓用戶選擇甲集中一或多個(gè)信息元并可將每個(gè)選中的信息元可設(shè)為存在項(xiàng)或不存在項(xiàng)，以用戶的選擇形成丙集，并且用丙集去獲取丁集包括把丙集和定義甲搜索的一或多個(gè)描述一起當(dāng)作定義乙搜索的描述交給一或多個(gè)搜索程序進(jìn)行乙搜索以搜索含有丙集中設(shè)為存在項(xiàng)的信息元而且不含有丙集中設(shè)為不存在項(xiàng)的信息元的文件或其部分，并由乙搜索的結(jié)果或其部分形成丁集；從甲集中選出一或多個(gè)信息元形成丙集時(shí)基于對(duì)甲集中一或多個(gè)信息元的排序進(jìn)行的；甲集中一或多個(gè)信息元是概念，從甲集中選出一或多個(gè)信息元形成丙集包括選擇以或多個(gè)概念，用丙集去獲取丁集包括把丙集中的概念交給一或多個(gè)搜索程序進(jìn)行乙搜索以搜索含有丙集中的概念的文件或其部分，并由乙搜索的結(jié)果或其部分形成丁集；從丁集中提取一或多個(gè)概念，并多次重復(fù)以上方法；甲集中一或多個(gè)信息元是鏈接，從甲集中選出一或多個(gè)信息元形成丙集包括選擇以或多個(gè)鏈接，用丙集去獲取丁集包括把丙集中的鏈接指向的文件或其部分納入丁集；從丁集中提取一或多個(gè)鏈接，并多次重復(fù)以上方法。
6.監(jiān)視站點(diǎn)與監(jiān)視搜索本發(fā)明也可對(duì)選中的網(wǎng)站點(diǎn)或網(wǎng)頁進(jìn)行自動(dòng)監(jiān)視，并可在一段時(shí)間內(nèi)對(duì)用戶定義的搜索題目多次進(jìn)行搜索(稱為保持搜索活躍)，從而監(jiān)視并探測(cè)與該題目相關(guān)的信息改變和新信息。在一種實(shí)現(xiàn)中，本發(fā)明的用戶界面程序顯示了使用搜索關(guān)鍵字/詞甲得到的搜索結(jié)果后，用戶界面為每個(gè)搜索結(jié)果提供一個(gè)選項(xiàng)框“監(jiān)視此網(wǎng)頁”。當(dāng)用戶選擇了一個(gè)網(wǎng)頁的此選項(xiàng)框，用戶界面程序顯示一個(gè)小窗口，請(qǐng)求用戶指定他想監(jiān)視網(wǎng)頁的時(shí)間段，以及指定本發(fā)明的頁/站點(diǎn)監(jiān)視程序檢查頁變化的頻率。時(shí)間段和監(jiān)視頻率可以在下拉菜單或在文本框或選項(xiàng)框中選擇。舉例來說，用戶可以指定監(jiān)視器在1周、1個(gè)月、x個(gè)月的時(shí)間段內(nèi)，每隔2小時(shí)檢查一次，一天檢查一次，一周檢查一次等。可以設(shè)置默認(rèn)值，例如，一個(gè)月內(nèi)每天都檢查。它也提供選項(xiàng)選擇“把監(jiān)視擴(kuò)展到同一目錄下的所有網(wǎng)頁”，“監(jiān)視此網(wǎng)頁和鏈接到此網(wǎng)頁的所有網(wǎng)頁”，“監(jiān)視此網(wǎng)頁和此網(wǎng)頁鏈接到的所有網(wǎng)頁”和“把監(jiān)視擴(kuò)展到整個(gè)網(wǎng)站”等。用戶界面程序也可以讓用戶選擇當(dāng)網(wǎng)頁有變化時(shí)怎樣通知他。例如，小窗口提供給用戶一個(gè)選項(xiàng)，用戶可以輸入電子郵件地址，這樣頁/站點(diǎn)監(jiān)視程序在檢查到變化時(shí)可以給用戶發(fā)送電子郵件。還有一個(gè)選擇，有一個(gè)單選框，可以在桌面通知用戶。當(dāng)選定這個(gè)選項(xiàng)后，頁/站點(diǎn)監(jiān)視程序會(huì)在用戶屏幕上彈出一個(gè)提示窗口，通知用戶監(jiān)視的頁發(fā)生了變化。
針對(duì)每個(gè)被監(jiān)視的網(wǎng)頁，一個(gè)網(wǎng)頁/網(wǎng)站監(jiān)視程序?qū)⒂?jì)算和存儲(chǔ)一組校驗(yàn)和、或數(shù)字摘要，例如，為它將為每一個(gè)網(wǎng)頁使用CRC32，MD5，SHA-1。經(jīng)過一個(gè)特定的時(shí)間間隔，控制程序?qū)⒓せ罹W(wǎng)頁/網(wǎng)站監(jiān)視程序，由監(jiān)視程序下載那些被監(jiān)視的網(wǎng)頁，再次為每個(gè)網(wǎng)頁計(jì)算校驗(yàn)和、或數(shù)字摘要并與存儲(chǔ)的舊數(shù)據(jù)進(jìn)行比較。如果網(wǎng)頁/網(wǎng)站監(jiān)視程序發(fā)現(xiàn)新舊數(shù)據(jù)不一致，則發(fā)送一個(gè)提示或電子郵件讓用戶得知被監(jiān)視的東西已經(jīng)改變。監(jiān)視程序再將新的數(shù)據(jù)和摘要存儲(chǔ)下來。如果沒有改變，則網(wǎng)頁/網(wǎng)站監(jiān)視程序不作動(dòng)作。在下一個(gè)時(shí)間間隔末尾網(wǎng)頁/網(wǎng)站監(jiān)視程序再次被觸發(fā)，同樣的過程將被重復(fù)直到整個(gè)監(jiān)視過程結(jié)束。網(wǎng)頁/網(wǎng)站監(jiān)視程序也會(huì)詢問用戶是否延長(zhǎng)監(jiān)視時(shí)間。在另一種實(shí)現(xiàn)中，網(wǎng)頁/網(wǎng)站監(jiān)視程序也允許用戶將需要被監(jiān)視的網(wǎng)頁或網(wǎng)站輸入到一個(gè)列表。通過這種方法，這個(gè)發(fā)明可以為用戶自動(dòng)監(jiān)視網(wǎng)頁或網(wǎng)站而不需要用戶人工地多次啟動(dòng)搜索。如上述，在同一個(gè)用戶界面上也可以供用戶選擇修改監(jiān)視時(shí)間、頻率、監(jiān)視網(wǎng)頁的范圍。
在另一種實(shí)現(xiàn)當(dāng)中，用戶在使用關(guān)鍵字/詞乙進(jìn)行搜索之前，可以使用110或312選擇保持此搜索活躍的開始和終止日期。這樣的搜索稱為持續(xù)搜索。如果沒有指定開始日期，則默認(rèn)到搜索第一次進(jìn)行的日期。相類似的，用戶也可以在這個(gè)界面上選擇一個(gè)長(zhǎng)為X周或X月的時(shí)間段。在另一種實(shí)現(xiàn)當(dāng)中，用戶界面的工具欄或?qū)傩皂?xiàng)目中提供一個(gè)“保持搜索活躍”的按鈕。在本發(fā)明的用戶界面程序顯示了用戶使用關(guān)鍵字/詞乙進(jìn)行搜索的結(jié)果后，用戶可以點(diǎn)擊工具欄上的“保持搜索活躍”按鈕或?qū)傩圆藛卫锏摹氨３炙阉骰钴S”項(xiàng)。這種情況下，用戶界面程序顯示一個(gè)含有一個(gè)屬性項(xiàng)“保持搜索活躍X天(周或月)”的窗口。用戶在框中輸入一個(gè)數(shù)字或在下拉菜單中選擇日、周或月。在上述的兩種實(shí)現(xiàn)中，一個(gè)持續(xù)搜索程序?qū)?huì)計(jì)算和存儲(chǔ)搜索引擎返回的搜索結(jié)果中的每個(gè)網(wǎng)頁的校驗(yàn)和、或數(shù)字摘要，例如，使用CRC32，MD5，SHA-1。經(jīng)過指定的時(shí)間間隔，一個(gè)控制程序激活持續(xù)搜索程序，并由它向搜索引擎提交關(guān)鍵字/詞乙并進(jìn)行新的搜索。持續(xù)搜索程序從搜索引擎獲得新的搜索結(jié)果。它重新計(jì)算上述的校驗(yàn)和、或數(shù)字摘要，并與原先存儲(chǔ)的數(shù)據(jù)相比較。如果持續(xù)搜索程序發(fā)現(xiàn)兩者間有改變，則發(fā)送一個(gè)通知或電子郵件讓用戶得知被監(jiān)視的信息已經(jīng)改變。持續(xù)搜索程序再將新的校驗(yàn)和和摘要存儲(chǔ)下來。如果沒有改變，則持續(xù)搜索程序不做動(dòng)作。在下一個(gè)時(shí)間間隔末尾網(wǎng)頁/網(wǎng)站監(jiān)視程序再次被觸發(fā)，同樣的過程將被重復(fù)直到整個(gè)監(jiān)視過程結(jié)束。持續(xù)搜索程序也會(huì)詢問用戶是否要增長(zhǎng)持續(xù)搜索的時(shí)間。上述的方法監(jiān)視在搜索結(jié)果列表中是否有新的網(wǎng)頁或文件，也監(jiān)視網(wǎng)頁或文件的排序是否有改變。在另一種實(shí)現(xiàn)中，在每次被激活時(shí)持續(xù)搜索程序存儲(chǔ)列表中的頁并對(duì)列表進(jìn)行比較。從而它可以發(fā)現(xiàn)新的網(wǎng)頁或文件，也可以區(qū)分是新加入的，還是排序更改的網(wǎng)頁或文件。
在另一種實(shí)現(xiàn)中，一個(gè)持續(xù)搜索程序存儲(chǔ)搜索結(jié)果列表，并為搜索結(jié)果中每個(gè)網(wǎng)頁或文件計(jì)算校驗(yàn)和、或數(shù)字摘要。當(dāng)每次持續(xù)搜索程序被激活時(shí)，它對(duì)比前面的搜索和本次的搜索的結(jié)果列表以及它們的校驗(yàn)和、或數(shù)字摘要。通過這種方法，持續(xù)搜索程序不只發(fā)現(xiàn)新的或刪除的信息源，也發(fā)現(xiàn)網(wǎng)頁或文件本身的改變。這方法將持續(xù)搜索程序與前面所說的監(jiān)視程序有效地組合。這就把網(wǎng)頁監(jiān)視程序應(yīng)用于搜索結(jié)果的每個(gè)網(wǎng)頁和文件。所以這樣的過程需要大量的計(jì)算資源和一定的時(shí)間。
在一種實(shí)現(xiàn)中，在上面提到的任意一種實(shí)現(xiàn)中的持續(xù)搜索程序可以是一個(gè)漸進(jìn)過程，當(dāng)搜索列表中有一定比例的頁或搜索結(jié)果中的部分網(wǎng)頁或文件被處理完畢后發(fā)現(xiàn)有改動(dòng)，這部分的運(yùn)行結(jié)果將被發(fā)送給用戶。在另一種實(shí)現(xiàn)中，為了限制處理量，持續(xù)搜索程序?qū)⒅惶幚硭阉鹘Y(jié)果中的前X頁或前X個(gè)網(wǎng)頁和文件。
在以上的所有實(shí)現(xiàn)當(dāng)中，頁/網(wǎng)站監(jiān)視程序和持續(xù)搜索程序可以在一個(gè)搜索引擎上實(shí)現(xiàn)，也可以在用戶的本機(jī)上，或在一個(gè)搜索引擎上和在用戶的本機(jī)同時(shí)存在、并執(zhí)行不同的任務(wù)分工合作。如果程序是在用戶的本機(jī)上實(shí)現(xiàn)的，則頁/網(wǎng)站監(jiān)視程序和持續(xù)搜索程序?qū)⒃谛枰臅r(shí)候調(diào)用下載程序去下載相關(guān)搜索結(jié)果中的網(wǎng)頁和文件。頁/網(wǎng)站監(jiān)視程序和持續(xù)搜索程序可只在需要的時(shí)候存儲(chǔ)和計(jì)算或?qū)W(wǎng)頁和文件的數(shù)據(jù)作分析。根據(jù)搜索的返回結(jié)果將生成一個(gè)網(wǎng)頁列表，持續(xù)搜索程序需要計(jì)算和存儲(chǔ)這個(gè)列表中的網(wǎng)頁的校驗(yàn)和、或數(shù)字摘要。
本發(fā)明的信息監(jiān)視實(shí)現(xiàn)提供了一種信息監(jiān)視的新方法，該方法包括在一個(gè)瀏覽應(yīng)用的窗口提供一個(gè)選項(xiàng)，用戶可使用此選項(xiàng)選擇監(jiān)視正在此窗口中瀏覽的URL內(nèi)容的變化或使用此窗口進(jìn)行的一個(gè)搜索的變化；當(dāng)用戶選擇此選項(xiàng)，在一段時(shí)間內(nèi)檢查此URL或此搜索的內(nèi)容有無變化；如此URL或此搜索的內(nèi)容有變化，把探測(cè)到的變化通知給用戶。
上述方法還可以進(jìn)一步包括下列一項(xiàng)或多項(xiàng)提供一個(gè)選項(xiàng)讓用戶規(guī)定監(jiān)視的時(shí)間段或頻率；檢查此URL或此搜索的內(nèi)容有無變化是在用戶的計(jì)算機(jī)上進(jìn)行；檢查此URL或此搜索的內(nèi)容有無變化包括在一段時(shí)間內(nèi)以莫個(gè)頻率重復(fù)訪問此URL并檢查其內(nèi)容的變化，或在一段時(shí)間內(nèi)以莫個(gè)頻率重復(fù)進(jìn)行此搜索并檢查搜索結(jié)果內(nèi)容的變化；檢查此URL或此搜索的內(nèi)容有無變化包括計(jì)算并儲(chǔ)存此URL或此搜索在一個(gè)時(shí)間(稱為甲時(shí)間)的內(nèi)容的計(jì)算校驗(yàn)和或數(shù)字摘要，將甲時(shí)間儲(chǔ)存的計(jì)算校驗(yàn)和或數(shù)字摘要和在甲時(shí)間后的一個(gè)時(shí)間由此URL或此搜索的內(nèi)容計(jì)算的計(jì)算校驗(yàn)和或數(shù)字摘要進(jìn)行比較。
7.分離元搜索在一個(gè)實(shí)現(xiàn)中，為了使用戶進(jìn)行的搜索信息私有化，這個(gè)發(fā)明中的分割搜索程序?qū)⒈话惭b到用戶的本地計(jì)算機(jī)上。這個(gè)分割搜索程序?qū)⒆执纸獬蓛蓚€(gè)或多個(gè)子集，并將每個(gè)子集分配給單獨(dú)的一個(gè)搜索引擎。由于每個(gè)搜索引擎只使用搜索關(guān)鍵字/詞中的一個(gè)子集進(jìn)行搜索，所以這樣搜索的結(jié)果將是以完整關(guān)鍵字/詞搜索所得結(jié)果的擴(kuò)展集。分割搜索程序在之后獲取或下載每個(gè)搜索引擎上的結(jié)果，然后在本機(jī)運(yùn)行一個(gè)使用在本地計(jì)算機(jī)上完整的搜索關(guān)鍵字/詞串的查詢，并將所有這些子查詢結(jié)果合并起來。這相當(dāng)于為所有子查詢結(jié)果尋找交集。通過這樣的方法，用戶所作的查詢信息不會(huì)同時(shí)完整地被一個(gè)搜索引擎使用，這樣，就保護(hù)了用戶搜索的隱私。例如，這樣就可以避免搜索引擎或其它的監(jiān)視者通過猜測(cè)用戶有創(chuàng)意的意圖來監(jiān)視用戶的搜索行為。
在一個(gè)實(shí)現(xiàn)中，用戶界面程序在工具欄中提供一個(gè)“分割搜索”按鈕或在“選項(xiàng)”菜單中提供一個(gè)“將關(guān)鍵字/詞串分割交多引擎處理”的選項(xiàng)。用戶可以通過選擇點(diǎn)擊相關(guān)的按鈕和復(fù)選框來選擇這樣的屬性設(shè)置。分割程序就將隨機(jī)地將關(guān)鍵字/詞分割并交由某一些搜索引擎處理。在另一種實(shí)現(xiàn)中，用戶界面程序允許用戶去決定關(guān)鍵字/詞將要被分割成多少份，由哪些搜索引擎去執(zhí)行，或選擇哪一部分的關(guān)鍵字/詞由哪個(gè)搜索引擎去執(zhí)行。
8.系統(tǒng)在一種實(shí)現(xiàn)中，本發(fā)明的程序模塊化以獲得語言獨(dú)立性的最大化，并提供接入不同的語言的清楚的屆擴(kuò)和語言模塊插件。獨(dú)立于具體語言的模塊構(gòu)成核心系統(tǒng)。此核心系統(tǒng)和語言適應(yīng)模塊，指定語言甲的模塊、和指定語言甲的知識(shí)庫相聯(lián)接就可達(dá)到本發(fā)明對(duì)指定語言甲的實(shí)現(xiàn)和界面，例如，制定語言加可以是英語，法語，中文等。
在一個(gè)實(shí)現(xiàn)當(dāng)中，有一個(gè)廣告模塊將搜索關(guān)鍵字/詞和用戶選擇的概念送至選擇的服務(wù)器甲。這個(gè)模塊將接受服務(wù)器甲的指令，并且令符合服務(wù)器返回的相關(guān)條件的網(wǎng)頁排序提前，并接收從該服務(wù)器上傳來的廣告信息，將其顯示在服務(wù)器甲在瀏覽窗口指定的地方。
圖13是此項(xiàng)發(fā)明的部分實(shí)現(xiàn)在進(jìn)行網(wǎng)頁搜索時(shí)的流程圖。圖13中的”搜索后分析”項(xiàng)顯示了重要概念的提取，排序，選擇和排列以及其它的過濾細(xì)節(jié)。這些重要的概念將與其它的過濾細(xì)節(jié)一起完成過濾，并由CPM圖整合顯示。前面我們?cè)?jīng)討論過，虛線箭頭所指的兩個(gè)任務(wù)可以在搜索引擎服務(wù)器上或是在用戶本機(jī)上執(zhí)行，也可以將任務(wù)分割交由不同主體執(zhí)行。
雖然前文對(duì)本發(fā)明的一些優(yōu)先的實(shí)現(xiàn)的陳述已經(jīng)顯示、描述、或舉例說明了本發(fā)明的基本的創(chuàng)新特征或原理，但是讀者應(yīng)該理解那些對(duì)相關(guān)技術(shù)領(lǐng)域知識(shí)的人可以在不離開本發(fā)明的精神的情況下，對(duì)前面所描述的方法、元素、模塊、器件的細(xì)節(jié)以及他們的應(yīng)用作出各種不同的省略、替換或改變。因此，本發(fā)明的范圍不應(yīng)該被前文的描述所限制。相反地，本發(fā)明的原則可適用于在一個(gè)很大范圍的方法、系統(tǒng)和器件，以取得前文描述的利益或好處，并可取得其他的利益或好處或滿足其它的目的。因此，本發(fā)明的范圍應(yīng)該被本發(fā)明的權(quán)利要求定義。
權(quán)利要求
1.一種使用用戶提供的對(duì)搜索的描述產(chǎn)生搜索查詢的方法，其特征在于，包括從用戶提供的對(duì)搜索的描述里提取一或多個(gè)字、詞、短語或句子作為甲集；把甲集擴(kuò)展到乙集，乙集含有一或多個(gè)和甲集中一或多個(gè)字、詞、短語或句子概念上相關(guān)的字、詞、短語或句子；把乙集作為一個(gè)搜索的描述交給一個(gè)搜索程序甲去搜索含有乙集中部分或全部的字、詞、短語或句子的文件。
2.如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括下列一項(xiàng)或多項(xiàng)把甲集擴(kuò)展到乙集時(shí)使用了一或多個(gè)知識(shí)庫；首先用甲集的一或多個(gè)字、詞、短語或句子作為一個(gè)搜索的描述進(jìn)行搜索，把甲集擴(kuò)展到乙集時(shí)使用到此搜索的結(jié)果；當(dāng)甲集含有兩個(gè)或更多個(gè)字、詞、短語或句子時(shí)，乙集包括甲集、甲集中有其它甲集的字、詞、短語或句子的含義支持的字、詞、短語或句子的一個(gè)或多個(gè)含義的同義詞；搜索程序甲在一個(gè)網(wǎng)絡(luò)中搜索信息；搜索程序甲在用戶的個(gè)人計(jì)算計(jì)里搜索信息。
3.一種信息搜索方法，其特征在于，包括提供一個(gè)接受用戶輸入描述甲和描述乙來定義一個(gè)搜索的接口；搜索含有描述甲中部分或全部信息，且不包含或包含描述乙中部分或全部信息的文件或其它信息體。
4.如權(quán)利要求3所述的方法，其特征在于，進(jìn)一步包括下列一項(xiàng)或多項(xiàng)描述甲或描述乙或兩者都是有一或多個(gè)關(guān)鍵字/詞組成；把一個(gè)含有越多的描述乙中信息的文件或其它信息體排序越高。
5.一種信息搜索方法，其特征在于，包括從一個(gè)含有一或多個(gè)文件或其部分的乙集里提取一或多個(gè)信息元，此一或多個(gè)信息元形成甲集；從甲集中選出一或多個(gè)信息元形成丙集；用丙集去獲取含有一或多個(gè)文件或其部分的丁集。
6.如權(quán)利要求5所述的方法，其特征在于，進(jìn)一步包括下列一項(xiàng)或多項(xiàng)從乙集里提取一或多個(gè)信息元形成甲集時(shí)使用下列一項(xiàng)或多項(xiàng)來決定提取哪些信息源字/詞或短語的列單、句型的列單、概念或意義的列單、字/詞或信息元和上述的一或多個(gè)列單里的項(xiàng)的關(guān)系、字/詞或信息元的位置或格式或上下文、字/詞或信息元在文本里的角色、信息元是基于哪些準(zhǔn)則鑒別出來的、以及信息元屬于哪個(gè)類別；乙集是一個(gè)甲搜索的結(jié)果，甲搜索是由一或多個(gè)描述定義的；當(dāng)乙集是一個(gè)由一或多個(gè)描述定義的甲搜索的結(jié)果時(shí)，從乙集里提取一或多個(gè)信息元形成甲集時(shí)使用下列方法之一(1).一或多個(gè)搜索引擎利用一或多個(gè)信息元和定義甲搜索的一或多個(gè)描述的相關(guān)性從乙集提取一或多個(gè)信息元形成甲集，(2).一或多個(gè)搜索引擎在甲搜索以前就從存在搜索引擎的部分或全部文件里預(yù)先提取一或多個(gè)信息元，當(dāng)甲搜索時(shí)，用戶的計(jì)算機(jī)從一或多個(gè)搜索引擎下載乙集文件所包含的預(yù)先提取的一或多個(gè)信息元，用戶的計(jì)算機(jī)利用下載的一或多個(gè)信息元和定義甲搜索的一或多個(gè)描述的相關(guān)性來決定由哪些信息元形成甲集，(3).當(dāng)甲搜索時(shí)，用戶的計(jì)算機(jī)從一或多個(gè)搜索引擎下載部分或全部搜索結(jié)果，并從其中提取一或多個(gè)信息元形成甲集；當(dāng)乙集是一個(gè)由一或多個(gè)描述定義的甲搜索的結(jié)果時(shí)，從甲集中選出一或多個(gè)信息元形成丙集包括提供一個(gè)用戶接口，讓用戶選擇甲集中一或多個(gè)信息元，以用戶的選擇形成丙集，并且用丙集去獲取丁集包括把丙集和定義甲搜索的一或多個(gè)描述一起當(dāng)作定義乙搜索的描述交給一或多個(gè)搜索程序進(jìn)行乙搜索，并由乙搜索的結(jié)果或其部分形成丁集；當(dāng)乙集是一個(gè)由一或多個(gè)描述定義的甲搜索的結(jié)果時(shí)，從甲集中選出一或多個(gè)信息元形成丙集包括提供一個(gè)用戶接口，讓用戶選擇甲集中一或多個(gè)信息元并可將每個(gè)選中的信息元可設(shè)為存在項(xiàng)或不存在項(xiàng)，以用戶的選擇形成丙集，并且用丙集去獲取丁集包括把丙集和定義甲搜索的一或多個(gè)描述一起當(dāng)作定義乙搜索的描述交給一或多個(gè)搜索程序進(jìn)行乙搜索以搜索含有丙集中設(shè)為存在項(xiàng)的信息元而且不含有丙集中設(shè)為不存在項(xiàng)的信息元的文件或其部分，并由乙搜索的結(jié)果或其部分形成丁集；從甲集中選出一或多個(gè)信息元形成丙集時(shí)基于對(duì)甲集中一或多個(gè)信息元的排序進(jìn)行的；甲集中一或多個(gè)信息元是概念，從甲集中選出一或多個(gè)信息元形成丙集包括選擇以或多個(gè)概念，用丙集去獲取丁集包括把丙集中的概念交給一或多個(gè)搜索程序進(jìn)行乙搜索以搜索含有丙集中的概念的文件或其部分，并由乙搜索的結(jié)果或其部分形成丁集；從丁集中提取一或多個(gè)概念，并多次重復(fù)以上方法；甲集中一或多個(gè)信息元是鏈接，從甲集中選出一或多個(gè)信息元形成丙集包括選擇以或多個(gè)鏈接，用丙集去獲取丁集包括把丙集中的鏈接指向的文件或其部分納入丁集；從丁集中提取一或多個(gè)鏈接，并多次重復(fù)以上方法。
7.一種信息搜索方法，其特征在于，包括從由一或多個(gè)文件或其部分形成的甲集里提取的信息元集合中獲取一或多個(gè)信息元；對(duì)上述獲取的一或多個(gè)信息元基于下列一或多個(gè)排序參數(shù)進(jìn)行排序?qū)σ粋€(gè)從一組文件中提取的信息元，基于這組文件的一個(gè)鏈接流行度排序的一個(gè)函數(shù)；基于這組文件的一個(gè)相關(guān)度排序的一個(gè)函數(shù)；基于這組文件的一個(gè)日期排序的一個(gè)函數(shù)；一個(gè)信息元可從更多的文件里提取出來則把此信息元的排序提高；一個(gè)信息元可從更少的文件里提取出來則把此信息元的排序提高；一或多個(gè)信息元和一個(gè)乙集里的信息元的關(guān)系；一或多個(gè)信息元在文體里的位置、格式或角色；一或多個(gè)信息元出現(xiàn)的上下文；一或多個(gè)信息元的含義。
8.如權(quán)利要求7所述的方法，其特征在于，進(jìn)一步包括下列一項(xiàng)或多項(xiàng)甲集是一個(gè)甲搜索的結(jié)果，甲搜索是由一或多個(gè)描述定義的；乙集里的信息元包括一或多個(gè)重要字/詞和/或短語，句型，概念或含義和論語；提供一個(gè)用戶接口讓用戶調(diào)動(dòng)一或多個(gè)排序參數(shù)的權(quán)重。
9.一種把文件組織成一個(gè)結(jié)構(gòu)或顯示此結(jié)構(gòu)的方法，其特征在于，包括把兩個(gè)或更多個(gè)文件組織成在一個(gè)甲維度上相連接的兩個(gè)或更多個(gè)集，每個(gè)集的成員是基于和文件相關(guān)的信息元或文件所含的信息元決定的，兩個(gè)集之間的連結(jié)意味著在這兩個(gè)集之間存在一個(gè)甲關(guān)系；把兩個(gè)或更多個(gè)文件組織成在一個(gè)乙維度上相連接的兩個(gè)或更多個(gè)集，每個(gè)集的成員是基于和文件相關(guān)的信息元或文件所含的信息元決定的，兩個(gè)集之間的連結(jié)意味著在這兩個(gè)集之間存在一個(gè)乙關(guān)系。
10.如權(quán)利要求9所述的方法，其特征在于，進(jìn)一步包括下列一項(xiàng)或多項(xiàng)甲關(guān)系和乙關(guān)系之一或兩者是子集關(guān)系，意味著在一個(gè)連結(jié)一端的集是在連結(jié)另一端的集的子集；甲關(guān)系和乙關(guān)系之一或兩者是一個(gè)在一個(gè)連結(jié)兩端的集之間的一個(gè)邏輯或語義關(guān)系；在甲維度和乙維度之一或兩者上有三個(gè)或更多的集連結(jié)在一起，且甲關(guān)系和乙關(guān)系之一或兩者是可傳遞關(guān)系；將文件組織成的結(jié)構(gòu)以圖論圖或圖像的方式顯示。
11.一種計(jì)算在搜索結(jié)果里的一個(gè)文件的排序的方法，其特征在于，包括在文件中識(shí)別出和用戶輸入的定義搜索的描述的部分或全部相同或同類或相似的一或多個(gè)匹配信息元；基于在文件中的下列一或多個(gè)因素計(jì)算一個(gè)相關(guān)度排序參數(shù)一或多個(gè)匹配信息元和它們?cè)诙x搜索的描述中的相應(yīng)部分的相同或同類或相似的程度；兩個(gè)或更多個(gè)匹配信息元出現(xiàn)的順序和它們?cè)诙x搜索的描述中的相應(yīng)部分出現(xiàn)的順序的比較；兩個(gè)或更多個(gè)匹配信息元在句子或文體結(jié)構(gòu)里的相對(duì)位置；在兩個(gè)或更多個(gè)匹配信息元是否出現(xiàn)標(biāo)點(diǎn)符號(hào)或其它符號(hào)；一或多個(gè)匹配信息元的格式；一或多個(gè)匹配信息元在文件里的角色；一或多個(gè)匹配信息元在文件里出現(xiàn)的位置或部分；及是否由和專門針對(duì)一個(gè)用戶的信息相似的信息出現(xiàn)及它們之間的相似程度。
12.一種信息監(jiān)視的方法，其特征在于，包括在一個(gè)瀏覽應(yīng)用的窗口提供一個(gè)選項(xiàng)，用戶可使用此選項(xiàng)選擇監(jiān)視正在此窗口中瀏覽的URL內(nèi)容的變化或使用此窗口進(jìn)行的一個(gè)搜索的變化；當(dāng)用戶選擇此選項(xiàng)，在一段時(shí)間內(nèi)檢查此URL或此搜索的內(nèi)容有無變化；如此URL或此搜索的內(nèi)容有變化，把探測(cè)到的變化通知給用戶。
13.如權(quán)利要求12所述的方法，其特征在于，進(jìn)一步包括下列一項(xiàng)或多項(xiàng)提供一個(gè)選項(xiàng)讓用戶規(guī)定監(jiān)視的時(shí)間段或頻率；檢查此URL或此搜索的內(nèi)容有無變化是在用戶的計(jì)算機(jī)上進(jìn)行；檢查此URL或此搜索的內(nèi)容有無變化包括在一段時(shí)間內(nèi)以莫個(gè)頻率重復(fù)訪問此URL并檢查其內(nèi)容的變化，或在一段時(shí)間內(nèi)以莫個(gè)頻率重復(fù)進(jìn)行此搜索并檢查搜索結(jié)果內(nèi)容的變化；檢查此URL或此搜索的內(nèi)容有無變化包括計(jì)算并儲(chǔ)存此URL或此搜索在甲時(shí)間的內(nèi)容的計(jì)算校驗(yàn)和或數(shù)字摘要，將甲時(shí)間儲(chǔ)存的計(jì)算校驗(yàn)和或數(shù)字摘要和在甲時(shí)間后的一個(gè)時(shí)間由此URL或此搜索的內(nèi)容計(jì)算的計(jì)算校驗(yàn)和或數(shù)字摘要進(jìn)行比較；
14.一種保護(hù)信息的方法，其特征在于，包括將一或多個(gè)文件或其部分的一或多個(gè)特性、信息元或內(nèi)容的描述保存在甲集里；含有甲集部分或全部信息的文件或其部分形成乙集，要求用戶通過一或多個(gè)保護(hù)措施才允許用戶讀或?qū)懸壹锏奈募蚱洳糠只虻玫皆谝壹锏奈募蚱洳糠值男畔ⅰ?br> 15.如權(quán)利要求14所述的方法，其特征在于，進(jìn)一步包括下列一項(xiàng)或多項(xiàng)允許用戶讀或?qū)懸壹锏奈募蚱洳糠只虻玫皆谝壹锏奈募蚱洳糠值男畔⑹菫橛脩暨M(jìn)行一個(gè)搜索，并包括將用戶提供的對(duì)此搜索的描述和甲集的信息相比較以決定是否要求用戶通過一或多個(gè)保護(hù)措施才進(jìn)行此搜索；甲集進(jìn)一步包括一或多個(gè)規(guī)則以決定用戶可對(duì)含有甲集部分或全部信息的文件進(jìn)行哪些操作；檢查并標(biāo)記一或多個(gè)文件是否含有甲集部分或全部信息，將標(biāo)記為含有甲集部分或全部信息的文件加入乙集。
全文摘要
本發(fā)明公開了一種全新的關(guān)于信息的智能檢索、挖掘、過濾、圖示和檢索自動(dòng)化的方法、軟件和系統(tǒng)。能夠進(jìn)行人工智能化信息查詢，信息監(jiān)視，根據(jù)概念進(jìn)行搜索、過濾、圖示和跟蹤，以協(xié)助用戶對(duì)互聯(lián)網(wǎng)絡(luò)和本地計(jì)算機(jī)的特大數(shù)量信息數(shù)據(jù)進(jìn)行智能的、高質(zhì)量地搜索和挖掘。本發(fā)明的方法可提取出網(wǎng)頁或文件的重要概念和所含的具有創(chuàng)見的概念，對(duì)這些概念排序，并圖示它們之間的關(guān)系。本發(fā)明形成的產(chǎn)品將應(yīng)用于企業(yè)管理和規(guī)劃，消費(fèi)市場(chǎng)、市場(chǎng)研究，科學(xué)研究，技術(shù)開發(fā)，中高等教育，軍事，國(guó)家安全，外交等領(lǐng)域。
文檔編號(hào)G06F17/30GK1808430SQ20051011971
公開日2006年7月26日 申請(qǐng)日期2005年10月31日 優(yōu)先權(quán)日2004年11月1日
發(fā)明者梁平 申請(qǐng)人:西安迪戈科技有限責(zé)任公司