專利名稱：一種基于關鍵字搜索的移動互聯(lián)網(wǎng)智能信息搜索引擎的制作方法
技術領域：
本發(fā)明涉及一種搜索引擎，特別是一種為移動互聯(lián)網(wǎng)終端提供的，基于關鍵字搜索互聯(lián)網(wǎng)上信息的智能搜索引擎。
背景技術：
隨著Internet的快速發(fā)展，網(wǎng)絡上的信息急速增長，人們越來越依賴于從網(wǎng)絡上去搜索需要的信息，搜索引擎是人們搜索網(wǎng)頁和網(wǎng)站的工具。目前通過PC機上的瀏覽器可以實現(xiàn)比較好的信息獲取，例如使用google，sohu，yahoo等搜索引擎。移動終端用戶也可分別通過內置在移動終端上的wap瀏覽器和http瀏覽器來使用google等搜索引擎，使用時，根據(jù)輸入命令中的關鍵字，搜索引擎得到和該信息有關的網(wǎng)絡url地址鏈接，并返回到移動終端供用戶選擇訪問。但由于其返回結果包含了標題、關鍵字和網(wǎng)站聯(lián)接，沒有對結果中的網(wǎng)站鏈接的網(wǎng)頁中的信息元素進行分離，不適合在目前屏幕較小、計算功能較弱、網(wǎng)絡帶寬較小的移動終端的需要。
信息抽取技術原來的目標是從自然語言文檔中找到特定的信息，是自然語言處理領域特別有用的一個子領域，網(wǎng)上文本信息的大量增加導致這方面的研究得到高度重視。信息抽取系統(tǒng)通常根據(jù)抽取規(guī)則或模式，確定需要抽取的信息。根據(jù)實際的應用情況可以有很多的信息抽取方法，本文所描述的技術是移動互聯(lián)網(wǎng)智能信息搜索引擎，在信息抽取方面具有特定的方法。

發(fā)明內容
本發(fā)明的目的在于提供一種基于關鍵字搜索的移動互聯(lián)網(wǎng)智能信息搜索引擎，以實現(xiàn)在移動終端上，可以在指定目標范圍內的互聯(lián)網(wǎng)站上，根據(jù)指定的信息分類欄目，進行基于關鍵字的信息快速搜索，同時將信息轉換為滿足終端特性和移動操作特性的表現(xiàn)形式。
本發(fā)明是這樣實現(xiàn)的，一種基于關鍵字搜索的移動互聯(lián)網(wǎng)智能信息搜索引擎，根據(jù)指定的設置欄目分類和目標網(wǎng)站，機器自動對目標網(wǎng)站進行采樣和分析，生成搜索規(guī)則，并根據(jù)所述搜索規(guī)則對所述目標網(wǎng)站進行采集；然后，經(jīng)過一個信息處理過程，將所述目標網(wǎng)站采集到的網(wǎng)元組織成特定的全文索引結構，并緩存，構成一個全文索引信息庫；有一個搜索任務處理模塊，對移動設備發(fā)出的搜索命令進行處理，通過設備和通道識別模塊、移動互聯(lián)網(wǎng)接入模塊判斷移動設備接入互聯(lián)網(wǎng)的方式，進行移動設備的設備識別和所使用的通道的識別，將處理結果返回給移動設備。
上述搜索規(guī)則是指，利用系統(tǒng)自動分析目標網(wǎng)站結構，采集相應的具有相似布局的html網(wǎng)頁信息，自動生成目標網(wǎng)站的內容連接獲取表達式；并根據(jù)需要，生成確切定位的目標網(wǎng)元的內容匹配表達式；通過所述內容匹配表達式得到的目標網(wǎng)元以及目標網(wǎng)元和欄目分類的映射關系，形成一個網(wǎng)元映射圖，生成一個內容獲取表達式，形成所述搜索規(guī)則。
所述搜索引擎的信息處理過程是指，在上述搜索規(guī)則的驅動下，結合欄目分類，對目標網(wǎng)站進行采集獲取的http協(xié)議數(shù)據(jù)信息，進行網(wǎng)頁分解、匹配過濾、信息格式化、信息編碼、智能句子去重環(huán)節(jié)，并結合特征碼表，對信息顯示做處理，刪除要過濾的特征碼字，最后輸出一個去除了空格、標記、并且無非法字符、無其他非正文信息的純文本信息。
所述搜索引擎的全文索引信息庫內的信息在搜索規(guī)則下采集的并處理后的目標網(wǎng)元的文本內容組成，并以增量的方式為新錄入的信息編制增量全文索引，并根據(jù)時間序列和所述欄目分類建立索引。
所述通道和設備識別模塊通過通信的接入通道和協(xié)議頭，識別移動終端的設備類型，從而得到該設備類型的配置信息；根據(jù)不同的移動終端，將搜索結果信息，經(jīng)過一個可針對移動終端特性和移動用戶操作特性的處理后，將移動協(xié)議數(shù)據(jù)輸出到用戶的移動終端，顯示搜索的結果。
本發(fā)明通過采用以上技術方案，以人機交互的方式，設置欄目分類和目標網(wǎng)站，機器自動對目標網(wǎng)站進行采樣和分析，生成搜索規(guī)則，并根據(jù)這些規(guī)則對所述目標網(wǎng)站進行采集；然后，經(jīng)過一個信息處理流程，將所述目標網(wǎng)站采集到的網(wǎng)元組織成特定的全文索引結構，并緩存；有一個搜索任務處理模塊，對移動設備發(fā)出的的搜索命令進行處理，通過判斷所述移動設備接入互聯(lián)網(wǎng)的方式，進行移動設備的設備識別和所使用的通道的識別，將處理結果經(jīng)過相應的表現(xiàn)層處理后返回給移動設備。在目前的移動設備屏幕相對較小、計算能力較弱以及網(wǎng)絡服務帶寬的情況下，本發(fā)明填補目前移動領域該項服務的空白，并很好的滿足了廣大移動用戶在移動信息獲取方面的需要。


圖1為本發(fā)明系統(tǒng)流程2為本發(fā)明生成搜索規(guī)則的示意3為本發(fā)明信息處理流程的示意4為本發(fā)明搜索任務處理示意5為本發(fā)明定制搜索任務示意圖具體實施方式
下面結合附圖對本發(fā)明做進一步詳細描述如圖1，總的來說，以人機交互的方式，設置欄目分類4和目標網(wǎng)站1，機器自動對目標網(wǎng)站分析2，形成搜索規(guī)則3，并根據(jù)這些規(guī)則采集引擎5對目標網(wǎng)站1進行采集；然后，經(jīng)過一個信息處理過程6之后，將從目標網(wǎng)站1采集到的網(wǎng)元，組織成特定的全文索引結構并緩存，構成全文索引信息庫7；有一個搜索任務處理模塊8，對移動設備發(fā)出的搜索命令進行處理，通過設備識別和通道識別模塊9、移動互聯(lián)網(wǎng)接入模塊10判斷移動設備接入互聯(lián)網(wǎng)的方式，進行移動設備的設備識別和所使用的通道的識別，將處理結果返回給移動設備。
如圖2中所示，利用系統(tǒng)自動分析目標網(wǎng)站結構，采集相應的具有相似布局的html網(wǎng)頁信息，自動生成內容網(wǎng)頁連接獲取表達式3.1，并根據(jù)人工決策，生成確切定位的目標網(wǎng)元的內容匹配表達式3.2，以及通過內容匹配表達式獲得的目標網(wǎng)元，以及目標網(wǎng)元和欄目分類的映射關系，形成一個網(wǎng)元映射圖，生成一個內容獲取表達式3.3，構成搜索規(guī)則。
圖2中，系統(tǒng)自動進行目標網(wǎng)站結構分析3.11、目標網(wǎng)頁Tag語法結構分析3.12和目標網(wǎng)頁內容結構分析3.13后，將從目標網(wǎng)站每個欄目、每個目錄采集的基于tag語法的網(wǎng)頁，按相同的布局、相同的目錄進行分類，自動生成和對應目標網(wǎng)站相關的內容網(wǎng)頁連接獲取表達式3.1。
根據(jù)每個目標網(wǎng)站目錄相似的布局網(wǎng)頁Tag語法結構異同部分，網(wǎng)頁內容結構異同部分，確定目標網(wǎng)頁的全部目標網(wǎng)元位置，生成目標網(wǎng)頁的內容匹配表達式3.2。
根據(jù)各個目標網(wǎng)元的信息類型的特征，通過內容匹配表達式3.2確定網(wǎng)頁中各信息分析要素對應的目標網(wǎng)元，目標網(wǎng)元和欄目分類4的映射關系，也就是說，提供一個人工決策的方式，決定目標網(wǎng)元在目標網(wǎng)頁上的位置，以及所屬的欄目分類，形成一個網(wǎng)元映射圖3.31，并生成目標網(wǎng)元的內容獲取表達式3.3。
經(jīng)過上述步驟，形成了搜索引擎完整的搜索規(guī)則3。
如圖1、3所示，在搜索規(guī)則3的驅動下，結合欄目分類4，對目標網(wǎng)站1進行采集獲取的http協(xié)議數(shù)據(jù)信息5.1經(jīng)過一個信息處理過程6，進行網(wǎng)頁分解6.1、匹配過濾6.2、信息格式化6.3、信息編碼6.4、智能句子去重環(huán)節(jié)6.5，并結合特征碼表6.7，對信息顯示做處理6.6，刪除要過濾的特征碼字，最后輸出的目標網(wǎng)元6.8是一個去除了空格、標記、并且無非法字符、無其他非正文信息的純文本信息。此文本信息經(jīng)處理后構成全文索引信息庫7，以增量的方式為新錄入的信息編制增量全文索引，并根據(jù)時間序列和欄目分類建立索引。
上述的智能句子去重是一種處理句子信息重復排除的方法，具體的步驟為，a)將信息按標點符號分成句，提取特征碼，b)對信息進行特征碼提取，每篇信息對N個自然句提取N個特征碼，其余的忽略，不足的補零；c)對特征碼進行排序、插入、查找、和比較，每條新信息只比較特征碼和最相近的m篇信息，d)將差異在設定的值范圍內的進行重復排除。
根據(jù)全文索引信息庫7，如圖4所示，搜索任務處理模塊8接到移動終端發(fā)出搜索命令后，對任務進行處理，首先進行用戶命令處理8.1，根據(jù)用戶命令指定的組合搜索條件、欄目和時間范圍，從全文索引信息庫7中取得相應的結果集，然后進行查詢結果集處理8.2，將該結果集打包；處理的結果通過通信的接入通道和協(xié)議頭，對通過移動互聯(lián)網(wǎng)接入10的移動終端的進行接入通道識別9.1和設備識別9.2，取得相應設備的信息，根據(jù)不同的移動終端，將搜索結果信息，經(jīng)過一個可針對移動終端特性和移動用戶操作特性的處理后，將移動協(xié)議數(shù)據(jù)輸出到用戶的移動終端，顯示搜索的結果。
圖5中，搜索任務處理模塊8還可包括一個定時器8.3和一個定制器8.4，定時的檢查移動終端用戶定制的搜索任務，一般情況下搜索任務包括關鍵字組合以及所定制欄目，系統(tǒng)判斷信息索引庫中是否存在滿足用戶訂閱條件的最新信息，若有自動將此信息推送到移動終端，若沒有則繼續(xù)等待定時器觸發(fā)下次處理過程。
如欲在手機上通過wap的方式，對“金融欄目”的“專家分析”子欄目中搜索基于關鍵字“年底行情走勢”有關的信息，具體的實現(xiàn)和實施的方式如下1、生成搜索規(guī)則這個部分是一個人機交互的方式來完成的，主要包含了如下的2個步驟A.網(wǎng)站分析通過對目標網(wǎng)站的自動分析，生成內容網(wǎng)頁連接獲取表達式、生成內容匹配表達式、生成內容獲取表達式，最后生成完整的信息采集規(guī)則。
本例的匹配表達式sTitle>{.+？}<.+？<br>{.+？}<br><br></td></tr><
本例的獲取表達式為ef＝([\″′]|\b)*{[^<\″′]+？}(([\″′]|\b)[^>]*？>)|(>){[^<]+？}<1B.在多樣化的網(wǎng)站中可以指定在目標網(wǎng)頁上的任何一個網(wǎng)元(的文本內容)作為我們目標檢索的區(qū)域，從而提高搜索的準確程度。
本例的欄目設定如下“金融欄目”編碼001“專家分析”編碼001001這兩個步驟完成了驅動采集引擎所需要搜索規(guī)則表達式，主要的做法是對目標網(wǎng)站上的基于兩個同一模板產(chǎn)生的內容網(wǎng)頁對比的差別，分析網(wǎng)頁結構和內容，分析網(wǎng)頁TAG結構，確定各網(wǎng)元在源文件中的位置，各網(wǎng)元所處的Tag結構。分析各網(wǎng)元與數(shù)據(jù)庫中定義的網(wǎng)元的順序映射。并獲取所有網(wǎng)頁連接，確定內容網(wǎng)頁，確定內容網(wǎng)頁連接。生成連接獲取表達式、內容匹配表達式、內容獲取表達式。驗證表達式。與其余參數(shù)組成完整的搜索規(guī)則。驗證搜索規(guī)則。
確定一個對外的統(tǒng)一的服務欄目，按照大小欄目來分類，編碼方式如下3個字符為單位，如001為第一層節(jié)點，001001為001節(jié)點下的子節(jié)點，001002為001節(jié)點下的子節(jié)點；002為第一層節(jié)點與001平級，依次類推。根據(jù)設定，搜索引擎將目標網(wǎng)站的信息規(guī)約到相應的服務欄目中，提供準確的內容服務。
2、信息采集和分類這個部分在設定的搜索規(guī)則的驅動下，自動完成，分如下的步驟。
A.據(jù)以上生成的搜索規(guī)則驅動，通過循環(huán)執(zhí)行搜索規(guī)則，根據(jù)設定的大量目標網(wǎng)站群和目標欄目的采集，B.在采集過程中，按照迭代的方式只采集目標網(wǎng)站上出現(xiàn)的最新信息。
C.完成信息采集后，輸出原始的網(wǎng)頁http協(xié)議數(shù)據(jù)流。
搜索任務執(zhí)行模塊對任務進行分解，將搜索首先規(guī)則分成子任務。
首先取得首頁欄目網(wǎng)頁，欄目分類處理在搜索規(guī)則中有定義，執(zhí)行連接獲取表達式后，取得內容網(wǎng)頁的連接，獲取內容網(wǎng)頁，將其提交信息處理，在獲取下一個內容網(wǎng)頁，并規(guī)約到“金融欄目”的“專家分析”子欄目。
對所采集的信息，根據(jù)規(guī)則規(guī)約到相應的分類欄目，就可以向用戶提供一個可以管理的、統(tǒng)一的信息代理門戶，使搜索的結果集更加精準。引擎只對新出現(xiàn)的信息進行采集，并以準實時更新的方式輸出。
3、信息處理和緩存A.在采集獲取的http協(xié)議數(shù)據(jù)信息，經(jīng)過通過信息采集引擎的信息處理模塊的處理。
也就是利用網(wǎng)站分析模塊生成的搜索規(guī)則，使用內容獲取表達式，進行網(wǎng)元提取。利用內容匹配表達式，進行網(wǎng)元分離，將所需的網(wǎng)元提取出來。為了降低內容獲取表達式的復雜度，采用兩級獲取表達式提取，也就是二次匹配。如果內容獲取表達式出錯，寫錯誤日志并返回錯誤代碼。經(jīng)過網(wǎng)元分解、匹配過濾、信息格式化、信息編碼、信息去重處理等環(huán)節(jié)處理，最后輸出一個去除空格、去除標記、無非法字符、無其他非正文信息的純文本信息。
在過程中要對重復的信息文章進行去重的處理，具體的步驟將信息按標點符號分成句，提取特征碼，每篇信息提取N個特征碼，也就是取N個自然句，多余的忽略，不足的補0。兩篇文章是否相似，取決于特征碼重復度。特征碼和，既一篇信息全部N個特征碼累加和。相似的信息特征碼和比較接近，不同的信息特征碼累加和相差較大，利用Hash表進行特征碼和排序、插入、查找。每條新信息只比較特征碼和最相近的M篇信息以及最近M篇信息，就可以進行重復排除。對信息進行特征碼提取，在緩存區(qū)中搜索內容相似的信息，如果有則排除重復信息，一般以自然句為單位提取特征碼，目的是提高全文比較的速度。
B.按照以上的處理之后的“金融欄目”的“專家分析”的信息經(jīng)由全文索引模塊緩存到全文索引信息庫，并以增量的方式為新錄入的信息編制增量全文索引，此全文索引是編制以時間序列和欄目作為主鍵進行降序排列的全文索引，默認最新的信息在最前面，不同的欄目可以分別在不同的物理表以提高并發(fā)訪問速度，從而可以提供更高效率的檢索。
4、移動接入基于關鍵字的信息搜索處理有了上面描述的全文索引信息庫，搜索任務處理模接到移動終端發(fā)出搜索命令后，對任務進行處理，處理的結果通過通信的接入通道和協(xié)議頭，識別移動終端的設備類型，從一個管理庫中取得相應設備的信息，在wap網(wǎng)頁界面上對“金融欄目”的“專家分析”子欄目中搜索基于關鍵字“年底行情走勢”有關的信息，將搜索結果信息，根據(jù)移動終端的不同特性，打包成wap協(xié)議數(shù)據(jù)，使得結果恰當?shù)娘@示在終端上。
權利要求
1.一種基于關鍵字搜索的移動互聯(lián)網(wǎng)智能信息搜索引擎，其特征是根據(jù)指定的欄目分類和目標網(wǎng)站，機器自動對目標網(wǎng)站進行采樣和分析，生成搜索規(guī)則，并根據(jù)所述搜索規(guī)則對所述目標網(wǎng)站進行采集；然后，經(jīng)過一個信息處理過程，將所述目標網(wǎng)站采集到的網(wǎng)元組織成特定的全文索引結構，并緩存，構成一個全文索引信息庫；有一個搜索任務處理模塊，對移動設備發(fā)出的搜索命令進行處理，通過設備識別和通道識別模塊、移動互聯(lián)網(wǎng)接入模塊判斷移動設備接入互聯(lián)網(wǎng)的方式，進行移動設備的設備識別和所使用的通道的識別，將處理結果返回給移動設備。
2.根據(jù)權力要求1所述的智能信息搜索引擎，其特征在于所述搜索規(guī)則是指，利用系統(tǒng)自動分析目標網(wǎng)站結構，采集相應的具有相似布局的html網(wǎng)頁信息，自動生成目標網(wǎng)站的內容連接獲取表達式；并根據(jù)需要生成確切定位的目標網(wǎng)元的內容匹配表達式；通過所述內容匹配表達式得到的目標網(wǎng)元以及目標網(wǎng)元和欄目分類的映射關系，形成一個網(wǎng)元映射圖，生成一個內容獲取表達式，形成所述搜索規(guī)則。
3.根據(jù)權力要求1所述的智能信息搜索引擎，其特征在于所述信息處理過程是指，在搜索規(guī)則的驅動下，結合欄目分類，對目標網(wǎng)站進行采集獲取的http協(xié)議數(shù)據(jù)信息進行網(wǎng)頁分解、匹配過濾、信息格式化、信息編碼、智能句子去重環(huán)節(jié)，并結合一個特征碼表，對信息顯示做處理，刪除要過濾的特征碼字，最后輸出一個去除了空格、標記、并且無非法字符、無其他非正文信息的純文本信息。
4.根據(jù)權力要求1所述的智能信息搜索引擎，其特征在于所述全文索引信息庫內的信息由在搜索規(guī)則下采集的并處理后的目標網(wǎng)元的文本內容組成，并以增量的方式為新錄入的信息編制增量全文索引，并根據(jù)時間序列和所述欄目分類建立索引。
5.根據(jù)權力要求1所述的智能信息搜索引擎，其特征在于所述通道和設備識別模塊通過通信的接入通道和協(xié)議頭，識別移動終端的設備類型，從而得到該設備類型的配置信息；根據(jù)不同的移動終端，將搜索結果信息，經(jīng)過一個可針對移動終端特性和移動用戶操作特性的處理后，將移動協(xié)議數(shù)據(jù)輸出到用戶的移動終端，顯示搜索的結果。
6.根據(jù)權力要求2所述的智能信息搜索引擎，其特征在于所述的內容網(wǎng)頁連接獲取表達式是指，系統(tǒng)自動分析所述目標網(wǎng)站結構、目標網(wǎng)頁Tag語法結構，目標網(wǎng)頁內容結構，將從目標網(wǎng)站每個欄目、每個目錄采集的基于tag語法的網(wǎng)頁，按相同的布局、相同的目錄進行分類，自動生成和對應目標網(wǎng)站相關的內容網(wǎng)頁連接獲取表達式。
7.根據(jù)權利要求2、6所述的智能信息搜索引擎，其特征在于所述內容匹配表達式為，根據(jù)每個目標網(wǎng)站目錄相似的布局網(wǎng)頁Tag語法結構異同部分，網(wǎng)頁內容結構異同部分，確定所述目標網(wǎng)頁的全部目標網(wǎng)元位置，生成目標網(wǎng)元的內容匹配表達式。
8.根據(jù)權利要求2、6所述的智能信息搜索引擎，其特征在于所述內容獲取表達式為，根據(jù)各個目標網(wǎng)元的信息類型的特征，通過所述內容匹配表達式確定目標網(wǎng)頁中各信息分析要素對應的目標網(wǎng)元，目標網(wǎng)元和欄目分類的映射關系形成一個網(wǎng)元映射圖，以確定目標網(wǎng)元在目標網(wǎng)頁上的位置，并生成目標網(wǎng)元的內容獲取表達式。
9.根據(jù)權利要求7所述的智能信息搜索引擎，其特征在于所述內容獲取表達式為，根據(jù)各個目標網(wǎng)元的信息類型的特征，通過所述內容匹配表達式確定目標網(wǎng)頁中各信息分析要素對應的目標網(wǎng)元，目標網(wǎng)元和欄目分類的映射關系形成一個網(wǎng)元映射圖，以確定目標網(wǎng)元在目標網(wǎng)頁上的位置，并生成目標網(wǎng)元的內容獲取表達式。
10.根據(jù)權力要求9所述的智能信息搜索引擎，其特征在于所述的智能句子去重是一種處理句子信息重復排除的方法，具體為，a)將信息按標點符號分成句，提取特征碼，b)對信息進行特征碼提取，每篇信息對N個自然句提取N個特征碼，其余的忽略，不足的補零；c)對特征碼進行排序、插入、查找、和比較，每條新信息只比較特征碼和最相近的m篇信息，d)將差異在設定的值范圍內的進行重復排除。
11.根據(jù)權利要求1至6所述任一智能信息搜索引擎，其特征在于搜索任務處理模塊包括一個定時器和一個定制器。
12.根據(jù)權利要求8所述的智能信息搜索引擎，其特征在于搜索任務處理模塊包括一個定時器和一個定制器。
13.根據(jù)權利要求10所述的智能信息搜索引擎，其特征在于搜索任務處理模塊包括一個定時器和一個定制器。
全文摘要
本發(fā)明公開了一種基于關鍵字搜索的移動互聯(lián)網(wǎng)智能信息搜索引擎，其特征是根據(jù)指定的欄目分類和目標網(wǎng)站，機器自動對目標網(wǎng)站進行采樣和分析，生成搜索規(guī)則，并根據(jù)所述搜索規(guī)則對所述目標網(wǎng)站進行采集；然后，經(jīng)過一個信息處理過程，將所述目標網(wǎng)站采集到的網(wǎng)元組織成特定的全文索引結構，并緩存，構成一個全文索引信息庫；有一個搜索任務處理模塊，對移動設備發(fā)出的搜索命令進行處理，通過設備識別和通道識別模塊、移動互聯(lián)網(wǎng)接入模塊判斷移動設備接入互聯(lián)網(wǎng)的方式，進行移動設備的設備識別和所使用的通道的識別，將處理結果返回給移動設備。本發(fā)明填補目前移動領域該項服務的空白，并很好的滿足了廣大移動用戶在移動信息獲取方面的需要。
文檔編號G06F17/30GK1677389SQ20041002667
公開日2005年10月5日 申請日期2004年3月31日 優(yōu)先權日2004年3月31日
發(fā)明者張光強, 張煒 申請人:宇龍計算機通信科技(深圳)有限公司