一種地理位置敏感的搜索引擎方法和系統(tǒng)的制作方法
【專利摘要】一種地理位置敏感的網(wǎng)頁檢索方法、搜索引擎方法和搜索引擎系統(tǒng)。首先云端服務(wù)器在離線狀態(tài)下計算各網(wǎng)頁關(guān)于選定地理熱點的地理相關(guān)性，并結(jié)合網(wǎng)絡(luò)爬取單元獲取的網(wǎng)絡(luò)鏈接結(jié)構(gòu)，計算各網(wǎng)頁針對每個地理熱點的重要性得分，將所述得分作為一個字段記錄在每個網(wǎng)頁的元數(shù)據(jù)中，將各網(wǎng)頁的元數(shù)據(jù)存儲在服務(wù)器的空間數(shù)據(jù)庫中；用戶在線查詢時，服務(wù)器通過自然語言處理解析出查詢語句的地理范圍，并根據(jù)與地理熱點之間的距離計算查詢語句關(guān)于地理熱點的地理相關(guān)性，同時從空間數(shù)據(jù)庫中調(diào)取各網(wǎng)頁關(guān)于相應(yīng)地理熱點的得分值，在線計算各網(wǎng)頁針對特定查詢的得分值并將結(jié)果降序排列，在用戶端輸出檢索結(jié)果。
【專利說明】一種地理位置敏感的搜索引擎方法和系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明提供一種搜索引擎方法和系統(tǒng)，具體涉及一種考慮網(wǎng)頁地理位置信息及鏈接關(guān)系的網(wǎng)頁檢索方法，并提供了相應(yīng)的搜索引擎系統(tǒng)，屬于地理信息檢索領(lǐng)域。
【背景技術(shù)】
[0002]隨著信息技術(shù)的發(fā)展，互聯(lián)網(wǎng)已經(jīng)成為重要的數(shù)據(jù)來源，近年來云技術(shù)的普及在解決數(shù)據(jù)共享問題的同時，也給信息挖掘和知識發(fā)現(xiàn)帶來嚴(yán)峻的考驗。在大數(shù)據(jù)時代如何有效挖掘出高相關(guān)性、高可靠性的數(shù)據(jù)顯得尤為重要。根據(jù)Mark Sanderson等人的研究(Sanderson M, Kohler J.Analyzing geographic queries[C]//SIGIR Workshop onGeographic Information Retrieval.2004, 2), 15%-19% 的網(wǎng)頁搜索查詢都是地理相關(guān)的，基于地理信息的網(wǎng)頁檢索具有很大的研究價值和實際意義。
[0003]傳統(tǒng)的網(wǎng)頁排序方法主要采用PageRank算法(Page L, Brin S，Motwani R, etal.The PageRank citation ranking !bringing order to the web [J].1999),該算法基于網(wǎng)頁鏈接關(guān)系計算每個網(wǎng)頁的排序得分，同時根據(jù)主題進(jìn)行加權(quán)，對于一般主題相關(guān)的查詢能夠返回滿意的結(jié)果，但卻無法根據(jù)檢索詞與網(wǎng)頁間地理相關(guān)性進(jìn)行排序；Bruno Martins 等人對地理信息檢索的研究(Martins B, Calado P.Learning to rankfor geographic information retrieval[C]//Proceedings of the6th Workshop onGeographic Information Retrieval.ACM, 2010:21)則是針對文檔的，最終結(jié)果以地理相關(guān)性和文本相關(guān)性進(jìn)行排序，該方法缺少對網(wǎng)絡(luò)結(jié)構(gòu)的考慮，無法過濾掉垃圾網(wǎng)頁；SaeidAsadi 等人的工作(Asadi S，Zhou X，Yang G.Using local popularity of web resourcesfor geo-ranking of search engine results[J].World Wide Web, 2009, 12(2):149-170)將不屬于查詢范圍的網(wǎng)頁從網(wǎng)絡(luò)結(jié)構(gòu)圖中直接刪除，對地理相關(guān)性的判定不精確，同時對網(wǎng)絡(luò)結(jié)構(gòu)圖的修改也使垃圾網(wǎng)頁不能很好地剔除。目前還沒有一種方法能夠很好地兼顧地理相關(guān)性和網(wǎng)頁鏈接關(guān)系。

【發(fā)明內(nèi)容】

[0004]術(shù)語定義:“地理熱點”也稱為POI (Point of Interest，興趣點)，是空間位置已知、在現(xiàn)實世界中具有明確標(biāo)識的地點，例如一棟房子、一個商鋪、一個郵筒、一個公交站等?！熬W(wǎng)頁的地理范圍”指網(wǎng)頁包含的地理名詞所對應(yīng)空間坐標(biāo)的點集；“關(guān)鍵詞的地理范圍”指查詢語句對應(yīng)的空間點集；“基于地理信息的搜索”指用戶輸入地理關(guān)鍵詞，希望返回的網(wǎng)頁地理范圍與關(guān)鍵詞的地理范圍最鄰近，并且返回的網(wǎng)頁能包含可靠的信息(非垃圾網(wǎng)頁)。
[0005]本發(fā)明的目的是提供一種新的網(wǎng)頁重要性評價方法和搜索引擎方法及系統(tǒng)，綜合考慮網(wǎng)頁包含的地理位置信息和網(wǎng)頁的鏈接關(guān)系對網(wǎng)頁進(jìn)行評分，在用戶進(jìn)行地理信息檢索時能實時提供與查詢語句地理范圍最鄰近、最權(quán)威的網(wǎng)頁。
[0006]本發(fā)明提供的技術(shù)方案如下:[0007]本發(fā)明首先提供一種地理位置敏感的網(wǎng)頁檢索方法，其特征是，首先云端服務(wù)器在離線狀態(tài)下計算各網(wǎng)頁關(guān)于選定地理熱點的地理相關(guān)性，并結(jié)合網(wǎng)絡(luò)爬取單元獲取的網(wǎng)絡(luò)鏈接結(jié)構(gòu)，計算各網(wǎng)頁針對每個地理熱點的重要性得分，將所述得分作為一個字段記錄在每個網(wǎng)頁的元數(shù)據(jù)中，將各網(wǎng)頁的元數(shù)據(jù)存儲在服務(wù)器的空間數(shù)據(jù)庫中；用戶在線查詢時，服務(wù)器通過自然語言處理解析出查詢語句的地理范圍，并根據(jù)與地理熱點之間的距離計算查詢語句關(guān)于地理熱點的地理相關(guān)性，同時從空間數(shù)據(jù)庫中調(diào)取各網(wǎng)頁關(guān)于相應(yīng)地理熱點的得分值，在線計算各網(wǎng)頁針對特定查詢的得分值并將結(jié)果降序排列，在用戶端輸出檢索結(jié)果。
[0008]本發(fā)明同時提供一種地理位置敏感的搜索引擎方法，其特征是，包括如下步驟:
[0009]S1、離線計算各網(wǎng)頁關(guān)于地理熱點的得分，執(zhí)行如下操作:
[0010]SlOl:選取POI庫中的地理熱點作為參考點；
[0011]S102:利用云端服務(wù)器對網(wǎng)絡(luò)中各網(wǎng)頁進(jìn)行信息爬取，對爬取獲得的網(wǎng)頁內(nèi)容進(jìn)行地理標(biāo)注，獲得每個網(wǎng)頁的地理范圍；或者采用自然語言處理方法提取出網(wǎng)頁包含的地名，并與地名庫進(jìn)行匹配，獲得每個網(wǎng)頁的地理范圍；
[0012]S103:對于每個地理熱點，網(wǎng)頁的地理相關(guān)性與網(wǎng)頁地理范圍中各點出現(xiàn)的頻率成正比，與各點和地理熱點之間的空間距離的冪成反比，由此在服務(wù)器端計算各網(wǎng)頁針對地理熱點的地理相關(guān)性；
[0013]S104:利用 網(wǎng)絡(luò)爬蟲獲取網(wǎng)頁間的鏈接關(guān)系；根據(jù)網(wǎng)頁間的鏈接關(guān)系，構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)圖的鄰接矩陣A，其中A的行、列分別對應(yīng)相應(yīng)編號的網(wǎng)頁，A中元素的值表示網(wǎng)頁間的鏈接關(guān)系；
[0014]S105:對于每個地理熱點，根據(jù)各網(wǎng)頁的鏈接關(guān)系以及關(guān)于該地理熱點的地理相關(guān)性，基于PageRank算法進(jìn)行改進(jìn)，基于網(wǎng)頁包含的地理范圍對網(wǎng)頁進(jìn)行加權(quán)，計算各網(wǎng)頁關(guān)于地理熱點的得分；
[0015]S2、在線計算查詢語句與地理熱點的地理相關(guān)性，執(zhí)行如下操作:
[0016]S201:利用云端服務(wù)器對查詢語句進(jìn)行自然語言處理，獲取查詢語句的地理范圍；
[0017]S202:對于每個地理熱點，在線計算查詢語句的地理相關(guān)性，其中，查詢語句地理范圍中各點的地理相關(guān)性與其相對于地理熱點的空間距離的冪成反比，整個查詢語句的地理相關(guān)性為其地理范圍中各點地理相關(guān)性之和；
[0018]S3、結(jié)合離線計算和在線計算，得出各網(wǎng)頁關(guān)于檢索詞的得分并排序輸出。
[0019]其中，步驟S3包括:
[0020]S301:調(diào)用數(shù)據(jù)庫中存儲的各網(wǎng)頁對每個地理熱點的得分，乘以查詢語句對相應(yīng)地理熱點的地理相關(guān)性，并對各個地理熱點的得分結(jié)果進(jìn)行累和，得出各網(wǎng)頁關(guān)于查詢語句的最終得分；
[0021]S302:根據(jù)網(wǎng)頁的最終得分進(jìn)行降序排列，并返回結(jié)果列表。
[0022]步驟S103具體包括:
[0023]在網(wǎng)頁i中，包含M個地理位置{fPl，fp2，fp3，…fpM}，任意點位m在網(wǎng)頁中出現(xiàn)
的頻率為tmSm點對應(yīng)的地理名詞在網(wǎng)頁中出現(xiàn)的次數(shù)，1\為網(wǎng)頁中總詞數(shù)；m點與地

?理熱點j的距離為dmj ；r為經(jīng)驗值；m點關(guān)于地理熱點j的相關(guān)性權(quán)重Wmlj如下計算:
【權(quán)利要求】
1.一種地理位置敏感的網(wǎng)頁檢索方法，其特征是，首先云端服務(wù)器在離線狀態(tài)下計算各網(wǎng)頁關(guān)于選定地理熱點的地理相關(guān)性，并結(jié)合網(wǎng)絡(luò)爬取單元獲取的網(wǎng)絡(luò)鏈接結(jié)構(gòu)，計算各網(wǎng)頁針對每個地理熱點的重要性得分，將所述得分作為一個字段記錄在每個網(wǎng)頁的元數(shù)據(jù)中，將各網(wǎng)頁的元數(shù)據(jù)存儲在服務(wù)器的空間數(shù)據(jù)庫中；用戶在線查詢時，服務(wù)器通過自然語言處理解析出查詢語句的地理范圍，并根據(jù)與地理熱點之間的距離計算查詢語句關(guān)于地理熱點的地理相關(guān)性，同時從空間數(shù)據(jù)庫中調(diào)取各網(wǎng)頁關(guān)于相應(yīng)地理熱點的得分值，在線計算各網(wǎng)頁針對特定查詢的得分值并將結(jié)果降序排列，在用戶端輸出檢索結(jié)果。
2.—種地理位置敏感的搜索引擎方法，其特征是，包括如下步驟: 51、離線計算各網(wǎng)頁關(guān)于地理熱點的得分，執(zhí)行如下操作: SlOl:選取POI庫中的地理熱點作為參考點； S102:利用云端服務(wù)器對網(wǎng)絡(luò)中各網(wǎng)頁進(jìn)行信息爬取，對爬取獲得的網(wǎng)頁內(nèi)容進(jìn)行地理標(biāo)注，獲得每個網(wǎng)頁的地理范圍；或者采用自然語言處理方法提取出網(wǎng)頁包含的地名，并與地名庫進(jìn)行匹配，獲得每個網(wǎng)頁的地理范圍； 5103:對于每個地理熱點，網(wǎng)頁的地理相關(guān)性與網(wǎng)頁地理范圍中各點出現(xiàn)的頻率成正t匕，與各點和地理熱點之間的空間距離的冪成反比，由此在服務(wù)器端計算各網(wǎng)頁針對地理熱點的地理相關(guān)性； 5104:利用網(wǎng)絡(luò)爬蟲獲取網(wǎng)頁間的鏈接關(guān)系；根據(jù)網(wǎng)頁間的鏈接關(guān)系，構(gòu)建網(wǎng)頁鏈接關(guān)系圖的鄰接矩陣A，其中A的行、列分別對應(yīng)相應(yīng)編號的網(wǎng)頁，A中元素的值表示網(wǎng)頁間的鏈接關(guān)系； S105:對于每個地理熱點，根據(jù)各網(wǎng)頁的鏈接關(guān)系以及關(guān)于該地理熱點的地理相關(guān)性，基于PageRank算法進(jìn)行改 進(jìn)，基于網(wǎng)頁包含的地理范圍對網(wǎng)頁進(jìn)行加權(quán)，計算各網(wǎng)頁關(guān)于地理熱點的得分； 52、在線計算查詢語句與地理熱點的地理相關(guān)性，執(zhí)行如下操作: 5201:利用云端服務(wù)器對查詢語句進(jìn)行自然語言處理，獲取查詢語句的地理范圍； 5202:對于每個地理熱點，在線計算查詢語句的地理相關(guān)性，其中，查詢語句地理范圍中各點的地理相關(guān)性與其相對于地理熱點的空間距離的冪成反比，整個查詢語句的地理相關(guān)性為其地理范圍中各點地理相關(guān)性之和； 53、結(jié)合離線計算和在線計算，得出各網(wǎng)頁關(guān)于檢索詞的得分并排序輸出。
3.如權(quán)利要求2所述的搜索引擎方法，其特征是，步驟S3包括: 5301:調(diào)用數(shù)據(jù)庫中存儲的各網(wǎng)頁對每個地理熱點的得分，乘以查詢語句對相應(yīng)地理熱點的地理相關(guān)性，并對各個地理熱點的得分結(jié)果進(jìn)行累和，得出各網(wǎng)頁關(guān)于查詢語句的最終得分； 5302:根據(jù)網(wǎng)頁的最終得分進(jìn)行降序排列，并返回結(jié)果列表。
4.如權(quán)利要求2所述的搜索引擎方法，其特征是，步驟S103具體包括: 在網(wǎng)頁i中，包含M個地理位置,設(shè)為{fp1; fp2, fp3,…fpM},任意點位m在網(wǎng)頁中出現(xiàn)的頻率為tmSm點對應(yīng)的地理名詞在網(wǎng)頁中出現(xiàn)的次數(shù)，Ti為網(wǎng)頁中總詞數(shù)；m點與

I地理熱點j的距離為dmj ；r為經(jīng)驗值；m點關(guān)于地理熱點j的相關(guān)性權(quán)重Wmlj如下計算:
5.如權(quán)利要求4所述的搜索引擎方法，其特征是，步驟S105具體包括: 對于每個地理熱點，根據(jù)各網(wǎng)頁的鏈接關(guān)系以及關(guān)于該地理熱點的地理相關(guān)性，基于PageRank算法進(jìn)行改進(jìn)，通過對網(wǎng)頁地理位置進(jìn)行加權(quán)，計算各網(wǎng)頁關(guān)于地理熱點的得分，計算公式如下:
6.如權(quán)利要求5所述的搜索引擎方法，其特征是，步驟S202具體包括: 對于每個地理熱點，在線計算查詢語句的地理相關(guān)性，其中，查詢語句地理范圍中各點的地理相關(guān)性與其相對于地理熱點的空間距離的冪成反比，整個查詢語句的地理相關(guān)性為其地理范圍中各點地理相關(guān)性之和；對于查詢語句地理范圍點集Q中第t個點qt，其關(guān)于地理熱點j的地理相關(guān)性計算公式如下:
7.如權(quán)利要求6所述的搜索引擎方法，其特征是，步驟S3中，調(diào)用數(shù)據(jù)庫中存儲的各網(wǎng)頁對每個地理熱點的得分，乘以查詢語句對相應(yīng)地理熱點的地理相關(guān)性，并對各個地理熱點的得分結(jié)果進(jìn)行累和，得出各網(wǎng)頁關(guān)于檢索詞的最終得分；網(wǎng)頁i關(guān)于查詢語句Query的相關(guān)性得分GPRi計算公式如下:
8.—種地理位置敏感的搜索引擎系統(tǒng)，其特征是，包括云端服務(wù)器；搜索器、索引器、檢索器、用戶接口和分布式空間數(shù)據(jù)庫；其中， 所述的云端服務(wù)器，為位于云端的一臺或多臺計算機(jī)設(shè)備，提供數(shù)據(jù)檢索所需的計算和存儲平臺； 所述的搜索器，主要負(fù)責(zé)從一個起始URL集合開始，順著URL中的超鏈接以寬度優(yōu)先、深度優(yōu)先或啟發(fā)式方式循環(huán)地在互聯(lián)網(wǎng)中發(fā)現(xiàn)信息，抓取網(wǎng)頁的鏈接關(guān)系以及網(wǎng)頁的地理范圍； 所述的索引器，主要負(fù)責(zé)理解搜索器所搜索的信息，從中抽取出索引項，用于表示文檔以及生成文檔庫的索引表，根據(jù)網(wǎng)頁鏈接關(guān)系及網(wǎng)頁涉及的地理位置，計算各網(wǎng)頁對于指定地理熱點的得分； 所述的檢索器，對用戶查詢語句進(jìn)行解析，根據(jù)其的地理范圍，計算出查詢語句與地理熱點的地理相關(guān)度，并調(diào)用索引器的計算結(jié)果，最終進(jìn)行網(wǎng)頁與查詢的地理位置敏感的相關(guān)度評價，對將要輸出的結(jié)果進(jìn)行排序，并實現(xiàn)用戶相關(guān)性反饋機(jī)制； 所述的用戶接口，接受用戶查詢輸入、顯示查詢結(jié)果，提供基本的人機(jī)交互操作界面； 所述的分布式空間數(shù)據(jù)庫，用于存儲系統(tǒng)日志、地理熱點的空間及屬性信息、各網(wǎng)頁關(guān)于地理熱點的得分。
9.如權(quán)利要求8所述的搜索引擎系統(tǒng)，其特征是，所述的搜索器，負(fù)責(zé)網(wǎng)頁鏈接信息和地理位置信息的爬取，并將這些信息傳入到所述的索引器進(jìn)行離線處理，計算每個網(wǎng)頁關(guān)于地理熱點的得分并將其記錄在所述的分布式空間數(shù)據(jù)庫中。
10.如權(quán)利要求8所述的搜索引擎系統(tǒng)，其特征是，當(dāng)瀏覽者從所述的用戶接口輸入查詢語句時，所述的檢索器對查詢語句進(jìn)行解析，獲取其所包含的地理位置信息，并根據(jù)所述的分布式空間數(shù)據(jù)庫中的地理熱點計算查詢語句與地理熱點的地理相關(guān)性，之后結(jié)合各網(wǎng)頁的離線得分情況，計算出網(wǎng)頁對于查詢語句的最終得分，將結(jié)果降序排列返回到用戶接口進(jìn)行顯示。
【文檔編號】G06F17/30GK103678629SQ201310704016
【公開日】2014年3月26日 申請日期:2013年12月19日 優(yōu)先權(quán)日:2013年12月19日
【發(fā)明者】姜丹, 高勇, 李浩然, 劉家駿, 郭瀟, 程靜 申請人:北京大學(xué)