優(yōu)化搜索引擎的方法及裝置制造方法
【專利摘要】本發(fā)明提供一種優(yōu)化搜索引擎的方法及裝置，該方法包括：在接收到新的記錄時，從該記錄中提取時間信息，確認該時間信息所屬時間段，判斷是否存在該時間段的索引表，若不存在，則創(chuàng)建該時間段的索引表，并將所述記錄的索引信息添加到創(chuàng)建的索引表中；根據(jù)預設的索引文件生成規(guī)則，將所述索引表打包成對應的索引文件，所述索引文件包含所述時間段信息；在接收到查詢請求時，從該查詢請求中獲取時間過濾條件，解析所有索引文件的時間段信息，保留符合所述時間過濾條件的索引文件，遍歷所述保留的索引文件中的記錄，查詢滿足其它過濾條件的記錄并輸出。本發(fā)明有效提升了搜索應用服務器在交通行業(yè)的應用能力，滿足用戶對大數(shù)據(jù)量查詢的快速響應要求。
【專利說明】優(yōu)化搜索引擎的方法及裝置
【技術領域】
[0001]本發(fā)明涉及搜索引擎【技術領域】，尤其涉及一種優(yōu)化搜索引擎的方法及裝置。
【背景技術】
[0002]隨著云存儲數(shù)據(jù)庫在交通行業(yè)的廣泛應用，其在查詢功能上的不足也日益凸顯，為彌補云存儲數(shù)據(jù)庫在數(shù)據(jù)查詢功能上的不足，往往通過引入搜索應用服務器為云存儲數(shù)據(jù)庫創(chuàng)建索引，提升查詢性能。搜索應用服務器作為一種可伸縮的、致力于信息檢索的、可以處理海量信息的應用服務器，在數(shù)據(jù)檢索方面具有得天獨厚的優(yōu)勢，能很好的彌補云存儲數(shù)據(jù)庫檢索的不足。
[0003]現(xiàn)有的索引創(chuàng)建和查詢的流程雖然能夠解決云存儲數(shù)據(jù)庫查詢性能的不足，但由于為了保證檢索功能的通用性，導致性能瓶頸，當數(shù)據(jù)庫中的數(shù)據(jù)量達到億級或十億級時，其查詢響應時間往往在10秒左右，如需要排序，則時間消耗更是成倍數(shù)增長，無法滿足交通行業(yè)快速響應的需求。

【發(fā)明內容】

[0004]有鑒于此，本發(fā)明提供一種優(yōu)化的搜索引擎裝置，應用于搜索應用服務器設備上，該裝置包括:
[0005]索引信息創(chuàng)建單元，用于在接收到新的記錄時，從該記錄中提取時間信息，根據(jù)預設的時間段劃分規(guī)則，確認該時間信息所屬時間段，判斷是否存在該時間段的索引表，若不存在，則創(chuàng)建該時間段的索引表，并將所述記錄的索弓I信息添加到創(chuàng)建的索引表中；
[0006]索引文件生成單元，用于根據(jù)預設的索引文件生成規(guī)則，將所述索引表打包成對應的索引文件，所述索引文件包含所述時間段信息；
[0007]索引信息查詢單元，用于在接收到查詢請求時，從該查詢請求中獲取時間過濾條件，解析所有索引文件的時間段信息，保留符合所述時間過濾條件的索引文件，遍歷所述保留的索引文件中的記錄，查詢滿足其它過濾條件的記錄并輸出。
[0008]本發(fā)明還提供了一種優(yōu)化搜索引擎的方法，應用于搜索應用服務器設備上，該方法包括:
[0009]步驟A，在接收到新的記錄時，從該記錄中提取時間信息，根據(jù)預設的時間段劃分規(guī)則，確認該時間信息所屬時間段，判斷是否存在該時間段的索引表，若不存在，則創(chuàng)建該時間段的索引表，并將所述記錄的索弓I信息添加到創(chuàng)建的索引表中；
[0010]步驟B，根據(jù)預設的索引文件生成規(guī)則，將所述索引表打包成對應的索引文件，所述索引文件包含所述時間段信息；
[0011]步驟C，在接收到查詢請求時，從該查詢請求中獲取時間過濾條件，解析所有索引文件的時間段信息，保留符合所述時間過濾條件的索引文件，遍歷所述保留的索引文件中的記錄，查詢滿足其它過濾條件的記錄并輸出。
[0012]本發(fā)明有效提升了搜索應用服務器在交通行業(yè)的應用能力，滿足用戶對大數(shù)據(jù)量查詢的快速響應要求。
【專利附圖】

【附圖說明】
[0013]圖1是本發(fā)明一種實施方式中索引裝置的邏輯結構及其基礎硬件環(huán)境的示意圖。
[0014]圖2是本發(fā)明一種實施方式中索引方法的流程圖。
【具體實施方式】
[0015]以下結合附圖對本發(fā)明進行詳細描述。
[0016]本發(fā)明提供一種優(yōu)化搜索引擎的裝置，應用于搜索應用服務器設備上。以下以軟件實現(xiàn)為例進行說明，但是本發(fā)明并不排除諸如硬件或者邏輯器件等其他實現(xiàn)方式。如圖1所示，該裝置運行的硬件環(huán)境通常包括CPU、內存、非易失性存儲器以及其他硬件。該裝置作為一個邏輯層面的虛擬裝置，其通過CPU來運行。該裝置包括索引信息創(chuàng)建單元、索引文件生成單元以及索引信息查詢單元。請參考圖2具體的實施步驟。
[0017]步驟101，在接收到新的記錄時，從該記錄中提取時間信息，根據(jù)預設的時間段劃分規(guī)則，確認該時間信息所屬時間段，判斷是否存在該時間段的索引表，若不存在，則創(chuàng)建該時間段的索引表，并將所述記錄的索引信息添加到創(chuàng)建的索引表中；
[0018]步驟102，根據(jù)預設的索引文件生成規(guī)則，將所述索引表打包成對應的索引文件，所述索引文件包含所述時間段信息；
[0019]步驟103，在接收到查詢請求時，從該查詢請求中獲取時間過濾條件，解析所有索引文件的時間段信息，保留符合所述時間過濾條件的索引文件，遍歷所述保留的索引文件中的記錄，查詢滿足其它過濾條件的記錄并輸出。
[0020]在常規(guī)的索引方法中，為了保證搜索應用服務器的通用性，對索引記錄的時間信息不做特殊處理，導致在查詢時需要遍歷所有的索引文件，當索引文件過多時，其打開文件和加載數(shù)據(jù)的過程將消耗很多時間，且對所有索引記錄都需要進行條件過濾，極大地延長了查詢的響應時間。本發(fā)明針對交通行業(yè)中記錄數(shù)據(jù)必然包含時間信息，且用戶往往按照時間信息進行查詢的特點，通過引入時間信息優(yōu)化搜索應用服務器的索引處理流程?，F(xiàn)以交通行業(yè)中經常查詢的過車記錄為例，詳細介紹搜索應用服務器的索引處理流程。
[0021]搜索應用服務器在接收到新的記錄時，從該記錄中提取時間信息，根據(jù)預先設置的時間段劃分規(guī)則，確認該記錄的時間信息屬于哪一個時間段，再查詢內存中是否存在該時間段對應的索引表，若不存在，則創(chuàng)建該時間段的索引表。例如，以月份來劃分時間段，則屬于同一個月份的記錄，其建立的索引表項將添加到同一個索引表中。所述索引表包括正排索引表和倒排索引表，正排索引表是根據(jù)記錄查找記錄中的信息，倒排索引表是根據(jù)信息查找包含該信息的記錄，后續(xù)具體例子將對此進行詳細說明。當搜索應用服務器接收到一條新記錄時，提取記錄中的關鍵字信息，根據(jù)該記錄中的時間信息建立正排索引表項，其它信息建立倒排 索引表項，并存入對應的索引表中。例如:若過車記錄包含4個關鍵信息，具體為過車時間、過車卡口、車牌信息以及是否違章。以下以表1過車記錄為例進行說明。
[0022]
序號I記錄標識符I過車時間~I過車卡口I車牌信息~I是否違章
【權利要求】
1.一種優(yōu)化搜索引擎的裝置，應用于搜索應用服務器設備上，其特征在于，該裝置包括: 索引信息創(chuàng)建單元，用于在接收到新的記錄時，從該記錄中提取時間信息，根據(jù)預設的時間段劃分規(guī)則，確認該時間信息所屬時間段，判斷是否存在該時間段的索引表，若不存在，則創(chuàng)建該時間段的索引表，并將所述記錄的索引信息添加到創(chuàng)建的索引表中； 索引文件生成單元，用于根據(jù)預設的索引文件生成規(guī)則，將所述索引表打包成對應的索引文件，所述索引文件包含所述時間段信息； 索引信息查詢單元，用于在接收到查詢請求時，從該查詢請求中獲取時間過濾條件，解析所有索引文件的時間段信息，保留符合所述時間過濾條件的索引文件，遍歷所述保留的索引文件中的記錄，查詢滿足其它過濾條件的記錄并輸出。
2.如權利要求1所述的裝置，其特征在于: 所述索引文件的時間段信息包含在該索引文件的文件名中。
3.如權利要求1所述的裝置，其特征在于: 所述索引文件生成單元進一步用于將同一時間段內的索引文件按照預設的合并策略進行索引文件合并。
4.如權利要求1所述的裝置，其特征在于: 所述索引信息查詢單元進一步用于在所述滿足時間過濾條件的索引文件中，對具有相同時間段的索引文件分別統(tǒng)計滿足其它過濾條件的記錄總數(shù)，并根據(jù)排序要求，對滿足過濾條件的記錄進行排序并輸出，其中，所述排序要求包括排序方式、偏移條數(shù)以及顯示條數(shù)，所述排序方式為按照時間升序或降序排列，所述偏移條數(shù)為所述滿足過濾條件的記錄按照所述排序方式排序后，不需要輸出的前N條記錄。
5.如權利要求1所述的裝置，其特征在于: 所述預設的時間段劃分規(guī)則可自適應調整時間段長度。
6.一種優(yōu)化搜索引擎的方法，應用于搜索應用服務器設備上，其特征在于，該方法包括: 步驟A，在接收到新的記錄時，從該記錄中提取時間信息，根據(jù)預設的時間段劃分規(guī)則，確認該時間信息所屬時間段，判斷是否存在該時間段的索引表，若不存在，則創(chuàng)建該時間段的索引表，并將所述記錄的索引信息添加到創(chuàng)建的索引表中； 步驟B，根據(jù)預設的索引文件生成規(guī)則，將所述索引表打包成對應的索引文件，所述索引文件包含所述時間段信息； 步驟C，在接收到查詢請求時，從該查詢請求中獲取時間過濾條件，解析所有索引文件的時間段信息，保留符合所述時間過濾條件的索引文件，遍歷所述保留的索引文件中的記錄，查詢滿足其它過濾條件的記錄并輸出。
7.如權利要求6所述的方法，其特征在于: 所述索引文件的時間段信息包含在該索引文件的文件名中。
8.如權利要求6所述的方法，其特征在于: 所述步驟B還包括:將同一時間段內的索引文件按照預設的合并策略進行索引文件合并。
9.如權利要求6所述的方法，其特征在于:所述步驟C還包括:在所述滿足時間過濾條件的索引文件中，對具有相同時間段的索引文件分別統(tǒng)計滿足其它過濾條件的記錄總數(shù)，并根據(jù)排序要求，對滿足過濾條件的記錄進行排序并輸出，其中，所述排序要求包括排序方式、偏移條數(shù)以及顯示條數(shù)，所述排序方式為按照時間升序或降序排列，所述偏移條數(shù)為所述滿足過濾條件的記錄按照所述排序方式排序后，不需要輸出的前N條記錄。
10.如權利要求6所述的方法，其特征在于: 所述預設的時 間段劃分規(guī)則可自適應調整時間段長度。
【文檔編號】G06F17/30GK103970853SQ201410186758
【公開日】2014年8月6日 申請日期:2014年5月5日 優(yōu)先權日:2014年5月5日
【發(fā)明者】陶明淵 申請人:浙江宇視科技有限公司