一種數(shù)據(jù)搜索的方法及裝置的制造方法
【技術領域】
[0001]本發(fā)明實施例涉及數(shù)據(jù)處理的技術領域，尤其涉及一種數(shù)據(jù)搜索的方法及裝置。
【背景技術】
[0002]當數(shù)據(jù)量大的時候，索引的建立需要消耗大量的時間和10，而搜索也屬于1密集型，將嚴重影響搜索業(yè)務的性能和用戶的體驗。同時，對于實時搜索引擎來說，索引的碎片化的問題會很嚴重，因此，隨著搜索業(yè)務的不斷發(fā)展，網(wǎng)絡數(shù)據(jù)也呈現(xiàn)井噴式的增長，隨之而來的實時數(shù)據(jù)搜索的問題也越來越嚴重，無法實現(xiàn)數(shù)據(jù)信息的近實時查詢。

【發(fā)明內容】

[0003]本發(fā)明實施例的目的在于提出一種數(shù)據(jù)搜索的方法及裝置，旨在解決如何實現(xiàn)數(shù)據(jù)的近實時查詢的問題。
[0004]為達此目的，本發(fā)明實施例采用以下技術方案:
[0005]一種數(shù)據(jù)搜索的方法，所述方法包括:
[0006]建立采集的索引數(shù)據(jù)的刷入索引；
[0007]根據(jù)預設的第一算法合并所述刷入索引，生成合并索引；
[0008]將所述合并索引與當前的全量索引根據(jù)預設的第二算法進行合并，生成新的全量索引，所述新的全量索引用于用戶進行數(shù)據(jù)搜索。
[0009]優(yōu)選地，所述根據(jù)預設的第一算法合并所述刷入索引，生成合并索引，包括:
[0010]將所述刷入索引存儲到內存的索引A區(qū)；
[0011]當存入到所述索引A區(qū)的刷入索引的大小達到預設的第一閾值時，則將所述索引A區(qū)的刷入索引的數(shù)據(jù)復制到內存的索引B區(qū)；
[0012]當存入到所述索引B區(qū)的刷入索引的大小達到預設的第二閾值時，則將所述索引B區(qū)的刷入索引的數(shù)據(jù)寫入存儲模塊中。
[0013]優(yōu)選地，所述將所述合并索引與當前的全量索引根據(jù)預設的第二算法進行合并，生成新的全量索引，包括:
[0014]將所述合并索引與當前的全量索引進行合并，生成新的全量索引和新的合并任務，建立所述新的全量索引和所述新的合并任務的連接；
[0015]將所述新的全量索引存儲到存儲模塊中，監(jiān)控是否完成所述當前全量索引對應的搜索任務；
[0016]在監(jiān)控到已完成所述當前全量對應的搜索任務后，刪除所述當前全量索引。
[0017]優(yōu)選地，所述方法在建立采集的索引數(shù)據(jù)的刷入索引之前，還包括:
[0018]對采集的數(shù)據(jù)的類型進行判別；
[0019]若采集的數(shù)據(jù)的類型為搜索數(shù)據(jù)時，則獲取所述搜索數(shù)據(jù)中的關鍵詞組合，搜索所述關鍵詞組合對應的數(shù)據(jù)內容，并將所述數(shù)據(jù)內容進行合并后發(fā)送給用戶；
[0020]若采集的數(shù)據(jù)的類型為索引數(shù)據(jù)時，則執(zhí)行建立采集的索引數(shù)據(jù)的刷入索引的步驟。
[0021]優(yōu)選地，所述方法還包括:
[0022]將采集的索引數(shù)據(jù)以寫日志的方式寫入預設的內存區(qū)，將所述日志寫入存儲模塊。
[0023]一種數(shù)據(jù)搜索的裝置，所述裝置包括:
[0024]建立單元，用于建立采集的索引數(shù)據(jù)的刷入索引；
[0025]第一生成單元，用于根據(jù)預設的第一算法合并所述刷入索引，生成合并索引；
[0026]第二生成單元，用于將所述合并索引與當前的全量索引根據(jù)預設的第二算法進行合并，生成新的全量索引，所述新的全量索引用于用戶進行數(shù)據(jù)搜索。
[0027]優(yōu)選地，所述第一生成單元，用于:
[0028]將所述刷入索引存儲到內存的索引A區(qū)；
[0029]當存入到所述索引A區(qū)的刷入索引的大小達到預設的第一閾值時，則將所述索引A區(qū)的刷入索引的數(shù)據(jù)復制到內存的索引B區(qū)；
[0030]當存入到所述索引B區(qū)的刷入索引的大小達到預設的第二閾值時，則將所述索引B區(qū)的刷入索引的數(shù)據(jù)寫入存儲模塊中。
[0031]優(yōu)選地，所述第二生成單元，用于:
[0032]將所述合并索引與當前的全量索引進行合并，生成新的全量索引和新的合并任務，建立所述新的全量索引和所述新的合并任務的連接；
[0033]將所述新的全量索引存儲到存儲模塊中，監(jiān)控是否完成所述當前全量索引對應的搜索任務；
[0034]在監(jiān)控到已完成所述當前全量對應的搜索任務后，刪除所述當前全量索引。
[0035]優(yōu)選地，所述裝置還包括:
[0036]判別單元，用于對采集的數(shù)據(jù)的類型進行判別；
[0037]搜索單元，用于若采集的數(shù)據(jù)的類型為搜索數(shù)據(jù)時，則獲取所述搜索數(shù)據(jù)中的關鍵詞組合，搜索所述關鍵詞組合對應的數(shù)據(jù)內容，并將所述數(shù)據(jù)內容進行合并后發(fā)送給用戶；
[0038]建立單元，用于若采集的數(shù)據(jù)的類型為索引數(shù)據(jù)時，則執(zhí)行建立采集的索引數(shù)據(jù)的刷入索引。
[0039]優(yōu)選地，所述裝置還包括:
[0040]寫入單元，用于將采集的索引數(shù)據(jù)以寫日志的方式寫入預設的內存區(qū)，將所述日志寫入存儲模塊。
[0041]本發(fā)明實施例通過建立采集的索引數(shù)據(jù)的刷入索引；根據(jù)預設的第一算法合并所述刷入索引，生成合并索引；將所述合并索引與當前的全量索引根據(jù)預設的第二算法進行合并，生成新的全量索引，所述新的全量索引用于用戶進行數(shù)據(jù)搜索，從而實現(xiàn)對大量的數(shù)據(jù)進行實時索引時，會造成大量的索引文件碎片，通過分布式計算對索引碎片與全量索引進行合并，降低了索引碎片對搜索性能的影響。
【附圖說明】
[0042]圖1是本發(fā)明數(shù)據(jù)搜索的方法第一實施例的方法流程示意圖；
[0043]圖2是本發(fā)明數(shù)據(jù)搜索的方法第二實施例的方法流程示意圖；
[0044]圖3是本發(fā)明數(shù)據(jù)搜索的方法第三實施例的方法流程示意圖；
[0045]圖4是本發(fā)明數(shù)據(jù)搜索的裝置的功能模塊示意圖；
[0046]圖5是本發(fā)明數(shù)據(jù)搜索的裝置的功能模塊示意圖；
[0047]圖6是本發(fā)明數(shù)據(jù)搜索的裝置的功能模塊示意圖；
[0048]圖7是本發(fā)明數(shù)據(jù)搜索的裝置的功能模塊示意圖。
【具體實施方式】
[0049]下面結合附圖和實施例對本發(fā)明實施例作進一步的詳細說明?？梢岳斫獾氖?，此處所描述的具體實施例僅僅用于解釋本發(fā)明實施例，而非對本發(fā)明實施例的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明實施例相關的部分而非全部結構。
[0050]實施例一
[0051]參考圖1，圖1是本發(fā)明數(shù)據(jù)搜索的方法第一實施例的方法流程示意圖。
[0052]在實施例一中，所述數(shù)據(jù)搜索的方法包括:
[0053]步驟101，建立采集的索引數(shù)據(jù)的刷入索引；
[0054]具體的，通過采集模塊獲取數(shù)據(jù)，對采集的數(shù)據(jù)的類型進行判別。當采集數(shù)據(jù)的類型為索引數(shù)據(jù)時，建立索引數(shù)據(jù)的刷入索引。
[0055]其中，刷入索引是刷入磁盤的子索引，沒有進行合并，而且大小較小，不對外提供搜索服務，合并刷入索引后生成合并索引。
[0056]步驟102，根據(jù)預設的第一算法合并所述刷入索引，生成合并索引；
[0057]優(yōu)選地，所述根據(jù)預設的第一算法合并所述刷入索引，生成合并索引，包括:
[0058]將所述刷入索引存儲到內存的索引A區(qū)；
[0059]當存入到所述索引A區(qū)的刷入索引的大小達到預設的第一閾值時，則將所述索引A區(qū)的刷入索引的數(shù)據(jù)復制到內存的索引B區(qū)；
[0060]當存入到所述索引B區(qū)的刷入索引的大小達到預設的第二閾值時，則將所述索引B區(qū)的刷入索引的數(shù)據(jù)寫入存儲模塊中。
[0061]具體的，建立索引數(shù)據(jù)的索引，并將建立后的索引存儲到內存的索引A區(qū)，當內存索引A區(qū)的大小達到閾值，則將內存索引A區(qū)的數(shù)據(jù)拷貝到索引B區(qū)，將內存索引B區(qū)的索引刷入存儲空間中，以子索引形式切區(qū)分于全量索引存儲。
[0062]其中，所述全量索引為合并出的最大的索引集合，并對外提供搜索服務。
[0063]所述合并索引是由刷入索引按照一定機制合并后形