的掃描時(shí)間間隔，避免了每次修改HBase的一條數(shù)據(jù)時(shí)立即更新elasticsearch而導(dǎo)致的低效問題。
[0104]參照?qǐng)D5，示出了本發(fā)明一種數(shù)據(jù)查詢裝置實(shí)施例的結(jié)構(gòu)框圖。
[0105]該數(shù)據(jù)查詢裝置應(yīng)用于前述實(shí)施例中的二級(jí)索引建立裝置。該數(shù)據(jù)查詢裝置具體可以包括如下單元:
[0106]搜索單元501，用于在建立的二級(jí)索引中搜索滿足指定條件的數(shù)據(jù)。
[0107]索引確定單元502，用于確定所述滿足指定條件的數(shù)據(jù)對(duì)應(yīng)的索引。
[0108]數(shù)據(jù)讀取單元503，用于根據(jù)索引與行數(shù)據(jù)的對(duì)應(yīng)關(guān)系，讀取與確定出的索引相對(duì)應(yīng)的行數(shù)據(jù)。
[0109]本發(fā)明實(shí)施例通過上述單元在查找HBase中的數(shù)據(jù)時(shí)，尤其根據(jù)HBase的非!■owkey列獲取需要的數(shù)據(jù)時(shí)，可以通過二級(jí)索引快速獲得該數(shù)據(jù)的索引對(duì)應(yīng)的Rowkey，進(jìn)而可以在HBase中根據(jù)Rowkey快速查找到需要的數(shù)據(jù)，該裝置由現(xiàn)有的全表掃描變?yōu)閿?shù)據(jù)檢索，從而提高了數(shù)據(jù)查找速度。
[0110]對(duì)于裝置實(shí)施例而言，由于其與方法實(shí)施例基本相似，所以描述的比較簡單，相關(guān)之處參見方法實(shí)施例的部分說明即可。
[0111]本說明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見即可。
[0112]本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明實(shí)施例的實(shí)施例可提供為方法、裝置、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明實(shí)施例可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明實(shí)施例可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。
[0113]本發(fā)明實(shí)施例是參照根據(jù)本發(fā)明實(shí)施例的方法、終端設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理終端設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理終端設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。
[0114]這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理終端設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。
[0115]這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理終端設(shè)備上，使得在計(jì)算機(jī)或其他可編程終端設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程終端設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。
[0116]盡管已描述了本發(fā)明實(shí)施例的優(yōu)選實(shí)施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對(duì)這些實(shí)施例做出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本發(fā)明實(shí)施例范圍的所有變更和修改。
[0117]最后，還需要說明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者終端設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者終端設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個(gè)......”限定的要素，并不排除在包括所述要素的過程、方法、物品或者終端設(shè)備中還存在另外的相同要素。
[0118]以上對(duì)本發(fā)明所提供的一種二級(jí)索引建立方法和一種二級(jí)索引建立裝置，進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在【具體實(shí)施方式】及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
【主權(quán)項(xiàng)】
1.一種二級(jí)索引建立方法，其特征在于，包括: 索引初始化，包括:對(duì)數(shù)據(jù)庫全表進(jìn)行掃描，并對(duì)每一行數(shù)據(jù)建立一個(gè)索引； 掃描所述數(shù)據(jù)庫中行數(shù)據(jù)的標(biāo)記位，所述標(biāo)記位用于標(biāo)記其對(duì)應(yīng)行數(shù)據(jù)的變化情況； 根據(jù)所述行數(shù)據(jù)的標(biāo)記位處理所述行數(shù)據(jù)的索引。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述行數(shù)據(jù)的標(biāo)記位處理所述行數(shù)據(jù)的索引，包括: 當(dāng)所述行數(shù)據(jù)的標(biāo)記位表征所述行數(shù)據(jù)為新增數(shù)據(jù)時(shí)，讀取所述行數(shù)據(jù)，并添加所述行數(shù)據(jù)的索引。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述行數(shù)據(jù)的標(biāo)記位處理所述行數(shù)據(jù)的索引，包括: 當(dāng)所述行數(shù)據(jù)的標(biāo)記位表征所述行數(shù)據(jù)為改動(dòng)數(shù)據(jù)時(shí)，讀取所述行數(shù)據(jù)，并更新所述行數(shù)據(jù)對(duì)應(yīng)的索引。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述行數(shù)據(jù)的標(biāo)記位處理所述行數(shù)據(jù)的索引，包括: 當(dāng)所述行數(shù)據(jù)的標(biāo)記位表征所述行數(shù)據(jù)為需刪除數(shù)據(jù)時(shí)，刪除所述行數(shù)據(jù)對(duì)應(yīng)的索引。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述索引的索引標(biāo)識(shí)為所述索引對(duì)應(yīng)的行數(shù)據(jù)的Rowkey。
6.根據(jù)權(quán)利要求1至5中任意一項(xiàng)所述的方法，其特征在于，所述掃描所述數(shù)據(jù)庫中行數(shù)據(jù)的標(biāo)記位，包括: 根據(jù)預(yù)設(shè)時(shí)間間隔掃描所述數(shù)據(jù)庫中行數(shù)據(jù)的標(biāo)記位。
7.根據(jù)權(quán)利要求1至5中任意一項(xiàng)所述的方法，其特征在于，所述對(duì)數(shù)據(jù)庫全表進(jìn)行掃描，并對(duì)每一行數(shù)據(jù)建立一個(gè)索引，包括: 對(duì)數(shù)據(jù)庫全表進(jìn)行掃描，并對(duì)每一行數(shù)據(jù)在elasticsearch中建立一個(gè)索引。
8.一種數(shù)據(jù)查詢方法，其特征在于，所述方法應(yīng)用于按照如權(quán)利要求1至7中任意一項(xiàng)所述的方法建立的二級(jí)索引，所述數(shù)據(jù)查詢方法包括: 在所述二級(jí)索引中搜索滿足指定條件的數(shù)據(jù)； 確定所述滿足指定條件的數(shù)據(jù)對(duì)應(yīng)的索引； 根據(jù)索引與行數(shù)據(jù)的對(duì)應(yīng)關(guān)系，讀取與確定出的索引相對(duì)應(yīng)的行數(shù)據(jù)。
9.一種二級(jí)索引建立裝置，其特征在于，包括: 初始化單元，用于索引初始化，包括:對(duì)數(shù)據(jù)庫全表進(jìn)行掃描，并對(duì)每一行數(shù)據(jù)建立一個(gè)索引； 掃描單元，用于掃描所述數(shù)據(jù)庫中行數(shù)據(jù)的標(biāo)記位，所述標(biāo)記位用于標(biāo)記其對(duì)應(yīng)行數(shù)據(jù)的變化情況； 索引更新單元，用于根據(jù)所述行數(shù)據(jù)的標(biāo)記位處理所述行數(shù)據(jù)的索引。
10.根據(jù)權(quán)利要求9所述的裝置，其特征在于， 所述索引更新單元，具體用于當(dāng)所述行數(shù)據(jù)的標(biāo)記位表征所述行數(shù)據(jù)為新增數(shù)據(jù)時(shí)，讀取所述行數(shù)據(jù)，并添加所述行數(shù)據(jù)的索引。
11.根據(jù)權(quán)利要求9所述的裝置，其特征在于， 所述索引更新單元，具體用于當(dāng)所述行數(shù)據(jù)的標(biāo)記位表征所述行數(shù)據(jù)為改動(dòng)數(shù)據(jù)時(shí)，讀取所述行數(shù)據(jù)，并更新所述行數(shù)據(jù)對(duì)應(yīng)的索引。
12.根據(jù)權(quán)利要求9所述的裝置，其特征在于， 所述索引更新單元，具體用于當(dāng)所述行數(shù)據(jù)的標(biāo)記位表征所述行數(shù)據(jù)為需刪除數(shù)據(jù)時(shí)，刪除所述行數(shù)據(jù)對(duì)應(yīng)的索引。
13.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述索引的索引標(biāo)識(shí)為所述索引對(duì)應(yīng)的行數(shù)據(jù)的Rowkey。
14.根據(jù)權(quán)利要求9至13中任意一項(xiàng)所述的裝置，其特征在于， 所述掃描單元，具體用于根據(jù)預(yù)設(shè)時(shí)間間隔掃描所述數(shù)據(jù)庫中行數(shù)據(jù)的標(biāo)記位。
15.根據(jù)權(quán)利要求9至13中任意一項(xiàng)所述的裝置，其特征在于， 所述初始化單元，具體用于對(duì)數(shù)據(jù)庫全表進(jìn)行掃描，并對(duì)每一行數(shù)據(jù)在elasticsearch中建立一個(gè)索引。
16.一種數(shù)據(jù)查詢裝置，其特征在于，所述裝置應(yīng)用于如權(quán)利要求9至15中任意一項(xiàng)所述的二級(jí)索引建立裝置，所述數(shù)據(jù)查詢裝置包括: 搜索單元，用于在建立的二級(jí)索引中搜索滿足指定條件的數(shù)據(jù)； 索引確定單元，用于確定所述滿足指定條件的數(shù)據(jù)對(duì)應(yīng)的索引； 數(shù)據(jù)讀取單元，用于根據(jù)索引與行數(shù)據(jù)的對(duì)應(yīng)關(guān)系，讀取與確定出的索引相對(duì)應(yīng)的行數(shù)據(jù)。
【專利摘要】本發(fā)明實(shí)施例提供了一種二級(jí)索引建立方法及裝置。該二級(jí)索引建立方法包括：索引初始化，包括：對(duì)數(shù)據(jù)庫全表進(jìn)行掃描，并對(duì)每一行數(shù)據(jù)建立一個(gè)索引；掃描所述數(shù)據(jù)庫中行數(shù)據(jù)的標(biāo)記位，所述標(biāo)記位用于標(biāo)記其對(duì)應(yīng)行數(shù)據(jù)的變化情況；根據(jù)所述行數(shù)據(jù)的標(biāo)記位處理所述行數(shù)據(jù)的索引。本發(fā)明實(shí)施例通過對(duì)數(shù)據(jù)庫中的每行數(shù)據(jù)建立二級(jí)索引，尤其通過使用elasticsearch和標(biāo)記位，在不影響HBase性能和不修改HBase內(nèi)核的前提下，實(shí)現(xiàn)了對(duì)HBase的二級(jí)索引，并實(shí)現(xiàn)了對(duì)大規(guī)模數(shù)據(jù)的支持。
【IPC分類】G06F17-30
【公開號(hào)】CN104834688
【申請(qǐng)?zhí)枴緾N201510188507
【發(fā)明人】王亞洲, 李雄鋒, 譚建南, 王天興, 鄭程
【申請(qǐng)人】北京奇藝世紀(jì)科技有限公司
【公開日】2015年8月12日
【申請(qǐng)日】2015年4月20日