一種索引的維護(hù)方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及大數(shù)據(jù)領(lǐng)域，尤其涉及一種索引的維護(hù)方法及裝置。
【背景技術(shù)】
[0002]隨著科學(xué)技術(shù)的發(fā)展，大數(shù)據(jù)(Big data)通常用來(lái)形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系數(shù)據(jù)庫(kù)用于分析時(shí)會(huì)花費(fèi)過(guò)多時(shí)間和金錢(qián)。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce (映射歸約)、HBase —樣的框架來(lái)向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。大數(shù)據(jù)分析相比于傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用，具有數(shù)據(jù)量大、查詢(xún)分析復(fù)雜等特點(diǎn)。大數(shù)據(jù)需要特殊的技術(shù)，以有效地處理大量的容忍經(jīng)過(guò)時(shí)間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理(MPP)數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘電網(wǎng)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)、云計(jì)算平臺(tái)、互聯(lián)網(wǎng)和可擴(kuò)展的存儲(chǔ)系統(tǒng)。
[0003]Solr是一個(gè)獨(dú)立的企業(yè)級(jí)搜索應(yīng)用服務(wù)器，它對(duì)外提供類(lèi)似于Web-service (網(wǎng)頁(yè)-服務(wù))的API (Applicat1n Programming Interface,應(yīng)用程序編程接口)。用戶(hù)可以通過(guò)HTTP (HyperText Transfer Protocol，超文本傳輸協(xié)議)請(qǐng)求，向搜索引擎服務(wù)器提交一定格式的XML (Extensible Markup Language，可擴(kuò)展標(biāo)記語(yǔ)言)文件生成索引；也可以通過(guò)Http Get操作提出查找請(qǐng)求，并得到XML或json格式的返回結(jié)果。
[0004]在現(xiàn)有技術(shù)中，將所有的索引均存儲(chǔ)在一個(gè)collet1n。這樣會(huì)導(dǎo)致將所有索引的相關(guān)數(shù)據(jù)信息作為一個(gè)數(shù)據(jù)段，并以段為單位存儲(chǔ)至硬盤(pán)中，而硬盤(pán)刪除數(shù)據(jù)時(shí)，只能以段為單位進(jìn)行刪除。因此在刪除部分索引時(shí)，為了防止硬盤(pán)中不被刪除的索引的相關(guān)數(shù)據(jù)的正常使用，通常建立維護(hù)刪除文件列表，將需刪除的索引的標(biāo)識(shí)存儲(chǔ)在上述維護(hù)刪除文件列表中。將維護(hù)刪除文件列表中記錄的標(biāo)識(shí)對(duì)應(yīng)的索引視為被刪除的索引，用戶(hù)無(wú)法再使用。通過(guò)上述方法雖然實(shí)現(xiàn)了用戶(hù)刪除索引的目的，但是在服務(wù)器中，并未將索引正在刪除，即為服務(wù)器中仍然存儲(chǔ)有用戶(hù)需刪除的索引，浪費(fèi)存儲(chǔ)空間。并且需要增加維護(hù)刪除文件列表維護(hù)刪除的索引，增加了存儲(chǔ)空間。也就是說(shuō)，用戶(hù)在刪除索引時(shí)，不但沒(méi)有減少存儲(chǔ)空間的是使用，反而會(huì)增加存儲(chǔ)空間的使用。降低了存儲(chǔ)空間的使用效率。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的實(shí)施例提供一種索引的維護(hù)方法及裝置，用以提高存儲(chǔ)空間的使用效率。
[0006]為達(dá)到上述目的，本發(fā)明的實(shí)施例采用如下技術(shù)方案:
[0007]本發(fā)明實(shí)施例提供了一種索引的維護(hù)方法，包括:根據(jù)預(yù)設(shè)刪除規(guī)則，及已創(chuàng)建的collet1n的創(chuàng)建時(shí)間，確定是否有第一 collet1n ;其中，collet1n中存儲(chǔ)了索引，且不同的索引根據(jù)其時(shí)間信息，存儲(chǔ)至不同的collet1n中；所述第一 collet1n是待刪除的collet1n ;在確定有所述第一 collet1n時(shí)，刪除所述第一 collet1n，并更新檢索對(duì)應(yīng)的collet1n。
[0008]進(jìn)一步的，還包括:還包括:獲取待存儲(chǔ)索引；根據(jù)所述待存儲(chǔ)索引的時(shí)間信息，預(yù)設(shè)存儲(chǔ)規(guī)則，在已創(chuàng)建的類(lèi)集collet1n中確定是否有第二 collet1n，所述預(yù)設(shè)存儲(chǔ)規(guī)則用于指示collet1n能夠存儲(chǔ)的索引的時(shí)間范圍；若確定有所述第二 collet1n，則將所述待存儲(chǔ)索引存儲(chǔ)至所述第二 collet1n。
[0009]進(jìn)一步的，還包括:在確定沒(méi)有所述第二 collet1n時(shí)，則新建與所述索引的時(shí)間信息對(duì)應(yīng)的所述第二 collet1n，并將所述索引存儲(chǔ)至所述第二 collet1n。
[0010]進(jìn)一步的，所述預(yù)設(shè)刪除規(guī)則是將預(yù)設(shè)時(shí)間范圍外的collet1n刪除；所述根據(jù)預(yù)設(shè)刪除規(guī)則，及collet1n的創(chuàng)建時(shí)間，確定是否有第一 collet1n包括:根據(jù)所述刪除規(guī)則，及collet1n的創(chuàng)建時(shí)間，確定所述已創(chuàng)建的collet1n的創(chuàng)建時(shí)間是否有在所述預(yù)設(shè)時(shí)間范圍外的；若已創(chuàng)建的collet1n的創(chuàng)建時(shí)間有在所述預(yù)設(shè)時(shí)間范圍外的，則將已創(chuàng)建的collet1n的創(chuàng)建時(shí)間在所述預(yù)設(shè)時(shí)間范圍外的collet1n，確定為第一collet1n。
[0011]進(jìn)一步的，本發(fā)明實(shí)施例提供了一種索引的維護(hù)裝置，包括:確定單元，用于根據(jù)預(yù)設(shè)刪除規(guī)則，及已創(chuàng)建的collet1n的創(chuàng)建時(shí)間，確定是否有第一 collet1n ;其中，collet1n中存儲(chǔ)了索引，且不同的索引根據(jù)其時(shí)間信息，存儲(chǔ)至不同的collet1n中；所述第一 collet1n是待刪除的collet1n ;處理單元，用于在所述確定單元確定有所述第一collet1n時(shí)，刪除所述第一 collet1n，并更新檢索對(duì)應(yīng)的collet1n。
[0012]進(jìn)一步的，還包括:獲取單元，用于獲取待存儲(chǔ)索引；所述確定單元，還用于根據(jù)所述獲取單元獲取的所述待存儲(chǔ)索引的時(shí)間信息，預(yù)設(shè)存儲(chǔ)規(guī)則，在已創(chuàng)建的類(lèi)集collet1n中確定是否有第二 collet1n，所述預(yù)設(shè)存儲(chǔ)規(guī)則用于指示collet1n能夠存儲(chǔ)的索引的時(shí)間范圍；所述處理單元，還用于在所述確定單元確定有所述第二 collet1n時(shí)，將所述待存儲(chǔ)索引存儲(chǔ)至所述第二 collet1n。
[0013]進(jìn)一步的，所述處理單元，還用于在所述確定單元確定沒(méi)有所述第二 collet1n時(shí)，新建與所述索引的時(shí)間信息對(duì)應(yīng)的所述第二 collet1n，并將所述索引存儲(chǔ)至所述第二collet1n。
[0014]進(jìn)一步的，所述預(yù)設(shè)刪除規(guī)則是將預(yù)設(shè)時(shí)間范圍外的collet1n刪除；所述處理單元，具體用于根據(jù)所述刪除規(guī)則，及collet1n的創(chuàng)建時(shí)間，確定所述已創(chuàng)建的collet1n的創(chuàng)建時(shí)間是否有在所述預(yù)設(shè)時(shí)間范圍外的；若已創(chuàng)建的collet1n的創(chuàng)建時(shí)間有在所述預(yù)設(shè)時(shí)間范圍外的，則將已創(chuàng)建的collet1n的創(chuàng)建時(shí)間在所述預(yù)設(shè)時(shí)間范圍外的 collet1n，確定為第一 collet1n。
[0015]本發(fā)明實(shí)施例提供了一種索引的維護(hù)的方法及裝置，包括:根據(jù)預(yù)設(shè)刪除規(guī)則，已創(chuàng)建的collet1n的創(chuàng)建時(shí)間，確定是否有第一 collet1n ;其中，collet1n中存儲(chǔ)了索弓丨，且不同的索引根據(jù)其時(shí)間信息，存儲(chǔ)至不同的collet1n中，在確定有第一 collet1n時(shí)，刪除第一 collet1n，并更新檢索對(duì)應(yīng)的collet1n。這樣，在本發(fā)明中，不同的索引根據(jù)其時(shí)間信息，存儲(chǔ)至不同的collet1n中。在進(jìn)行索引刪除時(shí)，可以根據(jù)預(yù)設(shè)刪除規(guī)則，及已創(chuàng)建的collet1n的創(chuàng)建時(shí)間，確定是否有第一 collet1n ;若有第一 collet1n，則說(shuō)明存儲(chǔ)在待刪除的collet1n，此時(shí)，索引的維護(hù)裝置可以將第一 collet1n刪除。相對(duì)于現(xiàn)有技術(shù)，在本發(fā)明中，可以根據(jù)將索引根據(jù)其時(shí)間信息存儲(chǔ)至不同的collet1n后，根據(jù)collet1n的創(chuàng)建時(shí)間，將滿(mǎn)足預(yù)設(shè)刪除規(guī)則的collet1n進(jìn)行刪除，而無(wú)需建立維護(hù)刪除文件列表，對(duì)刪除的索引進(jìn)行維護(hù)。這樣一來(lái)，將第一 collet1n進(jìn)行刪除時(shí)，是完全刪除，可以將其對(duì)應(yīng)的存儲(chǔ)空間釋放出來(lái)，并且無(wú)需建立維護(hù)刪除文件列表，增加存儲(chǔ)空間的使用。從而可以將第一 collet1n的存儲(chǔ)空間用于存儲(chǔ)其他數(shù)據(jù)，進(jìn)而實(shí)現(xiàn)了提高存儲(chǔ)空間的使用效率的目的。
【附圖說(shuō)明】
[0016]為了更清楚地說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0017]圖1為本發(fā)明實(shí)施例提供的一種索引的維護(hù)方法的流程示意圖；
[0018]圖2為本發(fā)明實(shí)施例提供的另一種索引的維護(hù)方法的流程示意圖；
[0019]圖3為本發(fā)明實(shí)施例提供的一種索引的維護(hù)裝置的結(jié)構(gòu)示意圖；
[0020]圖4為本發(fā)明實(shí)施例提供的另一種索引的