專利名稱：數(shù)據(jù)查詢方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)查詢方法、數(shù)據(jù)查詢服務(wù)器、數(shù)據(jù)采集器及一種數(shù)據(jù)查詢系統(tǒng)。
背景技術(shù)：
在當(dāng)前互聯(lián)網(wǎng)極度發(fā)達(dá)的時(shí)代，數(shù)據(jù)的采集與查詢系統(tǒng)具有廣泛的用途，各種信息技術(shù)(Informat ion Technology, IT)系統(tǒng)、網(wǎng)絡(luò)設(shè)備、安全設(shè)備都會(huì)產(chǎn)生大量的日志等數(shù)據(jù)，其中有很多日志數(shù)據(jù)需要長(zhǎng)期存檔，并用于各種審計(jì)和查詢。在海量數(shù)據(jù)的采集查詢系統(tǒng)中，系統(tǒng)的架構(gòu)有分布式存儲(chǔ)和集中式存儲(chǔ)兩種方式，不論哪種方式，都面臨著海量日志數(shù)據(jù)的快速存儲(chǔ)、快速查詢的需求?，F(xiàn)有的一種分布式數(shù)據(jù)查詢系統(tǒng)包括一臺(tái)數(shù)據(jù)查詢服務(wù)器和多臺(tái)數(shù)據(jù)采集器，數(shù)據(jù)采集器負(fù)責(zé)日志的采集(接收、格式化、歸并)、存儲(chǔ)和建立索引，數(shù)據(jù)查詢服務(wù)器是日志查詢的統(tǒng)一入口。需要查詢指定日志的時(shí)候，由數(shù)據(jù)查詢服務(wù)器給所有的數(shù)據(jù)采集器下發(fā)查詢命令，將所有數(shù)據(jù)采集器的查詢結(jié)果收到之后匯總出最終的查詢結(jié)果。如果數(shù)據(jù)采集器很多，一次查詢中要查詢的日志僅存在于少數(shù)數(shù)據(jù)采集器中，查詢操作又很頻繁，則這種現(xiàn)有方案會(huì)增加所有數(shù)據(jù)采集器的負(fù)擔(dān)，包括數(shù)據(jù)采集器的功耗和中央處理單元(CentralProcessing Unit, CPU)資源，同時(shí)數(shù)據(jù)采集器除了查詢之外，還需要做數(shù)據(jù)接收和入庫(kù)的工作，如果查詢操作很頻繁，也會(huì)影響數(shù)據(jù)采集器的采集性能，降低了系統(tǒng)整體的處理能力?，F(xiàn)有的另一種分布式數(shù)據(jù)查詢系統(tǒng)的原始日志數(shù)據(jù)采用集中式存儲(chǔ)，每個(gè)數(shù)據(jù)采集器只負(fù)責(zé)日志的采集(接收、格式化、歸并)、上報(bào)，日志內(nèi)容在數(shù)據(jù)采集器處理之后并不在本地保存，而是上報(bào)到數(shù)據(jù)查詢服務(wù)器去存儲(chǔ)。數(shù)據(jù)查詢服務(wù)器在收到數(shù)據(jù)采集器上報(bào)的日志之后，集中存儲(chǔ)到數(shù)據(jù)庫(kù)中，并建立索引，需要對(duì)日志查詢的時(shí)候直接到數(shù)據(jù)查詢服務(wù)器的數(shù)據(jù)庫(kù)中查詢就可以。這種數(shù)據(jù)集中存儲(chǔ)的方式，使日志的查詢操作僅限于在數(shù)據(jù)查詢服務(wù)器的數(shù)據(jù)庫(kù)中執(zhí)行，不會(huì)影響到數(shù)據(jù)采集器。然而，由于日志數(shù)據(jù)集中存放在數(shù)據(jù)查詢服務(wù)器的數(shù)據(jù)庫(kù)中，數(shù)據(jù)采集器需要上報(bào)大量的日志數(shù)據(jù)，一方面使數(shù)據(jù)查詢服務(wù)器的負(fù)荷大大增加，另一方面也大量消耗了數(shù)據(jù)采集器和數(shù)據(jù)查詢服務(wù)器之間的帶寬，這樣也就限制了一臺(tái)數(shù)據(jù)查詢服務(wù)器可以帶的數(shù)據(jù)采集器的數(shù)量，整個(gè)系統(tǒng)的處理能力不可能很聞。

發(fā)明內(nèi)容
本發(fā)明提供了一種數(shù)據(jù)查詢方法、數(shù)據(jù)查詢服務(wù)器、數(shù)據(jù)采集器及數(shù)據(jù)查詢系統(tǒng)，能夠提高數(shù)據(jù)查詢的處理速度，減輕數(shù)據(jù)采集器的系統(tǒng)資源占用和數(shù)據(jù)查詢服務(wù)器的負(fù)荷壓力，提升整個(gè)系統(tǒng)的處理能力。為實(shí)現(xiàn)上述目的，本發(fā)明第一方面提供了一種數(shù)據(jù)查詢方法，所述方法包括接收輸入的查詢請(qǐng)求，所述查詢請(qǐng)求中攜帶所要查詢的字段和所述字段中的查詢?cè)~；從所述字段對(duì)應(yīng)的集中索引表中查詢得到所述查詢?cè)~對(duì)應(yīng)的采集器標(biāo)識(shí)，所述集中索引表中存儲(chǔ)所述字段中的查詢?cè)~與采集器標(biāo)識(shí)的對(duì)應(yīng)關(guān)系；根據(jù)所述查詢請(qǐng)求生成攜帶有所述字段和查詢?cè)~的查詢命令，并將所述查詢命令發(fā)送給所述采集器標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)采集器，用以所述數(shù)據(jù)采集器在所述數(shù)據(jù)采集器中所述查詢命令攜帶的字段對(duì)應(yīng)的本地索弓I表中，查詢得到與所述查詢命令中攜帶的查詢?cè)~相匹配的數(shù)據(jù)；接收所述數(shù)據(jù)采集器返回的所述數(shù)據(jù)，根據(jù)接收到的數(shù)據(jù)形成所述查詢請(qǐng)求的查詢結(jié)果并輸出。結(jié)合第一方面，在第一方面的第一種可能的實(shí)施方式中，所述從所述字段對(duì)應(yīng)的集中索引表中查詢得到所述查詢?cè)~對(duì)應(yīng)的采集器標(biāo)識(shí)之前，還包括針對(duì)所述字段，建立所述字段對(duì)應(yīng)的集中索引表；所述建立所述字段對(duì)應(yīng)的集中索引表，包括接收各數(shù)據(jù)采集器發(fā)送的所述字段的上報(bào)索引表，所述上報(bào)索引表中包括發(fā)送所述上報(bào)索引表的數(shù)據(jù)采集器中的數(shù)據(jù)對(duì)應(yīng)于所述字段的查詢?cè)~；在所述字段的集中索引表中，存儲(chǔ)數(shù)據(jù)采集器的標(biāo)識(shí)與所述數(shù)據(jù)采集器上報(bào)的上報(bào)索引表中該字段的查詢?cè)~的對(duì)應(yīng)關(guān)系。結(jié)合第一方面，在第一方面的第二種可能的實(shí)施方式中，所述從所述字段對(duì)應(yīng)的集中索引表中查詢得到所述查詢?cè)~對(duì)應(yīng)的采集器標(biāo)識(shí)，包括若所述查詢請(qǐng)求中攜帶至少兩個(gè)所要查詢的字段，獲取所述查詢請(qǐng)求中各字段的查詢?cè)~，并記錄所述各字段的查詢?cè)~之間的邏輯關(guān)系；從所述各字段對(duì)應(yīng)的集中索引表中查詢得到所述各字段的查詢?cè)~對(duì)應(yīng)的采集器標(biāo)識(shí)；根據(jù)所述各字段的查詢?cè)~之間的邏輯關(guān)系，從查詢得到的所述采集器標(biāo)識(shí)中篩選得到滿足所述邏輯關(guān)系的采集器標(biāo)識(shí)。第二方面，本發(fā)明還提供了一種數(shù)據(jù)查詢方法，所述方法包括接收數(shù)據(jù)查詢服務(wù)器發(fā)送的查詢命令，所述查詢命令包括所述數(shù)據(jù)查詢服務(wù)器接收的查詢請(qǐng)求中攜帶的所要查詢的字段和所述字段中的查詢?cè)~；從所述字段對(duì)應(yīng)的本地索引表中查詢得到與所述查詢命令中的查詢?cè)~相匹配的數(shù)據(jù)的存儲(chǔ)位置，所述本地索引表中存儲(chǔ)所述字段中的查詢?cè)~與所述數(shù)據(jù)的存儲(chǔ)位置的對(duì)應(yīng)關(guān)系；根據(jù)所述數(shù)據(jù)的存儲(chǔ)位置，獲取所述數(shù)據(jù)并發(fā)送給所述數(shù)據(jù)查詢服務(wù)器。結(jié)合第二方面，在第二方面的第一種可能的實(shí)施方式中，所述從所述字段對(duì)應(yīng)的本地索引表中查詢得到與所述查詢命令中的查詢?cè)~相匹配的數(shù)據(jù)的存儲(chǔ)位置之前，還包括針對(duì)所述字段，建立所述字段對(duì)應(yīng)的本地索引表；所述建立所述字段對(duì)應(yīng)的本地索引表，包括獲取當(dāng)前數(shù)據(jù)采集器中的數(shù)據(jù)和所述數(shù)據(jù)的存儲(chǔ)位置，所述數(shù)據(jù)中包括至少一個(gè)字段的內(nèi)容；
針對(duì)每一個(gè)字段，將所述數(shù)據(jù)在該字段的內(nèi)容作為所述數(shù)據(jù)的查詢?cè)~，建立所述查詢?cè)~與所述存儲(chǔ)位置的映射關(guān)系，形成該字段在所述當(dāng)前數(shù)據(jù)采集器的本地索引表。結(jié)合第二方面的第一種可能的實(shí)施方式，在第二方面的第二種可能的實(shí)施方式中，所述在所述當(dāng)前數(shù)據(jù)采集器中所述字段的本地索引表中，存儲(chǔ)所述數(shù)據(jù)的查詢?cè)~與所述數(shù)據(jù)的存儲(chǔ)位置的對(duì)應(yīng)關(guān)系之后，還包括從該字段的本地索引表中提取出所述查詢?cè)~，對(duì)所述查詢?cè)~進(jìn)行去重處理，形成所述當(dāng)前數(shù)據(jù)采集器的所述字段的上報(bào)索引表；將所述字段的上報(bào)索引表發(fā)送給所述數(shù)據(jù)查詢服務(wù)器，用以所述數(shù)據(jù)查詢服務(wù)器建立所述字段對(duì)應(yīng)的集中索引表。結(jié)合第二方面，在第二方面的第三種可能的實(shí)施方式中，所述從所述字段對(duì)應(yīng)的本地索引表中查詢得到與所述查詢命令中的查詢?cè)~相匹配的數(shù)據(jù)的存儲(chǔ)位置，包括若所述查詢命令中攜帶至少兩個(gè)所要查詢的字段，獲取所述查詢命令中各字段的查詢?cè)~，并記錄所述各字段的查詢?cè)~之間的邏輯關(guān)系；從所述各字段對(duì)應(yīng)的本地索引表中查詢得到與所述查詢命令中各字段的查詢?cè)~相匹配的數(shù)據(jù)的存儲(chǔ)位置；根據(jù)所述各字段的查詢?cè)~之間的邏輯關(guān)系，從查詢得到的所述數(shù)據(jù)的存儲(chǔ)位置中篩選得到滿足所述邏輯關(guān)系的數(shù)據(jù)的存儲(chǔ)位置。第三方面，本發(fā)明還提供了一種數(shù)據(jù)查詢服務(wù)器，所述數(shù)據(jù)查詢服務(wù)器包括第一接收單元，用于接收輸入的查詢請(qǐng)求，所述查詢請(qǐng)求中攜帶所要查詢的字段和所述字段中的查詢?cè)~；第一查詢單元，用于從所述字段對(duì)應(yīng)的集中索引表中，查詢得到所述第一接收單元接收的所述查詢請(qǐng)求攜帶的查詢?cè)~對(duì)應(yīng)的采集器標(biāo)識(shí)，所述集中索引表中存儲(chǔ)所述字段中的查詢?cè)~與采集器標(biāo)識(shí)的對(duì)應(yīng)關(guān)系；第一處理單元，用于根據(jù)所述查詢請(qǐng)求生成攜帶有所述字段和查詢?cè)~的查詢命令，并將所述查詢命令發(fā)送給所述第一查詢單元查詢得到的采集器標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)采集器，用以所述數(shù)據(jù)采集器在所述數(shù)據(jù)采集器中所述查詢命令攜帶的字段對(duì)應(yīng)的本地索引表中，查詢得到與所述查詢命令中攜帶的查詢?cè)~相匹配的數(shù)據(jù)；第一輸出單元，用于接收所述數(shù)據(jù)采集器返回的所述數(shù)據(jù)，根據(jù)接收到的數(shù)據(jù)形成所述查詢請(qǐng)求的查詢結(jié)果并輸出。結(jié)合第三方面，在第三方面的第一種可能的實(shí)施方式中，所述數(shù)據(jù)查詢服務(wù)器還包括第一索引單元，用于針對(duì)所述字段，建立所述字段對(duì)應(yīng)的集中索引表；所述第一索引單元包括第一接收子單元，用于接收各數(shù)據(jù)采集器發(fā)送的所述字段的上報(bào)索引表，所述上報(bào)索引表中包括發(fā)送所述上報(bào)索引表的數(shù)據(jù)采集器中的數(shù)據(jù)對(duì)應(yīng)于所述字段的查詢?cè)~；第一索引子單元，用于在所述字段的集中索引表中，存儲(chǔ)數(shù)據(jù)采集器的標(biāo)識(shí)與所述數(shù)據(jù)采集器上報(bào)的上報(bào)索引表中該字段的查詢?cè)~的對(duì)應(yīng)關(guān)系。結(jié)合第三方面，在第三方面的第二種可能的實(shí)施方式中，所述第一查詢單元包括
第一解析子單元，用于若所述第一接收單元接收的所述查詢請(qǐng)求中攜帶至少兩個(gè)所要查詢的字段，獲取所述查詢請(qǐng)求中各字段的查詢?cè)~，并記錄所述各字段的查詢?cè)~之間的邏輯關(guān)系；第一查詢子單元，用于從所述各字段對(duì)應(yīng)的集中索引表中查詢得到所述第一解析子單元獲取的所述各字段的查詢?cè)~對(duì)應(yīng)的采集器標(biāo)識(shí)；第一過(guò)濾子單元，用于根據(jù)所述第一解析子單元獲取的所述各字段的查詢?cè)~之間的邏輯關(guān)系，從所述第一查詢子單元查詢得到的所述采集器標(biāo)識(shí)中篩選得到滿足所述邏輯關(guān)系的采集器標(biāo)識(shí)。第四方面，本發(fā)明還提供了一種數(shù)據(jù)采集器，所述數(shù)據(jù)采集器包括第二接收單元，用于接收數(shù)據(jù)查詢服務(wù)器發(fā)送的查詢命令，所述查詢命令攜帶所要查詢的字段和所述字段中的查詢?cè)~；第二查詢單元，用于從所述字段對(duì)應(yīng)的本地索引表中查詢得到與所述第二接收單元接收的查詢命令中的查詢?cè)~相匹配的數(shù)據(jù)的存儲(chǔ)位置，所述本地索引表中存儲(chǔ)所述字段中的查詢?cè)~與所述數(shù)據(jù)的存儲(chǔ)位置的對(duì)應(yīng)關(guān)系；第二處理單元，用于根據(jù)所述第二查詢單元查詢得到的所述數(shù)據(jù)的存儲(chǔ)位置，獲取所述數(shù)據(jù)并發(fā)送給所述數(shù)據(jù)查詢服務(wù)器。結(jié)合第四方面，在第四方面的第一種可能的實(shí)施方式中，所述數(shù)據(jù)采集器還包括第二索引單元，用于針對(duì)所述字段，建立所述字段對(duì)應(yīng)的本地索引表；所述第二索引單元包括獲取子單元，用于獲取當(dāng)前數(shù)據(jù)采集器中的數(shù)據(jù)和所述數(shù)據(jù)的存儲(chǔ)位置，所述數(shù)據(jù)中包括至少一個(gè)字段的內(nèi)容；第二索引子單元，用于針對(duì)所述獲取子單元獲取的每一個(gè)字段，將所述數(shù)據(jù)在該字段的內(nèi)容作為所述數(shù)據(jù)的查詢?cè)~，在所述數(shù)據(jù)采集器中所述字段的本地索引表中，存儲(chǔ)所述數(shù)據(jù)的查詢?cè)~與所述數(shù)據(jù)的存儲(chǔ)位置的對(duì)應(yīng)關(guān)系。結(jié)合第四方面的第一種可能的實(shí)施方式，在第四方面的第二種可能的實(shí)施方式中，所述第二索引單元還包括第三索引子單元，用于從所述第二索引子單元得到的該字段的本地索引表中提取出所述查詢?cè)~，對(duì)所述查詢?cè)~進(jìn)行去重處理，形成所述當(dāng)前數(shù)據(jù)采集器的所述字段的上報(bào)索引表；發(fā)送子單元，用于將所述第三索引子單元形成的所述字段的上報(bào)索引表發(fā)送給所述數(shù)據(jù)查詢服務(wù)器，用以所述數(shù)據(jù)查詢服務(wù)器建立所述字段的集中索引表。結(jié)合第四方面，在第四方面的第三種可能的實(shí)施方式中，所述第二查詢單元包括第二解析子單元，用于若所述第二接收單元接收的所述查詢命令中攜帶至少兩個(gè)所要查詢的字段，獲取所述查詢命令中各字段的查詢?cè)~，并記錄所述各字段的查詢?cè)~之間的邏輯關(guān)系；第二查詢子單元，用于從所述各字段對(duì)應(yīng)的本地索引表中查詢得到與所述第二解析子單元獲取的所述查詢命令中各字段的查詢?cè)~相匹配的數(shù)據(jù)的存儲(chǔ)位置；
第二過(guò)濾子單元，用于根據(jù)所述第二解析子單元獲取的所述各字段的查詢?cè)~之間的邏輯關(guān)系，從所述第二查詢子單元查詢得到的所述數(shù)據(jù)的存儲(chǔ)位置中篩選得到滿足所述邏輯關(guān)系的數(shù)據(jù)的存儲(chǔ)位置。第五方面，本發(fā)明還提供了一種數(shù)據(jù)查詢系統(tǒng)，所述系統(tǒng)包括上述第三方面提供的數(shù)據(jù)查詢服務(wù)器和上述第四方面提供的數(shù)據(jù)采集器。本發(fā)明實(shí)施例提供的數(shù)據(jù)查詢方法、數(shù)據(jù)查詢服務(wù)器、數(shù)據(jù)采集器及數(shù)據(jù)查詢系統(tǒng)，通過(guò)在數(shù)據(jù)采集器和數(shù)據(jù)查詢服務(wù)器中分別建立本地索引表和集中索引表，可以有效的減輕數(shù)據(jù)采集器的系統(tǒng)資源占用，使數(shù)據(jù)采集器可以有更多的資源用于提高采集的性能，從而提升系統(tǒng)整體的處理能力，提高數(shù)據(jù)查詢的處理速度。


圖1為本發(fā)明實(shí)施例提供的數(shù)據(jù)查詢系統(tǒng)的架構(gòu)圖；圖2為本發(fā)明實(shí)施例一提供的索引建立過(guò)程的信令圖；圖3為本發(fā)明實(shí)施例一提供的一種數(shù)據(jù)查詢方法流程圖；圖4為本發(fā)明實(shí)施例一提供的又一種數(shù)據(jù)查詢方法流程圖；圖5為本發(fā)明實(shí)施例二提供的數(shù)據(jù)查詢系統(tǒng)的示意圖；圖6為本發(fā)明實(shí)施例二提供的數(shù)據(jù)查詢服務(wù)器和數(shù)據(jù)采集器的示意圖；圖7為本發(fā)明實(shí)施例三提供的數(shù)據(jù)查詢服務(wù)器的示意圖；圖8為本發(fā)明實(shí)施例三提供的數(shù)據(jù)采集器的示意圖。
具體實(shí)施例方式下面通過(guò)附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。圖1是本發(fā)明實(shí)施例提供的數(shù)據(jù)查詢系統(tǒng)的架構(gòu)圖，如圖1所示，本發(fā)明采用分布式架構(gòu)，包括一臺(tái)數(shù)據(jù)查詢服務(wù)器10和多臺(tái)數(shù)據(jù)采集器20，數(shù)據(jù)采集器20負(fù)責(zé)對(duì)日志源30上報(bào)的海量日志等數(shù)據(jù)的采集(包括接收、格式化、歸并)、存儲(chǔ)和索引等處理，數(shù)據(jù)查詢服務(wù)器10是數(shù)據(jù)查詢的統(tǒng)一入口。本發(fā)明提供的數(shù)據(jù)查詢方法可用于海量數(shù)據(jù)的快速查詢，在下面的實(shí)施例中以日志數(shù)據(jù)為例進(jìn)行說(shuō)明。實(shí)施例一在進(jìn)行日志數(shù)據(jù)的查詢之前，需預(yù)先對(duì)系統(tǒng)中已存儲(chǔ)的數(shù)據(jù)建立索引，通常在數(shù)據(jù)存儲(chǔ)時(shí)進(jìn)行，用以系統(tǒng)根據(jù)建立的索引表進(jìn)行數(shù)據(jù)的查詢。本實(shí)施例中在數(shù)據(jù)采集器和數(shù)據(jù)查詢服務(wù)器中分別建立本地索引表和集中索引表。本地索引表用于存儲(chǔ)當(dāng)前數(shù)據(jù)采集器中的日志數(shù)據(jù)的索引，其作用是當(dāng)給出查詢條件時(shí)，可以查找到本地?cái)?shù)據(jù)中符合條件的所有日志的具體存儲(chǔ)位置。集中索引表用于存儲(chǔ)各字段的查詢?cè)~與采集器標(biāo)識(shí)的索引，其作用是當(dāng)給出查詢條件時(shí)，可以查找到待查詢數(shù)據(jù)可能存儲(chǔ)在哪些數(shù)據(jù)采集器上，集中索引表中給出了存儲(chǔ)有待查詢數(shù)據(jù)的數(shù)據(jù)采集器的標(biāo)識(shí)息。圖2是本實(shí)施例提供的索引建立過(guò)程的信令圖，如圖2所示，包括步驟S101、數(shù)據(jù)采集器獲取當(dāng)前數(shù)據(jù)采集器中的數(shù)據(jù)和所述數(shù)據(jù)的存儲(chǔ)位置。
可選地，數(shù)據(jù)采集器中存儲(chǔ)的數(shù)據(jù)為日志源上報(bào)的原始日志數(shù)據(jù)。在日志源上報(bào)原始日志數(shù)據(jù)到數(shù)據(jù)采集器之后，數(shù)據(jù)采集器還需要為原始日志數(shù)據(jù)建本地索引。數(shù)據(jù)采集器對(duì)原始日志數(shù)據(jù)進(jìn)行格式化和歸并處理，將原始日志數(shù)據(jù)處理為日志表中每條記錄的形式(即日志表中的每行記錄)，每個(gè)日志表可能有多個(gè)字段，如下表I所示，該日志表包括字段I和字段2等字段，序號(hào)表示數(shù)據(jù)的存儲(chǔ)位置。表I
權(quán)利要求
1.一種數(shù)據(jù)查詢方法，其特征在于，所述方法包括 接收輸入的查詢請(qǐng)求，所述查詢請(qǐng)求中攜帶所要查詢的字段和所述字段中的查詢?cè)~； 從所述字段對(duì)應(yīng)的集中索引表中查詢得到所述查詢?cè)~對(duì)應(yīng)的采集器標(biāo)識(shí)，所述集中索引表中存儲(chǔ)所述字段中的查詢?cè)~與采集器標(biāo)識(shí)的對(duì)應(yīng)關(guān)系； 根據(jù)所述查詢請(qǐng)求生成攜帶有所述字段和查詢?cè)~的查詢命令，并將所述查詢命令發(fā)送給所述采集器標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)采集器，用以所述數(shù)據(jù)采集器在所述數(shù)據(jù)采集器中所述查詢命令攜帶的字段對(duì)應(yīng)的本地索引表中，查詢得到與所述查詢命令中攜帶的查詢?cè)~相匹配的數(shù)據(jù)； 接收所述數(shù)據(jù)采集器返回的所述數(shù)據(jù)，根據(jù)接收到的數(shù)據(jù)形成所述查詢請(qǐng)求的查詢結(jié)果并輸出。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)查詢方法，其特征在于，所述從所述字段對(duì)應(yīng)的集中索引表中查詢得到所述查詢?cè)~對(duì)應(yīng)的采集器標(biāo)識(shí)之前，還包括 針對(duì)所述字段，建立所述字段對(duì)應(yīng)的集中索引表； 所述建立所述字段對(duì)應(yīng)的集中索引表，包括 接收各數(shù)據(jù)采集器發(fā)送的所述字段的上報(bào)索引表，所述上報(bào)索引表中包括發(fā)送所述上報(bào)索引表的數(shù)據(jù)采集器中的數(shù)據(jù)對(duì)應(yīng)于所述字段的查詢?cè)~； 在所述字段的集中索引表中，存儲(chǔ)數(shù)據(jù)采集器的標(biāo)識(shí)與所述數(shù)據(jù)采集器上報(bào)的上報(bào)索引表中該字段的查詢?cè)~的對(duì)應(yīng)關(guān)系。
3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)查詢方法，其特征在于，所述從所述字段對(duì)應(yīng)的集中索引表中查詢得到所述查詢?cè)~對(duì)應(yīng)的采集器標(biāo)識(shí)，包括 若所述查詢請(qǐng)求中攜帶至少兩個(gè)所要查詢的字段，獲取所述查詢請(qǐng)求中各字段的查詢?cè)~，并記錄所述查詢請(qǐng)求中攜帶的所述各字段的查詢?cè)~之間的邏輯關(guān)系； 從所述各字段對(duì)應(yīng)的集中索引表中查詢得到所述各字段的查詢?cè)~對(duì)應(yīng)的采集器標(biāo)識(shí)； 根據(jù)所述各字段的查詢?cè)~之間的邏輯關(guān)系，從查詢得到的所述采集器標(biāo)識(shí)中篩選得到滿足所述邏輯關(guān)系的采集器標(biāo)識(shí)。
4.一種數(shù)據(jù)查詢方法，其特征在于，所述方法包括 接收數(shù)據(jù)查詢服務(wù)器發(fā)送的查詢命令，所述查詢命令攜帶所要查詢的字段和所述字段中的查詢?cè)~； 從所述字段對(duì)應(yīng)的本地索引表中查詢得到與所述查詢命令中的查詢?cè)~相匹配的數(shù)據(jù)的存儲(chǔ)位置，所述本地索引表中存儲(chǔ)所述字段中的查詢?cè)~與所述數(shù)據(jù)的存儲(chǔ)位置的對(duì)應(yīng)關(guān)系; 根據(jù)所述數(shù)據(jù)的存儲(chǔ)位置，獲取所述數(shù)據(jù)并發(fā)送給所述數(shù)據(jù)查詢服務(wù)器。
5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)查詢方法，其特征在于，所述從所述字段對(duì)應(yīng)的本地索引表中查詢得到與所述查詢命令中的查詢?cè)~相匹配的數(shù)據(jù)的存儲(chǔ)位置之前，還包括 針對(duì)所述字段，建立所述字段對(duì)應(yīng)的本地索引表； 所述建立所述字段對(duì)應(yīng)的本地索引表，包括 獲取當(dāng)前數(shù)據(jù)采集器中的數(shù)據(jù)和所述數(shù)據(jù)的存儲(chǔ)位置，所述數(shù)據(jù)中包括至少一個(gè)字段的內(nèi)容；針對(duì)每一個(gè)字段，將所述數(shù)據(jù)在該字段的內(nèi)容作為所述數(shù)據(jù)的查詢?cè)~，在所述當(dāng)前數(shù)據(jù)采集器中所述字段的本地索引表中，存儲(chǔ)所述數(shù)據(jù)的查詢?cè)~與所述數(shù)據(jù)的存儲(chǔ)位置的對(duì)應(yīng)關(guān)系。
6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)查詢方法，其特征在于，所述在所述當(dāng)前數(shù)據(jù)采集器中所述字段的本地索引表中，存儲(chǔ)所述數(shù)據(jù)的查詢?cè)~與所述數(shù)據(jù)的存儲(chǔ)位置的對(duì)應(yīng)關(guān)系之后,還包括 從該字段的本地索引表中提取出所述查詢?cè)~，對(duì)所述查詢?cè)~進(jìn)行去重處理，形成所述當(dāng)前數(shù)據(jù)采集器的所述字段的上報(bào)索引表； 將所述字段的上報(bào)索引表發(fā)送給所述數(shù)據(jù)查詢服務(wù)器，用以所述數(shù)據(jù)查詢服務(wù)器建立所述字段對(duì)應(yīng)的集中索引表。
7.根據(jù)權(quán)利要求4所述的數(shù)據(jù)查詢方法，其特征在于，所述從所述字段對(duì)應(yīng)的本地索引表中查詢得到與所述查詢命令中的查詢?cè)~相匹配的數(shù)據(jù)的存儲(chǔ)位置，包括 若所述查詢命令中攜帶至少兩個(gè)所要查詢的字段，獲取所述查詢命令中各字段的查詢?cè)~，并記錄所述查詢命令中攜帶的各字段的查詢?cè)~之間的邏輯關(guān)系； 從所述各字段對(duì)應(yīng)的本地索引表中查詢得到與所述查詢命令中各字段的查詢?cè)~相匹配的數(shù)據(jù)的存儲(chǔ)位置； 根據(jù)所述各字段的查詢?cè)~之間的邏輯關(guān)系，從查詢得到的所述數(shù)據(jù)的存儲(chǔ)位置中篩選得到滿足所述邏輯關(guān)系的數(shù)據(jù)的存儲(chǔ)位置。
8.一種數(shù)據(jù)查詢服務(wù)器，其特征在于，所述數(shù)據(jù)查詢服務(wù)器包括 第一接收單元，用于接收輸入的查詢請(qǐng)求，所述查詢請(qǐng)求中攜帶所要查詢的字段和所述字段中的查詢?cè)~； 第一查詢單元，用于從所述字段對(duì)應(yīng)的集中索引表中，查詢得到所述第一接收單元接收的所述查詢請(qǐng)求攜帶的查詢?cè)~對(duì)應(yīng)的采集器標(biāo)識(shí)，所述集中索引表中存儲(chǔ)所述字段中的查詢?cè)~與采集器標(biāo)識(shí)的對(duì)應(yīng)關(guān)系； 第一處理單元，用于根據(jù)所述查詢請(qǐng)求生成攜帶有所述字段和查詢?cè)~的查詢命令，并將所述查詢命令發(fā)送給所述第一查詢單元查詢得到的采集器標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)采集器，用以所述數(shù)據(jù)采集器在所述數(shù)據(jù)采集器中所述查詢命令攜帶的字段對(duì)應(yīng)的本地索引表中，查詢得到與所述查詢命令中攜帶的查詢?cè)~相匹配的數(shù)據(jù)； 第一輸出單元，用于接收所述數(shù)據(jù)采集器返回的所述數(shù)據(jù)，根據(jù)接收到的數(shù)據(jù)形成所述查詢請(qǐng)求的查詢結(jié)果并輸出。
9.根據(jù)權(quán)利要求8所述的數(shù)據(jù)查詢服務(wù)器，其特征在于，所述數(shù)據(jù)查詢服務(wù)器還包括 第一索引單元，用于針對(duì)所述字段，建立所述字段對(duì)應(yīng)的集中索引表； 所述第一索引單元包括 第一接收子單元，用于接收各數(shù)據(jù)采集器發(fā)送的所述字段的上報(bào)索引表，所述上報(bào)索引表中包括發(fā)送所述上報(bào)索引表的數(shù)據(jù)采集器中的數(shù)據(jù)對(duì)應(yīng)于所述字段的查詢?cè)~； 第一索引子單元，用于在所述字段的集中索引表中，存儲(chǔ)數(shù)據(jù)采集器的標(biāo)識(shí)與所述數(shù)據(jù)采集器上報(bào)的上報(bào)索引表中該字段的查詢?cè)~的對(duì)應(yīng)關(guān)系。
10.根據(jù)權(quán)利要求8所述的數(shù)據(jù)查詢服務(wù)器，其特征在于，所述第一查詢單元包括 第一解析子單元，用于若所述第一接收單元接收的所述查詢請(qǐng)求中攜帶至少兩個(gè)所要查詢的字段，獲取所述查詢請(qǐng)求中各字段的查詢?cè)~，并記錄所述查詢請(qǐng)求中攜帶的所述各字段的查詢?cè)~之間的邏輯關(guān)系； 第一查詢子單元，用于從所述各字段對(duì)應(yīng)的集中索引表中查詢得到所述第一解析子單元獲取的所述各字段的查詢?cè)~對(duì)應(yīng)的采集器標(biāo)識(shí)； 第一過(guò)濾子單元，用于根據(jù)所述第一解析子單元獲取的所述各字段的查詢?cè)~之間的邏輯關(guān)系，從所述第一查詢子單元查詢得到的所述采集器標(biāo)識(shí)中篩選得到滿足所述邏輯關(guān)系的采集器標(biāo)識(shí)。
11.一種數(shù)據(jù)采集器，其特征在于，包括 第二接收單元，用于接收數(shù)據(jù)查詢服務(wù)器發(fā)送的查詢命令，所述查詢命令攜帶所要查詢的字段和所述字段中的查詢?cè)~； 第二查詢單元，用于從所述字段對(duì)應(yīng)的本地索引表中查詢得到與所述第二接收單元接收的查詢命令中的查詢?cè)~相匹配的數(shù)據(jù)的存儲(chǔ)位置，所述本地索引表中存儲(chǔ)所述字段中的查詢?cè)~與所述數(shù)據(jù)的存儲(chǔ)位置的對(duì)應(yīng)關(guān)系； 第二處理單元，用于根據(jù)所述第二查詢單元查詢得到的所述數(shù)據(jù)的存儲(chǔ)位置，獲取所述數(shù)據(jù)并發(fā)送給所述數(shù)據(jù)查詢服務(wù)器。
12.根據(jù)權(quán)利要求11所述的數(shù)據(jù)采集器，其特征在于，所述數(shù)據(jù)采集器還包括 第二索引單元，用于針對(duì)所述字段，建立所述字段對(duì)應(yīng)的本地索引表； 所述第二索引單元包括 獲取子單元，用于獲取當(dāng)前數(shù)據(jù)采集器中的數(shù)據(jù)和所述數(shù)據(jù)的存儲(chǔ)位置，所述數(shù)據(jù)中包括至少一個(gè)字段的內(nèi)容； 第二索引子單元，用于針對(duì)所述獲取子單元獲取的每一個(gè)字段，將所述數(shù)據(jù)在該字段的內(nèi)容作為所述數(shù)據(jù)的查詢?cè)~，在所述數(shù)據(jù)采集器中所述字段的本地索引表中，存儲(chǔ)所述數(shù)據(jù)的查詢?cè)~與所述數(shù)據(jù)的存儲(chǔ)位置的對(duì)應(yīng)關(guān)系。
13.根據(jù)權(quán)利要求12所述的數(shù)據(jù)采集器，其特征在于，所述第二索引單元還包括 第三索引子單元，用于從所述第二索引子單元得到的該字段的本地索引表中提取出所述查詢?cè)~，對(duì)所述查詢?cè)~進(jìn)行去重處理，形成所述數(shù)據(jù)采集器的所述字段的上報(bào)索引表；發(fā)送子單元，用于將所述第三索引子單元形成的所述字段的上報(bào)索引表發(fā)送給所述數(shù)據(jù)查詢服務(wù)器，用以所述數(shù)據(jù)查詢服務(wù)器建立所述字段的集中索引表。
14.根據(jù)權(quán)利要求11所述的數(shù)據(jù)采集器，其特征在于，所述第二查詢單元包括 第二解析子單元，用于若所述第二接收單元接收的所述查詢命令中攜帶至少兩個(gè)所要查詢的字段，獲取所述查詢命令中各字段的查詢?cè)~，并記錄所述查詢命令中攜帶的各字段的查詢?cè)~之間的邏輯關(guān)系； 第二查詢子單元，用于從所述各字段對(duì)應(yīng)的本地索引表中查詢得到與所述第二解析子單元獲取的所述查詢命令中各字段的查詢?cè)~相匹配的數(shù)據(jù)的存儲(chǔ)位置； 第二過(guò)濾子單元，用于根據(jù)所述第二解析子單元獲取的所述各字段的查詢?cè)~之間的邏輯關(guān)系，從所述第二查詢子單元查詢得到的所述數(shù)據(jù)的存儲(chǔ)位置中篩選得到滿足所述邏輯關(guān)系的數(shù)據(jù)的存儲(chǔ)位置。
15.一種數(shù)據(jù)查詢系統(tǒng)，其特征在于，所述系統(tǒng)包括 如權(quán)利要求8 10任一權(quán)項(xiàng)所述的數(shù)據(jù)查詢服務(wù)器和如權(quán)利要求11 14任一權(quán)項(xiàng)所述的數(shù) 據(jù)采集器。
全文摘要
本發(fā)明涉及一種數(shù)據(jù)查詢方法及系統(tǒng)，所述方法包括接收輸入的查詢請(qǐng)求，所述查詢請(qǐng)求中攜帶所要查詢的字段和所述字段中的查詢?cè)~；從所述字段對(duì)應(yīng)的集中索引表中查詢得到所述查詢?cè)~對(duì)應(yīng)的采集器標(biāo)識(shí)；根據(jù)所述查詢請(qǐng)求生成攜帶有所述字段和查詢?cè)~的查詢命令，并將所述查詢命令發(fā)送給所述采集器標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)采集器，用以所述數(shù)據(jù)采集器通過(guò)所述數(shù)據(jù)采集器中所述查詢命令攜帶的字段對(duì)應(yīng)的本地索引表查詢得到與所述查詢命令中攜帶的查詢?cè)~相匹配的數(shù)據(jù)；接收所述數(shù)據(jù)采集器返回的所述數(shù)據(jù)，根據(jù)接收到的數(shù)據(jù)形成所述查詢請(qǐng)求的查詢結(jié)果并輸出。本發(fā)明能夠提高數(shù)據(jù)查詢的處理速度，減輕數(shù)據(jù)采集器的系統(tǒng)資源占用和數(shù)據(jù)查詢服務(wù)器的負(fù)荷壓力。
文檔編號(hào)G06F17/30GK103064933SQ20121056613
公開(kāi)日2013年4月24日 申請(qǐng)日期2012年12月24日 優(yōu)先權(quán)日2012年12月24日
發(fā)明者謝永方 申請(qǐng)人:華為技術(shù)有限公司