本發(fā)明涉及數(shù)據(jù)安全分析領域,尤其涉及一種大數(shù)據(jù)查詢方法及系統(tǒng)。
背景技術(shù):
隨著網(wǎng)絡技術(shù)的飛速發(fā)展,當今各類IT資源飛速膨脹,網(wǎng)絡設備層出不窮,隨之產(chǎn)生了大量的網(wǎng)絡數(shù)據(jù)信息。如何在大量數(shù)據(jù)中快速準確的找到目標數(shù)據(jù),大數(shù)據(jù)查詢方法的尤為必要。
目前,一般采用多條件組合累加模式對大數(shù)據(jù)進行查詢,對目標數(shù)據(jù)進行查詢時同時輸入多個查找條件,每次初始查詢都需要與完整的大數(shù)據(jù)進行比對。
發(fā)明人經(jīng)過研究發(fā)現(xiàn),現(xiàn)有的數(shù)據(jù)查詢方法是對完整的大數(shù)據(jù)進行查詢處理,數(shù)據(jù)量過大,導致查詢的速度隨著過濾條件的增加而減慢,無法做到快速準確定位目標數(shù)據(jù)。
技術(shù)實現(xiàn)要素:
有鑒于此,本發(fā)明提供一種大數(shù)據(jù)查詢方法及系統(tǒng),用以解決現(xiàn)有技術(shù)中對完整的大數(shù)據(jù)進行查詢處理,因數(shù)據(jù)量過大,無法做到快速準確定位目標數(shù)據(jù)的問題,具體方案如下:
一種大數(shù)據(jù)查詢方法,包括:
當接收到用戶經(jīng)由Web頁面發(fā)送的查詢請求時,解析所述查詢請求中的維度數(shù)組,所述維度數(shù)組中包含至少一個查詢維度;
當所述維度數(shù)組滿足第一預設條件時,獲取所述維度數(shù)組中各個查詢維度的維度分類;
依據(jù)所述各個維度分類,按預設的劃分規(guī)則,將目標大數(shù)據(jù)劃分為多個數(shù)據(jù)塊;
依據(jù)所述各個查詢維度,分別對每一個所述數(shù)據(jù)塊進行數(shù)據(jù)查詢,并將各個查詢結(jié)果進行匯總,獲得目標查詢數(shù)據(jù)。
上述的方法,優(yōu)選的,所述當所述維度數(shù)組滿足第一預設條件時,獲取所述維度數(shù)組中各個查詢維度的維度分類包括:
將所述維度數(shù)組與已存儲的各個歷史維度數(shù)組進行逐一比較;判斷是否存在目標歷史維度數(shù)組,所述目標歷史維度數(shù)組中的各個查詢維度均包含在當前所述維度數(shù)組中;
當不存在時,依據(jù)所述各個查詢維度的維度屬性,獲取所述維度數(shù)組中各個查詢維度的維度分類。
上述的方法,優(yōu)選的,還包括:
當存在時,判斷所述目標歷史維度數(shù)組中的查詢維度的數(shù)量是否與所述當前維度數(shù)組中的查詢維度的數(shù)量相同;
當相同時,直接調(diào)用所述目標歷史維度數(shù)組所查詢的歷史查詢數(shù)據(jù),將所述歷史查詢結(jié)果作為目標查詢數(shù)據(jù)。
上述的方法,優(yōu)選的,還包括:
當不相同時,按預設的劃分規(guī)則,將所述歷史查詢數(shù)據(jù)劃分為多個數(shù)據(jù)塊;
依據(jù)所述各個查詢維度,分別對每一個數(shù)據(jù)塊進行查詢。
上述的方法,優(yōu)選的,所述依據(jù)各個維度分類,按預設的劃分規(guī)則,將目標大數(shù)據(jù)劃分為多個數(shù)據(jù)塊包括:
確定各個維度分類的優(yōu)先級;
依據(jù)優(yōu)先級最高的維度分類,將所述目標大數(shù)據(jù)劃分為多個數(shù)據(jù)塊。
上述的方法,優(yōu)選的,所述維度分類,包括:
時間類、過濾條件類或統(tǒng)計類。
一種大數(shù)據(jù)查詢系統(tǒng),包括:
解析模塊,當接收到用戶經(jīng)由Web頁面發(fā)送的查詢請求時,解析所述查詢請求中的維度數(shù)組,所述維度數(shù)組中包含至少一個查詢維度;
獲取模塊,當所述維度數(shù)組滿足第一預設條件時,獲取所述維度數(shù)組中各個查詢維度的維度分類;
劃分模塊,依據(jù)所述各個維度分類,按預設的劃分規(guī)則,將目標大數(shù)據(jù)劃分為多個數(shù)據(jù)塊;
查詢模塊,依據(jù)所述各個查詢維度,分別對每一個所述數(shù)據(jù)塊進行數(shù)據(jù)查詢,并將各個查詢結(jié)果進行匯總,獲得目標查詢數(shù)據(jù)。
上述的系統(tǒng),優(yōu)選的,所述獲取模塊包括:
比較單元,將所述維度數(shù)組與已存儲的各個歷史維度數(shù)組進行逐一比較;
判斷單元,判斷是否存在目標歷史維度數(shù)組,所述目標歷史維度數(shù)組中的各個查詢維度均包含在當前所述維度數(shù)組中。
上述的系統(tǒng),優(yōu)選的,述判斷單元包括:
第一判斷子單元,依據(jù)所述各個查詢維度的維度屬性,獲取所述維度數(shù)組中各個查詢維度的維度分類。判斷所述目標歷史維度數(shù)組中的查詢維度的數(shù)量是否與所述當前維度數(shù)組中的查詢維度的數(shù)量相同;
第二判斷子單元,判斷是否調(diào)用目標歷史維度數(shù)組,若所述目標歷史維度數(shù)組中的查詢維度的數(shù)量與所述當前維度數(shù)組中的查詢維度的數(shù)量相同,直接調(diào)用所述目標歷史維度數(shù)組所查詢的歷史查詢數(shù)據(jù),將所述歷史查詢結(jié)果作為目標查詢數(shù)據(jù);若不相同,按預設的劃分規(guī)則,將所述歷史查詢數(shù)據(jù)劃分為多個數(shù)據(jù)塊,依據(jù)所述各個查詢維度,分別對每一個數(shù)據(jù)塊進行查詢。
上述的系統(tǒng),優(yōu)選的,所述劃分模塊包括:
確定單元,確定各個維度分類的優(yōu)先級;
分塊單元,依據(jù)優(yōu)先級最高的維度分類,將所述目標大數(shù)據(jù)劃分為多個數(shù)據(jù)塊。
與現(xiàn)有技術(shù)相比,本發(fā)明包括以下優(yōu)點:
本發(fā)明提供了一種大數(shù)據(jù)查詢方法,當接收到用戶經(jīng)由Web頁面發(fā)送的查詢請求時,解析所述查詢請求中的維度數(shù)組,所述維度數(shù)組中包含至少一個查詢維度;當所述維度數(shù)組滿足第一預設條件時,獲取所述維度數(shù)組中各個查詢維度的維度分類;依據(jù)所述各個維度分類,按預設的劃分規(guī)則,將目標大數(shù)據(jù)劃分為多個數(shù)據(jù)塊;依據(jù)所述各個查詢維度,分別對每一個所述數(shù)據(jù)塊進行數(shù)據(jù)查詢,并將各個查詢結(jié)果進行匯總,獲得目標查詢數(shù)據(jù)。避免了現(xiàn)有技術(shù)中對大數(shù)據(jù)整體進行查詢,做到快速準確定位目標數(shù)據(jù)。
當然,實施本發(fā)明的任一產(chǎn)品并不一定需要同時達到以上所述的所有優(yōu)點。
附圖說明
為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實施例,對于本領域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本申請實施例公開的一種大數(shù)據(jù)查詢方法流程圖;
圖2為本申請實施例公開的一種大數(shù)據(jù)查詢方法又一方法流程圖;
圖3為本申請實施例公開的一種大數(shù)據(jù)查詢方法又一方法流程圖;
圖4為本申請實施例公開的一種大數(shù)據(jù)查詢方法又一方法流程圖;
圖5為本申請實施例公開的一種大數(shù)據(jù)查詢方法又一方法流程圖;
圖6為本申請實施例公開的一種大數(shù)據(jù)查詢系統(tǒng)結(jié)構(gòu)框圖;
圖7為本申請實施例公開的一種大數(shù)據(jù)查詢系統(tǒng)又一結(jié)構(gòu)框圖;
圖8為本申請實施例公開的一種大數(shù)據(jù)查詢系統(tǒng)又一結(jié)構(gòu)框圖。
圖9為本申請實施例公開的一種大數(shù)據(jù)查詢系統(tǒng)又一結(jié)構(gòu)框圖。
具體實施方式
下面將結(jié)合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發(fā)明一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本發(fā)明保護的范圍。
對所公開的實施例的上述說明,使本領域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對這些實施例的多種修改對本領域的專業(yè)技術(shù)人員來說將是顯而易見的,本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下,在其它實施例中實現(xiàn)。因此,本發(fā)明將不會被限制于本文所示的這些實施例,而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。
本發(fā)明提供了一種大數(shù)據(jù)查詢方法,該方法可以應用于所有涉及大數(shù)據(jù)查詢分析的領域中,所述方法的流程圖如圖1所示,包括步驟:
S101、當接收到用戶經(jīng)由Web頁面發(fā)送的查詢請求時,解析所述查詢請求中的維度數(shù)組,所述維度數(shù)組中包含至少一個查詢維度;
本發(fā)明實施例中,用戶經(jīng)由Web頁面發(fā)送的查詢請求是以數(shù)組的形式進行發(fā)送的,當收到查詢請求后,首先解析查詢請求數(shù)組的維度,所述查詢請求數(shù)組還少包含一個查詢維度。
S102、當所述維度數(shù)組滿足第一預設條件時,獲取所述維度數(shù)組中各個查詢維度的維度分類;
本發(fā)明實施例中,當所述維度數(shù)組滿足第一預設條件時,獲取所述維度數(shù)組中各個查詢維度的維度分類,所述維度分類可以為時間類、過濾類或統(tǒng)計類。
S103、依據(jù)所述各個維度分類,按預設的劃分規(guī)則,將目標大數(shù)據(jù)劃分為多個數(shù)據(jù)塊;
本發(fā)明實施例中,依據(jù)各個維度分類,按預設的劃分規(guī)則,對目標大數(shù)據(jù)進行分塊,具體的劃分原則:確定各個維度分類的優(yōu)先級;依據(jù)優(yōu)先級最高的維度進行分類,將所述目標大數(shù)據(jù)劃分為多個數(shù)據(jù)塊。
S104、依據(jù)所述各個查詢維度,分別對每一個所述數(shù)據(jù)塊進行數(shù)據(jù)查詢,并將各個查詢結(jié)果進行匯總,獲得目標查詢數(shù)據(jù)。
本發(fā)明實施例中,依據(jù)各個查詢維度對每一個所述數(shù)據(jù)塊進行查詢,并將查詢結(jié)果依據(jù)查詢維度進行匯總,最終獲得目標數(shù)據(jù),并傳遞到所述Web頁面進行顯示,所述Web頁面可以對所述目標數(shù)據(jù)進行統(tǒng)計分析,視圖分析,響應處理,地圖映射,依據(jù)具體情況選擇其中的一種或者幾種對目標數(shù)據(jù)進行顯示。
本發(fā)明提供了一種大數(shù)據(jù)查詢方法,當接收到用戶經(jīng)由Web頁面發(fā)送的查詢請求時,解析所述查詢請求中的維度數(shù)組,所述維度數(shù)組中包含至少一個查詢維度;當所述維度數(shù)組滿足第一預設條件時,獲取所述維度數(shù)組中各個查詢維度的維度分類;依據(jù)所述各個維度分類,按預設的劃分規(guī)則,將目標大數(shù)據(jù)劃分為多個數(shù)據(jù)塊;依據(jù)所述各個查詢維度,分別對所述數(shù)據(jù)塊依次進行數(shù)據(jù)查詢,并將各個查詢結(jié)果進行匯總,獲得目標查詢數(shù)據(jù),避免了現(xiàn)有技術(shù)中對大數(shù)據(jù)整體進行查詢,做到快速準確定位目標數(shù)據(jù)。
上述實施例中所述的Web頁面是指一種可以實現(xiàn)與后臺大數(shù)據(jù)交互的頁面,所述Web頁面包括:
時間條件選擇框:通過輸入時間段或者某一確定時間的方式對所述大數(shù)據(jù)進行時間條件的查詢,時間段的具體輸入方式為分別輸入開始時間和結(jié)束時間,兩者之間即為所述時間段,該條件可以累加反復使用。
類型選擇框:選擇具體的查詢類型,對所述大數(shù)據(jù)進行查詢,所述查詢類型包括:
屬性值選項,所述屬性可根據(jù)需要進行自定義配置,在對應的屬性下選擇填寫與屬性相對應的值,在大數(shù)據(jù)中數(shù)據(jù)類型、設備類型、協(xié)議、等級等存在規(guī)范或業(yè)界公認的屬性值時,將生成值可選列表,無需進行手工填寫,僅需要選擇對應的值即可,該條件可以累加反復使用。
引用過濾器選項,所述過濾器可以對大數(shù)據(jù)中的多種屬性進行對應關系配置,過濾器可引用資產(chǎn)設備中的相關屬性與大數(shù)據(jù)進行對應,過濾器可引用自定義資源中的常用屬性配置,以過濾器方式呈現(xiàn)出更為復雜的處理邏輯,以便在復雜的攻擊中進行追根溯源,該條件可以累加反復使用。
黑白名單選項,黑白名單支持大數(shù)據(jù)動態(tài)生成的數(shù)據(jù)屬性及對應值;此黑白名單是以權(quán)威威脅情報機構(gòu)提供,例如:天際友盟,微步等;將采集到的威脅情報作為過濾條件應用到查詢分析的,以達到最快速的定位常見威脅,通過定位到的威脅信息,可以關聯(lián)并鉆取相關大數(shù)據(jù),達到實時交互的目的,該條件可以累加反復使用。
條件類型選擇框:所述條件類型是與類型選擇框相對應的,根據(jù)所選查詢類型,確定所述條件。
所述Web頁面還包括:
統(tǒng)計條件顯示模塊,更為直觀的查看到某些大數(shù)據(jù)的分布及趨勢,可以根據(jù)不同的圖樣進行更為便捷的統(tǒng)計分析,在不同類型的統(tǒng)計圖上也可進行響應的點擊鉆取,以達到無限實時的對大數(shù)據(jù)進行查詢分析。
視圖分析模塊,大數(shù)據(jù)按照拓撲分析進行視圖展示;大數(shù)據(jù)按照多維分析進行折線圖布局實現(xiàn)日志多層次不定向視圖展示;大數(shù)據(jù)按照視網(wǎng)膜分析進行圓形布局實現(xiàn)日志地址類資源關聯(lián)視圖展示;以便更為直觀的確定某些異常日志,由異常日志為基礎可進行深入的查詢分析。
響應處理模塊,生成各類告警以及黑白名單,在大數(shù)據(jù)查詢的Web頁面中,當發(fā)現(xiàn)異常類數(shù)據(jù)時,點擊大數(shù)據(jù)響應處理模塊,可根據(jù)需要生成告警以及黑白名單,已達到發(fā)現(xiàn)即處理的目的。
映射關系模塊,若存在涉及到經(jīng)緯度信息的大數(shù)據(jù),將所述大數(shù)據(jù)中的IP地址按照經(jīng)緯度的方式展示到世界地圖中,以達到確定攻擊的路線。
配置完成后,還需要將需要查詢分析的大數(shù)據(jù)與所述Web頁面相關聯(lián),具體操作為:將需要接入的設備通過syslog方式轉(zhuǎn)發(fā)到本系統(tǒng)或通過配置采集任務將數(shù)據(jù)庫、應用、郵件服務器、主機、其他文本類文件主動采集到本系統(tǒng)中,各類設備大數(shù)據(jù)接入并保存入庫,等待所述Web頁面發(fā)送查詢請求。
本發(fā)明實施利中所有實施例都是基于上述Web頁面的各個模塊相互作用完成的。
本發(fā)明實施例中,當所述維度數(shù)組滿足第一預設條件時,獲取所述維度數(shù)組中各個查詢維度的維度分類的過程如圖2所示,包括步驟:
S201、將所述維度數(shù)組與已存儲的各個歷史維度數(shù)組進行逐一比較;判斷是否存在目標歷史維度數(shù)組,所述目標歷史維度數(shù)組中的各個查詢維度均包含在當前所述維度數(shù)組中;
本發(fā)明實施例中,當收到用戶經(jīng)由Web頁面發(fā)送來的查詢請求時,解析所述查詢請求中的數(shù)組維度,并將所述維度數(shù)組與已經(jīng)存儲的歷史維度數(shù)組進行比較,判斷是否存在目標歷史數(shù)組中。
S202、當不存在時,依據(jù)所述各個查詢維度的維度屬性,獲取所述維度數(shù)組中各個查詢維度的維度分類。
本發(fā)明實施例中,當所述維度數(shù)組不存在于目標歷史數(shù)組中時,進一步說,當前所述維度數(shù)組與所述目標歷史維度數(shù)組中的各個查詢維度均不存在包含關系認為所述維度數(shù)組中的查詢請求為初次查詢,具體來說,當前所述維度數(shù)組相對于目標歷史數(shù)組為一種新的組合方式,在所述歷史維度數(shù)組中沒有出現(xiàn)過完全相同,或者部分相同的組合,既然為初次查詢,需要獲取所述維度數(shù)組中所有查詢條件的維度分類。
以具體的實例為例進一步說明,在所述Web頁面中輸入查詢條件,若所述查詢條件分別為A1,A2,A3,A4,當接收到查詢請求時,解析由這四個查詢條件組成的維度數(shù)組,將由這四個查詢條件組成的維度數(shù)組歷史維度數(shù)組進行比較發(fā)現(xiàn),歷史查詢維度數(shù)組中沒有與所述維度數(shù)組相同或者存在包含關系的查詢請求,則認定當前所述查詢數(shù)組為初次查詢,需要獲取所述維度數(shù)組中所有查詢條件的維度分類。
本發(fā)明實施例僅以某一具體情況為例對該實施例中所能出現(xiàn)的可能情況進行具體分析,其它的多于或者少于的如上所述查詢條件的查詢請求,均可依據(jù)如上實施例的操作流程進行操作,不影響上述查詢條件的判斷原則。
本發(fā)明實施例中,當所述維度數(shù)組滿足不滿足第一預設條件時,具體確定方法如圖3所示,包括步驟:
S301、判斷所述目標歷史維度數(shù)組中的查詢維度的數(shù)量是否于所述當前維度數(shù)組中查詢維度的數(shù)量相同;
本發(fā)明實施例中,所述當前維度數(shù)組與所述歷史維度數(shù)組中的各個查詢條件依次進行比對,判斷兩者是否相同。
S302、當相同時,直接調(diào)用所述目標歷史維度數(shù)組所查詢的歷史查詢數(shù)據(jù),將所述歷史查詢結(jié)果作為目標查詢數(shù)據(jù)。
本發(fā)明實施例中,查詢維度數(shù)量相同具體指兩方面:查詢維度相同;查詢條件相同,兩者同時滿足時,才認為是同一查詢條件,直接調(diào)用所述目標歷史維度數(shù)組所查詢的歷史查詢數(shù)據(jù),將所述歷史查詢結(jié)果作為目標查詢數(shù)據(jù)。
本發(fā)明實施例中,當所述維度數(shù)組滿足不滿足第一預設條件時,具體確定方法還可以參考圖4,包括步驟:
S401、當不相同時,按預設的劃分規(guī)則,將所述歷史查詢數(shù)據(jù)劃分為多個數(shù)據(jù)塊;
S402、依據(jù)各個查詢維度,對每個數(shù)據(jù)塊進行查詢。
本發(fā)明實施例中,包括:若所述歷史維度數(shù)組包含于當前所述維度數(shù)組,即所述歷史維度數(shù)組為當前所述度數(shù)組中一種或者幾種的組合,僅以歷史條件為查詢條件A1和A2的組合,當前查詢條件為查詢條件A1,A2,A3和A4的組合為例,進行具體說明,其他查詢條件組合與該組合類似,當前查詢維度數(shù)組由查詢條件A1,A2,A3和A4組成,當接收到查詢請求時,首先解析所述維度數(shù)組,若在歷史查詢結(jié)果中存在查詢條件A1和A2組成的歷史查詢條件,本發(fā)明實施例則不再需要對原有大數(shù)據(jù)進行查詢,只需要調(diào)用歷史查詢數(shù)據(jù),在歷史數(shù)據(jù)查詢結(jié)果的基礎上,繼續(xù)添加查詢條件A3和A4,直接依據(jù)查詢條件A3和A4,在歷史查詢結(jié)果中進一步篩選,依次進行查詢。
本發(fā)明實施例中,還包括:若當前的查詢條件中有一條或者幾條是不再需要的查詢條件,不需要重新輸入查詢條件,只需要在原有查詢條件的基礎上將不需要的查詢條件直接刪除,所述目標數(shù)據(jù)隨著查詢條件的減少,實時更改。
本發(fā)明實施例僅以某一具體情況為例對該實施例中所能出現(xiàn)的可能情況進行具體分析,其他的多于或者少于的如上所述查詢條件的查詢請求,均可依據(jù)如上實施例進行操作,不影響上述查詢條件的判斷原則。
本發(fā)明實施例中,依據(jù)所述各個維度分類,按預設的劃分規(guī)則,將目標大數(shù)據(jù)劃分為多個數(shù)據(jù)塊,具體劃分規(guī)則參考圖5,包括步驟:
S501、確定各個維度分類的優(yōu)先級;
本發(fā)明實施例中,當查詢請求為一個時,該查詢請求即為最高優(yōu)先級;
若查詢請求為多個時,通常選擇時間條件為優(yōu)先級最高的條件對目標大數(shù)據(jù)進行分段,確保每段時間處理的日志數(shù)量最低,提升處理速。若多個查詢請求中不包括時間查詢條件,或者所述時間查詢條件中時間為一固定值或者過短,沒有分段的必要,可以根據(jù)實際的情況選擇合適的查詢維度進行優(yōu)先級的確定。
S502、依據(jù)優(yōu)先級最高的維度分類,將所述目標大數(shù)據(jù)劃分為多個數(shù)據(jù)塊。
劃分是可以依據(jù)一個也可以依據(jù)多個查詢維度分類進行分段,具體的分段原則進行舉例說明:若系統(tǒng)想查找某一固定時間有多少臺移動終端設備訪問過某一電商網(wǎng)站購物并進行支付,此例中查詢條件有四個分別為時間信息查詢條件、網(wǎng)址信息查詢條件、終端設備信息查詢條件、支付信息查詢條件,因為時間信息為一個具體的固定值,采用對時間進行分段意義不大,本發(fā)明實施例選擇終端設備信息查詢條件進行大數(shù)據(jù)分段,分段后可以按設備的類型對所有設備依次分段,每段數(shù)據(jù)都代表一種設備類型,依次對每段數(shù)據(jù)進行如上所述查找條件的篩查,并對查找結(jié)果進行匯總,獲得目標查詢數(shù)據(jù)。上述實施例有也可采用其它查詢條件作為分段的維度,本發(fā)明實施例僅以終端設備信息查詢條件為例,在實際的大數(shù)據(jù)分塊過程中,需要依據(jù)具體的情況具體分析,具體的分段維度也不僅僅局限于一種,也可以采用多種查詢維度組合的方式,所有的執(zhí)行原則均以快速準確查找到目標數(shù)據(jù)為依據(jù)。
本發(fā)明實施例中,詳細闡述了具體的大數(shù)據(jù)分段原則,僅以一個個例舉例說明,通常情況下默認依據(jù)時間對大數(shù)據(jù)進行分塊,在不存在時間這個查詢條件或者時間條件不適合作為分段維度時,可以選擇其他查詢維度中的一種或者幾種的組合對大數(shù)據(jù)進行分段,在實際大數(shù)據(jù)查詢過程中,依據(jù)所述維度分類,根據(jù)具體的實際情況對大數(shù)據(jù)進行分段,不僅僅局限于上述所述分段情況,只要能保證快速準確定位目標數(shù)據(jù),都認為是合理劃分原則。
與圖1所述的一種大數(shù)據(jù)查詢方法相對應的,本發(fā)明實施例還提供了一種大數(shù)據(jù)查詢系統(tǒng),其結(jié)構(gòu)示意圖如圖6所示,包括:
解析模塊601,獲取模塊602,劃分模塊603,查詢模塊604。
其中:
所述解析模塊601,當接收到用戶經(jīng)由Web頁面發(fā)送的查詢請求時,解析所述查詢請求中的維度數(shù)組,所述維度數(shù)組中包含至少一個查詢維度;
所述獲取模塊602,當所述維度數(shù)組滿足第一預設條件時,獲取所述維度數(shù)組中各個查詢維度的維度分類;
所述劃分模塊603,依據(jù)所述各個維度分類,按預設的劃分規(guī)則,將目標大數(shù)據(jù)劃分為多個數(shù)據(jù)塊;
所述查詢模塊604,依據(jù)所述各個查詢維度,分別對每一個所述數(shù)據(jù)塊進行數(shù)據(jù)查詢,并將各個查詢結(jié)果進行匯總,獲得目標查詢數(shù)據(jù)。
本發(fā)明實施例提供了一種大數(shù)據(jù)查詢系統(tǒng),解析模塊需要對用戶經(jīng)由Web頁面發(fā)送的查詢請求進行解析,解析所述查詢請求中的維度數(shù)組,所述維度數(shù)組中包含至少一個查詢維度;獲取模塊需要當所述維度數(shù)組滿足第一預設條件時,獲取所述維度數(shù)組中各個查詢維度的維度分類;劃分模塊需要依據(jù)所述各個維度分類,按預設的劃分規(guī)則,將目標大數(shù)據(jù)劃分為多個數(shù)據(jù)塊;查詢模塊需要依據(jù)所述各個查詢維度,分別對每一個所述數(shù)據(jù)塊進行數(shù)據(jù)查詢,并將各個查詢結(jié)果進行匯總,獲得目標查詢數(shù)據(jù)。避免了現(xiàn)有技術(shù)中對大數(shù)據(jù)整體進行查詢,做到快速準確定位目標數(shù)據(jù)。
需要說明的是,所述大數(shù)據(jù)查詢系統(tǒng),是一個完整的系統(tǒng),可以單獨使用也可以與其它系統(tǒng)配合使用。
在圖6的基礎上,參考圖7,圖7示出了本發(fā)明實施例提供的系統(tǒng)的又一結(jié)構(gòu)圖,所述獲取模塊601,包括:
比較單元605和判斷單元606。
其中:
所述比較單元605,將所述維度數(shù)組與已存儲的各個歷史維度數(shù)組進行逐一比較;
所述判斷單元606,判斷是否存在目標歷史維度數(shù)組,所述目標歷史維度數(shù)組中的各個查詢維度均包含在當前所述維度數(shù)組中。
在圖7的基礎上,參考圖8,圖8示出了本發(fā)明實施例提供的系統(tǒng)的又一結(jié)構(gòu)圖,所述判斷單元606,包括:
第一判斷子單元707和第二判斷子單元708。
其中:
所述第一判斷子單元,依據(jù)所述各個查詢維度的維度屬性,獲取所述維度數(shù)組中各個查詢維度的維度分類。判斷所述目標歷史維度數(shù)組中的查詢維度的數(shù)量是否與所述當前維度數(shù)組中的查詢維度的數(shù)量相同;
所述第二判斷子單元,判斷是否調(diào)用目標歷史維度數(shù)組,若所述目標歷史維度數(shù)組中的查詢維度的數(shù)量與所述當前維度數(shù)組中的查詢維度的數(shù)量相同,直接調(diào)用所述目標歷史維度數(shù)組所查詢的歷史查詢數(shù)據(jù),將所述歷史查詢結(jié)果作為目標查詢數(shù)據(jù);若不相同,按預設的劃分規(guī)則,將所述歷史查詢數(shù)據(jù)劃分為多個數(shù)據(jù)塊,依據(jù)所述各個查詢維度,分別對每一個數(shù)據(jù)塊進行查詢
在圖8的基礎上,參考圖9,圖9示出了本發(fā)明實施例提供的系統(tǒng)的又一結(jié)構(gòu)圖,所述劃分模塊703,包括:
確定單元709和分塊單元710。
其中:
所述確定單元709,確定各個維度分類的優(yōu)先級;
所述分塊單元710,依據(jù)優(yōu)先級最高的維度分類,將所述目標大數(shù)據(jù)劃分為多個數(shù)據(jù)塊。
需要說明的是,本說明書中的各個實施例均采用遞進的方式描述,每個實施例重點說明的都是與其他實施例的不同之處,各個實施例之間相同相似的部分互相參見即可。對于裝置類實施例而言,由于其與方法實施例基本相似,所以描述的比較簡單,相關之處參見方法實施例的部分說明即可。
最后,還需要說明的是,在本申請中,諸如第一和第二等之類的關系術(shù)語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來,而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且,術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。
對所公開的實施例的上述說明,使本領域技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對這些實施例的多種修改對本領域技術(shù)人員來說將是顯而易見的,本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下,在其它實施例中實現(xiàn)。因此,本發(fā)明將不會被限制于本文所示的這些實施例,而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。
以上所述僅是本發(fā)明的優(yōu)選實施方式,應當指出,對于本技術(shù)領域的普通技術(shù)人員來說,在不脫離本發(fā)明原理的前提下,還可以做出若干改進和潤飾,這些改進和潤飾也應視為本發(fā)明的保護范圍。