專利名稱：一種分布式dns查詢?nèi)罩镜膶?shí)時(shí)統(tǒng)計(jì)裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及網(wǎng)絡(luò)通信領(lǐng)域，具體的說，涉及一種分布式DNS查詢?nèi)罩镜膶?shí)時(shí)統(tǒng)計(jì) 裝置及一種分布式DNS查詢?nèi)罩镜膶?shí)時(shí)統(tǒng)計(jì)方法。
背景技術(shù)：
DNS (Domain Name System，域名系統(tǒng))是互聯(lián)網(wǎng)基礎(chǔ)設(shè)施提供的一項(xiàng)核心服務(wù)，該 系統(tǒng)包括一個(gè)將域名和IP地址相互映射的分布式數(shù)據(jù)庫，可以實(shí)現(xiàn)域名和IP地址轉(zhuǎn)換的 功能。DNS服務(wù)器分布在廣域網(wǎng)的各個(gè)站點(diǎn)，實(shí)現(xiàn)分布式的網(wǎng)絡(luò)服務(wù)。在DNS服務(wù)器運(yùn)行 時(shí)，會(huì)生成對(duì)DNS服務(wù)器查詢?cè)L問的日志記錄，通過分析這些查詢?nèi)罩?，不僅可以發(fā)現(xiàn)當(dāng)前 服務(wù)存在的問題，追蹤服務(wù)過程中的各種安全和特定事件；還可以對(duì)域名的各種訪問屬性、 DNS的工作流程進(jìn)行分析，發(fā)現(xiàn)網(wǎng)絡(luò)資源的使用情況，掌握網(wǎng)絡(luò)發(fā)展的動(dòng)態(tài)變化；為保證域 名解析服務(wù)的高效運(yùn)行，對(duì)全局分布式DNS查詢?nèi)罩镜膶?shí)時(shí)統(tǒng)計(jì)則顯得尤為重要。目前的DNS日志的統(tǒng)計(jì)方法主要采用DNS服務(wù)器自帶的日志功能，如普遍使用 的BIND (Berkeley Internet Name Domain Service)，它通過配置文件將不同類型的日志 記錄在不同的文件中，BIND的查詢?nèi)罩居涗浄椒ㄟ^程為在為域名解析提供查詢服務(wù)的過 程中，每當(dāng)客戶查詢請(qǐng)求被監(jiān)聽到后，就啟動(dòng)查詢開始方法ns_query_start (ns_c 1 ient_ t*client)。該方法首先檢查client的各項(xiàng)參數(shù)是否正確，然后檢查ns_serVer- > log_ queries是否設(shè)置為開，若是，則啟動(dòng)寫查詢?nèi)罩緇og_query (client)方法來寫日志文件。 這種寫查詢?nèi)罩镜乃惴ㄋ枷胧侵灰胁樵儯蛻舳税l(fā)來的查詢信息有效且設(shè)置記錄查詢 日志為開，無論解析是否成功，把請(qǐng)求的查詢寫日志中；解析出錯(cuò)，在錯(cuò)誤日志中會(huì)寫入記 錄。同時(shí)，它還有一個(gè)統(tǒng)計(jì)全部查詢次數(shù)和出錯(cuò)次數(shù)的變量，是常駐內(nèi)存的，定期寫回日志 文件。缺省情況下，BIND主要把啟動(dòng)、關(guān)閉和一些嚴(yán)重錯(cuò)誤的消息寫入日志文件。然而，這種DNS服務(wù)器軟件自帶的日志功能只能進(jìn)行單機(jī)日志統(tǒng)計(jì)，而無法用于 基于DNS系統(tǒng)的分布式結(jié)構(gòu)完成全局的實(shí)時(shí)日志統(tǒng)計(jì)分析工作，如日志數(shù)據(jù)的實(shí)時(shí)匯總統(tǒng) 計(jì)和集中備份等。目前，分布式日志統(tǒng)計(jì)的最普通的方法是將各站點(diǎn)的日志匯總到一個(gè)中心日志服 務(wù)器，然后由中心日志服務(wù)器對(duì)所有的日志數(shù)據(jù)進(jìn)行統(tǒng)計(jì)計(jì)算；對(duì)于一些易于計(jì)算的統(tǒng)計(jì) 量，比如查詢量的統(tǒng)計(jì)，使用上述方法將各站點(diǎn)的局部查詢量簡(jiǎn)單相加就可以實(shí)時(shí)地得出 分布式系統(tǒng)的全局查詢量，但是對(duì)于一些較為復(fù)雜的統(tǒng)計(jì)計(jì)算，比如全局Top-k域名(求訪 問次數(shù)最大的前k個(gè)域名)，由于域名的數(shù)據(jù)量非常大，DNS查詢量也非常大，由于服務(wù)器處 理性能和傳輸性能的限制，現(xiàn)有的站點(diǎn)日志服務(wù)器和中心日志服務(wù)器顯然無法在短時(shí)間內(nèi) 完成大量的數(shù)據(jù)傳輸和匯總統(tǒng)計(jì)計(jì)算工作。因此，需要本領(lǐng)域技術(shù)人員迫切解決的一個(gè)技術(shù)問題就是如何能夠創(chuàng)新地提出 一種DNS查詢?nèi)罩窘y(tǒng)計(jì)的機(jī)制，用以基于DNS的分布式結(jié)構(gòu)實(shí)現(xiàn)全局、大數(shù)據(jù)量的查詢?nèi)罩?實(shí)時(shí)統(tǒng)計(jì)分析。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種基于DNS的分布式結(jié)構(gòu)實(shí)現(xiàn)全局、大數(shù)據(jù) 量的查詢?nèi)罩緦?shí)時(shí)統(tǒng)計(jì)分析機(jī)制，用以基于DNS的分布式結(jié)構(gòu)實(shí)現(xiàn)全局、大數(shù)據(jù)量的查詢 日志實(shí)時(shí)統(tǒng)計(jì)分析。為了解決上述問題，本發(fā)明公開了一種分布式DNS查詢?nèi)罩镜膶?shí)時(shí)統(tǒng)計(jì)裝置，包 括站點(diǎn)日志服務(wù)器和中心日志服務(wù)器，所述站點(diǎn)日志服務(wù)器包括數(shù)據(jù)接收處理模塊，用于接收針對(duì)當(dāng)前站點(diǎn)的DNS請(qǐng)求，并從所述DNS請(qǐng)求中提取 日志統(tǒng)計(jì)對(duì)象數(shù)據(jù)；統(tǒng)計(jì)模塊，用于實(shí)時(shí)統(tǒng)計(jì)所述日志統(tǒng)計(jì)對(duì)象數(shù)據(jù)，并緩存相應(yīng)的統(tǒng)計(jì)結(jié)果；響應(yīng)模塊，用于響應(yīng)中心日志服務(wù)器的實(shí)時(shí)日志查詢請(qǐng)求，并反饋所述請(qǐng)求對(duì)應(yīng) 的統(tǒng)計(jì)結(jié)果至中心日志服務(wù)器；所述中心日志服務(wù)器，用于對(duì)各站點(diǎn)日志服務(wù)器反饋的統(tǒng)計(jì)結(jié)果進(jìn)行匯總處理。優(yōu)選的，所述中心日志服務(wù)器包括Top-k查詢請(qǐng)求模塊，用于向各站點(diǎn)日志服務(wù)器發(fā)出實(shí)時(shí)日志查詢請(qǐng)求，所述請(qǐng)求 中包括反饋前k個(gè)統(tǒng)計(jì)結(jié)果的信息；Top-k第一計(jì)算模塊，用于對(duì)各站點(diǎn)反饋的前k個(gè)統(tǒng)計(jì)結(jié)果求和，并對(duì)求和結(jié)果降 序排序，取第k個(gè)求和結(jié)果與站點(diǎn)個(gè)數(shù)的比例為第一階段閾值，并將該閾值發(fā)送至所有站 點(diǎn)日志服務(wù)器；Top-k第二計(jì)算模塊，用于對(duì)各站點(diǎn)第一次和第二次反饋的統(tǒng)計(jì)結(jié)果求和，并對(duì)求 和結(jié)果降序排序，取第k個(gè)求和結(jié)果為第二階段底值，并依據(jù)所述第二階段底值篩選出候 選統(tǒng)計(jì)結(jié)果的信息，并生成相應(yīng)的候選統(tǒng)計(jì)結(jié)果查詢請(qǐng)求發(fā)送至各站點(diǎn)日志服務(wù)器；匯總統(tǒng)計(jì)模塊，用于對(duì)各站點(diǎn)日志服務(wù)器反饋的第一次、第二次和第三次的統(tǒng)計(jì) 結(jié)果進(jìn)行匯總，并求出前k名；站點(diǎn)日志服務(wù)器的響應(yīng)模塊包括第一統(tǒng)計(jì)結(jié)果反饋?zhàn)幽K，用于依據(jù)所述實(shí)時(shí)日志查詢請(qǐng)求對(duì)當(dāng)前統(tǒng)計(jì)結(jié)果進(jìn)行 排序，并將相應(yīng)的前k個(gè)統(tǒng)計(jì)結(jié)果作為第一次的統(tǒng)計(jì)結(jié)果反饋至中心日志服務(wù)器；第二統(tǒng)計(jì)結(jié)果反饋?zhàn)幽K，用于將大于所述第一階段閾值且未反饋過的統(tǒng)計(jì)結(jié) 果，作為第二次的統(tǒng)計(jì)結(jié)果反饋至中心日志服務(wù)器；第三統(tǒng)計(jì)結(jié)果反饋?zhàn)幽K，用于依據(jù)所述候選統(tǒng)計(jì)結(jié)果的查詢請(qǐng)求將相應(yīng)的統(tǒng)計(jì) 結(jié)果，作為第三次的統(tǒng)計(jì)結(jié)果反饋至中心日志服務(wù)器。優(yōu)選的，所述站點(diǎn)日志服務(wù)器還包括數(shù)據(jù)庫訪問模塊，用于將一定時(shí)間內(nèi)緩存中的統(tǒng)計(jì)結(jié)果寫入數(shù)據(jù)庫。優(yōu)選的，所述日志統(tǒng)計(jì)對(duì)象數(shù)據(jù)包括域名、域名查詢類型和來源IP地址信息。優(yōu)選的，所述統(tǒng)計(jì)模塊緩存統(tǒng)計(jì)結(jié)果的存儲(chǔ)方式為鍵值key-value對(duì)的方式。本發(fā)明實(shí)施例還公開了一種分布式DNS查詢?nèi)罩镜膶?shí)時(shí)統(tǒng)計(jì)方法，所述日志統(tǒng)計(jì) 涉及中心日志服務(wù)器實(shí)時(shí)統(tǒng)計(jì)站點(diǎn)日志服務(wù)器中DNS查詢?nèi)罩镜倪^程，所述的方法包括站點(diǎn)日志服務(wù)器接收針對(duì)當(dāng)前站點(diǎn)的DNS請(qǐng)求，并從所述DNS請(qǐng)求中提取日志統(tǒng) 計(jì)對(duì)象數(shù)據(jù)；
站點(diǎn)日志服務(wù)器實(shí)時(shí)統(tǒng)計(jì)所述日志統(tǒng)計(jì)對(duì)象數(shù)據(jù)，并緩存相應(yīng)的統(tǒng)計(jì)結(jié)果；站點(diǎn)日志服務(wù)器響應(yīng)中心日志服務(wù)器的實(shí)時(shí)日志查詢請(qǐng)求，并反饋所述請(qǐng)求對(duì)應(yīng) 的統(tǒng)計(jì)結(jié)果至中心日志服務(wù)器；由所述中心日志服務(wù)器對(duì)各站點(diǎn)日志服務(wù)器反饋的統(tǒng)計(jì)結(jié) 果進(jìn)行匯總處理。優(yōu)選的，所述響應(yīng)請(qǐng)求及匯總處理的步驟包括中心日志服務(wù)器向各站點(diǎn)日志服務(wù)器發(fā)出實(shí)時(shí)日志查詢請(qǐng)求，所述請(qǐng)求中包括反 饋前k個(gè)統(tǒng)計(jì)結(jié)果的信息；站點(diǎn)日志服務(wù)器依據(jù)所述實(shí)時(shí)日志查詢請(qǐng)求對(duì)當(dāng)前統(tǒng)計(jì)結(jié)果進(jìn)行排序，并將相應(yīng) 的前k個(gè)統(tǒng)計(jì)結(jié)果作為第一次的統(tǒng)計(jì)結(jié)果反饋至中心日志服務(wù)器；中心日志服務(wù)器對(duì)各站點(diǎn)反饋的前k個(gè)統(tǒng)計(jì)結(jié)果求和，并對(duì)求和結(jié)果降序排序， 取第k個(gè)求和結(jié)果與站點(diǎn)個(gè)數(shù)的比例為第一階段閾值，并將該閾值發(fā)送至所有站點(diǎn)日志服 務(wù)器；站點(diǎn)日志服務(wù)器將大于所述第一階段閾值且未反饋過的統(tǒng)計(jì)結(jié)果，作為第二次的 統(tǒng)計(jì)結(jié)果反饋至中心日志服務(wù)器；中心日志服務(wù)器對(duì)各站點(diǎn)第一次和第二次反饋的統(tǒng)計(jì)結(jié)果求和，并對(duì)求和結(jié)果降 序排序，取第k個(gè)求和結(jié)果為第二階段底值，并依據(jù)所述第二階段底值篩選出候選統(tǒng)計(jì)結(jié) 果的信息，并生成相應(yīng)的候選統(tǒng)計(jì)結(jié)果查詢請(qǐng)求發(fā)送至各站點(diǎn)日志服務(wù)器；站點(diǎn)日志服務(wù)器依據(jù)所述候選統(tǒng)計(jì)結(jié)果的查詢請(qǐng)求將相應(yīng)的統(tǒng)計(jì)結(jié)果，作為第三 次的統(tǒng)計(jì)結(jié)果反饋至中心日志服務(wù)器；中心日志服務(wù)器對(duì)各站點(diǎn)日志服務(wù)器反饋的第一次、第二次和第三次的統(tǒng)計(jì)結(jié)果 進(jìn)行匯總，并求出前k名。優(yōu)選的，所述的方法還包括將一定時(shí)間內(nèi)緩存中的統(tǒng)計(jì)結(jié)果寫入數(shù)據(jù)庫。優(yōu)選的，所述日志統(tǒng)計(jì)對(duì)象數(shù)據(jù)包括域名、域名查詢類型和來源IP地址信息。優(yōu)選的，所述緩存統(tǒng)計(jì)結(jié)果的存儲(chǔ)方式為鍵值key-value對(duì)的方式。與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)首先，本發(fā)明通過部署中心日志服務(wù)器，以及，在各DNS解析站點(diǎn)部署站點(diǎn)日志服 務(wù)器，使該中心日志服務(wù)器可以和分布式站點(diǎn)的日志服務(wù)器進(jìn)行通信和整個(gè)DNS系統(tǒng)查詢 日志的全局統(tǒng)計(jì)。在統(tǒng)計(jì)過程中，所述中心日志服務(wù)器和各站點(diǎn)日志服務(wù)器基于分布式 Top-k算法進(jìn)行交互，在這種情況下，各站點(diǎn)日志服務(wù)器可以只傳輸部分統(tǒng)計(jì)結(jié)果到中心日 志服務(wù)器，中心日志服務(wù)器就能通過這部分?jǐn)?shù)據(jù)推算出準(zhǔn)確的全局統(tǒng)計(jì)結(jié)果。由于傳輸數(shù) 據(jù)量的大大削減，使得服務(wù)器無需在處理性能上和存儲(chǔ)性能上承擔(dān)不可負(fù)荷的開銷，即可 實(shí)現(xiàn)全局、大數(shù)據(jù)量的查詢?nèi)罩緦?shí)時(shí)統(tǒng)計(jì)分析。再者，本發(fā)明的站點(diǎn)日志服務(wù)器中具有專門的緩沖區(qū)和并發(fā)處理機(jī)制，從而支持 大量的并發(fā)查詢?cè)L問。與目前普遍使用的DNS服務(wù)器軟件相比，可應(yīng)對(duì)突發(fā)的大量查詢?cè)L 問，完整實(shí)時(shí)地獲取所有DNS查詢?nèi)罩緮?shù)據(jù)。此外，本發(fā)明可對(duì)大量的查詢?nèi)罩具M(jìn)行快速的聚合，排序等操作，在一分鐘的誤差 范圍內(nèi)得出當(dāng)前時(shí)間窗口內(nèi)的查詢流量的全局統(tǒng)計(jì)結(jié)果。


圖1是本發(fā)明的一種分布式DNS查詢?nèi)罩镜膶?shí)時(shí)統(tǒng)計(jì)裝置實(shí)施例1的結(jié)構(gòu)圖；圖2是應(yīng)用本發(fā)明的優(yōu)選裝置實(shí)施例進(jìn)行DNS查詢?nèi)罩窘y(tǒng)計(jì)的步驟流程圖；圖3是本發(fā)明的一種分布式DNS查詢?nèi)罩镜膶?shí)時(shí)統(tǒng)計(jì)裝置實(shí)施例2的結(jié)構(gòu)圖；圖4是本發(fā)明的一種分布式DNS查詢?nèi)罩镜膶?shí)時(shí)統(tǒng)計(jì)方法實(shí)施例的流程圖；圖5是本發(fā)明的中心日志服務(wù)器和站點(diǎn)日志服務(wù)器的交互示意圖。
具體實(shí)施例方式為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和具體實(shí) 施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說明。本發(fā)明實(shí)施例的核心構(gòu)思之一在于，通過部署中心日志服務(wù)器，以及，在各DNS站 點(diǎn)部署站點(diǎn)日志服務(wù)器，使該中心日志服務(wù)器可以對(duì)分布式站點(diǎn)的日志服務(wù)器進(jìn)行控制和 整個(gè)DNS系統(tǒng)查詢?nèi)罩镜娜纸y(tǒng)計(jì)。在統(tǒng)計(jì)過程中，所述中心日志服務(wù)器和各站點(diǎn)日志服 務(wù)器基于分布式Top-k算法進(jìn)行交互，在這種情況下，各站點(diǎn)日志服務(wù)器可以只傳輸部分 統(tǒng)計(jì)結(jié)果到中心日志服務(wù)器，中心日志服務(wù)器就能通過這些部分?jǐn)?shù)據(jù)推算出準(zhǔn)確的全局統(tǒng) 計(jì)結(jié)果。由于數(shù)據(jù)量的大大削減，從而使得服務(wù)器無需在處理性能上和存儲(chǔ)性能上承擔(dān)不 可負(fù)荷的開銷，即可實(shí)現(xiàn)全局、大數(shù)據(jù)量的查詢?nèi)罩緦?shí)時(shí)統(tǒng)計(jì)分析。參考圖1，示出了本發(fā)明的一種分布式DNS查詢?nèi)罩镜膶?shí)時(shí)統(tǒng)計(jì)裝置實(shí)施例1的結(jié) 構(gòu)圖，可以包括站點(diǎn)日志服務(wù)器11，具體包括以下模塊數(shù)據(jù)接收處理模塊111，用于接收針對(duì)當(dāng)前站點(diǎn)的DNS請(qǐng)求，并從所述DNS請(qǐng)求中 提取日志統(tǒng)計(jì)對(duì)象數(shù)據(jù)；統(tǒng)計(jì)模塊112，用于實(shí)時(shí)統(tǒng)計(jì)所述日志統(tǒng)計(jì)對(duì)象數(shù)據(jù)，并緩存相應(yīng)的統(tǒng)計(jì)結(jié)果；響應(yīng)模塊113，用于響應(yīng)中心日志服務(wù)器的實(shí)時(shí)日志查詢請(qǐng)求，并反饋所述請(qǐng)求對(duì) 應(yīng)的統(tǒng)計(jì)結(jié)果至中心日志服務(wù)器12 ；中心日志服務(wù)器12，用于對(duì)各站點(diǎn)日志服務(wù)器反饋的統(tǒng)計(jì)結(jié)果進(jìn)行匯總處理。在具體實(shí)現(xiàn)中，所述站點(diǎn)日志服務(wù)器和中心日志服務(wù)器可以完全獨(dú)立于DNS解析 服務(wù)器，直接獲取DNS查詢?nèi)罩静⑦M(jìn)行統(tǒng)計(jì)分析。為提高域名解析服務(wù)的性能，還可以將現(xiàn) 有DNS服務(wù)器的查詢?nèi)罩竟δ荜P(guān)閉，而直接用本發(fā)明的裝置進(jìn)行DNS查詢?nèi)罩镜膶?shí)時(shí)統(tǒng)計(jì) 即可。在本發(fā)明實(shí)施例中，所述站點(diǎn)日志服務(wù)器的響應(yīng)模塊與中心日志服務(wù)器的交互可 以采用分布式Top-k算法進(jìn)行。分布式Top-k算法主要用來解決在分布式環(huán)境中Top-k求解問題(求出全局?jǐn)?shù)值 最大的前k名)?？梢远x分布式系統(tǒng)中的Top-k求解過程如下假設(shè)在一個(gè)分布式系統(tǒng)中有m各個(gè)節(jié)點(diǎn)和一個(gè)中心節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)都與中心節(jié)點(diǎn) 相連進(jìn)行通信而且維護(hù)一個(gè)< 0，Si(O) >對(duì)的列表，其中0代表對(duì)象，例如域名，Si(O)代 表該對(duì)象對(duì)應(yīng)的某個(gè)屬性數(shù)值，例如被查詢次數(shù)。每個(gè)列表都根據(jù)對(duì)象的數(shù)值進(jìn)行降序排 列。各個(gè)列表中的對(duì)象集合是可重疊，但是不完全相同。如果一個(gè)對(duì)象沒有在某個(gè)節(jié)點(diǎn)的 對(duì)象集中存在，那么這個(gè)對(duì)象在這個(gè)節(jié)點(diǎn)中的數(shù)值就被賦值成缺省值0。整個(gè)過程以中心節(jié)
7點(diǎn)發(fā)出Top-k查詢請(qǐng)求開始，以求得全局?jǐn)?shù)值和最大的k個(gè)對(duì)象為結(jié)束。分布式Top-k算 法的目的就是盡量減少求解過程中的數(shù)據(jù)傳輸量，降低對(duì)網(wǎng)絡(luò)帶寬消耗，這在廣域網(wǎng)環(huán)境 中尤其重要。因而在本發(fā)明的一種優(yōu)選實(shí)施例中，所述中心日志服務(wù)器可以包括以下模塊Top-k查詢請(qǐng)求模塊，用于向各站點(diǎn)日志服務(wù)器發(fā)出實(shí)時(shí)日志查詢請(qǐng)求，所述請(qǐng)求 中包括反饋前k個(gè)統(tǒng)計(jì)結(jié)果的信息；Top-k第一計(jì)算模塊，用于對(duì)各站點(diǎn)反饋的前k個(gè)統(tǒng)計(jì)結(jié)果求和，并對(duì)求和結(jié)果降 序排序，取第k個(gè)求和結(jié)果與站點(diǎn)個(gè)數(shù)的比例為第一階段閾值，并將該閾值發(fā)送至所有站 點(diǎn)日志服務(wù)器；Top-k第二計(jì)算模塊，用于對(duì)各站點(diǎn)第一次和第二次反饋的統(tǒng)計(jì)結(jié)果求和，并對(duì)求 和結(jié)果降序排序，取第k個(gè)求和結(jié)果為第二階段底值，并依據(jù)所述第二階段底值篩選出候 選統(tǒng)計(jì)結(jié)果的信息，并生成相應(yīng)的候選統(tǒng)計(jì)結(jié)果查詢請(qǐng)求發(fā)送至各站點(diǎn)日志服務(wù)器；匯總統(tǒng)計(jì)模塊，用于對(duì)各站點(diǎn)日志服務(wù)器反饋的第一次、第二次和第三次的統(tǒng)計(jì) 結(jié)果進(jìn)行匯總，并求出前k名；相應(yīng)地，所述站點(diǎn)日志服務(wù)器的響應(yīng)模塊可以包括以下子模塊第一統(tǒng)計(jì)結(jié)果反饋?zhàn)幽K，用于依據(jù)所述實(shí)時(shí)日志查詢請(qǐng)求對(duì)當(dāng)前統(tǒng)計(jì)結(jié)果進(jìn)行 排序，并將相應(yīng)的前k個(gè)統(tǒng)計(jì)結(jié)果作為第一次的統(tǒng)計(jì)結(jié)果反饋至中心日志服務(wù)器；第二統(tǒng)計(jì)結(jié)果反饋?zhàn)幽K，用于將大于所述第一階段閾值且未反饋過的統(tǒng)計(jì)結(jié) 果，作為第二次的統(tǒng)計(jì)結(jié)果反饋至中心日志服務(wù)器；第三統(tǒng)計(jì)結(jié)果反饋?zhàn)幽K，用于依據(jù)所述候選統(tǒng)計(jì)結(jié)果的查詢請(qǐng)求將相應(yīng)的統(tǒng)計(jì) 結(jié)果，作為第三次的統(tǒng)計(jì)結(jié)果反饋至中心日志服務(wù)器。參考圖2，示出了應(yīng)用本發(fā)明的優(yōu)選裝置實(shí)施例進(jìn)行DNS查詢?nèi)罩窘y(tǒng)計(jì)的步驟流 程圖，具體可以包括以下步驟步驟201、站點(diǎn)日志服務(wù)器的數(shù)據(jù)接收處理模塊接收針對(duì)當(dāng)前站點(diǎn)的DNS請(qǐng)求，并 從所述DNS請(qǐng)求中提取日志統(tǒng)計(jì)對(duì)象數(shù)據(jù)；步驟202、站點(diǎn)日志服務(wù)器的統(tǒng)計(jì)模塊實(shí)時(shí)統(tǒng)計(jì)所述日志統(tǒng)計(jì)對(duì)象數(shù)據(jù)，并緩存相 應(yīng)的統(tǒng)計(jì)結(jié)果；步驟203、中心日志服務(wù)器的Top-k查詢請(qǐng)求模塊向各站點(diǎn)日志服務(wù)器發(fā)出實(shí)時(shí) 日志查詢請(qǐng)求，所述請(qǐng)求中包括反饋前k個(gè)統(tǒng)計(jì)結(jié)果的信息；步驟204、站點(diǎn)日志服務(wù)器響應(yīng)模塊的第一統(tǒng)計(jì)結(jié)果反饋?zhàn)幽K依據(jù)所述實(shí)時(shí)日 志查詢請(qǐng)求對(duì)當(dāng)前統(tǒng)計(jì)結(jié)果進(jìn)行排序，并將相應(yīng)的前k個(gè)統(tǒng)計(jì)結(jié)果作為第一次的統(tǒng)計(jì)結(jié)果 反饋至中心日志服務(wù)器；步驟205、中心日志服務(wù)器的Top-k第一計(jì)算模塊對(duì)各站點(diǎn)反饋的前k個(gè)統(tǒng)計(jì)結(jié)果 求和，并對(duì)求和結(jié)果降序排序，取第k個(gè)求和結(jié)果與站點(diǎn)個(gè)數(shù)的比例為第一階段閾值，并將 該閾值發(fā)送至所有站點(diǎn)日志服務(wù)器；步驟206、站點(diǎn)日志服務(wù)器響應(yīng)模塊的第二統(tǒng)計(jì)結(jié)果反饋?zhàn)幽K將大于所述第一 階段閾值且未反饋過的統(tǒng)計(jì)結(jié)果，作為第二次的統(tǒng)計(jì)結(jié)果反饋至中心日志服務(wù)器；步驟207、中心日志服務(wù)器的Top-k第二計(jì)算模塊對(duì)各站點(diǎn)第一次和第二次反饋 的統(tǒng)計(jì)結(jié)果求和，并對(duì)求和結(jié)果降序排序，取第k個(gè)求和結(jié)果為第二階段底值，并依據(jù)所述第二階段底值篩選出候選統(tǒng)計(jì)結(jié)果的信息，并生成相應(yīng)的候選統(tǒng)計(jì)結(jié)果查詢請(qǐng)求發(fā)送至各 站點(diǎn)日志服務(wù)器；步驟208、站點(diǎn)日志服務(wù)器響應(yīng)模塊的第三統(tǒng)計(jì)結(jié)果反饋?zhàn)幽K依據(jù)所述候選統(tǒng) 計(jì)結(jié)果的查詢請(qǐng)求將相應(yīng)的統(tǒng)計(jì)結(jié)果，作為第三次的統(tǒng)計(jì)結(jié)果反饋至中心日志服務(wù)器；步驟209、中心日志服務(wù)器的匯總統(tǒng)計(jì)模塊對(duì)各站點(diǎn)日志服務(wù)器反饋的第一次、第 二次和第三次的統(tǒng)計(jì)結(jié)果進(jìn)行匯總，并求出前k名。該前k名的統(tǒng)計(jì)結(jié)果即為中心日志服務(wù)器的當(dāng)前統(tǒng)計(jì)結(jié)果。為使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，以下以域名訪問次數(shù)的Top-K計(jì)算為例 說明中心日志服務(wù)器和站點(diǎn)日志服務(wù)器的交互過程。第一階段步驟Si、中心日志服務(wù)器實(shí)時(shí)(如每分鐘)通知廣域網(wǎng)上所有站點(diǎn)日志服務(wù)器，反 饋站點(diǎn)日志服務(wù)器統(tǒng)計(jì)結(jié)果中訪問次數(shù)最多的前k個(gè)域名、及其訪問次數(shù)；各站點(diǎn)日志服 務(wù)器依據(jù)該通知相應(yīng)反饋；步驟S2、中心日志服務(wù)器對(duì)所有收到的前k個(gè)域名的訪問次數(shù)求和(注意這里相 對(duì)于全局訪問次數(shù)的統(tǒng)計(jì)而言，只是對(duì)當(dāng)前的k個(gè)統(tǒng)計(jì)結(jié)果進(jìn)行求和，而非全局求和的過 程)，然后按照域名訪問次數(shù)的和進(jìn)行排序，設(shè)第k名的求和結(jié)果為τ 1，稱之為第一階段底 值。然后計(jì)算T= τΙ/mOii為站點(diǎn)的個(gè)數(shù))，T稱為第一階段的閥值。步驟S3、中心日志服務(wù)器對(duì)所有收到的域名的訪問次數(shù)求和(注意，這里也只是 對(duì)當(dāng)前收到的統(tǒng)計(jì)結(jié)果進(jìn)行求和，而非全局求和的過程)，然后按照訪問次數(shù)的和進(jìn)行排 序，設(shè)第k名的求和結(jié)果為τ 1，稱之為第一階段底值。將所述第一階段的閥值T發(fā)送給所 有站點(diǎn)日志服務(wù)器。各站點(diǎn)日志服務(wù)器將域名中訪問次數(shù)比閥值T大，且在第一階段中沒 有發(fā)送給中心日志服務(wù)器的域名及其訪問次數(shù)發(fā)送到中心日志服務(wù)器；第二階段步驟S4、中心日志服務(wù)器對(duì)第一階段和第二階段一共接收到的域名的訪問次數(shù)再 求和，然后按照訪問次數(shù)的和進(jìn)行排序，設(shè)第k名的求和結(jié)果為τ 2，稱之為第二階段底值。第二階段底值可以用來進(jìn)一步削減需要傳輸?shù)挠蛎麄€(gè)數(shù)。具體計(jì)算過程為計(jì)算每個(gè)域名的訪問次數(shù)‘上限和，，Usum(O) = Si，(0)+· · · +S，m(0)；其中，S’ i (0)表示域名0的訪問次數(shù)，i = 1. . . m，S’ i (0)的取值如下(1)當(dāng)站點(diǎn)i已把域名0的訪問次數(shù)Si(O)發(fā)送到中心日志服務(wù)器，S’ i(0)= Si(O)；(2)當(dāng)站點(diǎn)i還沒有把域名0的訪問次數(shù)發(fā)送到中心日志服務(wù)器，S’ i(0) = T(Τ 為第一階段閥值)。如果一個(gè)域名的‘上限和’小于τ 2，則不需要傳輸該域名極其訪問次數(shù)，即這些域 名被削減，剩下的域名構(gòu)成一個(gè)候選域名的集合S。第三階段步驟S5、中心日志服務(wù)器將候選集合S發(fā)送給網(wǎng)絡(luò)中的所有站點(diǎn)日志服務(wù)器，站 點(diǎn)日志服務(wù)器將集合S中在前兩個(gè)階段尚未發(fā)送給中心日志服務(wù)器的域名及其訪問次數(shù) 發(fā)送給中心日志服務(wù)器。中心日志服務(wù)器對(duì)集合S中的域名，根據(jù)三個(gè)階段中收到的所有 訪問次數(shù)值，計(jì)算出精確訪問次數(shù)和，并求出前K名，即域名訪問次數(shù)的top-k。
9
在本例中，僅示出了日志統(tǒng)計(jì)對(duì)象數(shù)據(jù)為域名訪問次數(shù)的一種示例，其他統(tǒng)計(jì)對(duì) 象數(shù)據(jù)，如IP地址，域名查詢類型等應(yīng)用Top-K算法統(tǒng)計(jì)的處理是相似的。對(duì)比現(xiàn)有的將各站點(diǎn)的全部日志或統(tǒng)計(jì)結(jié)果傳輸匯總到中心日志服務(wù)器的方法， 本方法只需很少的幾次通信，每次僅需有選擇地傳送部分?jǐn)?shù)據(jù)，就可以對(duì)大量查詢?nèi)罩具M(jìn) 行多種統(tǒng)計(jì)指標(biāo)的實(shí)時(shí)計(jì)算，在一分鐘的誤差范圍內(nèi)即可得出當(dāng)前時(shí)間窗口內(nèi)的查詢流量 的統(tǒng)計(jì)結(jié)果。參考圖3，示出了本發(fā)明的一種分布式DNS查詢?nèi)罩镜膶?shí)時(shí)統(tǒng)計(jì)裝置實(shí)施例2的結(jié) 構(gòu)圖，可以包括站點(diǎn)日志服務(wù)器31，具體包括以下模塊數(shù)據(jù)接收處理模塊311，用于接收針對(duì)當(dāng)前站點(diǎn)的DNS請(qǐng)求，并從所述DNS請(qǐng)求中 提取日志統(tǒng)計(jì)對(duì)象數(shù)據(jù)；統(tǒng)計(jì)模塊312，用于實(shí)時(shí)統(tǒng)計(jì)所述日志統(tǒng)計(jì)對(duì)象數(shù)據(jù)，并緩存相應(yīng)的統(tǒng)計(jì)結(jié)果；響應(yīng)模塊313，用于響應(yīng)中心日志服務(wù)器的實(shí)時(shí)日志查詢請(qǐng)求，并反饋所述請(qǐng)求對(duì) 應(yīng)的統(tǒng)計(jì)結(jié)果至中心日志服務(wù)器12 ；數(shù)據(jù)庫訪問模塊314，用于將一定時(shí)間內(nèi)緩存中的統(tǒng)計(jì)結(jié)果寫入數(shù)據(jù)庫。中心日志服務(wù)器32，用于對(duì)各站點(diǎn)日志服務(wù)器反饋的統(tǒng)計(jì)結(jié)果進(jìn)行匯總處理。本實(shí)施例與圖1所示實(shí)施例不同之處在于，站點(diǎn)日志服務(wù)器定期將緩存的統(tǒng)計(jì)結(jié) 果寫入數(shù)據(jù)庫的數(shù)據(jù)庫訪問模塊，從而可以方便實(shí)際中更為多元化的數(shù)據(jù)分析操作，如歷 史運(yùn)動(dòng)狀況分析等。在本發(fā)明的一種優(yōu)選實(shí)施例中，所述統(tǒng)計(jì)模塊緩存統(tǒng)計(jì)結(jié)果的存儲(chǔ)方式可以為鍵 值key-value對(duì)的方式。如查詢的域名-訪問計(jì)數(shù)，當(dāng)解析每一條DNS請(qǐng)求得到域名，就在 內(nèi)存中查找該域名并將其訪問次數(shù)加1。該緩存的設(shè)置可以支持大量的并發(fā)查詢?cè)L問，可應(yīng) 對(duì)突發(fā)的大量查詢?cè)L問，完整實(shí)時(shí)地獲取所有DNS查詢?nèi)罩緮?shù)據(jù)。參考圖4，示出了本發(fā)明的一種分布式DNS查詢?nèi)罩镜膶?shí)時(shí)統(tǒng)計(jì)方法實(shí)施例的流 程圖，所述日志統(tǒng)計(jì)涉及中心日志服務(wù)器實(shí)時(shí)統(tǒng)計(jì)站點(diǎn)日志服務(wù)器中DNS查詢?nèi)罩镜倪^ 程，本實(shí)施例可以包括以下步驟步驟401、站點(diǎn)日志服務(wù)器接收針對(duì)當(dāng)前站點(diǎn)的DNS請(qǐng)求，并從所述DNS請(qǐng)求中提 取日志統(tǒng)計(jì)對(duì)象數(shù)據(jù)；步驟402、站點(diǎn)日志服務(wù)器實(shí)時(shí)統(tǒng)計(jì)所述日志統(tǒng)計(jì)對(duì)象數(shù)據(jù)，并緩存相應(yīng)的統(tǒng)計(jì)結(jié) 果；步驟403、站點(diǎn)日志服務(wù)器響應(yīng)中心日志服務(wù)器的實(shí)時(shí)日志查詢請(qǐng)求，并反饋所述 請(qǐng)求對(duì)應(yīng)的統(tǒng)計(jì)結(jié)果至中心日志服務(wù)器；由所述中心日志服務(wù)器對(duì)各站點(diǎn)日志服務(wù)器反饋 的統(tǒng)計(jì)結(jié)果進(jìn)行匯總處理。參考圖5所示的中心日志服務(wù)器和站點(diǎn)日志服務(wù)器的交互示意圖，所述步驟403 可以包括以下子步驟子步驟4031、中心日志服務(wù)器向各站點(diǎn)日志服務(wù)器發(fā)出實(shí)時(shí)日志查詢請(qǐng)求，所述 請(qǐng)求中包括反饋前k個(gè)統(tǒng)計(jì)結(jié)果的信息；子步驟4032、站點(diǎn)日志服務(wù)器依據(jù)所述實(shí)時(shí)日志查詢請(qǐng)求對(duì)當(dāng)前統(tǒng)計(jì)結(jié)果進(jìn)行排 序，并將相應(yīng)的前k個(gè)統(tǒng)計(jì)結(jié)果作為第一次的統(tǒng)計(jì)結(jié)果反饋至中心日志服務(wù)器；
10
子步驟4033、中心日志服務(wù)器對(duì)各站點(diǎn)反饋的前k個(gè)統(tǒng)計(jì)結(jié)果求和，并對(duì)求和結(jié) 果降序排序，取第k個(gè)求和結(jié)果與站點(diǎn)個(gè)數(shù)的比例為第一階段閾值，并將該閾值發(fā)送至所 有站點(diǎn)日志服務(wù)器；子步驟4034、站點(diǎn)日志服務(wù)器將大于所述第一階段閾值且未反饋過的統(tǒng)計(jì)結(jié)果， 作為第二次的統(tǒng)計(jì)結(jié)果反饋至中心日志服務(wù)器；子步驟4035、中心日志服務(wù)器對(duì)各站點(diǎn)第一次和第二次反饋的統(tǒng)計(jì)結(jié)果求和，并 對(duì)求和結(jié)果降序排序，取第k個(gè)求和結(jié)果為第二階段底值，并依據(jù)所述第二階段底值篩選 出候選統(tǒng)計(jì)結(jié)果的信息，并生成相應(yīng)的候選統(tǒng)計(jì)結(jié)果查詢請(qǐng)求發(fā)送至各站點(diǎn)日志服務(wù)器；子步驟4036、站點(diǎn)日志服務(wù)器依據(jù)所述候選統(tǒng)計(jì)結(jié)果的查詢請(qǐng)求將相應(yīng)的統(tǒng)計(jì)結(jié) 果，作為第三次的統(tǒng)計(jì)結(jié)果反饋至中心日志服務(wù)器；子步驟4037、中心日志服務(wù)器對(duì)各站點(diǎn)日志服務(wù)器反饋的第一次、第二次和第三 次的統(tǒng)計(jì)結(jié)果進(jìn)行匯總，并求出前k名。作為另一實(shí)施例，本發(fā)明還可以包括以下步驟將一定時(shí)間內(nèi)緩存中的統(tǒng)計(jì)結(jié)果寫入數(shù)據(jù)庫。為使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，以下通過本發(fā)明在實(shí)際中的一種示例具 體說明。步驟1、各地站點(diǎn)日志服務(wù)器接收DNS請(qǐng)求報(bào)文(具體格式在rfcl035中有詳細(xì)定 義)，并對(duì)報(bào)文進(jìn)行解析，取得所查詢的域名和來源地址等信息；步驟2、各站點(diǎn)日志服務(wù)器在內(nèi)存中存儲(chǔ)一個(gè)key-value對(duì)的集合，如查詢的域 名-訪問計(jì)數(shù)。當(dāng)解析每一條查詢得到域名，就在內(nèi)存中查找該域名并將其訪問次數(shù)加1。在實(shí)際中，還可以在1分鐘后對(duì)上1分鐘的數(shù)對(duì)集合按照訪問計(jì)數(shù)進(jìn)行排序，得到 訪問計(jì)數(shù)從大到小排列的key-value對(duì)列表。當(dāng)然，其他的統(tǒng)計(jì)項(xiàng)如來源地址，查詢類型等也用類似的方法進(jìn)行統(tǒng)計(jì)。步驟3、中心日志服務(wù)器周期性(如每隔一分鐘)、向各站點(diǎn)日志服務(wù)器發(fā)起實(shí)時(shí) 查詢命令，各站點(diǎn)日志服務(wù)器進(jìn)行響應(yīng)。其二者采用Top-K算法進(jìn)行交互，在交互過程，還 需要執(zhí)行中心日志服務(wù)器和各站點(diǎn)日志服務(wù)器之間的命令和數(shù)據(jù)的封包以及傳輸，以及報(bào) 文的解析和處理。步驟4、一段時(shí)間后，各站點(diǎn)日志服務(wù)器將內(nèi)存中的統(tǒng)計(jì)數(shù)據(jù)寫入數(shù)據(jù)庫進(jìn)行保存。對(duì)于圖4所示的方法實(shí)施例而言，由于其與圖1所示的裝置實(shí)施例基本相似，所以 描述的比較簡(jiǎn)單，相關(guān)之處參見前述實(shí)施例的部分說明即可。以上對(duì)本發(fā)明所提供的一種分布式DNS查詢?nèi)罩镜膶?shí)時(shí)統(tǒng)計(jì)裝置及一種分布式 DNS查詢?nèi)罩镜膶?shí)時(shí)統(tǒng)計(jì)方法進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及 實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想； 同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式
及應(yīng)用范圍上均會(huì) 有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
權(quán)利要求
一種分布式DNS查詢?nèi)罩镜膶?shí)時(shí)統(tǒng)計(jì)裝置，其特征在于，包括站點(diǎn)日志服務(wù)器和中心日志服務(wù)器，所述站點(diǎn)日志服務(wù)器包括數(shù)據(jù)接收處理模塊，用于接收針對(duì)當(dāng)前站點(diǎn)的DNS請(qǐng)求，并從所述DNS請(qǐng)求中提取日志統(tǒng)計(jì)對(duì)象數(shù)據(jù)；統(tǒng)計(jì)模塊，用于實(shí)時(shí)統(tǒng)計(jì)所述日志統(tǒng)計(jì)對(duì)象數(shù)據(jù)，并緩存相應(yīng)的統(tǒng)計(jì)結(jié)果；響應(yīng)模塊，用于響應(yīng)中心日志服務(wù)器的實(shí)時(shí)日志查詢請(qǐng)求，并反饋所述請(qǐng)求對(duì)應(yīng)的統(tǒng)計(jì)結(jié)果至中心日志服務(wù)器；所述中心日志服務(wù)器，用于對(duì)各站點(diǎn)日志服務(wù)器反饋的統(tǒng)計(jì)結(jié)果進(jìn)行匯總處理。
2.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述中心日志服務(wù)器包括Top-k查詢請(qǐng)求模塊，用于向各站點(diǎn)日志服務(wù)器發(fā)出實(shí)時(shí)日志查詢請(qǐng)求，所述請(qǐng)求中包 括反饋前k個(gè)統(tǒng)計(jì)結(jié)果的信息；Top-k第一計(jì)算模塊，用于對(duì)各站點(diǎn)反饋的前k個(gè)統(tǒng)計(jì)結(jié)果求和，并對(duì)求和結(jié)果降序排 序，取第k個(gè)求和結(jié)果與站點(diǎn)個(gè)數(shù)的比例為第一階段閾值，并將該閾值發(fā)送至所有站點(diǎn)日 志服務(wù)器；Top-k第二計(jì)算模塊，用于對(duì)各站點(diǎn)第一次和第二次反饋的統(tǒng)計(jì)結(jié)果求和，并對(duì)求和結(jié) 果降序排序，取第k個(gè)求和結(jié)果為第二階段底值，并依據(jù)所述第二階段底值篩選出候選統(tǒng) 計(jì)結(jié)果的信息，并生成相應(yīng)的候選統(tǒng)計(jì)結(jié)果查詢請(qǐng)求發(fā)送至各站點(diǎn)日志服務(wù)器；匯總統(tǒng)計(jì)模塊，用于對(duì)各站點(diǎn)日志服務(wù)器反饋的第一次、第二次和第三次的統(tǒng)計(jì)結(jié)果 進(jìn)行匯總，并求出前k名；站點(diǎn)日志服務(wù)器的響應(yīng)模塊包括第一統(tǒng)計(jì)結(jié)果反饋?zhàn)幽K，用于依據(jù)所述實(shí)時(shí)日志查詢請(qǐng)求對(duì)當(dāng)前統(tǒng)計(jì)結(jié)果進(jìn)行排 序，并將相應(yīng)的前k個(gè)統(tǒng)計(jì)結(jié)果作為第一次的統(tǒng)計(jì)結(jié)果反饋至中心日志服務(wù)器；第二統(tǒng)計(jì)結(jié)果反饋?zhàn)幽K，用于將大于所述第一階段閾值且未反饋過的統(tǒng)計(jì)結(jié)果，作 為第二次的統(tǒng)計(jì)結(jié)果反饋至中心日志服務(wù)器；第三統(tǒng)計(jì)結(jié)果反饋?zhàn)幽K，用于依據(jù)所述候選統(tǒng)計(jì)結(jié)果的查詢請(qǐng)求將相應(yīng)的統(tǒng)計(jì)結(jié) 果，作為第三次的統(tǒng)計(jì)結(jié)果反饋至中心日志服務(wù)器。
3.根據(jù)權(quán)利要求1或2所述的裝置，其特征在于，所述站點(diǎn)日志服務(wù)器還包括 數(shù)據(jù)庫訪問模塊，用于將一定時(shí)間內(nèi)緩存中的統(tǒng)計(jì)結(jié)果寫入數(shù)據(jù)庫。
4.根據(jù)權(quán)利要求1或2所述的裝置，其特征在于，所述日志統(tǒng)計(jì)對(duì)象數(shù)據(jù)包括域名、域 名查詢類型和來源IP地址信息。
5.根據(jù)權(quán)利要求1或2所述的裝置，其特征在于，所述統(tǒng)計(jì)模塊緩存統(tǒng)計(jì)結(jié)果的存儲(chǔ)方 式為鍵值key-value對(duì)的方式。
6.一種分布式DNS查詢?nèi)罩镜膶?shí)時(shí)統(tǒng)計(jì)方法，其特征在于，所述日志統(tǒng)計(jì)涉及中心日 志服務(wù)器實(shí)時(shí)統(tǒng)計(jì)站點(diǎn)日志服務(wù)器中DNS查詢?nèi)罩镜倪^程，所述的方法包括站點(diǎn)日志服務(wù)器接收針對(duì)當(dāng)前站點(diǎn)的DNS請(qǐng)求，并從所述DNS請(qǐng)求中提取日志統(tǒng)計(jì)對(duì) 象數(shù)據(jù)；站點(diǎn)日志服務(wù)器實(shí)時(shí)統(tǒng)計(jì)所述日志統(tǒng)計(jì)對(duì)象數(shù)據(jù)，并緩存相應(yīng)的統(tǒng)計(jì)結(jié)果； 站點(diǎn)日志服務(wù)器響應(yīng)中心日志服務(wù)器的實(shí)時(shí)日志查詢請(qǐng)求，并反饋所述請(qǐng)求對(duì)應(yīng)的統(tǒng)計(jì)結(jié)果至中心日志服務(wù)器；由所述中心日志服務(wù)器對(duì)各站點(diǎn)日志服務(wù)器反饋的統(tǒng)計(jì)結(jié)果進(jìn) 行匯總處理。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述響應(yīng)請(qǐng)求及匯總處理的步驟包括 中心日志服務(wù)器向各站點(diǎn)日志服務(wù)器發(fā)出實(shí)時(shí)日志查詢請(qǐng)求，所述請(qǐng)求中包括反饋前k個(gè)統(tǒng)計(jì)結(jié)果的信息；站點(diǎn)日志服務(wù)器依據(jù)所述實(shí)時(shí)日志查詢請(qǐng)求對(duì)當(dāng)前統(tǒng)計(jì)結(jié)果進(jìn)行排序，并將相應(yīng)的前 k個(gè)統(tǒng)計(jì)結(jié)果作為第一次的統(tǒng)計(jì)結(jié)果反饋至中心日志服務(wù)器；中心日志服務(wù)器對(duì)各站點(diǎn)反饋的前k個(gè)統(tǒng)計(jì)結(jié)果求和，并對(duì)求和結(jié)果降序排序，取第k 個(gè)求和結(jié)果與站點(diǎn)個(gè)數(shù)的比例為第一階段閾值，并將該閾值發(fā)送至所有站點(diǎn)日志服務(wù)器；站點(diǎn)日志服務(wù)器將大于所述第一階段閾值且未反饋過的統(tǒng)計(jì)結(jié)果，作為第二次的統(tǒng)計(jì) 結(jié)果反饋至中心日志服務(wù)器；中心日志服務(wù)器對(duì)各站點(diǎn)第一次和第二次反饋的統(tǒng)計(jì)結(jié)果求和，并對(duì)求和結(jié)果降序排 序，取第k個(gè)求和結(jié)果為第二階段底值，并依據(jù)所述第二階段底值篩選出候選統(tǒng)計(jì)結(jié)果的 信息，并生成相應(yīng)的候選統(tǒng)計(jì)結(jié)果查詢請(qǐng)求發(fā)送至各站點(diǎn)日志服務(wù)器；站點(diǎn)日志服務(wù)器依據(jù)所述候選統(tǒng)計(jì)結(jié)果的查詢請(qǐng)求將相應(yīng)的統(tǒng)計(jì)結(jié)果，作為第三次的 統(tǒng)計(jì)結(jié)果反饋至中心日志服務(wù)器；中心日志服務(wù)器對(duì)各站點(diǎn)日志服務(wù)器反饋的第一次、第二次和第三次的統(tǒng)計(jì)結(jié)果進(jìn)行 匯總，并求出前k名。
8.根據(jù)權(quán)利要求6或7所述的方法，其特征在于，還包括 將一定時(shí)間內(nèi)緩存中的統(tǒng)計(jì)結(jié)果寫入數(shù)據(jù)庫。
9.根據(jù)權(quán)利要求6或7所述的方法，其特征在于，所述日志統(tǒng)計(jì)對(duì)象數(shù)據(jù)包括域名、域 名查詢類型和來源IP地址信息。
10.根據(jù)權(quán)利要求6或7所述的裝置，其特征在于，所述緩存統(tǒng)計(jì)結(jié)果的存儲(chǔ)方式為鍵 值key-value對(duì)的方式。
全文摘要
本發(fā)明提供了一種分布式DNS查詢?nèi)罩镜膶?shí)時(shí)統(tǒng)計(jì)裝置，包括站點(diǎn)日志服務(wù)器和中心日志服務(wù)器，所述站點(diǎn)日志服務(wù)器包括數(shù)據(jù)接收處理模塊，用于接收針對(duì)當(dāng)前站點(diǎn)的DNS請(qǐng)求，并從所述DNS請(qǐng)求中提取日志統(tǒng)計(jì)對(duì)象數(shù)據(jù)；統(tǒng)計(jì)模塊，用于實(shí)時(shí)統(tǒng)計(jì)所述日志統(tǒng)計(jì)對(duì)象數(shù)據(jù)，并緩存相應(yīng)的統(tǒng)計(jì)結(jié)果；響應(yīng)模塊，用于響應(yīng)中心日志服務(wù)器的實(shí)時(shí)日志查詢請(qǐng)求，并反饋所述請(qǐng)求對(duì)應(yīng)的統(tǒng)計(jì)結(jié)果至中心日志服務(wù)器；所述中心日志服務(wù)器，用于對(duì)各站點(diǎn)日志服務(wù)器反饋的統(tǒng)計(jì)結(jié)果進(jìn)行匯總處理。本發(fā)明可以基于DNS的分布式結(jié)構(gòu)實(shí)現(xiàn)全局、大數(shù)據(jù)量的查詢?nèi)罩緦?shí)時(shí)統(tǒng)計(jì)分析。
文檔編號(hào)G06F17/30GK101902505SQ20091008506
公開日2010年12月1日 申請(qǐng)日期2009年5月31日 優(yōu)先權(quán)日2009年5月31日
發(fā)明者喬婧, 李曉東, 李雷, 毛偉, 王欣, 金鍵 申請(qǐng)人:中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心