跨數(shù)據(jù)中心的數(shù)據(jù)傳輸處理方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開一種跨數(shù)據(jù)中心的數(shù)據(jù)傳輸處理方法及系統(tǒng)，其中方法包括：數(shù)據(jù)產(chǎn)生層產(chǎn)生日志數(shù)據(jù)并傳輸至數(shù)據(jù)中轉(zhuǎn)層；數(shù)據(jù)中轉(zhuǎn)層在從數(shù)據(jù)處理層獲得的字典庫(kù)中查找日志數(shù)據(jù)的標(biāo)識(shí)，用查找到的標(biāo)識(shí)對(duì)日志數(shù)據(jù)進(jìn)行替換，字典庫(kù)中存儲(chǔ)日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系；數(shù)據(jù)中轉(zhuǎn)層將標(biāo)識(shí)替換后的日志數(shù)據(jù)傳輸至數(shù)據(jù)處理層。進(jìn)一步的，若數(shù)據(jù)中轉(zhuǎn)層在字典庫(kù)中未查找到日志數(shù)據(jù)的標(biāo)識(shí)，則保留原日志數(shù)據(jù)并傳輸至數(shù)據(jù)處理層；數(shù)據(jù)處理層將未進(jìn)行標(biāo)識(shí)替換的日志數(shù)據(jù)補(bǔ)充至字典庫(kù)中，并為該日志數(shù)據(jù)分配標(biāo)識(shí)，存儲(chǔ)該日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系，將更新后的字典庫(kù)同步至數(shù)據(jù)中轉(zhuǎn)層。本發(fā)明可以減少日志數(shù)據(jù)的傳輸量，節(jié)省傳輸帶寬和傳輸耗時(shí)。
【專利說(shuō)明】跨數(shù)據(jù)中心的數(shù)據(jù)傳輸處理方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)及通信【技術(shù)領(lǐng)域】，尤其涉及跨數(shù)據(jù)中心的數(shù)據(jù)傳輸處理方法及系統(tǒng)。
【背景技術(shù)】
[0002]Web2.0是一個(gè)架構(gòu)在知識(shí)上的環(huán)境，人與人之間交互而產(chǎn)生出的內(nèi)容，經(jīng)由在服務(wù)導(dǎo)向架構(gòu)中的程序，在這個(gè)環(huán)境被發(fā)布、管理和使用。相比Webl.0，它更注重用戶之間的交互和體驗(yàn)。用戶是內(nèi)容的創(chuàng)建者，同時(shí)也是使用者。目前Web2.0具有代表性的服務(wù)包括:電商網(wǎng)絡(luò)、資訊類、社區(qū)化網(wǎng)絡(luò)(SNS，如人人網(wǎng))、微博、微信、來(lái)往、健康、滴滴打開等等。Web2.0注重用戶交互，一條微博發(fā)表后，通過(guò)不斷轉(zhuǎn)發(fā)、評(píng)論后，有可能產(chǎn)生GB級(jí)別的日志數(shù)據(jù)，這無(wú)疑給日志預(yù)傳輸帶來(lái)新的挑戰(zhàn)。
[0003]圖1為現(xiàn)有技術(shù)中日志傳輸架構(gòu)圖。如圖1所示，數(shù)據(jù)從產(chǎn)生端傳輸?shù)綌?shù)據(jù)處理層的處理方式如下:
[0004]數(shù)據(jù)產(chǎn)生層產(chǎn)生用戶訪問(wèn)日志，對(duì)原始日志進(jìn)行GZ壓縮后，以某種傳輸協(xié)議(比如FTP、HTTP等)傳輸給數(shù)據(jù)中轉(zhuǎn)層；數(shù)據(jù)產(chǎn)生層可以由WEB服務(wù)器構(gòu)成，數(shù)據(jù)中轉(zhuǎn)層可以由數(shù)據(jù)中轉(zhuǎn)服務(wù)器構(gòu)成；
[0005]如:1386562882.666 14 XXX.XXX.XXX.XXX TCP_MEM_HIT/200 440 GEThttp://www.XXXXX.com/images/xxxxx.gif-NONE/-1mage/gif〃http://www.XXXXX.com/aaaa/440_176147XXX.htm""Mozilla/5.0 (Windows NT 6.1 ；W0W64)AppleffebKit/537.1(KHTML, like Gecko)Chrome/21.0.1180.89 Safari/537.1"-
[0006]這是一條WEB端產(chǎn)生的完整的訪問(wèn)日志，WEB端產(chǎn)生后每5分鐘的數(shù)據(jù)會(huì)生成一個(gè).gz包(devicename_20140822.tar.gz),然后通過(guò)某種傳輸協(xié)議(比如FTP、HTTP等)上傳到數(shù)據(jù)中轉(zhuǎn)服務(wù)器。
[0007]數(shù)據(jù)中轉(zhuǎn)服務(wù)器接收到每5分鐘產(chǎn)生的GZ包文件后，對(duì)這些文件做匯總后(比如把相同設(shè)備上的多個(gè)文件做合并后上傳:devicename(設(shè)備名)相同的多個(gè)日志文件合并為一個(gè)gz文件)上傳到數(shù)據(jù)處理層(由某種分布式存儲(chǔ)或計(jì)算集群節(jié)點(diǎn)構(gòu)成)中做統(tǒng)計(jì)分析使用。
[0008]然而，現(xiàn)有技術(shù)中，由于數(shù)據(jù)產(chǎn)生層的WEB服務(wù)器產(chǎn)生的日志量非常龐大，給傳輸帶來(lái)了很高的帶寬成本。并且，日志量大則需要的耗時(shí)就會(huì)很長(zhǎng)，日志收集的時(shí)效性就會(huì)很低。
【發(fā)明內(nèi)容】
[0009]本發(fā)明實(shí)施例提供一種跨數(shù)據(jù)中心的數(shù)據(jù)傳輸處理方法，用以減少日志數(shù)據(jù)的傳輸量，節(jié)省傳輸帶寬和傳輸耗時(shí)，該方法包括:
[0010]數(shù)據(jù)產(chǎn)生層產(chǎn)生日志數(shù)據(jù)，將日志數(shù)據(jù)傳輸至數(shù)據(jù)中轉(zhuǎn)層；
[0011]數(shù)據(jù)中轉(zhuǎn)層接收到日志數(shù)據(jù)后，在從數(shù)據(jù)處理層獲得的字典庫(kù)中查找日志數(shù)據(jù)的標(biāo)識(shí)，用查找到的標(biāo)識(shí)對(duì)日志數(shù)據(jù)進(jìn)行替換，所述字典庫(kù)中存儲(chǔ)日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系；
[0012]數(shù)據(jù)中轉(zhuǎn)層將標(biāo)識(shí)替換后的日志數(shù)據(jù)傳輸至數(shù)據(jù)處理層。
[0013]一個(gè)實(shí)施例中，若數(shù)據(jù)中轉(zhuǎn)層在所述字典庫(kù)中未查找到日志數(shù)據(jù)的標(biāo)識(shí)，則保留原日志數(shù)據(jù)并傳輸至數(shù)據(jù)處理層；
[0014]數(shù)據(jù)處理層將未進(jìn)行標(biāo)識(shí)替換的日志數(shù)據(jù)補(bǔ)充至字典庫(kù)中，并為該日志數(shù)據(jù)分配標(biāo)識(shí)，存儲(chǔ)該日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系；
[0015]數(shù)據(jù)處理層將更新后的字典庫(kù)同步至數(shù)據(jù)中轉(zhuǎn)層。
[0016]一個(gè)實(shí)施例中，數(shù)據(jù)處理層通過(guò)如下方式為日志數(shù)據(jù)分配標(biāo)識(shí)并在字典庫(kù)中存儲(chǔ)日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系:
[0017]對(duì)日志數(shù)據(jù)取哈希值，將該哈希值與字典庫(kù)中已有數(shù)據(jù)進(jìn)行對(duì)比；
[0018]若字典庫(kù)中不存在該哈希值，則將該日志數(shù)據(jù)補(bǔ)充至字典庫(kù)中；
[0019]取字典庫(kù)中的已有標(biāo)識(shí)的最大值加1，作為該日志數(shù)據(jù)的標(biāo)識(shí)進(jìn)行存儲(chǔ)。
[0020]一個(gè)實(shí)施例中，數(shù)據(jù)處理層建立多個(gè)字典庫(kù)，對(duì)不同日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系進(jìn)行存儲(chǔ)；
[0021]數(shù)據(jù)中轉(zhuǎn)層對(duì)包含長(zhǎng)字符串信息的日志數(shù)據(jù)進(jìn)行標(biāo)識(shí)替換時(shí)，從多個(gè)字典庫(kù)中查找長(zhǎng)字符串信息中不同日志數(shù)據(jù)的標(biāo)識(shí)，以標(biāo)識(shí)拼接的方式替換日志數(shù)據(jù)中的長(zhǎng)字符串信肩、O
[0022]一個(gè)實(shí)施例中，數(shù)據(jù)處理層建立的字典庫(kù)中包括組合字段字典庫(kù)，所述組合字段字典庫(kù)存儲(chǔ)日志數(shù)據(jù)字段的組合與標(biāo)識(shí)的組合的唯一對(duì)應(yīng)關(guān)系。
[0023]本發(fā)明實(shí)施例還提供一種跨數(shù)據(jù)中心的數(shù)據(jù)傳輸處理系統(tǒng)，用以減少日志數(shù)據(jù)的傳輸量，節(jié)省傳輸帶寬和傳輸耗時(shí)，該系統(tǒng)包括:
[0024]數(shù)據(jù)產(chǎn)生層設(shè)備、數(shù)據(jù)中轉(zhuǎn)層設(shè)備和數(shù)據(jù)處理層設(shè)備；其中:
[0025]數(shù)據(jù)產(chǎn)生層設(shè)備，用于產(chǎn)生日志數(shù)據(jù)，將日志數(shù)據(jù)傳輸至數(shù)據(jù)中轉(zhuǎn)層設(shè)備；
[0026]數(shù)據(jù)中轉(zhuǎn)層設(shè)備，用于在接收到日志數(shù)據(jù)后，在從數(shù)據(jù)處理層設(shè)備獲得的字典庫(kù)中查找日志數(shù)據(jù)的標(biāo)識(shí)，用查找到的標(biāo)識(shí)對(duì)日志數(shù)據(jù)進(jìn)行替換，所述字典庫(kù)中存儲(chǔ)日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系；將標(biāo)識(shí)替換后的日志數(shù)據(jù)傳輸至數(shù)據(jù)處理層設(shè)備；
[0027]數(shù)據(jù)處理層設(shè)備，用于提供所述字典庫(kù)，接收標(biāo)識(shí)替換后的日志數(shù)據(jù)。
[0028]一個(gè)實(shí)施例中，數(shù)據(jù)中轉(zhuǎn)層設(shè)備還用于在所述字典庫(kù)中未查找到日志數(shù)據(jù)的標(biāo)識(shí)時(shí)，保留原日志數(shù)據(jù)并傳輸至數(shù)據(jù)處理層設(shè)備；
[0029]數(shù)據(jù)處理層設(shè)備還用于將未進(jìn)行標(biāo)識(shí)替換的日志數(shù)據(jù)補(bǔ)充至字典庫(kù)中，并為該日志數(shù)據(jù)分配標(biāo)識(shí)，存儲(chǔ)該日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系；將更新后的字典庫(kù)同步至數(shù)據(jù)中轉(zhuǎn)層設(shè)備。
[0030]一個(gè)實(shí)施例中，數(shù)據(jù)處理層設(shè)備具體用于通過(guò)如下方式為日志數(shù)據(jù)分配標(biāo)識(shí)并在字典庫(kù)中存儲(chǔ)日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系:
[0031]對(duì)日志數(shù)據(jù)取哈希值，將該哈希值與字典庫(kù)中已有數(shù)據(jù)進(jìn)行對(duì)比；
[0032]若字典庫(kù)中不存在該哈希值，則將該日志數(shù)據(jù)補(bǔ)充至字典庫(kù)中；
[0033]取字典庫(kù)中的已有標(biāo)識(shí)的最大值加1，作為該日志數(shù)據(jù)的標(biāo)識(shí)進(jìn)行存儲(chǔ)。
[0034]一個(gè)實(shí)施例中，數(shù)據(jù)處理層設(shè)備具體用于建立多個(gè)字典庫(kù)，對(duì)不同日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系進(jìn)行存儲(chǔ)；
[0035]數(shù)據(jù)中轉(zhuǎn)層設(shè)備具體用于對(duì)包含長(zhǎng)字符串信息的日志數(shù)據(jù)進(jìn)行標(biāo)識(shí)替換時(shí)，從多個(gè)字典庫(kù)中查找長(zhǎng)字符串信息中不同日志數(shù)據(jù)的標(biāo)識(shí)，以標(biāo)識(shí)拼接的方式替換日志數(shù)據(jù)中的長(zhǎng)字符串信息。
[0036]一個(gè)實(shí)施例中，數(shù)據(jù)處理層具體用于:建立組合字段字典庫(kù)，所述組合字段字典庫(kù)存儲(chǔ)日志數(shù)據(jù)字段的組合與標(biāo)識(shí)的組合的唯一對(duì)應(yīng)關(guān)系。
[0037]本發(fā)明實(shí)施例中，數(shù)據(jù)產(chǎn)生層產(chǎn)生日志數(shù)據(jù)，將日志數(shù)據(jù)傳輸至數(shù)據(jù)中轉(zhuǎn)層；數(shù)據(jù)中轉(zhuǎn)層接收到日志數(shù)據(jù)后，在從數(shù)據(jù)處理層獲得的字典庫(kù)中查找日志數(shù)據(jù)的標(biāo)識(shí)，用查找到的標(biāo)識(shí)對(duì)日志數(shù)據(jù)進(jìn)行替換，所述字典庫(kù)中存儲(chǔ)日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系；數(shù)據(jù)中轉(zhuǎn)層將標(biāo)識(shí)替換后的日志數(shù)據(jù)傳輸至數(shù)據(jù)處理層；從而通過(guò)對(duì)日志數(shù)據(jù)進(jìn)行標(biāo)識(shí)替換的方式減少了日志數(shù)據(jù)的傳輸量，節(jié)省了傳輸帶寬和傳輸耗時(shí)。
【專利附圖】
【附圖說(shuō)明】
[0038]為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。在附圖中:
[0039]圖1為現(xiàn)有技術(shù)中日志傳輸架構(gòu)圖；
[0040]圖2為本發(fā)明實(shí)施例中跨數(shù)據(jù)中心的數(shù)據(jù)傳輸處理方法的流程圖；
[0041]圖3為本發(fā)明實(shí)施例中字典庫(kù)同步環(huán)路示意圖；
[0042]圖4為本發(fā)明實(shí)施例中日志數(shù)據(jù)標(biāo)識(shí)替換及傳輸流程圖；
[0043]圖5為本發(fā)明實(shí)施例中跨數(shù)據(jù)中心的數(shù)據(jù)傳輸處理方法的具體實(shí)例圖；
[0044]圖6為本發(fā)明實(shí)施例中字典庫(kù)生成樣例示意圖；
[0045]圖7為本發(fā)明實(shí)施例中跨數(shù)據(jù)中心的數(shù)據(jù)傳輸處理系統(tǒng)的示意圖。
【具體實(shí)施方式】
[0046]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例做進(jìn)一步詳細(xì)說(shuō)明。在此，本發(fā)明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明，但并不作為對(duì)本發(fā)明的限定。
[0047]為了減少日志數(shù)據(jù)的傳輸量，節(jié)省傳輸帶寬和傳輸耗時(shí)，本發(fā)明實(shí)施例提供一種跨數(shù)據(jù)中心的數(shù)據(jù)傳輸處理方法。圖2為本發(fā)明實(shí)施例中跨數(shù)據(jù)中心的數(shù)據(jù)傳輸處理方法的流程圖，如圖2所示，該方法中可以包括:
[0048]步驟201、數(shù)據(jù)產(chǎn)生層產(chǎn)生日志數(shù)據(jù)，將日志數(shù)據(jù)傳輸至數(shù)據(jù)中轉(zhuǎn)層；
[0049]步驟202、數(shù)據(jù)中轉(zhuǎn)層接收到日志數(shù)據(jù)后，在從數(shù)據(jù)處理層獲得的字典庫(kù)中查找日志數(shù)據(jù)的標(biāo)識(shí)，用查找到的標(biāo)識(shí)對(duì)日志數(shù)據(jù)進(jìn)行替換，所述字典庫(kù)中存儲(chǔ)日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系；
[0050]步驟203、數(shù)據(jù)中轉(zhuǎn)層將標(biāo)識(shí)替換后的日志數(shù)據(jù)傳輸至數(shù)據(jù)處理層。
[0051]由圖2所示流程可以得知，在本發(fā)明實(shí)施例中，數(shù)據(jù)中轉(zhuǎn)層向數(shù)據(jù)處理層傳輸日志數(shù)據(jù)時(shí)，與現(xiàn)有技術(shù)直接傳輸日志數(shù)據(jù)不同，是將日志數(shù)據(jù)進(jìn)行了標(biāo)識(shí)替換，顯然，傳輸標(biāo)識(shí)替換后的日志數(shù)據(jù)比直接傳輸原日志數(shù)據(jù)的傳輸量將大大減少，進(jìn)而可以節(jié)省傳輸帶寬和傳輸耗時(shí)。
[0052]具體實(shí)施時(shí)，若數(shù)據(jù)中轉(zhuǎn)層在所述字典庫(kù)中未查找到日志數(shù)據(jù)的標(biāo)識(shí)，則保留原日志數(shù)據(jù)并傳輸至數(shù)據(jù)處理層；數(shù)據(jù)處理層將未進(jìn)行標(biāo)識(shí)替換的日志數(shù)據(jù)補(bǔ)充至字典庫(kù)中，并為該日志數(shù)據(jù)分配標(biāo)識(shí)，存儲(chǔ)該日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系；數(shù)據(jù)處理層將更新后的字典庫(kù)同步至數(shù)據(jù)中轉(zhuǎn)層。
[0053]數(shù)據(jù)產(chǎn)生層可以包括WEB服務(wù)器、終端服務(wù)器等數(shù)據(jù)產(chǎn)生層設(shè)備；數(shù)據(jù)中轉(zhuǎn)層可以包括數(shù)據(jù)中轉(zhuǎn)服務(wù)器等數(shù)據(jù)中轉(zhuǎn)層設(shè)備；數(shù)據(jù)處理層可以包括分布式集群節(jié)點(diǎn)等數(shù)據(jù)處理層設(shè)備。
[0054]下面進(jìn)一步舉例說(shuō)明。實(shí)施例中，在數(shù)據(jù)中轉(zhuǎn)層與數(shù)據(jù)處理層之間做字典庫(kù)的跨節(jié)點(diǎn)及數(shù)據(jù)中心的分布式同步處理。圖3為本發(fā)明實(shí)施例中字典庫(kù)同步環(huán)路示意圖。如圖3所示，在數(shù)據(jù)處理層生成多個(gè)字典庫(kù)，并通過(guò)任務(wù)下發(fā)或是數(shù)據(jù)中轉(zhuǎn)層定時(shí)獲取的方式，數(shù)據(jù)中轉(zhuǎn)層獲取到數(shù)據(jù)處理層所生成的字典庫(kù)，數(shù)據(jù)中轉(zhuǎn)層根據(jù)字典庫(kù)對(duì)日志數(shù)據(jù)進(jìn)行標(biāo)識(shí)替換，若找不到日志數(shù)據(jù)的標(biāo)識(shí)則還是按原始日志數(shù)據(jù)進(jìn)行傳輸。
[0055]例如，圖4為本發(fā)明實(shí)施例中日志數(shù)據(jù)標(biāo)識(shí)替換及傳輸流程圖，如圖4所示，在數(shù)據(jù)中轉(zhuǎn)服務(wù)器，定時(shí)從數(shù)據(jù)處理層獲取最新的DICT (字典庫(kù))到數(shù)據(jù)中轉(zhuǎn)服務(wù)器，數(shù)據(jù)中轉(zhuǎn)服務(wù)器根據(jù)獲取的字典庫(kù)對(duì)日志數(shù)據(jù)(日志條)進(jìn)行相應(yīng)的標(biāo)識(shí)替換處理，如果字典庫(kù)中找到相應(yīng)的標(biāo)識(shí)則替換，如果字典庫(kù)中沒(méi)有相應(yīng)的標(biāo)識(shí)則保留原有日志數(shù)據(jù)進(jìn)行傳輸。
[0056]再舉例說(shuō)明整體數(shù)據(jù)處理流程。圖5為本發(fā)明實(shí)施例中跨數(shù)據(jù)中心的數(shù)據(jù)傳輸處理方法的具體實(shí)例圖。如圖5所示，本例中，原始日志數(shù)據(jù)由多個(gè)終端服務(wù)器產(chǎn)生，終端服務(wù)器產(chǎn)生日志數(shù)據(jù)后通過(guò)某種協(xié)議(比如FTP、HTTP等)傳輸?shù)綌?shù)據(jù)中轉(zhuǎn)層做往數(shù)據(jù)處理層傳輸?shù)臏?zhǔn)備；在數(shù)據(jù)中轉(zhuǎn)層接收到日志數(shù)據(jù)后，對(duì)日志數(shù)據(jù)進(jìn)行標(biāo)識(shí)的匹配替換與壓縮(第一次傳輸時(shí)沒(méi)有字典庫(kù)，則原日志數(shù)據(jù)只做壓縮后傳輸，沒(méi)有相應(yīng)的標(biāo)識(shí)替換)，在數(shù)據(jù)處理層接收到日志數(shù)據(jù)后首先做存儲(chǔ)，然后對(duì)接收到的日志數(shù)據(jù)進(jìn)行字典庫(kù)的更新，將傳輸過(guò)來(lái)沒(méi)有被標(biāo)識(shí)替換或是識(shí)別的數(shù)據(jù)補(bǔ)充進(jìn)字典庫(kù)中，補(bǔ)充完字典庫(kù)后對(duì)補(bǔ)充完的新字典庫(kù)進(jìn)行同步，將字典庫(kù)的增量部分同步到數(shù)據(jù)中轉(zhuǎn)層，然后供后續(xù)傳輸日志數(shù)據(jù)時(shí)在數(shù)據(jù)中轉(zhuǎn)層的使用。
[0057]在字典庫(kù)更新的流程執(zhí)行之后，剛開始字典庫(kù)更新會(huì)比較頻繁，但當(dāng)日志數(shù)據(jù)積累到一定程度之后字典庫(kù)基本上就能達(dá)到很高的識(shí)別度，字典庫(kù)更新的量就會(huì)越來(lái)越少，同時(shí)日志數(shù)據(jù)傳輸?shù)奶鎿Q的壓縮率就會(huì)大大增高，從而減少帶寬和傳輸成本及提高傳輸?shù)臅r(shí)效性。
[0058]如上述實(shí)施例所示，整個(gè)日志數(shù)據(jù)替換與傳輸是環(huán)路系統(tǒng)，可以有效的提高在數(shù)據(jù)中轉(zhuǎn)層的日志數(shù)據(jù)替換量，從而使傳輸日志的數(shù)據(jù)量迅速下降，就算字典庫(kù)中沒(méi)有也可通過(guò)回路，很快的補(bǔ)進(jìn)到字典庫(kù)中從而促使在后續(xù)傳輸中的替換降低日志傳輸量，來(lái)節(jié)省帶寬成本及傳輸耗時(shí)。
[0059]以每天收集100G(gz壓縮)日志量為例，從數(shù)據(jù)中轉(zhuǎn)層傳輸?shù)綌?shù)據(jù)處理層日志量為:100G，在帶寬不變的前提下，按現(xiàn)有傳輸方式，則傳輸日志量為100G，耗時(shí)為10s ;按字典庫(kù)替換:a、假定所有日志都可按字典庫(kù)進(jìn)行替換,則傳輸日志量為:52G,耗時(shí)為52s。時(shí)間縮短了 42s，存儲(chǔ)空間節(jié)省了 48% ;b、如若字典庫(kù)中的字典不完整，則在第一次傳輸過(guò)程中傳輸?shù)娜罩玖繒?huì)比完全替換的日志量大，多出比例按字典庫(kù)來(lái)算，大概在80%?90%，但到每二次字典庫(kù)更新后則可達(dá)到90%的替換率，則傳輸?shù)娜罩玖繛?62G，傳輸時(shí)間為62s，同樣對(duì)于傳輸時(shí)間與存儲(chǔ)的空間也有很大的節(jié)省。
[0060]具體實(shí)施時(shí)，數(shù)據(jù)處理層可以通過(guò)如下方式為日志數(shù)據(jù)分配標(biāo)識(shí)并在字典庫(kù)中存儲(chǔ)日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系:
[0061]對(duì)日志數(shù)據(jù)取哈希值，將該哈希值與字典庫(kù)中已有數(shù)據(jù)進(jìn)行對(duì)比；
[0062]若字典庫(kù)中不存在該哈希值，則將該日志數(shù)據(jù)補(bǔ)充至字典庫(kù)中；
[0063]取字典庫(kù)中的已有標(biāo)識(shí)的最大值加1，作為該日志數(shù)據(jù)的標(biāo)識(shí)進(jìn)行存儲(chǔ)。
[0064]具體實(shí)施時(shí)，數(shù)據(jù)處理層可以建立多個(gè)字典庫(kù)，對(duì)不同日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系進(jìn)行存儲(chǔ)；數(shù)據(jù)中轉(zhuǎn)層對(duì)包含長(zhǎng)字符串信息的日志數(shù)據(jù)進(jìn)行標(biāo)識(shí)替換時(shí)，可以從多個(gè)字典庫(kù)中查找長(zhǎng)字符串信息中不同日志數(shù)據(jù)的標(biāo)識(shí)，以標(biāo)識(shí)拼接的方式替換日志數(shù)據(jù)中的長(zhǎng)字符串信息。
[0065]下面舉個(gè)例子說(shuō)明唯一標(biāo)識(shí)ID生成方式。圖6為本發(fā)明實(shí)施例中字典庫(kù)生成樣例示意圖，參考圖6所示,例如對(duì)于日志數(shù)據(jù)中的URL、Referrer、UserAgent等信息的ID生成方式(字典庫(kù)的生成方式):
[0066]I)對(duì)于URL、Referrer的字典庫(kù)建立:
[0067]在數(shù)據(jù)處理層,對(duì)日志數(shù)據(jù)中的RequestUrl和Referrer分別做Hash,然后與字典庫(kù)中的數(shù)據(jù)進(jìn)行對(duì)比，如果字典庫(kù)中不存在，則把這打條新的RequestUrl添加進(jìn)字典庫(kù)并通過(guò)對(duì)原字典庫(kù)取ID最大值然后給加I存入到唯一 ID中:MAX (RequestUrlId)+1。
[0068]如:1386562882.666 14 XXX.XXX.XXX.XXX TCP_MEM_HIT/200 440 GEThttp://www.XXXXX.com/images/xxxxx.gif-NONE/_image/gif〃http://www.XXXXX.com/aaaa/440_176147XXX.htm""Mozilla/5.0 (Windows NT 6.1 ；W0W64)AppleffebKit/537.1(KHTML, like Gecko)Chrome/21.0.1180.89 Safari/537.Γ -；
[0069]對(duì)Request進(jìn)行字典替換為:
[0070]1386562882.666 14 XXX.XXX.XXX.XXX TCP_MEM_HIT/200 440 GETRequestUrlID-N0NE/-1mage/gif ReferrerID^Mozilla/5.0(Windows NT 6.1 ；W0W64)AppleffebKit/537.1(KHTML, like Gecko)Chrome/21.0.1180.89 Safari/537.Γ -；
[0071]其中RequestID與ReferreID為字典庫(kù)中表示相應(yīng)日志數(shù)據(jù)的唯一標(biāo)識(shí)。
[0072]2)對(duì)于日志數(shù)據(jù)中的長(zhǎng)字符串信息,如UserAgent、Cookies等信息,可以通過(guò)建立多個(gè)字典庫(kù)來(lái)對(duì)一個(gè)信息進(jìn)行拼接的形式來(lái)替換，如下例子:
[0073]以上面那條日志為例:
[0074]對(duì)UserAgent信息建立四個(gè)字典庫(kù):
[0075]MoziIla/5.0(ffindows NT 6.1 ；W0W64)對(duì)應(yīng)字典庫(kù) I(DICTl)；
[0076]AppleffebKit/537.1 對(duì)應(yīng)字典庫(kù) 2 (DICT2)；
[0077](KHTML, like Gecko)對(duì)應(yīng)字典庫(kù) 3 (DICT3)；
[0078]Chrome/21.0.1180.89 Safari/537.1 對(duì)應(yīng)字典庫(kù) 4 (DICT4)；
[0079]則以上日志數(shù)據(jù)則可被替換為:
[0080]1386562882.666 14 XXX.XXX.XXX.XXX TCP_MEM_HIT/200 440 GETRequestUrl-N0NE/-1mage/gif ReferrerID^dictIID+dict2ID+dict3ID+dict4ID// -。
[0081]具體實(shí)施時(shí)，數(shù)據(jù)處理層建立的字典庫(kù)中可以包括組合字段字典庫(kù)，所述組合字段字典庫(kù)存儲(chǔ)日志數(shù)據(jù)字段的組合與標(biāo)識(shí)的組合的唯一對(duì)應(yīng)關(guān)系。
[0082]下面舉一例說(shuō)明組合字段字典壓縮傳輸，即對(duì)字段組合做字典進(jìn)行日志數(shù)據(jù)內(nèi)容替換；
[0083]如:1386562882.666 14 XXX.XXX.XXX.XXX TCP_MEM_HIT/200 440 GEThttp://www.XXXXX.com/images/xxxxx.gif-NONE/-1mage/gif〃http://www.XXXXX.com/aaaa/440_176147XXX.htm""Mozilla/5.0 (Windows NT 6.1 ；W0W64)AppleffebKit/537.1(KHTML, like Gecko)Chrome/21.0.1180.89 Safari/537.1"-
[0084]對(duì)其中的IP (XXX.XXX.XXX.XXX)和 UserAgent ("Mozilla/5.0 (Windows NT 6.1 ；W0W64)AppleffebKit/537.1(KHTML, like Gecko)Chrome/21.0.1180.89 Safari/537.1")信息進(jìn)行組合字典，然后在數(shù)據(jù)中轉(zhuǎn)層進(jìn)行標(biāo)識(shí)替換。
[0085]對(duì)于字段組合替換方式與業(yè)務(wù)密切結(jié)合，對(duì)于CDN日志數(shù)據(jù)分析日志的維度與指標(biāo)，把常用的組合建立字典，會(huì)對(duì)后面統(tǒng)計(jì)與計(jì)算部分節(jié)省很大的存儲(chǔ)開銷及計(jì)算資源。
[0086]由上述實(shí)施例可知，本發(fā)明實(shí)施例中，數(shù)據(jù)中轉(zhuǎn)層與數(shù)據(jù)處理層之間字典庫(kù)的分布式及分節(jié)點(diǎn)同步，可以有效的對(duì)數(shù)據(jù)中轉(zhuǎn)層的日志數(shù)據(jù)進(jìn)行壓縮，隨著時(shí)間的變化，字典庫(kù)數(shù)據(jù)越來(lái)越豐富，這時(shí)大部分字段可以被標(biāo)識(shí)所替換，則所傳輸?shù)娜罩緯?huì)越來(lái)越多的被替換為字典庫(kù)中的唯一 ID，日志量會(huì)越來(lái)越小，節(jié)省傳輸帶寬與傳輸時(shí)間。
[0087]對(duì)于字典庫(kù)中的唯一 ID生成方式:首先在字典庫(kù)中要有唯一 ID，所做字典的原文數(shù)據(jù)，還可以有對(duì)所做字典庫(kù)的原文的Hash的存儲(chǔ)(用于數(shù)據(jù)的比較，用Hash可提升比較的效率)，通過(guò)日志數(shù)據(jù)對(duì)比(或Hash的對(duì)比)，如果不存在則新增一條記錄，并取唯一 ID的最大值遞增為新記錄的唯一 ID。根據(jù)在公布式集群中的統(tǒng)計(jì)與分析需求，可以對(duì)多個(gè)字段進(jìn)行組合創(chuàng)建字典庫(kù)。對(duì)于整個(gè)日志傳輸與日志條字典中唯一 ID的替換形成一個(gè)環(huán)路，以保證字典庫(kù)的更新與同步。
[0088]基于同一發(fā)明構(gòu)思，本發(fā)明實(shí)施例中還提供了一種跨數(shù)據(jù)中心的數(shù)據(jù)傳輸處理系統(tǒng)，如下面的實(shí)施例所述。由于該系統(tǒng)解決問(wèn)題的原理與跨數(shù)據(jù)中心的數(shù)據(jù)傳輸處理方法相似，因此該系統(tǒng)的實(shí)施可以參見(jiàn)跨數(shù)據(jù)中心的數(shù)據(jù)傳輸處理方法的實(shí)施，重復(fù)之處不再贅述。
[0089]圖7為本發(fā)明實(shí)施例中跨數(shù)據(jù)中心的數(shù)據(jù)傳輸處理系統(tǒng)的示意圖。如圖7所示，本發(fā)明實(shí)施例中跨數(shù)據(jù)中心的數(shù)據(jù)傳輸處理系統(tǒng)包括:
[0090]數(shù)據(jù)產(chǎn)生層設(shè)備701、數(shù)據(jù)中轉(zhuǎn)層設(shè)備702和數(shù)據(jù)處理層設(shè)備703 ;其中:
[0091]數(shù)據(jù)產(chǎn)生層設(shè)備701，用于產(chǎn)生日志數(shù)據(jù)，將日志數(shù)據(jù)傳輸至數(shù)據(jù)中轉(zhuǎn)層設(shè)備702 ；
[0092]數(shù)據(jù)中轉(zhuǎn)層設(shè)備702，用于在接收到日志數(shù)據(jù)后，在從數(shù)據(jù)處理層設(shè)備703獲得的字典庫(kù)中查找日志數(shù)據(jù)的標(biāo)識(shí)，用查找到的標(biāo)識(shí)對(duì)日志數(shù)據(jù)進(jìn)行替換，所述字典庫(kù)中存儲(chǔ)日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系；將標(biāo)識(shí)替換后的日志數(shù)據(jù)傳輸至數(shù)據(jù)處理層設(shè)備703 ；
[0093]數(shù)據(jù)處理層設(shè)備703，用于提供所述字典庫(kù)，接收標(biāo)識(shí)替換后的日志數(shù)據(jù)。
[0094]具體實(shí)施時(shí)，數(shù)據(jù)產(chǎn)生層設(shè)備可以包括WEB服務(wù)器、終端服務(wù)器等；數(shù)據(jù)中轉(zhuǎn)層設(shè)備可以包括數(shù)據(jù)中轉(zhuǎn)服務(wù)器等；數(shù)據(jù)處理層設(shè)備可以包括分布式集群節(jié)點(diǎn)等。
[0095]具體實(shí)施時(shí)，數(shù)據(jù)中轉(zhuǎn)層設(shè)備還可以用于在所述字典庫(kù)中未查找到日志數(shù)據(jù)的標(biāo)識(shí)時(shí)，保留原日志數(shù)據(jù)并傳輸至數(shù)據(jù)處理層設(shè)備；
[0096]數(shù)據(jù)處理層設(shè)備還可以用于將未進(jìn)行標(biāo)識(shí)替換的日志數(shù)據(jù)補(bǔ)充至字典庫(kù)中，并為該日志數(shù)據(jù)分配標(biāo)識(shí)，存儲(chǔ)該日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系；將更新后的字典庫(kù)同步至數(shù)據(jù)中轉(zhuǎn)層設(shè)備。
[0097]具體實(shí)施時(shí)，數(shù)據(jù)處理層設(shè)備具體可以用于通過(guò)如下方式為日志數(shù)據(jù)分配標(biāo)識(shí)并在字典庫(kù)中存儲(chǔ)日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系:
[0098]對(duì)日志數(shù)據(jù)取哈希值，將該哈希值與字典庫(kù)中已有數(shù)據(jù)進(jìn)行對(duì)比；
[0099]若字典庫(kù)中不存在該哈希值，則將該日志數(shù)據(jù)補(bǔ)充至字典庫(kù)中；
[0100]取字典庫(kù)中的已有標(biāo)識(shí)的最大值加1，作為該日志數(shù)據(jù)的標(biāo)識(shí)進(jìn)行存儲(chǔ)。
[0101]具體實(shí)施時(shí)，數(shù)據(jù)處理層設(shè)備具體可以用于建立多個(gè)字典庫(kù)，對(duì)不同日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系進(jìn)行存儲(chǔ)；
[0102]數(shù)據(jù)中轉(zhuǎn)層設(shè)備具體可以用于對(duì)包含長(zhǎng)字符串信息的日志數(shù)據(jù)進(jìn)行標(biāo)識(shí)替換時(shí)，從多個(gè)字典庫(kù)中查找長(zhǎng)字符串信息中不同日志數(shù)據(jù)的標(biāo)識(shí)，以標(biāo)識(shí)拼接的方式替換日志數(shù)據(jù)中的長(zhǎng)字符串信息。
[0103]具體實(shí)施時(shí)，數(shù)據(jù)處理層具體可以用于:建立組合字段字典庫(kù)，所述組合字段字典庫(kù)存儲(chǔ)日志數(shù)據(jù)字段的組合與標(biāo)識(shí)的組合的唯一對(duì)應(yīng)關(guān)系。
[0104]綜上所述，本發(fā)明實(shí)施例中，數(shù)據(jù)產(chǎn)生層產(chǎn)生日志數(shù)據(jù)，將日志數(shù)據(jù)傳輸至數(shù)據(jù)中轉(zhuǎn)層；數(shù)據(jù)中轉(zhuǎn)層接收到日志數(shù)據(jù)后，在從數(shù)據(jù)處理層獲得的字典庫(kù)中查找日志數(shù)據(jù)的標(biāo)識(shí)，用查找到的標(biāo)識(shí)對(duì)日志數(shù)據(jù)進(jìn)行替換，所述字典庫(kù)中存儲(chǔ)日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系；數(shù)據(jù)中轉(zhuǎn)層將標(biāo)識(shí)替換后的日志數(shù)據(jù)傳輸至數(shù)據(jù)處理層；從而通過(guò)對(duì)日志數(shù)據(jù)進(jìn)行標(biāo)識(shí)替換的方式減少了日志數(shù)據(jù)的傳輸量，節(jié)省了傳輸帶寬和傳輸耗時(shí)。
[0105]本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。
[0106]本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合。可提供這些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。
[0107]這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。
[0108]這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。
[0109]以上所述的具體實(shí)施例，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限定本發(fā)明的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種跨數(shù)據(jù)中心的數(shù)據(jù)傳輸處理方法，其特征在于，包括: 數(shù)據(jù)產(chǎn)生層產(chǎn)生日志數(shù)據(jù)，將日志數(shù)據(jù)傳輸至數(shù)據(jù)中轉(zhuǎn)層； 數(shù)據(jù)中轉(zhuǎn)層接收到日志數(shù)據(jù)后，在從數(shù)據(jù)處理層獲得的字典庫(kù)中查找日志數(shù)據(jù)的標(biāo)識(shí)，用查找到的標(biāo)識(shí)對(duì)日志數(shù)據(jù)進(jìn)行替換，所述字典庫(kù)中存儲(chǔ)日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系； 數(shù)據(jù)中轉(zhuǎn)層將標(biāo)識(shí)替換后的日志數(shù)據(jù)傳輸至數(shù)據(jù)處理層。
2.如權(quán)利要求1所述的方法，其特征在于，若數(shù)據(jù)中轉(zhuǎn)層在所述字典庫(kù)中未查找到日志數(shù)據(jù)的標(biāo)識(shí)，則保留原日志數(shù)據(jù)并傳輸至數(shù)據(jù)處理層； 數(shù)據(jù)處理層將未進(jìn)行標(biāo)識(shí)替換的日志數(shù)據(jù)補(bǔ)充至字典庫(kù)中，并為該日志數(shù)據(jù)分配標(biāo)識(shí)，存儲(chǔ)該日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系； 數(shù)據(jù)處理層將更新后的字典庫(kù)同步至數(shù)據(jù)中轉(zhuǎn)層。
3.如權(quán)利要求1或2所述的方法，其特征在于，數(shù)據(jù)處理層通過(guò)如下方式為日志數(shù)據(jù)分配標(biāo)識(shí)并在字典庫(kù)中存儲(chǔ)日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系: 對(duì)日志數(shù)據(jù)取哈希值，將該哈希值與字典庫(kù)中已有數(shù)據(jù)進(jìn)行對(duì)比； 若字典庫(kù)中不存在該哈希值，則將該日志數(shù)據(jù)補(bǔ)充至字典庫(kù)中； 取字典庫(kù)中的已有標(biāo)識(shí)的最大值加1，作為該日志數(shù)據(jù)的標(biāo)識(shí)進(jìn)行存儲(chǔ)。
4.如權(quán)利要求1或2所述的方法，其特征在于，數(shù)據(jù)處理層建立多個(gè)字典庫(kù)，對(duì)不同日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系進(jìn)行存儲(chǔ)； 數(shù)據(jù)中轉(zhuǎn)層對(duì)包含長(zhǎng)字符串信息的日志數(shù)據(jù)進(jìn)行標(biāo)識(shí)替換時(shí)，從多個(gè)字典庫(kù)中查找長(zhǎng)字符串信息中不同日志數(shù)據(jù)的標(biāo)識(shí)，以標(biāo)識(shí)拼接的方式替換日志數(shù)據(jù)中的長(zhǎng)字符串信息。
5.如權(quán)利要求1或2所述的方法，其特征在于，數(shù)據(jù)處理層建立的字典庫(kù)中包括組合字段字典庫(kù)，所述組合字段字典庫(kù)存儲(chǔ)日志數(shù)據(jù)字段的組合與標(biāo)識(shí)的組合的唯一對(duì)應(yīng)關(guān)系。
6.一種跨數(shù)據(jù)中心的數(shù)據(jù)傳輸處理系統(tǒng)，其特征在于，包括: 數(shù)據(jù)產(chǎn)生層設(shè)備、數(shù)據(jù)中轉(zhuǎn)層設(shè)備和數(shù)據(jù)處理層設(shè)備；其中: 數(shù)據(jù)產(chǎn)生層設(shè)備，用于產(chǎn)生日志數(shù)據(jù)，將日志數(shù)據(jù)傳輸至數(shù)據(jù)中轉(zhuǎn)層設(shè)備； 數(shù)據(jù)中轉(zhuǎn)層設(shè)備，用于在接收到日志數(shù)據(jù)后，在從數(shù)據(jù)處理層設(shè)備獲得的字典庫(kù)中查找日志數(shù)據(jù)的標(biāo)識(shí)，用查找到的標(biāo)識(shí)對(duì)日志數(shù)據(jù)進(jìn)行替換，所述字典庫(kù)中存儲(chǔ)日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系；將標(biāo)識(shí)替換后的日志數(shù)據(jù)傳輸至數(shù)據(jù)處理層設(shè)備； 數(shù)據(jù)處理層設(shè)備，用于提供所述字典庫(kù)，接收標(biāo)識(shí)替換后的日志數(shù)據(jù)。
7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，數(shù)據(jù)中轉(zhuǎn)層設(shè)備還用于在所述字典庫(kù)中未查找到日志數(shù)據(jù)的標(biāo)識(shí)時(shí)，保留原日志數(shù)據(jù)并傳輸至數(shù)據(jù)處理層設(shè)備； 數(shù)據(jù)處理層設(shè)備還用于將未進(jìn)行標(biāo)識(shí)替換的日志數(shù)據(jù)補(bǔ)充至字典庫(kù)中，并為該日志數(shù)據(jù)分配標(biāo)識(shí)，存儲(chǔ)該日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系；將更新后的字典庫(kù)同步至數(shù)據(jù)中轉(zhuǎn)層設(shè)備。
8.如權(quán)利要求6或7所述的系統(tǒng)，其特征在于，數(shù)據(jù)處理層設(shè)備具體用于通過(guò)如下方式為日志數(shù)據(jù)分配標(biāo)識(shí)并在字典庫(kù)中存儲(chǔ)日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系: 對(duì)日志數(shù)據(jù)取哈希值，將該哈希值與字典庫(kù)中已有數(shù)據(jù)進(jìn)行對(duì)比； 若字典庫(kù)中不存在該哈希值，則將該日志數(shù)據(jù)補(bǔ)充至字典庫(kù)中； 取字典庫(kù)中的已有標(biāo)識(shí)的最大值加1，作為該日志數(shù)據(jù)的標(biāo)識(shí)進(jìn)行存儲(chǔ)。
9.如權(quán)利要求6或7所述的系統(tǒng)，其特征在于，數(shù)據(jù)處理層設(shè)備具體用于建立多個(gè)字典庫(kù)，對(duì)不同日志數(shù)據(jù)與標(biāo)識(shí)的唯一對(duì)應(yīng)關(guān)系進(jìn)行存儲(chǔ)； 數(shù)據(jù)中轉(zhuǎn)層設(shè)備具體用于對(duì)包含長(zhǎng)字符串信息的日志數(shù)據(jù)進(jìn)行標(biāo)識(shí)替換時(shí)，從多個(gè)字典庫(kù)中查找長(zhǎng)字符串信息中不同日志數(shù)據(jù)的標(biāo)識(shí)，以標(biāo)識(shí)拼接的方式替換日志數(shù)據(jù)中的長(zhǎng)字符串信息。
10.如權(quán)利要求6或7所述的系統(tǒng)，其特征在于，數(shù)據(jù)處理層具體用于:建立組合字段字典庫(kù)，所述組合字段字典庫(kù)存儲(chǔ)日志數(shù)據(jù)字段的組合與標(biāo)識(shí)的組合的唯一對(duì)應(yīng)關(guān)系。
【文檔編號(hào)】H04L12/24GK104378234SQ201410662799
【公開日】2015年2月25日 申請(qǐng)日期:2014年11月19日 優(yōu)先權(quán)日:2014年11月19日
【發(fā)明者】秦剛, 唐玉芳, 柳楊, 江舟, 孔祥鵬, 張紅意 申請(qǐng)人:北京數(shù)迅科技有限公司