用于數(shù)據(jù)倉庫的日志分析方法和裝置制造方法
【專利摘要】本發(fā)明實施例公開了一種用于數(shù)據(jù)倉庫的日志分析方法和裝置。所述用于數(shù)據(jù)倉庫的日志分析方法包括：生成記錄日志之間的依賴關(guān)系的元數(shù)據(jù)；根據(jù)所述元數(shù)據(jù)對日志是否異常進行檢查；若檢查出異常的日志，向用戶提示所述日志的異常，和/或修改異常的日志。本發(fā)明實施例公開的用于數(shù)據(jù)倉庫的日志分析方法和裝置保證了及時、準(zhǔn)確的檢查數(shù)據(jù)倉庫中日志數(shù)據(jù)的異常。
【專利說明】用于數(shù)據(jù)倉庫的日志分析方法和裝置
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明實施例涉及網(wǎng)絡(luò)數(shù)據(jù)通信【技術(shù)領(lǐng)域】，尤其涉及一種用于數(shù)據(jù)倉庫的日志分析方法和裝置。
【背景技術(shù)】
[0002]隨著大數(shù)據(jù)時代的來臨，數(shù)據(jù)倉庫技術(shù)受到了人們的青睞。數(shù)據(jù)倉庫是支持管理決策過程、面向主體、集成、非易失、隨時間不斷變化的數(shù)據(jù)集合。它是一個信息提供平臺，為用戶提供各種手段從數(shù)據(jù)中獲取信息和知識。也就是說，數(shù)據(jù)倉庫為支持海量存儲和高層決策分析提供了 一種解決方案。
[0003]數(shù)據(jù)倉庫本身是一來與大量的日志數(shù)據(jù)而運行的。但是，數(shù)據(jù)倉庫內(nèi)部日志的數(shù)據(jù)量非常之大。一個普通規(guī)模的數(shù)據(jù)倉庫系統(tǒng)每天產(chǎn)生的日志條目通常在億的數(shù)量級。而且，數(shù)據(jù)倉庫系統(tǒng)的日志都是實時產(chǎn)生的，所以要求對數(shù)據(jù)倉庫系統(tǒng)的日志的異常檢查手段的實時性較高。因此，通過原有的人工手段對數(shù)據(jù)倉庫系統(tǒng)的日志數(shù)據(jù)進行及時、準(zhǔn)確的異常檢查會十分困難。

【發(fā)明內(nèi)容】

[0004]有鑒于此，本發(fā)明實施例提出一種用于數(shù)據(jù)倉庫的日志分析方法和裝置，以保證及時、準(zhǔn)確的檢查數(shù)據(jù)倉庫中日志數(shù)據(jù)的異常。
[0005]第一方面，本發(fā)明實施例提供了一種用于數(shù)據(jù)倉庫的日志分析方法，所述方法包括:
[0006]生成記錄日志之間的依賴關(guān)系的元數(shù)據(jù)；
[0007]根據(jù)所述元數(shù)據(jù)對日志是否異常進行檢查；
[0008]若檢查出異常的日志，向用戶提示所述日志的異常，和/或修改異常的日志。
[0009]第二方面，本發(fā)明實施例提供了一種用于數(shù)據(jù)倉庫的日志分析裝置，所述裝置包括:
[0010]元數(shù)據(jù)生成模塊，用于生成記錄日志之間的依賴關(guān)系的元數(shù)據(jù)；
[0011]第一日志檢查模塊，用于根據(jù)所述元數(shù)據(jù)對日志是否異常進行檢查；
[0012]提示修改模塊，用于若檢查出異常的日志，向用戶提示所述日志的異常，和/或修改異常的日志。
[0013]本發(fā)明實施例提供的用于數(shù)據(jù)倉庫的日志分析方法和裝置，通過生成記錄日志之間的依賴關(guān)系的元數(shù)據(jù)，根據(jù)所述元數(shù)據(jù)對日志是否異常進行檢查，若檢查出異常的日志，向用戶提示所述日志的異常，和/或修改異常的日志，從而保證了及時、準(zhǔn)確的檢查數(shù)據(jù)倉庫中日志數(shù)據(jù)的異常。
【專利附圖】

【附圖說明】
[0014]通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本發(fā)明的其它特征、目的和優(yōu)點將會變得更明顯:
[0015]圖1是本發(fā)明第一實施例提供的用于數(shù)據(jù)倉庫的日志分析方法的流程圖；
[0016]圖2是本發(fā)明第一實施例提供的日志之間的依賴關(guān)系的示意圖；
[0017]圖3是本發(fā)明第二實施例提供的用于數(shù)據(jù)倉庫的日志分析方法的流程圖；
[0018]圖4是本發(fā)明第二實施例提供的入庫以后日志之間的依賴關(guān)系的示意圖；
[0019]圖5是本發(fā)明第三實施例提供的用于數(shù)據(jù)倉庫的日志分析方法中根據(jù)元數(shù)據(jù)對日志是否異常進行檢查的流程圖；
[0020]圖6是本發(fā)明第四實施例提供的用于數(shù)據(jù)倉庫的日志分析方法的流程圖；
[0021]圖7是本發(fā)明第四實施例提供的可以實施所述日志分析方法的數(shù)據(jù)倉庫系統(tǒng)的結(jié)構(gòu)圖；
[0022]圖8是本發(fā)明第五實施例提供的用于數(shù)據(jù)倉庫的日志分析裝置的結(jié)構(gòu)圖。
【具體實施方式】
[0023]下面結(jié)合附圖和實施例對本發(fā)明作進一步的詳細說明?？梢岳斫獾氖牵颂幩枋龅木唧w實施例僅用于解釋本發(fā)明，而非對本發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部內(nèi)容。
[0024]圖1及圖2示出了本發(fā)明的第一實施例。
[0025]圖1是本發(fā)明第一實施例提供的用于數(shù)據(jù)倉庫的日志分析方法的流程圖。所述用于數(shù)據(jù)倉庫的日志分析方法由用于數(shù)據(jù)倉庫的日志分析裝置執(zhí)行。并且，所述用于數(shù)據(jù)倉庫的日志分析裝置集成與數(shù)據(jù)倉庫系統(tǒng)的服務(wù)器中。參見圖1，所述用于數(shù)據(jù)倉庫的日志分析方法包括:
[0026]S110，生成記錄日志之間的依賴關(guān)系的元數(shù)據(jù)。
[0027]數(shù)據(jù)倉庫系統(tǒng)中的日志記錄著數(shù)據(jù)倉庫系統(tǒng)基本配置信息和數(shù)據(jù)倉庫內(nèi)的各種事件。這些事件包括數(shù)據(jù)倉庫系統(tǒng)中關(guān)鍵模塊的啟動、關(guān)閉，管理員對數(shù)據(jù)倉庫系統(tǒng)及其關(guān)鍵模塊的維護操作以及用戶對數(shù)據(jù)倉庫系統(tǒng)的各種使用操作。由于數(shù)據(jù)倉庫系統(tǒng)本身的規(guī)模巨大，其產(chǎn)生的日志的數(shù)據(jù)量也十分巨大。
[0028]在數(shù)據(jù)倉庫系統(tǒng)的日志數(shù)據(jù)中，有一些日志數(shù)據(jù)以依賴與所述數(shù)據(jù)倉庫系統(tǒng)中已有的其他日志數(shù)據(jù)而產(chǎn)生的。例如一條記錄用戶對音樂庫中一首歌曲的播放行為的日志，該條日志的各個數(shù)據(jù)字段如下表所示:
[0029]
【權(quán)利要求】
1.一種用于數(shù)據(jù)倉庫的日志分析方法，其特征在于，包括: 生成記錄日志之間的依賴關(guān)系的元數(shù)據(jù)； 根據(jù)所述元數(shù)據(jù)對日志是否異常進行檢查； 若檢查出異常的日志，向用戶提示所述日志的異常，和/或修改異常的日志。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述元數(shù)據(jù)用于記錄下游日志對上游日志的依賴關(guān)系。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述元數(shù)據(jù)對日志是否異常進行檢查包括: 讀取所述元數(shù)據(jù)記錄的日志之間的依賴關(guān)系； 根據(jù)所述日志之間的依賴關(guān)系，對日志進行血統(tǒng)分析。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，根據(jù)所述日志之間的依賴關(guān)系，對日志進行血統(tǒng)分析包括: 根據(jù)所述日志之間的依賴關(guān)系，并依據(jù)系統(tǒng)上線時間，檢查所述依賴關(guān)系中上游日志與下游日志的數(shù)據(jù) 一致性。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在根據(jù)所述元數(shù)據(jù)對日志是否異常進行檢查之前，還包括: 根據(jù)預(yù)先定義的日志規(guī)范對日志的格式規(guī)范性進行檢查。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，根據(jù)預(yù)先定義的日志規(guī)范對日志的格式規(guī)范性進行檢查包括: 根據(jù)預(yù)先定義的日志規(guī)范對日志是否重復(fù)記錄、日志的記錄頻率以及日志的記錄時機進行檢查。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，在生成記錄日志之間的依賴關(guān)系的元數(shù)據(jù)之前，還包括: 將日志進行規(guī)范化處理，并將經(jīng)過規(guī)范化處理的日志存入數(shù)據(jù)庫。
8.一種用于數(shù)據(jù)倉庫的日志分析裝置，其特征在于，包括: 元數(shù)據(jù)生成模塊，用于生成記錄日志之間的依賴關(guān)系的元數(shù)據(jù)； 第一日志檢查模塊，用于根據(jù)所述元數(shù)據(jù)對日志是否異常進行檢查； 提示修改模塊，用于若檢查出異常的日志，向用戶提示所述日志的異常，和/或修改異常的日志。
9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述元數(shù)據(jù)用于記錄下游日志對上游日志的依賴關(guān)系。
10.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述第一日志檢查模塊包括: 元數(shù)據(jù)讀取單元，用于讀取所述元數(shù)據(jù)記錄的日志之間的依賴關(guān)系； 血統(tǒng)分析單元，用于根據(jù)所述日志之間的依賴關(guān)系，對日志進行血統(tǒng)分析。
11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述血統(tǒng)分析單元具體用于: 根據(jù)所述日志之間的依賴關(guān)系，并依據(jù)系統(tǒng)上線時間，檢查所述依賴關(guān)系中上游日志與下游日志的數(shù)據(jù)一致性。
12.根據(jù)權(quán)利要求8所述的裝置，其特征在于，還包括: 第二日志檢查模塊，用于在根據(jù)所述元數(shù)據(jù)對日志是否異常進行檢查之前，根據(jù)預(yù)先定義的日志規(guī)范對日志的格式規(guī)范性進行檢查。
13.根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述第二日志檢查模塊具體用于: 根據(jù)預(yù)先定義的日志規(guī)范對日志是否重復(fù)記錄、日志的記錄頻率以及日志的記錄時機進行檢查。
14.根據(jù)權(quán)利要求8所述的裝置，其特征在于，還包括: 日志入庫模塊，用于在生成記錄日志之間的依賴關(guān)系的元數(shù)據(jù)之前，將日志進行規(guī)范化處理，并將經(jīng)過規(guī)范化處理的日志存入數(shù)據(jù)庫。
【文檔編號】G06F11/34GK104036034SQ201410305348
【公開日】2014年9月10日 申請日期:2014年6月30日 優(yōu)先權(quán)日:2014年6月30日
【發(fā)明者】韓杰嬌 申請人:百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司