1.一種實時計算平臺的日志處理方法,其中,該方法包括:
接收計算任務(wù),讀取該計算任務(wù)的配置信息;
根據(jù)所述配置信息中的數(shù)據(jù)源信息,從相應(yīng)數(shù)據(jù)源接收實時輸入的待處理日志;
對于接收到的每條待處理日志,將該條待處理日志中的字段解析為指定格式的元數(shù)據(jù);
判斷所述配置信息中是否包含用戶輸入的自定義統(tǒng)計模型;
是則,根據(jù)所述自定義統(tǒng)計模型對指定格式的元數(shù)據(jù)進(jìn)行統(tǒng)計處理,得到統(tǒng)計處理結(jié)果。
2.如權(quán)利要求1所述的方法,其中,所述根據(jù)所述自定義統(tǒng)計模型對指定格式的元數(shù)據(jù)進(jìn)行統(tǒng)計處理包括:
對用戶輸入的自定義統(tǒng)計模型進(jìn)行解析,動態(tài)地將所述自定義統(tǒng)計模型解析為以實時計算平臺可運(yùn)行的語言表達(dá)的統(tǒng)計模型;
根據(jù)該解析出的統(tǒng)計模型,對指定格式的元數(shù)據(jù)進(jìn)行統(tǒng)計。
3.如權(quán)利要求2所述的方法,其中,用戶輸入的對應(yīng)于該條待處理日志的數(shù)據(jù)源的自定義統(tǒng)計模型是以DSL語言表達(dá)的自定義統(tǒng)計模型。
4.如權(quán)利要求1所述的方法,其中,該方法進(jìn)一步包括:
預(yù)設(shè)多個基本統(tǒng)計模板;
當(dāng)所述配置信息中不包含用戶輸入的自定義統(tǒng)計模型且所述配置信息中包含用戶從預(yù)設(shè)的多個基本統(tǒng)計模板中選擇的一個基本統(tǒng)計模板時,
根據(jù)用戶選擇的基本統(tǒng)計模板,對指定格式的元數(shù)據(jù)進(jìn)行統(tǒng)計。
5.如權(quán)利要求4所述的方法,其中,所述基本統(tǒng)計模板包括如下一種或多種:
頁面瀏覽量的統(tǒng)計模板,獨(dú)立訪客數(shù)的統(tǒng)計模板,訪客的訪問次數(shù)的統(tǒng)計模板,獨(dú)立IP數(shù)的統(tǒng)計模板。
6.一種實時計算平臺的日志處理裝置,其中,該裝置包括:
任務(wù)接收單元,適于接收計算任務(wù),讀取該計算任務(wù)的配置信息;
日志接收單元,適于根據(jù)所述配置信息中的數(shù)據(jù)源信息,從相應(yīng)數(shù)據(jù)源接收實時輸入的待處理日志;
解析單元,適于對于接收到的每條待處理日志,將該條待處理日志中的字段解析為指定格式的元數(shù)據(jù);
統(tǒng)計單元,適于判斷所述配置信息中是否包含用戶輸入的自定義統(tǒng)計模型;是則,根據(jù)所述自定義統(tǒng)計模型對指定格式的元數(shù)據(jù)進(jìn)行統(tǒng)計處理,得到統(tǒng)計處理結(jié)果。
7.如權(quán)利要求6所述的裝置,其中,
所述統(tǒng)計單元,適于對用戶輸入的自定義統(tǒng)計模型進(jìn)行解析,動態(tài)地將所述自定義統(tǒng)計模型解析為以實時計算平臺可運(yùn)行的語言表達(dá)的統(tǒng)計模型;根據(jù)該解析出的統(tǒng)計模型,對指定格式的元數(shù)據(jù)進(jìn)行統(tǒng)計。
8.如權(quán)利要求7所述的裝置,其中,用戶輸入的對應(yīng)于該條待處理日志的數(shù)據(jù)源的自定義統(tǒng)計模型是以DSL語言表達(dá)的自定義統(tǒng)計模型。
9.如權(quán)利要求6所述的裝置,其中,
所述統(tǒng)計單元,進(jìn)一步適于預(yù)設(shè)多個基本統(tǒng)計模板;適于當(dāng)所述配置信息中不包含用戶輸入的自定義統(tǒng)計模型且所述配置信息中包含用戶從預(yù)設(shè)的多個基本統(tǒng)計模板中選擇的一個基本統(tǒng)計模板時,根據(jù)用戶選擇的基本統(tǒng)計模板,對指定格式的元數(shù)據(jù)進(jìn)行統(tǒng)計。
10.如權(quán)利要求9所述的裝置,其中,所述基本統(tǒng)計模板包括如下一種或多種:
頁面瀏覽量的統(tǒng)計模板,獨(dú)立訪客數(shù)的統(tǒng)計模板,訪客的訪問次數(shù)的統(tǒng)計模板,獨(dú)立IP數(shù)的統(tǒng)計模板。