日志處理方法、裝置及服務器的制造方法
【技術領域】
[0001 ]本公開涉及計算機技術領域，尤其涉及一種日志處理方法、裝置及服務器。
【背景技術】
[0002]隨著科技的不斷發(fā)展，使用智能終端的用戶已經(jīng)達到一個很大的數(shù)量，很多用戶每天都需要使用不同的智能終端訪問服務器，以滿足數(shù)據(jù)交互的需求。而服務器也需要記錄用戶的訪問日志，以提取用戶的訪問數(shù)量、規(guī)模及訪問網(wǎng)站的規(guī)律等信息。
[0003]由于服務器上用戶的訪問日志信息量變得日益龐大，而傳統(tǒng)處理用戶訪問日志的方法效率較低，難以應對。因此，亟需一種新的信息的日志處理方式來處理信息量龐大的用戶訪問日志。

【發(fā)明內(nèi)容】

[0004]為克服相關技術中存在的問題，本公開提供一種日志處理方法、裝置及服務器。
[0005]根據(jù)本公開實施例的第一方面，提供一種日志處理方法，包括:
[0006]獲取預先分為不同類型的歸類訪問日志；
[0007]確定每一類歸類訪問日志對應的屬性關鍵字；
[0008]根據(jù)所述屬性關鍵字獲取所述每一類訪問日志對應的屬性屬性值；
[0009]判斷所述屬性值是否大于預先設置的屬性閾值；
[0010]當所述屬性值大于預先設置的屬性閾值時，將所述歸類訪問日志發(fā)送給分布式文件系統(tǒng)HDFS。
[0011]這樣可以快速響應客戶端請求，也不需要維護額外的日志打點服務。另外，可以實現(xiàn)對線上日志進行實時監(jiān)控，可以很方便的滿足實際的需要。
[0012]可選地，所述屬性值包括信息占用容量；
[0013]所述判斷所述屬性值是否大于預先設置的屬性閾值，包括:
[0014]根據(jù)所述屬性關鍵字獲取每一類訪問日志對應的預設容量閾值；
[0015]判斷所述信息占用容量是否大于對應的預設容量閾值；
[0016]當所述信息占用容量大于對應的預設容量閾值，確定所述屬性值大于預先設置的屬性閾值。
[0017]根據(jù)需要，可以通過靈活、動態(tài)的調(diào)整每一類訪問日志對應的預設容量閾值，然后獲取該預設容量閾值，通過將該類用戶訪問日志信息占用容量與對應預設容量閾值相比較，可以使服務器快速的做出反應，做出是否上傳該類用戶訪問日志的選擇。
[0018]可選地，所述屬性值包括計時時長；
[0019]所述判斷所述屬性值是否大于預先設置的屬性閾值，包括:
[0020]在獲取到所述歸類訪問日志時開始計時，得到計時時長；
[0021]根據(jù)所述屬性關鍵字獲取每一類訪問日志對應的預設閾值時長；
[0022]判斷所述計時時長是否大于對應的預設閾值時長；
[0023]當所述計時時長大于對應的預設閾值時長時，確定所述屬性值大于預先設置的屬性閾值。
[0024]根據(jù)需要，可以通過靈活、動態(tài)的調(diào)整每一類訪問日志對應的預設閾值時長，然后獲取該預設閾值時長，通過將該類用戶訪問日志計時時長與對應預設閾值時長相比較，可以使服務器快速的做出反應，做出是否上傳該類用戶訪問日志的選擇。
[0025]可選地，所述方法還包括:
[0026]將本地存在且已經(jīng)發(fā)送給所述HDFS的訪問日志刪除。
[0027]由于Redis服務器的存儲空間有限，為了給后續(xù)nginx服務器發(fā)送的用戶訪問日志讓出存儲空間，需要將本地存在且已經(jīng)發(fā)送給HDFS的訪問日志刪除。
[0028]根據(jù)本公開實施例的第二方面，提供一種日志處理方法，包括:
[0029]獲取用戶的訪問日志；
[0030]提取所述訪問日志中的類別關鍵字；
[0031]根據(jù)所述類別關鍵字將所述訪問日志進行歸類，得到不同類型的歸類訪問日志；
[0032]將所述歸類訪問日志發(fā)送給預設終端。
[0033]通過對訪問日志中的內(nèi)容信息進行分析，或者提取訪問日志中的特征信息，確定該訪問日志的類別關鍵字，進而可以根據(jù)類別關鍵字對日志進行分類。
[0034]可選地，所述將所述歸類訪問日志發(fā)送給預設終端，包括:
[0035]利用服務器Webdis獲取所述預設終端的接口；
[0036]通過所述接口將所述歸類訪問日志發(fā)送給所述預設終端。
[0037]Webdi S服務器分別與nginx服務器、Red is服務器相連接，nginx服務器需要向Webdis服務器發(fā)送請求，以獲取Redis服務器的接口，以便將歸類日志通過該接口發(fā)送給Redis服務器。這樣可以通過Webdis服務器直接為Webdis服務器提供接口，將訪問日志寫入Redis服務器中，在通過scribe等上傳工具監(jiān)控Redis服務器，將Redis服務器中的日志上傳到HDFS中。
[0038]根據(jù)本公開實施例的第三方面，提供一種日志處理裝置，包括:
[0039]歸類訪問日志獲取模塊，用于獲取預先分為不同類型的歸類訪問日志；
[0040]關鍵字確定模塊，用于確定每一類歸類訪問日志對應的屬性關鍵字；
[0041 ]屬性值獲取模塊，用于根據(jù)所述屬性關鍵字獲取所述每一類訪問日志對應的屬性值；
[0042]閾值判斷模塊，用于判斷所述屬性值是否大于預先設置的屬性閾值；
[0043]日志發(fā)送模塊，用于在所述屬性值大于預先設置的屬性閾值時，將所述歸類訪問日志發(fā)送給分布式文件系統(tǒng)HDFS。
[0044]可選地，所述屬性值包括信息占用容量;所述閾值判斷模塊，包括:
[0045]閾值獲取子模塊，用于根據(jù)所述屬性關鍵字獲取每一類訪問日志對應的預設容量閾值；
[0046]閾值判斷子模塊，用于判斷所述信息占用容量是否大于對應的預設容量閾值；
[0047]第一屬性閾值確定子模塊，用于在所述信息占用容量大于對應的預設容量閾值，確定所述屬性值大于預先設置的屬性閾值。
[0048]可選地，所述屬性值包括計時時長;所述閾值判斷模塊，包括:
[0049]計時子模塊，用于在獲取到所述歸類訪問日志時開始計時，得到計時時長；
[0050]閾值時長獲取子模塊，用于根據(jù)所述屬性關鍵字獲取每一類訪問日志對應的預設閾值時長；
[0051]時長判斷子模塊，用于判斷所述計時時長是否大于對應的預設閾值時長；
[0052]第二屬性閾值確定子模塊，用于在所述計時時長大于對應的預設閾值時長時，確定所述屬性值大于預先設置的屬性閾值。
[0053]可選地，所述裝置還包括:
[0054]日志刪除模塊，用于將本地存在且已經(jīng)發(fā)送給所述HDFS的訪問日志刪除。
[0055]根據(jù)本公開實施例的第四方面，提供一種日志處理裝置，包括:
[0056]訪問日志獲取模塊，用于獲取用戶的訪問日志；
[0057]關鍵字提取模塊，用于提取所述訪問日志中的類別關鍵字；
[0058]日志歸類模塊，用于根據(jù)所述類別關鍵字將所述訪問日志進行歸類，得到不同類型的歸類訪問日志；
[0059]歸類日志發(fā)送模塊，用于將所述歸類訪問日志發(fā)送給預設終端。
[0060]可選地，所述歸類日志發(fā)送模塊，包括:
[0061]接口獲取子模塊，用于利用服務器Webdis獲取所述預設終端的接口；
[0062]歸類訪問日志發(fā)送子模塊，用于通過所述接口將所述歸類訪問日志發(fā)送給所述預設終端。
[0063]根據(jù)本公開實施例的第五方面，提供一種服務器，包括:
[0064]處理器；
[0065]用于存儲處理器可執(zhí)行指令的存儲器；
[0066]其中，所述處理器被配置為:
[0067]獲取預先分為不同類型的歸類訪問日志；
[0068]確定每一類歸類訪問日志對應的屬性關鍵字；
[0069]根據(jù)所述屬性關鍵字獲取所述每一類訪問日志對應的屬性值；
[0070]判斷所述屬性值是否大于預先設置的屬性閾值；
[0071 ]當所述屬性值大于預先設置的屬性閾值時，將所述歸類訪問日志發(fā)送給分布式文件系統(tǒng)HDFS。
[0072]根據(jù)本公開實施例的第六方面，提供一種服務器，包括:
[0073]處理器；
[0074]用于存儲處理器可執(zhí)行指令的存儲器；
[0075]其中，所述處理器被配置為:
[0076]獲取用戶的訪問日志；
[0077]提取所述訪問日志中的類別關鍵字；
[0078]根據(jù)所述類別關鍵字將所述訪問日志進行歸類，得到不同類型的歸類訪問日志；
[0079]將所述歸類訪問日志發(fā)送給預設終端。
[