一種日志收集的方法、裝置和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及日志技術(shù)領(lǐng)域，特別涉及一種日志收集的方法、裝置和系統(tǒng)。
【背景技術(shù)】
[0002]在大型互聯(lián)網(wǎng)公司的系統(tǒng)架構(gòu)中，由多臺機(jī)器組成的集群來提供業(yè)務(wù)服務(wù)已經(jīng)是非常普遍的模式了。對于集群上的業(yè)務(wù)來說，集群業(yè)務(wù)中的日志打印還是沿用了傳統(tǒng)的單機(jī)程序日志輸出模式，即集群中的每一臺電腦的程序都各自打印日志到本地電腦的磁盤上。然而，隨著互聯(lián)網(wǎng)業(yè)務(wù)的不斷發(fā)展，日志的復(fù)雜性和數(shù)據(jù)量不斷上升，各業(yè)務(wù)對收集日志的需求也在不斷增加。在實(shí)際應(yīng)用中，日志可以是應(yīng)用程序日志、安全日志、系統(tǒng)日志、Scheduler服務(wù)日志、FTP日志、WWW日志、DNS日志等等。每一個日志都記錄著程序運(yùn)行中每個事件的日期、時間、使用者信息及動作等相關(guān)操作的描述。
[0003]目前，對集群業(yè)務(wù)日志的處理需求主要可以歸結(jié)為如下三類:日志本地查詢，即登錄到每臺電腦上去查看日志；日志匯總查詢，將集群中所有電腦上的日志匯總后，再進(jìn)行查詢；日志匯總分析，對集群中所有電腦上的日志匯總后，再進(jìn)行大數(shù)據(jù)分析和計算。為了滿足后兩種處理需求，需要對本地電腦上的日志進(jìn)行收集，以便進(jìn)行后續(xù)的查詢、分析等操作。
[0004]現(xiàn)有技術(shù)中，將日志打印在本地磁盤;通過一些命令(如Tai1命令)監(jiān)聽日志的變更，以獲取新增日志，再將新增日志發(fā)送到遠(yuǎn)端日志處理服務(wù)器，如圖la所示，包括日志生成裝置01、新增日志收集裝置02和服務(wù)器03。其中日志生產(chǎn)裝置01用于在本地磁盤生成日志文件，新增日志收集裝置02負(fù)責(zé)監(jiān)聽本地磁盤中的新增日志，并將新增日志發(fā)送到服務(wù)器03。
[0005]這樣的日志收集過程存在一些問題。首先，日志打印在本地磁盤時需要占用本地磁盤的資源，在讀取日志時也會增加本地磁盤的10開銷。其次，通過這些命令很難實(shí)現(xiàn)對所有類型、所有情況下的日志進(jìn)行監(jiān)聽，監(jiān)聽新增日志的變更很容易出錯。下面以一個例子進(jìn)行說明。當(dāng)使用Log4j作為日志輸出工具時，可以將其設(shè)置成每隔一定時間生成一個日志文件，當(dāng)所述間隔時間達(dá)到時，原來的日志文件會根據(jù)一定規(guī)則進(jìn)行改名，比如，原來的日志名admin.log現(xiàn)在可能變?yōu)閍dmin.2015_12_12_10，而新生成的日志文件名則冠以admin, log。此時正在運(yùn)行的監(jiān)聽(Tail)命令就會發(fā)生錯誤，不知道該去跟蹤哪個日志文件了。因此，現(xiàn)有技術(shù)中的日志收集過程可能會出現(xiàn)日志丟失，日志收集過程的可靠性不高。

【發(fā)明內(nèi)容】

[0006]本發(fā)明實(shí)施例的目的在于提供了一種日志收集的方法、裝置和系統(tǒng)，能夠減少對本地磁盤的占用，提高日志收集過程的可靠性。
[0007]為了達(dá)到上述目的，本發(fā)明實(shí)施例公開了一種日志收集的方法，應(yīng)用于終端，包括步驟:
[0008]按照設(shè)定的時間間隔，判斷內(nèi)存緩沖區(qū)中保存的日志是否滿足設(shè)定要求，其中內(nèi)存緩沖區(qū)的日志為解析到日志打印命令時生成的；
[0009]如果是，則將內(nèi)存緩沖區(qū)中的日志封裝在http請求中；
[0010]將所述http請求發(fā)送至服務(wù)器，以使服務(wù)器存儲所述http請求中的日志。
[0011]較佳的，所述判斷內(nèi)存緩沖區(qū)中保存的日志是否滿足設(shè)定要求，包括:
[0012]獲取內(nèi)存緩沖區(qū)中保存的日志的數(shù)量，判斷該數(shù)量是否達(dá)到預(yù)設(shè)數(shù)量閾值。
[0013]較佳的，所述判斷內(nèi)存緩沖區(qū)中保存的日志是否滿足設(shè)定要求，包括:
[0014]根據(jù)內(nèi)存緩沖區(qū)中保存的日志的生成時間，識別最后一個日志的生成時間，判斷該生成時間與當(dāng)前時間的時間間隔是否達(dá)到設(shè)定的第一時間長度閾值。
[0015]較佳的，所述判斷內(nèi)存緩沖區(qū)中保存的日志是否滿足設(shè)定要求，包括:
[0016]判斷內(nèi)存緩沖區(qū)中保存的日志中是否存在故障類型的日志。
[0017]較佳的，在將所述http請求發(fā)送至服務(wù)器之后，所述方法還包括:
[0018]識別所述http請求的發(fā)送時間，判斷所述發(fā)送時間與當(dāng)前時間的時間間隔是否達(dá)到設(shè)定的第二時間長度閾值，如果是，則重新發(fā)送所述http請求。
[0019]為了達(dá)到上述目的，本發(fā)明實(shí)施例還公開了一種日志收集的裝置，應(yīng)用于終端，所述裝置包括:
[0020]判斷模塊，用于按照設(shè)定的時間間隔，判斷內(nèi)存緩沖區(qū)中保存的日志是否滿足設(shè)定要求，其中內(nèi)存緩沖區(qū)的日志為解析到日志打印命令時生成的；如果是，則將內(nèi)存緩沖區(qū)中的日志封裝在http請求中；
[0021]日志封裝模塊，用于將內(nèi)存緩沖區(qū)中的日志封裝在http請求中；
[0022]http請求發(fā)送模塊，用于將所述http請求發(fā)送至服務(wù)器，以使服務(wù)器存儲所述http請求中的日志。
[0023]較佳的，所述判斷模塊包括第一判斷子模塊；
[0024]所述第一判斷子模塊，用于獲取內(nèi)存緩沖區(qū)中保存的日志的數(shù)量，判斷該數(shù)量是否達(dá)到預(yù)設(shè)數(shù)量閾值。
[0025]較佳的，所述判斷模塊包括第二判斷子模塊；
[0026]所述第二判斷子模塊，用于根據(jù)內(nèi)存緩沖區(qū)中保存的日志的生成時間，識別最后一個日志的生成時間，判斷該生成時間與當(dāng)前時間的時間間隔是否達(dá)到設(shè)定的第一時間長度閾值。
[0027]較佳的，所述判斷模塊包括第三判斷子模塊；
[0028]所述第三判斷子模塊，用于判斷內(nèi)存緩沖區(qū)中保存的日志中是否存在故障類型的曰志。
[0029]較佳的，所述http請求發(fā)送模塊還包括重傳模塊；
[0030]所述重傳模塊，用于在將所述http請求發(fā)送至服務(wù)器之后，識別所述http請求的發(fā)送時間，判斷所述發(fā)送時間與當(dāng)前時間的時間間隔是否達(dá)到設(shè)定的第二時間長度閾值，如果是，則重新發(fā)送所述http請求。
[0031]為了達(dá)到上述目的，本發(fā)明實(shí)施例還公開了一種日志收集系統(tǒng)，包括上述應(yīng)用于終端的日志收集裝置，以及接收終端發(fā)送的http請求，并存儲所述http請求中的日志的服務(wù)器。
[0032]由上述技術(shù)方案可見，本發(fā)明實(shí)施例是，按照設(shè)定的時間間隔，判斷內(nèi)存緩沖區(qū)中保存的日志是否滿足設(shè)定要求，其中內(nèi)存緩沖區(qū)的日志為解析到日志打印命令時生成的；如果是，則將內(nèi)存緩沖區(qū)中的日志封裝在http請求中。然后，將所述http請求發(fā)送至服務(wù)器，以使服務(wù)器存儲所述http請求中的日志。
[0033]也就是說，本發(fā)明實(shí)施例能夠根據(jù)預(yù)設(shè)的時間間隔，判斷終端的內(nèi)存緩沖區(qū)中的日志是否滿足一定條件，如果滿足條件，則將其封裝在http請求中發(fā)送至服務(wù)器，以使服務(wù)器存儲該日志，能夠減少對本地磁盤的占用，提高日志收集過程的可靠性。當(dāng)然，實(shí)施本發(fā)明的任一產(chǎn)品或方法并不一定需要同時達(dá)到以上所述的所有優(yōu)點(diǎn)。
【附圖說明】
[0034]為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單的介紹。顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0035]圖la為一種傳統(tǒng)日志收集方法的流程示意圖；
[0036]圖lb為本發(fā)明實(shí)施例提供的一種日志收集的方法的流程示意圖；
[0037]圖2為本發(fā)明實(shí)施例提供的一種日志收集的裝置的結(jié)構(gòu)示意圖；
[0038]圖3為本發(fā)明實(shí)施例提供的一種日志收集的系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0039]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整的描述。顯然，所描述的實(shí)施例僅僅是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0040]本發(fā)明實(shí)施例提供了一種日志收集的方法、裝置和系統(tǒng)。首先，按照設(shè)定的時間間隔，判斷內(nèi)存緩沖區(qū)中保存的日志是否滿足設(shè)定要求，其中內(nèi)存緩沖區(qū)的日志為解析到日志打印命令時生成的。如果是，則將內(nèi)存緩沖區(qū)中的日志封裝在http請求中。然后，將所述http請求發(fā)送至服務(wù)器，以使服務(wù)器存儲所述http請求中的日志。
[0041 ]下面通過具體實(shí)施例，對本發(fā)明進(jìn)行詳細(xì)說明。
[0042]圖lb為本發(fā)明實(shí)施例提供的一種日志收集的方法的流程示意圖，包括如下步驟:
[0043]步驟S101:按照設(shè)定的時間間隔，判斷內(nèi)存緩沖區(qū)中保存的日志是否滿足設(shè)定要求，如果是，則將內(nèi)存緩沖區(qū)中的日志封裝在http請求中。
[0044]具體地，內(nèi)存緩沖區(qū)的日志為解析到日志打印命令時生成的。當(dāng)解析到日志打印命令時，程序?qū)凑罩付ǖ娜罩炯墑e將日志寫入內(nèi)存緩沖區(qū)。日志的生成有較大的不規(guī)則性和復(fù)雜性，例如，在一個時間段可能只生成了幾條日志，而在另一個時間段可能會集中產(chǎn)生大量日志；可能會有新類型的應(yīng)用程序開始運(yùn)行而產(chǎn)生的日志，也可能會有某些應(yīng)用程序關(guān)閉而產(chǎn)生的日志，還可能會因?yàn)槟硞€程序發(fā)送故障而產(chǎn)生相應(yīng)日志;等等情況，不能盡數(shù)。
[0045]在本實(shí)施例中，判斷內(nèi)存緩沖區(qū)中保存的日志是否滿足設(shè)定要求，具體可以包括多種實(shí)施方式，在本實(shí)施例中不--詳述。
[0046]步驟S102:將內(nèi)存緩沖區(qū)中的日志封裝在http請求中。
[0047]步驟S103:將所述http請求發(fā)送至服務(wù)器，以使服務(wù)器存儲所述http請求中的日
ν.、ι、ο
[0048]在本實(shí)施例中，當(dāng)服務(wù)器接收到該http請求，解析該http請求，獲取其中封裝的日志，并將其存儲到本地。
[0049]由上述的實(shí)施例可見，本發(fā)明實(shí)施例能夠根據(jù)預(yù)設(shè)的時間間隔，判斷終端的內(nèi)存緩沖區(qū)中的日志是否滿足一定條件，如果滿足條件，則將其封裝在http請求中發(fā)送至服務(wù)器，以使服務(wù)器存儲該日志，不需要將日志保存在本地磁盤，取而代之的是將日志保存在內(nèi)存緩存區(qū)中；并且不需要根據(jù)不同類型、不同情況的新增日志進(jìn)行監(jiān)聽，提高了日志收集過程的可靠性。
[0050]在本發(fā)明的另一實(shí)施方式中，圖lb所示的方法實(shí)施例中的步驟S101中，按照設(shè)定的時間間隔，判斷內(nèi)存緩沖區(qū)中保存的日志是否滿足設(shè)定要求，可以包括:獲取內(nèi)存緩沖區(qū)中保存的日志的數(shù)量，判斷該數(shù)量是否達(dá)到預(yù)設(shè)數(shù)量閾值。該數(shù)量可以是日志的條數(shù)，也可以是日志所占據(jù)內(nèi)存緩沖區(qū)的比例。這樣，內(nèi)存緩沖區(qū)中的日志就不會堆積很多，不需要占用較多內(nèi)存資源。當(dāng)預(yù)設(shè)數(shù)量閾值較小時，還可以實(shí)現(xiàn)日志的實(shí)時收集。
[0051 ]在本發(fā)明的另一實(shí)施方式中，圖lb所示的方法實(shí)施例中的步驟S101中，按照設(shè)定的時間間隔，判斷內(nèi)存緩沖區(qū)中保存的日志是否滿足設(shè)定要