本發(fā)明涉及信息處理領(lǐng)域，尤其涉及一種無侵入式日志攔截性能分析方法及系統(tǒng)。

背景技術(shù)：

隨著IT行業(yè)軟件產(chǎn)品的推陳出新，客戶對于軟件產(chǎn)品的性能要求也越來越高，因此，提供高性能的軟件，及時對出現(xiàn)性能問題的產(chǎn)品進行分析并給出合理的解決方案就成為當(dāng)下的一個重要問題。目前，Spring作為現(xiàn)在最優(yōu)秀的框架之一，業(yè)界大部分的JavaEE框架是典型的Struct+Spring+Hibernate或者是AJAX+Spring+Hibernate架構(gòu)，其共同點是均有Spring框架的使用，那么，如何實現(xiàn)對基于AOP(AOP為Aspect Oriented Programming的縮寫，意為：面向切面編程，通過預(yù)編譯方式和運行期動態(tài)代理實現(xiàn)程序功能的統(tǒng)一維護的一種技術(shù))的應(yīng)用程序的性能進行全面自動化分析和管理，以達到交付高性能軟件產(chǎn)品的目的就成為我們要解決的問題。目前，業(yè)界尚無一款通用的高效率的性能分析軟件，能夠基于Spring的AOP特征進行日志捕捉性能分析和統(tǒng)計優(yōu)化，并支持消息中間件和大數(shù)據(jù)的分析框架。

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題之一，在于提供一種無侵入式日志攔截性能分析方法，實現(xiàn)高效的自動化日志攔截和分析，并提高系統(tǒng)可視化程度，大大節(jié)約運維和研發(fā)人力成本，提高交付軟件產(chǎn)品的質(zhì)量。

本發(fā)明要解決的技術(shù)問題之一是這樣實現(xiàn)的：一種無侵入式日志攔截性能分析方法，包括如下步驟：

步驟1、創(chuàng)建一用于收集日志信息的攔截插件，并將所述插件植入業(yè)務(wù)應(yīng)用集群，根據(jù)所述插件上預(yù)先設(shè)置的跟蹤埋點，采集所述業(yè)務(wù)應(yīng)用集群的日志信息，并對采集到的日志信息進行全量格式化處理，同時將格式化后的日志信息發(fā)送給消息服務(wù)器，進入日志處理隊列；

步驟2、通過消息服務(wù)器將全量格式化處理后的日志信息傳送給Storm集群，在Strom中對格式化后的日志信息進行流式計算，得到相關(guān)統(tǒng)計信息；

步驟3、通過消息中間件將收集的全量格式化后的日志信息以HDFS(Hadoop分布式文件系統(tǒng)(HDFS)被設(shè)計成適合運行在通用硬件(commodity hardware)上的分布式文件系統(tǒng))格式存儲到Hadoop集群(Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu))，通過所述Storm集群計算結(jié)果并將實時信息以HBase(HBase是一個分布式的、面向列的開源數(shù)據(jù)庫)進行存儲，分析得到各性能參數(shù)指標；

步驟4、通過一日志分析服務(wù)器根據(jù)業(yè)務(wù)需要，從HDFS格式或Hbase集群中獲取日志信息以及分析結(jié)果，并將獲取到的數(shù)據(jù)進行處理后通過一交互界面展示給用戶，所述交互界面采用圖表形式進行展示。

進一步的，所述攔截插件包括一用于設(shè)置跟蹤埋點的中間件和一用于采集日志信息的信息收集模塊，所述信息收集模塊根據(jù)所述跟蹤埋點采集日志信息并將采集到的日志信息進行全量格式化處理。

進一步的，所述跟蹤埋點包括前置埋點、后置埋點、異常信息、執(zhí)行軌跡、請求者位置和響應(yīng)者位置。

進一步的，所述步驟4進一步包括：

步驟41、通過一日志分析服務(wù)器根據(jù)業(yè)務(wù)需要，從HDFS格式或Hbase集群中獲取日志信息以及分析結(jié)果；

步驟42、將獲取到的數(shù)據(jù)進行歸類，包括日志數(shù)據(jù)、事務(wù)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、統(tǒng)計分析數(shù)據(jù)和特征整合數(shù)據(jù)；

步驟43、通過一交互界面將上述數(shù)據(jù)以圖表形式展示給用戶，所述交互界面包括一健康儀表盤界面和應(yīng)用界面，所述健康儀表盤界面用于展示操作系統(tǒng)的運維狀況圖，所述應(yīng)用界面包括健康中心模塊、健康管家模塊、優(yōu)化專家模塊、跟蹤助手模塊、監(jiān)控與警告模塊和統(tǒng)一消息推送模塊，所述健康中心模塊用于以表格形式展示某一時刻的操作系統(tǒng)健康的各個指標信息，所述指標信息包括數(shù)據(jù)庫連接數(shù)、數(shù)據(jù)庫表空間和數(shù)據(jù)庫的執(zhí)行計劃變更數(shù)，所述健康管家模塊用于設(shè)置相關(guān)監(jiān)控指標和參數(shù)，所述優(yōu)化專家模塊用于向用戶展示操作系統(tǒng)中性能低的若干個指標項，所述跟蹤助手模塊用于采集報錯的入?yún)⒑统鰠⒉⒄故続PI((API全稱為Application Programming Interface，應(yīng)用程序編程接口)是一些預(yù)先定義的函數(shù))執(zhí)行路徑，所述監(jiān)控與告警模塊用于提供監(jiān)控視圖和閾值設(shè)置，所述統(tǒng)一消息推送模塊用于接受和發(fā)送指令。

進一步的，所述日志分析服務(wù)器還通過獲取HBase格式的日志信息完成用戶詳單信息查詢。

本發(fā)明要解決的技術(shù)問題之二，在于提供一種無侵入式日志攔截性能分析系統(tǒng)，實現(xiàn)高效的自動化日志攔截和分析，并提高系統(tǒng)可視化程度，大大節(jié)約運維和研發(fā)人力成本，提高交付軟件產(chǎn)品的質(zhì)量。

本發(fā)明要解決的技術(shù)問題之二是這樣實現(xiàn)的：一種無侵入式日志攔截性能分析系統(tǒng)，包括一獲取日志信息模塊、一轉(zhuǎn)發(fā)模塊、一存儲與分析模塊和一可視化模塊：

所述獲取日志信息模塊，用于創(chuàng)建一用于收集日志信息的攔截插件，并將所述插件植入業(yè)務(wù)應(yīng)用集群，根據(jù)所述插件上預(yù)先設(shè)置的跟蹤埋點，采集所述業(yè)務(wù)應(yīng)用集群的日志信息，并對采集到的日志信息進行全量格式化處理，同時將格式化后的日志信息發(fā)送給消息服務(wù)器，進入日志處理隊列；

所述轉(zhuǎn)發(fā)模塊，用于通過消息服務(wù)器將全量格式化處理后的日志信息傳送給Storm集群，在Strom中對格式化后的日志信息進行流式計算，得到相關(guān)統(tǒng)計信息；

所述存儲與分析模塊，用于通過消息服務(wù)器將收集的全量格式化后的日志信息以HDFS(Hadoop分布式文件系統(tǒng)(HDFS)被設(shè)計成適合運行在通用硬件(commodity hardware)上的分布式文件系統(tǒng))格式存儲到Hadoop集群(Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu))，通過所述Storm集群計算結(jié)果并將實時信息以HBase(HBase是一個分布式的、面向列的開源數(shù)據(jù)庫)進行存儲，分析得到各性能參數(shù)指標；

所述可視化模塊，用于通過一日志分析服務(wù)器根據(jù)業(yè)務(wù)需要，從HDFS格式或Hbase集群中獲取日志信息以及分析結(jié)果，并將獲取到的數(shù)據(jù)進行處理后通過一交互界面展示給用戶，所述交互界面采用圖表形式進行展示。

進一步的，所述攔截插件包括一用于設(shè)置跟蹤埋點的中間件和一用于采集日志信息的信息收集模塊，所述信息收集模塊根據(jù)所述跟蹤埋點采集日志信息并將采集到的日志信息進行全量格式化處理。

進一步的，所述跟蹤埋點包括前置埋點、后置埋點、異常信息、執(zhí)行軌跡、請求者位置和響應(yīng)者位置。

進一步的，所述可視化模塊進一步包括：

數(shù)據(jù)獲取模塊，用于通過一日志分析服務(wù)器根據(jù)業(yè)務(wù)需要，從HDFS格式或Hbase集群中獲取日志信息以及分析結(jié)果；

數(shù)據(jù)處理模塊，用于將獲取到的數(shù)據(jù)進行歸類，包括日志數(shù)據(jù)、事務(wù)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、統(tǒng)計分析數(shù)據(jù)和特征整合數(shù)據(jù)；以及

界面展示模塊，用于通過一交互界面將上述數(shù)據(jù)以圖表形式展示給用戶，所述交互界面包括一健康儀表盤界面和應(yīng)用界面，所述健康儀表盤界面用于展示操作系統(tǒng)的運維狀況圖，所述應(yīng)用界面包括健康中心模塊、健康管家模塊、優(yōu)化專家模塊、跟蹤助手模塊、監(jiān)控與警告模塊和統(tǒng)一消息推送模塊，所述健康中心模塊用于以表格形式展示某一時刻的操作系統(tǒng)健康的各個指標信息，所述指標信息包括數(shù)據(jù)庫連接數(shù)、數(shù)據(jù)庫表空間和數(shù)據(jù)庫的執(zhí)行計劃變更數(shù)，所述健康管家模塊用于設(shè)置相關(guān)監(jiān)控指標和參數(shù)，所述優(yōu)化專家模塊用于向用戶展示操作系統(tǒng)中性能低的若干個指標項，所述跟蹤助手模塊用于采集報錯的入?yún)⒑统鰠⒉⒄故続PI執(zhí)行路徑，所述監(jiān)控與告警模塊用于提供監(jiān)控視圖和閾值設(shè)置，所述統(tǒng)一消息推送模塊用于接受和發(fā)送指令。

進一步的，所述日志分析服務(wù)器還通過獲取HBase格式的日志信息完成用戶詳單信息查詢。

本發(fā)明具有如下優(yōu)點：

1、通過自動化日志攔截和分析，提升項目管理，避免運維人員7×24小時的值班，提高研發(fā)人員的工作效率，節(jié)約了運維和研發(fā)人力成本；

2、通過對軟件產(chǎn)品性能監(jiān)控與分析、預(yù)測、告警等，對軟件產(chǎn)品的性能實現(xiàn)預(yù)分析，避免軟件性能問題到測試和生產(chǎn)環(huán)節(jié)才發(fā)現(xiàn)，提高產(chǎn)品的可用性，提升客戶滿意度；

3、通過交互界面的設(shè)計，提高系統(tǒng)運維的可視化，實現(xiàn)問題的全面采集與分析，從而實現(xiàn)對系統(tǒng)全流程的監(jiān)控與告警。

附圖說明

下面參照附圖結(jié)合實施例對本發(fā)明作進一步的說明。

圖1為本發(fā)明一種無侵入式日志攔截性能分析方法執(zhí)行流程圖。

圖2為本發(fā)明一種無侵入式日志攔截性能分析系統(tǒng)框圖。

圖3為本發(fā)明一種無侵入式日志攔截性能分析原理示意圖。

具體實施方式

如圖1和圖3所示，一種無侵入式日志攔截性能分析方法，包括如下步驟：

步驟1、創(chuàng)建一用于收集日志信息的攔截插件，并將所述插件植入業(yè)務(wù)應(yīng)用集群，根據(jù)所述插件上預(yù)先設(shè)置的跟蹤埋點，采集所述業(yè)務(wù)應(yīng)用集群的日志信息，并對采集到的日志信息進行全量格式化處理，同時將格式化后的日志信息發(fā)送給消息服務(wù)器，進入日志處理隊列，所述攔截插件包括一用于設(shè)置跟蹤埋點的中間件和一用于采集日志信息的信息收集模塊，所述信息收集模塊根據(jù)所述跟蹤埋點采集日志信息并將采集到的日志信息進行全量格式化處理，所述跟蹤埋點包括前置埋點、后置埋點、異常信息、執(zhí)行軌跡、請求者位置和響應(yīng)者位置；

步驟2、通過消息服務(wù)器將全量格式化處理后的日志信息傳送給Storm集群，在Strom中對格式化后的日志信息進行流式計算，得到相關(guān)統(tǒng)計信息；

步驟3、通過消息服務(wù)器將收集的全量格式化后的日志信息以HDFS格式進行存儲到Hadoop集群，通過所述Storm集群計算結(jié)果并將實時信息以HBase進行存儲，分析得到各性能參數(shù)指標；

步驟4、通過一日志分析服務(wù)器根據(jù)業(yè)務(wù)需要，從HDFS格式或Hbase集群中獲取日志信息以及分析結(jié)果，并將獲取到的數(shù)據(jù)進行處理后通過一交互界面展示給用戶，所述交互界面采用圖表形式進行展示，所述步驟4進一步包括：

步驟41、通過一日志分析服務(wù)器根據(jù)業(yè)務(wù)需要，從HDFS格式或Hbase集群中獲取日志信息以及分析結(jié)果；

步驟42、將獲取到的數(shù)據(jù)進行歸類，包括日志數(shù)據(jù)、事務(wù)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、統(tǒng)計分析數(shù)據(jù)和特征整合數(shù)據(jù)；

步驟43、通過一交互界面將上述數(shù)據(jù)以圖表形式展示給用戶，所述交互界面包括一健康儀表盤界面和應(yīng)用界面，所述健康儀表盤界面用于展示操作系統(tǒng)的運維狀況圖，所述應(yīng)用界面包括健康中心模塊、健康管家模塊、優(yōu)化專家模塊、跟蹤助手模塊、監(jiān)控與警告模塊和統(tǒng)一消息推送模塊，所述健康中心模塊用于以表格形式展示某一時刻的操作系統(tǒng)健康的各個指標信息，所述指標信息包括數(shù)據(jù)庫連接數(shù)、數(shù)據(jù)庫表空間和數(shù)據(jù)庫的執(zhí)行計劃變更數(shù)，所述健康管家模塊用于設(shè)置相關(guān)監(jiān)控指標和參數(shù)，所述優(yōu)化專家模塊用于向用戶展示操作系統(tǒng)中性能低的若干個指標項，所述跟蹤助手模塊用于采集報錯的入?yún)⒑统鰠⒉⒄故続PI執(zhí)行路徑，所述監(jiān)控與告警模塊用于提供監(jiān)控視圖和閾值設(shè)置，所述統(tǒng)一消息推送模塊用于接受和發(fā)送指令。

所述日志分析服務(wù)器還通過獲取HBase格式的日志信息完成用戶詳單信息查詢。

如圖2和圖3所示，一種無侵入式日志攔截性能分析系統(tǒng)，包括一獲取日志信息模塊、一轉(zhuǎn)發(fā)模塊、一存儲與分析模塊和一可視化模塊：

所述獲取日志信息模塊，用于創(chuàng)建一用于收集日志信息的攔截插件，并將所述插件植入業(yè)務(wù)應(yīng)用集群，根據(jù)所述插件上預(yù)先設(shè)置的跟蹤埋點，采集所述業(yè)務(wù)應(yīng)用集群的日志信息，并對采集到的日志信息進行全量格式化處理，同時將格式化后的日志信息發(fā)送給消息服務(wù)器，進入日志處理隊列，所述攔截插件包括一用于設(shè)置跟蹤埋點的中間件和一用于采集日志信息的信息收集模塊，所述信息收集模塊根據(jù)所述跟蹤埋點采集日志信息并將采集到的日志信息進行全量格式化處理，所述跟蹤埋點包括前置埋點、后置埋點、異常信息、執(zhí)行軌跡、請求者位置和響應(yīng)者位置；

所述轉(zhuǎn)發(fā)模塊，用于通過消息服務(wù)器將全量格式化處理后的日志信息傳送給Storm集群，在Strom中對格式化后的日志信息進行流式計算，得到相關(guān)統(tǒng)計信息；

所述存儲與分析模塊，用于通過消息服務(wù)器將收集的全量格式化后的日志信息以HDFS格式進行存儲到Hadoop集群，通過所述Storm集群計算結(jié)果并將實時信息以HBase進行存儲，分析得到各性能參數(shù)指標；

所述可視化模塊，用于通過一日志分析服務(wù)器根據(jù)業(yè)務(wù)需要，從HDFS格式或Hbase集群中獲取日志信息以及分析結(jié)果，并將獲取到的數(shù)據(jù)進行處理后通過一交互界面展示給用戶，所述交互界面采用圖表形式進行展示，所述可視化模塊進一步包括：

數(shù)據(jù)獲取模塊，用于通過一日志分析服務(wù)器根據(jù)業(yè)務(wù)需要，從HDFS格式或Hbase集群中獲取日志信息以及分析結(jié)果；

數(shù)據(jù)處理模塊，用于將獲取到的數(shù)據(jù)進行歸類，包括日志數(shù)據(jù)、事務(wù)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、統(tǒng)計分析數(shù)據(jù)和特征整合數(shù)據(jù)；以及

界面展示模塊，用于通過一交互界面將上述數(shù)據(jù)以圖表形式展示給用戶，所述交互界面包括一健康儀表盤界面和應(yīng)用界面，所述健康儀表盤界面用于展示操作系統(tǒng)的運維狀況圖，所述應(yīng)用界面包括健康中心模塊、健康管家模塊、優(yōu)化專家模塊、跟蹤助手模塊、監(jiān)控與警告模塊和統(tǒng)一消息推送模塊，所述健康中心模塊用于以表格形式展示某一時刻的操作系統(tǒng)健康的各個指標信息，所述指標信息包括數(shù)據(jù)庫連接數(shù)、數(shù)據(jù)庫表空間和數(shù)據(jù)庫的執(zhí)行計劃變更數(shù)，所述健康管家模塊用于設(shè)置相關(guān)監(jiān)控指標和參數(shù)，所述優(yōu)化專家模塊用于向用戶展示操作系統(tǒng)中性能低的若干個指標項，所述跟蹤助手模塊用于采集報錯的入?yún)⒑统鰠⒉⒄故続PI執(zhí)行路徑，所述監(jiān)控與告警模塊用于提供監(jiān)控視圖和閾值設(shè)置，所述統(tǒng)一消息推送模塊用于接受和發(fā)送指令。

所述日志分析服務(wù)器還通過獲取HBase格式的日志信息完成用戶詳單信息查詢。

下面結(jié)合一具體實施例對本發(fā)明做進一步說明：

步驟1、創(chuàng)建一用于收集日志信息的攔截插件，并將所述插件植入業(yè)務(wù)應(yīng)用集群(例如客戶管理系統(tǒng)CRM)，所述攔截插件包括一用于設(shè)置跟蹤埋點的中間件和一用于采集日志信息的信息收集模塊，所述信息收集模塊根據(jù)所述跟蹤埋點采集日志信息并將采集到的日志信息進行全量格式化處理，同時將格式化后的日志信息發(fā)送給消息服務(wù)器，進入日志處理隊列，所述跟蹤埋點包括前置埋點、后置埋點、異常信息、執(zhí)行軌跡、請求者位置和響應(yīng)者位置；

步驟2、通過消息服務(wù)器將全量格式化處理后的日志信息傳送給Storm集群，在Strom中對格式化后的日志信息進行流式計算，得到相關(guān)統(tǒng)計信息，實現(xiàn)無延時的消息傳遞，實現(xiàn)高性能的日志采集和記錄，所述相關(guān)統(tǒng)計信息包括性能信息、時間信息、業(yè)務(wù)信息以及設(shè)備信息；

步驟3、通過消息服務(wù)器將收集的全量格式化后的日志信息以HDFS格式進行存儲到Hadoop集群，通過所述Storm集群計算結(jié)果并將實時信息以HBase進行存儲，分析得到各性能參數(shù)指標，所述以HBase格式的日志信息用于詳單信息的查詢；

步驟4、通過一日志分析服務(wù)器根據(jù)業(yè)務(wù)需要，從HDFS格式或Hbase集群中獲取日志信息以及分析結(jié)果，并將獲取到的數(shù)據(jù)進行處理后通過一交互界面展示給用戶，所述交互界面采用圖表形式進行展示，提供給用戶直觀的信息，提高系統(tǒng)性能可視化。所述步驟4進一步包括：

步驟41、通過一日志分析服務(wù)器根據(jù)業(yè)務(wù)需要，從HDFS格式或Hbase集群中獲取日志信息以及分析結(jié)果；

步驟42、將獲取到的數(shù)據(jù)進行歸類，包括日志數(shù)據(jù)、事務(wù)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、統(tǒng)計分析數(shù)據(jù)和特征整合數(shù)據(jù)；

步驟43、通過一交互界面將上述數(shù)據(jù)以圖表形式展示給用戶，所述交互界面包括一健康儀表盤界面和應(yīng)用界面，所述健康儀表盤界面用于展示操作系統(tǒng)的運維狀況圖，包括客戶端分布情況、服務(wù)器壓力情況、應(yīng)用服務(wù)器健康狀況、數(shù)據(jù)庫主機健康狀況、應(yīng)用程序性能情況等，以圖形化方式直觀地展示出來，所述應(yīng)用界面包括健康中心模塊、健康管家模塊、優(yōu)化專家模塊、跟蹤助手模塊、監(jiān)控與警告模塊和統(tǒng)一消息推送模塊，所述健康中心模塊用于以表格形式展示某一時刻的操作系統(tǒng)健康的各個指標信息，所述指標信息包括(儀表盤界面中的數(shù)據(jù)庫主機健康在某一時的數(shù)據(jù))數(shù)據(jù)庫連接數(shù)、數(shù)據(jù)庫表空間和數(shù)據(jù)庫的執(zhí)行計劃變更數(shù)，所述健康管家模塊用于設(shè)置相關(guān)監(jiān)控指標和參數(shù)，所述優(yōu)化專家模塊用于向用戶展示操作系統(tǒng)中性能低的若干個指標項，例如，按API執(zhí)行耗時的前10項、API執(zhí)行次數(shù)的前10項、數(shù)據(jù)庫腳本語句耗時的前10項或應(yīng)用服務(wù)器輪詢耗時的前10項進行展示，為系統(tǒng)優(yōu)化提供相應(yīng)的指標參數(shù)，所述跟蹤助手模塊用于采集報錯的入?yún)⒑统鰠⒉⒄故続PI執(zhí)行路徑，為研發(fā)人員提供快速定位分析問題的能力，實現(xiàn)對報錯的API執(zhí)行路徑的直觀展示并能快速定位到執(zhí)行路徑上的某個API報錯，所述監(jiān)控與告警模塊用于提供監(jiān)控視圖和閾值設(shè)置，從而在指標超過閾值的時候，發(fā)出告警短信，所述統(tǒng)一消息推送模塊用于接受和發(fā)送指令，完成相應(yīng)的告警、執(zhí)行等操作。

所述日志分析服務(wù)器還通過獲取HBase格式的日志信息完成用戶詳單信息查詢。

本發(fā)明通過自動化日志攔截和分析，提升項目管理，避免運維人員7×24小時的值班，提高研發(fā)人員的工作效率，節(jié)約了運維和研發(fā)人力成本；通過對軟件產(chǎn)品性能監(jiān)控與分析、預(yù)測、告警等，對軟件產(chǎn)品的性能實現(xiàn)預(yù)分析，避免軟件性能問題到測試和生產(chǎn)環(huán)節(jié)才發(fā)現(xiàn)，提高產(chǎn)品的可用性，提升客戶滿意度；通過交互界面的設(shè)計，提高系統(tǒng)運維的可視化，實現(xiàn)問題的全面采集與分析，從而實現(xiàn)對系統(tǒng)全流程的監(jiān)控與告警。

雖然以上描述了本發(fā)明的具體實施方式，但是熟悉本技術(shù)領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，我們所描述的具體的實施例只是說明性的，而不是用于對本發(fā)明的范圍的限定，熟悉本領(lǐng)域的技術(shù)人員在依照本發(fā)明的精神所作的等效的修飾以及變化，都應(yīng)當(dāng)涵蓋在本發(fā)明的權(quán)利要求所保護的范圍內(nèi)。