本發(fā)明涉及計算機
技術(shù)領(lǐng)域：
：，具體的說，是國網(wǎng)云中應(yīng)用的一種基于大數(shù)據(jù)運維日志的方法。
背景技術(shù)：
：：“國網(wǎng)云”包括生產(chǎn)控制云、企業(yè)管理云和公共服務(wù)云，分別為國家電網(wǎng)公司的生產(chǎn)控制、企業(yè)管理及對外服務(wù)提供相應(yīng)的技術(shù)支撐，而“國網(wǎng)云”平臺則是管理、調(diào)控、支撐這三朵云的核心。大數(shù)據(jù)(bigdata)，指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)運維日志主要來自于機器數(shù)據(jù)，機器數(shù)據(jù)主要是指來自服務(wù)器、存儲、網(wǎng)絡(luò)中的傳統(tǒng)接口數(shù)據(jù)，也常常被認(rèn)為是機器生產(chǎn)的數(shù)據(jù)，機器生成的數(shù)據(jù)是發(fā)展最快、最復(fù)雜同時也是最寶貴的那部分大數(shù)據(jù)，但是現(xiàn)有的大數(shù)據(jù)挖掘和數(shù)據(jù)分析基本上都是建立在人的行為和商業(yè)運作產(chǎn)生的數(shù)據(jù)上，當(dāng)服務(wù)器出錯時，運維人員需要進入每一臺服務(wù)器上應(yīng)用的安裝目錄，找到日志路徑，篩選日志產(chǎn)生的時間，再進入日志文本中查找關(guān)鍵字，找到報錯的日志信息。這樣運維人員需要經(jīng)過繁瑣的操作和篩選，才能將定位出錯的位置,并且傳統(tǒng)的日志服務(wù)器缺少實時過濾和深入分析日志能力，存在不能實時的分析和展示當(dāng)前狀況以及預(yù)測未來情況的問題。技術(shù)實現(xiàn)要素：本發(fā)明的目的在于提供國網(wǎng)云中應(yīng)用的一種基于大數(shù)據(jù)運維日志的方法，用于解決現(xiàn)有技術(shù)中運維日志出錯時運維人員需要進入服務(wù)器出錯日志的根目錄查找關(guān)鍵詞，篩選數(shù)據(jù)量較大、工作繁瑣、效率不高以及不能預(yù)測未來日志流量是否超出預(yù)警值的問題。為了達到上述目的，本發(fā)明通過下述技術(shù)方案實現(xiàn)：國網(wǎng)云中應(yīng)用的一種基于大數(shù)據(jù)運維日志的方法，包括搭建大數(shù)據(jù)運維日志的硬件環(huán)境、軟件環(huán)境和集群環(huán)境，還包括：1)采集日志信息并進行日志預(yù)處理，具體包括：1.1)從軟硬件設(shè)備采集日志信息，并采用shell腳本、python腳本或apache腳本中的任意一種對所述日志信息解析后轉(zhuǎn)換成統(tǒng)一的日志格式，所述日志信息包括計算機信息、系統(tǒng)信息、進程信息、磁盤信息、服務(wù)信息和應(yīng)用信息；1.2)用sql語言提取日志中的用戶名和ip地址，生成用于識別用戶的表格實現(xiàn)日志清洗去重，所述sql語言的代碼為：index＝splunk_monitoringsourcetype＝tcp//獲取索引和日志類型deduphost//去掉重復(fù)此主機的日志tablelocaladdresslocalportremotehostnameremoteportprocessnameusername//統(tǒng)計該日志字段的值，并生成表格；1.3)由所述表格中提取的用戶名和ip地址識別用戶，并生成以ip地址為主字段的記錄實現(xiàn)日志用戶識別；2)統(tǒng)計一段時間的日志流量，并據(jù)此預(yù)測出日志流量的走勢并生成流量走勢圖展示給用戶，具體包括：統(tǒng)計一段時間的日志流量，運用時間序列分析法進行日志流量統(tǒng)計，預(yù)測日志流量的走勢，為后續(xù)的日志流量預(yù)測模型提供數(shù)據(jù)；日志流量預(yù)測模型加載所述日志流量值并運行，并生成流量走勢圖，實時的預(yù)測日志流量；3)將步驟2)中生成的流量走勢圖通過展示界面可視化呈現(xiàn)。大數(shù)據(jù)運維日志分為日志預(yù)處理、日志流量預(yù)測、展示界面三大塊，通過腳本對日志進行解析后轉(zhuǎn)換成統(tǒng)一的日志格式，經(jīng)過日志的清洗和合并，提取以ip地址為主字段的記錄實現(xiàn)日志用戶識別，再通過時間序列分析法對日志流量進行統(tǒng)計，再采用日志流量預(yù)測模型進行預(yù)測，日志流量預(yù)測模型采用卡爾曼濾波算法模型，通過運行日志預(yù)處理后的信息，運行模型，最后生成展示界面。當(dāng)運維人員發(fā)現(xiàn)預(yù)測的流量繼續(xù)向上，并且將要超過以前的歷史流量高點時，可考慮在現(xiàn)有帶寬的基礎(chǔ)上進行擴容，實現(xiàn)對災(zāi)難的提前預(yù)警。進一步的優(yōu)選，所述展示界面還包括用于展示服務(wù)器運行情況的服務(wù)器監(jiān)控模塊，所述服務(wù)器監(jiān)控模塊分析本地服務(wù)器產(chǎn)生的日志信息，并顯示當(dāng)前服務(wù)器的動態(tài)實現(xiàn)監(jiān)控本地服務(wù)器以及采用splunk指定要訪問云上服務(wù)器，通過遠(yuǎn)程桌面連接云上服務(wù)器，收集云上服務(wù)器的數(shù)據(jù)至本地，從最新的日志數(shù)據(jù)中，提取出最新的服務(wù)器空間狀況，實現(xiàn)云上服務(wù)器的實時監(jiān)控。splunk是機器數(shù)據(jù)的引擎，使用splunk可收集、索引和利用所有應(yīng)用程序、服務(wù)器和設(shè)備(物理、虛擬和云中)生成的快速移動型計算機數(shù)據(jù)，從一個位置搜索并分析所有實時和歷史數(shù)據(jù)，實時的通過服務(wù)器產(chǎn)生的日志信息，觀察計算的各項指標(biāo)動態(tài)，不僅方便維護，更能防止服務(wù)器宕機，在服務(wù)器有多臺的時候，利用splunk收集和處理實時的日志數(shù)據(jù)，能將不同服務(wù)器之間的數(shù)據(jù)都收集在一起，通過提取到每臺服務(wù)器的日志，分析其動態(tài)，是可行且非常方便的。云上的服務(wù)器通過遠(yuǎn)程桌面連接，可以通過splunk指定接收服務(wù)器地址，同樣可將云上服務(wù)器的數(shù)據(jù)收集到本地來，一個界面就能看到所有云上服務(wù)器的狀態(tài)，從而實現(xiàn)本地服務(wù)器和云上服務(wù)器的實時監(jiān)控。進一步的優(yōu)選，所述展示界面還包括用于搜索日志信息的日志搜索模塊，所述日志搜索模塊將所有的日志實時的收集到一起，建立起一個統(tǒng)一的搜索中心，通過調(diào)用splunk的應(yīng)用組件創(chuàng)建輸入框?qū)崿F(xiàn)對日志的檢索，將各個服務(wù)器的日志匯總顯示，并建立數(shù)據(jù)索引owa；在所述數(shù)據(jù)索引owa中輸入關(guān)鍵字和錯誤出現(xiàn)的時間，實現(xiàn)對在線預(yù)覽文檔的officewebapps服務(wù)器進行日志的搜索排錯。通過建立日志統(tǒng)一搜索中心后，避免了到每臺服務(wù)器中，周而復(fù)始的進服務(wù)器找目錄，并且日志都是實時收集不存在延時問題。只需輸入關(guān)鍵字和錯誤出現(xiàn)的時間，就能夠快速的定位錯誤，從而快速的進行下一步操作解決錯誤，既方便又快捷。進一步的優(yōu)選，所述步驟2.1)中的收集信息包括：2.1.1)收集計算機信息，通過調(diào)用winhostmon：computer腳本實現(xiàn)對windows中計算機信息的日志收集，其中包括計算機名、所屬域信息，將splunk_monitoring作為存儲的索引，類型為computer，日志設(shè)置為每300秒刷新一次；2.1.2)收集操作系統(tǒng)信息，通過調(diào)用winhostmon：os腳本實現(xiàn)對操作系統(tǒng)信息的收集，其中包括操作系統(tǒng)版本、總的內(nèi)存容量和剰余內(nèi)存容量，存儲的索引為splunk_monitoring,類別為operatingsystem，設(shè)置300秒刷新一次系統(tǒng)信息日志；2.1.3)收集進程信息，通過調(diào)用winhostmon：processor腳本實現(xiàn)對進程信息的收集，其中包括進程名、所占用的空間大小，存儲的索引為：splunk_monitoring，類型為processor，設(shè)置10秒刷新一次進程日志；2.1.4)收集磁盤信息，通過調(diào)用winhostmon：dist腳本實現(xiàn)對磁盤信息的收集，存儲在索引splunk_monitoring的dist類型目錄下，其中包括磁盤名、磁盤的總?cè)萘?、磁盤剩余容量，設(shè)置每10秒刷新一次；2.1.5)收集服務(wù)信息，通過調(diào)用winhostmon：service腳本，實現(xiàn)對服務(wù)信息的收集，并將日志存儲在索引splunk_monitoring的service類型目錄下，其中包括服務(wù)名、服務(wù)進程id，日志設(shè)置每300秒刷新一次；2.1.6)收集應(yīng)用信息，通過調(diào)用winhostmon：application腳本，實現(xiàn)對應(yīng)用信息的收集，并將日志存儲在索引splunk_monitoring的application類型目錄下，其中包括應(yīng)用程序名、錯誤類型、錯誤描述，日志設(shè)置每10秒刷新一次；2.1.7)收集aix系統(tǒng)日志信息，通過在aix系統(tǒng)上部署通用轉(zhuǎn)發(fā)器，配置日志收集的腳本，實現(xiàn)對aix操作系統(tǒng)的日志收集，將收集的日志存儲在unix索引下。根據(jù)收集的不同信息，為不同類型的日志建立不同的索引，方便后續(xù)的調(diào)用索引操作。進一步的優(yōu)選，所述集群環(huán)境由主節(jié)點(masternode)、對等節(jié)點(peersnode)、搜索頭節(jié)點(searchhead)和日志收集節(jié)點(forwarders)構(gòu)成，其中：主節(jié)點(masternode)：用于查看所述數(shù)據(jù)索引owa在對等節(jié)點間的分布狀況，管理搜索頭節(jié)點(searchhead)，設(shè)置復(fù)制因子和搜索因子，所述復(fù)制因子即為可復(fù)制的份數(shù)，所述搜索因子為提供搜索的份數(shù)；搜索頭節(jié)點(searchhead)：用于對收集的日志進行處理；對等節(jié)點(peersnode)：用于存儲索引文件，多個對等節(jié)點的索引文件配置相同，實現(xiàn)多個節(jié)點之間的負(fù)載均衡和同步復(fù)制；日志收集節(jié)點(forwarders)：上層日志的源頭，用于對每個子節(jié)點數(shù)據(jù)進行收集，通過分布式的分發(fā)給多個索引，實現(xiàn)分布式的實時處理。通過多個節(jié)點實現(xiàn)分布式的實時處理來達到加快數(shù)據(jù)處理速度的目的。進一步的優(yōu)選，所述主節(jié)點(masternode)設(shè)有管理界面，所述管理界面用于：管理對等節(jié)點(peersnode)：由主節(jié)點(masternode)的管理界面查看對等節(jié)點(peersnode)的運行狀態(tài)、增加或刪除對等節(jié)點(peersnode)；管理數(shù)據(jù)索引owa：可實時查看索引的復(fù)制狀態(tài)；管理搜索頭節(jié)點(searchhead)：因為主節(jié)點(masternode)會自動的創(chuàng)建一個搜索頭節(jié)點，并且可以在主節(jié)點(masternode)的管理界面查看搜索頭節(jié)點(searchhead)的運行狀況，増加或刪除搜索頭節(jié)點(searchhead)。整個節(jié)點架構(gòu)是通過從日志收集節(jié)點執(zhí)行日志收集腳本，再將收集的日志分別傳輸?shù)蕉鄠€對等節(jié)點(peersnode)，在傳輸?shù)倪^程中實現(xiàn)對日志收集節(jié)點(forwarders)的負(fù)載均衡，并且保證數(shù)據(jù)完整性，在對等節(jié)點(peersnode)收到日志數(shù)據(jù)后，通過對等節(jié)點(peersnode)之間的索引同步，實現(xiàn)多個索引數(shù)據(jù)一致，而對等節(jié)點(peersnode)接收的量值是由主節(jié)點(masternode)來調(diào)控的，在對等節(jié)點(peersnode)收到數(shù)據(jù)后，捜索頭節(jié)點就可以檢索對等節(jié)點(peersnode)里的數(shù)據(jù)，實現(xiàn)對日志結(jié)果的操作。進一步的優(yōu)選，所述日志流量預(yù)測模型基于卡爾曼濾波算法預(yù)測模型?？柭鼮V波(kalmanfiltering)一種利用線性系統(tǒng)狀態(tài)方程，通過系統(tǒng)輸入輸出觀測數(shù)據(jù)，對系統(tǒng)狀態(tài)進行最優(yōu)估計的算法。由于觀測數(shù)據(jù)中包括系統(tǒng)中的噪聲和干擾的影響，所以最優(yōu)估計也可看作是濾波過程?？柭鼮V波預(yù)測模型通過對每個小時的日志流量的統(tǒng)計，可以確切推出日志量的一個走勢，并利用走勢圖，可以發(fā)現(xiàn)明顯的一些規(guī)律，同時也能利用卡爾曼濾波算法的實時性，實時得出下個時間段的預(yù)測值。本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點及有益效果：本發(fā)明可以實現(xiàn)服務(wù)器監(jiān)控，查看服務(wù)器的具體資源所占用的空間及運行狀態(tài)，當(dāng)空間占用過高或者服務(wù)處于異常時，給出特殊顏色提醒維護人員進行及時的維護，從而更高效的工作，建立統(tǒng)一日志搜索中心，通過對日志字段進行搜索，能夠快速的定位錯誤，通過以前累積的日志數(shù)據(jù)，運用數(shù)據(jù)挖掘中的時間序列分析法，對日志流量實現(xiàn)提前預(yù)測，對未來流量是否會超出預(yù)警值，進行提前預(yù)警。附圖說明圖1為本發(fā)明的系統(tǒng)原理框圖。具體實施方式首先，在對本發(fā)明的具體實施例進行詳述之前，對本文中涉及的專有名詞給予解釋：owa:即officewebapps的縮寫，是由微軟推出的基于web端的在線辦公工具，它將microsoftoffice2010產(chǎn)品的體驗延伸到可支持的瀏覽器上。officewebapps讓你可以從幾乎任何地方共享自己office文檔；宕機,指系統(tǒng)無法從一個系統(tǒng)錯誤中恢復(fù)過來，或系統(tǒng)硬件層面出問題，以致系統(tǒng)長時間無響應(yīng)，而不得不重啟動系統(tǒng)的現(xiàn)象；乘號“×”與點乘“·”的區(qū)別：點乘“·”是數(shù)組的運算，要求參與運算的兩個量必須是維數(shù)相同，是對應(yīng)元素的相乘。乘號“×”是矩陣或逆矩陣的運算要求前一個矩陣的列的維數(shù)等于后一個矩陣的行的維數(shù)。a.*b表示的是兩個矩陣的對應(yīng)元素相乘，其中生成的同階矩陣c的對應(yīng)的矩陣元素為：c(i,j)＝a(i,j)*b(i,j)；而如果a·b的話，則是正常的矩陣相乘，并非是對應(yīng)的元素相乘。下面結(jié)合實施例對本發(fā)明作進一步地詳細(xì)說明，但本發(fā)明的實施方式不限于此。實施例1：結(jié)合附圖1所示，國網(wǎng)云中應(yīng)用的一種基于大數(shù)據(jù)運維日志的方法，包括搭建大數(shù)據(jù)運維日志的硬件環(huán)境、軟件環(huán)境和集群環(huán)境，還包括：1)采集日志信息并進行日志預(yù)處理，具體包括：1.1)從軟硬件設(shè)備采集日志信息，并采用shell腳本、python腳本或apache腳本中的任意一種對所述日志信息解析后轉(zhuǎn)換成統(tǒng)一的日志格式，所述日志信息包括計算機信息、系統(tǒng)信息、進程信息、磁盤信息、服務(wù)信息和應(yīng)用信息；1.2)用sql語言提取日志中的用戶名和ip地址，生成用于識別用戶的表格實現(xiàn)日志清洗去重，所述sql語言的代碼為：index＝splunk_monitoringsourcetype＝tcp//獲取索引和日志類型deduphost//去掉重復(fù)此主機的日志tablelocaladdresslocalportremotehostnameremoteportprocessnameusername//統(tǒng)計該日志字段的值，并生成表格；1.3)由所述表格中提取的用戶名和ip地址識別用戶，并生成以ip地址為主字段的記錄實現(xiàn)日志用戶識別；2)統(tǒng)計一段時間的日志流量，并據(jù)此預(yù)測出日志流量的走勢并生成流量走勢圖展示給用戶，具體包括：統(tǒng)計一段時間的日志流量，運用時間序列分析法進行日志流量統(tǒng)計，預(yù)測日志流量的走勢，為后續(xù)的日志流量預(yù)測模型提供數(shù)據(jù)；日志流量預(yù)測模型加載所述日志流量值并運行，并生成流量走勢圖，實時的預(yù)測日志流量；3)將步驟2)中生成的流量走勢圖通過展示界面可視化呈現(xiàn)。大數(shù)據(jù)運維日志分為日志預(yù)處理、日志流量預(yù)測、展示界面三大塊，通過腳本對日志進行解析后轉(zhuǎn)換成統(tǒng)一的日志格式，經(jīng)過日志的清洗和合并，提取以ip地址為主字段的記錄實現(xiàn)日志用戶識別，再通過時間序列分析法對日志流量進行統(tǒng)計，再采用日志流量預(yù)測模型進行預(yù)測，日志流量預(yù)測模型采用卡爾曼濾波算法模型，通過運行日志預(yù)處理后的信息，運行模型，最后生成展示界面。當(dāng)運維人員發(fā)現(xiàn)預(yù)測的流量繼續(xù)向上，并且將要超過以前的歷史流量高點時，可考慮在現(xiàn)有帶寬的基礎(chǔ)上進行擴容，實現(xiàn)對災(zāi)難的提前預(yù)警。實施例2：在實施例1的基礎(chǔ)上，結(jié)合附圖1所示，所述展示界面還包括用于展示服務(wù)器運行情況的服務(wù)器監(jiān)控模塊，所述服務(wù)器監(jiān)控模塊分析本地服務(wù)器產(chǎn)生的日志信息，并顯示當(dāng)前服務(wù)器的動態(tài)實現(xiàn)監(jiān)控本地服務(wù)器以及采用splunk指定要訪問云上服務(wù)器，通過遠(yuǎn)程桌面連接云上服務(wù)器，收集云上服務(wù)器的數(shù)據(jù)至本地，從最新的日志數(shù)據(jù)中，提取出最新的服務(wù)器空間狀況，實現(xiàn)云上服務(wù)器的實時監(jiān)控。splunk是機器數(shù)據(jù)的引擎，使用splunk可收集、索引和利用所有應(yīng)用程序、服務(wù)器和設(shè)備(物理、虛擬和云中)生成的快速移動型計算機數(shù)據(jù)，從一個位置搜索并分析所有實時和歷史數(shù)據(jù)，實時的通過服務(wù)器產(chǎn)生的日志信息，觀察計算的各項指標(biāo)動態(tài)，不僅方便維護，更能防止服務(wù)器宕機，在服務(wù)器有多臺的時候，利用splunk收集和處理實時的日志數(shù)據(jù)，能將不同服務(wù)器之間的數(shù)據(jù)都收集在一起，通過提取到每臺服務(wù)器的日志，分析其動態(tài)，是可行且非常方便的。云上的服務(wù)器通過遠(yuǎn)程桌面連接，可以通過splunk指定接收服務(wù)器地址，同樣可將云上服務(wù)器的數(shù)據(jù)收集到本地來，一個界面就能看到所有云上服務(wù)器的狀態(tài)，從而實現(xiàn)本地服務(wù)器和云上服務(wù)器的實時監(jiān)控。實施例3：在實施例1的基礎(chǔ)上，結(jié)合附圖1所示，所述展示界面還包括用于搜索日志信息的日志搜索模塊，所述日志搜索模塊將所有的日志實時的收集到一起，建立起一個統(tǒng)一的搜索中心，通過調(diào)用splunk的應(yīng)用組件創(chuàng)建輸入框?qū)崿F(xiàn)對日志的檢索，將各個服務(wù)器的日志匯總顯示，并建立數(shù)據(jù)索引owa；在所述數(shù)據(jù)索引owa中輸入關(guān)鍵字和錯誤出現(xiàn)的時間，實現(xiàn)對在線預(yù)覽文檔的officewebapps服務(wù)器進行日志的搜索排錯。通過建立日志統(tǒng)一搜索中心后，避免了到每臺服務(wù)器中，周而復(fù)始的進服務(wù)器找目錄，并且日志都是實時收集不存在延時問題。只需輸入關(guān)鍵字和錯誤出現(xiàn)的時間，就能夠快速的定位錯誤，從而快速的進行下一步操作解決錯誤，既方便又快捷。實施例4：在實施例1的基礎(chǔ)上，結(jié)合附圖1所示，所述步驟2.1)中的收集信息包括：2.1.1)收集計算機信息，通過調(diào)用winhostmon：computer腳本實現(xiàn)對windows中計算機信息的日志收集，其中包括計算機名、所屬域信息，將splunk_monitoring作為存儲的索引，類型為computer，日志設(shè)置為每300秒刷新一次；2.1.2)收集操作系統(tǒng)信息，通過調(diào)用winhostmon：os腳本實現(xiàn)對操作系統(tǒng)信息的收集，其中包括操作系統(tǒng)版本、總的內(nèi)存容量和剰余內(nèi)存容量，存儲的索引為splunk_monitoring,類別為operatingsystem，設(shè)置300秒刷新一次系統(tǒng)信息日志；2.1.3)收集進程信息，通過調(diào)用winhostmon：processor腳本實現(xiàn)對進程信息的收集，其中包括進程名、所占用的空間大小，存儲的索引為：splunk_monitoring，類型為processor，設(shè)置10秒刷新一次進程日志；2.1.4)收集磁盤信息，通過調(diào)用winhostmon：dist腳本實現(xiàn)對磁盤信息的收集，存儲在索引splunk_monitoring的dist類型目錄下，其中包括磁盤名、磁盤的總?cè)萘?、磁盤剩余容量，設(shè)置每10秒刷新一次；2.1.5)收集服務(wù)信息，通過調(diào)用winhostmon：service腳本，實現(xiàn)對服務(wù)信息的收集，并將日志存儲在索引splunk_monitoring的service類型目錄下，其中包括服務(wù)名、服務(wù)進程id，日志設(shè)置每300秒刷新一次；2.1.6)收集應(yīng)用信息，通過調(diào)用winhostmon：application腳本，實現(xiàn)對應(yīng)用信息的收集，并將日志存儲在索引splunk_monitoring的application類型目錄下，其中包括應(yīng)用程序名、錯誤類型、錯誤描述，日志設(shè)置每10秒刷新一次；2.1.7)收集aix系統(tǒng)日志信息，通過在aix系統(tǒng)上部署通用轉(zhuǎn)發(fā)器，配置日志收集的腳本，實現(xiàn)對aix操作系統(tǒng)的日志收集，將收集的日志存儲在unix索引下。根據(jù)收集的不同信息，為了方便后續(xù)的調(diào)用索引操作，需要為不同類型的日志建立不同的索引。實施例5：在實施例1的基礎(chǔ)上，結(jié)合附圖1所示，所述集群環(huán)境由主節(jié)點(masternode)、對等節(jié)點(peersnode)、搜索頭節(jié)點(searchhead)和日志收集節(jié)點(forwarders)構(gòu)成，其中：主節(jié)點(masternode)：用于查看所述數(shù)據(jù)索引owa在對等節(jié)點間的分布狀況，管理搜索頭節(jié)點(searchhead)，設(shè)置復(fù)制因子和搜索因子，所述復(fù)制因子即為可復(fù)制的份數(shù)，所述搜索因子為提供搜索的份數(shù)；搜索頭節(jié)點(searchhead)：用于對收集的日志進行處理；對等節(jié)點(peersnode)：用于存儲索引文件，多個對等節(jié)點的索引文件配置相同，實現(xiàn)多個節(jié)點之間的負(fù)載均衡和同步復(fù)制；日志收集節(jié)點(forwarders)：上層日志的源頭，用于對每個子節(jié)點數(shù)據(jù)進行收集，通過分布式的分發(fā)給多個索引，實現(xiàn)分布式的實時處理。通過多個節(jié)點實現(xiàn)分布式的實時處理來達到加快數(shù)據(jù)處理速度的目的。進一步的優(yōu)選，所述主節(jié)點(masternode)設(shè)有管理界面，所述管理界面用于：管理對等節(jié)點(peersnode)：由主節(jié)點(masternode)的管理界面查看對等節(jié)點(peersnode)的運行狀態(tài)、增加或刪除對等節(jié)點(peersnode)；管理數(shù)據(jù)索引owa：可實時查看索引的復(fù)制狀態(tài)；管理搜索頭節(jié)點(searchhead)：因為主節(jié)點(masternode)會自動的創(chuàng)建一個搜索頭節(jié)點，并且可以在主節(jié)點(masternode)的管理界面查看搜索頭節(jié)點的運行狀況，増加或刪除搜索頭節(jié)點。整個節(jié)點架構(gòu)是通過從日志收集節(jié)點(forwarders)執(zhí)行日志收集腳本，再將收集的日志分別傳輸?shù)蕉鄠€對等節(jié)點(peersnode)，在傳輸?shù)倪^程中實現(xiàn)對日志收集節(jié)點(forwarders)的負(fù)載均衡，并且保證數(shù)據(jù)完整性，在對等節(jié)點(peersnode)收到日志數(shù)據(jù)后，通過對等節(jié)點(peersnode)之間的索引同步，實現(xiàn)多個索引數(shù)據(jù)一致，而對等節(jié)點(peersnode)接收的量值是由主節(jié)點(masternode)來調(diào)控的，在對等節(jié)點收到數(shù)據(jù)后，捜索頭節(jié)點(searchhead)就可以檢索對等節(jié)點(peersnode)里的數(shù)據(jù)，實現(xiàn)對日志結(jié)果的操作。實施例6：在以上實施例的基礎(chǔ)上，結(jié)合附圖1所示，所述日志流量預(yù)測模型基于卡爾曼濾波算法預(yù)測模型。卡爾曼濾波(kalmanfiltering)一種利用線性系統(tǒng)狀態(tài)方程，通過系統(tǒng)輸入輸出觀測數(shù)據(jù)，對系統(tǒng)狀態(tài)進行最優(yōu)估計的算法。由于觀測數(shù)據(jù)中包括系統(tǒng)中的噪聲和干擾的影響，所以最優(yōu)估計也可看作是濾波過程?？柭鼮V波預(yù)測模型通過對每個小時的日志流量的統(tǒng)計，可以確切推出日志量的一個走勢，并利用走勢圖，可以發(fā)現(xiàn)明顯的一些規(guī)律，同時也能利用卡爾曼濾波算法的實時性，實時得出下個時間段的預(yù)測值。采用信號與噪聲的狀態(tài)空間模型，利用前一時刻地估計值和現(xiàn)時刻的觀測值來更新對狀態(tài)變量的估計，求出現(xiàn)時刻的估計值。它適合于實時處理和計算機運算?，F(xiàn)設(shè)線性時變系統(tǒng)的離散狀態(tài)方程和觀測方程為：x(t)＝f(t,t-1)·x(t-1)+t(t,t-1)·u(t-1)y(t)＝h(t)·x(t)+n(t)其中,x(t)和y(t)分別是t時刻的狀態(tài)矢量和觀測矢量，f(t,t-1)為狀態(tài)轉(zhuǎn)移矩陣，u(t)為t時刻動態(tài)噪聲，t(t,t-1)為系統(tǒng)控制矩陣，h(t)為t時刻觀測矩陣，n(t)為t時刻觀測噪聲，則卡爾曼濾波的算法流程為：預(yù)估計x(t)^＝f(t,t-1)·x(t-1)預(yù)估計協(xié)方差矩陣：c(t)^＝f(t,t-1)×c(t)×f(t,t-1)'+t(t,t-1)×q(t)×t(t,t-1)'q(t)＝u(t)×u(t)'卡爾曼增益矩陣：t(t)＝c(t)^×h(t)'×[h(t)×c(t)^×h(t)'+r(t)]^(-1)r(t)＝n(t)×n(t)'更新估計x(t)～＝x(t)^+t(t)×[y(t)-h(t)×x(t)^]計算更新后估計協(xié)方差矩陣：c(t)～＝[i-t(t)×h(t)]×c(t)^×[i-t(t)×h(t)]'+t(t)×r(t)×t(t)'x(t+1)＝x(t)～c(t+1)＝c(t)～重復(fù)以上步驟，估算當(dāng)前時刻與前一時刻的系統(tǒng)預(yù)測誤差，如果超出預(yù)測區(qū)間，則結(jié)束，發(fā)出預(yù)警，提醒運維人員及時的帶寬擴容，防止業(yè)務(wù)系統(tǒng)的訪問異常。以上所述，僅是本發(fā)明的較佳實施例，并非對本發(fā)明做任何形式上的限制，凡是依據(jù)本發(fā)明的技術(shù)實質(zhì)對以上實施例所作的任何簡單修改、等同變化，均落入本發(fā)明的保護范圍之內(nèi)。當(dāng)前第1頁12當(dāng)前第1頁12