專利名稱：一種集群存儲系統(tǒng)的日志管理優(yōu)化方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種集群存儲管理技術(shù)領(lǐng)域，集群存儲是通過將數(shù)據(jù)分布到集群中各節(jié)點的存儲方式，提供單一的使用接口與界面，使用戶可以方便地對所有數(shù)據(jù)進行統(tǒng)一使用與管理。集群存儲管理是對構(gòu)成集群存儲系統(tǒng)的集群節(jié)點進行軟件部署配置和環(huán)境監(jiān)測，使其達到集群存儲系統(tǒng)的部署需求，當(dāng)集群節(jié)點出現(xiàn)故障，集群系統(tǒng)必須迅速做出反應(yīng)，將分布在本節(jié)點的存儲空間轉(zhuǎn)移到其他節(jié)點。檢測節(jié)點故障異常信息，檢測集群存儲系統(tǒng)資源轉(zhuǎn)移情況變得尤為重要。
背景技術(shù)：
在信息爆炸式增長的時代，文件大小和數(shù)據(jù)規(guī)模邁向TB級甚至PB級已成現(xiàn)實，集群存儲系統(tǒng)節(jié)點數(shù)已達到64節(jié)點集群數(shù)目，管理如此龐大的集群系統(tǒng)已經(jīng)成為數(shù)據(jù)中心所面臨的嚴(yán)峻挑戰(zhàn)。及時跟蹤集群節(jié)點運行狀態(tài)，精確定位節(jié)點出錯信息變得尤為重要。在集群存儲系統(tǒng)實際的運行中，目前較為流行一種集群存儲系統(tǒng)日志管理方法為，定時或?qū)崟r發(fā)送系統(tǒng)日志，實現(xiàn)了日志的集中傳輸，但是沒有對日志進行分析和管理，不能全局的了解整個集群存儲系統(tǒng)的運行情況，不能快速的定位到錯誤信息。但是隨著集群節(jié)點數(shù)的增多，對集群系統(tǒng)管理變得越來越復(fù)雜，精確定位集群節(jié)點的錯誤日志信息變得越來越困難。 傳統(tǒng)的日志管理方法是定時或?qū)崟r發(fā)送系統(tǒng)日志，實現(xiàn)了日志的集中傳輸，但是沒有對日志進行分析和整理，隨著節(jié)點數(shù)增多，應(yīng)用模塊增多，日志信息量龐大，不能全局的了解整個集群存儲系統(tǒng)的運行情況，不能快速的定位到錯誤信息。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種集群存儲系統(tǒng)的日志管理優(yōu)化方法，該方法是對分散在各集群節(jié)點的日志進行集中、分析匯總，優(yōu)化日志存儲方法，提供日志查看策略使系統(tǒng)管理者能快速定位集群存儲系統(tǒng)的錯誤日志信息，查看集群存儲的某應(yīng)用的整體日志信息。該方法包括四大模塊日志集中策略、日志分析策略、日志存儲策略和日志顯示策略，首先通過日志集中策略將分散在各集群節(jié)點的日子集中到日志服務(wù)器，在日志服務(wù)器上運用日志分析策略對收集的日志信息進行分類提取，刪除冗余信息減少日志空間，運用日志存儲策略對日志分析結(jié)果進行存儲，建立日志存儲文件和相應(yīng)的日志數(shù)據(jù)庫索引表， 最后通過日志查看策略提取日志數(shù)據(jù)庫索引表內(nèi)容，查看日志文件信息。日志集中策略是把集群節(jié)點的日志發(fā)送到日志服務(wù)器上進行集中管理，該模塊發(fā)送日志時沿用傳統(tǒng)方法，集群節(jié)點實時地將系統(tǒng)日志發(fā)送到日志服務(wù)器，日志服務(wù)器接受日志，并對接受的日志進行日志分析處理。日志分析策略是將集群節(jié)點的日志進行分析處理，根據(jù)設(shè)定的應(yīng)用模塊包括文件系統(tǒng)，高可用，監(jiān)控，網(wǎng)絡(luò)標(biāo)識進行過濾處理，使日志可以分類存儲；對集群節(jié)點相同的日志進行過濾，以防止相同日志信息占用日志空間；提取日志時間，節(jié)點信息，方便日志存儲和索引。日志存儲策略分為日志文件存儲和日志記錄數(shù)據(jù)庫存儲，日志文件存儲是在集群日志服務(wù)中分類存儲各集群節(jié)點日志文件，日志記錄數(shù)據(jù)庫存儲是將日志分析策略得到的各分類日志以時間和節(jié)點名為索弓丨，引用日志存儲文件，建立日志索引表，以方便用戶查看；日志存儲策略還對日志進行壓縮，以減少日志文件占用空間；日志文件有效期是有限的，過期日志不需要保存，故對過期日志文件輪詢刪除。日志查看策略是在web系統(tǒng)上設(shè)置日志查看器，查看器按日志類型進行分類查看，對應(yīng)數(shù)據(jù)庫中的日志索引表，并根據(jù)索引表中日志URL引用，獲得實時的日志信息，從而實現(xiàn)對日志信息的分類與匯總。用戶選擇相應(yīng)的時間，日志類型，就能查看集群存儲應(yīng)用模塊所有集群節(jié)點的日志信息。本發(fā)明的優(yōu)異效果是對分散在各集群節(jié)點的日志進行集中、分析匯總，優(yōu)化日志存儲方法，提供日志查看策略使系統(tǒng)管理者能快速定位集群存儲系統(tǒng)的錯誤日志信息，清晰地獲取有用的日志信息，了解各應(yīng)用模塊整體運行情況，并及時有效地跟蹤系統(tǒng)日志記錄，保障系統(tǒng)的安全性。


圖1集群存儲系統(tǒng)日志管理架構(gòu)圖； 圖2日志信息管理結(jié)構(gòu)圖。
具體實施例方式參照說明書附圖對本發(fā)明的方法作以下詳細地說明。編寫日志集中函數(shù)，可采用傳統(tǒng)的SYSLOG技術(shù)，實現(xiàn)集群節(jié)點日志發(fā)送；
編寫日志分析函數(shù)，確定應(yīng)用模塊關(guān)鍵字，對各應(yīng)用模塊日志進行分析提取，采用正則表達式搜索方法實現(xiàn)。編寫日志存儲數(shù)據(jù)庫函數(shù)，建立日志索引表，可采用mysql等數(shù)據(jù)庫實現(xiàn)，將提取信息按索引格式存放到數(shù)據(jù)庫中；
編寫日志文件存儲函數(shù)，根據(jù)日志分析函數(shù)，將日志集中的文件按日志類型分類； 編寫日志查看函數(shù)，建立web頁面，根據(jù)日志應(yīng)用模塊分類建立查詢機制，連接到數(shù)據(jù)庫索引表，根據(jù)索引表快速的獲得所要查詢?nèi)罩拘畔?。除說明書所述的技術(shù)特征外，均為本專業(yè)技術(shù)人員的已知技術(shù)。
權(quán)利要求
1.1、一種集群存儲系統(tǒng)的日志管理優(yōu)化方法，其特征在于，通過將各個節(jié)點的日志采用實時兩種方式發(fā)送到日志服務(wù)器上進行集中管理和分析，根據(jù)分析結(jié)果存儲日志文件， 建立壓縮策略，并利用數(shù)據(jù)庫為日志建立日志索引表，最后通過日志查看策略將各模塊的日志查詢結(jié)果展示給用戶，包括日志集中策略模塊、日志分析策略模塊、日志存儲策略模塊和日志顯示策略模塊，其中日志集中策略模塊是把集群節(jié)點的日志發(fā)送到日志服務(wù)器上進行集中管理，該模塊發(fā)送日志時沿用傳統(tǒng)方法，集群節(jié)點實時地將系統(tǒng)日志發(fā)送到日志服務(wù)器，日志服務(wù)器接受日志，并對接受的日志進行日志分析處理；日志分析策略模塊是將集群節(jié)點的日志進行分析處理，根據(jù)設(shè)定的應(yīng)用模塊包括 文件系統(tǒng)，高可用，監(jiān)控，網(wǎng)絡(luò)，標(biāo)識進行過濾處理，使日志分類存儲；對集群節(jié)點相同的日志進行過濾，以防止相同日志信息占用日志空間；提取日志時間，節(jié)點信息，方便日志存儲和索引；日志存儲策略模塊分為日志文件存儲和日志記錄數(shù)據(jù)庫存儲，日志文件存儲是在集群日志服務(wù)中分類存儲各集群節(jié)點日志文件，日志記錄數(shù)據(jù)庫存儲是將日志分析策略得到的各分類日志以時間和節(jié)點名為索引，引用日志存儲文件，建立日志索引表，以方便用戶查看；日志存儲策略模塊還對日志進行壓縮，以減少日志文件占用空間；日志文件有效期是有限的，過期日志不需要保存，故對過期日志文件輪詢刪除；日志查看策略模塊是在web系統(tǒng)上設(shè)置日志查看器，查看器按日志類型進行分類查看，對應(yīng)數(shù)據(jù)庫中的日志索引表，并根據(jù)索引表中日志url引用，獲得實時的日志信息，從而實現(xiàn)對日志信息的分類與匯總，用戶選擇相應(yīng)的時間，日志類型，就能查看集群某應(yīng)用模塊所有集群節(jié)點的日志信息。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，日志集中策略模塊在日志發(fā)送前，集群存儲各節(jié)點日志寫入時根據(jù)應(yīng)用類型添加應(yīng)用標(biāo)識；集群節(jié)點實時向日志服務(wù)器發(fā)送日志， 日志服務(wù)器接受日志。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于日志分析策略模塊，對各集群節(jié)點系統(tǒng)日志按照應(yīng)用模塊進行分析處理，對重復(fù)日志過濾處理，通過日志分析，根據(jù)日志生成的時間與節(jié)點名進行排序。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于日志存儲策略模塊，將集群系統(tǒng)日志文件分類存儲，并對日志文件進行整合；整合分類結(jié)果，將日志按照時間與節(jié)點名作為索引對日志文件匯總，建立對日志文件的引用；制定合理的日志壓縮策略，對超過限界的日志進行壓縮處理；對過期的日志設(shè)置刪除的策略。
5.根據(jù)權(quán)利要求4所屬的方法，其特征在于日志查看策略模塊，建立web系統(tǒng)訪問頁面與數(shù)據(jù)庫索引表的關(guān)系，通過日志索引表查看后端日志文件;web界面按照系統(tǒng)應(yīng)用模塊進行分類查詢。
全文摘要
本發(fā)明提供一種集群存儲系統(tǒng)的日志管理優(yōu)化方法，該方法是通過將各個節(jié)點的日志采用實時兩種方式發(fā)送到日志服務(wù)器上進行集中管理和分析，根據(jù)分析結(jié)果存儲日志文件，建立壓縮策略，并利用數(shù)據(jù)庫為日志建立日志索引表，最后通過日志查看策略將各模塊的日志查詢結(jié)果展示給用戶，包括日志集中策略模塊、日志分析策略模塊、日志存儲策略模塊和日志顯示策略模塊，對分散在各集群節(jié)點的日志進行集中、分析匯總，優(yōu)化日志存儲方法，提供日志查看策略使系統(tǒng)管理者能快速定位集群存儲系統(tǒng)的錯誤日志信息，清晰地獲取有用的日志信息，了解各應(yīng)用模塊整體運行情況，并及時有效地跟蹤系統(tǒng)日志記錄，保障系統(tǒng)的安全性。
文檔編號G06F11/34GK102411533SQ20111022581
公開日2012年4月11日 申請日期2011年8月8日 優(yōu)先權(quán)日2011年8月8日
發(fā)明者侯志敏 申請人:浪潮電子信息產(chǎn)業(yè)股份有限公司