專利名稱：數(shù)據(jù)存儲系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)存儲技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)存儲系統(tǒng)及方法。
背景技術(shù)：
目前,監(jiān)控數(shù)據(jù)日志一般存儲在Oracle、Mysql、Sql Server等關(guān)系型數(shù)據(jù)庫中。在關(guān)系型數(shù)據(jù)庫中，數(shù)據(jù)以行和列的形式存儲，一系列的行和列被稱為表，一組表便組成了數(shù)據(jù)庫。而關(guān)系是各個表之間的一種連接，通過關(guān)系，用戶可以靈活的表示和操作數(shù)據(jù)?，F(xiàn)有的關(guān)系型數(shù)據(jù)庫至少存在以下問題、
I、數(shù)據(jù)備份采用冷、熱備份，受計算機軟件和硬件的影響，在計算機發(fā)生故障時容易造成數(shù)據(jù)丟失。2、關(guān)系型數(shù)據(jù)庫在處理復雜的邏輯關(guān)系等數(shù)據(jù)時比較方便，但是在處理關(guān)系相對簡單的海量日志時存在瓶頸。

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述技術(shù)缺陷之一。為達到上述目的，本發(fā)明一方面提出一種數(shù)據(jù)存儲系統(tǒng)，其特征在于，包括數(shù)據(jù)采集服務器，用于實時采集多個節(jié)點的性能數(shù)據(jù)，并將采集到的每個性能數(shù)據(jù)均轉(zhuǎn)換為“鍵值/屬性值”對的格式，其中，所述鍵值為所述性能數(shù)據(jù)的唯一標識，所述屬性值為所述性能數(shù)據(jù)；目錄存儲服務器，用于根據(jù)所述“鍵值/屬性值”對生成所述性能數(shù)據(jù)的索引目錄；以及多個數(shù)據(jù)存儲服務器，每個所述數(shù)據(jù)存儲服務器分別用于存儲所述性能數(shù)據(jù)的一個備份，且每個所述數(shù)據(jù)存儲服務器均包括多個數(shù)據(jù)文件，每個所述數(shù)據(jù)文件用于存儲所述性能數(shù)據(jù)的多個數(shù)據(jù)塊。根據(jù)本發(fā)明實施例的數(shù)據(jù)存儲系統(tǒng)，采用分布式模式存儲數(shù)據(jù)并生成數(shù)據(jù)的索引目錄，提高數(shù)據(jù)的訪問速度，同時方便對數(shù)據(jù)的處理。此外，由于對數(shù)據(jù)存儲多個備份，因此提高數(shù)據(jù)的安全性。本發(fā)明另一方面還提出一種數(shù)據(jù)存儲方法，包括以下步驟實時采集各個節(jié)點的性能數(shù)據(jù)；將采集到的每個性能數(shù)據(jù)均轉(zhuǎn)換為“鍵值/屬性值”對的格式，其中，所述鍵值為所述性能數(shù)據(jù)的唯一標識，所述屬性值為所述性能數(shù)據(jù)；根據(jù)所述“鍵值/屬性值”對生成所述性能數(shù)據(jù)的索引目錄；以及將所述性能數(shù)據(jù)復制為多個備份并將所述多個備份分別存儲到多個服務器中，其中，每個服務器包括多個數(shù)據(jù)文件，每個所述數(shù)據(jù)文件存儲所述性能數(shù)據(jù)的多個數(shù)據(jù)塊。根據(jù)本發(fā)明實施例的數(shù)據(jù)存儲方法，采用分布式模式存儲數(shù)據(jù)并生成數(shù)據(jù)的索引目錄，提高數(shù)據(jù)的訪問速度，同時方便對數(shù)據(jù)的處理。此外，由于對數(shù)據(jù)存儲多個備份，因此提高數(shù)據(jù)的安全性。本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結(jié)合附圖對實施例的描述中將變得明顯和容易理解，其中圖I為根據(jù)本發(fā)明一個實施例的數(shù)據(jù)存儲系統(tǒng)的結(jié)構(gòu)示意圖；圖2為根據(jù)本發(fā)明另一個實施例的數(shù)據(jù)存儲系統(tǒng)的結(jié)構(gòu)示意圖；圖3為根據(jù)本發(fā)明一個實施例的數(shù)據(jù)存儲方法的流程圖；以及圖4為根據(jù)本發(fā)明另一個實施例的數(shù)據(jù)存儲方法的流程圖。
具體實施例方式下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終 相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。在本發(fā)明的描述中，需要說明的是，除非另有明確的規(guī)定和限定，術(shù)語“相連”、“連接”應做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連。對于本領(lǐng)域的普通技術(shù)人員而言，可以具體情況理解上述術(shù)語在本發(fā)明中的具體含義。流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個或更多個用于實現(xiàn)特定邏輯功能或過程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分，并且本發(fā)明的優(yōu)選實施方式的范圍包括另外的實現(xiàn)，其中可以不按所示出或討論的順序，包括根據(jù)所涉及的功能按基本同時的方式或按相反的順序，來執(zhí)行功能，這應被本發(fā)明的實施例所屬技術(shù)領(lǐng)域的技術(shù)人員所理解。下面結(jié)合說明書附圖詳細描述根據(jù)本發(fā)明實施例的數(shù)據(jù)存儲系統(tǒng)。圖I為根據(jù)本發(fā)明一個實施例的數(shù)據(jù)存儲系統(tǒng)的結(jié)構(gòu)示意圖。如圖I所示，根據(jù)本發(fā)明實施例的數(shù)據(jù)存儲系統(tǒng)包括數(shù)據(jù)采集服務器100、目錄存儲服務器200和多個數(shù)據(jù)存儲服務器300。數(shù)據(jù)采集服務器100用于實時采集多個節(jié)點的性能數(shù)據(jù)，并將采集到的每個性能數(shù)據(jù)均轉(zhuǎn)換為“鍵值/屬性值”對的格式，其中，鍵值為性能數(shù)據(jù)的唯一標識，屬性值為性能數(shù)據(jù)。目錄存儲服務器200用于根據(jù)鍵值生成性能數(shù)據(jù)的索引目錄。每個數(shù)據(jù)存儲服務器300用于存儲性能數(shù)據(jù)的一個備份，且每個數(shù)據(jù)存儲服務器300均包括多個數(shù)據(jù)文件，每個數(shù)據(jù)文件用于存儲性能數(shù)據(jù)的多個數(shù)據(jù)塊。具體地，在本發(fā)明中，為了提高數(shù)據(jù)的容災恢復能力，使用多個數(shù)據(jù)存儲服務器300存儲數(shù)據(jù)的多個備份。此外，為了提高數(shù)據(jù)的訪問速度，在每個數(shù)據(jù)存儲服務器300中均將每個性能數(shù)據(jù)切分為多個數(shù)據(jù)塊，然后將每個數(shù)據(jù)塊存放在不同的數(shù)據(jù)文件中，也就是說，在每個數(shù)據(jù)存儲服務器300中均存在多個數(shù)據(jù)文件，每個數(shù)據(jù)文件中存放多條數(shù)據(jù)記錄。因此為了查找方便，在本發(fā)明中，在數(shù)據(jù)采集服務器100采集到性能數(shù)據(jù)后，為每個性能數(shù)據(jù)生成一個唯一的標識，即鍵值。具體地，本發(fā)明的一個實施例中，鍵值可以包括3個字節(jié)的節(jié)點標識號+12位的數(shù)據(jù)唯一標識號+8位文件標識號+8位時間戳屬性。其中，節(jié)點標識號表示性能數(shù)據(jù)的來源，文件標識號表示數(shù)據(jù)將被存入的數(shù)據(jù)文件，時間戳表示性能數(shù)據(jù)的獲取時間。由此，根據(jù)該“鍵值/屬性值”對在目錄存儲服務器200中存放每一條記錄的索引，從而在查找統(tǒng)計時可先通過目錄存儲服務器200查找到相應的數(shù)據(jù)存儲服務器300然后再查找到相應的數(shù)據(jù)，提高數(shù)據(jù)的訪問速度。應理解，由于使用時間戳信息，可以保證誤操作情況下對數(shù)據(jù)的恢復，增加了系統(tǒng)的可靠性，同時也兼顧了關(guān)系型數(shù)據(jù)庫的 常用特性，使得使用方便，便于上層應用程序的集成。此外，由于在鍵值中使用時間戳表明數(shù)據(jù)是在什么時間獲取到的，因此在生成索引目錄時還可以通過時間戳對數(shù)據(jù)進行按年、月、日、時、分、秒進行排列記錄，以便進行后續(xù)的統(tǒng)計、求和、平均等操作。根據(jù)本發(fā)明實施例的數(shù)據(jù)存儲系統(tǒng)，采用分布式模式存儲數(shù)據(jù)并生成數(shù)據(jù)的索引目錄，由此提高數(shù)據(jù)的訪問速度，同時方便對數(shù)據(jù)的處理。此外，由于對數(shù)據(jù)存儲多個備份，因此提高數(shù)據(jù)的安全性。圖2為根據(jù)本發(fā)明另一個實施例的數(shù)據(jù)存儲系統(tǒng)的結(jié)構(gòu)示意圖。如圖2所示，在圖I所示的實施例的基礎(chǔ)上，根據(jù)本發(fā)明實施例的數(shù)據(jù)存儲系統(tǒng)還包括異地備份服務器400。異地備份服務器400與多個數(shù)據(jù)存儲服務器300屬于不同的網(wǎng)絡，用于存儲性能數(shù)據(jù)的一個備份。由此，可以保證多個數(shù)據(jù)存儲服務器出錯時的數(shù)據(jù)恢復，提高數(shù)據(jù)的容災恢復能力。進一步地，在本發(fā)明的一個實施例中，異地備份服務器400為至少兩個，且每個異地備份服務器400屬于不同的網(wǎng)絡。由此，進一步提高數(shù)據(jù)的容災恢復能力。本發(fā)明另一方面還提出一種數(shù)據(jù)存儲方法。圖3為根據(jù)本發(fā)明一個實施例的數(shù)據(jù)存儲方法的流程圖。如圖3所示，根據(jù)本發(fā)明實施例的數(shù)據(jù)存儲方法包括下述步驟。步驟S101，實時采集多個節(jié)點的性能數(shù)據(jù),例如，配電柜的有功功率、數(shù)據(jù)中心的
溫度等。步驟S102，將采集到的每個性能數(shù)據(jù)均轉(zhuǎn)換為“鍵值/屬性值”對的格式，其中，鍵值為性能數(shù)據(jù)的唯一標識，屬性值為性能數(shù)據(jù)。在本發(fā)明的一個實施例中，鍵值包括3位的節(jié)點標識號+12位的數(shù)據(jù)唯一標識號+8位文件標識號+8位時間戳屬性。其中，節(jié)點標識號表示性能數(shù)據(jù)的來源，文件標識號表示數(shù)據(jù)將被存入的數(shù)據(jù)文件，時間戳表示性能數(shù)據(jù)的獲取時間。步驟S103，根據(jù)“鍵值/屬性值”對生成性能數(shù)據(jù)的索引目錄。具體地，由于數(shù)據(jù)將被切分成多個數(shù)據(jù)塊而存放在不同的數(shù)據(jù)文件中，因此，為了方便查找，需根據(jù)“鍵值/屬性值”對生成索引目錄，由此在查找統(tǒng)計時可先通過索引目錄查找到數(shù)據(jù)所在的服務器然后再查找到相應的數(shù)據(jù)，提高數(shù)據(jù)的訪問速度。步驟S104，將性能數(shù)據(jù)復制為多個備份，并將多個備份分別存儲到多個服務器中，其中，每個服務器均包括多個數(shù)據(jù)文件，每個數(shù)據(jù)文件用于存儲性能數(shù)據(jù)的多個數(shù)據(jù)塊。具體地，在本發(fā)明的一個實施例中，數(shù)據(jù)在每個服務器中均以文件形式存儲，且每個文件的大小均不大于預定值如2K。也就是說，每個數(shù)據(jù)均被切分成多個數(shù)據(jù)塊，每個數(shù)據(jù)塊存儲在一個數(shù)據(jù)文件中。根據(jù)本發(fā)明實施例的數(shù)據(jù)存儲方法，采用分布式模式存儲數(shù)據(jù)并生成數(shù)據(jù)的索引目錄，由此提高數(shù)據(jù)的訪問速度，同時方便對數(shù)據(jù)的處理。此外，由于對數(shù)據(jù)存儲多個備份，因此提高數(shù)據(jù)的安全性。圖4為根據(jù)本發(fā)明另一個實施例的數(shù)據(jù)存儲方法的流程圖。如圖4所示，根據(jù)本發(fā)明實施例的數(shù)據(jù)存儲方法包括下述步驟。步驟S201，實時采集多個節(jié)點的性能數(shù)據(jù)。步驟S202，將采集到的每個性能數(shù)據(jù)均轉(zhuǎn)換為“鍵值/屬性值”對的格式，其中，鍵值為性能數(shù)據(jù)的唯一標識，屬性值為性能數(shù)據(jù)。步驟S203，根據(jù)“鍵值/屬性值”對生成性能數(shù)據(jù)的索引目錄。步驟S204，將性能數(shù)據(jù)復制為多個備份，并將多個備份分別存儲到多個服務器中，其中，每個服務器包括多個數(shù)據(jù)文件，每個數(shù)據(jù)文件用于存儲性能數(shù)據(jù)的多個數(shù)據(jù)塊。 上述步驟S201至步驟S204的具體實現(xiàn)過程可與上述步驟SlOl至步驟S104相同，此處不再詳細描述。步驟S205，將性能數(shù)據(jù)存儲到至少一個異地服務器中，其中，異地服務器與上述多個服務器屬于不同的網(wǎng)絡，且每個異地服務器也屬于不同的網(wǎng)絡。根據(jù)本發(fā)明實施例的數(shù)據(jù)存儲方法，除了將數(shù)據(jù)存儲到多個服務器外，還對數(shù)據(jù)進行異地備份，由此提高數(shù)據(jù)的容災恢復能力，進一步保證數(shù)據(jù)的安全性。盡管已經(jīng)示出和描述了本發(fā)明的實施例，對于本領(lǐng)域的普通技術(shù)人員而言，可以理解在不脫離本發(fā)明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發(fā)明的范圍由所附權(quán)利要求及其等同限定。
權(quán)利要求
1.一種數(shù)據(jù)存儲系統(tǒng)，其特征在于，包括 數(shù)據(jù)采集服務器，用于實時采集多個節(jié)點的性能數(shù)據(jù)，并將采集到的每個性能數(shù)據(jù)均轉(zhuǎn)換為“鍵值/屬性值”對的格式，其中，所述鍵值為所述性能數(shù)據(jù)的唯一標識，所述屬性值為所述性能數(shù)據(jù)； 目錄存儲服務器，用于根據(jù)所述“鍵值/屬性值”對生成所述性能數(shù)據(jù)的索引目錄； 多個數(shù)據(jù)存儲服務器，每個所述數(shù)據(jù)存儲服務器分別用于存儲所述性能數(shù)據(jù)的一個備份，且每個所述數(shù)據(jù)存儲服務器均包括多個數(shù)據(jù)文件，每個所述數(shù)據(jù)文件用于存儲所述性能數(shù)據(jù)的多個數(shù)據(jù)塊。
2.根據(jù)權(quán)利要求I所述的數(shù)據(jù)存儲系統(tǒng)，其特征在于，還包括 異地備份服務器，與所述多個數(shù)據(jù)存儲服務器屬于不同的網(wǎng)絡，用于存儲所述性能數(shù)據(jù)的一個備份。
3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)存儲系統(tǒng)，其特征在于，所述異地備份服務器為至少兩個，且所述至少兩個異地備份服務器的每個屬于不同的網(wǎng)絡。
4.根據(jù)權(quán)利要求I所述的數(shù)據(jù)存儲系統(tǒng)，其特征在于，所述鍵值包括節(jié)點標識、數(shù)據(jù)標識、數(shù)據(jù)文件標識和時間戳。
5.一種數(shù)據(jù)存儲方法，其特征在于，包括以下步驟 51:實時采集各個節(jié)點的性能數(shù)據(jù)； 52:將采集到的每個性能數(shù)據(jù)均轉(zhuǎn)換為“鍵值/屬性值”對的格式，其中，所述鍵值為所述性能數(shù)據(jù)的唯一標識，所述屬性值為所述性能數(shù)據(jù)； 53:根據(jù)所述“鍵值/屬性值”對生成所述性能數(shù)據(jù)的索引目錄；以及 S4:將所述性能數(shù)據(jù)復制為多個備份并將所述多個備份分別存儲到多個服務器中，其中，每個服務器包括多個數(shù)據(jù)文件，每個所述數(shù)據(jù)文件存儲所述性能數(shù)據(jù)的多個數(shù)據(jù)塊。
6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)存儲方法，其特征在于，還包括 將所述性能數(shù)據(jù)存儲到至少一個異地服務器中，其中，所述異地服務器與所述多個服務器屬于不同的網(wǎng)絡，且每個異地服務器也屬于不同的網(wǎng)絡。
7.根據(jù)權(quán)利要求5所述的數(shù)據(jù)存儲方法，其特征在于，所述鍵值包括節(jié)點標識、數(shù)據(jù)標識、數(shù)據(jù)文件標識和時間戳。
全文摘要
本發(fā)明提出一種數(shù)據(jù)存儲系統(tǒng)及方法。其中，系統(tǒng)包括數(shù)據(jù)采集服務器，用于實時采集多個節(jié)點的性能數(shù)據(jù)，并將采集到的每個性能數(shù)據(jù)均轉(zhuǎn)換為“鍵值/屬性值”對的格式，其中，鍵值為性能數(shù)據(jù)的唯一標識，屬性值為性能數(shù)據(jù)；目錄存儲服務器，用于根據(jù)“鍵值/屬性值”對生成性能數(shù)據(jù)的索引目錄；以及多個數(shù)據(jù)存儲服務器，每個數(shù)據(jù)存儲服務器分別用于存儲性能數(shù)據(jù)的一個備份，且每個數(shù)據(jù)存儲服務器包括多個數(shù)據(jù)文件，每個數(shù)據(jù)文件用于存儲性能數(shù)據(jù)的多個數(shù)據(jù)塊。本發(fā)明采用分布式模式存儲數(shù)據(jù)并生成數(shù)據(jù)的索引目錄，提高數(shù)據(jù)的訪問速度，同時方便對數(shù)據(jù)的處理。此外，由于對數(shù)據(jù)存儲多個備份，因此提高數(shù)據(jù)的安全性。
文檔編號G06F17/30GK102722584SQ201210189359
公開日2012年10月10日 申請日期2012年6月8日 優(yōu)先權(quán)日2012年6月8日
發(fā)明者王川 申請人:北京天地云箱科技有限公司