Hadoop集群存儲(chǔ)系統(tǒng)的制作方法
【專利摘要】本實(shí)用新型涉及信息技術(shù)處理領(lǐng)域，具體涉及Hadoop集群存儲(chǔ)系統(tǒng)；包括一個(gè)1000M交換機(jī)及數(shù)個(gè)100M交換機(jī)，所述1000M交換機(jī)均與數(shù)個(gè)100M交換機(jī)及客戶端連接，所述每個(gè)100M均連接有數(shù)個(gè)服務(wù)器，所述數(shù)個(gè)服務(wù)器分別設(shè)置在機(jī)架上；支持存儲(chǔ)節(jié)點(diǎn)的熱插拔和可以在普通PC機(jī)上存儲(chǔ)非結(jié)構(gòu)化文件，這不但提高了系統(tǒng)的擴(kuò)展靈活性，還大大降低了企業(yè)在硬件方面的投入。
【專利說明】Hadoop集群存儲(chǔ)系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本實(shí)用新型涉及信息技術(shù)處理領(lǐng)域，具體涉及Hadoop集群存儲(chǔ)系統(tǒng)。

【背景技術(shù)】
[0002] 在非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)中我們主要考慮的是大數(shù)據(jù)的存儲(chǔ)，雖然現(xiàn)行的商業(yè)平臺(tái)也 能滿足非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，但問題主要出在系統(tǒng)可擴(kuò)展性和建設(shè)費(fèi)用上。對(duì)于龐大的非 結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)產(chǎn)生的I/O瓶頸問題和昂貴的服務(wù)器價(jià)格不得不使我們另謀出路。Hadoop 的分布式文件系統(tǒng)HDFS出現(xiàn)恰好解決了商業(yè)平臺(tái)中的1/0瓶頸和服務(wù)器價(jià)格昂貴問題。 Hadoop的優(yōu)勢(shì)體現(xiàn)在以下幾個(gè)方面：
[0003] l)Had〇〇p依賴于低端服務(wù)器甚至是普通計(jì)算機(jī)，相對(duì)于商業(yè)平臺(tái)的高昂成本，它 的成本要低得多，幾乎可以說任何人都可以使用它，哪怕是信息化成本預(yù)算較少的小微企 業(yè)；
[0004] 2) HDFS與Map/Reduce緊密集成是Hadoop分布式計(jì)算的存儲(chǔ)基石。它有自己明確 的設(shè)計(jì)目標(biāo)那就是支持大的數(shù)據(jù)文件大至T級(jí)，并且這些文件以順序讀取為主，以文件存/ 讀的高吞吐量為目標(biāo)。在使用HDFS分布式文件系統(tǒng)存儲(chǔ)非結(jié)構(gòu)化文件后，將提高我們系統(tǒng) 的存儲(chǔ)文件速度；
[0005] 3)HDFS的數(shù)據(jù)恢復(fù)能力也保證了系統(tǒng)的安全可靠性，可靠性體現(xiàn)在它假設(shè)計(jì)算元 素和存儲(chǔ)會(huì)失敗，因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。
[0006] 同時(shí)支持存儲(chǔ)節(jié)點(diǎn)的熱插拔和可以在普通PC機(jī)上存儲(chǔ)非結(jié)構(gòu)化文件，這不但提 高了系統(tǒng)的擴(kuò)展靈活性，還大大降低了企業(yè)在硬件方面的投入。 實(shí)用新型內(nèi)容
[0007] 本實(shí)用新型的目的為了解決上述問題，提供了一種Hadoop集群存儲(chǔ)系統(tǒng)，其可以 選擇普通的PC機(jī)器作為數(shù)據(jù)節(jié)點(diǎn)，這大大的降低了存儲(chǔ)數(shù)據(jù)所需要昂貴存儲(chǔ)設(shè)備價(jià)格，并 且在數(shù)據(jù)存儲(chǔ)過程中，HDFS擁有很好的數(shù)據(jù)容災(zāi)機(jī)制。
[0008] 為實(shí)現(xiàn)上述目的，本實(shí)用新型提供一種Hadoop集群存儲(chǔ)系統(tǒng)，包括一個(gè)1000M交 換機(jī)及數(shù)個(gè)100M交換機(jī)，所述1000M交換機(jī)均與數(shù)個(gè)100M交換機(jī)及客戶端連接，所述每個(gè) 100M交換機(jī)均連接有數(shù)個(gè)服務(wù)器，所述數(shù)個(gè)服務(wù)器分別設(shè)置在機(jī)架上。
[0009] 進(jìn)一步的，所述數(shù)個(gè)100M交換機(jī)為2個(gè)。
[0010] 進(jìn)一步的，所述數(shù)個(gè)服務(wù)器為30-40個(gè)服務(wù)器
[0011] 本實(shí)用新型的有益效果在于：
[0012] 可擴(kuò)展：不論是存儲(chǔ)的可擴(kuò)展還是計(jì)算的可擴(kuò)展都是Hadoop的設(shè)計(jì)根本。
[0013] 經(jīng)濟(jì)：框架可以運(yùn)行在任何普通的PC上。
[0014] 可靠：分布式文件系統(tǒng)的備份恢復(fù)機(jī)制以及MapReduce的任務(wù)監(jiān)控保證了分布式 處理的可靠性。
[0015] 高效：分布式文件系統(tǒng)的高效數(shù)據(jù)交互實(shí)現(xiàn)以及MapReduce結(jié)合Local Data處理 的模式，為高效處理海量的信息作了基礎(chǔ)準(zhǔn)備。

【專利附圖】

【附圖說明】
[0016] 為了更清楚地說明本實(shí)用新型實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例 或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅 是本實(shí)用新型的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前 提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0017] 圖1為本實(shí)用新型結(jié)構(gòu)框圖。

【具體實(shí)施方式】
[0018] 下面將結(jié)合本實(shí)用新型實(shí)施例中的附圖，對(duì)本實(shí)用新型實(shí)施例中的技術(shù)方案進(jìn)行 清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本實(shí)用新型一部分實(shí)施例，而不是全部的 實(shí)施例?；诒緦?shí)用新型中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下 所獲得的所有其他實(shí)施例，都屬于本實(shí)用新型保護(hù)的范圍。
[0019] 參見圖1，本實(shí)用新型提供本實(shí)用新型提供一種本實(shí)用新型提供一種Hadoop集群 存儲(chǔ)系統(tǒng)，包括一個(gè)1000M交換機(jī)2及數(shù)個(gè)100M交換機(jī)3,所述1000M交換機(jī)2均與數(shù)個(gè) 100M交換機(jī)3及客戶端1連接，所述每個(gè)100M交換機(jī)均連接有數(shù)個(gè)服務(wù)器4,所述數(shù)個(gè)服 務(wù)器分別設(shè)置在機(jī)架5上。進(jìn)一步的，所述數(shù)個(gè)100M交換機(jī)為2個(gè)。進(jìn)一步的，所述數(shù)個(gè) 服務(wù)器為30-40個(gè)服務(wù)器。通常Hadoop集群架構(gòu)包含兩級(jí)網(wǎng)絡(luò)拓?fù)?，各機(jī)架裝配30-40個(gè) 服務(wù)器，共享一個(gè)1GB的交換機(jī)，各機(jī)架的交換機(jī)又通過上行鏈路與一個(gè)核心交換機(jī)或路 由器互聯(lián)。這一架構(gòu)的突出特點(diǎn)是：同一機(jī)架內(nèi)部節(jié)點(diǎn)間的總帶寬要遠(yuǎn)高于不同機(jī)架間節(jié) 點(diǎn)的帶寬。
[0020] HDFS支持?jǐn)?shù)據(jù)的均衡計(jì)劃，如果某個(gè)Datanode節(jié)點(diǎn)上的空閑空間低于特定的臨 界點(diǎn)，那么就會(huì)啟動(dòng)一個(gè)計(jì)劃自動(dòng)地將數(shù)據(jù)從一個(gè)Datanode搬移到空閑的Datanode。當(dāng)對(duì) 某個(gè)文件的請(qǐng)求突然增加，那么也可能啟動(dòng)一個(gè)計(jì)劃創(chuàng)建該文件新的副本，并分布到集群 中以滿足應(yīng)用的要求。這些均衡計(jì)劃目前還沒有實(shí)現(xiàn)
[0021] 以上所述僅為本實(shí)用新型的較佳實(shí)施例而已，并不用以限制本實(shí)用新型，凡在本 實(shí)用新型的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本實(shí)用新型 的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1. Hadoop集群存儲(chǔ)系統(tǒng)，其特征在于：包括一個(gè)1000M交換機(jī)及數(shù)個(gè)100M交換機(jī)，所 述1000M交換機(jī)均與數(shù)個(gè)100M交換機(jī)及客戶端連接，所述每個(gè)100M交換機(jī)均連接有數(shù)個(gè) 服務(wù)器，所述數(shù)個(gè)服務(wù)器分別設(shè)置在機(jī)架上。
2. 根據(jù)權(quán)利要求1所述的Hadoop集群存儲(chǔ)系統(tǒng)，其特征在于：所述數(shù)個(gè)100M交換機(jī) 為2個(gè)。
3. 根據(jù)權(quán)利要求1所述的Hadoop集群存儲(chǔ)系統(tǒng)，其特征在于：所述數(shù)個(gè)服務(wù)器為 30-40個(gè)服務(wù)器。
【文檔編號(hào)】H04L29/08GK203911979SQ201420167292
【公開日】2014年10月29日 申請(qǐng)日期:2014年4月8日 優(yōu)先權(quán)日:2014年4月8日
【發(fā)明者】曹敏, 張建偉, 楊晴, 高尚飛, 崇斐 申請(qǐng)人:云南電力試驗(yàn)研究院（集團(tuán)）有限公司電力研究院, 昆明能訊科技有限責(zé)任公司