一種解決hadoop分布式文件系統(tǒng)namenode單點(diǎn)故障的ha方法
【專利摘要】本發(fā)明提供一種解決HADOOP分布式文件系統(tǒng)NAMENODE單點(diǎn)故障的HA方法，采用兩臺(tái)服務(wù)器實(shí)現(xiàn)雙機(jī)熱備，HDFS的元數(shù)據(jù)需要保存在共享存儲(chǔ)中；兩臺(tái)主機(jī)的eth1使用雙機(jī)對(duì)聯(lián)線直接連接；每臺(tái)主機(jī)預(yù)留30G的空間作為共用空間被HA使用；DRBD實(shí)現(xiàn)了網(wǎng)絡(luò)RAID-1功能，即兩臺(tái)服務(wù)器一臺(tái)是主節(jié)點(diǎn)，一臺(tái)是從節(jié)點(diǎn)；在主節(jié)點(diǎn)上的任何操作，都會(huì)被同步到從節(jié)點(diǎn)的相應(yīng)磁盤分區(qū)上，達(dá)到數(shù)據(jù)備份的效果。本發(fā)明和現(xiàn)有技術(shù)相比，夠解決HDFS中NameNode單點(diǎn)故障的問題，HDFS的元數(shù)據(jù)保存在共享存儲(chǔ)中，實(shí)現(xiàn)雙機(jī)熱備，當(dāng)其中一臺(tái)服務(wù)器出現(xiàn)故障時(shí)實(shí)現(xiàn)自動(dòng)切換。
【專利說明】一種解決HADOOP分布式文件系統(tǒng)NAMEN0DE單點(diǎn)故障的HA
方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明具體地說是一種解決HADOOP分布式文件系統(tǒng)NAMEN0DE單點(diǎn)故障的HA方法。

【背景技術(shù)】
[0002]Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件，能夠讓用戶輕松架構(gòu)和使用的分布式計(jì)算平臺(tái)。用戶可以輕松地在Hadoop上開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。Hadoop 由許多兀素構(gòu)成，如 HDFS、MapReduce 等。其最底部是 Hadoop Distributed FileSystem (HDFS)，它存儲(chǔ)Hadoop集群中所有存儲(chǔ)節(jié)點(diǎn)上的文件。
[0003]對(duì)外部客戶機(jī)而言，HDFS就像一個(gè)傳統(tǒng)的分級(jí)文件系統(tǒng)?？梢詣?chuàng)建、刪除、移動(dòng)或重命名文件，等等。但是HDFS的架構(gòu)是基于一組特定的節(jié)點(diǎn)構(gòu)建的，這是由它自身的特點(diǎn)決定的。這些節(jié)點(diǎn)包括NameNode (僅一個(gè))，它在HDFS內(nèi)部提供元數(shù)據(jù)服務(wù)；DataNode，它為HDFS提供存儲(chǔ)塊。由于僅存在一個(gè)NameNode，因此這是HDFS存在NameNode單點(diǎn)失敗的問題。
[0004]NameNode是一個(gè)通常在HDFS實(shí)例中的單獨(dú)機(jī)器上運(yùn)行的軟件。它負(fù)責(zé)管理文件系統(tǒng)名稱空間和控制外部客戶機(jī)的訪問。NameNode決定是否將文件映射到DataNode上的復(fù)制塊上。
[0005]實(shí)際的I/O事務(wù)并沒有經(jīng)過NameNode,只有表不DataNode和塊的文件映射的元數(shù)據(jù)保存在NameNode中。當(dāng)外部客戶機(jī)發(fā)送請(qǐng)求要求創(chuàng)建文件時(shí),NameNode會(huì)以塊標(biāo)識(shí)和該塊的第一個(gè)副本的DataNode IP地址作為響應(yīng)。這個(gè)NameNode還會(huì)通知其他將要接收該塊的副本的DataNode。
[0006]NameNode在一個(gè)稱為FsImage的文件中存儲(chǔ)所有關(guān)于文件系統(tǒng)名稱空間的信息。這個(gè)文件和一個(gè)包含所有事務(wù)的記錄文件(EditLog)存儲(chǔ)在NameNode的本地文件系統(tǒng)上。FsImage和EditLog文件也需要復(fù)制副本，以防文件損壞或NameNode系統(tǒng)丟失。


【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的是克服現(xiàn)有技術(shù)中存在的不足，提供一種解決HADOOP分布式文件系統(tǒng)NAMENODE單點(diǎn)故障的HA方法。
[0008]本發(fā)明的技術(shù)方案是按以下方式實(shí)現(xiàn)的，采用兩臺(tái)服務(wù)器實(shí)現(xiàn)雙機(jī)熱備，HDFS的元數(shù)據(jù)需要保存在共享存儲(chǔ)中；兩臺(tái)主機(jī)的ethl使用雙機(jī)對(duì)聯(lián)線直接連接；每臺(tái)主機(jī)預(yù)留30G的空間作為共用空間被HA使用；DRBD實(shí)現(xiàn)了網(wǎng)絡(luò)RAID-1功能，即兩臺(tái)服務(wù)器一臺(tái)是主節(jié)點(diǎn)，提供存儲(chǔ)服務(wù)，一臺(tái)是從節(jié)點(diǎn)；在主節(jié)點(diǎn)上的任何操作，都會(huì)被同步到從節(jié)點(diǎn)的相應(yīng)磁盤分區(qū)上，達(dá)到數(shù)據(jù)備份的效果；當(dāng)主節(jié)點(diǎn)發(fā)生故障時(shí)，通過Heartbeat從節(jié)點(diǎn)可以接管主節(jié)點(diǎn)的虛擬IP。
[0009]本發(fā)明的優(yōu)點(diǎn)是: 本發(fā)明的一種解決HADOOP分布式文件系統(tǒng)NAMENODE單點(diǎn)故障的HA方法和現(xiàn)有技術(shù)相比，夠解決HDFS中NameNode單點(diǎn)故障的問題，HDFS的元數(shù)據(jù)保存在共享存儲(chǔ)中，實(shí)現(xiàn)雙機(jī)熱備，當(dāng)其中一臺(tái)服務(wù)器出現(xiàn)故障時(shí)實(shí)現(xiàn)自動(dòng)切換。

【具體實(shí)施方式】
[0010]下面對(duì)本發(fā)明的一種解決HADOOP分布式文件系統(tǒng)NAMENODE單點(diǎn)故障的HA方法作以下詳細(xì)說明。
[0011]本發(fā)明的一種解決HADOOP分布式文件系統(tǒng)NAMENODE單點(diǎn)故障的HA方法，采用兩臺(tái)服務(wù)器實(shí)現(xiàn)雙機(jī)熱備，HDFS的元數(shù)據(jù)需要保存在共享存儲(chǔ)中；兩臺(tái)主機(jī)的ethl使用雙機(jī)對(duì)聯(lián)線直接連接；每臺(tái)主機(jī)預(yù)留30G的空間作為共用空間被HA使用；DRBD實(shí)現(xiàn)了網(wǎng)絡(luò)RAID-1功能，即兩臺(tái)服務(wù)器一臺(tái)是主節(jié)點(diǎn)，提供存儲(chǔ)服務(wù)，一臺(tái)是從節(jié)點(diǎn)；在主節(jié)點(diǎn)上的任何操作，都會(huì)被同步到從節(jié)點(diǎn)的相應(yīng)磁盤分區(qū)上，達(dá)到數(shù)據(jù)備份的效果；當(dāng)主節(jié)點(diǎn)發(fā)生故障時(shí)，通過Heartbeat從節(jié)點(diǎn)可以接管主節(jié)點(diǎn)的虛擬IP。
[0012]DRBD實(shí)際上是一種塊設(shè)備的實(shí)現(xiàn)，主要被用于Linux平臺(tái)下的高可用(HA)方案之中。他是有內(nèi)核模塊和相關(guān)程序而組成，通過網(wǎng)絡(luò)通信來同步鏡像整個(gè)設(shè)備，有點(diǎn)類似于一個(gè)網(wǎng)絡(luò)RAID的功能。也就是說當(dāng)你將數(shù)據(jù)寫入本地的DRBD設(shè)備上的文件系統(tǒng)時(shí)，數(shù)據(jù)會(huì)同時(shí)被發(fā)送到網(wǎng)絡(luò)中的另外一臺(tái)主機(jī)之上，并以完全相同的形式記錄在一個(gè)文件系統(tǒng)中(實(shí)際上文件系統(tǒng)的創(chuàng)建也是由DRBD的同步來實(shí)現(xiàn)的)。本地節(jié)點(diǎn)(主機(jī))與遠(yuǎn)程節(jié)點(diǎn)(主機(jī))的數(shù)據(jù)可以保證實(shí)時(shí)的同步，并保證1的一致性。所以當(dāng)本地節(jié)點(diǎn)的主機(jī)出現(xiàn)故障時(shí)，遠(yuǎn)程節(jié)點(diǎn)的主機(jī)上還會(huì)保留有一份完全相同的數(shù)據(jù)，可以繼續(xù)使用，以達(dá)到高可用的目的。
[0013]實(shí)際生產(chǎn)環(huán)境中，如果NameNode宕機(jī)，造成的損失是不可估量的。要保證主NameNode不間斷服務(wù)，就需要對(duì)服務(wù)器實(shí)現(xiàn)冗余。Heartbeat提供了廉價(jià)的、可伸縮的高可用集群方案。通過DRBD + Heartbeat在Linux下創(chuàng)建一個(gè)高可用(HA)的集群服務(wù)器,在高可用(HA)解決方案中使用DRBD的功能，可以代替使用一個(gè)共享盤陣存儲(chǔ)設(shè)備。因?yàn)閿?shù)據(jù)同時(shí)存在于本地主機(jī)和遠(yuǎn)程主機(jī)上，在遇到需要切換的時(shí)候，遠(yuǎn)程主機(jī)只需要使用它上面的那份備份數(shù)據(jù)，就可以繼續(xù)提供服務(wù)了。
[0014]本發(fā)明的一種解決HAD00P分布式文件系統(tǒng)NAMENODE單點(diǎn)故障的HA方法其加工制作非常簡(jiǎn)單方便，按照說明書所示即可加工。
[0015]除說明書所述的技術(shù)特征外，均為本專業(yè)技術(shù)人員的已知技術(shù)。
【權(quán)利要求】
1.一種解決HADOOP分布式文件系統(tǒng)NAMEN0DE單點(diǎn)故障的HA方法，其特征在于采用兩臺(tái)服務(wù)器實(shí)現(xiàn)雙機(jī)熱備，HDFS的元數(shù)據(jù)需要保存在共享存儲(chǔ)中；兩臺(tái)主機(jī)的ethl使用雙機(jī)對(duì)聯(lián)線直接連接；每臺(tái)主機(jī)預(yù)留30G的空間作為共用空間被HA使用；DRBD實(shí)現(xiàn)了網(wǎng)絡(luò)RAID-1功能，即兩臺(tái)服務(wù)器一臺(tái)是主節(jié)點(diǎn)，提供存儲(chǔ)服務(wù)，一臺(tái)是從節(jié)點(diǎn)；在主節(jié)點(diǎn)上的任何操作，都會(huì)被同步到從節(jié)點(diǎn)的相應(yīng)磁盤分區(qū)上，達(dá)到數(shù)據(jù)備份的效果；當(dāng)主節(jié)點(diǎn)發(fā)生故障時(shí)，通過Heartbeat從節(jié)點(diǎn)可以接管主節(jié)點(diǎn)的虛擬IP。
【文檔編號(hào)】G06F11/16GK104461792SQ201410717146
【公開日】2015年3月25日 申請(qǐng)日期:2014年12月3日 優(yōu)先權(quán)日:2014年12月3日
【發(fā)明者】李璋 申請(qǐng)人:浪潮集團(tuán)有限公司