專利名稱：一種hdfs中計(jì)算節(jié)點(diǎn)機(jī)柜位置感知的實(shí)現(xiàn)方法及其實(shí)現(xiàn)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及高性能計(jì)算及集群領(lǐng)域，具體涉及一種HDFS中計(jì)算節(jié)點(diǎn)機(jī)柜位置感知的實(shí)現(xiàn)方法。
背景技術(shù)：
HdfsCHadoop Distributed File System,Hadoop 分布式文件系統(tǒng))集群的規(guī)模一般比較大，通常會(huì)部署在幾個(gè)甚至幾十個(gè)機(jī)柜中。一般一個(gè)機(jī)柜使用一個(gè)二層匯聚交換機(jī)，交換機(jī)之間的數(shù)據(jù)交換一般要比交換機(jī)內(nèi)部數(shù)據(jù)交換帶寬要小，因此一個(gè)集群中的同一個(gè)機(jī)柜中節(jié)點(diǎn)之間的網(wǎng)絡(luò)流量通常比跨機(jī)柜節(jié)點(diǎn)間的網(wǎng)絡(luò)流量更高效。同時(shí)，一個(gè)管理節(jié)點(diǎn)盡量將一個(gè)塊的副本放置到不同的機(jī)柜中以提高系統(tǒng)的容錯(cuò)能力。實(shí)現(xiàn)上述兩種技術(shù)的前·提是需要讓Hdfs系統(tǒng)知道一個(gè)節(jié)點(diǎn)屬于哪個(gè)機(jī)柜或者是它的機(jī)柜ID，也就是說，它應(yīng)該具有機(jī)柜意識(shí)。目前針對(duì)如何讓Hdfs文件系統(tǒng)具有機(jī)柜感知功能沒有一個(gè)比較明確的解決方案。如果Hdfs沒有機(jī)柜感知功能，就會(huì)遇到以下兩個(gè)問題I.機(jī)柜間交換機(jī)的互連成為節(jié)點(diǎn)間數(shù)據(jù)查找和操作時(shí)的瓶頸。2.同一數(shù)據(jù)塊的所有副本可能會(huì)在同一個(gè)機(jī)柜里，當(dāng)一個(gè)機(jī)柜掉電時(shí)系統(tǒng)的數(shù)據(jù)的安全性難以保證。

發(fā)明內(nèi)容
針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供一種HDFS中計(jì)算節(jié)點(diǎn)機(jī)柜位置感知的實(shí)現(xiàn)方法，該方法克服了機(jī)柜間交換機(jī)的互連成為節(jié)點(diǎn)間數(shù)據(jù)查找和操作時(shí)的瓶頸和同一數(shù)據(jù)塊的所有副本可能會(huì)在同一個(gè)機(jī)柜里，當(dāng)一個(gè)機(jī)柜掉電時(shí)系統(tǒng)的數(shù)據(jù)的安全性難以保證的問題。本發(fā)明的目的是采用下述技術(shù)方案實(shí)現(xiàn)的一種HDFS中計(jì)算節(jié)點(diǎn)機(jī)柜位置感知的實(shí)現(xiàn)方法，其改進(jìn)之處在于，所述方法包括下述步驟A、啟動(dòng)Hadoop分布式文件系統(tǒng)；B、檢查所述Hadoop分布式文件系統(tǒng)標(biāo)準(zhǔn)文件中的配置選項(xiàng)；C、將所述配置選項(xiàng)鏈接到檢測的腳本文件；D、獲取Hadoop計(jì)算集群中計(jì)算節(jié)點(diǎn)的IP地址；E、判斷所述計(jì)算節(jié)點(diǎn)是否屬于該Hadoop計(jì)算集群；F、判斷所述IP地址有無對(duì)應(yīng)機(jī)柜信息；G、返回Hadoop集群系統(tǒng)相應(yīng)機(jī)柜信息；H、返回Hadoop集群系統(tǒng)默認(rèn)機(jī)柜信息；
I、Hadoop集群系統(tǒng)異常。其中，所述步驟B中，所述標(biāo)準(zhǔn)文件用hadoop-default. xml表示。其中，所述步驟D中，所述Hadoop計(jì)算集群中包括至少一個(gè)計(jì)算節(jié)點(diǎn)和一個(gè)管理節(jié)點(diǎn)，每檢測一個(gè)計(jì)算節(jié)點(diǎn)鏈接上管理節(jié)點(diǎn)時(shí)獲取該計(jì)算節(jié)點(diǎn)的IP地址，并將IP地址傳送給檢測的腳本文件。其中，所述步驟E中，驗(yàn)證所述IP地址的合法性后，將IP地址與配置選項(xiàng)的信息進(jìn)行對(duì)比，判斷所述計(jì)算節(jié)點(diǎn)是否屬于該Hadoop計(jì)算集群。其中，判斷所述計(jì)算節(jié)點(diǎn)屬于該Hadoop計(jì)算集群，則進(jìn)行步驟F ;否則進(jìn)行步驟I。其中，所述步驟F，若判斷所述IP地址有對(duì)應(yīng)機(jī)柜信息，則進(jìn)行步驟G ;否則進(jìn)行步驟H。
其中，所述計(jì)算節(jié)點(diǎn)和機(jī)柜之間存在映射關(guān)系。本發(fā)明基于另一目的提供的一種HDFS中計(jì)算節(jié)點(diǎn)機(jī)柜位置感知的實(shí)現(xiàn)系統(tǒng)，其改進(jìn)之處在于，所述系統(tǒng)包括下述模塊啟動(dòng)t旲塊用于啟動(dòng)所述Hadoop分布式文件系統(tǒng)；檢查模塊用于檢查所述Hadoop分布式文件系統(tǒng)標(biāo)準(zhǔn)文件中的配置選項(xiàng)；獲取IP地址模塊用于獲取Hadoop計(jì)算集群中計(jì)算節(jié)點(diǎn)的IP地址；判斷計(jì)算節(jié)點(diǎn)模塊用于判斷所述計(jì)算節(jié)點(diǎn)是否屬于該Hadoop計(jì)算集群；判斷IP地址模塊用于判斷所述IP地址有無對(duì)應(yīng)機(jī)柜信息。與現(xiàn)有技術(shù)比，本發(fā)明達(dá)到的有益效果是本發(fā)明提供的HDFS中計(jì)算節(jié)點(diǎn)機(jī)柜位置感知的實(shí)現(xiàn)方法及其實(shí)現(xiàn)方法，使Hdfs文件系統(tǒng)有了機(jī)柜感知功能后，具有以下兩個(gè)好處I.讓數(shù)據(jù)副本盡量的分布在同一個(gè)機(jī)柜里，從而保證數(shù)據(jù)查找和操作時(shí)的迅速，優(yōu)化系統(tǒng)性能。2.讓同一數(shù)據(jù)塊的副本不會(huì)完全分布在同一個(gè)機(jī)柜里，從而保證當(dāng)一個(gè)機(jī)柜掉電時(shí)系統(tǒng)的數(shù)據(jù)可用，提高系統(tǒng)的安全性。


圖I是本發(fā)明提供的HDFS中計(jì)算節(jié)點(diǎn)機(jī)柜位置感知的實(shí)現(xiàn)方法的流程圖。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式
作進(jìn)一步的詳細(xì)說明。本發(fā)明提供的HDFS中計(jì)算節(jié)點(diǎn)機(jī)柜位置感知的實(shí)現(xiàn)方法流程如圖I所示，包括下述步驟A、啟動(dòng)Hadoop分布式文件系統(tǒng)；B、檢查Hadoop分布式文件系統(tǒng)標(biāo)準(zhǔn)文件hadoop-default. xml中的topology,script, file, name 配置選項(xiàng)；C、將配置選項(xiàng)鏈接到檢測的腳本文件；D、獲取Hadoop計(jì)算集群中計(jì)算節(jié)點(diǎn)的IP地址Hadoop計(jì)算集群中包括多個(gè)計(jì)算節(jié)點(diǎn)和一個(gè)管理節(jié)點(diǎn)，每檢測一個(gè)計(jì)算節(jié)點(diǎn)鏈接上管理節(jié)點(diǎn)時(shí)獲取該計(jì)算節(jié)點(diǎn)的IP地址，并將IP地址傳送給檢測的腳本文件。E、驗(yàn)證IP地址的合法性后，將IP地址與配置選項(xiàng)的信息進(jìn)行對(duì)比，判斷所述計(jì)算節(jié)點(diǎn)是否屬于該Hadoop計(jì)算集群判斷計(jì)算節(jié)點(diǎn)屬于該Hadoop計(jì)算集群,則進(jìn)行步驟F ；否則進(jìn)行步驟I。F、判斷IP地址有無對(duì)應(yīng)機(jī)柜信息若判斷所述IP地址有對(duì)應(yīng)機(jī)柜信息，則進(jìn)行步驟G ;否則進(jìn)行步驟H。G、返回Hadoop集群系統(tǒng)相應(yīng)機(jī)柜信息；H、返回Hadoop集群系統(tǒng)默認(rèn)機(jī)柜信息；I、Hadoop集群系統(tǒng)異常。
實(shí)施例下面是計(jì)算節(jié)點(diǎn)與機(jī)柜信息對(duì)應(yīng)關(guān)系的拓?fù)渑渲梦募膬?nèi)容示例Datanodel /dcl/racklDatanode2 /dcl/racklDatanode3 /dcl/rack2其中，Datanode表示Hadoop系統(tǒng)里的計(jì)算節(jié)點(diǎn)；dc (datacenter)是數(shù)據(jù)中心的簡稱；rack表示機(jī)柜信息。這個(gè)文件一行代表一條信息說明datanode屬于哪個(gè)數(shù)據(jù)中心的哪個(gè)機(jī)柜。本發(fā)明提供的方法通過腳本文件調(diào)用Hadoop分布式系統(tǒng)的java接口將Datanode計(jì)算節(jié)點(diǎn)的機(jī)柜信息傳遞給Hadoop集群系統(tǒng)，從而實(shí)現(xiàn)集群對(duì)節(jié)點(diǎn)位置的感知，從而優(yōu)化系統(tǒng)系統(tǒng)和提高系統(tǒng)安全性。通常，為了保證數(shù)據(jù)的安全性，我們會(huì)對(duì)數(shù)據(jù)進(jìn)行備份。當(dāng)某機(jī)器出現(xiàn)故障時(shí)，能避免數(shù)據(jù)的丟失。在Hadoop集群系統(tǒng)，最常見的是給數(shù)據(jù)存兩個(gè)備份，最好的情況是一個(gè)備份放在原始數(shù)據(jù)的同一個(gè)機(jī)柜里，另一份放在另一個(gè)機(jī)柜。如果是一臺(tái)機(jī)器出了問題，我們首選的當(dāng)然是在同機(jī)柜里去找它的備份，因?yàn)檫@樣的數(shù)據(jù)傳輸迅速，也無需通過交換機(jī)傳遞數(shù)據(jù)(這就避免了交換機(jī)的“瓶頸”問題)。當(dāng)然，也存在整個(gè)機(jī)柜被損壞的情況，這時(shí)，我們就可以到其它的機(jī)柜去尋找備份數(shù)據(jù)。是否在同一個(gè)機(jī)柜，這就涉及到計(jì)算節(jié)點(diǎn)的位置識(shí)別問題，本發(fā)明的方法就能很好的應(yīng)對(duì)這一情況。最后應(yīng)當(dāng)說明的是以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案而非對(duì)其限制，盡管參照上述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，所屬領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解依然可以對(duì)本發(fā)明的具體實(shí)施方式
進(jìn)行修改或者等同替換，而未脫離本發(fā)明精神和范圍的任何修改或者等同替換，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。
權(quán)利要求
1. 一種HDFS中計(jì)算節(jié)點(diǎn)機(jī)柜位置感知的實(shí)現(xiàn)方法，其特征在于，所述方法包括下述步 驟 A、啟動(dòng)Hadoop分布式文件系統(tǒng)； B、檢查所述Hadoop分布式文件系統(tǒng)標(biāo)準(zhǔn)文件中的配置選項(xiàng)； C、將所述配置選項(xiàng)鏈接到檢測的腳本文件； D、獲取Hadoop計(jì)算集群中計(jì)算節(jié)點(diǎn)的IP地址； E、判斷所述計(jì)算節(jié)點(diǎn)是否屬于該Hadoop計(jì)算集群； F、判斷所述IP地址有無對(duì)應(yīng)機(jī)柜信息； G、返回Hadoop集群系統(tǒng)相應(yīng)機(jī)柜信息； H、返回Hadoop集群系統(tǒng)默認(rèn)機(jī)柜信息； I、Hadoop集群系統(tǒng)異常。
2.如權(quán)利要求I所述的HDFS中計(jì)算節(jié)點(diǎn)機(jī)柜位置感知的實(shí)現(xiàn)方法，其特征在于，所述步驟B中，所述標(biāo)準(zhǔn)文件用hadoop-default. xml表示。
3.如權(quán)利要求I所述的HDFS中計(jì)算節(jié)點(diǎn)機(jī)柜位置感知的實(shí)現(xiàn)方法，其特征在于，所述步驟D中，所述Hadoop計(jì)算集群中包括至少一個(gè)計(jì)算節(jié)點(diǎn)和一個(gè)管理節(jié)點(diǎn)，每檢測一個(gè)計(jì)算節(jié)點(diǎn)鏈接上管理節(jié)點(diǎn)時(shí)獲取該計(jì)算節(jié)點(diǎn)的IP地址，并將IP地址傳送給檢測的腳本文件。
4.如權(quán)利要求I所述的HDFS中計(jì)算節(jié)點(diǎn)機(jī)柜位置感知的實(shí)現(xiàn)方法，其特征在于，所述步驟E中，驗(yàn)證所述IP地址的合法性后，將IP地址與配置選項(xiàng)的信息進(jìn)行對(duì)比，判斷所述計(jì)算節(jié)點(diǎn)是否屬于該Hadoop計(jì)算集群。
5.如權(quán)利要求4所述的HDFS中計(jì)算節(jié)點(diǎn)機(jī)柜位置感知的實(shí)現(xiàn)方法，其特征在于，判斷所述計(jì)算節(jié)點(diǎn)屬于該Hadoop計(jì)算集群，則進(jìn)行步驟F ;否則進(jìn)行步驟I。
6.如權(quán)利要求I所述的HDFS中計(jì)算節(jié)點(diǎn)機(jī)柜位置感知的實(shí)現(xiàn)方法，其特征在于，所述步驟F，若判斷所述IP地址有對(duì)應(yīng)機(jī)柜信息，則進(jìn)行步驟G ;否則進(jìn)行步驟H。
7.如權(quán)利要求1-6中任一項(xiàng)所述的HDFS中計(jì)算節(jié)點(diǎn)機(jī)柜位置感知的實(shí)現(xiàn)方法，其特征在于，所述計(jì)算節(jié)點(diǎn)和機(jī)柜之間存在映射關(guān)系。
8.—種HDFS中計(jì)算節(jié)點(diǎn)機(jī)柜位置感知的實(shí)現(xiàn)系統(tǒng)，其特征在于，所述系統(tǒng)包括下述模塊 啟動(dòng)模塊用于啟動(dòng)所述Hadoop分布式文件系統(tǒng)； 檢查模塊用于檢查所述Hadoop分布式文件系統(tǒng)標(biāo)準(zhǔn)文件中的配置選項(xiàng)； 獲取IP地址模塊用于獲取Hadoop計(jì)算集群中計(jì)算節(jié)點(diǎn)的IP地址； 判斷計(jì)算節(jié)點(diǎn)模塊用于判斷所述計(jì)算節(jié)點(diǎn)是否屬于該Hadoop計(jì)算集群； 判斷IP地址模塊用于判斷所述IP地址有無對(duì)應(yīng)機(jī)柜信息。
全文摘要
本法明涉及一種HDFS中計(jì)算節(jié)點(diǎn)機(jī)柜位置感知的實(shí)現(xiàn)方法及其實(shí)現(xiàn)系統(tǒng)，包括下述步驟A、啟動(dòng)Hadoop分布式文件系統(tǒng)；B、檢查Hadoop分布式文件系統(tǒng)標(biāo)準(zhǔn)文件中的配置選項(xiàng)；C、將配置選項(xiàng)鏈接到檢測的腳本文件；D、獲取Hadoop計(jì)算集群中計(jì)算節(jié)點(diǎn)的IP地址；E、判斷計(jì)算節(jié)點(diǎn)是否屬于該Hadoop計(jì)算集群；F、判斷IP地址有無對(duì)應(yīng)機(jī)柜信息；G、返回Hadoop分布式文件系統(tǒng)相應(yīng)機(jī)柜信息；H、返回Hadoop分布式文件系統(tǒng)默認(rèn)機(jī)柜信息；I、Hadoop分布式文件系統(tǒng)異常。該方法克服了機(jī)柜間交換機(jī)的互連成為節(jié)點(diǎn)間數(shù)據(jù)查找和操作時(shí)的瓶頸和同一數(shù)據(jù)塊的所有副本可能會(huì)在同一個(gè)機(jī)柜里，當(dāng)一個(gè)機(jī)柜掉電時(shí)系統(tǒng)的數(shù)據(jù)的安全性難以保證的問題。
文檔編號(hào)H04L12/24GK102946323SQ201210411049
公開日2013年2月27日 申請(qǐng)日期2012年10月24日 優(yōu)先權(quán)日2012年10月24日
發(fā)明者馬慶懷 申請(qǐng)人:曙光信息產(chǎn)業(yè)(北京)有限公司