一種分布式系統(tǒng)中響應(yīng)操作指令的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別地涉及一種分布式系統(tǒng)中響應(yīng)操作指令的方法和裝置。
【背景技術(shù)】
[0002]Hadoop (海杜普)是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)(Hadoop Distributed File System),簡(jiǎn)稱HDFS。HDFS有高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的(low-cost)硬件上；而且它提供高吞吐量(high throughput)來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集(large data set)的應(yīng)用程序。HDFS放寬了(relax)POSIX的要求，可以以流的形式訪問(streaming access)文件系統(tǒng)中的數(shù)據(jù)。
[0003]Hadoop 2.x版本以后，針對(duì)原有NameNode單點(diǎn)故障提出了解決方案并加以實(shí)現(xiàn)，也就是NameNode高可用(High Availability)，實(shí)現(xiàn)NameNode熱切和自動(dòng)故障轉(zhuǎn)換，解決方案大體為:Hadoop集群配置兩個(gè)NameNode，一個(gè)為主一個(gè)為備用，主NameNode向外提供服務(wù)，備NameNode為備用狀態(tài)，當(dāng)主NameNode出現(xiàn)故障，備NameNode便會(huì)接替原先主NameNode的工作。
[0004]目前Hadoop NameNode高可用提供了兩種技術(shù)方案:
[0005]1、共享操作日志目錄:Hadoop將文件塊的操作日志存儲(chǔ)到一個(gè)指定的網(wǎng)絡(luò)文件系統(tǒng)的共享目錄中，主NameNode負(fù)責(zé)把操作日志信息寫入到共享目錄中，備NameNode負(fù)責(zé)從共享目錄中讀取，這樣就可達(dá)成主備NameNode之間數(shù)據(jù)一致性。
[0006]2、日志同步管理=Hadoop將文件塊的操作日志通過一組日志節(jié)點(diǎn)進(jìn)程來進(jìn)行同步的，這組日志節(jié)點(diǎn)進(jìn)程負(fù)責(zé)同步主備NameNode之間的日志信息，要求這組日志節(jié)點(diǎn)進(jìn)程的個(gè)數(shù)不能小于3個(gè)。這種模式可以允許一部分日志節(jié)點(diǎn)進(jìn)程同步成功即認(rèn)為整個(gè)同步操作就算成功，允許日志節(jié)點(diǎn)進(jìn)程成功的個(gè)數(shù)為:(n_l)/2，其中η為這組日志節(jié)點(diǎn)進(jìn)程的總個(gè)數(shù)，這種策略也能最大限度的保證集群的穩(wěn)定性和提高集群容錯(cuò)率。
[0007]在以上兩種NameNode高可用狀態(tài)下，Hadoop集群用戶權(quán)限更新和集群節(jié)點(diǎn)擴(kuò)容操作存在缺陷，給集群穩(wěn)定和高效帶來極大風(fēng)險(xiǎn)。圖1是根據(jù)現(xiàn)有技術(shù)中的Hadoop執(zhí)行用戶權(quán)限更新和節(jié)點(diǎn)擴(kuò)容操作工作流程的示意圖，按圖1的流程，當(dāng)在其中一個(gè)NameNode上執(zhí)行成功后便直接返回，導(dǎo)致另一個(gè)NameNode無法接收到最新的用戶權(quán)限和節(jié)點(diǎn)信息，此時(shí)如果這個(gè)無法接收到最新的用戶權(quán)限和節(jié)點(diǎn)操作指令的NameNode恰好為主NameNode，那么就會(huì)導(dǎo)致整個(gè)集群都無法獲取到最新的用戶權(quán)限和節(jié)點(diǎn)信息，也就無法進(jìn)行用戶權(quán)限更新和節(jié)點(diǎn)擴(kuò)容操作，導(dǎo)致信息丟失。
[0008]如果未執(zhí)行操作的NameNode此時(shí)并不是主NameNode，當(dāng)主NameNode服務(wù)出現(xiàn)故障，備用NameNode接替服務(wù)時(shí)，由于之前執(zhí)行用戶權(quán)限更新和節(jié)點(diǎn)擴(kuò)容操作時(shí)備用NameNode沒有獲取到最新信息，也會(huì)導(dǎo)致用戶權(quán)限和節(jié)點(diǎn)信息丟失。
[0009]目前一般采用的人工干預(yù)的方式能夠在一定程度上解決這個(gè)問題，其具體步驟為:在進(jìn)行用戶權(quán)限更新或者節(jié)點(diǎn)擴(kuò)容操作時(shí)，查看當(dāng)前主NameNode是否已經(jīng)獲取了最新的用戶權(quán)限和節(jié)點(diǎn)信息，如果未更新，說明執(zhí)行操作的NameNode不是主NameNode，此時(shí)解決辦法有兩個(gè):
[0010]方法一:將備NameNode停止服務(wù)，再次執(zhí)行用戶權(quán)限更新或節(jié)點(diǎn)擴(kuò)容操作，然后將配置信息同步到備用NameNode，啟動(dòng)服務(wù)，此時(shí)備用NameNode也能獲取到最新的用戶權(quán)限和節(jié)點(diǎn)信息；
[0011]方法二:通過NameNode熱切命令，將主備兩個(gè)NameNode的狀態(tài)互換，然后執(zhí)行用戶權(quán)限更新或節(jié)點(diǎn)擴(kuò)容操作，將配置信息同步到備用NameNode，啟動(dòng)服務(wù)即可。
[0012]如果進(jìn)行了用戶權(quán)限更改或者節(jié)點(diǎn)上下線操作，當(dāng)前主NameNode能同步到最新的用戶權(quán)限和節(jié)點(diǎn)信息，那么只需要將配置信息同步到備NameNode，然后重啟備NameNode服務(wù)，此時(shí)兩個(gè)NameNode都有最新的用戶權(quán)限和節(jié)點(diǎn)信息。
[0013]以上通過人工干預(yù)的方式缺點(diǎn)也是顯而易見的:對(duì)于人工操作來說，總是存在一定程度的誤操作風(fēng)險(xiǎn)，因此影響集群的可靠性；另外人工操作的效率較低，并且會(huì)增加人工工作量。

【發(fā)明內(nèi)容】

[0014]有鑒于此，本發(fā)明提供一種分布式系統(tǒng)中響應(yīng)操作指令的方法和裝置，能夠在Hadoop集群在進(jìn)行用戶權(quán)限更新和節(jié)點(diǎn)擴(kuò)容等操作時(shí)，具有比較高的操作效率，并有助于保證集群的可靠性。
[0015]為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種分布式系統(tǒng)中響應(yīng)操作指令的方法。
[0016]本發(fā)明的分布式系統(tǒng)中響應(yīng)操作指令的方法包括:確定Hadoop系統(tǒng)中所有的NameNode ;在接收到操作指令后，對(duì)確定出的NameNode進(jìn)行輪詢，并且對(duì)輪詢到的NameNode執(zhí)行所述操作指令。
[0017]可選地，確定Hadoop系統(tǒng)中所有的NameNode的步驟包括:解析Hadoop配置文件以獲取Hadoop系統(tǒng)中所有的NameNode。
[0018]可選地，在對(duì)輪詢到的NameNode執(zhí)行所述操作指令時(shí)，若執(zhí)行失敗，則對(duì)已輪詢的NameNode進(jìn)行回滾操作，并且停止所述輪詢。
[0019]可選地，所述操作指令包括用戶權(quán)限更新操作指令和節(jié)點(diǎn)擴(kuò)容操作指令。
[0020]根據(jù)本發(fā)明的另一方面，提供了一種分布式系統(tǒng)中響應(yīng)操作指令的裝置。
[0021]本發(fā)明的分布式系統(tǒng)中響應(yīng)操作指令的裝置包括:確定模塊，用于確定Hadoop系統(tǒng)中所有的NameNode ;指令接收模塊，用于接收操作指令；輪詢執(zhí)行模塊，用于在所述指令接收模塊接收到操作指令后，對(duì)確定出的NameNode進(jìn)行輪詢，并且對(duì)輪詢到的NameNode執(zhí)行所述操作指令。
[0022]可選地，所述確定模塊還用于解析Hadoop配置文件以獲取Hadoop系統(tǒng)中所有的
NameNode0
[0023]可選地，所述輪詢執(zhí)行模塊還用于在對(duì)輪詢到的NameNode執(zhí)行所述操作指令時(shí)，若執(zhí)行失敗，則對(duì)已輪詢的NameNode進(jìn)行回滾操作，并且停止所述輪詢。
[0024]可選地，所述操作指令包括用戶權(quán)限更新操作指令和節(jié)點(diǎn)擴(kuò)容操作指令。
[0025]根據(jù)本發(fā)明的技術(shù)方案，對(duì)Hadoop系統(tǒng)中所有的NameNode進(jìn)行輪詢，對(duì)輪詢到的NameNode執(zhí)行用戶權(quán)限更新操作指令或者節(jié)點(diǎn)擴(kuò)容操作指令，使每個(gè)NameNode節(jié)點(diǎn)都能獲得最新的用戶權(quán)限信息以及節(jié)點(diǎn)信息。其中優(yōu)選的方式是在輪詢過程中，只要有一個(gè)NameNode操作失敗，就對(duì)已輪詢即已處理的NameNode節(jié)點(diǎn)進(jìn)行回滾操作，這樣可以保證主備NameNode間信息的一致性。
【附圖說明】
[0026]附圖用于更好地理解本發(fā)明，不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。其中:
[0027]圖1是根據(jù)現(xiàn)有技術(shù)中的Hadoop執(zhí)行用戶權(quán)限更新和節(jié)點(diǎn)擴(kuò)容操作工作流程的示意圖；
[0028]圖2是根