欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

一種實(shí)現(xiàn)元數(shù)據(jù)集群的方法及元數(shù)據(jù)集群的制作方法

文檔序號(hào):9436144閱讀:821來源:國(guó)知局
一種實(shí)現(xiàn)元數(shù)據(jù)集群的方法及元數(shù)據(jù)集群的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)管理技術(shù),尤指一種實(shí)現(xiàn)元數(shù)據(jù)集群的方法及元數(shù)據(jù)集群。
【背景技術(shù)】
[0002]現(xiàn)如今大數(shù)據(jù)時(shí)代的興起,不僅引起了海量數(shù)據(jù)的數(shù)據(jù)挖掘,同樣也帶動(dòng)了海量數(shù)據(jù)的存儲(chǔ)。在移動(dòng)互聯(lián)網(wǎng)爆發(fā)的同時(shí),大量的數(shù)據(jù)的存儲(chǔ)變成了業(yè)內(nèi)普遍存在的問題。如何保證千萬級(jí),億級(jí)的數(shù)據(jù)量,PB級(jí)的存儲(chǔ)的可靠性,高效性,成了業(yè)內(nèi)普遍研究的問題。從小規(guī)模公司到大規(guī)模公司,都會(huì)存在這樣的問題,尤其是互聯(lián)網(wǎng)公司每日產(chǎn)生的用戶日志、數(shù)據(jù)和信息等等的存儲(chǔ)。
[0003]—般在分布式系統(tǒng)中,尤其是分布式文件系統(tǒng)中,對(duì)于元數(shù)據(jù)的存儲(chǔ)是獨(dú)立存儲(chǔ)。在分布式文件系統(tǒng)中,元數(shù)據(jù)只是描述文件存儲(chǔ)位置、屬性以及文件副本等信息的數(shù)據(jù)。這些數(shù)據(jù)一般是獨(dú)立存儲(chǔ)在單獨(dú)的服務(wù)器中。例如,HDFSUustre分布式文件系統(tǒng),但是以上文件系統(tǒng)為防止單點(diǎn)故障,均采用的是HA,雙機(jī)互備的方案,但是往往兩個(gè)節(jié)點(diǎn)無法滿足繼續(xù)擴(kuò)展的集群規(guī)模,所以一些分布式文件系統(tǒng)例如,ceph等,采用的集群式的管理元數(shù)據(jù)。但是,在集群中的元數(shù)據(jù)服務(wù)器實(shí)現(xiàn)性能和一致性的雙重保證往往是個(gè)難題。

【發(fā)明內(nèi)容】

[0004]為了解決上述技術(shù)問題,本發(fā)明提供了一種實(shí)現(xiàn)元數(shù)據(jù)集群的方法及元數(shù)據(jù)集群,能夠?qū)崿F(xiàn)元數(shù)據(jù)集群性能的線性擴(kuò)展,以及極高的可用性和可靠性。
[0005]為了達(dá)到本發(fā)明目的,本發(fā)明提供了一種實(shí)現(xiàn)元數(shù)據(jù)集群的方法,所述元數(shù)據(jù)集群包含N (N > I)個(gè)節(jié)點(diǎn),所述N個(gè)節(jié)點(diǎn)共享同一個(gè)虛擬IP地址,所述N個(gè)節(jié)點(diǎn)中包含一個(gè)主節(jié)點(diǎn)和至少一個(gè)從節(jié)點(diǎn),所述方法包括:
[0006]所述主節(jié)點(diǎn)接收客戶端發(fā)送的操作元數(shù)據(jù)命令;
[0007]所述主節(jié)點(diǎn)在根據(jù)所述操作元數(shù)據(jù)命令修改元數(shù)據(jù)的同時(shí),向元數(shù)據(jù)集群中的從節(jié)點(diǎn)發(fā)送組播包,所述組播包中攜帶元數(shù)據(jù)修改信息,指示所述從節(jié)點(diǎn)修改元數(shù)據(jù);
[0008]所述主節(jié)點(diǎn)接收從節(jié)點(diǎn)返回的成功消息,在返回成功消息的從節(jié)點(diǎn)的數(shù)目達(dá)到配置的數(shù)量M(M > O)時(shí),即確認(rèn)所述組播包發(fā)送成功,向所述客戶端返回成功結(jié)果,并記錄返回成功消息的從節(jié)點(diǎn)的目錄。
[0009]進(jìn)一步地,所述方法還包括:
[0010]如果所述主節(jié)點(diǎn)宕機(jī),則多個(gè)節(jié)點(diǎn)編號(hào)靠前的從節(jié)點(diǎn)協(xié)商獲取主節(jié)點(diǎn)權(quán)限,所述多個(gè)節(jié)點(diǎn)編號(hào)靠前的從節(jié)點(diǎn)為所述目錄中的從節(jié)點(diǎn)。
[0011 ] 進(jìn)一步地,所述方法還包括:
[0012]所述主節(jié)點(diǎn)接收客戶端發(fā)送的查詢命令,采用哈希的方式將查詢命令轉(zhuǎn)發(fā)給從節(jié)點(diǎn),完成客戶端請(qǐng)求的查詢。
[0013]進(jìn)一步地,一種實(shí)現(xiàn)元數(shù)據(jù)集群的方法,所述元數(shù)據(jù)集群包含N(N> I)個(gè)節(jié)點(diǎn),所述N個(gè)節(jié)點(diǎn)共享同一個(gè)虛擬IP地址,所述N個(gè)節(jié)點(diǎn)中包含一個(gè)主節(jié)點(diǎn)和至少一個(gè)從節(jié)點(diǎn),所述方法包括:
[0014]所述從節(jié)點(diǎn)接收主節(jié)點(diǎn)發(fā)送的組播包,所述組播包中攜帶元數(shù)據(jù)修改信息,根據(jù)所述組播包修改元數(shù)據(jù);
[0015]所述從節(jié)點(diǎn)向所述主節(jié)點(diǎn)返回成功消息。
[0016]進(jìn)一步地,所述方法還包括:
[0017]所述從節(jié)點(diǎn)接收主節(jié)點(diǎn)采用哈希的方式轉(zhuǎn)發(fā)的查詢命令,根據(jù)所述查詢命令完成客戶端請(qǐng)求的查詢。
[0018]進(jìn)一步地,一種元數(shù)據(jù)集群,包含N(N > I)個(gè)節(jié)點(diǎn),所述N個(gè)節(jié)點(diǎn)共享同一個(gè)虛擬IP地址,所述N個(gè)節(jié)點(diǎn)中包含一個(gè)主節(jié)點(diǎn)和至少一個(gè)從節(jié)點(diǎn),其中:
[0019]所述主節(jié)點(diǎn),用于接收客戶端發(fā)送的操作元數(shù)據(jù)命令,在根據(jù)所述操作元數(shù)據(jù)命令修改元數(shù)據(jù)的同時(shí),向元數(shù)據(jù)集群中的從節(jié)點(diǎn)發(fā)送組播包,所述組播包中攜帶元數(shù)據(jù)修改信息,指示所述從節(jié)點(diǎn)修改元數(shù)據(jù);并接收從節(jié)點(diǎn)返回的成功消息,在返回成功消息的從節(jié)點(diǎn)的數(shù)目達(dá)到配置的數(shù)量M(M > O)時(shí),即確認(rèn)所述組播包發(fā)送成功,向所述客戶端返回成功結(jié)果,并記錄返回成功消息的從節(jié)點(diǎn)的目錄。
[0020]進(jìn)一步地,所述從節(jié)點(diǎn),用于在所述主節(jié)點(diǎn)宕機(jī)時(shí),多個(gè)節(jié)點(diǎn)編號(hào)靠前的從節(jié)點(diǎn)協(xié)商獲取主節(jié)點(diǎn)權(quán)限,所述多個(gè)節(jié)點(diǎn)編號(hào)靠前的從節(jié)點(diǎn)為所述目錄中的從節(jié)點(diǎn)。
[0021]進(jìn)一步地,所述主節(jié)點(diǎn),還用于接收客戶端發(fā)送的查詢命令,采用哈希的方式將查詢命令轉(zhuǎn)發(fā)給從節(jié)點(diǎn),完成客戶端請(qǐng)求的查詢。
[0022]進(jìn)一步地,所述從節(jié)點(diǎn),用于接收主節(jié)點(diǎn)發(fā)送的組播包,所述組播包中攜帶元數(shù)據(jù)修改信息,根據(jù)所述組播包修改元數(shù)據(jù);并向所述主節(jié)點(diǎn)返回成功消息。
[0023]進(jìn)一步地,所述從節(jié)點(diǎn),還用于接收主節(jié)點(diǎn)采用哈希的方式轉(zhuǎn)發(fā)的查詢命令,根據(jù)所述查詢命令完成客戶端請(qǐng)求的查詢。
[0024]與現(xiàn)有技術(shù)相比,本發(fā)明包括主節(jié)點(diǎn)接收客戶端發(fā)送的操作元數(shù)據(jù)命令;在根據(jù)操作元數(shù)據(jù)命令修改元數(shù)據(jù)的同時(shí),向元數(shù)據(jù)集群中的從節(jié)點(diǎn)發(fā)送組播包,組播包中攜帶元數(shù)據(jù)修改信息,指示從節(jié)點(diǎn)修改元數(shù)據(jù);接收從節(jié)點(diǎn)返回的成功消息,在返回成功消息的從節(jié)點(diǎn)的數(shù)目達(dá)到配置的數(shù)量M(M> O)時(shí),即確認(rèn)組播包發(fā)送成功,向客戶端返回成功結(jié)果,并記錄返回成功消息的從節(jié)點(diǎn)的目錄。本發(fā)明通過構(gòu)建一個(gè)可以實(shí)現(xiàn)線性擴(kuò)展的元數(shù)據(jù)服務(wù)集群,采用的是集群一主多備,分工合作,內(nèi)部協(xié)商的方式,實(shí)現(xiàn)了 sale-out擴(kuò)展方式,為分布式系統(tǒng)以及分布式文件系統(tǒng)的元數(shù)據(jù)信息查詢、定位和修改等提供了優(yōu)越的性能和高可用性。本發(fā)明在權(quán)衡性能和一致性的前提下,實(shí)現(xiàn)了工業(yè)上的應(yīng)用需求。
[0025]本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述,并且,部分地從說明書中變得顯而易見,或者通過實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過在說明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。
【附圖說明】
[0026]附圖用來提供對(duì)本發(fā)明技術(shù)方案的進(jìn)一步理解,并且構(gòu)成說明書的一部分,與本申請(qǐng)的實(shí)施例一起用于解釋本發(fā)明的技術(shù)方案,并不構(gòu)成對(duì)本發(fā)明技術(shù)方案的限制。
[0027]圖1為本發(fā)明的實(shí)現(xiàn)元數(shù)據(jù)集群的方法的流程圖;
[0028]圖2為本發(fā)明的元數(shù)據(jù)集群的架構(gòu)圖。
【具體實(shí)施方式】
[0029]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白,下文中將結(jié)合附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行詳細(xì)說明。需要說明的是,在不沖突的情況下,本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互任意組合。
[0030]在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行。并且,雖然在流程圖中示出了邏輯順序,但是在某些情況下,可以以不同于此處的順序執(zhí)行所示出或描述的步驟。
[0031]圖1所示為本發(fā)明的實(shí)現(xiàn)元數(shù)據(jù)集群的方法,元數(shù)據(jù)集群包含N(N > I)個(gè)節(jié)點(diǎn),N個(gè)節(jié)點(diǎn)共享同一個(gè)虛擬IP地址,N個(gè)節(jié)點(diǎn)中包含一個(gè)主節(jié)點(diǎn)和至少一個(gè)從節(jié)點(diǎn),本發(fā)明的方法包括:
[0032]步驟101:主節(jié)點(diǎn)接收客戶端發(fā)送的操作元數(shù)據(jù)命令;
[0033]本發(fā)明中在N個(gè)節(jié)點(diǎn)的元數(shù)據(jù)集群中,N個(gè)節(jié)點(diǎn)共享一個(gè)虛擬IP地址,此IP也是提供給客戶端和存儲(chǔ)節(jié)點(diǎn)的IP地址。
[0034]客戶端發(fā)起創(chuàng)建和刪除文件的操作的時(shí)候,去元數(shù)據(jù)集群操作元數(shù)據(jù),主(master)節(jié)點(diǎn)接收客戶端發(fā)送的操作元數(shù)據(jù)命令。
[0035]步驟102:主節(jié)點(diǎn)在根據(jù)操作元數(shù)據(jù)命令修改元數(shù)據(jù)的同時(shí),向元數(shù)據(jù)集群中的從節(jié)點(diǎn)發(fā)送組播包,組播包中攜帶元數(shù)據(jù)修改信息,指示從節(jié)點(diǎn)修改元數(shù)據(jù);
[0036]master節(jié)點(diǎn)修改元數(shù)據(jù)的同時(shí),發(fā)組播包給元數(shù)據(jù)集群其他從(slave)節(jié)點(diǎn)。
[0037]步驟103:主節(jié)點(diǎn)接收從節(jié)點(diǎn)返回的成功消息,在返回成功消息的從節(jié)點(diǎn)的數(shù)目達(dá)到配置的數(shù)量M(M > O)時(shí),即確認(rèn)組播包發(fā)送成功,向客戶端返回成功結(jié)果,并記錄返回成功消息的從節(jié)點(diǎn)的目錄。
[0038]master節(jié)點(diǎn)接收到的返回成功的數(shù)目為配置的M的數(shù)量即算成功,貝Ijmaster節(jié)點(diǎn)返回給客戶端成功結(jié)果,并且此時(shí)master節(jié)點(diǎn)記錄成功的slave節(jié)點(diǎn)目錄。
[0039]進(jìn)一步的,如果主節(jié)點(diǎn)宕機(jī),則多
當(dāng)前第1頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
怀仁县| 临城县| 和顺县| 疏勒县| 神木县| 陆川县| 民权县| 永平县| 阿荣旗| 凌云县| 双江| 中超| 大宁县| 广灵县| 宜章县| 石林| 喀喇沁旗| 池州市| 若羌县| 关岭| 方正县| 博爱县| 绥宁县| 金塔县| 张北县| 垣曲县| 晋州市| 井研县| 东乡县| 邳州市| 长白| 光泽县| 宕昌县| 门源| 门源| 清镇市| 平阳县| 襄汾县| 罗甸县| 新河县| 郎溪县|