結(jié)合主從備份和糾刪碼的內(nèi)存計算系統(tǒng)高可用優(yōu)化方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及高可用系統(tǒng)技術(shù)領(lǐng)域，具體地，設(shè)及結(jié)合主從備份和糾刪碼的內(nèi)存計 算系統(tǒng)高可用優(yōu)化方法。
【背景技術(shù)】
[0002] 內(nèi)存鍵值系統(tǒng)等內(nèi)存計算系統(tǒng)由于其易失性，通常需要使用主從數(shù)據(jù)備份的方式 防止巖機(jī)引起的數(shù)據(jù)丟失和服務(wù)不可用，如Redis。利用主從數(shù)據(jù)備份實(shí)現(xiàn)高可用內(nèi)存鍵值 系統(tǒng)的方法主要將服務(wù)器集群分為多個組，其中每組包含一個主節(jié)點(diǎn)和一到多個從節(jié)點(diǎn)。 其中主節(jié)點(diǎn)提供鍵值更新請求與鍵值查詢請求，從節(jié)點(diǎn)為主節(jié)點(diǎn)保存相同的內(nèi)存信息，并 只接收主節(jié)點(diǎn)發(fā)送的更新請求。當(dāng)主服務(wù)器出現(xiàn)錯誤時，從節(jié)點(diǎn)可W成為新的主節(jié)點(diǎn)并為 客戶端提供服務(wù)。由于從節(jié)點(diǎn)要維持和主節(jié)點(diǎn)相同的內(nèi)存信息，所W從節(jié)點(diǎn)使用內(nèi)存和主 節(jié)點(diǎn)一致，從而引入大量的內(nèi)存冗余，降低了內(nèi)存的利用效率。
[0003] 與主從備份不同，糾刪碼是一種能夠?qū)?shù)據(jù)進(jìn)行編碼，在數(shù)據(jù)丟失的情況下，利用 編碼恢復(fù)數(shù)據(jù)的可靠性保證技術(shù)。利用糾刪碼保護(hù)系統(tǒng)數(shù)據(jù)，可將服務(wù)器集群分為M個數(shù) 據(jù)節(jié)點(diǎn)和N個碼節(jié)點(diǎn)。該M+N個節(jié)點(diǎn)擁有相同的內(nèi)存空間，其中N個碼節(jié)點(diǎn)上的內(nèi)存數(shù)據(jù) 由M個數(shù)據(jù)節(jié)點(diǎn)上同地址內(nèi)存數(shù)據(jù)的不同編碼公式所得。當(dāng)其中不超過N個節(jié)點(diǎn)巖機(jī)時， 可通過M+N個節(jié)點(diǎn)中任意M個節(jié)點(diǎn)進(jìn)行恢復(fù)。

【發(fā)明內(nèi)容】

[0004] 針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種結(jié)合主從備份和糾刪碼的內(nèi)存 計算系統(tǒng)高可用優(yōu)化方法。
[0005] 根據(jù)本發(fā)明提供的一種結(jié)合主從備份和糾刪碼的內(nèi)存計算系統(tǒng)高可用優(yōu)化方法， 包括如下步驟：
[0006] 步驟1 ;將分布式系統(tǒng)分為多個組，每個組包括M個主節(jié)點(diǎn)和N個從節(jié)點(diǎn)，且M和N 均大于零；M個主節(jié)點(diǎn)的B區(qū)和N個從節(jié)點(diǎn)的D區(qū)具有相同的內(nèi)存空間，其中，N個從節(jié)點(diǎn)上 的D區(qū)內(nèi)存數(shù)據(jù)能夠由M個主節(jié)點(diǎn)B區(qū)上同內(nèi)存地址的內(nèi)存數(shù)據(jù)根據(jù)不同編碼公式得到； 任意從節(jié)點(diǎn)C區(qū)均包含M個主節(jié)點(diǎn)A區(qū)的有效數(shù)據(jù)；
[0007] -每個所述主節(jié)點(diǎn)上的內(nèi)存包括；A區(qū)和B區(qū)，所述A區(qū)用于保存元數(shù)據(jù)，所述B區(qū) 用于保存值數(shù)據(jù)，其中，元數(shù)據(jù)包括鍵到值數(shù)據(jù)地址的索引和內(nèi)存分配信息，值數(shù)據(jù)包括所 在主節(jié)點(diǎn)上所有鍵對應(yīng)的值數(shù)據(jù)；
[000引-每個所述從節(jié)點(diǎn)上的內(nèi)存包括；C區(qū)和D區(qū)；所述C區(qū)用于保存?zhèn)浞菰獢?shù)據(jù)，所述D區(qū)用于保存值數(shù)據(jù)編碼；
[0009] 步驟2 ;引入糾刪碼的更新操作保護(hù)值數(shù)據(jù)；
[0010] 步驟3 ;當(dāng)一主節(jié)點(diǎn)發(fā)生巖機(jī)后，任一從節(jié)點(diǎn)構(gòu)成恢復(fù)節(jié)點(diǎn)代替該主節(jié)點(diǎn)處理用 戶請求，并利用在線恢復(fù)協(xié)議恢復(fù)丟失數(shù)據(jù)。
[0011] 優(yōu)選地，所述步驟2包括：
[0012] 步驟2. 1 ;根據(jù)用戶的寫請求，主節(jié)點(diǎn)為所述寫請求中的待寫入的值數(shù)據(jù)分配內(nèi) 存地址；
[0013] 步驟2. 2 ;主節(jié)點(diǎn)計算得到所述待寫入的值數(shù)據(jù)與所分配內(nèi)存地址上原內(nèi)存數(shù)據(jù) 的差值，將所述寫請求中的待寫入的值數(shù)據(jù)替換為所得差值并轉(zhuǎn)發(fā)給從節(jié)點(diǎn)；
[0014] 步驟2.3 ;當(dāng)寫請求對應(yīng)的寫操作為同步寫操作時，從節(jié)點(diǎn)使用緩存區(qū)將所述寫 請求緩存，并回復(fù)主節(jié)點(diǎn)，相應(yīng)的更新操作需等到主節(jié)點(diǎn)收到所有從節(jié)點(diǎn)回復(fù)后繼續(xù)進(jìn) 行；
[0015] 步驟2. 4 ;主節(jié)點(diǎn)執(zhí)行索引修改與值數(shù)據(jù)修改；
[0016] 步驟2.5 ;當(dāng)寫請求對應(yīng)的寫操作為同步寫操作時，主節(jié)點(diǎn)發(fā)送確認(rèn)信息至從節(jié) 點(diǎn)，同時從節(jié)點(diǎn)需等到主節(jié)點(diǎn)確認(rèn)信息后繼續(xù)執(zhí)行；
[0017] 步驟2. 6 ;從節(jié)點(diǎn)執(zhí)行糾刪碼和元數(shù)據(jù)更新操作；
[0018] 異步更新操作僅含上述步驟2. 1、2. 2、2. 4、2. 6。
[0019] 優(yōu)選地，所述步驟3包括：
[0020] 步驟3. 1 ;恢復(fù)節(jié)點(diǎn)接收用戶請求后，根據(jù)備份元數(shù)據(jù)得到待恢復(fù)內(nèi)存地址，開始 恢復(fù)內(nèi)存數(shù)據(jù)，或在服務(wù)空閑時主動開始恢復(fù)內(nèi)存數(shù)據(jù)；
[0021] 步驟3. 2 ;恢復(fù)節(jié)點(diǎn)根據(jù)主節(jié)點(diǎn)崩潰數(shù)量設(shè)定恢復(fù)所設(shè)及到的主節(jié)點(diǎn)、從節(jié)點(diǎn)，并 發(fā)送恢復(fù)請求至所有所述設(shè)及到的主節(jié)點(diǎn)；
[0022] 步驟3. 3 ;接收到恢復(fù)請求的主節(jié)點(diǎn)向所有所述設(shè)及到的從節(jié)點(diǎn)發(fā)送恢復(fù)所需數(shù) 據(jù)，所述設(shè)及到的從節(jié)點(diǎn)收到恢復(fù)所需數(shù)據(jù)后：
[002引-若該待恢復(fù)內(nèi)存地址不存在相應(yīng)的糾刪碼拷貝，則為該恢復(fù)請求生成糾刪碼拷 貝，將收到的恢復(fù)所需數(shù)據(jù)按恢復(fù)公式操作在該糾刪碼拷貝上；
[0024] -若該待恢復(fù)內(nèi)存地址存在相應(yīng)的糾刪碼拷貝，則直接更新該糾刪碼拷貝；
[0025] -若在對恢復(fù)所需數(shù)據(jù)的接收已開始但尚沒有接收完畢的過程中收到主節(jié)點(diǎn)的更 新請求，且該糾刪碼拷貝正等待該主節(jié)點(diǎn)的恢復(fù)所需數(shù)據(jù)，則待恢復(fù)內(nèi)存地址相應(yīng)的原糾 刪碼和糾刪碼拷貝都需要執(zhí)行更新操作；
[0026] 步驟3. 4 ;從節(jié)點(diǎn)接收到所有主節(jié)點(diǎn)的恢復(fù)所需數(shù)據(jù)，且進(jìn)行過恢復(fù)操作后，將恢 復(fù)結(jié)果返回給恢復(fù)節(jié)點(diǎn)；
[0027] 步驟3. 5 ;恢復(fù)節(jié)點(diǎn)對收到的恢復(fù)結(jié)果做出計算，并恢復(fù)出原始值數(shù)據(jù)，繼續(xù)處理 用戶請求。
[002引與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：
[0029] 1、本發(fā)明提供的方法通過使用糾刪碼對數(shù)據(jù)進(jìn)行保護(hù)，減少數(shù)據(jù)的冗余度，提高 計算機(jī)系統(tǒng)內(nèi)存的使用效率。
[0030] 2、本發(fā)明提供的方法利用主從備份保護(hù)元數(shù)據(jù)，并利用在線恢復(fù)算法，縮短節(jié)點(diǎn) 奔潰后系統(tǒng)不可用時間，提高內(nèi)存鍵值系統(tǒng)的可用性。
[0031] 3、提高內(nèi)存使用效率的同時，保持高性能和并行數(shù)據(jù)恢復(fù)能力。
【附圖說明】
[0032] 通過閱讀參照W下附圖對非限制性實(shí)施例所作的詳細(xì)描述，本發(fā)明的其它特征、 目的和優(yōu)點(diǎn)將會變得更明顯：
[0033] 圖1為本發(fā)明提供的結(jié)合主從備份和糾刪碼的系統(tǒng)結(jié)構(gòu)與更新流程圖；
[0034] 圖2為本發(fā)明提供的在線恢復(fù)流程圖。
【具體實(shí)施方式】
[0035] 下面結(jié)合具體實(shí)施例對本發(fā)明進(jìn)行詳細(xì)說明。W下實(shí)施例將有助于本領(lǐng)域的技術(shù) 人員進(jìn)一步理解本發(fā)明，但不W任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對本領(lǐng)域的普通技術(shù) 人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可W做出若干變形和改進(jìn)。該些都屬于本發(fā)明 的保護(hù)范圍。
[0036] 本發(fā)明提出的結(jié)合主從備份和糾刪碼的內(nèi)存計算系統(tǒng)高可用優(yōu)化方法，包括如下 步驟：
[0037] 步驟1 ;將分布式系統(tǒng)分為多個組，每個組保護(hù)M個主節(jié)點(diǎn)和N個從節(jié)點(diǎn)，且M和N 的值均大于或等于1 ;
[003引-每個所述主節(jié)點(diǎn)上的內(nèi)存包括；A區(qū)和B區(qū)，所述A區(qū)用于保存元數(shù)據(jù)，所述B區(qū) 用于保存值數(shù)據(jù)，其中元數(shù)據(jù)包括鍵到值數(shù)據(jù)地址的索引和內(nèi)存分配信息，值數(shù)據(jù)包括該 節(jié)點(diǎn)上所有鍵對應(yīng)的值數(shù)據(jù)；
[0039] -每個所述從節(jié)點(diǎn)上的內(nèi)存包括；C區(qū)和D區(qū)；所述C區(qū)用于保存?zhèn)浞菰獢?shù)據(jù)，所述 D區(qū)用于保存值數(shù)據(jù)編碼；
[0040] 步驟2 ;引入糾刪碼的更新操作保護(hù)值數(shù)據(jù)；
[004U步驟3 ;當(dāng)一主節(jié)點(diǎn)發(fā)生巖機(jī)后，任一從節(jié)點(diǎn)構(gòu)成恢復(fù)節(jié)點(diǎn)代替該主節(jié)點(diǎn)處理請 求，并利用在線恢復(fù)協(xié)議恢復(fù)丟失數(shù)據(jù)。
[0042] 優(yōu)選地，所述步驟2包括：
[0043] 步驟2. 1 ;主節(jié)點(diǎn)為新寫入的值數(shù)據(jù)分配內(nèi)存；
[0044] 步驟2. 2 ;主節(jié)點(diǎn)計算值數(shù)據(jù)與分配地址上原內(nèi)存數(shù)據(jù)的差值，將原請求中的值 數(shù)據(jù)替換為所得差值并轉(zhuǎn)發(fā)給從節(jié)點(diǎn)；
[0045] 步驟2.3 ;當(dāng)寫請求對應(yīng)的寫操作為同步寫操作時，從節(jié)點(diǎn)使用緩存區(qū)將所述寫 請求緩存，并回復(fù)主節(jié)點(diǎn)，相應(yīng)的更新操作需等到主節(jié)點(diǎn)收到所有從節(jié)點(diǎn)回復(fù)后繼續(xù)進(jìn) 行；
[0046] 步驟2. 4 ;主節(jié)點(diǎn)執(zhí)行索引修改與值數(shù)據(jù)修改；
[0047] 步驟2.5;當(dāng)寫請求對應(yīng)的寫操作為同步寫操作時，主節(jié)點(diǎn)發(fā)送確認(rèn)信息至從節(jié) 點(diǎn)，同時從節(jié)點(diǎn)需等到主節(jié)點(diǎn)確認(rèn)信息后繼續(xù)執(zhí)行；
[0048] 步驟2. 6 ;從