一種面向云存儲(chǔ)的復(fù)制狀態(tài)機(jī)模塊化框架設(shè)計(jì)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于云存儲(chǔ)副本復(fù)制容錯(cuò)技術(shù)領(lǐng)域，具體涉及一種基于一致性協(xié)議的復(fù)制 狀態(tài)機(jī)模塊化框架的設(shè)計(jì)方法。
【背景技術(shù)】
[0002] 狀態(tài)機(jī)復(fù)制是一種眾所周知的技術(shù)，它通過(guò)將確定性的服務(wù)復(fù)制到副本上并且在 不犧牲強(qiáng)一致性的情況下提供容錯(cuò)。一個(gè)復(fù)制狀態(tài)機(jī)通常包含一組副本，它們的執(zhí)行隨著 一系列預(yù)定順序的一致性協(xié)議實(shí)例進(jìn)行，這里每個(gè)實(shí)例的輸出是所有副本就某個(gè)確定性請(qǐng) 求達(dá)成的一致決議。通過(guò)以相同的順序執(zhí)行被輸出的確定性請(qǐng)求，所有非故障副本將在相 同的狀態(tài)序列中進(jìn)行轉(zhuǎn)換，從而保證了各個(gè)副本在狀態(tài)上的一致。以leader為中心的一致 性協(xié)議是復(fù)制狀態(tài)機(jī)中應(yīng)用極為廣泛的協(xié)議。
[0003] 為了提供一致的性能和高可用性，復(fù)制狀態(tài)機(jī)被廣泛應(yīng)用于云端大量的存儲(chǔ)服務(wù) (如現(xiàn)有的Megastore、PNUTS等）中。然而，隨著需求的多樣化發(fā)展和技術(shù)進(jìn)步的加快，云 環(huán)境正變得越來(lái)越復(fù)雜。為了適應(yīng)復(fù)雜云環(huán)境下各種存儲(chǔ)應(yīng)用的需求，傳統(tǒng)的復(fù)制狀態(tài)機(jī) 亟需得以改進(jìn)。
[0004] 當(dāng)前，許多解決方案針對(duì)具體的優(yōu)化目標(biāo)提出了對(duì)復(fù)制狀態(tài)機(jī)的擴(kuò)展；而需要強(qiáng) 一致性保證的云服務(wù)則從資源約束的角度出發(fā)，通過(guò)優(yōu)化一致性協(xié)議來(lái)達(dá)到改善復(fù)制狀態(tài) 機(jī)的目的。雖然針對(duì)資源約束/優(yōu)化目標(biāo)所設(shè)計(jì)的復(fù)制狀態(tài)機(jī)其表現(xiàn)形式不同，但它們都 涉及對(duì)一致性協(xié)議，尤其是以leader為中心的一致性協(xié)議的調(diào)整。許多復(fù)制狀態(tài)機(jī)通過(guò)在 多個(gè)進(jìn)程間分?jǐn)俵eader的負(fù)載或輪換leader角色而改善復(fù)制狀態(tài)機(jī)的執(zhí)行效率和性能。
[0005] 雖然在復(fù)制狀態(tài)機(jī)的設(shè)計(jì)上存在不同的方案。但是針對(duì)資源約束/優(yōu)化目標(biāo)提出 一種靈活、普遍適用的復(fù)制狀態(tài)機(jī)設(shè)計(jì)方法對(duì)于研究復(fù)制狀態(tài)機(jī)優(yōu)化設(shè)計(jì)和擴(kuò)展云端存儲(chǔ) 服務(wù)而言意義重大。它基于如下兩方面的考慮：一方面，雖然可以針對(duì)具體的資源約束/優(yōu) 化目標(biāo)為不同的應(yīng)用設(shè)計(jì)特定于應(yīng)用的復(fù)制狀態(tài)機(jī)及其相應(yīng)的一致性協(xié)議，但是這種設(shè)計(jì) 方式很不靈活，它要求對(duì)每種場(chǎng)景重新思考設(shè)計(jì)，增加了復(fù)制狀態(tài)機(jī)設(shè)計(jì)者們的工作負(fù)擔(dān)。 另一方面，盡管針對(duì)具體資源約束/優(yōu)化目標(biāo)的解決方案存在一定的差異，但它們通常擁 有類(lèi)似的設(shè)計(jì)思路。復(fù)制狀態(tài)機(jī)中一致性協(xié)議執(zhí)行的負(fù)載劃分與結(jié)果合并是很多解決方案 中共有的功能和階段。對(duì)這些共性的抽象與整合是有可能的，并且其規(guī)范化對(duì)此后具體環(huán) 境下的設(shè)計(jì)提供了指導(dǎo)。
[0006] 本發(fā)明從模塊劃分的角度出發(fā)，在一致性協(xié)議的協(xié)商與執(zhí)行業(yè)已劃分的基礎(chǔ)上， 關(guān)注"將協(xié)商進(jìn)一步劃分為局部排序與全局合并"的優(yōu)化方式，構(gòu)造直觀的復(fù)制狀態(tài)機(jī)模塊 化框架。在此基礎(chǔ)上，本發(fā)明為框架中局部排序和全局合并模塊的設(shè)計(jì)實(shí)現(xiàn)提供了規(guī)范化 的映射定義，并為復(fù)制狀態(tài)機(jī)及其一致性協(xié)議的執(zhí)行制定了統(tǒng)一的框架協(xié)議。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的是為針對(duì)各種具體資源約束/優(yōu)化目標(biāo)的復(fù)制狀態(tài)機(jī)及其一致性 協(xié)議的設(shè)計(jì)和實(shí)現(xiàn)提供一種直觀的、靈活的、規(guī)范化的設(shè)計(jì)方法。復(fù)制狀態(tài)機(jī)的設(shè)計(jì)者們通 過(guò)利用本發(fā)明所提供的模塊化框架及其設(shè)計(jì)流程，并結(jié)合其所附加的模塊實(shí)現(xiàn)規(guī)范與執(zhí)行 協(xié)議，就可以方便地得到適應(yīng)于特定要求的復(fù)制狀態(tài)機(jī)及其一致性協(xié)議。
[0008] 本發(fā)明通過(guò)如下技術(shù)方案實(shí)現(xiàn)。
[0009] -種面向云存儲(chǔ)的復(fù)制狀態(tài)機(jī)模塊化框架設(shè)計(jì)方法，首先明確復(fù)制狀態(tài)機(jī)所適用 的模型，所述模型包括通信模型、故障模型、執(zhí)行模型；在確定模型的基礎(chǔ)上劃分復(fù)制狀態(tài) 機(jī)的一級(jí)模塊，所述模塊包括通信機(jī)制模塊、一致性協(xié)議、模塊執(zhí)行模塊；進(jìn)一步在一致性 協(xié)議模塊中針對(duì)所定義的三個(gè)模型選擇適當(dāng)?shù)囊恢滦詤f(xié)議；然后根據(jù)設(shè)計(jì)需求，將一致性 協(xié)議模塊劃分為三個(gè)子模塊，所述子模塊包括排序子模塊、合并子模塊、故障檢測(cè)子模塊； 根據(jù)所采用的一致性協(xié)議，對(duì)復(fù)制狀態(tài)機(jī)所處理的狀態(tài)全集即被訪問(wèn)的數(shù)據(jù)進(jìn)行劃分；接 著，對(duì)應(yīng)于劃分的狀態(tài)，定義排序子模塊、合并子模塊的映射關(guān)系；在上述子模塊進(jìn)行物理 配置后，啟動(dòng)子模塊的執(zhí)行；將其生成的結(jié)果作為執(zhí)行模塊的輸入，最終形成的結(jié)果即為復(fù) 制狀態(tài)機(jī)的輸出。
[0010] 進(jìn)一步地，定義了作為復(fù)制狀態(tài)機(jī)實(shí)例運(yùn)行基礎(chǔ)的模型，包括通信模型、故障模 型、執(zhí)行模型；
[0011] 所述的通信模型指出：根據(jù)該設(shè)計(jì)方法實(shí)例化得到的復(fù)制狀態(tài)機(jī)實(shí)例所適用的通 信環(huán)境為異步分布式環(huán)境，運(yùn)行與不同服務(wù)器上的進(jìn)程在雙向信道上通過(guò)消息交換進(jìn)行通 信；消息交互是異步且不可靠的；所交換的消息可能被重復(fù)、丟失，但不會(huì)被損壞；消息傳 輸延遲、進(jìn)程相對(duì)速率沒(méi)有限制；
[0012] 所述的故障模型指出：該設(shè)計(jì)方法針對(duì)的是非拜占庭的場(chǎng)景，即所有服務(wù)器都可 能發(fā)生崩潰并隨后恢復(fù)其狀態(tài)，而即使它們發(fā)生故障之后也不會(huì)表現(xiàn)出拜占庭行為，即無(wú) 法預(yù)測(cè)的行為；
[0013] 所述的執(zhí)行模型定義了根據(jù)該設(shè)計(jì)方法實(shí)例化得到的復(fù)制狀態(tài)機(jī)實(shí)例所適用的 規(guī)模和網(wǎng)絡(luò)范圍，既可以運(yùn)行于廣域/局域環(huán)境下，也可以運(yùn)行于跨網(wǎng)絡(luò)的異構(gòu)環(huán)境；其執(zhí) 行模型包含了服務(wù)器的全集和進(jìn)程的全集；服務(wù)器全集提供了運(yùn)行具體復(fù)制狀態(tài)機(jī)的硬 件基礎(chǔ)設(shè)施，進(jìn)程全集包含了執(zhí)行復(fù)制狀態(tài)機(jī)中一致性協(xié)議的參與實(shí)體。
[0014] 進(jìn)一步地，所述方法劃分了模塊化框架的多個(gè)抽象的功能模塊，包括通信機(jī)制模 塊、一致性協(xié)議模塊、執(zhí)行模塊；
[0015] 所述通信機(jī)制模塊封裝了復(fù)制狀態(tài)機(jī)底層的通信機(jī)制；針對(duì)云端可能存在的復(fù)雜 的網(wǎng)絡(luò)通信環(huán)境，復(fù)制狀態(tài)機(jī)實(shí)例及其運(yùn)行的一致性協(xié)議可以借助于具體的通信機(jī)制實(shí)現(xiàn) 狀態(tài)機(jī)和協(xié)議的優(yōu)化；
[0016] 所述的一致性協(xié)議模塊是復(fù)制狀態(tài)機(jī)的核心，其具體實(shí)現(xiàn)方式對(duì)復(fù)制狀態(tài)機(jī)實(shí)例 的性能和負(fù)載均衡情況產(chǎn)生顯著影響；
[0017] 所述的執(zhí)行模塊是復(fù)制狀態(tài)機(jī)的最終處理模塊，該模塊處理的對(duì)象是合并模塊的 輸出結(jié)果；通過(guò)使復(fù)制狀態(tài)機(jī)各副本按序執(zhí)行合并模塊輸出的請(qǐng)求或命令，執(zhí)行模塊保證 復(fù)制狀態(tài)機(jī)中各副本最終在一致的狀態(tài)序列上進(jìn)行轉(zhuǎn)換，從而保證了副本的一致性。
[0018] 進(jìn)一步地，所述方法將復(fù)制狀態(tài)機(jī)的各個(gè)副本上針對(duì)其處理對(duì)象即請(qǐng)求或命令運(yùn) 行的一致性協(xié)議模塊作為框架的核心，為模塊選擇相應(yīng)的一致性協(xié)議并將其相應(yīng)功能封裝 到該模塊中；所選擇的一致性協(xié)議的特征是以leader為中心；一致性協(xié)議的每個(gè)實(shí)例針對(duì) 復(fù)制狀態(tài)機(jī)所處理的對(duì)象即請(qǐng)求或命令執(zhí)行，通過(guò)一系列一致性協(xié)議的執(zhí)行，這些對(duì)象被 排序，從而保證復(fù)制狀態(tài)機(jī)中各個(gè)副本間的狀態(tài)一致性。
[0019] 進(jìn)一步地，所述方法在一致性協(xié)議的請(qǐng)求/命令協(xié)商與執(zhí)行功能業(yè)已分開(kāi)的基礎(chǔ) 上，關(guān)注"將協(xié)商分為局部排序與全局合并"的優(yōu)化方式；據(jù)此，一致性協(xié)議模塊又分為排序 子模塊、合并子模塊和故障檢測(cè)子模塊；
[0020] 所述的排序子模塊是一致性協(xié)議模塊的子模塊；該模塊處理的對(duì)象是復(fù)制狀態(tài)機(jī) 所處理的對(duì)象即請(qǐng)求或命令集合被劃分后所得到的部分對(duì)象子集；通過(guò)排序模塊的處理， 對(duì)象子集被排序成為部分有序序列；由于該子模塊由分布的進(jìn)程子集執(zhí)行，實(shí)現(xiàn)了負(fù)載均 衡和性能提升；
[0021] 所述的合并子模塊是一致性協(xié)議模塊的子模塊；該模塊將排序模塊產(chǎn)生的中間結(jié) 果，即請(qǐng)求或命令的部分有序序列，進(jìn)行進(jìn)一步的合并；合并實(shí)際上也是某種程度上的排序 過(guò)程；合并模塊產(chǎn)生的結(jié)果是復(fù)制狀態(tài)機(jī)中所有副本所見(jiàn)到的一致的請(qǐng)求或命令序列；
[0022]