分布式緩存系統(tǒng)和方法
【專利說明】分布式緩存系統(tǒng)和方法
[0001]
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體地，涉及一種分布式緩存系統(tǒng)和一種分布式緩存方法。
[0003]
【背景技術(shù)】
[0004]CAP理論是分布式系統(tǒng)的重要定理。它是指分布式系統(tǒng)的三個(gè)特性:Consistency 一致性、Availability 可用性、Partit1n-tolerance 分區(qū)可容忍性。一致性是指分布式系統(tǒng)各節(jié)點(diǎn)對(duì)數(shù)據(jù)讀寫有一致的副本。可用性是指保證讀寫操作的完整以及讀寫速度。分區(qū)可容忍性可理解為系統(tǒng)的擴(kuò)展性，在一些節(jié)點(diǎn)產(chǎn)生網(wǎng)絡(luò)中斷的情況下，仍然可以對(duì)外提供服務(wù)并滿足可用性和一致性。對(duì)于分布式系統(tǒng)最多可以同時(shí)滿足其中的兩個(gè)，或者在三者間做一個(gè)平衡，而不能同時(shí)完美的兼顧這三個(gè)特性。
[0005]目前行業(yè)內(nèi)的分布式產(chǎn)品，都根據(jù)自己的使用場景和業(yè)務(wù)需求在這三個(gè)特性之間做了取舍或者做了折中的平衡。比如傳統(tǒng)的關(guān)系型數(shù)據(jù)庫設(shè)計(jì)就選擇了 C (一致性)與A(可用性)而放棄了 P (分區(qū)可容忍性)，因?yàn)閭鹘y(tǒng)數(shù)據(jù)庫的ACID模型擁有高一致性和可用性，所以很難進(jìn)行分區(qū)。
[0006]而對(duì)于傳統(tǒng)的互聯(lián)網(wǎng)公司(例如一些門戶網(wǎng)站)，因?yàn)榉?wù)器數(shù)量比較多，且部署比較分散，發(fā)生網(wǎng)絡(luò)故障是正?，F(xiàn)象。而在必然要保證可用性的情況下，都會(huì)優(yōu)先考慮分區(qū)容忍性與可用性，從而在一致性的方面做一些讓步。所以常見的高可用服務(wù)器都是放棄C而選擇AP。
[0007]以在當(dāng)前互聯(lián)網(wǎng)行業(yè)中應(yīng)用廣泛的分布式緩存為例，在當(dāng)前主流的分布式緩存的產(chǎn)品上，也都在這三者之間做了一個(gè)折中。作為分布式產(chǎn)品，一般都需要考慮分區(qū)可容忍性，因此，大部分產(chǎn)品都在一致性與可用性之間做了取舍，比如目前非常流行的Apache基金會(huì)的Zookeeper等產(chǎn)品，實(shí)際也就是加強(qiáng)可用性，而在一致性方面做了讓步，放棄了強(qiáng)一致性(強(qiáng)一致性是指，數(shù)據(jù)一旦寫入，能保證之后任意的操作都能讀到最新值)，而采取了最終一致性，作為zookeeper集群，當(dāng)半數(shù)以上的集群完成數(shù)據(jù)更新后被認(rèn)為是寫操作完成，但是讀操作，會(huì)隨機(jī)選擇一個(gè)節(jié)點(diǎn)來完成，所以無法保證讀操作能讀到最新的數(shù)據(jù)。另外，一些搜索產(chǎn)品為了考慮性能而采用了異步冗余的方式，對(duì)外體現(xiàn)的就是實(shí)現(xiàn)了弱一致性，也是采用了放棄一致性而優(yōu)先傾向于可用性。
[0008]對(duì)于不同的業(yè)務(wù)使用場景，當(dāng)前沒有一種分布式產(chǎn)品能通用，因?yàn)椴煌臉I(yè)務(wù)對(duì)CAP策略要求不同。為了適應(yīng)不同的開發(fā)產(chǎn)品需要，在這里，我們提出了一種可以動(dòng)態(tài)調(diào)節(jié)數(shù)據(jù)備份節(jié)點(diǎn)的CAP策略的分布式系統(tǒng)，這樣，對(duì)于不同客戶都只需要采用相同的部署方式，只需要實(shí)施人員根據(jù)客戶需要調(diào)整實(shí)施策略即可滿足不同的客戶需要。
[0009]因此，需要一種新的分布式緩存技術(shù)，可以在現(xiàn)有的分布式緩存方式基礎(chǔ)上，充分利用單對(duì)象類型完成多對(duì)象類型元數(shù)據(jù)的分布式緩存，建立多對(duì)象類型元數(shù)據(jù)參與的面向復(fù)雜類型分布式緩存的通用、統(tǒng)一緩存思路。
[0010]

【發(fā)明內(nèi)容】

[0011]本發(fā)明正是基于上述問題，提出了一種新的分布式緩存技術(shù)，可以在現(xiàn)有的分布式緩存方式基礎(chǔ)上，充分利用單對(duì)象類型完成多對(duì)象類型元數(shù)據(jù)的分布式緩存，建立多對(duì)象類型元數(shù)據(jù)參與的面向復(fù)雜類型分布式緩存的通用、統(tǒng)一緩存思路。
[0012]有鑒于此，本發(fā)明提出了一種分布式緩存系統(tǒng)，包括:數(shù)據(jù)定位單元，用于將待緩存數(shù)據(jù)通過一致性哈希定位到預(yù)設(shè)的每個(gè)邏輯節(jié)點(diǎn)，將每個(gè)邏輯節(jié)點(diǎn)作為分布式數(shù)據(jù)存儲(chǔ)的節(jié)點(diǎn)；基于預(yù)設(shè)的寫入節(jié)點(diǎn)數(shù)閾值和/或讀取節(jié)點(diǎn)數(shù)閾值，將定位到每個(gè)邏輯節(jié)點(diǎn)的待緩存數(shù)據(jù)，進(jìn)行寫入和/或讀取操作；場景平衡單元，用于基于對(duì)定位到每個(gè)邏輯節(jié)點(diǎn)的待緩存數(shù)據(jù)的寫入和/或讀取操作，根據(jù)實(shí)際應(yīng)用場景，調(diào)整預(yù)設(shè)的寫入節(jié)點(diǎn)數(shù)閾值和/或讀取節(jié)點(diǎn)數(shù)閾值和/或?qū)懭牍?jié)點(diǎn)數(shù)和讀取節(jié)點(diǎn)數(shù)總和的閾值；策略調(diào)整單元，用于基于調(diào)整后的寫入節(jié)點(diǎn)數(shù)閾值和/或讀取節(jié)點(diǎn)數(shù)閾值和/或?qū)懭牍?jié)點(diǎn)數(shù)和讀取節(jié)點(diǎn)數(shù)總和的閾值，適應(yīng)性地調(diào)整讀寫服務(wù)器的數(shù)量，并對(duì)數(shù)量調(diào)整后的讀寫服務(wù)器進(jìn)行策略調(diào)整。在該技術(shù)方案中，可以根據(jù)實(shí)際的業(yè)務(wù)場景需要，在分布式系統(tǒng)中分區(qū)容忍性，一致性與可用性之間取得一個(gè)平衡。
[0013]在上述技術(shù)方案中，優(yōu)選地，所述數(shù)據(jù)定位單元將待緩存數(shù)據(jù)通過一致性哈希定位到的每個(gè)邏輯節(jié)點(diǎn)，均有備份物理節(jié)點(diǎn)，每個(gè)物理節(jié)點(diǎn)都保存有當(dāng)前邏輯節(jié)點(diǎn)的完整數(shù)據(jù)；和/或，所述策略調(diào)整單元對(duì)數(shù)量調(diào)整后的讀寫服務(wù)器進(jìn)行策略調(diào)整時(shí)，調(diào)整的策略包括讀寫操作沖突自處理策略、讀寫性能兼顧處理策略、讀寫性能自調(diào)整策略和工作節(jié)點(diǎn)數(shù)自調(diào)整策略。在該技術(shù)方案中，可以滿足不同的業(yè)務(wù)場景需要。
[0014]在上述技術(shù)方案中，優(yōu)選地，所述數(shù)據(jù)定位單元，具體包括:一致性定位模塊，用于將待緩存數(shù)據(jù)通過一致性哈希定位到預(yù)設(shè)的每個(gè)邏輯節(jié)點(diǎn)，將每個(gè)邏輯節(jié)點(diǎn)作為分布式數(shù)據(jù)存儲(chǔ)的節(jié)點(diǎn)；數(shù)據(jù)寫入模塊，用于將每個(gè)邏輯節(jié)點(diǎn)作為分布式數(shù)據(jù)存儲(chǔ)的節(jié)點(diǎn)，基于預(yù)設(shè)的寫入節(jié)點(diǎn)數(shù)閾值，將定位到每個(gè)邏輯節(jié)點(diǎn)的待緩存數(shù)據(jù)，進(jìn)行寫入操作；數(shù)據(jù)讀取模塊，用于進(jìn)一步基于預(yù)設(shè)的讀取節(jié)點(diǎn)數(shù)閾值，將定位到每個(gè)邏輯節(jié)點(diǎn)的待緩存數(shù)據(jù)，進(jìn)行讀取操作。在該技術(shù)方案中，可以通過一些系統(tǒng)既有的定制方案或者更深入的精確調(diào)節(jié)方案來動(dòng)態(tài)調(diào)整分布式緩存服務(wù)器的讀寫策略，分區(qū)可容忍性以及可用性的策略調(diào)整。
[0015]在上述技術(shù)方案中，優(yōu)選地，所述場景平衡單元，具體包括:寫入節(jié)點(diǎn)數(shù)平衡模塊，用于基于對(duì)定位到每個(gè)邏輯節(jié)點(diǎn)的待緩存數(shù)據(jù)的寫入操作，根據(jù)實(shí)際應(yīng)用場景，調(diào)整預(yù)設(shè)的寫入節(jié)點(diǎn)數(shù)閾值；讀取節(jié)點(diǎn)數(shù)平衡模塊，用于基于對(duì)定位到每個(gè)邏輯節(jié)點(diǎn)的待緩存數(shù)據(jù)的讀取操作，根據(jù)實(shí)際應(yīng)用場景，調(diào)整預(yù)設(shè)的讀取節(jié)點(diǎn)數(shù)閾值；總節(jié)點(diǎn)數(shù)平衡模塊，用于基于對(duì)定位到每個(gè)邏輯節(jié)點(diǎn)的待緩存數(shù)據(jù)的寫入和/或讀取操作，根據(jù)實(shí)際應(yīng)用場景，調(diào)整預(yù)設(shè)的寫入節(jié)點(diǎn)數(shù)和讀取節(jié)點(diǎn)數(shù)總和的閾值、以及備份物理節(jié)點(diǎn)的總數(shù)。在該技術(shù)方案中，可以根據(jù)對(duì)分布式系統(tǒng)使用的實(shí)際場景進(jìn)行分析，達(dá)到對(duì)實(shí)際業(yè)務(wù)場景的一致性。
[0016]在上述技術(shù)方案中，優(yōu)選地，所述策略調(diào)整單元，具體包括:沖突自處理模塊，用于基于調(diào)整后的寫入節(jié)點(diǎn)數(shù)閾值和/或讀取節(jié)點(diǎn)數(shù)閾值和/或?qū)懭牍?jié)點(diǎn)數(shù)和讀取節(jié)點(diǎn)數(shù)總和的閾值，適應(yīng)性地調(diào)整讀寫服務(wù)器的數(shù)量，并對(duì)數(shù)量調(diào)整后的讀寫服務(wù)器進(jìn)行沖突自處理策略調(diào)整；讀寫性能兼顧模塊，用于進(jìn)一步地對(duì)數(shù)量調(diào)整后的讀寫服務(wù)器進(jìn)行讀寫性能兼顧處理策略調(diào)整，使得在一次寫操作后，讀操作不會(huì)讀到過期數(shù)據(jù)，并設(shè)置讀節(jié)點(diǎn)數(shù)為固定值；讀寫性能自調(diào)整模塊，用于進(jìn)一步地對(duì)數(shù)量調(diào)整后的讀寫服務(wù)器進(jìn)行讀寫性能自調(diào)整策略調(diào)整，使得在何種場景下，寫操作成功后，讀操作不會(huì)讀取到過期數(shù)據(jù)；工作節(jié)點(diǎn)數(shù)自調(diào)整模塊，用于進(jìn)一步地對(duì)數(shù)量調(diào)整后的讀寫服務(wù)器進(jìn)行工作節(jié)點(diǎn)數(shù)自調(diào)整策略調(diào)整，使得分布式緩存系統(tǒng)的備份節(jié)點(diǎn)則完全退化為單點(diǎn)。在該技術(shù)方案中，可以動(dòng)態(tài)調(diào)整CAP策略，根據(jù)實(shí)際的業(yè)務(wù)場景需要，在分布式系統(tǒng)中分區(qū)容忍性，分區(qū)可容忍性以及可用性的策略調(diào)整。
[0017]根據(jù)本發(fā)明的又一個(gè)方面，還提出了一種分布式緩存方法，包括:步驟202:將待緩存數(shù)據(jù)通過一致性哈希定位到預(yù)設(shè)的每個(gè)邏輯節(jié)點(diǎn)，將每個(gè)邏輯節(jié)點(diǎn)作為分布式數(shù)據(jù)存儲(chǔ)的節(jié)點(diǎn)；基于預(yù)設(shè)的寫入節(jié)點(diǎn)數(shù)閾值和/或讀取節(jié)點(diǎn)數(shù)閾值，將定位到每個(gè)邏輯節(jié)點(diǎn)的待緩存數(shù)據(jù)，進(jìn)行寫入和/或讀取操作；步驟204:基于對(duì)定位到每個(gè)邏輯節(jié)點(diǎn)的待緩存數(shù)據(jù)的寫入和/或讀取操作，根據(jù)實(shí)際應(yīng)用場景，調(diào)整預(yù)設(shè)的寫入節(jié)點(diǎn)數(shù)閾值和/或讀取節(jié)點(diǎn)數(shù)閾值和/或?qū)懭牍?jié)點(diǎn)數(shù)和讀取節(jié)點(diǎn)數(shù)總和的閾值；步驟206:基于調(diào)整后的寫入節(jié)點(diǎn)數(shù)閾值和/或讀取節(jié)點(diǎn)數(shù)閾值和/或?qū)懭牍?jié)點(diǎn)數(shù)和讀取節(jié)點(diǎn)數(shù)總和的閾值，適應(yīng)性地調(diào)整讀寫服務(wù)器的數(shù)量，并對(duì)數(shù)量調(diào)整后的讀寫服務(wù)器進(jìn)行策略調(diào)整。在該技術(shù)方案中，可以根據(jù)實(shí)際的業(yè)務(wù)場景需要，在分布式系統(tǒng)中分區(qū)容忍性，一致性與可用性之間取得一個(gè)平衡。
[0018]在上述技術(shù)方案中，優(yōu)選地，所述步驟202將待緩存數(shù)據(jù)通過一致性哈希定位到的每個(gè)邏輯節(jié)點(diǎn)，均有備份物理節(jié)點(diǎn)，每個(gè)物理節(jié)點(diǎn)都保存有當(dāng)前邏輯節(jié)點(diǎn)的完整數(shù)據(jù)；和/或，所述步驟206對(duì)數(shù)量調(diào)整后的讀寫服務(wù)器進(jìn)行策略調(diào)整時(shí)，調(diào)整的策略包括讀寫操作沖突自處理策略、讀寫性能兼顧處理策略、讀寫性能自調(diào)整策略和工作節(jié)點(diǎn)數(shù)自調(diào)整策略。在該技術(shù)方案中，可以滿足不同的業(yè)務(wù)場景需要。
[0019]在上述技術(shù)方案中，優(yōu)選地，所述步驟202，具體包括:步驟302:將待緩存數(shù)據(jù)通過一致性哈希定