用于集群系統(tǒng)的數(shù)據(jù)加載方法、裝置和集群系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)涉及集群系統(tǒng)領(lǐng)域，具體而言，涉及一種用于集群系統(tǒng)的數(shù)據(jù)加載方法、裝置和集群系統(tǒng)。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)、電子商務(wù)行業(yè)的快速發(fā)展，互聯(lián)網(wǎng)中的服務(wù)器系統(tǒng)通常會(huì)進(jìn)行大規(guī)模的數(shù)據(jù)運(yùn)算，最典型的場(chǎng)景就是一些諸如規(guī)則引擎、分類算法等需要大量計(jì)算的應(yīng)用。為了提高數(shù)據(jù)運(yùn)算的速度，通常采用集群系統(tǒng)作為服務(wù)器系統(tǒng)，其中，集群系統(tǒng)常常是單一主控機(jī)(single master)+多工作機(jī)(many workers)模式，worker實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)、讀寫、分析處理等，master保存部分或全部元數(shù)據(jù)、實(shí)現(xiàn)worker的任務(wù)分配、狀態(tài)監(jiān)控、負(fù)載平衡、故障監(jiān)測(cè)和故障恢復(fù)等。Master常常使用heartbeat+lease或類似機(jī)制監(jiān)控worker的狀態(tài)，向worker定期交換信息以監(jiān)控集群系統(tǒng)狀態(tài)和發(fā)送控制命令。
[0003]在集群系統(tǒng)進(jìn)行數(shù)據(jù)計(jì)算過(guò)程中，如果用于計(jì)算的規(guī)則信息數(shù)據(jù)分布在數(shù)據(jù)庫(kù)，則集群系統(tǒng)在計(jì)算過(guò)程中需要從該數(shù)據(jù)庫(kù)中實(shí)時(shí)讀取，數(shù)據(jù)讀取效率低，從而導(dǎo)致嚴(yán)重的性能問(wèn)題。目前采用的方案就是使用分布式緩存解決集群系統(tǒng)中讀取數(shù)據(jù)庫(kù)(例如DB數(shù)據(jù)庫(kù))數(shù)據(jù)的效率問(wèn)題。
[0004]分布式緩存是在分布式環(huán)境中使用的緩存技術(shù)，常用的緩存主要是各服務(wù)器本地緩存，緩存的工作原理是當(dāng)服務(wù)器系統(tǒng)需要讀取一個(gè)數(shù)據(jù)時(shí)，首先從服務(wù)器的緩存中查找，如果找到，則立即讀??；如果沒有找到，就用相對(duì)慢的速度從數(shù)據(jù)庫(kù)或者其他地區(qū)讀取數(shù)據(jù)后放入到緩存中，正是這樣的讀取機(jī)制使得應(yīng)用對(duì)數(shù)據(jù)的讀取效率大大提高。分布式緩存為提高效能而設(shè)計(jì)，和單個(gè)系統(tǒng)的緩存不同的是，在集群系統(tǒng)中，分布式緩存分布于多臺(tái)機(jī)器，多臺(tái)機(jī)器在邏輯上使用相同的緩存數(shù)據(jù)。
[0005]如圖1所示，一個(gè)集群系統(tǒng)中包括一個(gè)處于主控的主控機(jī)、多個(gè)服務(wù)器和數(shù)據(jù)庫(kù)，主控機(jī)作為集群系統(tǒng)的管理者進(jìn)行著集群系統(tǒng)中各個(gè)服務(wù)器的管理和控制。當(dāng)需要進(jìn)行數(shù)據(jù)計(jì)算時(shí)，主控機(jī)發(fā)出指令，控制各服務(wù)器更新緩存，以從數(shù)據(jù)庫(kù)中進(jìn)行數(shù)據(jù)讀取緩存。
[0006]發(fā)明人發(fā)現(xiàn)，在高并發(fā)的場(chǎng)景下，集群服務(wù)器中多個(gè)服務(wù)器分別加載數(shù)據(jù)庫(kù)中的數(shù)據(jù)會(huì)帶來(lái)瞬間大量的數(shù)據(jù)庫(kù)查詢。另外，如果從緩存未查詢到數(shù)據(jù)，在將數(shù)據(jù)緩存到服務(wù)器本地時(shí)，同樣會(huì)帶來(lái)大規(guī)模數(shù)據(jù)庫(kù)的讀寫，這對(duì)集群系統(tǒng)的穩(wěn)定性帶來(lái)極大的挑戰(zhàn)。在高并發(fā)的場(chǎng)景下，無(wú)論是從數(shù)據(jù)庫(kù)中查詢數(shù)據(jù)還是從數(shù)據(jù)庫(kù)中加載數(shù)據(jù)，都會(huì)給數(shù)據(jù)庫(kù)帶來(lái)巨大的運(yùn)行壓力，降低數(shù)據(jù)庫(kù)的使用壽命。
[0007]針對(duì)現(xiàn)有技術(shù)中數(shù)據(jù)庫(kù)的運(yùn)行壓力大導(dǎo)致使用壽命短的問(wèn)題，目前尚未提出有效的解決方案。

【發(fā)明內(nèi)容】

[0008]本申請(qǐng)的主要目的在于提供一種用于集群系統(tǒng)的數(shù)據(jù)加載方法、裝置和集群系統(tǒng)，以解決數(shù)據(jù)庫(kù)的運(yùn)行壓力大導(dǎo)致使用壽命短問(wèn)題。
[0009]為了實(shí)現(xiàn)上述目的，根據(jù)本申請(qǐng)的一個(gè)方面，提供了一種用于集群系統(tǒng)的數(shù)據(jù)加載方法。根據(jù)本申請(qǐng)的用于集群系統(tǒng)的數(shù)據(jù)加載方法包括:集群系統(tǒng)中的第一服務(wù)器讀取數(shù)據(jù)庫(kù)中的數(shù)據(jù)，并對(duì)讀取的數(shù)據(jù)進(jìn)行緩存，得到緩存數(shù)據(jù)；集群系統(tǒng)中的第二服務(wù)器讀取緩存數(shù)據(jù)；以及集群系統(tǒng)中的第二服務(wù)器加載讀取到的緩存數(shù)據(jù)。
[0010]進(jìn)一步地，集群系統(tǒng)中的第一服務(wù)器對(duì)讀取的數(shù)據(jù)進(jìn)行緩存包括:集群系統(tǒng)中的第一服務(wù)器將讀取的數(shù)據(jù)緩存到集群系統(tǒng)中的第一服務(wù)器本地；或者集群系統(tǒng)中的第一服務(wù)器將讀取的數(shù)據(jù)緩存到緩存系統(tǒng)，緩存系統(tǒng)為用于緩存數(shù)據(jù)的系統(tǒng)。
[0011 ] 進(jìn)一步地，集群系統(tǒng)中的第二服務(wù)器為多個(gè)服務(wù)器，其中，集群系統(tǒng)中的第二服務(wù)器讀取緩存數(shù)據(jù)包括:多個(gè)服務(wù)器從集群系統(tǒng)中的第一服務(wù)器讀取緩存數(shù)據(jù)；或者多個(gè)服務(wù)器從緩存系統(tǒng)讀取緩存數(shù)據(jù)。
[0012]進(jìn)一步地，緩存系統(tǒng)為nosql集群緩存系統(tǒng)，其中，集群系統(tǒng)中的第一服務(wù)器將讀取的數(shù)據(jù)緩存到緩存系統(tǒng)包括:集群系統(tǒng)中的第一服務(wù)器將讀取的數(shù)據(jù)保存到nosql集群緩存系統(tǒng)中，集群系統(tǒng)中的第二服務(wù)器讀取緩存數(shù)據(jù)包括:多個(gè)服務(wù)器從nosql集群緩存系統(tǒng)讀取緩存數(shù)據(jù)。
[0013]為了實(shí)現(xiàn)上述目的，根據(jù)本申請(qǐng)的一個(gè)方面，提供了一種用于集群系統(tǒng)的數(shù)據(jù)加載裝置。根據(jù)本申請(qǐng)的用于集群系統(tǒng)的數(shù)據(jù)加載裝置包括:緩存單元，用于使得集群系統(tǒng)中的第一服務(wù)器讀取數(shù)據(jù)庫(kù)中的數(shù)據(jù)，并對(duì)讀取的數(shù)據(jù)進(jìn)行緩存，得到緩存數(shù)據(jù)；讀取單元，用于使得集群系統(tǒng)中的第二服務(wù)器讀取緩存數(shù)據(jù)；以及加載單元，用于使得集群系統(tǒng)中的第二服務(wù)器加載讀取到的緩存數(shù)據(jù)。
[0014]進(jìn)一步地，緩存單元包括:第一緩存模塊，用于使得集群系統(tǒng)中的第一服務(wù)器將讀取的數(shù)據(jù)緩存到集群系統(tǒng)中的第一服務(wù)器本地；或者第二緩存模塊，用于使得集群系統(tǒng)中的第一服務(wù)器將讀取的數(shù)據(jù)緩存到緩存系統(tǒng)，緩存系統(tǒng)為用于緩存數(shù)據(jù)的系統(tǒng)。
[0015]進(jìn)一步地，集群系統(tǒng)中的第二服務(wù)器為多個(gè)服務(wù)器，其中，讀取單元包括:第一讀取模塊，用于使得多個(gè)服務(wù)器從集群系統(tǒng)中的第一服務(wù)器讀取緩存數(shù)據(jù)；或者第二讀取模塊，用于使得多個(gè)服務(wù)器從緩存系統(tǒng)讀取緩存數(shù)據(jù)。
[0016]進(jìn)一步地，緩存系統(tǒng)為nosql集群緩存系統(tǒng)，其中，第二緩存模塊還用于使得集群系統(tǒng)中的第一服務(wù)器將讀取的數(shù)據(jù)保存到nosql集群緩存系統(tǒng)中，讀取單元還用于使得多個(gè)服務(wù)器從nosql集群緩存系統(tǒng)讀取緩存數(shù)據(jù)。
[0017]為了實(shí)現(xiàn)上述目的，根據(jù)本申請(qǐng)的另一方面，提供了一種集群系統(tǒng)。根據(jù)本申請(qǐng)的集群系統(tǒng)包括:第一服務(wù)器，用于讀取數(shù)據(jù)庫(kù)中的數(shù)據(jù)，并對(duì)讀取的數(shù)據(jù)進(jìn)行緩存，得到緩存數(shù)據(jù)；以及第二服務(wù)器，用于讀取緩存數(shù)據(jù)，并加載讀取到的緩存數(shù)據(jù)。
[0018]進(jìn)一步地，集群系統(tǒng)還包括緩存系統(tǒng)，第一服務(wù)器海用于將從數(shù)據(jù)庫(kù)中讀取的數(shù)據(jù)緩存到緩存系統(tǒng)中，其中，第二服務(wù)器還用于從緩存系統(tǒng)中讀取緩存數(shù)據(jù)，并將讀取的緩存數(shù)據(jù)加載到第二服務(wù)器本地。
[0019]進(jìn)一步地，緩存系統(tǒng)為nosql集群緩存系統(tǒng)，第二服務(wù)器為多個(gè)服務(wù)器，其中，第一服務(wù)器還用于將讀取的數(shù)據(jù)保存到nosql集群緩存系統(tǒng)中，多個(gè)服務(wù)器從nosql集群緩存系統(tǒng)讀取緩存數(shù)據(jù)，并將讀取的緩存數(shù)據(jù)加載到多個(gè)服務(wù)器本地。
[0020]通過(guò)本申請(qǐng)實(shí)施例，第一服務(wù)器讀取數(shù)據(jù)庫(kù)的數(shù)據(jù)，并對(duì)讀取的數(shù)據(jù)進(jìn)行緩存，得到緩存數(shù)據(jù)，第二服務(wù)器讀取該緩存數(shù)據(jù)，并加載該緩存數(shù)據(jù)，第二服務(wù)器無(wú)需從數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)，從而減少集群系統(tǒng)中服務(wù)器向數(shù)據(jù)庫(kù)發(fā)出的數(shù)據(jù)請(qǐng)求和讀取，通過(guò)第一服務(wù)器來(lái)讀取數(shù)據(jù)庫(kù)的數(shù)據(jù)，并進(jìn)行緩存，解決了數(shù)據(jù)庫(kù)的運(yùn)行壓力大導(dǎo)致使用壽命短的問(wèn)題，達(dá)到了減低數(shù)據(jù)庫(kù)運(yùn)行壓力進(jìn)而延長(zhǎng)數(shù)據(jù)庫(kù)使用壽命的效果。
【附圖說(shuō)明】
[0021 ] 構(gòu)成本申請(qǐng)的一部分的附圖用來(lái)提供對(duì)本申請(qǐng)的進(jìn)一步理解，本申請(qǐng)的示意性實(shí)施例及其說(shuō)明用于解釋本申請(qǐng)，并不構(gòu)成對(duì)本申請(qǐng)的不當(dāng)限定。在附圖中:
[0022]圖1是根據(jù)現(xiàn)有技術(shù)的集群系統(tǒng)的示意圖；
[0023]圖2是根據(jù)本申請(qǐng)實(shí)施例的集群系統(tǒng)的示意圖；
[0024]圖3是根據(jù)本申請(qǐng)實(shí)施例的集群系統(tǒng)的工作時(shí)序圖；
[0025]圖4是根據(jù)本申請(qǐng)實(shí)施例的用于集群系統(tǒng)的數(shù)據(jù)加載方法的流程圖；以及
[0026]圖5是根據(jù)本申請(qǐng)實(shí)施例的用于集群系統(tǒng)的數(shù)據(jù)加載裝置的示意圖。
【具體實(shí)施方式】
[0027]需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。下面將參考附圖并結(jié)合實(shí)施例來(lái)詳細(xì)說(shuō)明本申請(qǐng)。
[0028]為了使本技術(shù)領(lǐng)域的人員更好地理解本申請(qǐng)方案，下面將結(jié)合本申請(qǐng)實(shí)施例中的附圖，對(duì)本申請(qǐng)實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本申請(qǐng)一部分的實(shí)施例，而不是全部的實(shí)施例。基于本申請(qǐng)中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本申請(qǐng)保護(hù)的范圍。
[0029]需要說(shuō)明的是，本申請(qǐng)的說(shuō)明書和權(quán)利要求書及上述附圖中的術(shù)