一種數(shù)據(jù)處理方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)和互聯(lián)網(wǎng)領(lǐng)域，具體涉及一種數(shù)據(jù)處理方法和系統(tǒng)。
【背景技術(shù)】
[0002] 圖1為現(xiàn)有的一種數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)圖。如圖1所示，該數(shù)據(jù)處理系統(tǒng)包括數(shù) 據(jù)庫(kù)服務(wù)器110、主緩存服務(wù)器（Redis Master) 120、從緩存服務(wù)器（Redis Slave) 130和負(fù) 載均衡器140,數(shù)據(jù)庫(kù)服務(wù)器110與主緩存服務(wù)器120通信連接，主緩存服務(wù)器120與從緩 存服務(wù)器130通信連接，且主緩存服務(wù)器120和從緩存服務(wù)器130均通信連接至負(fù)載均衡 器140,負(fù)載均衡器140與多個(gè)應(yīng)用服務(wù)器150例如網(wǎng)頁(yè)服務(wù)器（Webserver)通信連接。
[0003] 在該數(shù)據(jù)處理系統(tǒng)中，使用Redis作為數(shù)據(jù)庫(kù)服務(wù)器110所存儲(chǔ)的數(shù)據(jù)的緩存系 統(tǒng)，且Redis的部署結(jié)構(gòu)為主從架構(gòu)。應(yīng)用服務(wù)器150進(jìn)行數(shù)據(jù)查詢時(shí)，其讀數(shù)據(jù)請(qǐng)求會(huì)首 先到達(dá)負(fù)載均衡器140,負(fù)載均衡器140采用預(yù)定的負(fù)載均衡算法來從主緩存服務(wù)器120和 從緩存服務(wù)器130中選擇一個(gè)，并從所選擇的緩存服務(wù)器中獲取相應(yīng)數(shù)據(jù)后，返回給應(yīng)用 服務(wù)器140。
[0004] 通常，緩存服務(wù)器中緩存的數(shù)據(jù)具有過期時(shí)間，如不及時(shí)進(jìn)行緩存更新，應(yīng)用服務(wù) 器有可能會(huì)從緩存服務(wù)器中獲取過期的數(shù)據(jù)。因此，數(shù)據(jù)庫(kù)服務(wù)器110會(huì)按照預(yù)定周期對(duì) Redis中緩存的數(shù)據(jù)進(jìn)行更新。緩存更新的過程一般為：數(shù)據(jù)庫(kù)服務(wù)器110將數(shù)據(jù)寫入到 主緩存服務(wù)器120,主緩存服務(wù)器120將所緩存的數(shù)據(jù)同步到從緩存服務(wù)器130。
[0005] 但是，數(shù)據(jù)庫(kù)服務(wù)器110中通常存儲(chǔ)大量數(shù)據(jù)，在緩存更新周期到達(dá)時(shí)，數(shù)據(jù)庫(kù)服 務(wù)器110需要集中寫入大量數(shù)據(jù)到緩存服務(wù)器。而Redis是單線程方式響應(yīng)請(qǐng)求，由于寫 入數(shù)據(jù)量非常大，在寫入數(shù)據(jù)的同時(shí)來自于前端應(yīng)用服務(wù)器150的查詢請(qǐng)求會(huì)受到阻塞排 隊(duì)，嚴(yán)重時(shí)導(dǎo)致應(yīng)用服務(wù)器150無法和Redis服務(wù)建立連接，使得系統(tǒng)的響應(yīng)時(shí)間過長(zhǎng)。而 且，主緩存服務(wù)器120會(huì)同步大量數(shù)據(jù)到從緩存服務(wù)器130,導(dǎo)致從緩存服務(wù)器130上出現(xiàn) 加載數(shù)據(jù)（load data in memory)異常，嚴(yán)重影響前端業(yè)務(wù)服務(wù)器的穩(wěn)定。

【發(fā)明內(nèi)容】

[0006] 鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上 述問題的數(shù)據(jù)處理方法和系統(tǒng)。
[0007] 根據(jù)本發(fā)明的一個(gè)方面，提供了一種數(shù)據(jù)處理系統(tǒng)，包括數(shù)據(jù)庫(kù)服務(wù)器、寫處理 器、多個(gè)緩存服務(wù)器和讀處理器，所述寫處理器和讀處理器中均存儲(chǔ)有各緩存服務(wù)器與對(duì) 該緩存服務(wù)器所存儲(chǔ)的數(shù)據(jù)進(jìn)行更新的寫時(shí)間段的關(guān)聯(lián)關(guān)系，其中：所述寫處理器適于在 接收到數(shù)據(jù)庫(kù)服務(wù)器發(fā)送的寫數(shù)據(jù)請(qǐng)求時(shí)，根據(jù)當(dāng)前時(shí)間從所述多個(gè)緩存服務(wù)器中選擇一 個(gè)緩存服務(wù)器，其中所述當(dāng)前時(shí)間落入到了所選擇的緩存服務(wù)器的寫時(shí)間段內(nèi)，并根據(jù)該 寫數(shù)據(jù)請(qǐng)求將數(shù)據(jù)庫(kù)服務(wù)器中存儲(chǔ)的相應(yīng)數(shù)據(jù)條目寫入到所選擇的緩存服務(wù)器中；所述 讀處理器適于在接收到應(yīng)用服務(wù)器發(fā)送的讀數(shù)據(jù)請(qǐng)求時(shí)，根據(jù)當(dāng)前時(shí)間從所述多個(gè)緩存服 務(wù)器中選擇一個(gè)緩存服務(wù)器，其中所述當(dāng)前時(shí)間未落入到所選擇的緩存服務(wù)器的寫時(shí)間段 內(nèi)，并從所選擇的緩存服務(wù)器獲取與該讀數(shù)據(jù)請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)條目，將獲取到的數(shù)據(jù)條目 返回給應(yīng)用服務(wù)器。
[0008] 可選地，在根據(jù)本發(fā)明的數(shù)據(jù)處理系統(tǒng)中，所述多個(gè)緩存服務(wù)器為兩個(gè)緩存服務(wù) 器，分別為第一緩存服務(wù)器和第二緩存服務(wù)器，所述第一緩存服務(wù)器的寫時(shí)間段和所述第 二緩存服務(wù)器的寫時(shí)間段是對(duì)預(yù)定長(zhǎng)度的時(shí)間段進(jìn)行劃分得到的兩個(gè)時(shí)間段。
[0009] 可選地，在根據(jù)本發(fā)明的數(shù)據(jù)處理系統(tǒng)中，所述數(shù)據(jù)庫(kù)服務(wù)器適于根據(jù)對(duì)數(shù)據(jù)條 目的每種查詢條件，獲取與該查詢條件相關(guān)聯(lián)的數(shù)據(jù)條目，并根據(jù)查詢條件與數(shù)據(jù)條目的 關(guān)聯(lián)關(guān)系來構(gòu)造寫數(shù)據(jù)請(qǐng)求，相應(yīng)地，所述寫處理器進(jìn)一步適于根據(jù)該寫數(shù)據(jù)請(qǐng)求將查詢 條件以及與該查詢條件關(guān)聯(lián)的數(shù)據(jù)條目相關(guān)聯(lián)的存儲(chǔ)到緩存服務(wù)器中。
[0010] 可選地，在根據(jù)本發(fā)明的數(shù)據(jù)處理系統(tǒng)中，所述讀處理器進(jìn)一步適于根據(jù)讀數(shù)據(jù) 請(qǐng)求所攜帶的查詢條件，從緩存服務(wù)器獲取與該查詢條件相關(guān)聯(lián)的數(shù)據(jù)條目。
[0011] 可選地，在根據(jù)本發(fā)明的數(shù)據(jù)處理系統(tǒng)中，數(shù)據(jù)庫(kù)服務(wù)器中的數(shù)據(jù)條目是以關(guān)系 型數(shù)據(jù)庫(kù)方式進(jìn)行存儲(chǔ)；緩存服務(wù)器中的數(shù)據(jù)條目是以查詢條件為鍵、以相關(guān)聯(lián)的數(shù)據(jù)條 目為值的鍵-值方式進(jìn)行存儲(chǔ)。
[0012] 可選地，在根據(jù)本發(fā)明的數(shù)據(jù)處理系統(tǒng)中，所述第一緩存服務(wù)器的寫時(shí)間段的長(zhǎng) 度等于所述第二緩存服務(wù)器的寫時(shí)間段的長(zhǎng)度。
[0013] 根據(jù)本發(fā)明的另一方面，提供了一種數(shù)據(jù)處理方法，適于在包括數(shù)據(jù)庫(kù)服務(wù)器、寫 處理器、多個(gè)緩存服務(wù)器和讀處理器的數(shù)據(jù)處理系統(tǒng)中執(zhí)行，所述數(shù)據(jù)處理方法包括：在寫 處理器和讀處理器中存儲(chǔ)各緩存服務(wù)器與對(duì)該緩存服務(wù)器所存儲(chǔ)的數(shù)據(jù)進(jìn)行更新的寫時(shí) 間段的關(guān)聯(lián)關(guān)系；寫處理器在接收到數(shù)據(jù)庫(kù)服務(wù)器發(fā)送的寫數(shù)據(jù)請(qǐng)求時(shí)，根據(jù)當(dāng)前時(shí)間從 所述多個(gè)緩存服務(wù)器中選擇一個(gè)緩存服務(wù)器，其中所述當(dāng)前時(shí)間落入到了所選擇的緩存服 務(wù)器的寫時(shí)間段內(nèi)，并根據(jù)該寫數(shù)據(jù)請(qǐng)求將數(shù)據(jù)庫(kù)服務(wù)器中存儲(chǔ)的相應(yīng)數(shù)據(jù)條目寫入到所 選擇的緩存服務(wù)器中；讀處理器在接收到應(yīng)用服務(wù)器發(fā)送的讀數(shù)據(jù)請(qǐng)求時(shí)，根據(jù)當(dāng)前時(shí)間 從所述多個(gè)緩存服務(wù)器中選擇一個(gè)緩存服務(wù)器，其中所述當(dāng)前時(shí)間未落入到所選擇的緩存 服務(wù)器的寫時(shí)間段內(nèi)，并從所選擇的緩存服務(wù)器獲取與該讀數(shù)據(jù)請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)條目，將 獲取到的數(shù)據(jù)條目返回給應(yīng)用服務(wù)器。
[0014] 可選地，在根據(jù)本發(fā)明的數(shù)據(jù)處理方法中，所述多個(gè)緩存服務(wù)器為兩個(gè)緩存服務(wù) 器，分別為第一緩存服務(wù)器和第二緩存服務(wù)器，所述第一緩存服務(wù)器的寫時(shí)間段和所述第 二緩存服務(wù)器的寫時(shí)間段是對(duì)預(yù)定長(zhǎng)度的時(shí)間段進(jìn)行劃分得到的兩個(gè)時(shí)間段。
[0015] 可選地，根據(jù)本發(fā)明的數(shù)據(jù)處理方法還包括：數(shù)據(jù)庫(kù)服務(wù)器根據(jù)對(duì)數(shù)據(jù)條目的每 種查詢條件，獲取與該查詢條件相關(guān)聯(lián)的數(shù)據(jù)條目，并根據(jù)查詢條件與數(shù)據(jù)條目的關(guān)聯(lián)關(guān) 系構(gòu)造寫數(shù)據(jù)請(qǐng)求，將所構(gòu)造的寫數(shù)據(jù)請(qǐng)求發(fā)送到寫處理器；所述根據(jù)該寫數(shù)據(jù)請(qǐng)求將數(shù) 據(jù)庫(kù)服務(wù)器中存儲(chǔ)的相應(yīng)數(shù)據(jù)條目寫入到所選擇的緩存服務(wù)器中，包括：根據(jù)該寫數(shù)據(jù)請(qǐng) 求將查詢條件以及與該查詢條件關(guān)聯(lián)的數(shù)據(jù)條目相關(guān)聯(lián)的存儲(chǔ)到緩存服務(wù)器中。
[0016] 可選地，在根據(jù)本發(fā)明的數(shù)據(jù)處理方法中，所述從所選擇的緩存服務(wù)器獲取與該 讀數(shù)據(jù)請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)條目，包括：根據(jù)讀數(shù)據(jù)請(qǐng)求所攜帶的查詢條件，從緩存服務(wù)器獲取 與該查詢條件相關(guān)聯(lián)的數(shù)據(jù)條目。
[0017] 可選地，在根據(jù)本發(fā)明的數(shù)據(jù)處理方法中，數(shù)據(jù)庫(kù)服務(wù)器中的數(shù)據(jù)條目是以關(guān)系 型數(shù)據(jù)庫(kù)方式進(jìn)行存儲(chǔ)；緩存服務(wù)器中的數(shù)據(jù)條目是以查詢條件為鍵、以相關(guān)聯(lián)的數(shù)據(jù)條 目為值的鍵-值方式進(jìn)行存儲(chǔ)。
[0018] 可選地，在根據(jù)本發(fā)明的數(shù)據(jù)處理方法中，所述第一緩存服務(wù)器的寫時(shí)間段的長(zhǎng) 度等于所述第二緩存服務(wù)器的寫時(shí)間段的長(zhǎng)度。
[0019] 根據(jù)本發(fā)明的數(shù)據(jù)處理方案，通過為各緩存服務(wù)器分別分配寫時(shí)間段，在緩存服 務(wù)器的寫時(shí)間段內(nèi)響應(yīng)寫數(shù)據(jù)請(qǐng)求，實(shí)現(xiàn)緩存的更新，在寫時(shí)間段之外的時(shí)間段響應(yīng)讀數(shù) 據(jù)請(qǐng)求，完成業(yè)務(wù)查詢，從而隔離了在同一緩存服務(wù)器上的讀操作和寫操作，避免了讀操作 與寫操作之間的相互影響，使得系統(tǒng)響應(yīng)時(shí)間短，系統(tǒng)性能更加穩(wěn)定。并且，還取消了緩存 服務(wù)器的主從部署方式，這樣就不用在各個(gè)緩存服務(wù)器之間同步數(shù)據(jù)，消除了大量數(shù)據(jù)同 步對(duì)業(yè)務(wù)查詢的負(fù)面影響。
[0020] 上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段， 而可依照說明書的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠 更明顯易懂，以下特舉本發(fā)明的【具體實(shí)施方式】。
【附圖說明】
[0021] 通過閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通 技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的，而并不認(rèn)為是對(duì)本發(fā)明 的限制。而且在整個(gè)附圖中，用相同的參考符號(hào)表示相同的部件。在附圖中：
[0022] 圖1示出了現(xiàn)有的一種數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)圖；
[0023] 圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)圖；以及
[0024] 圖3示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的數(shù)據(jù)處理方法的流程圖。
【具體實(shí)施方式】
[0025] 下面將參照附圖更詳細(xì)地描述本公開的示例性實(shí)施例。雖然附圖中顯示了本公開 的示例性實(shí)施例，然而應(yīng)當(dāng)理解，可以以各種形式實(shí)現(xiàn)本公開而不應(yīng)被這里闡述的實(shí)施例 所限制。相反，提供這些實(shí)施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍 完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。
[0026] 圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)圖。如圖2所示，該數(shù)據(jù) 處理系統(tǒng)包括數(shù)據(jù)庫(kù)服務(wù)器210、寫處理器220、多個(gè)緩存服務(wù)器（圖中示出了 2個(gè)，分別為 第一緩存服務(wù)器230和第二緩存服務(wù)器240)和讀處理器250,寫處理器220 -方面與數(shù)據(jù) 庫(kù)服務(wù)器210通信連接，另一方面與所述多個(gè)緩存服務(wù)器中的每個(gè)緩存服務(wù)器通信連接， 讀處理器250 -方面與所述多個(gè)緩存服務(wù)器中的每個(gè)緩存服務(wù)器通信連接，另一方面與一 個(gè)或多個(gè)應(yīng)用服務(wù)器260例如網(wǎng)頁(yè)服務(wù)器（Webserver)通信連接。
[0027] 在本發(fā)明實(shí)施例的數(shù)據(jù)處理系統(tǒng)中，多個(gè)緩存服務(wù)器構(gòu)成數(shù)據(jù)庫(kù)服務(wù)器210所存 儲(chǔ)的數(shù)據(jù)的緩存系統(tǒng)。應(yīng)用服務(wù)器260需要查詢數(shù)據(jù)時(shí)，不需要對(duì)數(shù)據(jù)庫(kù)服務(wù)器210中的 數(shù)據(jù)進(jìn)行直接操作，而是從緩存服務(wù)器獲取需要查詢的數(shù)據(jù)，由于緩存服務(wù)器中的數(shù)據(jù)存 儲(chǔ)在內(nèi)存中，訪問速度快，因此能夠提高數(shù)據(jù)查詢的速度。另外，由于緩存服務(wù)器中緩存的 數(shù)據(jù)具有過期時(shí)間，如不及時(shí)進(jìn)行緩存更新，應(yīng)用服務(wù)器260有可能會(huì)從緩存服務(wù)器中獲 取過期的數(shù)據(jù)。因此，數(shù)據(jù)庫(kù)服務(wù)器110會(huì)按照預(yù)定周期對(duì)緩存服務(wù)器中緩存的數(shù)據(jù)進(jìn)行 更新。
[0028] 緩存內(nèi)容更新和數(shù)據(jù)查詢操作的流程為：在緩存數(shù)據(jù)的更新周期中，數(shù)據(jù)庫(kù)服務(wù) 器210構(gòu)造寫數(shù)據(jù)請(qǐng)求發(fā)送到寫處理器220,該寫數(shù)據(jù)請(qǐng)求中攜帶需要更新到緩存服務(wù)器 的數(shù)據(jù)條目，寫處理器220接收到數(shù)據(jù)庫(kù)服務(wù)器210發(fā)送的寫數(shù)據(jù)請(qǐng)求時(shí)，根據(jù)該寫數(shù)據(jù)請(qǐng) 求將數(shù)據(jù)庫(kù)服務(wù)