一種數(shù)據(jù)處理方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)處理方法和裝置。
【背景技術(shù)】
[0002]Redis是一款知名的內(nèi)存數(shù)據(jù)庫，它的優(yōu)勢是運行穩(wěn)定、性能良好和接口豐富。但最大的問題是，目前只支持單點寫入數(shù)據(jù)。而且，其架構(gòu)是單進(jìn)程單線程的。這意味著在負(fù)載達(dá)到一定程度時，無論CPU上有幾個核心，Redis總會表現(xiàn)出計算瓶頸，因為它最多只能使用其中的一個核心。事實上，在現(xiàn)行硬件條件下，當(dāng)負(fù)載超過每秒10萬次操作時，Redis已經(jīng)表現(xiàn)出嚴(yán)重的性能瓶頸。這導(dǎo)致在一些高并發(fā)的應(yīng)用場景下，Redis等內(nèi)存數(shù)據(jù)庫不能滿足性能需要。

【發(fā)明內(nèi)容】

[0003]本發(fā)明提供一種數(shù)據(jù)處理方法和裝置，以解決在一些高并發(fā)的應(yīng)用場景下，Redis等內(nèi)存數(shù)據(jù)庫性能低的問題。
[0004]為了解決上述問題，本發(fā)明公開了一種數(shù)據(jù)處理方法，包括:
[0005]通過計數(shù)代理實體接收客戶端發(fā)送的計數(shù)請求指令；所述計數(shù)請求指令包括數(shù)據(jù)的類型和數(shù)據(jù)的計數(shù)數(shù)量；
[0006]利用所述計數(shù)代理實體根據(jù)所述計數(shù)請求指令中的數(shù)據(jù)的計數(shù)數(shù)量執(zhí)行計數(shù)操作；
[0007]通過所述計數(shù)代理實體判斷計數(shù)結(jié)果是否滿足計數(shù)轉(zhuǎn)移條件；
[0008]當(dāng)滿足時，利用計數(shù)轉(zhuǎn)移實體發(fā)送計數(shù)增加指令到計數(shù)服務(wù)器，以令所述計數(shù)服務(wù)器根據(jù)所述計數(shù)增加指令進(jìn)行數(shù)據(jù)處理；所述計數(shù)增加指令包括數(shù)據(jù)的類型和數(shù)據(jù)的增加數(shù)量。
[0009]優(yōu)選地，所述通過所述計數(shù)代理實體判斷計數(shù)結(jié)果是否滿足計數(shù)轉(zhuǎn)移條件，包括:
[0010]通過所述計數(shù)代理實體判斷當(dāng)前計數(shù)數(shù)值是否大于等于預(yù)設(shè)閾值，和/或，計數(shù)轉(zhuǎn)移頻次是否大于等于預(yù)設(shè)門限；
[0011]當(dāng)當(dāng)前計數(shù)數(shù)值大于等于預(yù)設(shè)閾值，和/或，計數(shù)轉(zhuǎn)移頻次大于等于預(yù)設(shè)門限時，確定計數(shù)結(jié)果滿足計數(shù)轉(zhuǎn)移條件；
[0012]當(dāng)當(dāng)當(dāng)前計數(shù)數(shù)值小于預(yù)設(shè)閾值，和/或，計數(shù)轉(zhuǎn)移頻次小于預(yù)設(shè)門限時，確定計數(shù)結(jié)果不滿足計數(shù)轉(zhuǎn)移條件。
[0013]優(yōu)選地，所述方法還包括:
[0014]在利用計數(shù)轉(zhuǎn)移實體發(fā)送計數(shù)增加指令到計數(shù)服務(wù)器的同時，通過所述計數(shù)轉(zhuǎn)移實體發(fā)送計數(shù)減少指令至所述計數(shù)代理實體；所述計數(shù)減少指令包括數(shù)據(jù)的類型和數(shù)據(jù)的減少數(shù)量；
[0015]通過所述計數(shù)代理實體根據(jù)所述計數(shù)減少指令中的數(shù)據(jù)的類型和數(shù)據(jù)的減少數(shù)量，減少數(shù)據(jù)的數(shù)量。
[0016]優(yōu)選地，所述計數(shù)增加指令中的數(shù)據(jù)的增加數(shù)量與所述計數(shù)減少指令中的數(shù)據(jù)的減少數(shù)量相等。
[0017]優(yōu)選地，所述通過計數(shù)代理實體接收客戶端發(fā)送的計數(shù)請求指令之前，所述方法還包括:
[0018]選擇與所述計數(shù)請求指令中的數(shù)據(jù)的類型對應(yīng)的計數(shù)代理實體。
[0019]相應(yīng)地，本發(fā)明還公開了一種數(shù)據(jù)處理裝置，包括:
[0020]計數(shù)代理模塊，用于接收客戶端發(fā)送的計數(shù)請求指令；所述計數(shù)請求指令包括數(shù)據(jù)的類型和數(shù)據(jù)的計數(shù)數(shù)量；
[0021]所述計數(shù)代理模塊，還用于根據(jù)所述計數(shù)請求指令中的數(shù)據(jù)的計數(shù)數(shù)量執(zhí)行計數(shù)操作；
[0022]所述計數(shù)代理模塊，還用于判斷計數(shù)結(jié)果是否滿足計數(shù)轉(zhuǎn)移條件；
[0023]計數(shù)轉(zhuǎn)移模塊，用于當(dāng)計數(shù)結(jié)果滿足計數(shù)轉(zhuǎn)移條件時，發(fā)送計數(shù)增加指令到計數(shù)服務(wù)器，以令所述計數(shù)服務(wù)器根據(jù)所述計數(shù)增加指令進(jìn)行數(shù)據(jù)處理；所述計數(shù)增加指令包括數(shù)據(jù)的類型和數(shù)據(jù)的增加數(shù)量。
[0024]優(yōu)選地，所述計數(shù)代理模塊，包括:
[0025]判斷模塊，用于判斷當(dāng)前計數(shù)數(shù)值是否大于等于預(yù)設(shè)閾值，和/或，計數(shù)轉(zhuǎn)移頻次是否大于等于預(yù)設(shè)門限；
[0026]確定模塊，用于當(dāng)當(dāng)前計數(shù)數(shù)值大于等于預(yù)設(shè)閾值，和/或，計數(shù)轉(zhuǎn)移頻次大于等于預(yù)設(shè)門限時，確定計數(shù)結(jié)果滿足計數(shù)轉(zhuǎn)移條件；當(dāng)當(dāng)當(dāng)前計數(shù)數(shù)值小于預(yù)設(shè)閾值，和/或，計數(shù)轉(zhuǎn)移頻次小于預(yù)設(shè)門限時，確定計數(shù)結(jié)果不滿足計數(shù)轉(zhuǎn)移條件。
[0027]優(yōu)選地，所述計數(shù)轉(zhuǎn)移模塊，還用于在發(fā)送計數(shù)增加指令到計數(shù)服務(wù)器的同時，發(fā)送計數(shù)減少指令至所述計數(shù)代理模塊；所述計數(shù)減少指令包括數(shù)據(jù)的類型和數(shù)據(jù)的減少數(shù)量;
[0028]所述計數(shù)代理模塊，還用于根據(jù)所述計數(shù)減少指令中的數(shù)據(jù)的類型和數(shù)據(jù)的減少數(shù)量，減少數(shù)據(jù)的數(shù)量。
[0029]優(yōu)選地，所述計數(shù)增加指令中的數(shù)據(jù)的增加數(shù)量與所述計數(shù)減少指令中的數(shù)據(jù)的減少數(shù)量相等。
[0030]優(yōu)選地，還包括:
[0031]選擇模塊，用于在所述計數(shù)代理模塊接收客戶端發(fā)送的計數(shù)請求指令之前，選擇與所述計數(shù)請求指令中的數(shù)據(jù)的類型對應(yīng)的計數(shù)代理模塊。
[0032]與【背景技術(shù)】相比，本發(fā)明包括以下優(yōu)點:
[0033]本發(fā)明技術(shù)方案利用計數(shù)代理實體接收客戶端發(fā)送的計數(shù)請求指令，并根據(jù)計數(shù)請求指令中的數(shù)據(jù)的計數(shù)數(shù)量執(zhí)行計數(shù)操作；通過計數(shù)代理實體判斷計數(shù)結(jié)果是否滿足計數(shù)轉(zhuǎn)移條件；當(dāng)滿足時，利用計數(shù)轉(zhuǎn)移實體發(fā)送計數(shù)增加指令到計數(shù)服務(wù)器，以令計數(shù)服務(wù)器根據(jù)計數(shù)增加指令進(jìn)行數(shù)據(jù)處理。通過在客戶端和Redis等內(nèi)存數(shù)據(jù)庫之間增加包括計數(shù)代理實體和技術(shù)轉(zhuǎn)移實體在內(nèi)的中間層代理的方式，使得Redis等內(nèi)存數(shù)據(jù)庫在被用于高并發(fā)計數(shù)這個應(yīng)用場景下，能夠滿足性能要求。
【附圖說明】
[0034]圖1是本發(fā)明技術(shù)方案的系統(tǒng)框圖；
[0035]圖2是本發(fā)明實施例一中的一種數(shù)據(jù)處理方法的步驟流程圖；
[0036]圖3是本發(fā)明實施例二中的一種數(shù)據(jù)處理方法的步驟流程圖；
[0037]圖4是本發(fā)明實施例三中的一種數(shù)據(jù)處理方法的步驟流程圖；
[0038]圖5是本發(fā)明實施例四中的一種數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖；
[0039]圖6是本發(fā)明實施例五中的一種數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖；
[0040]圖7是本發(fā)明實施例六中的一種數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實施方式】
[0041]為使本發(fā)明的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結(jié)合附圖和【具體實施方式】對本發(fā)明作進(jìn)一步詳細(xì)的說明。
[0042]本發(fā)明技術(shù)方案針對Redis等主節(jié)點的單點性能瓶頸問題，采用增加中間層代理的方式，來代替主節(jié)點接受并處理來自客戶端的請求。中間層代理先將處理后的結(jié)果進(jìn)行一定的匯總，然后再發(fā)送給Redis等主節(jié)點。這樣主節(jié)點的工作角色，從與客戶端直接對話，變?yōu)榱撕椭虚g層代理對話，而與客戶端間接對話。
[0043]本發(fā)明技術(shù)方案的系統(tǒng)框圖如圖1所示，每個客戶端可以與各自對應(yīng)的中間層代理相連接，各中間層代理與Redis主節(jié)點相連接。
[0044]下面通過列舉幾個具體的實施例詳細(xì)介紹本發(fā)明提供的一種數(shù)據(jù)處理方法和裝置。
[0045]實施例一
[0046]詳細(xì)介紹本發(fā)明實施例提供的一種數(shù)據(jù)處理方法。
[0047]參照圖2，示出了本發(fā)明實施例中一種數(shù)據(jù)處理方法的步驟流程圖。
[0048]步驟100，通過計數(shù)代理實體接收客戶端發(fā)送的計數(shù)請求指令。
[0049]所述計數(shù)代理實體可以為實