一種緩存數(shù)據(jù)處理方法、裝置和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及通信技術(shù)領(lǐng)域，具體涉及一種緩存數(shù)據(jù)處理方法、裝置和系統(tǒng)。
【背景技術(shù)】
[0002]在線廣告業(yè)務(wù)是在大數(shù)據(jù)的背景下應(yīng)運(yùn)而生的新興業(yè)務(wù)，是大數(shù)據(jù)時(shí)代數(shù)據(jù)變現(xiàn)的重要途徑之一。精準(zhǔn)、海量和實(shí)時(shí)是在線廣告業(yè)務(wù)的三大要素，而要保證精準(zhǔn)，計(jì)算過(guò)程中所使用數(shù)據(jù)的準(zhǔn)確與可靠至關(guān)重要。
[0003]在實(shí)時(shí)廣告業(yè)務(wù)的計(jì)算請(qǐng)求過(guò)程中，會(huì)涉及到大量的數(shù)據(jù)查詢，包括用戶畫像和廣告信息等，由于數(shù)據(jù)量很大，目前的數(shù)據(jù)都存放于后端的分布式κν(關(guān)鍵字/值，Key/Value)存儲(chǔ)引擎中。為了保證上述的高實(shí)時(shí)性，推薦系統(tǒng)會(huì)在本地設(shè)置緩存模塊，將從KV存儲(chǔ)引擎中查詢回來(lái)的數(shù)據(jù)緩存起來(lái)，以提高數(shù)據(jù)查詢速度。然而，由于本地緩存的存儲(chǔ)空間有限，不可能將所有數(shù)據(jù)都保存在本地，因此設(shè)有一個(gè)緩存閥值，當(dāng)緩存的數(shù)據(jù)到達(dá)該值，就使用某種淘汰策略進(jìn)行數(shù)據(jù)淘汰。目前推薦系統(tǒng)的緩存使用“超時(shí)淘汰”機(jī)制，只針對(duì)各種數(shù)據(jù)的更新頻率，在超時(shí)時(shí)間上作出區(qū)分。數(shù)據(jù)寫入時(shí)，保存在對(duì)應(yīng)的超時(shí)鏈表上，當(dāng)緩存寫滿，則優(yōu)先淘汰超時(shí)節(jié)點(diǎn)，若沒(méi)有超時(shí)節(jié)點(diǎn)，則在每個(gè)超時(shí)鏈上強(qiáng)制刪除一些以釋放空間。
[0004]在對(duì)現(xiàn)有技術(shù)的研究和實(shí)踐過(guò)程中，本發(fā)明的發(fā)明人發(fā)現(xiàn)，根據(jù)現(xiàn)有的淘汰方案，在緩存已滿的情況下，每次的讀寫請(qǐng)求都會(huì)觸發(fā)數(shù)據(jù)超時(shí)淘汰操作，而沒(méi)有超時(shí)節(jié)點(diǎn)時(shí)，則在每個(gè)超時(shí)鏈上強(qiáng)制刪除一些節(jié)點(diǎn)，因此，可能會(huì)誤刪除一些重要數(shù)據(jù)，使得無(wú)法為后續(xù)的計(jì)算提供準(zhǔn)確的數(shù)據(jù)，影響計(jì)算效果，最終導(dǎo)致投放精準(zhǔn)性的降低。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實(shí)施例提供一種緩存數(shù)據(jù)處理方法、裝置和系統(tǒng)，可以為不同數(shù)據(jù)提供不同級(jí)別的保護(hù)，改善計(jì)算效果，提高投放精準(zhǔn)性。
[0006]本發(fā)明實(shí)施例提供一種緩存數(shù)據(jù)處理方法，包括:
[0007]對(duì)緩存的存儲(chǔ)空間進(jìn)行監(jiān)控；
[0008]若根據(jù)監(jiān)控結(jié)果確定緩存的已使用空間超過(guò)預(yù)置閾值，則確定所述緩存中是否存在超時(shí)的數(shù)據(jù)；
[0009]若存在超時(shí)的數(shù)據(jù)，則刪除所述超時(shí)的數(shù)據(jù)；
[0010]若不存在超時(shí)的數(shù)據(jù)，則根據(jù)數(shù)據(jù)優(yōu)先級(jí)從低到高的順序依次刪除數(shù)據(jù)，直至所述緩存的已使用空間低于所述預(yù)置閾值。
[0011 ] 相應(yīng)的，本發(fā)明實(shí)施例還提供一種緩存數(shù)據(jù)處理裝置，其特征在于，包括:
[0012]監(jiān)控單元，用于對(duì)緩存的存儲(chǔ)空間進(jìn)行監(jiān)控；
[0013]判斷單元，用于在根據(jù)監(jiān)控結(jié)果確定緩存的已使用空間超過(guò)預(yù)置閾值時(shí)，確定所述緩存中是否存在超時(shí)的數(shù)據(jù)；
[0014]第一處理單元，用于在判斷單元確定存在超時(shí)的數(shù)據(jù)時(shí)，刪除所述超時(shí)的數(shù)據(jù)；
[0015]第二處理單元，用于在判斷單元確定不存在超時(shí)的數(shù)據(jù)時(shí)，根據(jù)數(shù)據(jù)優(yōu)先級(jí)從低到高的順序依次刪除數(shù)據(jù)，直至所述緩存的已使用空間低于所述預(yù)置閾值。
[0016]此外，本發(fā)明實(shí)施例還提供一種信息推薦系統(tǒng)，包括本發(fā)明實(shí)施例所提供的任一種緩存數(shù)據(jù)處理裝置。
[0017]本發(fā)明實(shí)施例采用對(duì)緩存的存儲(chǔ)空間進(jìn)行監(jiān)控，若根據(jù)監(jiān)控結(jié)果確定緩存的已使用空間超過(guò)預(yù)置閾值，則確定該緩存中是否存在超時(shí)的數(shù)據(jù)，若存在超時(shí)的數(shù)據(jù)，則刪除該超時(shí)的數(shù)據(jù)，反之，若不存在超時(shí)的數(shù)據(jù)，則根據(jù)數(shù)據(jù)優(yōu)先級(jí)從低到高的順序依次刪除數(shù)據(jù)，直至該緩存的已使用空間低于該預(yù)置閾值；由于該方案在不存在超時(shí)數(shù)據(jù)的情況下，可以按照數(shù)據(jù)優(yōu)先級(jí)的高低對(duì)數(shù)據(jù)進(jìn)行刪除，以釋放緩存的存儲(chǔ)空間，因此，相對(duì)于現(xiàn)有技術(shù)只能隨機(jī)刪除數(shù)據(jù)的方案而言，大大提高了操作的靈活性，可以為不同數(shù)據(jù)提供不同級(jí)別的保護(hù)，從而避免重要數(shù)據(jù)被誤刪，有利于為后續(xù)的計(jì)算提供準(zhǔn)確的數(shù)據(jù)，可以改善計(jì)算效果，提高投放精準(zhǔn)性。
【附圖說(shuō)明】
[0018]為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0019]圖1a是本發(fā)明實(shí)施例提供的信息推薦系統(tǒng)的示意圖；
[0020]圖1b是本發(fā)明實(shí)施例提供的緩存數(shù)據(jù)處理方法的流程圖；
[0021]圖2a是本發(fā)明實(shí)施例提供的緩存數(shù)據(jù)處理方法的另一流程圖；
[0022]圖2b是本發(fā)明實(shí)施例提供的緩存數(shù)據(jù)處理方法中刪除操作的示意圖；
[0023]圖3是本發(fā)明實(shí)施例提供的緩存數(shù)據(jù)處理方法的又一流程圖；
[0024]圖4a是本發(fā)明實(shí)施例提供的緩存數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖；
[0025]圖4b是本發(fā)明實(shí)施例提供的緩存數(shù)據(jù)處理裝置的另一結(jié)構(gòu)示意圖；
[0026]圖4c是本發(fā)明實(shí)施例提供的緩存數(shù)據(jù)處理裝置的又一結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0027]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0028]本發(fā)明實(shí)施例提供一種緩存數(shù)據(jù)處理方法、裝置和系統(tǒng)。
[0029]如圖1a所示，該信息推薦系統(tǒng)可以包括數(shù)據(jù)接收模塊、緩存模塊、計(jì)算模塊和信息投放模塊；以廣告為例，其中，數(shù)據(jù)接收模塊主要用于獲取需要進(jìn)行投放的廣告數(shù)據(jù)，然后將這些廣告數(shù)據(jù)緩存在緩存模塊中，由計(jì)算模塊從緩存模塊中獲取所需的廣告數(shù)據(jù)進(jìn)行計(jì)算，然后再由信息投放模塊根據(jù)計(jì)算結(jié)果進(jìn)行廣告投放。由于緩存模塊中的存儲(chǔ)空間是有限的，因此，在已使用空間超過(guò)預(yù)置閾值時(shí)，對(duì)空間進(jìn)行釋放是十分必要的。
[0030]本發(fā)明實(shí)施例所提供的任一種緩存數(shù)據(jù)處理裝置，正是可以集成在該緩存模塊中，主要用于對(duì)緩存的存儲(chǔ)空間進(jìn)行監(jiān)控，在確定緩存的已使用空間超過(guò)預(yù)置閾值時(shí)，確定該緩存中是否存在超時(shí)的數(shù)據(jù)，若存在超時(shí)的數(shù)據(jù)，則刪除該超時(shí)的數(shù)據(jù)；若不存在超時(shí)的數(shù)據(jù)，則根據(jù)數(shù)據(jù)優(yōu)先級(jí)從低到高的順序依次刪除數(shù)據(jù)，直至該緩存的已使用空間低于該預(yù)置閾值，從而實(shí)現(xiàn)對(duì)緩存空間的釋放。
[0031]當(dāng)然，該緩存數(shù)據(jù)處理裝置也可以以獨(dú)立的實(shí)體存在，另外，需說(shuō)明的是，在該信息推薦系統(tǒng)中，還可以包括其他的模塊(在圖1a中并未示出)，在此不再列舉。
[0032]以下將分別進(jìn)行詳細(xì)說(shuō)明。
[0033]實(shí)施例一、
[0034]本實(shí)施例中將從緩存數(shù)據(jù)處理裝置的角度進(jìn)行描述，該緩存數(shù)據(jù)處理裝置具體可以集成在信息推薦系統(tǒng)的服務(wù)器或其他設(shè)備中。
[0035]—種緩存數(shù)據(jù)處理方法，包括:對(duì)緩存的存儲(chǔ)空間進(jìn)行監(jiān)控；若根據(jù)監(jiān)控結(jié)果確定緩存的已使用空間超過(guò)預(yù)置閾值，則確定該緩存中是否存在超時(shí)的數(shù)據(jù)；若存在超時(shí)的數(shù)據(jù)，則刪除該超時(shí)的數(shù)據(jù)；若不存在超時(shí)的數(shù)據(jù)，則根據(jù)數(shù)據(jù)優(yōu)先級(jí)從低到高的順序依次刪除數(shù)據(jù)，直至該緩存的已使用空間低于該預(yù)置閾值。
[0036]如圖1b所示，該緩存數(shù)據(jù)處理方法的具體流程可以如下:
[0037]101、對(duì)緩存的存儲(chǔ)空間進(jìn)行監(jiān)控。
[0038]例如，具體可以啟動(dòng)并調(diào)用監(jiān)控進(jìn)程，利用該監(jiān)控進(jìn)程對(duì)緩存的存儲(chǔ)空間進(jìn)行監(jiān)控，等等。其中，監(jiān)控的方式可以由多種，可以根據(jù)實(shí)際應(yīng)用的需求而定，在此不再贅述。
[0039]102、若根據(jù)監(jiān)控結(jié)果確定緩存的已使用空間超過(guò)預(yù)置閾值，則確定該緩存中是否存在超時(shí)的數(shù)據(jù)；若存在超時(shí)的數(shù)據(jù)，則刪除該超時(shí)的數(shù)據(jù)；若不存在超時(shí)的數(shù)據(jù)，則根據(jù)數(shù)據(jù)優(yōu)先級(jí)從低到高的順序依次刪除數(shù)據(jù)，直至該緩存的已使用空間低于該預(yù)置閾值。
[0040]其中，該預(yù)置閾值可以根據(jù)實(shí)際應(yīng)用的需求進(jìn)行設(shè)置，在此不再贅述。
[0041]其中，根據(jù)存儲(chǔ)方式的不同，步驟102的處理方式也會(huì)有所區(qū)別，例如，具體可以采用如下任意一種方式:
[0042](I)第一種方式；
[0043]查找超時(shí)鏈表，以確定是否存在超時(shí)的數(shù)據(jù)節(jié)點(diǎn)；
[0044]若存在超時(shí)的數(shù)據(jù)節(jié)點(diǎn)，則刪除該超時(shí)鏈表中超時(shí)的數(shù)據(jù)節(jié)點(diǎn)；
[0045]若不存在超時(shí)的數(shù)據(jù)節(jié)點(diǎn)，則查找優(yōu)先級(jí)鏈表，按照數(shù)據(jù)優(yōu)先級(jí)從低到高的順序依次刪除該優(yōu)先級(jí)鏈表中的數(shù)據(jù)節(jié)點(diǎn)，直至該緩存的已使用空間低于該預(yù)置閾值。
[0046]其中，優(yōu)先級(jí)鏈表可以在系統(tǒng)啟動(dòng)時(shí)，根據(jù)配置的數(shù)據(jù)優(yōu)先級(jí)信息來(lái)進(jìn)行創(chuàng)建。即在步驟“對(duì)緩存的存儲(chǔ)空間進(jìn)行監(jiān)控”之前，該緩存數(shù)據(jù)處理方法還可以包括:
[0047]獲取配置的數(shù)據(jù)優(yōu)先級(jí)信息，該數(shù)據(jù)優(yōu)先級(jí)信息包括多個(gè)優(yōu)先級(jí)級(jí)別，根據(jù)該數(shù)據(jù)優(yōu)先級(jí)信息創(chuàng)建優(yōu)先級(jí)鏈表，使得每一個(gè)優(yōu)先級(jí)級(jí)別對(duì)應(yīng)一個(gè)優(yōu)先級(jí)鏈表。
[0048]例如，如果需要配置“O?9”十個(gè)優(yōu)先級(jí)別，則可以在數(shù)據(jù)優(yōu)先級(jí)信息中指示“O?9”十個(gè)優(yōu)先級(jí)別，這樣，該緩存數(shù)據(jù)處理裝置獲取到該數(shù)據(jù)優(yōu)先級(jí)信息后，便可以創(chuàng)建10個(gè)優(yōu)先級(jí)鏈表，使得每一個(gè)優(yōu)先級(jí)級(jí)別對(duì)應(yīng)一個(gè)優(yōu)先級(jí)鏈表，比如，所創(chuàng)建的優(yōu)先級(jí)鏈表可以包