一種數(shù)據(jù)存儲(chǔ)處理方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及網(wǎng)絡(luò)通信技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)存儲(chǔ)處理方法和裝置。
【背景技術(shù)】
[0002]隨著網(wǎng)絡(luò)通信技術(shù)的發(fā)展和生活節(jié)奏的加快，人們獲知信息的方式越來越多，同時(shí)獲知信息的速度也越來越快，例如，許多事件甚至剛剛發(fā)生就在網(wǎng)絡(luò)上廣為流傳，而提供這些熱點(diǎn)新聞的服務(wù)方往往需要應(yīng)付大量用戶在短時(shí)間內(nèi)極大量的數(shù)據(jù)查詢。服務(wù)方通常將獲取到的數(shù)據(jù)采用數(shù)據(jù)庫進(jìn)行存儲(chǔ)，存儲(chǔ)的數(shù)據(jù)寫入硬盤中，而在用戶希望查詢數(shù)據(jù)時(shí)如果直接從硬盤讀取數(shù)據(jù)，會(huì)造成硬盤訪問壓力過大。通常采取的做法是將數(shù)據(jù)庫中的數(shù)據(jù)寫入緩存中，當(dāng)接收到數(shù)據(jù)查詢請求時(shí)從緩存中查找數(shù)據(jù)。然而，對于在短時(shí)間內(nèi)接收到大量數(shù)據(jù)查詢請求的情況，即使在讀取速度更快的緩存中查找數(shù)據(jù)有時(shí)也會(huì)造成緩存訪問壓力過大，而一旦讀取速度更快的緩存崩潰，大量的數(shù)據(jù)查詢請求就會(huì)直接讀取數(shù)據(jù)庫的硬盤，由于硬盤的讀取速度不如緩存，可以預(yù)見硬盤也會(huì)崩潰。

【發(fā)明內(nèi)容】

[0003]鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的數(shù)據(jù)存儲(chǔ)處理方法和裝置。
[0004]依據(jù)本發(fā)明的一個(gè)方面，提供了一種數(shù)據(jù)存儲(chǔ)處理方法，包括:
[0005]將數(shù)據(jù)分別存儲(chǔ)到所述數(shù)據(jù)庫、一級緩存和二級緩存中；當(dāng)接收到數(shù)據(jù)查詢請求時(shí)，先到一級緩存中進(jìn)行查詢；如果一級緩存中存在所請求的數(shù)據(jù)則向請求方返回查詢到的數(shù)據(jù)，如果從一級緩存無法獲得查詢結(jié)果則到二級緩存中進(jìn)行查詢；如果二級緩存中存在所請求的數(shù)據(jù)則向請求方返回查詢到的數(shù)據(jù)，如果從二級緩存無法獲得查詢結(jié)果，則到數(shù)據(jù)庫中進(jìn)行查詢；如果數(shù)據(jù)庫中存在所請求的數(shù)據(jù)則向請求方返回查詢到的數(shù)據(jù)，如果數(shù)據(jù)庫中不存在所請求的數(shù)據(jù)則向請求方返回查詢失敗的結(jié)果。
[0006]可選地，所述將數(shù)據(jù)分別存儲(chǔ)到所述數(shù)據(jù)庫、一級緩存和二級緩存中包括:對于一條數(shù)據(jù)，先將該條數(shù)據(jù)寫入數(shù)據(jù)庫中，再將該條數(shù)據(jù)寫入一級緩存和二級緩存中；當(dāng)一級緩存和二級緩存的任一個(gè)寫入失敗時(shí)，將該條數(shù)據(jù)從一級緩存和二級緩存中刪除。
[0007]可選地，所述一級緩存由N個(gè)緩存節(jié)點(diǎn)組成，所述二級緩存由N個(gè)緩存節(jié)點(diǎn)組成；一級緩存的N個(gè)緩存節(jié)點(diǎn)與二級緩存的N個(gè)緩存節(jié)點(diǎn)一一對應(yīng)地存儲(chǔ)同樣的數(shù)據(jù)；N為自然數(shù)。
[0008]可選地，所述一級緩存由M組緩存組成，每組緩存由N個(gè)緩存節(jié)點(diǎn)組成，所述二級緩存由N個(gè)緩存節(jié)點(diǎn)組成；所述一級緩存中的每組緩存中的N個(gè)緩存節(jié)點(diǎn)均與二級緩存的N個(gè)緩存節(jié)點(diǎn)一一對應(yīng)地存儲(chǔ)同樣的數(shù)據(jù)。
[0009]可選地，所述將數(shù)據(jù)分別存儲(chǔ)到所述數(shù)據(jù)庫、一級緩存和二級緩存中包括:將該數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫中；將該數(shù)據(jù)存儲(chǔ)到一級緩存的每組緩存中，以及將該數(shù)據(jù)存儲(chǔ)到二級緩存中。
[0010]可選地，所述到一級緩存中進(jìn)行查詢包括:通過一致性哈希算法將查詢請求定向到一級緩存的一組緩存，到該組緩存中進(jìn)行查詢；或者，根據(jù)一級緩存中的各組緩存的負(fù)載能力和/或可用狀態(tài)，將查詢請求定向到一級緩存的一組緩存，到該組緩存中進(jìn)行查詢。
[0011]可選地，該方法進(jìn)一步包括:一級緩存和二級緩存存滿后，當(dāng)有新的數(shù)據(jù)需要存儲(chǔ)時(shí)，從一級緩存和二級緩存中刪除訪問量低于預(yù)設(shè)值的數(shù)據(jù)，并將所述的新的數(shù)據(jù)寫入一級緩存和二級緩存中。
[0012]可選地，該方法進(jìn)一步包括:當(dāng)對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行修改時(shí)，對一級緩存和二級緩存中的相同數(shù)據(jù)也做同樣的修改。
[0013]依據(jù)本發(fā)明的另一方面，提供了一種數(shù)據(jù)存儲(chǔ)處理裝置，包括:數(shù)據(jù)庫單元、一級緩存單元、二級緩存單元、寫處理單元和讀處理單元；所述寫處理單元，適于將數(shù)據(jù)分別存儲(chǔ)到數(shù)據(jù)庫單元、一級緩存單元和二級緩存單元中；所述讀處理單元，適于在接收到數(shù)據(jù)查詢請求時(shí)，先到一級緩存單元中進(jìn)行查詢；如果一級緩存單元中存在所請求的數(shù)據(jù)則向請求方返回查詢到的數(shù)據(jù)，如果從一級緩存單元無法獲得查詢結(jié)果則到二級緩存單元中進(jìn)行查詢；如果二級緩存單元中存在所請求的數(shù)據(jù)則向請求方返回查詢到的數(shù)據(jù)，如果從二級緩存單元無法獲得查詢結(jié)果，則到數(shù)據(jù)庫單元中進(jìn)行查詢；如果數(shù)據(jù)庫單元中存在所請求的數(shù)據(jù)則向請求方返回查詢到的數(shù)據(jù)，如果數(shù)據(jù)庫單元中不存在所請求的數(shù)據(jù)則向請求方返回查詢失敗的結(jié)果。
[0014]可選地，所述寫處理單元，適于對于一條數(shù)據(jù)，先將該條數(shù)據(jù)寫入數(shù)據(jù)庫單元中，再將該條數(shù)據(jù)寫入一級緩存單元和二級緩存單元中；當(dāng)一級緩存單元和二級緩存單元的任一個(gè)寫入失敗時(shí)，將該條數(shù)據(jù)從一級緩存單元和二級緩存單元中刪除。
[0015]可選地，所述一級緩存單元由N個(gè)緩存節(jié)點(diǎn)組成，所述二級緩存單元由N個(gè)緩存節(jié)點(diǎn)組成；所述一級緩存單元的N個(gè)緩存節(jié)點(diǎn)與所述二級緩存單元的N個(gè)緩存節(jié)點(diǎn)一一對應(yīng)地存儲(chǔ)同樣的數(shù)據(jù)；N為自然數(shù)。
[0016]可選地，所述一級緩存單元由M組緩存組成，每組緩存由N個(gè)緩存節(jié)點(diǎn)組成，所述二級緩存單元由N個(gè)緩存節(jié)點(diǎn)組成；所述一級緩存單元中的每組緩存中的N個(gè)緩存節(jié)點(diǎn)均與二級緩存單元的N個(gè)緩存節(jié)點(diǎn)一一對應(yīng)地存儲(chǔ)同樣的數(shù)據(jù)。
[0017]可選地，所述寫處理單元，適于將數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫單元中，將數(shù)據(jù)存儲(chǔ)到一級緩存單元的每組緩存中，以及將數(shù)據(jù)存儲(chǔ)到二級緩存單元中。
[0018]可選地，所述讀處理單元，適于在到一級緩存單元中進(jìn)行查詢時(shí)，通過一致性哈希算法將查詢請求定向到一級緩存單元的一組緩存，到該組緩存中進(jìn)行查詢；或者，適于根據(jù)一級緩存單元中的各組緩存的負(fù)載能力和/或可用狀態(tài)，將查詢請求定向到一級緩存單元的一組緩存，到該組緩存中進(jìn)行查詢。
[0019]可選地，所述寫處理單元，適于在一級緩存單元和二級緩存單元存滿后，當(dāng)有新的數(shù)據(jù)需要存儲(chǔ)時(shí)，從一級緩存單元和二級緩存單元中刪除訪問量低于預(yù)設(shè)值的數(shù)據(jù)，并將所述的新的數(shù)據(jù)寫入一級緩存單元和二級緩存單元中。
[0020]可選地，所述寫處理單元，進(jìn)一步適于當(dāng)對數(shù)據(jù)庫單元中的數(shù)據(jù)進(jìn)行修改時(shí)，對一級緩存單元和二級緩存單元中的相同數(shù)據(jù)也做同樣的修改。
[0021]由上述可知，本發(fā)明提供的技術(shù)方案通過設(shè)置數(shù)據(jù)的存儲(chǔ)方式，將數(shù)據(jù)分別存儲(chǔ)到數(shù)據(jù)庫、一級緩存和二級緩存中，當(dāng)接收到數(shù)據(jù)查詢請求時(shí)，首先到一級緩存中進(jìn)行查詢，如果一級緩存中存在所請求的數(shù)據(jù)，則向請求方返回查詢的數(shù)據(jù)；如果從一級緩存中無法獲得查詢結(jié)果，則說明一級緩存可能崩潰或處于宕機(jī)等不可用狀態(tài)，這需要再到二級緩存中進(jìn)行查詢，如果二級緩存中存在所請求的數(shù)據(jù)則向請求方返回查詢到的數(shù)據(jù)，說明此時(shí)一級緩存可能崩潰或處于宕機(jī)等不可用狀態(tài)；如果無法從二級緩存中同樣無法獲得查詢結(jié)果，則說明二級緩存可能也崩潰或處于宕機(jī)等不可用狀態(tài)，不過此種情況極少出現(xiàn)，此時(shí)需要到數(shù)據(jù)庫中進(jìn)行查詢。如果數(shù)據(jù)庫中存在所請求的數(shù)據(jù)則向請求方返回查詢到的數(shù)據(jù)，如果數(shù)據(jù)庫中不存在所請求的數(shù)據(jù)則向請求方返回查詢失敗的結(jié)果。這樣利用一級緩存緩解了數(shù)據(jù)庫的大部分?jǐn)?shù)據(jù)查詢壓力，即使當(dāng)一級緩存來不及處理過多的數(shù)據(jù)查詢請求時(shí)，也可以利用二級緩存對從一級緩存中無法獲得查詢結(jié)果的數(shù)據(jù)查詢請求進(jìn)行處理，這樣基本可以實(shí)現(xiàn)對所有數(shù)據(jù)查詢請求的處理，只有在一級緩存和二級緩存中都未獲得查詢結(jié)果的數(shù)據(jù)查詢請求才會(huì)到數(shù)據(jù)庫中進(jìn)行查詢，這樣的數(shù)據(jù)查詢請求是極為少量，在數(shù)據(jù)庫的處理能力內(nèi)的，從而極大地減輕了數(shù)據(jù)庫的訪問壓力，也能更好地應(yīng)需要在較短時(shí)間內(nèi)處理大量的數(shù)據(jù)查詢請求的情況，具有減少器材損耗，降低人員維護(hù)成本的有益效果。
[0022]上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本發(fā)明的【具體實(shí)施方式】。
【附圖說明】
[0023]通過閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的，而并不認(rèn)為是對本發(fā)明的限制。而且在整個(gè)附圖中，用相同的參考符號表示相同的部件。在附圖中:
[0024]圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種數(shù)據(jù)存儲(chǔ)處理方法的流程圖；
[0025]圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種數(shù)據(jù)存儲(chǔ)處理裝置的結(jié)構(gòu)示意圖；
[0026]圖3不出了一種緩存節(jié)點(diǎn)的對應(yīng)關(guān)系不意圖；
[0027]圖4不出了又一種緩存節(jié)點(diǎn)的對應(yīng)關(guān)系不意圖。
【具體實(shí)施方式】
[0028]下面將參照附圖更詳細(xì)地描述本公開的示例性實(shí)施例。雖然附圖中顯示了本公開的示例性實(shí)施例，然而應(yīng)當(dāng)理解，可以以各種形式實(shí)現(xiàn)本公開而不應(yīng)被這里闡述的實(shí)施例所限制。相反，提供這些實(shí)施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。
[0029]圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種數(shù)據(jù)存儲(chǔ)處理方法的流程圖，如圖1所示，該方法包括:
[0030]步驟S110，將數(shù)據(jù)分別存儲(chǔ)到數(shù)據(jù)庫、一級緩存和二級緩存中。
[0031]步驟S120，當(dāng)接收到數(shù)據(jù)查詢請求時(shí)，先到一級緩存中進(jìn)行查詢。
[0032]步驟S130，如果一級緩存中存在所請求的數(shù)據(jù)則向請求方返回查詢到的數(shù)據(jù)，