本技術(shù)實(shí)施例涉及計(jì)算機(jī)領(lǐng)域,具體而言,涉及一種數(shù)據(jù)存儲(chǔ)方法及裝置。
背景技術(shù):
1、在數(shù)據(jù)存儲(chǔ)場(chǎng)景中,聚合后的數(shù)據(jù)通常是下刷到一個(gè)固定的存儲(chǔ)池中,而固定的分級(jí)下刷池寫(xiě)滿(mǎn)后,聚合數(shù)據(jù)將無(wú)空間可寫(xiě),只能擴(kuò)容存儲(chǔ)池容量,或者創(chuàng)建新的存儲(chǔ)桶綁定新的分級(jí)下刷池,進(jìn)而導(dǎo)致數(shù)據(jù)存儲(chǔ)效率較低的問(wèn)題出現(xiàn)。因此,存在數(shù)據(jù)存儲(chǔ)效率較低的問(wèn)題。
2、針對(duì)上述的問(wèn)題,目前尚未提出有效的解決方案。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)實(shí)施例提供了一種數(shù)據(jù)存儲(chǔ)方法及裝置,以至少解決相關(guān)技術(shù)中數(shù)據(jù)存儲(chǔ)效率較低的問(wèn)題。
2、根據(jù)本技術(shù)的一個(gè)實(shí)施例,提供了一種數(shù)據(jù)存儲(chǔ)方法,包括:獲取存儲(chǔ)桶中存放的對(duì)象數(shù)據(jù)集合;在上述對(duì)象數(shù)據(jù)集合中的至少一個(gè)第一對(duì)象數(shù)據(jù)滿(mǎn)足第一數(shù)據(jù)處理?xiàng)l件的情況下,將上述至少一個(gè)第一對(duì)象數(shù)據(jù)聚合為第一聚合數(shù)據(jù),并將上述第一聚合數(shù)據(jù)下刷至第一存儲(chǔ)池中,其中,上述存儲(chǔ)桶關(guān)聯(lián)的分級(jí)下刷池包括上述第一存儲(chǔ)池;在上述對(duì)象數(shù)據(jù)集合中的至少一個(gè)第二對(duì)象數(shù)據(jù)滿(mǎn)足第二數(shù)據(jù)處理?xiàng)l件的情況下,將上述至少一個(gè)第二對(duì)象數(shù)據(jù)聚合為第二聚合數(shù)據(jù),并將上述第二聚合數(shù)據(jù)下刷至第二存儲(chǔ)池中,其中,上述存儲(chǔ)桶關(guān)聯(lián)的分級(jí)下刷池包括上述第二存儲(chǔ)池。
3、根據(jù)本技術(shù)的另一個(gè)實(shí)施例,提供了一種數(shù)據(jù)存儲(chǔ)裝置,包括:獲取單元,用于獲取存儲(chǔ)桶中存放的對(duì)象數(shù)據(jù)集合;第一下刷單元,用于在上述對(duì)象數(shù)據(jù)集合中的至少一個(gè)第一對(duì)象數(shù)據(jù)滿(mǎn)足第一數(shù)據(jù)處理?xiàng)l件的情況下,將上述至少一個(gè)第一對(duì)象數(shù)據(jù)聚合為第一聚合數(shù)據(jù),并將上述第一聚合數(shù)據(jù)下刷至第一存儲(chǔ)池中,其中,上述存儲(chǔ)桶關(guān)聯(lián)的分級(jí)下刷池包括上述第一存儲(chǔ)池;第二下刷單元,用于在上述對(duì)象數(shù)據(jù)集合中的至少一個(gè)第二對(duì)象數(shù)據(jù)滿(mǎn)足第二數(shù)據(jù)處理?xiàng)l件的情況下,將上述至少一個(gè)第二對(duì)象數(shù)據(jù)聚合為第二聚合數(shù)據(jù),并將上述第二聚合數(shù)據(jù)下刷至第二存儲(chǔ)池中,其中,上述存儲(chǔ)桶關(guān)聯(lián)的分級(jí)下刷池包括上述第二存儲(chǔ)池。
4、在一個(gè)示例性實(shí)施例中,上述第一下刷單元,包括:聚合模塊,用于將上述至少一個(gè)第一對(duì)象數(shù)據(jù)聚合為上述第一聚合數(shù)據(jù);確定模塊,用于從上述存儲(chǔ)桶關(guān)聯(lián)的分級(jí)下刷池中確定出,優(yōu)先級(jí)最高的存儲(chǔ)池;第一下刷模塊,用于將上述第一聚合數(shù)據(jù)下刷至上述優(yōu)先級(jí)最高的存儲(chǔ)池中。
5、在一個(gè)示例性實(shí)施例中,上述確定模塊,包括:第一獲取子模塊,用于獲取上述存儲(chǔ)桶關(guān)聯(lián)的各個(gè)分級(jí)下刷池對(duì)應(yīng)的創(chuàng)建時(shí)間;第一確定子模塊,用于將上述存儲(chǔ)桶關(guān)聯(lián)的分級(jí)下刷池中的,上述創(chuàng)建時(shí)間最遠(yuǎn),且剩余容量大于或等于存儲(chǔ)上述第一聚合數(shù)據(jù)所需容量的分級(jí)下刷池,確定為上述優(yōu)先級(jí)最高的存儲(chǔ)池。
6、在一個(gè)示例性實(shí)施例中,上述確定模塊,包括:第二獲取子模塊,用于獲取上述存儲(chǔ)桶關(guān)聯(lián)的各個(gè)分級(jí)下刷池對(duì)應(yīng)的剩余容量;第二確定子模塊,用于將上述存儲(chǔ)桶關(guān)聯(lián)的分級(jí)下刷池中的,上述剩余容量最大的分級(jí)下刷池,確定為上述優(yōu)先級(jí)最高的存儲(chǔ)池。
7、在一個(gè)示例性實(shí)施例中,上述確定模塊,包括:第三獲取子模塊,用于獲取上述存儲(chǔ)桶關(guān)聯(lián)的各個(gè)分級(jí)下刷池對(duì)應(yīng)的剩余容量比例;第三確定子模塊,用于將上述存儲(chǔ)桶關(guān)聯(lián)的分級(jí)下刷池中的,上述剩余容量比例最大的分級(jí)下刷池,確定為上述優(yōu)先級(jí)最高的存儲(chǔ)池。
8、在一個(gè)示例性實(shí)施例中,上述第二下刷單元,包括:第二下刷模塊,用于在上述至少一個(gè)第二對(duì)象數(shù)據(jù)滿(mǎn)足上述第二數(shù)據(jù)處理?xiàng)l件,且上述第一存儲(chǔ)池的剩余容量小于上述第二聚合數(shù)據(jù)所需容量,而上述第二存儲(chǔ)池的剩余容量大于上述第二聚合數(shù)據(jù)所需容量的情況下,將上述至少一個(gè)第二對(duì)象數(shù)據(jù)聚合為上述第二聚合數(shù)據(jù),并將上述第二聚合數(shù)據(jù)下刷至上述第二存儲(chǔ)池中;或,創(chuàng)建模塊,用于在上述至少一個(gè)第二對(duì)象數(shù)據(jù)滿(mǎn)足上述第二數(shù)據(jù)處理?xiàng)l件,且上述第一存儲(chǔ)池的剩余容量小于上述第二聚合數(shù)據(jù)所需容量,而上述存儲(chǔ)桶關(guān)聯(lián)的各個(gè)分級(jí)下刷池對(duì)應(yīng)的剩余容量都小于上述第二聚合數(shù)據(jù)所需容量的情況下,創(chuàng)建上述第二存儲(chǔ)池中;第三下刷模塊,用于將上述至少一個(gè)第二對(duì)象數(shù)據(jù)聚合為上述第二聚合數(shù)據(jù),并將上述第二聚合數(shù)據(jù)下刷至上述第二存儲(chǔ)池中。
9、在一個(gè)示例性實(shí)施例中,上述裝置還包括:分配單元,用于在上述獲取存儲(chǔ)桶中存放的對(duì)象數(shù)據(jù)集合之后,為上述對(duì)象數(shù)據(jù)集合中的對(duì)象數(shù)據(jù)分配分級(jí)標(biāo)記,其中,上述分級(jí)標(biāo)記用于表示允許存入上述存儲(chǔ)桶關(guān)聯(lián)的分級(jí)下刷池;聚合單元,用于在上述獲取存儲(chǔ)桶中存放的對(duì)象數(shù)據(jù)集合之后,在上述至少一個(gè)第一對(duì)象數(shù)據(jù)攜帶有上述分級(jí)標(biāo)記的情況下,將上述至少一個(gè)第一對(duì)象數(shù)據(jù)聚合為上述第一聚合數(shù)據(jù);第一下刷單元,用于在上述獲取存儲(chǔ)桶中存放的對(duì)象數(shù)據(jù)集合之后,在上述對(duì)象數(shù)據(jù)集合中的已聚合數(shù)量大于或等于第一預(yù)設(shè)閾值,或上述第一聚合數(shù)據(jù)的數(shù)據(jù)量大于或等于第二預(yù)設(shè)閾值的情況下,將上述第一聚合數(shù)據(jù)下刷至上述第一存儲(chǔ)池中。
10、在一個(gè)示例性實(shí)施例中,上述裝置還包括:存儲(chǔ)單元,用于在上述獲取存儲(chǔ)桶中存放的對(duì)象數(shù)據(jù)集合之后,在上述對(duì)象數(shù)據(jù)集合中的對(duì)象數(shù)據(jù)量大于或等于第三預(yù)設(shè)閾值的情況下,將上述對(duì)象數(shù)據(jù)集合中的對(duì)象數(shù)據(jù)存入快速存儲(chǔ)池;第二下刷單元,用于在上述獲取存儲(chǔ)桶中存放的對(duì)象數(shù)據(jù)集合之后,在上述快速存儲(chǔ)池中存入的至少一個(gè)第一對(duì)象數(shù)據(jù)滿(mǎn)足第一數(shù)據(jù)處理?xiàng)l件的情況下,將上述快速存儲(chǔ)池中存入的至少一個(gè)第一對(duì)象數(shù)據(jù)聚合為上述第一聚合數(shù)據(jù),并將上述第一聚合數(shù)據(jù)下刷至第一存儲(chǔ)慢池中,其中,上述存儲(chǔ)桶關(guān)聯(lián)的分級(jí)下刷池包括上述第一存儲(chǔ)慢池;第三下刷單元,用于在上述獲取存儲(chǔ)桶中存放的對(duì)象數(shù)據(jù)集合之后,在上述快速存儲(chǔ)池中存入的至少一個(gè)第二對(duì)象數(shù)據(jù)滿(mǎn)足第二數(shù)據(jù)處理?xiàng)l件的情況下,將上述快速存儲(chǔ)池中存入的至少一個(gè)第二對(duì)象數(shù)據(jù)聚合為上述第二聚合數(shù)據(jù),并將上述第二聚合數(shù)據(jù)下刷至第二存儲(chǔ)慢池中,其中,上述存儲(chǔ)桶關(guān)聯(lián)的分級(jí)下刷池包括上述第二存儲(chǔ)慢池。
11、根據(jù)本技術(shù)的又一個(gè)實(shí)施例,還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),上述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序,其中,上述計(jì)算機(jī)程序被設(shè)置為運(yùn)行時(shí)執(zhí)行上述任一項(xiàng)方法實(shí)施例中的步驟。
12、根據(jù)本技術(shù)的又一個(gè)實(shí)施例,還提供了一種電子設(shè)備,包括存儲(chǔ)器和處理器,上述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序,上述處理器被設(shè)置為運(yùn)行上述計(jì)算機(jī)程序以執(zhí)行上述任一項(xiàng)方法實(shí)施例中的步驟。
13、通過(guò)本技術(shù),不僅能夠更好地管理和利用存儲(chǔ)空間,還能提高數(shù)據(jù)處理的針對(duì)性和靈活性,從而顯著提升數(shù)據(jù)存儲(chǔ)的整體效率。具體的,本技術(shù)通過(guò)設(shè)置第一數(shù)據(jù)處理?xiàng)l件和第二數(shù)據(jù)處理?xiàng)l件,能夠根據(jù)不同對(duì)象數(shù)據(jù)的特性進(jìn)行靈活處理。這意味著不再需要等到存儲(chǔ)池寫(xiě)滿(mǎn)后再進(jìn)行擴(kuò)容或遷移,而是可以根據(jù)數(shù)據(jù)的實(shí)際情況,實(shí)時(shí)地將滿(mǎn)足特定條件的數(shù)據(jù)下刷到相應(yīng)的存儲(chǔ)池中。
14、再者,通過(guò)將對(duì)象數(shù)據(jù)根據(jù)處理?xiàng)l件分類(lèi),并分別下刷到不同的存儲(chǔ)池(如第一存儲(chǔ)池和第二存儲(chǔ)池),本技術(shù)實(shí)現(xiàn)了數(shù)據(jù)的精細(xì)化管理。這種策略不僅優(yōu)化了存儲(chǔ)空間的使用,還提高了數(shù)據(jù)處理的針對(duì)性,因?yàn)椴煌?lèi)別的數(shù)據(jù)可以被存放到最適合其特性的存儲(chǔ)池中。
15、進(jìn)一步,本技術(shù)通過(guò)動(dòng)態(tài)分配存儲(chǔ)空間,并根據(jù)數(shù)據(jù)處理?xiàng)l件將數(shù)據(jù)下刷到不同的分級(jí)存儲(chǔ)池,避免了傳統(tǒng)方法中因存儲(chǔ)池寫(xiě)滿(mǎn)而導(dǎo)致的效率瓶頸,可以解決數(shù)據(jù)存儲(chǔ)效率較低的問(wèn)題,進(jìn)而達(dá)到了提高數(shù)據(jù)存儲(chǔ)效率的技術(shù)效果。