本技術(shù)涉及計(jì)算機(jī),尤其涉及一種數(shù)據(jù)存儲(chǔ)資源處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。
背景技術(shù):
1、目前,隨著計(jì)算機(jī)技術(shù)的發(fā)展,計(jì)算機(jī)服務(wù)產(chǎn)生的待存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)量呈爆炸性增加,因此對數(shù)據(jù)存儲(chǔ)系統(tǒng)的性能要求越來越高。
2、在相關(guān)技術(shù)中,通常是按照固定的數(shù)據(jù)存儲(chǔ)策略,向數(shù)據(jù)存儲(chǔ)系統(tǒng)存儲(chǔ)數(shù)據(jù),例如根據(jù)待存儲(chǔ)數(shù)據(jù)的源地址,確定數(shù)據(jù)存儲(chǔ)策略。
3、但是,當(dāng)計(jì)算機(jī)服務(wù)的應(yīng)用場景發(fā)生變化時(shí),如果依然采用固定的數(shù)據(jù)存儲(chǔ)策略進(jìn)行數(shù)據(jù)存儲(chǔ),將降低數(shù)據(jù)存儲(chǔ)系統(tǒng)的性能,也將導(dǎo)致計(jì)算機(jī)服務(wù)無法及時(shí)響應(yīng)前端業(yè)務(wù)。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)提供一種數(shù)據(jù)存儲(chǔ)資源處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì),以解決相關(guān)技術(shù)降低數(shù)據(jù)存儲(chǔ)系統(tǒng)的性能,導(dǎo)致計(jì)算機(jī)服務(wù)無法及時(shí)響應(yīng)前端業(yè)務(wù)等缺陷。
2、本技術(shù)第一個(gè)方面提供一種數(shù)據(jù)存儲(chǔ)資源處理方法,包括:
3、獲取服務(wù)端向數(shù)據(jù)存儲(chǔ)系統(tǒng)發(fā)送的業(yè)務(wù)請求的特征信息及所述服務(wù)端的當(dāng)前業(yè)務(wù)模式;
4、根據(jù)所述特征信息,構(gòu)建所述業(yè)務(wù)請求的數(shù)據(jù)模型;
5、根據(jù)所述數(shù)據(jù)模型和所述服務(wù)端的當(dāng)前業(yè)務(wù)模式,確定所述業(yè)務(wù)請求所對應(yīng)的目標(biāo)數(shù)據(jù)存儲(chǔ)策略;
6、基于所述目標(biāo)數(shù)據(jù)存儲(chǔ)策略,為所述業(yè)務(wù)請求分配存儲(chǔ)資源,以將所述業(yè)務(wù)請求的待存儲(chǔ)數(shù)據(jù)存儲(chǔ)至所述數(shù)據(jù)存儲(chǔ)系統(tǒng)。
7、在一種可選的實(shí)施方式中,所述根據(jù)所述特征信息,構(gòu)建所述業(yè)務(wù)請求的數(shù)據(jù)模型,包括:
8、根據(jù)所述特征信息,確定所述業(yè)務(wù)請求的若干個(gè)特征指標(biāo);
9、根據(jù)數(shù)據(jù)模型的預(yù)設(shè)數(shù)據(jù)結(jié)構(gòu)和所述若干個(gè)特征指標(biāo),構(gòu)建所述業(yè)務(wù)請求的數(shù)據(jù)模型。
10、在一種可選的實(shí)施方式中,所述根據(jù)所述數(shù)據(jù)模型和所述服務(wù)端的當(dāng)前業(yè)務(wù)模式,確定所述業(yè)務(wù)請求所對應(yīng)的目標(biāo)數(shù)據(jù)存儲(chǔ)策略,包括:
11、根據(jù)所述服務(wù)端的當(dāng)前業(yè)務(wù)模式,判斷所述數(shù)據(jù)模型是否需要進(jìn)行參數(shù)調(diào)整;
12、在確定所述數(shù)據(jù)模型需要進(jìn)行參數(shù)調(diào)整的情況下,根據(jù)所述數(shù)據(jù)存儲(chǔ)系統(tǒng)的后端盤陣存儲(chǔ)介質(zhì),確定所述數(shù)據(jù)存儲(chǔ)系統(tǒng)對不同類型的業(yè)務(wù)請求的性能表現(xiàn);
13、根據(jù)所述數(shù)據(jù)存儲(chǔ)系統(tǒng)對不同類型的業(yè)務(wù)請求的性能表現(xiàn),確定所述數(shù)據(jù)模型的參數(shù)調(diào)整策略;
14、根據(jù)所述數(shù)據(jù)模型的參數(shù)調(diào)整策略,對所述數(shù)據(jù)模型進(jìn)行參數(shù)調(diào)整,以得到優(yōu)化后的數(shù)據(jù)模型;
15、將所述優(yōu)化后的數(shù)據(jù)模型與預(yù)設(shè)數(shù)據(jù)庫中的標(biāo)準(zhǔn)數(shù)據(jù)模型進(jìn)行匹配,得到數(shù)據(jù)模型匹配結(jié)果;
16、根據(jù)所述數(shù)據(jù)模型匹配結(jié)果,確定所述業(yè)務(wù)請求所對應(yīng)的目標(biāo)數(shù)據(jù)存儲(chǔ)策略;
17、其中,所述服務(wù)端的業(yè)務(wù)模式至少分為普通模式和高可用模式兩種,在所述服務(wù)端的當(dāng)前業(yè)務(wù)模式為高可用模式的情況下,確定所述數(shù)據(jù)模型需要進(jìn)行參數(shù)調(diào)整。
18、在一種可選的實(shí)施方式中,所述方法還包括:
19、在所述服務(wù)端的當(dāng)前業(yè)務(wù)模式為普通模式的情況下,確定所述數(shù)據(jù)模型不需要進(jìn)行參數(shù)調(diào)整;
20、直接將所述數(shù)據(jù)模型與預(yù)設(shè)數(shù)據(jù)庫中的標(biāo)準(zhǔn)數(shù)據(jù)模型進(jìn)行匹配,得到數(shù)據(jù)模型匹配結(jié)果;
21、根據(jù)所述數(shù)據(jù)模型匹配結(jié)果,確定所述業(yè)務(wù)請求所對應(yīng)的目標(biāo)數(shù)據(jù)存儲(chǔ)策略。
22、在一種可選的實(shí)施方式中,所述根據(jù)所述數(shù)據(jù)模型的參數(shù)調(diào)整策略,對所述數(shù)據(jù)模型進(jìn)行參數(shù)調(diào)整,以得到優(yōu)化后的數(shù)據(jù)模型,包括:
23、根據(jù)所述數(shù)據(jù)模型的參數(shù)調(diào)整策略,確定所述數(shù)據(jù)模型中各參數(shù)的權(quán)重調(diào)整系數(shù);
24、根據(jù)所述數(shù)據(jù)模型中各參數(shù)的權(quán)重調(diào)整系數(shù),對所述數(shù)據(jù)模型進(jìn)行參數(shù)調(diào)整,以得到優(yōu)化后的數(shù)據(jù)模型;
25、其中,所述數(shù)據(jù)模型中的參數(shù)包括所述業(yè)務(wù)請求的特征指標(biāo)。
26、在一種可選的實(shí)施方式中,所述基于所述目標(biāo)數(shù)據(jù)存儲(chǔ)策略,為所述業(yè)務(wù)請求分配存儲(chǔ)資源,以將所述業(yè)務(wù)請求的待存儲(chǔ)數(shù)據(jù)存儲(chǔ)至所述數(shù)據(jù)存儲(chǔ)系統(tǒng),包括:
27、根據(jù)所述目標(biāo)數(shù)據(jù)存儲(chǔ)策略,在所述數(shù)據(jù)存儲(chǔ)系統(tǒng)中為所述業(yè)務(wù)請求綁定處理器核心;
28、基于所述處理器核心響應(yīng)所述業(yè)務(wù)請求,以將所述業(yè)務(wù)請求的待存儲(chǔ)數(shù)據(jù)存儲(chǔ)至所述數(shù)據(jù)存儲(chǔ)系統(tǒng);
29、其中,所述存儲(chǔ)資源包括處理器核心。
30、在一種可選的實(shí)施方式中,所述方法還包括:
31、根據(jù)所述業(yè)務(wù)請求的數(shù)據(jù)模型,確定所述服務(wù)端的業(yè)務(wù)請求變化情況;
32、根據(jù)所述服務(wù)端的業(yè)務(wù)請求變化情況,調(diào)整對所述服務(wù)端的業(yè)務(wù)請求的采樣率。
33、本技術(shù)第二個(gè)方面提供一種數(shù)據(jù)存儲(chǔ)資源處理裝置,包括:
34、獲取模塊,用于獲取服務(wù)端向數(shù)據(jù)存儲(chǔ)系統(tǒng)發(fā)送的業(yè)務(wù)請求的特征信息及所述服務(wù)端的當(dāng)前業(yè)務(wù)模式;
35、構(gòu)建模塊,用于根據(jù)所述特征信息,構(gòu)建所述業(yè)務(wù)請求的數(shù)據(jù)模型;
36、確定模塊,用于根據(jù)所述數(shù)據(jù)模型和所述服務(wù)端的當(dāng)前業(yè)務(wù)模式,確定所述業(yè)務(wù)請求所對應(yīng)的目標(biāo)數(shù)據(jù)存儲(chǔ)策略;
37、處理模塊,用于基于所述目標(biāo)數(shù)據(jù)存儲(chǔ)策略,為所述業(yè)務(wù)請求分配存儲(chǔ)資源,以將所述業(yè)務(wù)請求的待存儲(chǔ)數(shù)據(jù)存儲(chǔ)至所述數(shù)據(jù)存儲(chǔ)系統(tǒng)。
38、在一種可選的實(shí)施方式中,所述構(gòu)建模塊,具體用于:
39、根據(jù)所述特征信息,確定所述業(yè)務(wù)請求的若干個(gè)特征指標(biāo);
40、根據(jù)數(shù)據(jù)模型的預(yù)設(shè)數(shù)據(jù)結(jié)構(gòu)和所述若干個(gè)特征指標(biāo),構(gòu)建所述業(yè)務(wù)請求的數(shù)據(jù)模型。
41、在一種可選的實(shí)施方式中,所述確定模塊,具體用于:
42、根據(jù)所述服務(wù)端的當(dāng)前業(yè)務(wù)模式,判斷所述數(shù)據(jù)模型是否需要進(jìn)行參數(shù)調(diào)整;
43、在確定所述數(shù)據(jù)模型需要進(jìn)行參數(shù)調(diào)整的情況下,根據(jù)所述數(shù)據(jù)存儲(chǔ)系統(tǒng)的后端盤陣存儲(chǔ)介質(zhì),確定所述數(shù)據(jù)存儲(chǔ)系統(tǒng)對不同類型的業(yè)務(wù)請求的性能表現(xiàn);
44、根據(jù)所述數(shù)據(jù)存儲(chǔ)系統(tǒng)對不同類型的業(yè)務(wù)請求的性能表現(xiàn),確定所述數(shù)據(jù)模型的參數(shù)調(diào)整策略;
45、根據(jù)所述數(shù)據(jù)模型的參數(shù)調(diào)整策略,對所述數(shù)據(jù)模型進(jìn)行參數(shù)調(diào)整,以得到優(yōu)化后的數(shù)據(jù)模型;
46、將所述優(yōu)化后的數(shù)據(jù)模型與預(yù)設(shè)數(shù)據(jù)庫中的標(biāo)準(zhǔn)數(shù)據(jù)模型進(jìn)行匹配,得到數(shù)據(jù)模型匹配結(jié)果;
47、根據(jù)所述數(shù)據(jù)模型匹配結(jié)果,確定所述業(yè)務(wù)請求所對應(yīng)的目標(biāo)數(shù)據(jù)存儲(chǔ)策略;
48、其中,所述服務(wù)端的業(yè)務(wù)模式至少分為普通模式和高可用模式兩種,在所述服務(wù)端的當(dāng)前業(yè)務(wù)模式為高可用模式的情況下,確定所述數(shù)據(jù)模型需要進(jìn)行參數(shù)調(diào)整。
49、在一種可選的實(shí)施方式中,所述確定模塊,還用于:
50、在所述服務(wù)端的當(dāng)前業(yè)務(wù)模式為普通模式的情況下,確定所述數(shù)據(jù)模型不需要進(jìn)行參數(shù)調(diào)整;
51、直接將所述數(shù)據(jù)模型與預(yù)設(shè)數(shù)據(jù)庫中的標(biāo)準(zhǔn)數(shù)據(jù)模型進(jìn)行匹配,得到數(shù)據(jù)模型匹配結(jié)果;
52、根據(jù)所述數(shù)據(jù)模型匹配結(jié)果,確定所述業(yè)務(wù)請求所對應(yīng)的目標(biāo)數(shù)據(jù)存儲(chǔ)策略。
53、在一種可選的實(shí)施方式中,所述確定模塊,具體用于:
54、根據(jù)所述數(shù)據(jù)模型的參數(shù)調(diào)整策略,確定所述數(shù)據(jù)模型中各參數(shù)的權(quán)重調(diào)整系數(shù);
55、根據(jù)所述數(shù)據(jù)模型中各參數(shù)的權(quán)重調(diào)整系數(shù),對所述數(shù)據(jù)模型進(jìn)行參數(shù)調(diào)整,以得到優(yōu)化后的數(shù)據(jù)模型;
56、其中,所述數(shù)據(jù)模型中的參數(shù)包括所述業(yè)務(wù)請求的特征指標(biāo)。
57、在一種可選的實(shí)施方式中,所述處理模塊,具體用于:
58、根據(jù)所述目標(biāo)數(shù)據(jù)存儲(chǔ)策略,在所述數(shù)據(jù)存儲(chǔ)系統(tǒng)中為所述業(yè)務(wù)請求綁定處理器核心;
59、基于所述處理器核心響應(yīng)所述業(yè)務(wù)請求,以將所述業(yè)務(wù)請求的待存儲(chǔ)數(shù)據(jù)存儲(chǔ)至所述數(shù)據(jù)存儲(chǔ)系統(tǒng);
60、其中,所述存儲(chǔ)資源包括處理器核心。
61、在一種可選的實(shí)施方式中,所述裝置還包括:
62、采樣率調(diào)整模塊,用于根據(jù)所述業(yè)務(wù)請求的數(shù)據(jù)模型,確定所述服務(wù)端的業(yè)務(wù)請求變化情況;根據(jù)所述服務(wù)端的業(yè)務(wù)請求變化情況,調(diào)整對所述服務(wù)端的業(yè)務(wù)請求的采樣率。
63、本技術(shù)第三個(gè)方面提供一種電子設(shè)備,包括:至少一個(gè)處理器和存儲(chǔ)器;
64、所述存儲(chǔ)器存儲(chǔ)計(jì)算機(jī)執(zhí)行指令;
65、所述至少一個(gè)處理器執(zhí)行所述存儲(chǔ)器存儲(chǔ)的計(jì)算機(jī)執(zhí)行指令,使得所述至少一個(gè)處理器執(zhí)行如上第一個(gè)方面以及第一個(gè)方面各種可能的設(shè)計(jì)所述的方法。
66、本技術(shù)第四個(gè)方面提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)執(zhí)行指令,當(dāng)處理器執(zhí)行所述計(jì)算機(jī)執(zhí)行指令時(shí),實(shí)現(xiàn)如上第一個(gè)方面以及第一個(gè)方面各種可能的設(shè)計(jì)所述的方法。
67、本技術(shù)第五個(gè)方面提供一種計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)指令,計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行如上第一個(gè)方面以及第一個(gè)方面各種可能的設(shè)計(jì)所述的方法。
68、本技術(shù)技術(shù)方案,具有如下優(yōu)點(diǎn):
69、本技術(shù)提供一種數(shù)據(jù)存儲(chǔ)資源處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì),該方法包括:獲取服務(wù)端向數(shù)據(jù)存儲(chǔ)系統(tǒng)發(fā)送的業(yè)務(wù)請求的特征信息及服務(wù)端的當(dāng)前業(yè)務(wù)模式;根據(jù)特征信息,構(gòu)建業(yè)務(wù)請求的數(shù)據(jù)模型;根據(jù)數(shù)據(jù)模型和服務(wù)端的當(dāng)前業(yè)務(wù)模式,確定業(yè)務(wù)請求所對應(yīng)的目標(biāo)數(shù)據(jù)存儲(chǔ)策略;基于目標(biāo)數(shù)據(jù)存儲(chǔ)策略,為業(yè)務(wù)請求分配存儲(chǔ)資源,以將業(yè)務(wù)請求的待存儲(chǔ)數(shù)據(jù)存儲(chǔ)至數(shù)據(jù)存儲(chǔ)系統(tǒng)。上述方案提供的方法,通過將依據(jù)服務(wù)端的業(yè)務(wù)請求特征和當(dāng)前業(yè)務(wù)模式分配存儲(chǔ)資源,確保存儲(chǔ)資源分配結(jié)果與服務(wù)端的實(shí)際應(yīng)用場景相匹配,從而提高了數(shù)據(jù)存儲(chǔ)系統(tǒng)的性能,為提高服務(wù)端的前端業(yè)務(wù)響應(yīng)速率奠定了基礎(chǔ)。