本發(fā)明涉及電子信息，具體而言，涉及一種數(shù)據(jù)遷移方法、裝置、非易失性存儲(chǔ)介質(zhì)和計(jì)算機(jī)設(shè)備。

背景技術(shù)：

1、數(shù)據(jù)中心作為數(shù)據(jù)的載體，是當(dāng)代信息世界中必不可少的資源。傳統(tǒng)的數(shù)據(jù)中心以服務(wù)器為基本組成單元，將計(jì)算、內(nèi)存、存儲(chǔ)資源打包至服務(wù)器中，服務(wù)器間難以實(shí)現(xiàn)跨系統(tǒng)池化存儲(chǔ)，存儲(chǔ)調(diào)度算法大多只能將數(shù)據(jù)進(jìn)行逐層遷移，性能較低。目前，一種新型的分離式數(shù)據(jù)中心被廣泛關(guān)注。在分離式數(shù)據(jù)中心的存儲(chǔ)架構(gòu)中，實(shí)現(xiàn)了存儲(chǔ)資源按類別池化，不同層次的存儲(chǔ)介質(zhì)池通過(guò)高速網(wǎng)絡(luò)連接，數(shù)據(jù)可通過(guò)網(wǎng)絡(luò)在不同的存儲(chǔ)池之間遷移。

2、由于存儲(chǔ)架構(gòu)的差異，分離式數(shù)據(jù)中心存儲(chǔ)系統(tǒng)也面臨著多方面挑戰(zhàn)：首先，在存儲(chǔ)層級(jí)結(jié)構(gòu)方面，分離式存儲(chǔ)資源池中引入了新型存儲(chǔ)介質(zhì)，更高效的軟件設(shè)計(jì)是一大挑戰(zhàn)；其次，在存儲(chǔ)分層調(diào)度策略方面，傳統(tǒng)分布式存儲(chǔ)調(diào)度算法設(shè)計(jì)基于存儲(chǔ)和計(jì)算緊密結(jié)合的環(huán)境，多數(shù)考慮服務(wù)器節(jié)點(diǎn)的異構(gòu)性、計(jì)算性能、節(jié)點(diǎn)的負(fù)載等因素；徹底的存算解耦后，不僅需要考慮性能、成本等因素，還需關(guān)注網(wǎng)絡(luò)帶寬影響、存儲(chǔ)系統(tǒng)可擴(kuò)展性和適配性。

3、針對(duì)上述的問(wèn)題，目前尚未提出有效的解決方案。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供了一種數(shù)據(jù)遷移方法、裝置、非易失性存儲(chǔ)介質(zhì)和計(jì)算機(jī)設(shè)備，以至少解決傳統(tǒng)分布式存儲(chǔ)調(diào)度算法的性能與資源利用率不能滿足分離式數(shù)據(jù)中心存儲(chǔ)系統(tǒng)的要求的技術(shù)問(wèn)題。

2、根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種數(shù)據(jù)遷移方法，包括：接收待處理數(shù)據(jù)的處理請(qǐng)求；基于處理請(qǐng)求，更新待處理數(shù)據(jù)的狀態(tài)信息和存儲(chǔ)待處理數(shù)據(jù)的初始存儲(chǔ)層級(jí)的存儲(chǔ)狀態(tài)信息，確定待處理數(shù)據(jù)的更新后的狀態(tài)信息和初始存儲(chǔ)層級(jí)的更新后的存儲(chǔ)狀態(tài)信息，其中，待處理數(shù)據(jù)的狀態(tài)信息包括待處理數(shù)據(jù)的熱度值，熱度值表征待處理數(shù)據(jù)被訪問(wèn)的頻率，初始存儲(chǔ)層級(jí)位于存儲(chǔ)池中，初始存儲(chǔ)層級(jí)的存儲(chǔ)狀態(tài)信息包括初始存儲(chǔ)層級(jí)中存儲(chǔ)的數(shù)據(jù)對(duì)應(yīng)的熱度值的均值；獲取存儲(chǔ)池中除初始存儲(chǔ)層級(jí)外的存儲(chǔ)層級(jí)對(duì)應(yīng)的存儲(chǔ)狀態(tài)信息；根據(jù)待處理數(shù)據(jù)的更新后的狀態(tài)信息、初始存儲(chǔ)層級(jí)的更新后的存儲(chǔ)狀態(tài)信息和存儲(chǔ)池中除初始存儲(chǔ)層級(jí)外的存儲(chǔ)層級(jí)對(duì)應(yīng)的存儲(chǔ)狀態(tài)信息，確定待處理數(shù)據(jù)的目標(biāo)存儲(chǔ)層級(jí)；將待處理數(shù)據(jù)從初始存儲(chǔ)層級(jí)移動(dòng)至目標(biāo)存儲(chǔ)層級(jí)。

3、可選地，基于處理請(qǐng)求，更新待處理數(shù)據(jù)的狀態(tài)信息，確定待處理數(shù)據(jù)的更新后的狀態(tài)信息，其中，待處理數(shù)據(jù)的狀態(tài)信息包括待處理數(shù)據(jù)的熱度值，包括：根據(jù)處理請(qǐng)求，獲取存儲(chǔ)池在當(dāng)前時(shí)刻對(duì)應(yīng)的預(yù)設(shè)周期內(nèi)的總訪問(wèn)量；根據(jù)總訪問(wèn)量，確定存儲(chǔ)池對(duì)應(yīng)的熱度時(shí)期，其中，熱度時(shí)期表征存儲(chǔ)池中數(shù)據(jù)的訪問(wèn)情況，包括低峰期和平穩(wěn)期；基于存儲(chǔ)池對(duì)應(yīng)的熱度時(shí)期，確定待處理數(shù)據(jù)的熱度值的計(jì)算公式；基于待處理數(shù)據(jù)的熱度值的計(jì)算公式，確定待處理數(shù)據(jù)的熱度值。

4、可選地，在存儲(chǔ)池對(duì)應(yīng)的熱度時(shí)期為平穩(wěn)期的情況下，確定待處理數(shù)據(jù)的熱度值的計(jì)算公式為第一計(jì)算公式，其中，第一計(jì)算公式如下：

5、

6、其中，t(tn)為待處理數(shù)據(jù)在tn時(shí)刻的熱度值，tn-1為待處理數(shù)據(jù)上一次被訪問(wèn)的時(shí)刻，theat為待處理數(shù)據(jù)在tn時(shí)刻被訪問(wèn)后上升的熱度值，在待處理數(shù)據(jù)在tn時(shí)刻被訪問(wèn)的情況下，c的取值為1，在待處理數(shù)據(jù)在tn時(shí)刻沒(méi)有被訪問(wèn)的情況下，c的取值為0。

7、可選地，在存儲(chǔ)池對(duì)應(yīng)的熱度時(shí)期為低峰期的情況下，確定待處理數(shù)據(jù)的熱度值的計(jì)算公式為第二計(jì)算公式，其中，第二計(jì)算公式如下：

8、

9、其中，bi為待處理數(shù)據(jù)在tn時(shí)刻對(duì)應(yīng)的預(yù)設(shè)周期內(nèi)的平均熱度值，c為選取的在tn時(shí)刻對(duì)應(yīng)的預(yù)設(shè)周期前的預(yù)設(shè)時(shí)長(zhǎng)內(nèi)的樣本數(shù)據(jù)的個(gè)數(shù)，mnewavg為多個(gè)樣本數(shù)據(jù)的熱度值的平均值，nbayes為在tn時(shí)刻對(duì)應(yīng)的預(yù)設(shè)周期內(nèi)待處理數(shù)據(jù)被訪問(wèn)的次數(shù)，為在tn時(shí)刻對(duì)應(yīng)的預(yù)設(shè)周期內(nèi)，基于第一計(jì)算公式計(jì)算得到的待處理數(shù)據(jù)在多個(gè)時(shí)刻的熱度值的和。

10、可選地，根據(jù)待處理數(shù)據(jù)的更新后的狀態(tài)信息、初始存儲(chǔ)層級(jí)的更新后的存儲(chǔ)狀態(tài)信息和存儲(chǔ)池中除初始存儲(chǔ)層級(jí)外的存儲(chǔ)層級(jí)對(duì)應(yīng)的存儲(chǔ)狀態(tài)信息，確定待處理數(shù)據(jù)的目標(biāo)存儲(chǔ)層級(jí)，包括：將待處理數(shù)據(jù)的更新后的狀態(tài)信息、初始存儲(chǔ)層級(jí)的更新后的存儲(chǔ)狀態(tài)信息和存儲(chǔ)池中除初始存儲(chǔ)層級(jí)外的存儲(chǔ)層級(jí)對(duì)應(yīng)的存儲(chǔ)狀態(tài)信息輸入到存儲(chǔ)數(shù)據(jù)遷移模型中，得到待處理數(shù)據(jù)的目標(biāo)存儲(chǔ)層級(jí)，其中，存儲(chǔ)數(shù)據(jù)遷移模型采用訓(xùn)練樣本訓(xùn)練得到，訓(xùn)練樣本包括數(shù)據(jù)的狀態(tài)信息。

11、可選地，存儲(chǔ)數(shù)據(jù)遷移模型采用訓(xùn)練樣本訓(xùn)練得到，包括：定義初始存儲(chǔ)數(shù)據(jù)遷移模型的狀態(tài)空間、動(dòng)作空間、獎(jiǎng)勵(lì)函數(shù)，其中，狀態(tài)空間包括存儲(chǔ)池中的狀態(tài)信息和數(shù)據(jù)的狀態(tài)信息，動(dòng)作空間定義了數(shù)據(jù)遷移選擇的多個(gè)存儲(chǔ)層級(jí)，獎(jiǎng)勵(lì)函數(shù)用于計(jì)算對(duì)數(shù)據(jù)進(jìn)行的遷移動(dòng)作對(duì)應(yīng)的獎(jiǎng)勵(lì)值；將樣本數(shù)據(jù)集輸入到初始存儲(chǔ)數(shù)據(jù)遷移模型中，基于預(yù)設(shè)的深度學(xué)習(xí)框架進(jìn)行訓(xùn)練，對(duì)初始存儲(chǔ)數(shù)據(jù)遷移模型進(jìn)行優(yōu)化，得到存儲(chǔ)數(shù)據(jù)遷移模型。

12、可選地，待決策數(shù)據(jù)的狀態(tài)信息還包括用戶需求，其中，用戶需求表征用戶對(duì)數(shù)據(jù)訪問(wèn)速率的需求。

13、根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種數(shù)據(jù)遷移裝置，包括：接收模塊，用于接收待處理數(shù)據(jù)的處理請(qǐng)求；第一確定模塊，用于基于處理請(qǐng)求，更新待處理數(shù)據(jù)的狀態(tài)信息和存儲(chǔ)待處理數(shù)據(jù)的初始存儲(chǔ)層級(jí)的存儲(chǔ)狀態(tài)信息，確定待處理數(shù)據(jù)的更新后的狀態(tài)信息和初始存儲(chǔ)層級(jí)的更新后的存儲(chǔ)狀態(tài)信息，其中，待處理數(shù)據(jù)的狀態(tài)信息包括待處理數(shù)據(jù)的熱度值，熱度值表征待處理數(shù)據(jù)被訪問(wèn)的頻率，初始存儲(chǔ)層級(jí)位于存儲(chǔ)池中，初始存儲(chǔ)層級(jí)的存儲(chǔ)狀態(tài)信息包括初始存儲(chǔ)層級(jí)中存儲(chǔ)的數(shù)據(jù)對(duì)應(yīng)的熱度值的均值；獲取模塊，用于獲取存儲(chǔ)池中除初始存儲(chǔ)層級(jí)外的存儲(chǔ)層級(jí)對(duì)應(yīng)的存儲(chǔ)狀態(tài)信息；第二確定模塊，用于根據(jù)待處理數(shù)據(jù)的更新后的狀態(tài)信息、初始存儲(chǔ)層級(jí)的更新后的存儲(chǔ)狀態(tài)信息和存儲(chǔ)池中除初始存儲(chǔ)層級(jí)外的存儲(chǔ)層級(jí)對(duì)應(yīng)的存儲(chǔ)狀態(tài)信息，確定待處理數(shù)據(jù)的目標(biāo)存儲(chǔ)層級(jí)；移動(dòng)模塊，用于將待處理數(shù)據(jù)從初始存儲(chǔ)層級(jí)移動(dòng)至目標(biāo)存儲(chǔ)層級(jí)。

14、根據(jù)本發(fā)明實(shí)施例的又一方面，還提供了一種非易失性存儲(chǔ)介質(zhì)，非易失性存儲(chǔ)介質(zhì)包括存儲(chǔ)的程序，其中，在程序運(yùn)行時(shí)控制非易失性存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行上述中任意一項(xiàng)數(shù)據(jù)遷移方法。

15、根據(jù)本發(fā)明實(shí)施例的再一方面，還提供了一種計(jì)算機(jī)設(shè)備，計(jì)算機(jī)設(shè)備包括處理器，處理器用于運(yùn)行程序，其中，程序運(yùn)行時(shí)執(zhí)行上述中任意一項(xiàng)數(shù)據(jù)遷移方法。

16、根據(jù)本發(fā)明實(shí)施例的再一方面，還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述中任意一項(xiàng)數(shù)據(jù)遷移方法。

17、在本發(fā)明實(shí)施例中，采用數(shù)據(jù)遷移方法，通過(guò)接收待處理數(shù)據(jù)的處理請(qǐng)求；基于處理請(qǐng)求，更新待處理數(shù)據(jù)的狀態(tài)信息和存儲(chǔ)待處理數(shù)據(jù)的初始存儲(chǔ)層級(jí)的存儲(chǔ)狀態(tài)信息，確定待處理數(shù)據(jù)的更新后的狀態(tài)信息和初始存儲(chǔ)層級(jí)的更新后的存儲(chǔ)狀態(tài)信息，其中，待處理數(shù)據(jù)的狀態(tài)信息包括待處理數(shù)據(jù)的熱度值，熱度值表征待處理數(shù)據(jù)被訪問(wèn)的頻率，初始存儲(chǔ)層級(jí)位于存儲(chǔ)池中，初始存儲(chǔ)層級(jí)的存儲(chǔ)狀態(tài)信息包括初始存儲(chǔ)層級(jí)中存儲(chǔ)的數(shù)據(jù)對(duì)應(yīng)的熱度值的均值；獲取存儲(chǔ)池中除初始存儲(chǔ)層級(jí)外的存儲(chǔ)層級(jí)對(duì)應(yīng)的存儲(chǔ)狀態(tài)信息；根據(jù)待處理數(shù)據(jù)的更新后的狀態(tài)信息、初始存儲(chǔ)層級(jí)的更新后的存儲(chǔ)狀態(tài)信息和存儲(chǔ)池中除初始存儲(chǔ)層級(jí)外的存儲(chǔ)層級(jí)對(duì)應(yīng)的存儲(chǔ)狀態(tài)信息，確定待處理數(shù)據(jù)的目標(biāo)存儲(chǔ)層級(jí)；將待處理數(shù)據(jù)從初始存儲(chǔ)層級(jí)移動(dòng)至目標(biāo)存儲(chǔ)層級(jí)，達(dá)到了根據(jù)存儲(chǔ)資源狀態(tài)、用戶需求、數(shù)據(jù)熱度等，輸出數(shù)據(jù)遷移策略的目的，從而實(shí)現(xiàn)了提高分離式數(shù)據(jù)中心存儲(chǔ)系統(tǒng)的數(shù)據(jù)管理效率的技術(shù)效果，進(jìn)而解決了傳統(tǒng)分布式存儲(chǔ)調(diào)度算法的性能與資源利用率不能滿足分離式數(shù)據(jù)中心存儲(chǔ)系統(tǒng)的要求的技術(shù)問(wèn)題。