本申請涉及獨立站,尤其涉及一種數(shù)據(jù)遷移方法、裝置、電子設備及存儲介質(zhì)。
背景技術(shù):
1、目前,隨著互聯(lián)網(wǎng)的發(fā)展,越來越多的組織傾向于利用互聯(lián)網(wǎng)平臺接收用戶發(fā)送的請求,并向用戶提供相應的服務。例如,隨著電子商務的發(fā)展,跨境電商這一新興的商業(yè)模式在近幾年也飛速發(fā)展,獨立站點是跨境電商的一種新的形式,在運營中,自主權(quán)高,更加靈活,避免了很多平臺規(guī)則的制約。相較于傳統(tǒng)的電商平臺來說,在獨立站點中運行線上店鋪的商家類型各異;瀏覽線上店鋪以進行線上交易的用戶的體量也各不相同。在電子商務平臺中,通常通過獨立站的消息中間件接收后端商戶發(fā)布的消息,并向用戶提供消息訂閱服務,用戶通常通過客戶端向獨立站點的后端發(fā)送數(shù)據(jù)操作請求,以獲取電商平臺提供的數(shù)據(jù)服務。由于獨立站點內(nèi)的互聯(lián)網(wǎng)用戶的數(shù)量龐大,因此獨立站點的消息中間件通常在單位時間內(nèi)接收到大量的不同來源和不同內(nèi)容的消息,造成獨立站點中消息傳遞的穩(wěn)定性降低,進而導致組織向用戶提供數(shù)據(jù)服務的效率低下。
技術(shù)實現(xiàn)思路
1、鑒于以上內(nèi)容,有必要提出一種數(shù)據(jù)遷移方法、裝置、電子設備及存儲介質(zhì),以解決對獨立站的消息中間件進行數(shù)據(jù)遷移的效率低下的技術(shù)問題。
2、本申請?zhí)峁┮环N數(shù)據(jù)遷移方法,應用于電子設備,所述電子設備通信連接于服務器的多個節(jié)點,所述方法包括:實時獲取每個節(jié)點的指標數(shù)據(jù),所述指標數(shù)據(jù)包括多個維度;根據(jù)數(shù)據(jù)遷移需求從所述多個維度中確定目標維度;根據(jù)所述目標維度確定所述每個節(jié)點的負載;根據(jù)所述負載確定所述多個節(jié)點的遷移策略,所述遷移策略用于表征所述多個節(jié)點中的數(shù)據(jù)遷出節(jié)點與數(shù)據(jù)遷入節(jié)點之間的對應關系;根據(jù)所述遷移策略生成遷移任務;執(zhí)行所述遷移任務,得到所述多個節(jié)點的數(shù)據(jù)遷移結(jié)果。
3、在一些實施例中,所述根據(jù)所述負載確定所述多個節(jié)點的遷移策略包括:根據(jù)所述負載確定所述每個節(jié)點的指標數(shù)據(jù)中所述目標維度的均衡值;根據(jù)所述均衡值從所述多個節(jié)點中確定數(shù)據(jù)遷入節(jié)點以及數(shù)據(jù)遷出節(jié)點;根據(jù)所述數(shù)據(jù)遷出節(jié)點和所述數(shù)據(jù)遷入節(jié)點確定遷移策略。
4、在一些實施例中,所述根據(jù)所述負載確定所述多個節(jié)點的遷移策略包括:根據(jù)所述負載確定所述每個節(jié)點的指標數(shù)據(jù)中所述目標維度的均衡值;根據(jù)所述均衡值從所述多個節(jié)點中確定數(shù)據(jù)遷入節(jié)點以及數(shù)據(jù)遷出節(jié)點;根據(jù)所述數(shù)據(jù)遷出節(jié)點和所述數(shù)據(jù)遷入節(jié)點確定遷移策略;根據(jù)所述遷移策略預測執(zhí)行所述遷移策略之后每個節(jié)點中每個維度的取值;在所述每個節(jié)點對應的所述多個維度的取值均在預設范圍內(nèi)的情況下,確定得到所述遷移策略。
5、在一些實施例中,所述方法還包括:在任意一個節(jié)點對應的所述多個維度中的任意一個維度的取值不在所述預設范圍內(nèi)的情況下,不斷更新所述多個節(jié)點中的數(shù)據(jù)遷出節(jié)點與數(shù)據(jù)遷入節(jié)點之間的對應關系,直至所述每個節(jié)點對應的所述多個維度的取值均在預設范圍內(nèi)。
6、在一些實施例中,所述根據(jù)所述目標維度確定所述每個節(jié)點的負載包括:根據(jù)所述目標維度由小到大的順序?qū)λ龆鄠€節(jié)點進行排序;確定所述每個節(jié)點的次序以及對應的所述目標維度的取值為所述節(jié)點的負載。
7、在一些實施例中,所述執(zhí)行所述遷移任務,得到所述多個節(jié)點的數(shù)據(jù)遷移結(jié)果包括:
8、在所述遷移任務的數(shù)量為多個的情況下,根據(jù)預設并行數(shù)量將多個所述遷移任務劃分為多個批次;其中,每個批次的遷移任務的數(shù)量小于或等于所述預設并行數(shù)量;以并行的方式執(zhí)行每個批次的所述遷移任務;在執(zhí)行所有所述批次的所述遷移任務之后,得到所述數(shù)據(jù)遷移結(jié)果。
9、在一些實施例中,根據(jù)每個節(jié)點的標簽將所述多個節(jié)點分為多組,其中,每組節(jié)點具備相同的標簽;針對任意一組節(jié)點,根據(jù)所述負載確定所述任意一組節(jié)點中每個節(jié)點的所述目標維度的均衡值;根據(jù)所述均衡值從所述任意一組節(jié)點中確定數(shù)據(jù)遷入節(jié)點以及數(shù)據(jù)遷出節(jié)點;根據(jù)所述數(shù)據(jù)遷出節(jié)點和所述數(shù)據(jù)遷入節(jié)點確定所述任意一組節(jié)點的遷移策略;確定每組節(jié)點的遷移策略,得到所述多個節(jié)點的遷移策略。
10、本申請實施例還提供一種數(shù)據(jù)遷移裝置,所述裝置包括:獲取模塊,用于實時獲取每個節(jié)點的指標數(shù)據(jù),所述指標數(shù)據(jù)包括多個維度;確定模塊,用于根據(jù)數(shù)據(jù)遷移需求從所述多個維度中確定目標維度;所述確定模塊,還用于根據(jù)所述目標維度確定所述每個節(jié)點的負載;所述確定模塊,還用于根據(jù)所述負載確定多個節(jié)點的遷移策略,所述遷移策略用于表征所述多個節(jié)點中的數(shù)據(jù)遷出節(jié)點與數(shù)據(jù)遷入節(jié)點之間的對應關系;所述確定模塊,還用于根據(jù)所述遷移策略生成遷移任務;遷移模塊,用于執(zhí)行所述遷移任務,得到所述多個節(jié)點的數(shù)據(jù)遷移結(jié)果。
11、本申請實施例還提供一種電子設備,所述電子設備包括:存儲器,存儲至少一個指令;處理器,執(zhí)行所述存儲器中存儲的指令以實現(xiàn)所述的數(shù)據(jù)遷移方法。
12、本申請實施例還提供一種計算機可讀存儲介質(zhì),所述計算機可讀存儲介質(zhì)上存儲有計算機程序,所述計算機程序被處理器執(zhí)行時實現(xiàn)所述的數(shù)據(jù)遷移方法。
13、由以上技術(shù)方案可以看出,本申請實施例通過實時獲取服務器中多個節(jié)點的指標數(shù)據(jù)檢測服務器的多個節(jié)點中負載不均衡的情況,并在不影響服務器運行的情況下,自動執(zhí)行負載均衡操作以避免人工干預數(shù)據(jù)遷移過程出的配置錯誤問題。并根據(jù)服務器節(jié)點的指標數(shù)據(jù)確定多個節(jié)點的數(shù)據(jù)遷移策略,如此能夠根據(jù)服務器集群的運行狀況自動調(diào)整遷移策略,從而提升數(shù)據(jù)遷移的效率。
1.一種數(shù)據(jù)遷移方法,應用于電子設備,所述電子設備通信連接于服務器的多個節(jié)點,其特征在于,所述方法包括:
2.如權(quán)利要求1所述的數(shù)據(jù)遷移方法,其特征在于,所述根據(jù)所述負載確定所述多個節(jié)點的遷移策略包括:
3.如權(quán)利要求1所述的數(shù)據(jù)遷移方法,其特征在于,所述根據(jù)所述負載確定所述多個節(jié)點的遷移策略包括:
4.如權(quán)利要求3所述的數(shù)據(jù)遷移方法,其特征在于,所述方法還包括:
5.如權(quán)利要求1所述的數(shù)據(jù)遷移方法,其特征在于,所述根據(jù)所述目標維度確定所述每個節(jié)點的負載包括:
6.如權(quán)利要求1所述的數(shù)據(jù)遷移方法,其特征在于,所述執(zhí)行所述遷移任務,得到所述多個節(jié)點的數(shù)據(jù)遷移結(jié)果包括:
7.如權(quán)利要求1所述的數(shù)據(jù)遷移方法,其特征在于,所述方法還包括:
8.一種數(shù)據(jù)遷移裝置,其特征在于,所述裝置包括實現(xiàn)如權(quán)利要求1至7中任意一項所述的數(shù)據(jù)遷移方法的模塊,所述裝置包括:
9.一種電子設備,其特征在于,所述電子設備包括處理器和存儲器,所述處理器用于執(zhí)行存儲器中存儲的計算機程序時實現(xiàn)如權(quán)利要求1至7中任意一項所述的數(shù)據(jù)遷移方法。
10.一種計算機可讀存儲介質(zhì),其特征在于,所述計算機可讀存儲介質(zhì)上存儲有計算機程序,所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7中任一項所述的數(shù)據(jù)遷移方法中的步驟。