本發(fā)明涉及集群數(shù)據(jù)處理，尤其涉及一種跨集群作業(yè)方法、設(shè)備和存儲介質(zhì)。

背景技術(shù)：

1、隨著云計算、大數(shù)據(jù)、人工智能等技術(shù)的快速發(fā)展，算力需求呈現(xiàn)出爆炸性增長。然而，由于地理位置、資源分布、網(wǎng)絡(luò)狀況等多種因素的限制，算力資源往往無法高效、靈活地滿足用戶需求。

2、因此，跨集群算力調(diào)度技術(shù)的研究和應(yīng)用，對于提高算力資源利用率、優(yōu)化資源配置、降低能耗等方面具有重要意義。然而，目前的跨集群調(diào)度技術(shù)存在數(shù)據(jù)傳輸慢、安全性差、調(diào)度算法難以構(gòu)建等問題。

3、有鑒于此，特提出本發(fā)明。

技術(shù)實現(xiàn)思路

1、為了解決上述技術(shù)問題，本發(fā)明提供了一種跨集群作業(yè)方法、設(shè)備和存儲介質(zhì)，實現(xiàn)了作業(yè)數(shù)據(jù)跨集群傳輸、作業(yè)跨集群自動提交運行以及結(jié)果回傳。

2、本發(fā)明實施例提供了一種跨集群作業(yè)方法，該方法包括：

3、建立當(dāng)前集群和目標(biāo)集群之間的數(shù)據(jù)傳輸通道，將所述當(dāng)前集群中目標(biāo)作業(yè)對應(yīng)的目標(biāo)數(shù)據(jù)通過所述數(shù)據(jù)傳輸通道發(fā)送至所述目標(biāo)集群；

4、獲取當(dāng)前集群中與所述目標(biāo)作業(yè)對應(yīng)的作業(yè)參數(shù)，根據(jù)所述作業(yè)參數(shù)、所述目標(biāo)集群的集群標(biāo)識以及預(yù)先構(gòu)建的腳本模板庫，確定目標(biāo)腳本，并將所述目標(biāo)腳本發(fā)送至所述目標(biāo)集群，以使所述目標(biāo)集群基于所述目標(biāo)腳本以及所述目標(biāo)數(shù)據(jù)，執(zhí)行所述目標(biāo)作業(yè)得到與目標(biāo)作業(yè)對應(yīng)的目標(biāo)結(jié)果；

5、響應(yīng)于確定所述目標(biāo)集群執(zhí)行完成所述目標(biāo)作業(yè)，建立所述當(dāng)前集群和所述目標(biāo)集群之間的結(jié)果傳輸通道，將所述目標(biāo)集群中的目標(biāo)結(jié)果通過所述結(jié)果傳輸通道發(fā)送至所述當(dāng)前集群。

6、本發(fā)明實施例提供了一種電子設(shè)備，所述電子設(shè)備包括：

7、處理器和存儲器；

8、所述處理器通過調(diào)用所述存儲器存儲的程序或指令，用于執(zhí)行任一實施例所述的跨集群作業(yè)方法的步驟。

9、本發(fā)明實施例提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲程序或指令，所述程序或指令使計算機執(zhí)行任一實施例所述的跨集群作業(yè)方法的步驟。

10、本發(fā)明實施例具有以下技術(shù)效果：

11、建立當(dāng)前集群和目標(biāo)集群之間的數(shù)據(jù)傳輸通道，將當(dāng)前集群中目標(biāo)作業(yè)對應(yīng)的目標(biāo)數(shù)據(jù)通過數(shù)據(jù)傳輸通道發(fā)送至目標(biāo)集群，以單獨建立用于傳輸目標(biāo)數(shù)據(jù)的數(shù)據(jù)傳輸通道，保證了數(shù)據(jù)的安全性，進而，獲取當(dāng)前集群中與目標(biāo)作業(yè)對應(yīng)的作業(yè)參數(shù)，根據(jù)作業(yè)參數(shù)、目標(biāo)集群的集群標(biāo)識以及預(yù)先構(gòu)建的腳本模板庫，確定目標(biāo)腳本，并將目標(biāo)腳本發(fā)送至目標(biāo)集群，以使目標(biāo)集群基于目標(biāo)腳本以及目標(biāo)數(shù)據(jù)，執(zhí)行目標(biāo)作業(yè)得到與目標(biāo)作業(yè)對應(yīng)的目標(biāo)結(jié)果，以自適應(yīng)不同的系統(tǒng)，簡化了腳本生成的步驟，響應(yīng)于確定目標(biāo)集群執(zhí)行完成目標(biāo)作業(yè)，建立當(dāng)前集群和目標(biāo)集群之間的結(jié)果傳輸通道，將目標(biāo)集群中的目標(biāo)結(jié)果通過結(jié)果傳輸通道發(fā)送至當(dāng)前集群，實現(xiàn)了作業(yè)數(shù)據(jù)跨集群傳輸、作業(yè)跨集群自動提交運行以及結(jié)果回傳，提高了數(shù)據(jù)傳輸效率以及安全性，并且，能夠自適應(yīng)生成對應(yīng)的腳本，降低跨集群作業(yè)的技術(shù)難度。

技術(shù)特征：

1.一種跨集群作業(yè)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述建立當(dāng)前集群和目標(biāo)集群之間的數(shù)據(jù)傳輸通道之前，還包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述建立當(dāng)前集群和目標(biāo)集群之間的數(shù)據(jù)傳輸通道，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述當(dāng)前集群中目標(biāo)作業(yè)對應(yīng)的目標(biāo)數(shù)據(jù)通過所述數(shù)據(jù)傳輸通道發(fā)送至所述目標(biāo)集群，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述任務(wù)類型以及所述傳輸任務(wù)對應(yīng)的傳輸大小，確定加速值，包括：

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述任務(wù)類型以及所述傳輸任務(wù)對應(yīng)的傳輸大小，確定加速值，包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述作業(yè)參數(shù)、所述目標(biāo)集群的集群標(biāo)識以及預(yù)先構(gòu)建的腳本模板庫，確定目標(biāo)腳本，包括：

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述將所述作業(yè)參數(shù)添加至所述目標(biāo)模板中，得到目標(biāo)腳本，包括：

9.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)存儲程序或指令，所述程序或指令使計算機執(zhí)行如權(quán)利要求1至8任一項所述的跨集群作業(yè)方法的步驟。

技術(shù)總結(jié)
本發(fā)明涉及集群數(shù)據(jù)處理領(lǐng)域，公開了一種跨集群作業(yè)方法、設(shè)備和存儲介質(zhì)，該方法包括：建立當(dāng)前集群和目標(biāo)集群之間的數(shù)據(jù)傳輸通道，將當(dāng)前集群中目標(biāo)作業(yè)對應(yīng)的目標(biāo)數(shù)據(jù)通過數(shù)據(jù)傳輸通道發(fā)送至目標(biāo)集群；獲取當(dāng)前集群中與目標(biāo)作業(yè)對應(yīng)的作業(yè)參數(shù)，根據(jù)作業(yè)參數(shù)、目標(biāo)集群的集群標(biāo)識以及預(yù)先構(gòu)建的腳本模板庫，確定目標(biāo)腳本，并將目標(biāo)腳本發(fā)送至目標(biāo)集群，以使目標(biāo)集群基于目標(biāo)腳本以及目標(biāo)數(shù)據(jù)，執(zhí)行目標(biāo)作業(yè)得到目標(biāo)結(jié)果；響應(yīng)于確定目標(biāo)集群執(zhí)行完成目標(biāo)作業(yè)，建立當(dāng)前集群和目標(biāo)集群之間的結(jié)果傳輸通道，將目標(biāo)集群中的目標(biāo)結(jié)果通過結(jié)果傳輸通道發(fā)送至當(dāng)前集群，以提高數(shù)據(jù)傳輸效率和安全性，自適應(yīng)生成腳本，降低跨集群作業(yè)的技術(shù)難度。

技術(shù)研發(fā)人員：朱明祖,馮景華,徐斌,王皓,田楊,賀成,譚昕雨,劉美辰,秦躍鑫
受保護的技術(shù)使用者：天津市天河計算機技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6