本申請涉及分布式計(jì)算，尤其涉及分布式任務(wù)調(diào)度方法、設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、隨著信息技術(shù)的飛速發(fā)展，跨節(jié)點(diǎn)的分布式任務(wù)調(diào)度技術(shù)已成為現(xiàn)代計(jì)算領(lǐng)域的重要組成部分。早期的分布式計(jì)算系統(tǒng)通過簡單的任務(wù)分配和節(jié)點(diǎn)管理，實(shí)現(xiàn)了計(jì)算資源的初步共享和利用。隨著容器化技術(shù)的興起，推動了ai（artificial?intelligence，人工智能）任務(wù)在分布式環(huán)境中的部署和執(zhí)行。

2、目前，docker和kubernetes等容器管理平臺提供了基本的調(diào)度能力，能夠根據(jù)資源需求和約束條件將任務(wù)分配到不同的容器節(jié)點(diǎn)上。但是，這些平臺主要關(guān)注于容器的部署、擴(kuò)展和管理，在分布式任務(wù)調(diào)度方面，這些平臺只提供了基本的調(diào)度能力，根據(jù)資源需求和約束條件將任務(wù)分配到不同的節(jié)點(diǎn)上，為容器節(jié)點(diǎn)能成功執(zhí)行任務(wù)提供充足的資源，一定程度上會造成資源的浪費(fèi)，導(dǎo)致資源利用率比較低。

3、上述內(nèi)容僅用于輔助理解本申請的技術(shù)方案，并不代表承認(rèn)上述內(nèi)容是現(xiàn)有技術(shù)。

技術(shù)實(shí)現(xiàn)思路

1、本申請的主要目的在于提供一種分布式任務(wù)調(diào)度方法、設(shè)備及存儲介質(zhì)，旨在提高資源利用率。

2、為實(shí)現(xiàn)上述目的，本申請?zhí)岢鲆环N分布式任務(wù)調(diào)度方法，所述的方法包括：

3、將獲取到的模型任務(wù)分解為多個(gè)子任務(wù)，確定各所述子任務(wù)之間的依賴關(guān)系；

4、根據(jù)所述依賴關(guān)系和各容器節(jié)點(diǎn)的可用資源信息，將各所述子任務(wù)分配至各所述容器節(jié)點(diǎn)；

5、根據(jù)各所述容器節(jié)點(diǎn)分配到的子任務(wù)，確定各所述容器節(jié)點(diǎn)的配置策略；

6、根據(jù)所述依賴關(guān)系和所述配置策略，調(diào)度各所述容器節(jié)點(diǎn)。

7、在一實(shí)施例中，所述根據(jù)所述依賴關(guān)系和各容器節(jié)點(diǎn)的可用資源信息，將各所述子任務(wù)分配至各所述容器節(jié)點(diǎn)的步驟包括：

8、根據(jù)所述依賴關(guān)系和所述可用資源信息，確定至少一個(gè)候選方案，其中，所述候選方案用于各所述子任務(wù)的分配；

9、根據(jù)各所述候選方案的資源利用率和任務(wù)完成時(shí)間，從各所述候選方案中，確定目標(biāo)方案；

10、根據(jù)所述目標(biāo)方案，將各所述子任務(wù)分配至各所述容器節(jié)點(diǎn)。

11、在一實(shí)施例中，所述配置策略包括隔離環(huán)境配置，在所述確定各所述容器節(jié)點(diǎn)的配置策略的步驟之后，還包括：

12、根據(jù)所述隔離環(huán)境配置和各所述容器節(jié)點(diǎn)的容器配置，調(diào)整各所述容器節(jié)點(diǎn)的資源空間，以使各所述容器節(jié)點(diǎn)的資源空間無重疊。

13、在一實(shí)施例中，所述配置策略包括資源分配策略，在所述確定各所述容器節(jié)點(diǎn)的配置策略的步驟之后，還包括：

14、根據(jù)所述資源分配策略和各所述容器節(jié)點(diǎn)的資源使用要求，確定各所述容器節(jié)點(diǎn)的資源配額。

15、在一實(shí)施例中，所述配置策略包括安全策略，在所述確定各所述容器節(jié)點(diǎn)的配置策略的步驟之后，還包括：

16、根據(jù)所述安全策略和各所述容器節(jié)點(diǎn)的安全需求，確定各所述容器節(jié)點(diǎn)的訪問權(quán)限。

17、在一實(shí)施例中，所述配置策略包括網(wǎng)絡(luò)需求，在所述確定各所述容器節(jié)點(diǎn)的配置策略的步驟之后，還包括：

18、根據(jù)所述網(wǎng)絡(luò)需求和各所述容器節(jié)點(diǎn)的網(wǎng)絡(luò)隔離規(guī)則，為各所述容器節(jié)點(diǎn)配置通信接口。

19、在一實(shí)施例中，所述配置策略包括加密需求，在所述調(diào)度各所述容器節(jié)點(diǎn)的步驟之后，還包括：

20、根據(jù)所述加密需求和預(yù)設(shè)的加密密鑰，對所述子任務(wù)的任務(wù)數(shù)據(jù)進(jìn)行加密；

21、根據(jù)預(yù)設(shè)的密鑰分發(fā)原則，為所述子任務(wù)分配所述加密密鑰對應(yīng)的解密密鑰。

22、此外，為實(shí)現(xiàn)上述目的，本申請還提出一種分布式任務(wù)調(diào)度裝置，所述分布式任務(wù)調(diào)度裝置包括：

23、分解模塊，用于將獲取到的模型任務(wù)分解為多個(gè)子任務(wù)，確定各所述子任務(wù)之間的依賴關(guān)系；

24、分配模塊，用于根據(jù)所述依賴關(guān)系和各容器節(jié)點(diǎn)的可用資源信息，將各所述子任務(wù)分配至各所述容器節(jié)點(diǎn)；

25、配置模塊，用于根據(jù)各所述容器節(jié)點(diǎn)分配到的子任務(wù)，確定各所述容器節(jié)點(diǎn)的配置策略；

26、調(diào)度模塊，用于根據(jù)所述依賴關(guān)系和所述配置策略，調(diào)度各所述容器節(jié)點(diǎn)。

27、此外，為實(shí)現(xiàn)上述目的，本申請還提出一種分布式任務(wù)調(diào)度設(shè)備，所述設(shè)備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序配置為實(shí)現(xiàn)如上文所述的分布式任務(wù)調(diào)度方法的步驟。

28、此外，為實(shí)現(xiàn)上述目的，本申請還提出一種存儲介質(zhì)，所述存儲介質(zhì)為計(jì)算機(jī)可讀存儲介質(zhì)，所述存儲介質(zhì)上存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上文所述的分布式任務(wù)調(diào)度方法的步驟。

29、此外，為實(shí)現(xiàn)上述目的，本申請還提供一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上文所述的分布式任務(wù)調(diào)度方法的步驟。

30、本申請?zhí)岢龅囊粋€(gè)或多個(gè)技術(shù)方案，至少具有以下技術(shù)效果：首先將獲取到的模型任務(wù)分解為多個(gè)子任務(wù)，確定各子任務(wù)之間的依賴關(guān)系，明確可以并行執(zhí)行的子任務(wù)，有利于減少所有子任務(wù)的總體執(zhí)行時(shí)間；接著，根據(jù)依賴關(guān)系和各容器節(jié)點(diǎn)的可用資源信息，將各子任務(wù)分配至各容器節(jié)點(diǎn)，確保子任務(wù)在分配到的容器節(jié)點(diǎn)上可以正常執(zhí)行，不會出現(xiàn)資源不足的情況，同時(shí)該子任務(wù)也消耗了容器節(jié)點(diǎn)上的資源，確保資源得到了有效利用，避免資源浪費(fèi)；進(jìn)而可以根據(jù)各容器節(jié)點(diǎn)分配到的子任務(wù)，確定各容器節(jié)點(diǎn)的配置策略，配置策略是指容器節(jié)點(diǎn)被調(diào)度或執(zhí)行時(shí)需要滿足的要求，比如資源需求、安全需求和隔離配置等，根據(jù)分配到的子任務(wù)的需求來對各容器節(jié)點(diǎn)進(jìn)行限定，可以確保最小使用原則即每個(gè)容器節(jié)點(diǎn)僅獲得完成任務(wù)所必需的資源和權(quán)限等，避免資源浪費(fèi)；最后，調(diào)度各容器節(jié)點(diǎn)，按依賴關(guān)系對應(yīng)的順序執(zhí)行各子任務(wù)，在執(zhí)行過程中，根據(jù)配置策略對資源的分配和使用進(jìn)行限制，在能夠完成整個(gè)模型任務(wù)的執(zhí)行的基礎(chǔ)上，盡可能地減少資源浪費(fèi)，提高資源使用率。

技術(shù)特征：

1.一種分布式任務(wù)調(diào)度方法，其特征在于，所述分布式任務(wù)調(diào)度方法包括：

2.如權(quán)利要求1所述的分布式任務(wù)調(diào)度方法，其特征在于，所述根據(jù)所述依賴關(guān)系和各容器節(jié)點(diǎn)的可用資源信息，將各所述子任務(wù)分配至各所述容器節(jié)點(diǎn)的步驟包括：

3.如權(quán)利要求1所述的分布式任務(wù)調(diào)度方法，其特征在于，所述配置策略包括隔離環(huán)境配置，在所述確定各所述容器節(jié)點(diǎn)的配置策略的步驟之后，還包括：

4.如權(quán)利要求1所述的分布式任務(wù)調(diào)度方法，其特征在于，所述配置策略包括資源分配策略，在所述確定各所述容器節(jié)點(diǎn)的配置策略的步驟之后，還包括：

5.如權(quán)利要求1所述的分布式任務(wù)調(diào)度方法，其特征在于，所述配置策略包括安全策略，在所述確定各所述容器節(jié)點(diǎn)的配置策略的步驟之后，還包括：

6.如權(quán)利要求1所述的分布式任務(wù)調(diào)度方法，其特征在于，所述配置策略包括網(wǎng)絡(luò)需求，在所述確定各所述容器節(jié)點(diǎn)的配置策略的步驟之后，還包括：

7.如權(quán)利要求1所述的分布式任務(wù)調(diào)度方法，其特征在于，所述配置策略包括加密需求，在所述確定各所述容器節(jié)點(diǎn)的配置策略的步驟之后，還包括：

8.如權(quán)利要求1所述的分布式任務(wù)調(diào)度方法，其特征在于，在所述調(diào)度各所述容器節(jié)點(diǎn)的步驟之后，還包括：

9.一種分布式任務(wù)調(diào)度設(shè)備，其特征在于，所述設(shè)備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序配置為實(shí)現(xiàn)如權(quán)利要求1至8中任一項(xiàng)所述的分布式任務(wù)調(diào)度方法的步驟。

10.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)為計(jì)算機(jī)可讀存儲介質(zhì)，所述存儲介質(zhì)上存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至8中任一項(xiàng)所述的分布式任務(wù)調(diào)度方法的步驟。

技術(shù)總結(jié)
本申請公開了一種分布式任務(wù)調(diào)度方法、設(shè)備及存儲介質(zhì)，涉及分布式計(jì)算技術(shù)領(lǐng)域，該分布式任務(wù)調(diào)度方法包括：將獲取到的模型任務(wù)分解為多個(gè)子任務(wù)，確定各子任務(wù)之間的依賴關(guān)系；根據(jù)依賴關(guān)系和各容器節(jié)點(diǎn)的可用資源信息，將各子任務(wù)分配至各容器節(jié)點(diǎn)；根據(jù)各容器節(jié)點(diǎn)分配到的子任務(wù)，確定各容器節(jié)點(diǎn)的配置策略；根據(jù)依賴關(guān)系和配置策略，調(diào)度各容器節(jié)點(diǎn)。本申請根據(jù)容器節(jié)點(diǎn)分配到的子任務(wù)，來確定該容器節(jié)點(diǎn)需要的資源，避免不必要的資源浪費(fèi)，從而提高了資源利用率。

技術(shù)研發(fā)人員：盧偉超
受保護(hù)的技術(shù)使用者：深圳開鴻數(shù)字產(chǎn)業(yè)發(fā)展有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2