本技術(shù)實(shí)施例涉及計(jì)算機(jī)領(lǐng)域，尤其涉及一種任務(wù)處理方法以及裝置。

背景技術(shù)：

1、隨著用戶把業(yè)務(wù)遷移上云，云場(chǎng)景下的業(yè)務(wù)需求逐漸增加，也對(duì)計(jì)算集群處理大規(guī)模數(shù)據(jù)復(fù)制帶來(lái)挑戰(zhàn)。云場(chǎng)景下的數(shù)據(jù)復(fù)制任務(wù)往往通過(guò)大規(guī)模計(jì)算集群處理，目前的大規(guī)模計(jì)算集群通常采用集中時(shí)控制的方式來(lái)分配和調(diào)度各個(gè)業(yè)務(wù)節(jié)點(diǎn)上執(zhí)行的任務(wù)，即計(jì)算集群通過(guò)一個(gè)控制節(jié)點(diǎn)為多個(gè)業(yè)務(wù)節(jié)點(diǎn)分配數(shù)據(jù)復(fù)制任務(wù)，從而實(shí)現(xiàn)數(shù)據(jù)復(fù)制業(yè)務(wù)的均衡。

2、在目前的數(shù)據(jù)任務(wù)處理過(guò)程中，由于大規(guī)模計(jì)算集群中的業(yè)務(wù)節(jié)點(diǎn)被動(dòng)接收來(lái)自控制節(jié)點(diǎn)分配的數(shù)據(jù)復(fù)制任務(wù)，隨著大規(guī)模計(jì)算集群的增大，大規(guī)模計(jì)算集群的控制節(jié)點(diǎn)會(huì)成為業(yè)務(wù)瓶頸，導(dǎo)致大規(guī)模計(jì)算集群的任務(wù)處理效率降低。同時(shí)，各業(yè)務(wù)節(jié)點(diǎn)工作狀態(tài)需要及時(shí)上報(bào)控制節(jié)點(diǎn)并作流量控制，當(dāng)業(yè)務(wù)節(jié)點(diǎn)出現(xiàn)數(shù)據(jù)復(fù)制異?；蚓W(wǎng)絡(luò)性能問(wèn)題時(shí)，容易造成復(fù)制任務(wù)積壓以及造成控制節(jié)點(diǎn)的處理邏輯復(fù)雜。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供了一種任務(wù)處理方法以及裝置，用于提升任計(jì)算集群的任務(wù)處理效率。

2、本技術(shù)實(shí)施例第一方面提供了一種任務(wù)處理方法，該任務(wù)處理方法應(yīng)用于計(jì)算集群，計(jì)算集群包括一個(gè)或多個(gè)業(yè)務(wù)節(jié)點(diǎn)，業(yè)務(wù)節(jié)點(diǎn)可以是計(jì)算設(shè)備或云服務(wù)器，該方法可以由計(jì)算集群執(zhí)行，也可以由計(jì)算集群的部件，例如計(jì)算集群的處理器、芯片或芯片系統(tǒng)等執(zhí)行，還可以由能實(shí)現(xiàn)全部或部分計(jì)算集群功能的邏輯模塊或軟件實(shí)現(xiàn)。本技術(shù)實(shí)施例第一方面提供的方法包括：業(yè)務(wù)節(jié)點(diǎn)確定業(yè)務(wù)狀態(tài)信息，業(yè)務(wù)狀態(tài)信息用于指示業(yè)務(wù)節(jié)點(diǎn)的處理資源占用情況，業(yè)務(wù)狀態(tài)信息包括業(yè)務(wù)節(jié)點(diǎn)正在執(zhí)行的任務(wù)數(shù)量和業(yè)務(wù)節(jié)點(diǎn)待執(zhí)行的任務(wù)數(shù)據(jù)量。業(yè)務(wù)節(jié)點(diǎn)基于業(yè)務(wù)狀態(tài)信息確定業(yè)務(wù)節(jié)點(diǎn)的剩余處理資源，剩余處理資源包括可處理的任務(wù)數(shù)量和可處理的任務(wù)數(shù)據(jù)量。業(yè)務(wù)節(jié)點(diǎn)根據(jù)剩余處理資源獲取數(shù)據(jù)處理任務(wù)，數(shù)據(jù)處理任務(wù)包括計(jì)算集群對(duì)應(yīng)的全局任務(wù)隊(duì)列中一個(gè)或多個(gè)數(shù)據(jù)處理任務(wù)。

3、本技術(shù)實(shí)施例中計(jì)算集群中的各個(gè)業(yè)務(wù)節(jié)點(diǎn)能夠基于節(jié)點(diǎn)自身的剩余處理資源情況獨(dú)立獲取數(shù)據(jù)處理任務(wù)，無(wú)需控制節(jié)點(diǎn)對(duì)各個(gè)業(yè)務(wù)節(jié)點(diǎn)的數(shù)據(jù)處理任務(wù)進(jìn)行分配和管理，從而避免了控制節(jié)點(diǎn)成為數(shù)據(jù)處理任務(wù)的瓶頸，從而提升了數(shù)據(jù)處理任務(wù)的處理效率，簡(jiǎn)化了業(yè)務(wù)節(jié)點(diǎn)獲取數(shù)據(jù)處理任務(wù)的控制邏輯。

4、一種可能的實(shí)施方式中，業(yè)務(wù)節(jié)點(diǎn)根據(jù)剩余處理資源獲取數(shù)據(jù)處理任務(wù)的過(guò)程中，當(dāng)剩余處理資源滿足數(shù)據(jù)處理任務(wù)所需處理資源時(shí)，業(yè)務(wù)節(jié)點(diǎn)獲取數(shù)據(jù)處理任務(wù)。當(dāng)剩余處理資源不滿足數(shù)據(jù)處理任務(wù)所需的處理資源時(shí)，業(yè)務(wù)節(jié)點(diǎn)暫停獲取數(shù)據(jù)處理任務(wù)。具體的，當(dāng)業(yè)務(wù)節(jié)點(diǎn)可處理的任務(wù)數(shù)量大于或等于閾值，并且業(yè)務(wù)節(jié)點(diǎn)的可處理任務(wù)數(shù)據(jù)量大于或等于數(shù)據(jù)處理任務(wù)的任務(wù)數(shù)據(jù)量時(shí)，業(yè)務(wù)節(jié)點(diǎn)從計(jì)算集群對(duì)應(yīng)的全局任務(wù)隊(duì)列中獲取數(shù)據(jù)處理任務(wù)。當(dāng)業(yè)務(wù)節(jié)點(diǎn)的可處理任務(wù)數(shù)量小于閾值，或者業(yè)務(wù)節(jié)點(diǎn)的可處理任務(wù)數(shù)據(jù)量小于數(shù)據(jù)處理任務(wù)的任務(wù)數(shù)據(jù)量時(shí)，業(yè)務(wù)節(jié)點(diǎn)暫停從計(jì)算集群對(duì)應(yīng)的全局任務(wù)隊(duì)列中獲取數(shù)據(jù)處理任務(wù)。

5、本技術(shù)實(shí)施例中業(yè)務(wù)節(jié)點(diǎn)根據(jù)剩余處理資源獲取數(shù)據(jù)處理任務(wù)，從而保障了業(yè)務(wù)節(jié)點(diǎn)對(duì)數(shù)據(jù)處理任務(wù)的處理效率。

6、一種可能的實(shí)施方式中，業(yè)務(wù)節(jié)點(diǎn)根據(jù)數(shù)據(jù)處理任務(wù)對(duì)應(yīng)的服務(wù)水平協(xié)議sla等級(jí)確定執(zhí)行數(shù)據(jù)處理任務(wù)的優(yōu)先級(jí)，不同的sla等級(jí)對(duì)應(yīng)不同的優(yōu)先級(jí)。數(shù)據(jù)處理任務(wù)對(duì)應(yīng)的服務(wù)水平協(xié)議sla等級(jí)包括金等級(jí)、銀等級(jí)和銅等級(jí)，任務(wù)的優(yōu)先級(jí)包括貴賓級(jí)、高級(jí)、中級(jí)和低級(jí)等級(jí)。其中，服務(wù)水平協(xié)議sla等級(jí)的金等級(jí)對(duì)應(yīng)貴賓級(jí)和高級(jí)，服務(wù)水平協(xié)議sla等級(jí)的銀等級(jí)對(duì)應(yīng)中級(jí)優(yōu)先級(jí)，服務(wù)水平協(xié)議sla等級(jí)的銅等級(jí)對(duì)應(yīng)低級(jí)優(yōu)先級(jí)。

7、本技術(shù)實(shí)施例中業(yè)務(wù)節(jié)點(diǎn)能夠根據(jù)數(shù)據(jù)處理任務(wù)對(duì)應(yīng)的服務(wù)水平協(xié)議sla等級(jí)確定執(zhí)行數(shù)據(jù)處理任務(wù)的優(yōu)先級(jí)，從而將不同sla等級(jí)的數(shù)據(jù)處理任務(wù)按照不同優(yōu)先級(jí)進(jìn)行處理，因此，業(yè)務(wù)節(jié)點(diǎn)具備獨(dú)立的服務(wù)水平等級(jí)控制能力，使得業(yè)務(wù)節(jié)點(diǎn)能夠精準(zhǔn)的控制務(wù)業(yè)務(wù)場(chǎng)景達(dá)成服務(wù)水平等級(jí)。

8、一種可能的實(shí)施方式中，不同優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源占比不同，處理資源包括帶寬資源和并發(fā)量。帶寬資源決定業(yè)務(wù)節(jié)點(diǎn)可處理的任務(wù)數(shù)據(jù)量，并發(fā)量決定業(yè)務(wù)節(jié)點(diǎn)可處理的任務(wù)數(shù)量。

9、本技術(shù)實(shí)施例中不同優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源占比不同，從而保障了較高優(yōu)先級(jí)的數(shù)據(jù)處理任務(wù)的處理效率，并為不同優(yōu)先級(jí)的數(shù)據(jù)處理任務(wù)提供了差異化的處理效率。

10、一種可能的實(shí)施方式中，業(yè)務(wù)節(jié)點(diǎn)根據(jù)不同優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源實(shí)際使用占比調(diào)整不同優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源占比。當(dāng)高優(yōu)先級(jí)的任務(wù)無(wú)任務(wù)時(shí)，業(yè)務(wù)節(jié)點(diǎn)提高中優(yōu)先級(jí)的任務(wù)對(duì)處理資源的占比和低優(yōu)先級(jí)的任務(wù)對(duì)處理資源的占比。例如，當(dāng)任務(wù)隊(duì)列無(wú)高優(yōu)先級(jí)的任務(wù)時(shí)，業(yè)務(wù)節(jié)點(diǎn)提高中優(yōu)先級(jí)的任務(wù)對(duì)處理資源的占比和低優(yōu)先級(jí)的任務(wù)對(duì)處理資源的占比。

11、本技術(shù)實(shí)施例中業(yè)務(wù)節(jié)點(diǎn)能夠動(dòng)態(tài)調(diào)整不用優(yōu)先級(jí)的數(shù)據(jù)處理任務(wù)對(duì)處理資源的占比，從而提升了業(yè)務(wù)節(jié)點(diǎn)的處理資源的利用率。

12、一種可能的實(shí)施方式中，業(yè)務(wù)節(jié)點(diǎn)根據(jù)不同優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源實(shí)際使用占比調(diào)整不同優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源占比的過(guò)程中，當(dāng)高優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源實(shí)際使用占比小于第一閾值時(shí)，增加低優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源使用占比。

13、本技術(shù)實(shí)施例中當(dāng)較高優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源實(shí)際使用占比較小時(shí)，業(yè)務(wù)節(jié)點(diǎn)能夠增加低優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源使用占比，從而提升了較低優(yōu)先級(jí)的數(shù)據(jù)處理任務(wù)的處理效率。

14、一種可能的實(shí)施方式中，業(yè)務(wù)節(jié)點(diǎn)根據(jù)不同優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源實(shí)際使用占比調(diào)整不同優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源占比的過(guò)程中，當(dāng)高優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源實(shí)際使用占比大于第二閾值時(shí)，增加高優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源使用占比，直到高優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源使用占比到達(dá)上限占比。

15、本技術(shù)實(shí)施例中當(dāng)較高優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源實(shí)際使用占比增大時(shí)，業(yè)務(wù)節(jié)點(diǎn)能夠降低低優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源使用占比，從而優(yōu)先保障較高優(yōu)先級(jí)的數(shù)據(jù)處理任務(wù)的處理效率。

16、一種可能的實(shí)施方式中，數(shù)據(jù)處理業(yè)務(wù)包括數(shù)據(jù)復(fù)制任務(wù)，業(yè)務(wù)節(jié)點(diǎn)根據(jù)數(shù)據(jù)復(fù)制任務(wù)向服務(wù)對(duì)象發(fā)送數(shù)據(jù)讀寫(xiě)請(qǐng)求或數(shù)據(jù)寫(xiě)請(qǐng)求。

17、本技術(shù)實(shí)施例中業(yè)務(wù)節(jié)點(diǎn)能夠獲取數(shù)據(jù)復(fù)制任務(wù)，并根據(jù)數(shù)據(jù)復(fù)制任務(wù)向服務(wù)對(duì)象發(fā)送數(shù)據(jù)讀寫(xiě)請(qǐng)求或數(shù)據(jù)寫(xiě)請(qǐng)求，從而提升計(jì)算集群的數(shù)據(jù)復(fù)制效率。

18、一種可能的實(shí)施方式中，業(yè)務(wù)節(jié)點(diǎn)包括第一業(yè)務(wù)節(jié)點(diǎn)和第二業(yè)務(wù)節(jié)點(diǎn)，當(dāng)?shù)谝粯I(yè)務(wù)節(jié)點(diǎn)的傳輸通道故障時(shí)，第一業(yè)務(wù)節(jié)點(diǎn)通過(guò)第二業(yè)務(wù)節(jié)點(diǎn)獲取數(shù)據(jù)處理任務(wù)，并處理該數(shù)據(jù)處理任務(wù)。

19、本技術(shù)實(shí)施例中計(jì)算集群的業(yè)務(wù)節(jié)點(diǎn)出現(xiàn)故障時(shí)，業(yè)務(wù)節(jié)點(diǎn)能夠基于計(jì)算集群內(nèi)的其他業(yè)務(wù)節(jié)點(diǎn)獲取數(shù)據(jù)處理任務(wù)。

20、一種可能的實(shí)施方式中，計(jì)算集群的多個(gè)業(yè)務(wù)節(jié)點(diǎn)同時(shí)從全局任務(wù)隊(duì)列中獲取數(shù)據(jù)復(fù)制任務(wù)，當(dāng)所有業(yè)務(wù)節(jié)點(diǎn)的剩余處理資源都低于閾值時(shí)，計(jì)算集群請(qǐng)求增加新的業(yè)務(wù)節(jié)點(diǎn)獲取數(shù)據(jù)復(fù)制任務(wù)。

21、本技術(shù)實(shí)施例中計(jì)算集群能夠增加業(yè)務(wù)節(jié)點(diǎn)獲取數(shù)據(jù)處理任務(wù)，從而實(shí)現(xiàn)計(jì)算集群數(shù)據(jù)處理能力的線性擴(kuò)容，由于業(yè)務(wù)節(jié)點(diǎn)能夠獨(dú)立獲取數(shù)據(jù)處理任務(wù)，因此計(jì)算集群擴(kuò)容不影響其它業(yè)務(wù)節(jié)點(diǎn)工作，提升了系統(tǒng)韌性。

22、本技術(shù)實(shí)施例第二方面提供了一種任務(wù)處理裝置，包括獲取單元和處理單元。其中，處理單元用于確定業(yè)務(wù)狀態(tài)信息，業(yè)務(wù)狀態(tài)信息包括業(yè)務(wù)節(jié)點(diǎn)正在執(zhí)行的任務(wù)數(shù)量和業(yè)務(wù)節(jié)點(diǎn)待執(zhí)行的任務(wù)數(shù)據(jù)量。處理單元還用于基于業(yè)務(wù)狀態(tài)信息確定業(yè)務(wù)節(jié)點(diǎn)的剩余處理資源，剩余處理資源包括可處理任務(wù)數(shù)量和可處理任務(wù)數(shù)據(jù)量。獲取單元用于根據(jù)剩余處理資源獲取數(shù)據(jù)處理任務(wù)，數(shù)據(jù)處理任務(wù)包括計(jì)算集群對(duì)應(yīng)的全局任務(wù)隊(duì)列中一個(gè)或多個(gè)數(shù)據(jù)處理任務(wù)。

23、一種可能的實(shí)施方式中，獲取單元具體用于當(dāng)剩余處理資源滿足數(shù)據(jù)處理任務(wù)所需處理資源時(shí)，獲取數(shù)據(jù)處理任務(wù)。當(dāng)剩余處理資源不滿足數(shù)據(jù)處理任務(wù)所需的處理資源時(shí)，暫停獲取數(shù)據(jù)處理任務(wù)。

24、一種可能的實(shí)施方式中，處理單元還用于根據(jù)數(shù)據(jù)處理任務(wù)對(duì)應(yīng)的服務(wù)水平協(xié)議sla等級(jí)確定執(zhí)行數(shù)據(jù)處理任務(wù)的優(yōu)先級(jí)，不同的sla等級(jí)對(duì)應(yīng)不同的優(yōu)先級(jí)。

25、一種可能的實(shí)施方式中，不同優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源占比不同，處理資源包括帶寬資源和并發(fā)量。

26、一種可能的實(shí)施方式中，處理單元還用于根據(jù)不同優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源實(shí)際使用占比調(diào)整不同優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源占比。

27、一種可能的實(shí)施方式中，處理單元具體用于當(dāng)高優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源實(shí)際使用占比小于第一閾值時(shí)，增加低優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源使用占比。

28、一種可能的實(shí)施方式中，處理單元還用于當(dāng)高優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源實(shí)際使用占比大于第二閾值時(shí)，增加高優(yōu)先級(jí)的任務(wù)對(duì)業(yè)務(wù)節(jié)點(diǎn)的處理資源使用占比。

29、一種可能的實(shí)施方式中，數(shù)據(jù)處理業(yè)務(wù)包括數(shù)據(jù)復(fù)制任務(wù)，裝置還包括收發(fā)單元，收發(fā)單元用于根據(jù)數(shù)據(jù)復(fù)制任務(wù)向服務(wù)對(duì)象發(fā)送數(shù)據(jù)讀寫(xiě)請(qǐng)求或數(shù)據(jù)寫(xiě)請(qǐng)求。

30、一種可能的實(shí)施方式中，業(yè)務(wù)節(jié)點(diǎn)包括第一業(yè)務(wù)節(jié)點(diǎn)和第二業(yè)務(wù)節(jié)點(diǎn)，獲取單元還用于當(dāng)?shù)谝粯I(yè)務(wù)節(jié)點(diǎn)的傳輸通道故障時(shí)，通過(guò)第二業(yè)務(wù)節(jié)點(diǎn)獲取數(shù)據(jù)處理任務(wù)。

31、本技術(shù)實(shí)施例第三方面提供了一種計(jì)算設(shè)備，包括處理器，處理器與存儲(chǔ)器耦合，處理器用于存儲(chǔ)指令，當(dāng)指令被處理器執(zhí)行時(shí)，以使得計(jì)算設(shè)備執(zhí)行上述第一方面或第一方面任一項(xiàng)可能的實(shí)施方式所述的方法。

32、本技術(shù)實(shí)施例第四方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有指令，指令被執(zhí)行時(shí)，以使得計(jì)算機(jī)執(zhí)行上述第一方面或第一方面任一項(xiàng)可能的實(shí)施方式所述的方法。

33、本技術(shù)實(shí)施例第五方面提供了一種計(jì)算機(jī)程序產(chǎn)品，計(jì)算機(jī)程序產(chǎn)品中包括指令，其特征在于，指令被執(zhí)行時(shí)，以使得計(jì)算機(jī)實(shí)現(xiàn)上述第一方面或第一方面任一項(xiàng)可能的實(shí)施方式所述的方法。

34、可以理解，上述提供的任意一種任務(wù)處理裝置、計(jì)算設(shè)備、計(jì)算機(jī)可讀介質(zhì)或計(jì)算機(jī)程序產(chǎn)品等所能達(dá)到的有益效果可參考對(duì)應(yīng)的計(jì)算系統(tǒng)中的有益效果，此處不再贅述。