本申請(qǐng)涉及動(dòng)態(tài)更新,尤其涉及一種任務(wù)調(diào)度系統(tǒng)的升級(jí)方法、系統(tǒng)、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。
背景技術(shù):
1、公有云平臺(tái)中的任務(wù)調(diào)度系統(tǒng),用以實(shí)現(xiàn)數(shù)據(jù)作業(yè)的派發(fā)、執(zhí)行和管理。這些系統(tǒng)使用消息驅(qū)動(dòng)的方式來實(shí)現(xiàn)分布式系統(tǒng)模塊間設(shè)計(jì)的高度靈活性和可擴(kuò)展性。然而,對(duì)于這類依賴消息隊(duì)列的大型調(diào)度系統(tǒng),在引入新功能、修復(fù)錯(cuò)誤或進(jìn)行性能優(yōu)化等過程中進(jìn)行升級(jí)成為一個(gè)挑戰(zhàn),因?yàn)橐笤诓恢袛嚓P(guān)鍵業(yè)務(wù)流程的情況下,需要考慮存儲(chǔ)在消息隊(duì)列中的海量消息驅(qū)動(dòng)不同版本的子模塊來實(shí)現(xiàn)灰度測(cè)試過程的功能驗(yàn)證,同時(shí)確保升級(jí)過程中不影響用戶的正常使用。因此,需要提出一種新的調(diào)度系統(tǒng)的升級(jí)方法。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)?zhí)峁┮环N任務(wù)調(diào)度系統(tǒng)的升級(jí)方法、系統(tǒng)、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì),用以解決現(xiàn)有技術(shù)的升級(jí)以及測(cè)試過程中存在的對(duì)用于正常使用造成影響的技術(shù)問題。
2、第一方面,本申請(qǐng)?zhí)峁┮环N任務(wù)調(diào)度系統(tǒng)的升級(jí)方法,方法應(yīng)用于任務(wù)調(diào)度系統(tǒng)的升級(jí)系統(tǒng),任務(wù)調(diào)度系統(tǒng)的升級(jí)系統(tǒng)包括配置中心和任務(wù)調(diào)度系統(tǒng),任務(wù)調(diào)度系統(tǒng)包括作業(yè)處理模塊以及作業(yè)處理插件,作業(yè)處理模塊用于對(duì)作業(yè)請(qǐng)求消息進(jìn)行管理、派發(fā)和執(zhí)行,作業(yè)處理模塊中嵌入第一配置模塊,作業(yè)處理插件用于基于作業(yè)請(qǐng)求消息進(jìn)行數(shù)據(jù)處理;作業(yè)處理模塊與作業(yè)處理插件之間嵌入第二配置模塊;第一配置模塊和第二配置模塊由配置中心進(jìn)行配置管理;方法包括:
3、獲取作業(yè)處理模塊的第一當(dāng)前版本和第一更新版本,以及作業(yè)處理插件的第二當(dāng)前版本和第二更新版本;
4、根據(jù)任務(wù)調(diào)度系統(tǒng)所管理的每一用戶的用戶特性,將所有用戶劃分為測(cè)試用戶集合和非測(cè)試用戶集合;
5、根據(jù)測(cè)試用戶集合、非測(cè)試用戶集合、第一當(dāng)前版本、第一更新版本、第二當(dāng)前版本以及第二更新版本,生成第一配置模塊的配置結(jié)果以及第二配置模塊的配置結(jié)果;
6、根據(jù)第一配置模塊的配置結(jié)果以及第二配置模塊的配置結(jié)果,運(yùn)行任務(wù)調(diào)度系統(tǒng),基于測(cè)試用戶集合,對(duì)第一更新版本以及第二更新版本進(jìn)行測(cè)試,得到測(cè)試結(jié)果。
7、在其中一個(gè)實(shí)施例中,用戶特性包括數(shù)據(jù)處理作業(yè)的業(yè)務(wù)影響程度、作業(yè)失敗的接受程度以及能否接受延時(shí)重新處理;相應(yīng)地,根據(jù)任務(wù)調(diào)度系統(tǒng)所管理的每一用戶的用戶特性,將所有用戶劃分為測(cè)試用戶集合和非測(cè)試用戶集合,包括:
8、將用戶特性為數(shù)據(jù)處理作業(yè)的業(yè)務(wù)影響程度低于預(yù)設(shè)影響程度、作業(yè)失敗的接受程度低于預(yù)設(shè)接受程度以及能夠接受延時(shí)重新處理的用戶,定義為測(cè)試用戶,構(gòu)建測(cè)試用戶集合;
9、將剩下的用戶定義非測(cè)試用戶,構(gòu)建非測(cè)試用戶集合。
10、在其中一個(gè)實(shí)施例中,根據(jù)測(cè)試用戶集合、非測(cè)試用戶集合、第一當(dāng)前版本、第一更新版本、第二當(dāng)前版本以及第二更新版本,生成第一配置模塊的配置結(jié)果以及第二配置模塊的配置結(jié)果,包括:
11、根據(jù)測(cè)試用戶集合、非測(cè)試用戶集合、第一當(dāng)前版本以及第一更新版本,確定作業(yè)處理模塊的隔離配置;
12、根據(jù)第二當(dāng)前版本以及第二更新版本,確定作業(yè)處理插件的插件版本信息集合配置;
13、根據(jù)隔離配置以及插件版本信息集合配置,確定作業(yè)處理模塊的版本與作業(yè)處理插件的版本之間的關(guān)聯(lián)配置。
14、在其中一個(gè)實(shí)施例中,根據(jù)測(cè)試用戶集合、非測(cè)試用戶集合、第一當(dāng)前版本以及第一更新版本,確定作業(yè)處理模塊的隔離配置,包括:
15、將測(cè)試用戶集合設(shè)定為作業(yè)處理模塊的第一當(dāng)前版本的隔離配置,將非測(cè)試用戶集合設(shè)定為作業(yè)處理模塊的第一更新版本的隔離配置。
16、在其中一個(gè)實(shí)施例中,作業(yè)處理插件具有多個(gè);相應(yīng)地,根據(jù)第二當(dāng)前版本以及第二更新版本,確定作業(yè)處理插件的插件版本信息集合配置,包括:
17、針對(duì)任一作業(yè)處理插件,根據(jù)任一作業(yè)處理插件的第二更新版本以及剩余作業(yè)處理插件的第二當(dāng)前版本,確定任一作業(yè)處理插件的插件版本信息集合配置。
18、在其中一個(gè)實(shí)施例中,根據(jù)第一配置結(jié)果運(yùn)行任務(wù)調(diào)度系統(tǒng),基于測(cè)試用戶集合,對(duì)第一更新版本以及第二更新版本進(jìn)行測(cè)試,得到測(cè)試結(jié)果,包括:
19、作業(yè)處理模塊拉取作業(yè)請(qǐng)求消息,并識(shí)別作業(yè)請(qǐng)求消息對(duì)應(yīng)的用戶類型,用戶類型用于是指用戶是否屬于測(cè)試用戶集合;
20、從配置中心獲取第一配置模塊的配置結(jié)果和第二配置模塊的配置結(jié)果;
21、根據(jù)用戶類型、第一配置模塊的配置結(jié)果以及第二配置模塊的配置結(jié)果,確定作業(yè)請(qǐng)求消息對(duì)應(yīng)的作業(yè)處理模塊的版本信息以及作業(yè)處理插件的版本信息;
22、根據(jù)作業(yè)請(qǐng)求消息對(duì)應(yīng)的作業(yè)處理模塊的版本信息以及作業(yè)處理插件的版本信息,調(diào)用相應(yīng)的作業(yè)處理模塊和作業(yè)處理插件對(duì)作業(yè)請(qǐng)求消息進(jìn)行處理,則到作業(yè)處理結(jié)果。
23、在其中一個(gè)實(shí)施例中,方法還包括:
24、在作業(yè)處理結(jié)果滿足預(yù)設(shè)條件的情況下,修改第一配置模塊的配置結(jié)果以及第二配置模塊的配置結(jié)果,將測(cè)試用戶集合以及非測(cè)試用戶集合中的所有用戶,均對(duì)應(yīng)于第一更新版本和第二更新版本。
25、第二方面,本申請(qǐng)還提供一種任務(wù)調(diào)度系統(tǒng)的升級(jí)系統(tǒng),其特征在于,任務(wù)調(diào)度系統(tǒng)的升級(jí)系統(tǒng)包括配置中心和任務(wù)調(diào)度系統(tǒng),任務(wù)調(diào)度系統(tǒng)包括作業(yè)處理模塊以及作業(yè)處理插件,作業(yè)處理模塊用于對(duì)作業(yè)請(qǐng)求消息進(jìn)行管理、派發(fā)和執(zhí)行,作業(yè)處理模塊中嵌入第一配置模塊,作業(yè)處理插件用于基于作業(yè)請(qǐng)求消息進(jìn)行數(shù)據(jù)處理;作業(yè)處理模塊與作業(yè)處理插件之間嵌入第二配置模塊;第一配置模塊和第二配置模塊由配置中心進(jìn)行配置管理;
26、任務(wù)調(diào)度系統(tǒng)的升級(jí)系統(tǒng)執(zhí)行如上述任一項(xiàng)方法步驟。
27、第三方面,本申請(qǐng)還提供一種計(jì)算機(jī)設(shè)備,計(jì)算機(jī)包括:處理器,以及與處理器通信連接的存儲(chǔ)器;
28、存儲(chǔ)器存儲(chǔ)計(jì)算機(jī)執(zhí)行指令;
29、處理器執(zhí)行存儲(chǔ)器存儲(chǔ)的計(jì)算機(jī)執(zhí)行指令時(shí)實(shí)現(xiàn)上述方法。
30、第四方面,本申請(qǐng)還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)執(zhí)行指令,計(jì)算機(jī)執(zhí)行指令被處理器執(zhí)行時(shí)用于實(shí)現(xiàn)上述方法。
31、第五方面,本申請(qǐng)還提供一種計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)執(zhí)行指令,計(jì)算機(jī)執(zhí)行指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述方法。
32、本申請(qǐng)?zhí)峁┑囊环N任務(wù)調(diào)度系統(tǒng)的升級(jí)方法、系統(tǒng)、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì),其中方法所應(yīng)用的系統(tǒng)包括作業(yè)處理模塊、作業(yè)處理插件、配置中心、第一配置模塊以及第二配置模塊,第一配置模塊以及第二配置模塊由配置中心配置管理,通過在作業(yè)處理模塊中嵌入第一配置模塊,以及在作業(yè)處理模塊和作業(yè)處理插件之間嵌入第二配置模塊,由配置中心結(jié)合版本升級(jí)時(shí)的測(cè)試用戶集合,對(duì)第一配置模塊和第二配置模塊進(jìn)行配置管理,將不同用戶之間的測(cè)試以及升級(jí)過程隔離,且將不同模塊/插件的測(cè)試以及升級(jí)過程進(jìn)行隔離,采用灰度測(cè)試的方式對(duì)調(diào)度系統(tǒng)中模塊/插件的升級(jí)進(jìn)行測(cè)試,且通過第一配置模塊以及第二配置模塊的動(dòng)態(tài)配置隔離,對(duì)多個(gè)模塊/插件的測(cè)試過程進(jìn)行解耦,在測(cè)試結(jié)果出現(xiàn)問題時(shí)能夠快速定位問題。
1.一種任務(wù)調(diào)度系統(tǒng)的升級(jí)方法,其特征在于,所述方法應(yīng)用于任務(wù)調(diào)度系統(tǒng)的升級(jí)系統(tǒng),所述任務(wù)調(diào)度系統(tǒng)的升級(jí)系統(tǒng)包括配置中心和任務(wù)調(diào)度系統(tǒng),所述任務(wù)調(diào)度系統(tǒng)包括作業(yè)處理模塊以及作業(yè)處理插件,所述作業(yè)處理模塊用于對(duì)作業(yè)請(qǐng)求消息進(jìn)行管理、派發(fā)和執(zhí)行,所述作業(yè)處理模塊中嵌入第一配置模塊,所述作業(yè)處理插件用于基于所述作業(yè)請(qǐng)求消息進(jìn)行數(shù)據(jù)處理;所述作業(yè)處理模塊與所述作業(yè)處理插件之間嵌入第二配置模塊;所述第一配置模塊和所述第二配置模塊由所述配置中心進(jìn)行配置管理;所述方法包括:
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述用戶特性包括數(shù)據(jù)處理作業(yè)的業(yè)務(wù)影響程度、作業(yè)失敗的接受程度以及能否接受延時(shí)重新處理;相應(yīng)地,所述根據(jù)所述任務(wù)調(diào)度系統(tǒng)所管理的每一用戶的用戶特性,將所有用戶劃分為測(cè)試用戶集合和非測(cè)試用戶集合,包括:
3.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述根據(jù)所述測(cè)試用戶集合、所述非測(cè)試用戶集合、所述第一當(dāng)前版本、所述第一更新版本、所述第二當(dāng)前版本以及所述第二更新版本,生成所述第一配置模塊的配置結(jié)果以及所述第二配置模塊的配置結(jié)果,包括:
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述根據(jù)所述測(cè)試用戶集合、所述非測(cè)試用戶集合、所述第一當(dāng)前版本以及所述第一更新版本,確定所述作業(yè)處理模塊的隔離配置,包括:
5.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述作業(yè)處理插件具有多個(gè);相應(yīng)地,所述根據(jù)所述第二當(dāng)前版本以及第二更新版本,確定所述作業(yè)處理插件的插件版本信息集合配置,包括:
6.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述根據(jù)所述第一配置結(jié)果運(yùn)行所述任務(wù)調(diào)度系統(tǒng),基于所述測(cè)試用戶集合,對(duì)所述第一更新版本以及所述第二更新版本進(jìn)行測(cè)試,得到測(cè)試結(jié)果,包括:
7.根據(jù)權(quán)利要求6所述的方法,其特征在于,所述方法還包括:
8.一種任務(wù)調(diào)度系統(tǒng)的升級(jí)系統(tǒng),其特征在于,所述任務(wù)調(diào)度系統(tǒng)的升級(jí)系統(tǒng)包括配置中心和任務(wù)調(diào)度系統(tǒng),所述任務(wù)調(diào)度系統(tǒng)包括作業(yè)處理模塊以及作業(yè)處理插件,所述作業(yè)處理模塊用于對(duì)作業(yè)請(qǐng)求消息進(jìn)行管理、派發(fā)和執(zhí)行,所述作業(yè)處理模塊中嵌入第一配置模塊,所述作業(yè)處理插件用于基于所述作業(yè)請(qǐng)求消息進(jìn)行數(shù)據(jù)處理;所述作業(yè)處理模塊與所述作業(yè)處理插件之間嵌入第二配置模塊;所述第一配置模塊和所述第二配置模塊由所述配置中心進(jìn)行配置管理;
9.一種計(jì)算機(jī)設(shè)備,其特征在于,包括:處理器,以及與所述處理器通信連接的存儲(chǔ)器;
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其特征在于,所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)執(zhí)行指令,所述計(jì)算機(jī)執(zhí)行指令被處理器執(zhí)行時(shí)用于實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的方法。
11.一種計(jì)算機(jī)程序產(chǎn)品,其特征在于,包括計(jì)算機(jī)執(zhí)行指令,所述計(jì)算機(jī)執(zhí)行指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的方法。