本發(fā)明涉及數(shù)據(jù)中心，具體涉及一種基于多數(shù)據(jù)中心計(jì)算的統(tǒng)一控制管理方法和系統(tǒng)。

背景技術(shù)：

1、目前，許多企業(yè)或組織在業(yè)務(wù)環(huán)境中使用多個(gè)分布式集群處理海量數(shù)據(jù)，不同集群之間的數(shù)據(jù)被隔離和分散在不同的地方，企業(yè)或組織難以對(duì)分散的數(shù)據(jù)資源進(jìn)行統(tǒng)一納管和計(jì)算，并且處理來自不同集群的數(shù)據(jù)需要處理額外的工作，這也給數(shù)據(jù)集成、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)清洗以及數(shù)據(jù)計(jì)算任務(wù)增加了復(fù)雜性，使得確保數(shù)據(jù)的一致性和同步變得具有挑戰(zhàn)性。

2、當(dāng)不同集群之間的數(shù)據(jù)進(jìn)行復(fù)制和同步時(shí)可能會(huì)出現(xiàn)延遲或不一致的情況，從而導(dǎo)致數(shù)據(jù)的準(zhǔn)確和實(shí)時(shí)計(jì)算受到影響；多個(gè)分布式集群之間通過網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)交互也會(huì)導(dǎo)致網(wǎng)絡(luò)通信的延遲和瓶頸問題，尤其是在跨地域或長距離通信的時(shí)候還會(huì)出現(xiàn)高延遲問題，影響數(shù)據(jù)的訪問和計(jì)算。

3、除此之外，維護(hù)多個(gè)分布式集群需要額外的硬件、軟件和人力資源的投入，每個(gè)集群都需要進(jìn)行獨(dú)立的管理和維護(hù)，這會(huì)增加資源管理維護(hù)成本和資源消耗；同時(shí)，多個(gè)分布式集群也更容易出現(xiàn)更多的故障點(diǎn)，當(dāng)一個(gè)或多個(gè)集群遇到故障或不可用時(shí)會(huì)導(dǎo)致集群中數(shù)據(jù)訪問和計(jì)算的中斷，因此，如何確保集群的高可用性和容錯(cuò)能力變得更加重要和復(fù)雜。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對(duì)上述現(xiàn)有技術(shù)中一個(gè)或多個(gè)技術(shù)缺陷，提出了如下技術(shù)方案。

2、基于本發(fā)明的第一方面，提出了一種基于多數(shù)據(jù)中心計(jì)算的統(tǒng)一控制管理方法，包括：

3、s1:中心控制器cc通過注冊(cè)中心客戶端rcc將用戶發(fā)送的任務(wù)請(qǐng)求信息tkinfo發(fā)送給注冊(cè)中心rc；

4、s2:所述注冊(cè)中心rc根據(jù)所述任務(wù)請(qǐng)求信息tkinfo中的數(shù)據(jù)中心的類型將所述任務(wù)請(qǐng)求信息tkinfo與分布式協(xié)調(diào)和配置管理工具進(jìn)行匹配,并將匹配結(jié)果通過所述注冊(cè)中心客戶端rcc返回給所述中心控制器cc；

5、具體地，所述注冊(cè)中心rc根據(jù)所述任務(wù)請(qǐng)求信息tkinfo的數(shù)據(jù)中心的類型從分布式協(xié)調(diào)和配置管理工具中獲取目標(biāo)服務(wù)的ip和端口并將所述任務(wù)請(qǐng)求信息tkinfo發(fā)送給目標(biāo)服務(wù)以根據(jù)所述目標(biāo)服務(wù)的ip和端口進(jìn)行匹配；

6、s3:所述中心控制器cc結(jié)合所述數(shù)據(jù)中心的類型，將匹配成功的所述任務(wù)請(qǐng)求信息tkinfo的數(shù)據(jù)中心對(duì)應(yīng)的服務(wù)信息進(jìn)行拼接，并封裝成計(jì)算請(qǐng)求發(fā)送到計(jì)算服務(wù)；

7、s4:所述計(jì)算服務(wù)將所述計(jì)算請(qǐng)求根據(jù)執(zhí)行器類型匹配到統(tǒng)一計(jì)算入口uce的具體執(zhí)行器完成計(jì)算任務(wù)，所述具體執(zhí)行器將所述計(jì)算任務(wù)的結(jié)果依次通過所述計(jì)算服務(wù)和所述中心控制器cc返回給用戶。

8、本發(fā)明通過統(tǒng)一的管理端來統(tǒng)一管理和計(jì)算多個(gè)集群的數(shù)據(jù)資源，可以最大程度的減少各個(gè)集群之間的關(guān)聯(lián)性和依賴性，確保各個(gè)集群的擴(kuò)展不會(huì)對(duì)整個(gè)系統(tǒng)的性能和穩(wěn)定性產(chǎn)生負(fù)面影響，用戶能更高效管理和利用分布式集群的數(shù)據(jù)并提高處理效率和質(zhì)量，確保數(shù)據(jù)的一致性和同步，減少不同集群數(shù)據(jù)之間復(fù)制和同步時(shí)出現(xiàn)的延遲，確保分布式集群的高可用性和容錯(cuò)能力，降低集群維護(hù)成本和資源消耗。

9、更進(jìn)一步地，啟動(dòng)所述中心控制器cc的同時(shí)啟動(dòng)所述計(jì)算服務(wù)，所述計(jì)算服務(wù)將所述數(shù)據(jù)中心的地址和端口存儲(chǔ)到所述注冊(cè)中心rc指定的所述分布式協(xié)調(diào)和配置管理工具中。

10、所述中心控制器具有良好的數(shù)據(jù)收集、處理和調(diào)度功能，可以在短時(shí)間內(nèi)實(shí)現(xiàn)多個(gè)設(shè)備的快速響應(yīng)和聯(lián)動(dòng)，達(dá)到節(jié)能、高效和智能控制的目的。

11、更進(jìn)一步地，所述任務(wù)請(qǐng)求信息tkinfo包括數(shù)據(jù)中心類型、任務(wù)引擎類型和具體任務(wù)信息的任務(wù)請(qǐng)求。

12、更進(jìn)一步地，所述分布式協(xié)同和配置管理工具在進(jìn)行匹配之前先進(jìn)行初始化。

13、更進(jìn)一步地，在步驟s2中若所述任務(wù)請(qǐng)求信息tkinfo與分布式協(xié)調(diào)和配置管理工具匹配成功則將所述任務(wù)請(qǐng)求信息tkinfo的數(shù)據(jù)中心對(duì)應(yīng)的服務(wù)信息發(fā)送到所述中心控制器cc，否則，若匹配失敗則返回異常給所述中心控制器cc并中斷任務(wù)。

14、通過調(diào)用多數(shù)據(jù)計(jì)算的統(tǒng)一控制管理系統(tǒng)一定程度上解決了系統(tǒng)復(fù)雜性的問題，確保了集群之間的數(shù)據(jù)同步、一致性和故障恢復(fù)的協(xié)調(diào)，最大程度減輕因一個(gè)集群故障中斷而導(dǎo)致的影響到其他集群正常運(yùn)行的問題，保證了系統(tǒng)的可靠性和容錯(cuò)性。

15、更進(jìn)一步地，所述具體執(zhí)行器包括會(huì)話模式執(zhí)行器、獨(dú)立模式執(zhí)行器和交互式執(zhí)行器。

16、更進(jìn)一步地，所述會(huì)話模式執(zhí)行器用于在線任務(wù)的計(jì)算，是獨(dú)立模式執(zhí)行器用于離線任務(wù)的計(jì)算，所述交互式執(zhí)行器用于即席任務(wù)的計(jì)算。

17、將計(jì)算請(qǐng)求匹配到統(tǒng)一的計(jì)算入口并分配到具體的執(zhí)行器進(jìn)行計(jì)算能夠加快響應(yīng)速度，減少不同集群數(shù)據(jù)之間復(fù)制和同步時(shí)出現(xiàn)的延遲，避免出現(xiàn)數(shù)據(jù)沖突和不一致，提高數(shù)據(jù)的處理效率和質(zhì)量。

18、基于本發(fā)明的第二方面，還提出了一種基于多數(shù)據(jù)中心計(jì)算的統(tǒng)一控制管理系統(tǒng)，包括：

19、發(fā)送模塊:中心控制器cc通過注冊(cè)中心客戶端rcc將用戶發(fā)送的任務(wù)請(qǐng)求信息tkinfo發(fā)送給注冊(cè)中心rc；

20、匹配模塊:所述注冊(cè)中心rc根據(jù)所述任務(wù)請(qǐng)求信息tkinfo中的數(shù)據(jù)中心的類型將所述任務(wù)請(qǐng)求信息tkinfo與分布式協(xié)調(diào)和配置管理工具進(jìn)行匹配,并將匹配結(jié)果通過所述注冊(cè)中心客戶端rcc返回給所述中心控制器cc；

21、具體地，所述注冊(cè)中心rc根據(jù)所述任務(wù)請(qǐng)求信息tkinfo的數(shù)據(jù)中心的類型從分布式協(xié)調(diào)和配置管理工具中獲取目標(biāo)服務(wù)的ip和端口并將所述任務(wù)請(qǐng)求信息tkinfo發(fā)送給目標(biāo)服務(wù)以根據(jù)所述目標(biāo)服務(wù)的ip和端口進(jìn)行匹配；

22、封裝模塊:所述中心控制器cc結(jié)合所述數(shù)據(jù)中心的類型，將匹配成功的所述任務(wù)請(qǐng)求信息tkinfo的數(shù)據(jù)中心對(duì)應(yīng)的服務(wù)信息進(jìn)行拼接，并封裝成計(jì)算請(qǐng)求發(fā)送到計(jì)算服務(wù)；

23、計(jì)算模塊:所述計(jì)算服務(wù)將所述計(jì)算請(qǐng)求根據(jù)執(zhí)行器類型匹配到統(tǒng)一計(jì)算入口uce的具體執(zhí)行器完成計(jì)算任務(wù)，所述具體執(zhí)行器將所述計(jì)算任務(wù)的結(jié)果依次通過所述計(jì)算服務(wù)和所述中心控制器cc返回給用戶。

24、基于本發(fā)明的第三方面，還提出了一種計(jì)算機(jī)可存儲(chǔ)介質(zhì)，其上有一個(gè)或多個(gè)計(jì)算機(jī)程序，在所述一個(gè)或多個(gè)計(jì)算機(jī)程序被計(jì)算機(jī)處理器執(zhí)行時(shí)實(shí)施如上述之任一項(xiàng)所述的方法。

25、本發(fā)明的技術(shù)效果在于：本發(fā)明通過統(tǒng)一的管理端來統(tǒng)一管理和計(jì)算多個(gè)集群的數(shù)據(jù)資源，輕松實(shí)現(xiàn)對(duì)多個(gè)集群的數(shù)據(jù)資源進(jìn)行統(tǒng)一管理和計(jì)算，用戶能更高效管理和利用分布式集群的數(shù)據(jù)并提高處理效率和質(zhì)量，確保數(shù)據(jù)的一致性和同步，減少不同集群數(shù)據(jù)之間復(fù)制和同步時(shí)出現(xiàn)的延遲，能對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)計(jì)算，減少長距離通信和跨地域通信時(shí)出現(xiàn)的高延遲問題，確保分布式集群的高可用性和容錯(cuò)能力，降低集群維護(hù)成本和資源消耗。

技術(shù)特征：

1.一種基于多數(shù)據(jù)中心計(jì)算的統(tǒng)一控制管理方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，啟動(dòng)所述中心控制器cc的同時(shí)啟動(dòng)所述計(jì)算服務(wù)，所述計(jì)算服務(wù)將所述數(shù)據(jù)中心的地址和端口存儲(chǔ)到所述注冊(cè)中心rc指定的所述分布式協(xié)調(diào)和配置管理工具中。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述任務(wù)請(qǐng)求信息tkinfo包括數(shù)據(jù)中心類型、任務(wù)引擎類型和具體任務(wù)信息的任務(wù)請(qǐng)求。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分布式協(xié)同和配置管理工具在進(jìn)行匹配之前先進(jìn)行初始化。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在步驟s2中若所述任務(wù)請(qǐng)求信息tkinfo與分布式協(xié)調(diào)和配置管理工具匹配成功則將所述任務(wù)請(qǐng)求信息tkinfo的數(shù)據(jù)中心對(duì)應(yīng)的服務(wù)信息發(fā)送到所述中心控制器cc，否則，若匹配失敗則返回異常給所述中心控制器cc并中斷任務(wù)。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述具體執(zhí)行器包括會(huì)話模式執(zhí)行器、獨(dú)立模式執(zhí)行器和交互式執(zhí)行器。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述會(huì)話模式執(zhí)行器用于在線任務(wù)的計(jì)算，是獨(dú)立模式執(zhí)行器用于離線任務(wù)的計(jì)算，所述交互式執(zhí)行器用于即席任務(wù)的計(jì)算。

8.一種基于多數(shù)據(jù)中心計(jì)算的統(tǒng)一控制管理系統(tǒng)，其特征在于，包括：

9.一種計(jì)算機(jī)可存儲(chǔ)介質(zhì)，其上有一個(gè)或多個(gè)計(jì)算機(jī)程序，其特征在于，在所述一個(gè)或多個(gè)計(jì)算機(jī)程序被計(jì)算機(jī)處理器執(zhí)行時(shí)實(shí)施如權(quán)利要求1-7之任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本發(fā)明提出了一種基于多數(shù)據(jù)中心計(jì)算的統(tǒng)一控制管理方法，中心控制器通過注冊(cè)中心客戶端將用戶發(fā)送的任務(wù)請(qǐng)求信息發(fā)送給注冊(cè)中心；注冊(cè)中心根據(jù)數(shù)據(jù)中心類型將任務(wù)請(qǐng)求信息與分布式協(xié)調(diào)和配置管理工具匹配并將匹配結(jié)果通過注冊(cè)中心客戶端返回給中心控制器；中心控制器結(jié)合數(shù)據(jù)中心類型將匹配成功的任務(wù)請(qǐng)求信息的數(shù)據(jù)中心的服務(wù)信息進(jìn)行拼接并封裝成計(jì)算請(qǐng)求發(fā)到計(jì)算服務(wù)；計(jì)算服務(wù)將計(jì)算請(qǐng)求根據(jù)執(zhí)行器類型匹配到統(tǒng)一計(jì)算入口的具體執(zhí)行器完成計(jì)算任務(wù)，具體執(zhí)行器將計(jì)算任務(wù)的結(jié)果通過計(jì)算服務(wù)和中心控制器返回給用戶。本發(fā)明通過統(tǒng)一的管理端來統(tǒng)一管理和計(jì)算多個(gè)集群的數(shù)據(jù)資源，能更高效管理和利用分布式集群的數(shù)據(jù)并提高處理效率和質(zhì)量。

技術(shù)研發(fā)人員：盧居輝,甘朗杰,王志永,林至賢,陳子灃,甘靜琦
受保護(hù)的技術(shù)使用者：廈門市美亞柏科信息安全研究所有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9