欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

一種基于云計(jì)算技術(shù)的數(shù)據(jù)集成方法、裝置及計(jì)算設(shè)備集群與流程

文檔序號(hào):40453002發(fā)布日期:2024-12-27 09:18閱讀:來源:國(guó)知局

技術(shù)特征:

1.一種基于云計(jì)算技術(shù)的數(shù)據(jù)集成方法,其特征在于,應(yīng)用于云計(jì)算平臺(tái),所述云計(jì)算平臺(tái)運(yùn)行在基礎(chǔ)設(shè)施上,所述基礎(chǔ)設(shè)施包括設(shè)置在不同區(qū)域的多個(gè)數(shù)據(jù)中心,每個(gè)數(shù)據(jù)中心包括多個(gè)服務(wù)器,其中,所述云計(jì)算平臺(tái)上包括:數(shù)據(jù)讀取端、數(shù)據(jù)寫入端、進(jìn)度存儲(chǔ)端和數(shù)據(jù)提交端;

2.根據(jù)權(quán)利要求1所述的方法,其特征在于,在所述數(shù)據(jù)讀取端將所述至少一批變更數(shù)據(jù)中每批數(shù)據(jù)的第一標(biāo)識(shí)均傳輸至所述進(jìn)度存儲(chǔ)端,以及,將所述至少一批變更數(shù)據(jù)傳輸至所述數(shù)據(jù)寫入端之前,還包括:

3.根據(jù)權(quán)利要求1或2所述的方法,其特征在于,所述數(shù)據(jù)寫入端向目標(biāo)數(shù)據(jù)源寫入所述至少一批變更數(shù)據(jù),包括:

4.根據(jù)權(quán)利要求1或2所述的方法,其特征在于,所述數(shù)據(jù)寫入端為多個(gè);

5.根據(jù)權(quán)利要求1-4任一所述的方法,其特征在于,在所述數(shù)據(jù)提交端將所述第二標(biāo)識(shí)提交至所述變更數(shù)據(jù)抓取組件之前,還包括:

6.根據(jù)權(quán)利要求1-5任一所述的方法,其特征在于,在所述數(shù)據(jù)提交端將所述第二標(biāo)識(shí)提交至所述變更數(shù)據(jù)抓取組件之后,還包括:

7.根據(jù)權(quán)利要求1-6任一所述的方法,其特征在于,目標(biāo)批變更數(shù)據(jù)的第一標(biāo)識(shí)至少由所述目標(biāo)批變更數(shù)據(jù)在所述源數(shù)據(jù)源中的起始偏移量和結(jié)束偏移量組成,其中,所述目標(biāo)批變更數(shù)據(jù)為所述至少一批變更數(shù)據(jù)中的任意一批數(shù)據(jù)。

8.一種基于云計(jì)算技術(shù)的數(shù)據(jù)集成裝置,其特征在于,配置于云計(jì)算平臺(tái),所述云計(jì)算平臺(tái)運(yùn)行在基礎(chǔ)設(shè)施上,所述基礎(chǔ)設(shè)施包括設(shè)置在不同區(qū)域的多個(gè)數(shù)據(jù)中心,每個(gè)數(shù)據(jù)中心包括多個(gè)服務(wù)器;

9.根據(jù)權(quán)利要求8所述的裝置,其特征在于,所述數(shù)據(jù)讀取模塊在將所述至少一批變更數(shù)據(jù)中每批數(shù)據(jù)的第一標(biāo)識(shí)均傳輸至所述進(jìn)度存儲(chǔ)模塊,以及,將所述至少一批變更數(shù)據(jù)傳輸至所述數(shù)據(jù)寫入模塊之前,還用于:

10.根據(jù)權(quán)利要求8或9所述的裝置,其特征在于,所述數(shù)據(jù)寫入模塊在向目標(biāo)數(shù)據(jù)源寫入所述至少一批變更數(shù)據(jù)時(shí),具體用于:

11.根據(jù)權(quán)利要求8或9所述的裝置,其特征在于,所述數(shù)據(jù)寫入模塊為多個(gè);

12.根據(jù)權(quán)利要求8-11任一所述的裝置,其特征在于,所述數(shù)據(jù)提交模塊在將所述第二標(biāo)識(shí)提交至所述cdc組件之前,還用于:

13.根據(jù)權(quán)利要求8-12任一所述的裝置,其特征在于,所述數(shù)據(jù)提交模塊,還用于:在所述第二標(biāo)識(shí)提交至所述變更數(shù)據(jù)抓取組件之后,向所述進(jìn)度存儲(chǔ)模塊傳輸?shù)谝恍畔?,所述第一信息用于指示已提交所述第二?biāo)識(shí)至所述變更數(shù)據(jù)抓取組件;

14.根據(jù)權(quán)利要求8-13任一所述的裝置,其特征在于,目標(biāo)批變更數(shù)據(jù)的第一標(biāo)識(shí)至少由所述目標(biāo)批變更數(shù)據(jù)在所述源數(shù)據(jù)源中的起始偏移量和結(jié)束偏移量組成,其中,所述目標(biāo)批變更數(shù)據(jù)為所述至少一批變更數(shù)據(jù)中的任意一批數(shù)據(jù)。

15.一種計(jì)算設(shè)備集群,其特征在于,包括至少一個(gè)計(jì)算設(shè)備,每個(gè)計(jì)算設(shè)備均包括處理器和存儲(chǔ)器;

16.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其特征在于,包括計(jì)算機(jī)程序指令,當(dāng)所述指令被計(jì)算設(shè)備集群運(yùn)行時(shí),使得所述計(jì)算設(shè)備集群執(zhí)行如權(quán)利要求1-7任一所述的方法,其中,所述計(jì)算設(shè)備集群包括至少一個(gè)計(jì)算設(shè)備。

17.一種包含指令的計(jì)算機(jī)程序產(chǎn)品,其特征在于,當(dāng)所述指令被計(jì)算設(shè)備集群運(yùn)行時(shí),使得所述計(jì)算設(shè)備集群執(zhí)行如權(quán)利要求1-7任一所述的方法,其中,所述計(jì)算設(shè)備集群包括至少一個(gè)計(jì)算設(shè)備。


技術(shù)總結(jié)
一種基于云計(jì)算技術(shù)的數(shù)據(jù)集成方法,包括:數(shù)據(jù)讀取端通過CDC組件獲取源數(shù)據(jù)源中的變更數(shù)據(jù);數(shù)據(jù)讀取端將每批變更數(shù)據(jù)的第一標(biāo)識(shí)均傳輸至進(jìn)度存儲(chǔ)端,并將變更數(shù)據(jù)傳輸至數(shù)據(jù)寫入端;進(jìn)度存儲(chǔ)端記錄來自數(shù)據(jù)讀取端的第一標(biāo)識(shí);數(shù)據(jù)寫入端向目標(biāo)數(shù)據(jù)源寫入變更數(shù)據(jù),并將寫入到目標(biāo)數(shù)據(jù)源的數(shù)據(jù)的第二標(biāo)識(shí)傳輸至進(jìn)度存儲(chǔ)端;進(jìn)度存儲(chǔ)端記錄來自數(shù)據(jù)寫入端的第二標(biāo)識(shí);數(shù)據(jù)提交端讀取進(jìn)度存儲(chǔ)端記錄的第一標(biāo)識(shí)和第二標(biāo)識(shí),并在第二標(biāo)識(shí)和任意一個(gè)第一標(biāo)識(shí)一致的情況下,將第二標(biāo)識(shí)提交至變更數(shù)據(jù)抓取組件,以指示變更數(shù)據(jù)抓取組件無需在從源數(shù)據(jù)源中獲取與第二標(biāo)識(shí)相關(guān)的數(shù)據(jù)。該方法可以提升了數(shù)據(jù)集成效率。

技術(shù)研發(fā)人員:田靜,羅錦榮,黎世裕
受保護(hù)的技術(shù)使用者:華為云計(jì)算技術(shù)有限公司
技術(shù)研發(fā)日:
技術(shù)公布日:2024/12/26
當(dāng)前第2頁(yè)1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
星子县| 石屏县| 府谷县| 和平县| 遂溪县| 门源| 久治县| 克拉玛依市| 黑水县| 河间市| 苍溪县| 越西县| 建宁县| 丹阳市| 玉门市| 利辛县| 墨脱县| 贺州市| 鄂伦春自治旗| 启东市| 永寿县| 林甸县| 万载县| 鄢陵县| 黎城县| 大同市| 曲麻莱县| 香格里拉县| 彭阳县| 万源市| 周至县| 商水县| 绥棱县| 淮滨县| 庄浪县| 阿拉尔市| 即墨市| 临城县| 新巴尔虎右旗| 安福县| 漠河县|