本申請涉及數(shù)據(jù)存儲領域，并且更具體地，涉及一種元數(shù)據(jù)的處理方法、系統(tǒng)以及計算設備。

背景技術：

1、數(shù)據(jù)倉庫作為數(shù)據(jù)存儲和分析的載體，當前，各大云廠商都推出了數(shù)據(jù)倉庫服務。數(shù)據(jù)共享成為數(shù)據(jù)倉庫服務的一種屬性，其目的是消除數(shù)據(jù)之間煙囪，實現(xiàn)用戶間數(shù)據(jù)的交易和共享，達成用戶之間數(shù)據(jù)的互通和共享。數(shù)據(jù)共享指的是數(shù)據(jù)的生產(chǎn)者提供共享數(shù)據(jù)，數(shù)據(jù)的消費者訂閱或購買數(shù)據(jù)生產(chǎn)者生產(chǎn)的某些共享數(shù)據(jù)。數(shù)據(jù)的消費者購買此項共享數(shù)據(jù)后，數(shù)據(jù)的消費者可以獲取該共享數(shù)據(jù)，并基于該共享數(shù)據(jù)進行數(shù)據(jù)的分析計算。

2、在數(shù)據(jù)生產(chǎn)者生產(chǎn)并存儲共享數(shù)據(jù)的過程中，還會生成并存儲該共享數(shù)據(jù)的元數(shù)據(jù)。數(shù)據(jù)消費者從共享存儲中獲取共享數(shù)據(jù)時，需要根據(jù)共享數(shù)據(jù)的元數(shù)據(jù)從共享存儲中獲取共享數(shù)據(jù)。相關的現(xiàn)有技術方案中，共享數(shù)據(jù)的元數(shù)據(jù)單獨存儲在元數(shù)據(jù)集群中。由于元數(shù)據(jù)集群是一個獨立的用于存儲元數(shù)據(jù)的集群，因此，元數(shù)據(jù)集群的存儲成本較高。

3、因此，如何降低共享數(shù)據(jù)的元數(shù)據(jù)的存儲成本成為亟需解決的技術問題。

技術實現(xiàn)思路

1、本申請?zhí)峁┮环N元數(shù)據(jù)的處理方法、系統(tǒng)以及計算設備，該方法能夠降低共享數(shù)據(jù)的元數(shù)據(jù)的存儲成本。

2、第一方面，提供了一種元數(shù)據(jù)的處理方法，該方法包括：數(shù)據(jù)生產(chǎn)集群生成共享數(shù)據(jù)的元數(shù)據(jù)，該數(shù)據(jù)生產(chǎn)集群包括提供該共享數(shù)據(jù)的多個數(shù)據(jù)節(jié)點；該數(shù)據(jù)生產(chǎn)集群將該共享數(shù)據(jù)和該元數(shù)據(jù)存儲至共享存儲，該元數(shù)據(jù)用于數(shù)據(jù)消費集群從該共享存儲獲取該共享數(shù)據(jù)，該數(shù)據(jù)消費集群包括使用該共享數(shù)據(jù)的多個數(shù)據(jù)節(jié)點；該共享存儲生成該元數(shù)據(jù)的路徑信息；該數(shù)據(jù)消費集群從該共享存儲獲取該元數(shù)據(jù)的路徑信息；該數(shù)據(jù)消費集群基于該元數(shù)據(jù)的路徑信息從該共享存儲獲取該元數(shù)據(jù)；該數(shù)據(jù)消費集群基于該元數(shù)據(jù)從該共享存儲獲取該共享數(shù)據(jù)。

3、上述技術方案中，通過復用存儲共享數(shù)據(jù)的共存存儲，將共享數(shù)據(jù)的元數(shù)據(jù)存儲在共存存儲中，這樣，無需引入一個單獨的集群存儲元數(shù)據(jù)，可以降低共享數(shù)據(jù)的元數(shù)據(jù)的存儲成本，還可以進行大規(guī)模、多集群的數(shù)據(jù)共享。

4、結合第一方面，在第一方面的某些實現(xiàn)方式中，該方法還包括：該數(shù)據(jù)生產(chǎn)集群設置該元數(shù)據(jù)的路徑信息的訪問權限；該數(shù)據(jù)消費集群使用該訪問權限獲取該元數(shù)據(jù)的路徑信息。

5、上述技術方案中，數(shù)據(jù)生產(chǎn)集群通過對元數(shù)據(jù)的路徑信息設置訪問權限，使得擁有該訪問權限的數(shù)據(jù)消費集群才可以獲取該元數(shù)據(jù)的路徑信息。

6、結合第一方面，在第一方面的某些實現(xiàn)方式中，該數(shù)據(jù)消費集群周期性地從該共享存儲中獲取該元數(shù)據(jù)的路徑信息；或者，該數(shù)據(jù)消費集群在目標事件發(fā)生時，從該共享存儲中獲取該元數(shù)據(jù)的路徑信息。

7、結合第一方面，在第一方面的某些實現(xiàn)方式中，該數(shù)據(jù)生產(chǎn)集群中的多個數(shù)據(jù)節(jié)點將各自的共享數(shù)據(jù)的元數(shù)據(jù)存儲至該共享存儲。

8、結合第一方面，在第一方面的某些實現(xiàn)方式中，該方法還包括：在該數(shù)據(jù)消費集群讀取該共享數(shù)據(jù)之后，該共享存儲刪除該共享數(shù)據(jù)或該共享數(shù)據(jù)的元數(shù)據(jù)。

9、上述技術方案中，數(shù)據(jù)生產(chǎn)集群在數(shù)據(jù)消費集群讀取共享數(shù)據(jù)之后，在共享存儲刪除該共享數(shù)據(jù)或該共享數(shù)據(jù)的元數(shù)據(jù)，這樣通過對數(shù)據(jù)消費集群已使用的共享數(shù)據(jù)或該共享數(shù)據(jù)的元數(shù)據(jù)進行垃圾回收，從而進一步節(jié)省共享存儲的存儲空間。

10、第二方面，提供了一種元數(shù)據(jù)的處理系統(tǒng)，該系統(tǒng)包括：數(shù)據(jù)生產(chǎn)集群，共享存儲以及數(shù)據(jù)消費集群，其中，數(shù)據(jù)生產(chǎn)集群用于生成共享數(shù)據(jù)的元數(shù)據(jù)，該數(shù)據(jù)生產(chǎn)集群包括提供該共享數(shù)據(jù)的多個數(shù)據(jù)節(jié)點；該數(shù)據(jù)生產(chǎn)集群還用于將該共享數(shù)據(jù)和該元數(shù)據(jù)存儲至共享存儲，該元數(shù)據(jù)用于數(shù)據(jù)消費集群從該共享存儲獲取該共享數(shù)據(jù)，該數(shù)據(jù)消費集群包括使用該共享數(shù)據(jù)的多個數(shù)據(jù)節(jié)點；該共享存儲用于生成該元數(shù)據(jù)的路徑信息；該數(shù)據(jù)消費集群用于從該共享存儲獲取該元數(shù)據(jù)的路徑信息；該數(shù)據(jù)消費集群還用于基于該元數(shù)據(jù)的路徑信息從該共享存儲獲取該元數(shù)據(jù)；該數(shù)據(jù)消費集群還用于基于該元數(shù)據(jù)從該共享存儲獲取該共享數(shù)據(jù)。

11、結合第二方面，在第二方面的某些實現(xiàn)方式中，該數(shù)據(jù)生產(chǎn)集群還用于設置該元數(shù)據(jù)的路徑信息的訪問權限；該數(shù)據(jù)消費集群還用于使用該訪問權限獲取該元數(shù)據(jù)的路徑信息。

12、結合第二方面，在第二方面的某些實現(xiàn)方式中，該數(shù)據(jù)消費集群具體用于：周期性地從該共享存儲中獲取該元數(shù)據(jù)的路徑信息；或者，在目標事件發(fā)生時，從該共享存儲中獲取該元數(shù)據(jù)的路徑信息。

13、結合第二方面，在第二方面的某些實現(xiàn)方式中，該數(shù)據(jù)生產(chǎn)集群具體用于：該數(shù)據(jù)生產(chǎn)集群中的多個數(shù)據(jù)節(jié)點將各自的共享數(shù)據(jù)的元數(shù)據(jù)存儲至該共享存儲。

14、結合第二方面，在第二方面的某些實現(xiàn)方式中，該共享存儲還用于在該數(shù)據(jù)消費集群讀取該共享數(shù)據(jù)之后，刪除該共享數(shù)據(jù)或該共享數(shù)據(jù)的元數(shù)據(jù)。

15、需要說明的是，第二方面中的有益效果請參考第一方面的有益效果，此處不再贅述。

16、第三方面，提供了一種計算設備集群，包括至少一個計算設備，每個計算設備包括處理器和存儲器；該至少一個計算設備的處理器用于執(zhí)行該至少一個計算設備的存儲器中存儲的指令，以使得該計算設備集群執(zhí)行第一方面或第一方面任意一種可能的實現(xiàn)方式中的方法。

17、可選地，該處理器可以是通用處理器，可以通過硬件來實現(xiàn)也可以通過軟件來實現(xiàn)。當通過硬件實現(xiàn)時，該處理器可以是邏輯電路、集成電路等；當通過軟件來實現(xiàn)時，該處理器可以是一個通用處理器，通過讀取存儲器中存儲的軟件代碼來實現(xiàn)，該存儲器可以集成在處理器中，可以位于該處理器之外，獨立存在。

18、第四方面，提供了一種包含指令的計算機程序產(chǎn)品，當該指令被計算設備集群運行時，使得該計算設備集群執(zhí)行如上述第一方面以及第一方面的任意一種實現(xiàn)方式中的方法。

19、第五方面，提供了一種計算機可讀存儲介質(zhì)，包括計算機程序指令，當該計算機程序指令由計算設備集群執(zhí)行時，該計算設備集群執(zhí)行如上述第一方面以及第一方面的任意一種實現(xiàn)方式中的方法。

20、作為示例，計算機可讀存儲介質(zhì)包括但不限于如下的一個或者多個：只讀存儲器(read-only?memory，rom)、可編程rom(programmable?rom，prom)、可擦除的prom(erasableprom，eprom)、flash存儲器、電eprom(electrically?eprom，eeprom)以及硬盤驅(qū)動器(harddrive)。

21、可選地，作為一種實現(xiàn)方式，上述存儲介質(zhì)具體可以是非易失性存儲介質(zhì)。

技術特征：

1.一種元數(shù)據(jù)的處理方法，其特征在于，所述方法包括：

2.根據(jù)權利要求1所述的方法，其特征在于，所述方法還包括：

3.根據(jù)權利要求1或2所述的方法，其特征在于，所述數(shù)據(jù)消費集群從所述共享存儲獲取所述元數(shù)據(jù)的路徑信息，包括：

4.根據(jù)權利要求1至3中任一項所述的方法，其特征在于，所述數(shù)據(jù)生產(chǎn)集群將所述元數(shù)據(jù)存儲至共享存儲，包括：

5.根據(jù)權利要求1至4中任一項所述的方法，其特征在于，所述方法還包括：

6.一種元數(shù)據(jù)的處理系統(tǒng)，其特征在于，所述系統(tǒng)包括：

7.根據(jù)權利要求6所述的系統(tǒng)，其特征在于，

8.根據(jù)權利要求6或7所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)消費集群具體用于：

9.根據(jù)權利要求6至8中任一項所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)生產(chǎn)集群具體用于：

10.根據(jù)權利要求6至9中任一項所述的系統(tǒng)，其特征在于，

11.一種計算設備集群，其特征在于，包括至少一個計算設備，每個計算設備包括處理器和存儲器；

12.一種包含指令的計算機程序產(chǎn)品，其特征在于，當所述指令被計算設備集群運行時，使得所述計算設備集群執(zhí)行如權利要求1至5中任一項所述的方法。

13.一種計算機可讀存儲介質(zhì)，其特征在于，包括計算機程序指令，當所述計算機程序指令由計算設備集群執(zhí)行時，所述計算設備集群執(zhí)行如權利要求1至5中任一項所述的方法。

技術總結
一種元數(shù)據(jù)的處理方法、系統(tǒng)以及計算設備，該方法包括：數(shù)據(jù)生產(chǎn)集群生成共享數(shù)據(jù)的元數(shù)據(jù)，數(shù)據(jù)生產(chǎn)集群將共享數(shù)據(jù)和元數(shù)據(jù)存儲至共享存儲，共享存儲生成元數(shù)據(jù)的路徑信息；數(shù)據(jù)消費集群從共享存儲獲取元數(shù)據(jù)的路徑信息，并基于元數(shù)據(jù)的路徑信息從共享存儲獲取元數(shù)據(jù)，并基于元數(shù)據(jù)從共享存儲獲取共享數(shù)據(jù)。該方法能夠降低共享數(shù)據(jù)的元數(shù)據(jù)的存儲成本。

技術研發(fā)人員：鐘延輝,曾凱,呂金泉,王傳廷,何家勁,李京金,馬威
受保護的技術使用者：華為云計算技術有限公司
技術研發(fā)日：
技術公布日：2025/1/9