本技術(shù)涉及數(shù)據(jù)存儲(chǔ)領(lǐng)域，并且更具體地，涉及一種元數(shù)據(jù)的處理方法、系統(tǒng)以及計(jì)算設(shè)備。

背景技術(shù)：

1、數(shù)據(jù)倉庫作為數(shù)據(jù)存儲(chǔ)和分析的載體，當(dāng)前，各大云廠商都推出了數(shù)據(jù)倉庫服務(wù)。數(shù)據(jù)共享成為數(shù)據(jù)倉庫服務(wù)的一種屬性，其目的是消除數(shù)據(jù)之間煙囪，實(shí)現(xiàn)用戶間數(shù)據(jù)的交易和共享，達(dá)成用戶之間數(shù)據(jù)的互通和共享。數(shù)據(jù)共享指的是數(shù)據(jù)的生產(chǎn)者提供共享數(shù)據(jù)，數(shù)據(jù)的消費(fèi)者訂閱或購買數(shù)據(jù)生產(chǎn)者生產(chǎn)的某些共享數(shù)據(jù)。數(shù)據(jù)的消費(fèi)者購買此項(xiàng)共享數(shù)據(jù)后，數(shù)據(jù)的消費(fèi)者可以獲取該共享數(shù)據(jù)，并基于該共享數(shù)據(jù)進(jìn)行數(shù)據(jù)的分析計(jì)算。

2、在上述數(shù)據(jù)生產(chǎn)者生產(chǎn)并存儲(chǔ)共享數(shù)據(jù)的過程中，還會(huì)生成并存儲(chǔ)該共享數(shù)據(jù)的元數(shù)據(jù)。數(shù)據(jù)消費(fèi)者從共享存儲(chǔ)中獲取共享據(jù)時(shí)，需要根據(jù)共享數(shù)據(jù)的元數(shù)據(jù)從共享存儲(chǔ)中獲取共享數(shù)據(jù)。相關(guān)的技術(shù)方案中，共享數(shù)據(jù)的元數(shù)據(jù)單獨(dú)存儲(chǔ)在元數(shù)據(jù)集群中。由于元數(shù)據(jù)集群是一個(gè)獨(dú)立的用于存儲(chǔ)元數(shù)據(jù)的集群，一方面，元數(shù)據(jù)集群的存儲(chǔ)成本較高，無法進(jìn)行大規(guī)模的、多集群間的數(shù)據(jù)共享，另一方面，數(shù)據(jù)消費(fèi)集群無法實(shí)時(shí)獲取共享數(shù)據(jù)，用戶體驗(yàn)感較差。

3、因此，如何在節(jié)省共享數(shù)據(jù)的元數(shù)據(jù)的存儲(chǔ)成本的情況下，還可以提高用戶的體驗(yàn)成為亟需解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供一種元數(shù)據(jù)的處理方法、系統(tǒng)以及計(jì)算設(shè)備，該方法中數(shù)據(jù)消費(fèi)集群可以實(shí)時(shí)獲取共享數(shù)據(jù)的元數(shù)據(jù)，具有更好的用戶體驗(yàn)，同時(shí)還可以節(jié)省元數(shù)據(jù)的存儲(chǔ)成本。

2、第一方面，提供了一種元數(shù)據(jù)的處理方法，該方法包括：數(shù)據(jù)生產(chǎn)集群生成共享數(shù)據(jù)的元數(shù)據(jù)，該數(shù)據(jù)生產(chǎn)集群包括提供該共享數(shù)據(jù)的多個(gè)數(shù)據(jù)節(jié)點(diǎn)；該數(shù)據(jù)生產(chǎn)集群將該共享數(shù)據(jù)存儲(chǔ)至共享存儲(chǔ)，該共享存儲(chǔ)被該數(shù)據(jù)生產(chǎn)集群和數(shù)據(jù)消費(fèi)集群所共享，該數(shù)據(jù)消費(fèi)集群包括使用該共享數(shù)據(jù)的多個(gè)數(shù)據(jù)節(jié)點(diǎn)；該數(shù)據(jù)生產(chǎn)集群接收元數(shù)據(jù)操作指令；該數(shù)據(jù)生產(chǎn)集群根據(jù)該元數(shù)據(jù)操作指令確定目標(biāo)元數(shù)據(jù)，該目標(biāo)元數(shù)據(jù)是目標(biāo)共享數(shù)據(jù)的元數(shù)據(jù)，該共享數(shù)據(jù)包括該目標(biāo)共享數(shù)據(jù)；該數(shù)據(jù)生產(chǎn)集群將該目標(biāo)元數(shù)據(jù)發(fā)送給該數(shù)據(jù)消費(fèi)集群；該數(shù)據(jù)消費(fèi)集群根據(jù)該目標(biāo)元數(shù)據(jù)從該共享存儲(chǔ)讀取該目標(biāo)共享數(shù)據(jù)。

3、上述技術(shù)方案中，數(shù)據(jù)消費(fèi)集群可以實(shí)時(shí)從數(shù)據(jù)生產(chǎn)集群獲得元數(shù)據(jù)，不僅可以節(jié)省額外存儲(chǔ)元數(shù)據(jù)所帶來的存儲(chǔ)開銷，還可以使得數(shù)據(jù)消費(fèi)集群對(duì)數(shù)據(jù)分析的結(jié)果穩(wěn)定，具有更好的用戶體驗(yàn)。另外，由于元數(shù)據(jù)的數(shù)據(jù)量較小，使得數(shù)據(jù)消費(fèi)集群和數(shù)據(jù)生產(chǎn)集群之間的通信量較小，從而可以線性擴(kuò)展共享集群，使得存儲(chǔ)成本不會(huì)隨著共享集群數(shù)量的增加而增加。

4、結(jié)合第一方面，在第一方面的某些實(shí)現(xiàn)方式中，該方法還包括：該數(shù)據(jù)消費(fèi)集群接收針對(duì)該目標(biāo)共享數(shù)據(jù)的數(shù)據(jù)處理指令；該數(shù)據(jù)消費(fèi)集群按照該數(shù)據(jù)處理指令處理該目標(biāo)共享數(shù)據(jù)。

5、結(jié)合第一方面，在第一方面的某些實(shí)現(xiàn)方式中，該方法還包括：協(xié)調(diào)節(jié)點(diǎn)根據(jù)用戶的查詢請(qǐng)求制定針對(duì)該數(shù)據(jù)生產(chǎn)集群和該數(shù)據(jù)消費(fèi)集群的全局執(zhí)行計(jì)劃，該全局執(zhí)行計(jì)劃包括該元數(shù)據(jù)操作指令和該數(shù)據(jù)處理指令。

6、結(jié)合第一方面，在第一方面的某些實(shí)現(xiàn)方式中，該數(shù)據(jù)生產(chǎn)集群根據(jù)該元數(shù)據(jù)操作指令，掃描該共享數(shù)據(jù)的索引以獲得該目標(biāo)共享數(shù)據(jù)的索引；該數(shù)據(jù)生產(chǎn)集群根據(jù)該目標(biāo)共享數(shù)據(jù)的索引，確定該目標(biāo)元數(shù)據(jù)。

7、上述技術(shù)方案中，數(shù)據(jù)消費(fèi)集群可以根據(jù)一個(gè)元數(shù)據(jù)獲取對(duì)應(yīng)的一個(gè)數(shù)據(jù)塊，該索引用于指示該數(shù)據(jù)塊中的某一個(gè)數(shù)據(jù)。這樣，數(shù)據(jù)消費(fèi)集群在獲得該數(shù)據(jù)塊后，可以不用順序掃描，而是可以直接根據(jù)該索引查找到在該數(shù)據(jù)塊想要查找的數(shù)據(jù)。

8、結(jié)合第一方面，在第一方面的某些實(shí)現(xiàn)方式中，該方法還包括：該數(shù)據(jù)生產(chǎn)集群將該目標(biāo)共享數(shù)據(jù)的索引發(fā)送給該數(shù)據(jù)消費(fèi)集群；該數(shù)據(jù)消費(fèi)集群根據(jù)該目標(biāo)元數(shù)據(jù)和該目標(biāo)共享數(shù)據(jù)的索引，從該共享存儲(chǔ)讀取該目標(biāo)共享數(shù)據(jù)。

9、結(jié)合第一方面，在第一方面的某些實(shí)現(xiàn)方式中，該數(shù)據(jù)生產(chǎn)集群根據(jù)該數(shù)據(jù)消費(fèi)集群中數(shù)據(jù)分片和數(shù)據(jù)節(jié)點(diǎn)之間的對(duì)應(yīng)關(guān)系，確定該數(shù)據(jù)消費(fèi)集群中的一個(gè)或多個(gè)目的數(shù)據(jù)節(jié)點(diǎn)，該共享數(shù)據(jù)屬于該一個(gè)或多個(gè)目的數(shù)據(jù)節(jié)點(diǎn)對(duì)應(yīng)的數(shù)據(jù)分片；該數(shù)據(jù)生產(chǎn)集群將該目標(biāo)元數(shù)據(jù)發(fā)送給該一個(gè)或多個(gè)目的數(shù)據(jù)節(jié)點(diǎn)。

10、第二方面，提供了一種元數(shù)據(jù)的處理系統(tǒng)，該系統(tǒng)包括：數(shù)據(jù)生產(chǎn)集群，數(shù)據(jù)消費(fèi)集群，其中，數(shù)據(jù)生產(chǎn)集群用于生成共享數(shù)據(jù)的元數(shù)據(jù)，該數(shù)據(jù)生產(chǎn)集群包括提供該共享數(shù)據(jù)的多個(gè)數(shù)據(jù)節(jié)點(diǎn)；該數(shù)據(jù)生產(chǎn)集群還用于將該共享數(shù)據(jù)存儲(chǔ)至共享存儲(chǔ)，該共享存儲(chǔ)被該數(shù)據(jù)生產(chǎn)集群和數(shù)據(jù)消費(fèi)集群所共享，該數(shù)據(jù)消費(fèi)集群包括使用該共享數(shù)據(jù)的多個(gè)數(shù)據(jù)節(jié)點(diǎn)；該數(shù)據(jù)生產(chǎn)集群還用于接收元數(shù)據(jù)操作指令；該數(shù)據(jù)生產(chǎn)集群還用于根據(jù)該元數(shù)據(jù)操作指令確定目標(biāo)元數(shù)據(jù)，該目標(biāo)元數(shù)據(jù)是目標(biāo)共享數(shù)據(jù)的元數(shù)據(jù)，該共享數(shù)據(jù)包括該目標(biāo)共享數(shù)據(jù)；該數(shù)據(jù)生產(chǎn)集群還用于將該目標(biāo)元數(shù)據(jù)發(fā)送給該數(shù)據(jù)消費(fèi)集群；該數(shù)據(jù)消費(fèi)集群用于根據(jù)該目標(biāo)元數(shù)據(jù)從該共享存儲(chǔ)讀取該目標(biāo)共享數(shù)據(jù)。

11、結(jié)合第二方面，在第二方面的某些實(shí)現(xiàn)方式中，該數(shù)據(jù)消費(fèi)集群還用于接收針對(duì)該目標(biāo)共享數(shù)據(jù)的數(shù)據(jù)處理指令；該數(shù)據(jù)消費(fèi)集群還用于按照該數(shù)據(jù)處理指令處理該目標(biāo)共享數(shù)據(jù)。

12、結(jié)合第二方面，在第二方面的某些實(shí)現(xiàn)方式中，該系統(tǒng)中還包括協(xié)調(diào)節(jié)點(diǎn)，用于根據(jù)用戶的查詢請(qǐng)求制定針對(duì)該數(shù)據(jù)生產(chǎn)集群和該數(shù)據(jù)消費(fèi)集群的全局執(zhí)行計(jì)劃，該全局執(zhí)行計(jì)劃包括該元數(shù)據(jù)操作指令和該數(shù)據(jù)處理指令。

13、結(jié)合第二方面，在第二方面的某些實(shí)現(xiàn)方式中，該數(shù)據(jù)生產(chǎn)集群還用于：根據(jù)該元數(shù)據(jù)操作指令，掃描該共享數(shù)據(jù)的索引以獲得該目標(biāo)共享數(shù)據(jù)的索引；根據(jù)該目標(biāo)共享數(shù)據(jù)的索引，確定該目標(biāo)元數(shù)據(jù)。

14、結(jié)合第二方面，在第二方面的某些實(shí)現(xiàn)方式中，該數(shù)據(jù)生產(chǎn)集群還用于將該目標(biāo)共享數(shù)據(jù)的索引發(fā)送給該數(shù)據(jù)消費(fèi)集群；該數(shù)據(jù)消費(fèi)集群具體用于根據(jù)該目標(biāo)元數(shù)據(jù)和該目標(biāo)共享數(shù)據(jù)的索引，從該共享存儲(chǔ)讀取該目標(biāo)共享數(shù)據(jù)。

15、結(jié)合第二方面，在第二方面的某些實(shí)現(xiàn)方式中，該數(shù)據(jù)生產(chǎn)集群具體用于：根據(jù)該數(shù)據(jù)消費(fèi)集群中數(shù)據(jù)分片和數(shù)據(jù)節(jié)點(diǎn)之間的對(duì)應(yīng)關(guān)系，確定該數(shù)據(jù)消費(fèi)集群中的一個(gè)或多個(gè)目的數(shù)據(jù)節(jié)點(diǎn)，該共享數(shù)據(jù)屬于該一個(gè)或多個(gè)目的數(shù)據(jù)節(jié)點(diǎn)對(duì)應(yīng)的數(shù)據(jù)分片；該數(shù)據(jù)生產(chǎn)集群將該目標(biāo)元數(shù)據(jù)發(fā)送給該一個(gè)或多個(gè)目的數(shù)據(jù)節(jié)點(diǎn)。

16、需要說明的是，第二方面中的有益效果請(qǐng)參考第一方面的有益效果，此處不再贅述。

17、第三方面，提供了一種計(jì)算設(shè)備集群，包括至少一個(gè)計(jì)算設(shè)備，每個(gè)計(jì)算設(shè)備包括處理器和存儲(chǔ)器；該至少一個(gè)計(jì)算設(shè)備的處理器用于執(zhí)行該至少一個(gè)計(jì)算設(shè)備的存儲(chǔ)器中存儲(chǔ)的指令，以使得該計(jì)算設(shè)備集群執(zhí)行第一方面或第一方面任意一種可能的實(shí)現(xiàn)方式中的方法。

18、可選地，該處理器可以是通用處理器，可以通過硬件來實(shí)現(xiàn)也可以通過軟件來實(shí)現(xiàn)。當(dāng)通過硬件實(shí)現(xiàn)時(shí)，該處理器可以是邏輯電路、集成電路等；當(dāng)通過軟件來實(shí)現(xiàn)時(shí)，該處理器可以是一個(gè)通用處理器，通過讀取存儲(chǔ)器中存儲(chǔ)的軟件代碼來實(shí)現(xiàn)，該存儲(chǔ)器可以集成在處理器中，可以位于該處理器之外，獨(dú)立存在。

19、第四方面，提供了一種包含指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)該指令被計(jì)算設(shè)備集群運(yùn)行時(shí)，使得該計(jì)算設(shè)備集群執(zhí)行如上述第一方面以及第一方面的任意一種實(shí)現(xiàn)方式中的方法。

20、第五方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括計(jì)算機(jī)程序指令，當(dāng)該計(jì)算機(jī)程序指令由計(jì)算設(shè)備集群執(zhí)行時(shí)，該計(jì)算設(shè)備集群執(zhí)行如上述第一方面以及第一方面的任意一種實(shí)現(xiàn)方式中的方法。

21、作為示例，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括但不限于如下的一個(gè)或者多個(gè)：只讀存儲(chǔ)器(read-only?memory，rom)、可編程rom(programmable?rom，prom)、可擦除的prom(erasableprom，eprom)、flash存儲(chǔ)器、電eprom(electrically?eprom，eeprom)以及硬盤驅(qū)動(dòng)器(harddrive)。

22、可選地，作為一種實(shí)現(xiàn)方式，上述存儲(chǔ)介質(zhì)具體可以是非易失性存儲(chǔ)介質(zhì)。