本申請屬于數(shù)據(jù)處理，尤其涉及一種元數(shù)據(jù)的治理平臺系統(tǒng)、方法及計算機可讀存儲介質(zhì)。

背景技術(shù)：

1、在當前的數(shù)字化時代，企業(yè)面臨著海量數(shù)據(jù)的收集、存儲、分析及利用的挑戰(zhàn)。數(shù)據(jù)倉庫(data?warehouse)作為數(shù)據(jù)存儲和分析的核心基礎(chǔ)設(shè)施，其重要性日益凸顯。然而，隨著企業(yè)數(shù)據(jù)量的爆炸性增長和數(shù)據(jù)來源的多樣化，數(shù)據(jù)倉庫中的元數(shù)據(jù)管理變得愈發(fā)復(fù)雜和困難。

2、在數(shù)據(jù)倉庫的建設(shè)和管理過程中，元數(shù)據(jù)(metadata)作為“數(shù)據(jù)的數(shù)據(jù)”，扮演著至關(guān)重要的角色。元數(shù)據(jù)不僅描述了數(shù)據(jù)的結(jié)構(gòu)、內(nèi)容、來源和轉(zhuǎn)換過程，還提供了數(shù)據(jù)質(zhì)量、訪問權(quán)限、安全級別等重要信息。然而，現(xiàn)有的元數(shù)據(jù)管理方案數(shù)據(jù)標準與元數(shù)據(jù)管理往往是兩個獨立的過程，缺乏有效的聯(lián)動機制，導(dǎo)致數(shù)據(jù)標準難以在實際的元數(shù)據(jù)管理中得到有效執(zhí)行。

技術(shù)實現(xiàn)思路

1、本申請實施例提供了元數(shù)據(jù)的治理平臺系統(tǒng)、方法及計算機可讀存儲介質(zhì)，可以解決數(shù)據(jù)標準難以在實際的元數(shù)據(jù)管理中得到有效執(zhí)行的問題。

2、第一方面，本申請實施例提供了一種元數(shù)據(jù)的治理平臺系統(tǒng)，包括：

3、數(shù)據(jù)標準定義模塊，用于定義第一數(shù)據(jù)標準字段的屬性信息；

4、標準化處理模塊，用于根據(jù)屬性信息創(chuàng)建第一數(shù)據(jù)標準字段，并為第一數(shù)據(jù)標準字段創(chuàng)建唯一的標識符；以及，用于判斷標準碼表中是否存在與第一數(shù)據(jù)標準字段的屬性信息相同的第二數(shù)據(jù)標準字段；若否，則為第一數(shù)據(jù)標準字段創(chuàng)建訂閱通道，訂閱通道用于支持第一數(shù)據(jù)標準字段分別與數(shù)據(jù)倉庫的第一數(shù)據(jù)倉表字段建立第一映射關(guān)系；

5、元數(shù)據(jù)處理模塊，用于在第一數(shù)據(jù)標準字段與第一數(shù)據(jù)倉表字段建立第一映射關(guān)系時，通過訂閱通道將元數(shù)據(jù)與第一數(shù)據(jù)標準字段建立第二映射關(guān)系，并將元數(shù)據(jù)存入元數(shù)據(jù)表中；以及，用于獲取對應(yīng)于第一映射關(guān)系的第一數(shù)據(jù)倉表字段在數(shù)據(jù)倉庫中的第一存儲位置；根據(jù)第一存儲位置將元數(shù)據(jù)存入元數(shù)據(jù)表的第二存儲位置。

6、第二方面，本申請實施例提供了一種用于如前述的元數(shù)據(jù)的治理平臺系統(tǒng)的方法，應(yīng)用于治理平臺系統(tǒng)，方法包括：

7、數(shù)據(jù)標準定義模塊定義第一數(shù)據(jù)標準字段的屬性信息；

8、標準化處理模塊根據(jù)屬性信息創(chuàng)建第一數(shù)據(jù)標準字段，并為第一數(shù)據(jù)標準字段創(chuàng)建唯一的標識符；

9、標準化處理模塊判斷標準碼表中是否存在與第一數(shù)據(jù)標準字段的屬性信息相同的第二數(shù)據(jù)標準字段；若否，則標準化處理模塊為第一數(shù)據(jù)標準字段創(chuàng)建訂閱通道，訂閱通道用于支持第一數(shù)據(jù)標準字段分別與數(shù)據(jù)倉庫的第一數(shù)據(jù)倉表字段建立第一映射關(guān)系；

10、當?shù)谝粩?shù)據(jù)標準字段與第一數(shù)據(jù)倉表字段建立第一映射關(guān)系時，元數(shù)據(jù)處理模塊通過訂閱通道將元數(shù)據(jù)與第一數(shù)據(jù)標準字段建立第二映射關(guān)系，并將元數(shù)據(jù)存入元數(shù)據(jù)表中；

11、元數(shù)據(jù)處理模塊獲取對應(yīng)于第一映射關(guān)系的第一數(shù)據(jù)倉表字段在數(shù)據(jù)倉庫中的第一存儲位置；元數(shù)據(jù)處理模塊根據(jù)第一存儲位置將元數(shù)據(jù)存入元數(shù)據(jù)表的第二存儲位置。

12、第三方面，本申請實施例提供了一種計算機程序產(chǎn)品，當計算機程序產(chǎn)品在終端設(shè)備上運行時，使得終端設(shè)備執(zhí)行上述第一方面中所述的元數(shù)據(jù)的治理平臺系統(tǒng)。

13、可以理解的是，上述第二方面至第五方面的有益效果可以參見上述第一方面中的相關(guān)描述，在此不再贅述。

14、本申請實施例與現(xiàn)有技術(shù)相比存在的有益效果是：本申請元數(shù)據(jù)的治理平臺系統(tǒng)包括數(shù)據(jù)標準定義模塊，用于定義第一數(shù)據(jù)標準字段的屬性信息；標準化處理模塊，用于根據(jù)屬性信息創(chuàng)建第一數(shù)據(jù)標準字段，并為第一數(shù)據(jù)標準字段創(chuàng)建唯一的標識符；以及，用于判斷標準碼表中是否存在與第一數(shù)據(jù)標準字段的屬性信息相同的第二數(shù)據(jù)標準字段；若否，則為第一數(shù)據(jù)標準字段創(chuàng)建訂閱通道，訂閱通道用于支持第一數(shù)據(jù)標準字段分別與數(shù)據(jù)倉庫的第一數(shù)據(jù)倉表字段建立第一映射關(guān)系；元數(shù)據(jù)處理模塊，用于在第一數(shù)據(jù)標準字段與第一數(shù)據(jù)倉表字段建立第一映射關(guān)系時，通過訂閱通道將元數(shù)據(jù)與第一數(shù)據(jù)標準字段建立第二映射關(guān)系，并將元數(shù)據(jù)存入元數(shù)據(jù)表中；以及，用于獲取對應(yīng)于第一映射關(guān)系的第一數(shù)據(jù)倉表字段在數(shù)據(jù)倉庫中的第一存儲位置；根據(jù)第一存儲位置將元數(shù)據(jù)存入元數(shù)據(jù)表的第二存儲位置。本申請通過在數(shù)據(jù)倉庫的數(shù)據(jù)建表環(huán)節(jié)，根據(jù)已發(fā)布的數(shù)據(jù)標準來規(guī)范字段屬性的設(shè)置，并達到控制元數(shù)據(jù)的效果，保證數(shù)據(jù)的一致性和規(guī)范性，本申請具有實用性和易用性。

技術(shù)特征：

1.一種元數(shù)據(jù)的治理平臺系統(tǒng)，其特征在于，包括：

2.如權(quán)利要求1所述的元數(shù)據(jù)的治理平臺系統(tǒng)，其特征在于，所述標準化處理模塊還包括權(quán)限控制子模塊，所述權(quán)限控制子模塊用于對所述標準化處理模塊進行創(chuàng)建、修改、刪除所述第一數(shù)據(jù)標準字段進行權(quán)限設(shè)置。

3.如權(quán)利要求2所述的元數(shù)據(jù)的治理平臺系統(tǒng)，其特征在于，所述權(quán)限控制子模塊用于判斷當前系統(tǒng)賬號是否為授權(quán)賬號；若是，則將所述權(quán)限控制子模塊用于對所述標準化處理模塊進行創(chuàng)建、修改的權(quán)限設(shè)置為開啟；

4.如權(quán)利要求1所述的元數(shù)據(jù)的治理平臺系統(tǒng)，其特征在于，所述元數(shù)據(jù)處理模塊包括監(jiān)聽子模塊，所述監(jiān)聽子模塊用于監(jiān)聽所述第一數(shù)據(jù)標準字段是否與所述第一數(shù)據(jù)倉表字段建立所述第一映射關(guān)系。

5.如權(quán)利要求1所述的元數(shù)據(jù)的治理平臺系統(tǒng)，其特征在于，所述屬性信息包括屬性類型、與所述屬性類型對應(yīng)的屬性值范圍。

6.如權(quán)利要求5所述的元數(shù)據(jù)的治理平臺系統(tǒng)，其特征在于，所述屬性類型包括字段名稱、數(shù)據(jù)類型、長度、約束條件中的一個或多個。

7.如權(quán)利要求1所述的元數(shù)據(jù)的治理平臺系統(tǒng)，其特征在于，所述元數(shù)據(jù)處理模塊還包括分級子模塊，所述分級子模塊用于根據(jù)所述第一數(shù)據(jù)倉表字段在所述數(shù)據(jù)倉庫中的第一存儲位置為所述元數(shù)據(jù)配置預(yù)設(shè)等級；

8.如權(quán)利要求1所述的元數(shù)據(jù)的治理平臺系統(tǒng)，其特征在于，所述元數(shù)據(jù)表存儲在分布式存儲系統(tǒng)中，所述分布式存儲系統(tǒng)包括三個以上節(jié)點，所有節(jié)點均能夠互相通信，其中，第一節(jié)點為leader節(jié)點，剩余節(jié)點為follower節(jié)點；所述leader節(jié)點用于存入所述元數(shù)據(jù)，所述follower節(jié)點用于復(fù)制所述lead節(jié)點中存儲的數(shù)據(jù)；

9.一種用于如權(quán)利要求1所述的元數(shù)據(jù)的治理平臺系統(tǒng)的方法，其特征在于，應(yīng)用于治理平臺系統(tǒng)，所述方法包括：

10.一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求9所述的方法。

技術(shù)總結(jié)
本申請適用于數(shù)據(jù)技術(shù)領(lǐng)域，提供了一種元數(shù)據(jù)的治理平臺系統(tǒng)、方法及計算機可讀存儲介質(zhì)，從源頭上規(guī)范數(shù)據(jù)的存儲結(jié)構(gòu)、數(shù)據(jù)類型和命名規(guī)則，保證數(shù)據(jù)的一致性和規(guī)范性，本申請具有實用性和易用性。該元數(shù)據(jù)的治理平臺系統(tǒng)通過集成數(shù)據(jù)標準定義模塊、標準化處理模塊和元數(shù)據(jù)處理模塊，通過在數(shù)據(jù)倉庫的數(shù)據(jù)建表環(huán)節(jié)，根據(jù)已發(fā)布的數(shù)據(jù)標準來規(guī)范字段屬性的設(shè)置，并達到控制元數(shù)據(jù)的效果，實現(xiàn)元數(shù)據(jù)治理的自動化和智能化，降低人工干預(yù)的成本，提升元數(shù)據(jù)治理的效率和準確性，解決數(shù)據(jù)標準難以在元數(shù)據(jù)管理中得到有效執(zhí)行的問題。

技術(shù)研發(fā)人員：孫平逸夫,周文明
受保護的技術(shù)使用者：四川開物信息技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2