本發(fā)明涉及it與ot數(shù)據(jù)，特別涉及一種it與ot數(shù)據(jù)在大數(shù)據(jù)平臺融合治理與資產(chǎn)化的系統(tǒng)。

背景技術(shù)：

1、it指信息技術(shù)，主要涵蓋企業(yè)中的各個應(yīng)用系統(tǒng)，如erp、mes、eam、oa等，這些系統(tǒng)負(fù)責(zé)企業(yè)內(nèi)部的信息管理、業(yè)務(wù)處理、數(shù)據(jù)分析等工作，技術(shù)廣泛應(yīng)用于制造業(yè)的生產(chǎn)計劃管理、庫存管理、供應(yīng)鏈管理等環(huán)節(jié)。

2、ot?指操作運營技術(shù)，主要涉及生產(chǎn)車間的硬件和軟件管理，包括plc、scada、網(wǎng)關(guān)、機器人等，ot技術(shù)主要用于現(xiàn)場運營控制、設(shè)備監(jiān)控、數(shù)據(jù)采集等領(lǐng)域，是確保生產(chǎn)過程順利進(jìn)行的關(guān)鍵。

3、it與ot的主要區(qū)別在于，江更側(cè)重于企業(yè)內(nèi)部的信息管理和數(shù)據(jù)分析，而ot則更關(guān)注生產(chǎn)現(xiàn)場的運營控制和設(shè)備監(jiān)控。然而，隨著工業(yè)4.0的發(fā)展，it與ot之間的界限逐漸模糊，兩者開始呈現(xiàn)出融合的趨勢。

4、然而現(xiàn)有的融合方法，將it與ot數(shù)據(jù)融合的并不徹底，且無法使it和ot數(shù)據(jù)在大數(shù)據(jù)平臺上進(jìn)行有效融合和治理，且無法進(jìn)行數(shù)據(jù)資產(chǎn)化，因此，本技術(shù)提供了一種it與ot數(shù)據(jù)在大數(shù)據(jù)平臺融合治理與資產(chǎn)化的系統(tǒng)來滿足需求。

技術(shù)實現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題是提供一種it與ot數(shù)據(jù)在大數(shù)據(jù)平臺融合治理與資產(chǎn)化的系統(tǒng)以解決現(xiàn)有的問題。

2、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：

3、一種it與ot數(shù)據(jù)在大數(shù)據(jù)平臺融合治理與資產(chǎn)化的系統(tǒng)，包括：數(shù)據(jù)集成層、數(shù)據(jù)儲存層、數(shù)據(jù)治理層、數(shù)據(jù)加密層、資產(chǎn)化處理層和主機生命周期管理層，所述數(shù)據(jù)集成層用于對it和ot數(shù)據(jù)進(jìn)行提取集成，所述數(shù)據(jù)儲存層用于對提取出的it和ot數(shù)據(jù)進(jìn)行儲存，所述數(shù)據(jù)治理層用于對數(shù)據(jù)進(jìn)行處理和管理，所述數(shù)據(jù)加密層用于對it和ot數(shù)據(jù)進(jìn)行加密和權(quán)限管理，所述資產(chǎn)化處理層用于將數(shù)據(jù)進(jìn)行資產(chǎn)化處理，所述數(shù)據(jù)生命周期管理層用于對管理數(shù)據(jù)從創(chuàng)建到刪除的整個生命周期。

4、在一些示例中，所述數(shù)據(jù)集成層包括數(shù)據(jù)管道，所述數(shù)據(jù)管道用于將it和ot數(shù)據(jù)從不同來源提取、轉(zhuǎn)換并加載到數(shù)據(jù)儲存層內(nèi)，所述it與ot數(shù)據(jù)的提取和轉(zhuǎn)換采用etl/elt工具，例如apache?nifi、talend等；

5、所述數(shù)據(jù)集成層還包括api集成模塊，所述api集成模塊用于利用api例如restfulapi和消息中間件，例如apache?kafka實現(xiàn)實時數(shù)據(jù)流處理和集成。

6、在一些示例中，所述數(shù)據(jù)存儲層包括數(shù)據(jù)和數(shù)據(jù)倉庫，所述數(shù)據(jù)湖用于儲存原始和多結(jié)構(gòu)化的it與ot數(shù)據(jù)，以支持靈活地分析和處理；

7、數(shù)據(jù)倉庫，所述數(shù)據(jù)倉庫用于管理結(jié)構(gòu)化數(shù)據(jù)，支持復(fù)雜查詢和數(shù)據(jù)分析，所述數(shù)據(jù)湖可以采用amazon?s3或azure?data?lake，所述數(shù)據(jù)倉庫可以采用snowflake或googlebigquery。

8、在一些示例中，所述數(shù)據(jù)治理層包括數(shù)據(jù)質(zhì)量管理模塊和數(shù)據(jù)目錄搭建模塊，所述數(shù)據(jù)質(zhì)量管理模塊用于實施數(shù)據(jù)清洗、驗證和標(biāo)準(zhǔn)化，以提高數(shù)據(jù)質(zhì)量；

9、所述數(shù)據(jù)目錄搭建模塊用于創(chuàng)建數(shù)據(jù)目錄，記錄數(shù)據(jù)來源、結(jié)構(gòu)和業(yè)務(wù)含義，可以使用apache?atlas或collibra等工具進(jìn)行。

10、在一些示例中，所述數(shù)據(jù)清洗采用以下方法進(jìn)行；

11、a、對缺失值進(jìn)行處理，直接刪除缺失值，并采用均值填補缺失值；

12、b、對異常值進(jìn)行檢測；

13、c、進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化和歸一化；

14、d、進(jìn)行對數(shù)轉(zhuǎn)換，并進(jìn)行數(shù)據(jù)一致性檢查。

15、在一些示例中，均值填補缺失值通過以下公式進(jìn)行：

16、

17、其中q是填補值，n是非缺失值的數(shù)量，xi是非缺失的觀測值；

18、所述異常值檢測采用標(biāo)準(zhǔn)差方法和箱線圖法進(jìn)行，標(biāo)準(zhǔn)差方法具體公式如下：

19、異常值

20、其中是均值，是標(biāo)準(zhǔn)差，通常取值為2或3；

21、箱線圖法的公式具體如下：

22、異常值

23、其中?q1?和?q3是第一和第三四分位數(shù)，iqr=q3-q1?是四分位數(shù)間距；

24、所述進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化和歸一化具體為：將數(shù)據(jù)轉(zhuǎn)化為均值為0，標(biāo)準(zhǔn)差為1的分布，并將數(shù)據(jù)縮放到[0,?1]區(qū)間，采用以下公式進(jìn)行；

25、

26、其中是均值，是標(biāo)準(zhǔn)差；

27、

28、其中和?分別是數(shù)據(jù)的最小值和最大值；

29、所述對數(shù)轉(zhuǎn)換采用以下公式進(jìn)行

30、

31、其中加1是為了避免對數(shù)值為零的情況。

32、在一些示例中，所述數(shù)據(jù)加密層包括數(shù)據(jù)加密模塊，所述數(shù)據(jù)加密模塊用于進(jìn)行數(shù)據(jù)加密和權(quán)限管理，保護(hù)數(shù)據(jù)安全，可以采用aws?iam、apache?ranger等工具進(jìn)行。

33、在一些示例中，所述資產(chǎn)化處理廠包括數(shù)據(jù)分類與標(biāo)記模塊、roi分析模塊、數(shù)據(jù)產(chǎn)品化模塊和數(shù)據(jù)交易模塊，所述數(shù)據(jù)分類和標(biāo)記模塊用于將數(shù)據(jù)按其業(yè)務(wù)價值和用途進(jìn)行分類和標(biāo)記，以便于管理和使用，例如，按數(shù)據(jù)的敏感性、業(yè)務(wù)部門或使用場景進(jìn)行標(biāo)記；

34、所述roi分析模塊用于分析數(shù)據(jù)資產(chǎn)的投資回報率，評估數(shù)據(jù)資產(chǎn)對業(yè)務(wù)的貢獻(xiàn)，例如，計算通過數(shù)據(jù)分析所節(jié)省的成本或增加的收入；

35、所述數(shù)據(jù)產(chǎn)品化模塊用于將數(shù)據(jù)視為產(chǎn)品，定義數(shù)據(jù)的使用場景和目標(biāo)用戶，創(chuàng)建數(shù)據(jù)產(chǎn)品以便于共享和商業(yè)化，例如，提供api接口或數(shù)據(jù)訂閱服務(wù)；

36、所述數(shù)據(jù)交易模塊用于在數(shù)據(jù)交易市場上交換或出售數(shù)據(jù)資產(chǎn)，獲取收益，可以通過數(shù)據(jù)交易平臺，例如snowflake?data?marketplace實現(xiàn)。

37、在一些示例中，所述數(shù)據(jù)生命周期管理層包括數(shù)據(jù)存儲和歸檔模塊，所述數(shù)據(jù)存儲與歸檔模塊用于管理數(shù)據(jù)的存儲和歸檔策略，以保證數(shù)據(jù)在其生命周期內(nèi)的可用性和安全性，例如，使用分層存儲策略，將不常用的數(shù)據(jù)遷移到低成本存儲中；

38、還包括數(shù)據(jù)淘汰與刪除模塊，所述數(shù)據(jù)淘汰與刪除模塊用于定期刪除不再需要的數(shù)據(jù)，符合合規(guī)性要求并釋放存儲資源。

39、一種it與ot數(shù)據(jù)在大數(shù)據(jù)平臺融合治理與資產(chǎn)化的系統(tǒng)使用方法，包括以下步驟：

40、s1、確定it與ot數(shù)據(jù)源的具體系統(tǒng)和數(shù)據(jù)格式，選擇適合的etl/elt工具進(jìn)行數(shù)據(jù)提??；

41、s2、設(shè)置數(shù)據(jù)管道，確保數(shù)據(jù)從源系統(tǒng)流入數(shù)據(jù)湖或數(shù)據(jù)倉庫，實現(xiàn)實時數(shù)據(jù)流的處理和批量數(shù)據(jù)處理；

42、s3、對提取的數(shù)據(jù)進(jìn)行清洗，去除重復(fù)數(shù)據(jù)，填補缺失值，統(tǒng)一數(shù)據(jù)格式；

43、s4、定期監(jiān)控數(shù)據(jù)質(zhì)量，使用數(shù)據(jù)質(zhì)量工具檢測和修復(fù)數(shù)據(jù)問題；

44、s5、記錄數(shù)據(jù)資產(chǎn)的詳細(xì)信息，包括數(shù)據(jù)的來源、結(jié)構(gòu)、使用規(guī)則等，方便數(shù)據(jù)的發(fā)現(xiàn)和使用；

45、s6、將it數(shù)據(jù)和ot數(shù)據(jù)按照業(yè)務(wù)需求進(jìn)行融合，并對重要的數(shù)據(jù)集進(jìn)行標(biāo)記和分類，定義數(shù)據(jù)資產(chǎn)的管理和使用策略，確保數(shù)據(jù)的高效利用；

46、s7、對資產(chǎn)數(shù)據(jù)進(jìn)行roi分析，并將數(shù)據(jù)視為產(chǎn)品，定義數(shù)據(jù)的使用場景和目標(biāo)用戶，創(chuàng)建數(shù)據(jù)產(chǎn)品以便于共享和商業(yè)化，在數(shù)據(jù)交易市場上交換或出售數(shù)據(jù)資產(chǎn)，獲取收益；

47、s8、管理數(shù)據(jù)的存儲和歸檔策略，以保證數(shù)據(jù)在其生命周期內(nèi)的可用性和安全性，定期刪除不再需要的數(shù)據(jù)，符合合規(guī)性要求并釋放存儲資源。

48、本發(fā)明與現(xiàn)有技術(shù)相比，至少具有如下有益效果：

49、上述方案中，通過將it與ot數(shù)據(jù)在大數(shù)據(jù)平臺進(jìn)行充分融合處理，并對數(shù)據(jù)進(jìn)行資產(chǎn)化處理與評估，綜合考慮了數(shù)據(jù)集成、治理、分析和應(yīng)用等方面，通過精確的數(shù)據(jù)管理和智能分析，確保it與ot數(shù)據(jù)在大數(shù)據(jù)平臺上的有效融合和治理，提高數(shù)據(jù)的可用性和業(yè)務(wù)價值，企業(yè)可以有效利用it與ot數(shù)據(jù)，提高業(yè)務(wù)決策能力和運營效率。