本申請涉及數(shù)據(jù)處理，尤其是涉及一種數(shù)據(jù)處理系統(tǒng)及數(shù)據(jù)處理方法。

背景技術(shù)：

1、隨著信息技術(shù)的迅猛發(fā)展，傳統(tǒng)制造業(yè)企業(yè)正逐步向智能制造轉(zhuǎn)型，這一過程中產(chǎn)生了海量的業(yè)務(wù)數(shù)據(jù)。然而，這些業(yè)務(wù)數(shù)據(jù)往往依存在不同產(chǎn)品服務(wù)商中進(jìn)行相對應(yīng)的數(shù)據(jù)管理，分布較為分散。同時，由于不同產(chǎn)品服務(wù)商之間不互通，導(dǎo)致這些業(yè)務(wù)數(shù)據(jù)形成了數(shù)據(jù)孤島，企業(yè)難以有效整合與利用這些業(yè)務(wù)數(shù)據(jù)，忽略了業(yè)務(wù)數(shù)據(jù)中隱藏的價值。

2、基于此，本申請?zhí)峁┝艘环N數(shù)據(jù)處理系統(tǒng)及數(shù)據(jù)處理方法，用于實現(xiàn)數(shù)據(jù)互通，提高數(shù)據(jù)管理效率。

技術(shù)實現(xiàn)思路

1、本申請的目的在于提供一種數(shù)據(jù)處理系統(tǒng)及數(shù)據(jù)處理方法，以實現(xiàn)數(shù)據(jù)互通，提高數(shù)據(jù)管理效率。

2、第一方面，本申請實施例提供了一種數(shù)據(jù)處理系統(tǒng)，所述系統(tǒng)包括：數(shù)據(jù)同步模塊和數(shù)據(jù)倉庫。所述數(shù)據(jù)同步模塊用于從多個數(shù)據(jù)源獲取業(yè)務(wù)數(shù)據(jù)，并基于與所述數(shù)據(jù)源對應(yīng)的同步方式，將所述業(yè)務(wù)數(shù)據(jù)同步存儲至所述數(shù)據(jù)倉庫。所述數(shù)據(jù)源包括：無規(guī)則數(shù)據(jù)和有規(guī)則數(shù)據(jù)。所述有規(guī)則數(shù)據(jù)包括以下一種或多種：服務(wù)商系統(tǒng)、數(shù)據(jù)庫、企業(yè)產(chǎn)生的本地文件。所述數(shù)據(jù)倉庫包括：ods層、dw層、ads層；所述數(shù)據(jù)倉庫用于將所述業(yè)務(wù)數(shù)據(jù)輸入至所述ods層；利用所述dw層對所述業(yè)務(wù)數(shù)據(jù)進(jìn)行配置，得到寬表數(shù)據(jù)；所述寬表數(shù)據(jù)用于表示預(yù)設(shè)主題下多個維度的所述業(yè)務(wù)數(shù)據(jù)；利用所述ads層根據(jù)用戶需求從所述寬表數(shù)據(jù)中調(diào)用與所述用戶需求對應(yīng)的業(yè)務(wù)數(shù)據(jù)，生成所述業(yè)務(wù)數(shù)據(jù)表。

3、本申請實施例提供的數(shù)據(jù)處理系統(tǒng)能夠解決以往數(shù)據(jù)分散，不能集中化管理問題，通過在云服務(wù)部署搭建數(shù)據(jù)處理系統(tǒng)的方式，減少對以往部署的專有集群運行維護(hù)的壓力，保證服務(wù)的可靠性，能對各種形式的數(shù)據(jù)進(jìn)行管理,對于不同的業(yè)務(wù)需要，也能更方便的增加和減少所需要的功能，擴(kuò)展性較好，同時利用云服務(wù)提供的數(shù)據(jù)質(zhì)量監(jiān)測、數(shù)據(jù)概覽等服務(wù)，能更好的對數(shù)據(jù)中臺數(shù)據(jù)進(jìn)行監(jiān)控，保證開發(fā)數(shù)據(jù)的準(zhǔn)確性，提高工作效率。

4、一種可能的實現(xiàn)方式，所述業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)內(nèi)容為無規(guī)則數(shù)據(jù)，所述數(shù)據(jù)同步模塊具體用于獲取所述業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)類型，基于所述數(shù)據(jù)類型，將所述業(yè)務(wù)數(shù)據(jù)存儲至所述數(shù)據(jù)倉庫。所述數(shù)據(jù)類型包括以下一種或多種：數(shù)據(jù)量小于預(yù)設(shè)數(shù)據(jù)量的數(shù)據(jù)、記錄詳細(xì)動作信息的記錄表數(shù)據(jù)、帶有更新變化的同步數(shù)據(jù)、以文件形式存儲的數(shù)據(jù)和帶有刪除行為的數(shù)據(jù)。

5、一種可能的實現(xiàn)方式，所述數(shù)據(jù)源為服務(wù)商系統(tǒng)，所述數(shù)據(jù)同步模塊具體用于通過所述服務(wù)商系統(tǒng)提供的sdk服務(wù)，按照預(yù)設(shè)時間從所述服務(wù)商系統(tǒng)獲取所述業(yè)務(wù)數(shù)據(jù)，并將所述業(yè)務(wù)數(shù)據(jù)調(diào)度至所述數(shù)據(jù)倉庫。

6、一種可能的實現(xiàn)方式，所述數(shù)據(jù)源為數(shù)據(jù)庫，所述數(shù)據(jù)同步模塊具體用于通過所述數(shù)據(jù)庫提供的數(shù)據(jù)庫接口，以jdbc的方式獲取所述數(shù)據(jù)庫中的所述業(yè)務(wù)數(shù)據(jù)，并將所述業(yè)務(wù)數(shù)據(jù)同步存儲至所述數(shù)據(jù)倉庫。

7、一種可能的實現(xiàn)方式，所述數(shù)據(jù)源為企業(yè)產(chǎn)生的本地文件，所述數(shù)據(jù)同步模塊具體用于在檢測到業(yè)務(wù)數(shù)據(jù)發(fā)生變化時，將所述業(yè)務(wù)數(shù)據(jù)增量同步至所述數(shù)據(jù)倉庫。

8、一種可能的實現(xiàn)方式，所述數(shù)據(jù)倉庫包括：ods層、dw層、ads層。所述數(shù)據(jù)倉庫具體用于將所述業(yè)務(wù)數(shù)據(jù)輸入至所述ods層。利用所述dw層對所述業(yè)務(wù)數(shù)據(jù)進(jìn)行配置，得到寬表數(shù)據(jù)。所述寬表數(shù)據(jù)用于表示預(yù)設(shè)主題下多個維度的所述業(yè)務(wù)數(shù)據(jù)。利用所述ads層根據(jù)用戶需求從所述寬表數(shù)據(jù)中調(diào)用與所述用戶需求對應(yīng)的業(yè)務(wù)數(shù)據(jù)，生成所述業(yè)務(wù)數(shù)據(jù)表。

9、一種可能的實現(xiàn)方式，所述dw層包括：dwp層、dwd層、dws層。所述數(shù)據(jù)倉庫具體用于利用所述dwp層在所述業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)量大于閾值時，將所述業(yè)務(wù)數(shù)據(jù)分區(qū)存儲。利用所述dwd層按照所述預(yù)設(shè)主題和所述業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)類型將所述業(yè)務(wù)數(shù)據(jù)劃分為多個維度的事實明細(xì)表。利用所述dws層對所述事實明細(xì)表進(jìn)行匯總，得到所述寬表數(shù)據(jù)。所述寬表數(shù)據(jù)與所述預(yù)設(shè)主題對應(yīng)。

10、一種可能的實現(xiàn)方式，所述系統(tǒng)還包括：數(shù)據(jù)監(jiān)控模塊。所述數(shù)據(jù)監(jiān)控模塊用于獲取所述數(shù)據(jù)同步模塊和所述數(shù)據(jù)倉庫的實時任務(wù)。所述實時任務(wù)包括所述數(shù)據(jù)同步模塊從多個數(shù)據(jù)源獲取業(yè)務(wù)數(shù)據(jù)、所述數(shù)據(jù)同步模塊基于與所述數(shù)據(jù)源對應(yīng)的同步方式，將所述業(yè)務(wù)數(shù)據(jù)同步存儲至所述數(shù)據(jù)倉庫、所述數(shù)據(jù)倉庫基于所述業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)類型生成業(yè)務(wù)數(shù)據(jù)表?；谒鰧崟r任務(wù)的任務(wù)信息，對所述實時任務(wù)進(jìn)行調(diào)度。所述任務(wù)信息包括所述實時任務(wù)的占用資源、持續(xù)時間和優(yōu)先級信息。

11、一種可能的實現(xiàn)方式，所述系統(tǒng)還包括：數(shù)據(jù)質(zhì)量管理模塊。所述數(shù)據(jù)質(zhì)量管理模塊用于實時監(jiān)控所述數(shù)據(jù)倉庫中的實時數(shù)據(jù)量信息。所述實時數(shù)據(jù)量信息用于表示所述業(yè)務(wù)數(shù)據(jù)表的數(shù)據(jù)量信息。將所述實時數(shù)據(jù)量信息與所述數(shù)據(jù)倉庫的歷史數(shù)據(jù)量信息進(jìn)行比較，確定所述數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量變化。

12、一種可能的實現(xiàn)方式，所述系統(tǒng)還包括：數(shù)據(jù)應(yīng)用模塊。所述數(shù)據(jù)應(yīng)用模塊用于按照預(yù)設(shè)的數(shù)據(jù)導(dǎo)出方式，將所述業(yè)務(wù)數(shù)據(jù)表處理導(dǎo)出。所述預(yù)設(shè)的數(shù)據(jù)導(dǎo)出方式包括基于quickbi的業(yè)務(wù)數(shù)據(jù)表的可視化展示、基于接口服務(wù)將業(yè)務(wù)數(shù)據(jù)表發(fā)送至第三方平臺、對所述業(yè)務(wù)數(shù)據(jù)表進(jìn)行nlp處理。

13、第二方面，本申請實施例提供了一種數(shù)據(jù)處理方法，該方法包括：利用數(shù)據(jù)同步模塊從多個數(shù)據(jù)源獲取業(yè)務(wù)數(shù)據(jù)，并基于與所述數(shù)據(jù)源對應(yīng)的同步方式，將所述業(yè)務(wù)數(shù)據(jù)同步存儲至所述數(shù)據(jù)倉庫。所述數(shù)據(jù)源包括：無規(guī)則數(shù)據(jù)和有規(guī)則數(shù)據(jù)。所述有規(guī)則數(shù)據(jù)包括以下一種或多種：服務(wù)商系統(tǒng)、數(shù)據(jù)庫、企業(yè)產(chǎn)生的本地文件。利用所述數(shù)據(jù)倉庫基于所述業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)類型生成業(yè)務(wù)數(shù)據(jù)表。

14、第三方面，本申請?zhí)峁┝艘环N數(shù)據(jù)處理設(shè)備，該數(shù)據(jù)處理設(shè)備具有實現(xiàn)上述第一方面或任一種可能的實現(xiàn)方式的數(shù)據(jù)處理方法的功能。該功能可以通過硬件實現(xiàn)，也可以通過硬件執(zhí)行相應(yīng)的軟件實現(xiàn)。該硬件或軟件包括一個或多個與上述功能相對應(yīng)的模塊。

15、第四方面，提供了一種計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)中存儲有指令，當(dāng)其在計算機上運行時，使得計算機可以執(zhí)行上述第一方面或任一種可能的實現(xiàn)方式的數(shù)據(jù)處理方法。

16、第五方面，提供了一種包含指令的計算機程序產(chǎn)品，當(dāng)其在計算機上運行時，使得計算機可以執(zhí)行上述第一方面或任一種可能的實現(xiàn)方式的數(shù)據(jù)處理方法。

17、其中，第二方面至第五方面中任一種設(shè)計方式所帶來的技術(shù)效果可參見第一方面中不同可能的實現(xiàn)方式所帶來的技術(shù)效果，此處不再贅述。

技術(shù)特征：

1.一種數(shù)據(jù)處理系統(tǒng)，其特征在于，所述系統(tǒng)包括：數(shù)據(jù)同步模塊和數(shù)據(jù)倉庫；

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)內(nèi)容為無規(guī)則數(shù)據(jù)，所述數(shù)據(jù)同步模塊具體用于獲取所述業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)類型，基于所述數(shù)據(jù)類型，將所述業(yè)務(wù)數(shù)據(jù)存儲至所述數(shù)據(jù)倉庫；所述數(shù)據(jù)類型包括以下一種或多種：數(shù)據(jù)量小于預(yù)設(shè)數(shù)據(jù)量的數(shù)據(jù)、記錄詳細(xì)動作信息的記錄表數(shù)據(jù)、帶有更新變化的同步數(shù)據(jù)、以文件形式存儲的數(shù)據(jù)和帶有刪除行為的數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)源為服務(wù)商系統(tǒng)，所述數(shù)據(jù)同步模塊具體用于通過所述服務(wù)商系統(tǒng)提供的sdk服務(wù)，按照預(yù)設(shè)時間從所述服務(wù)商系統(tǒng)獲取所述業(yè)務(wù)數(shù)據(jù)，并將所述業(yè)務(wù)數(shù)據(jù)調(diào)度至所述數(shù)據(jù)倉庫。

4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)源為數(shù)據(jù)庫，所述數(shù)據(jù)同步模塊具體用于通過所述數(shù)據(jù)庫提供的數(shù)據(jù)庫接口，以jdbc的方式獲取所述數(shù)據(jù)庫中的所述業(yè)務(wù)數(shù)據(jù)，并將所述業(yè)務(wù)數(shù)據(jù)同步存儲至所述數(shù)據(jù)倉庫。

5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)源為企業(yè)產(chǎn)生的本地文件，所述數(shù)據(jù)同步模塊具體用于在檢測到業(yè)務(wù)數(shù)據(jù)發(fā)生變化時，將所述業(yè)務(wù)數(shù)據(jù)增量同步至所述數(shù)據(jù)倉庫。

6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述dw層包括：dwp層、dwd層、dws層；

7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括：數(shù)據(jù)監(jiān)控模塊；

8.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括：數(shù)據(jù)質(zhì)量管理模塊；

9.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括：數(shù)據(jù)應(yīng)用模塊；

10.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：

技術(shù)總結(jié)
本申請?zhí)峁┝艘环N數(shù)據(jù)處理系統(tǒng)及數(shù)據(jù)處理方法，應(yīng)用于數(shù)據(jù)處理技術(shù)領(lǐng)域，該系統(tǒng)包括：數(shù)據(jù)同步模塊和數(shù)據(jù)倉庫。數(shù)據(jù)同步模塊用于從多個數(shù)據(jù)源獲取業(yè)務(wù)數(shù)據(jù)，并基于與數(shù)據(jù)源對應(yīng)的同步方式，將業(yè)務(wù)數(shù)據(jù)同步存儲至數(shù)據(jù)倉庫。數(shù)據(jù)源包括：無規(guī)則數(shù)據(jù)和有規(guī)則數(shù)據(jù)。有規(guī)則數(shù)據(jù)包括以下一種或多種：服務(wù)商系統(tǒng)、數(shù)據(jù)庫、企業(yè)產(chǎn)生的本地文件。數(shù)據(jù)倉庫包括：ODS層、DW層、ADS層；數(shù)據(jù)倉庫用于將業(yè)務(wù)數(shù)據(jù)輸入至ODS層；利用DW層對業(yè)務(wù)數(shù)據(jù)進(jìn)行配置，得到寬表數(shù)據(jù)；寬表數(shù)據(jù)用于表示預(yù)設(shè)主題下多個維度的業(yè)務(wù)數(shù)據(jù)；利用ADS層根據(jù)用戶需求從寬表數(shù)據(jù)中調(diào)用與用戶需求對應(yīng)的業(yè)務(wù)數(shù)據(jù)，生成業(yè)務(wù)數(shù)據(jù)表，可以實現(xiàn)數(shù)據(jù)互通，提高數(shù)據(jù)管理效率。

技術(shù)研發(fā)人員：張世恒,張江波
受保護(hù)的技術(shù)使用者：深圳市明睿數(shù)據(jù)科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2