本發(fā)明涉及數(shù)據(jù)處理，具體涉及一種基于云計算的數(shù)據(jù)分析方法。

背景技術(shù)：

1、數(shù)據(jù)分析，是指在接收到從日志中獲取的待分析數(shù)據(jù)后，先使用數(shù)據(jù)檢查腳本程序?qū)?shù)據(jù)進(jìn)行檢查及格式化處理，然后做初步處理，然后在此基礎(chǔ)上再使用其他異構(gòu)腳本程序做其他的中間分析，這中間需要涉及到對關(guān)系型數(shù)據(jù)庫的分表、拆表及合并，同時還需要考慮關(guān)系型數(shù)據(jù)庫在千萬級數(shù)據(jù)量下的處理速度，從而采用對于數(shù)據(jù)庫集群的均衡方案，并從不同服務(wù)器上的數(shù)據(jù)庫中拉取數(shù)據(jù)再使用其他的完成指定需求的腳本程序進(jìn)行聚合。而這個過程需要在極短的時間內(nèi)完成“聚合”，比如搜索引擎的詞條搜索，數(shù)據(jù)就需要在幾秒內(nèi)給出聚合。

2、參考公開(公告)號：cn111460333a，公開(公告)日：2020-07-28，公開的一種實時搜索數(shù)據(jù)分析系統(tǒng)，該系統(tǒng)利用流式計算大數(shù)據(jù)技術(shù)，分析統(tǒng)計垂直搜索引擎產(chǎn)生的搜索行為數(shù)據(jù)，并提供可視化展示。數(shù)據(jù)收集階段利用研發(fā)的埋點技術(shù)收集用戶在搜索界面留下的點擊瀏覽等行為，同時收集搜索被使用的數(shù)據(jù)，數(shù)據(jù)分析階段離線與實時相結(jié)合，將離線數(shù)據(jù)存儲，實時數(shù)據(jù)分析后存入數(shù)據(jù)庫系統(tǒng)。在搜索數(shù)據(jù)展示方面，除了可視化展示分析結(jié)果，同時利用搜索引擎技術(shù)幫助用戶更便捷的搜索分析結(jié)果，挖掘數(shù)據(jù)潛在價值，用戶只需要在搜索框輸入需要的數(shù)據(jù)分析維度，然后點擊想要查看的分析結(jié)果，就可以直觀的看到可視化的圖表結(jié)果，更加方便快捷。

3、在包括上述專利的現(xiàn)有技術(shù)中，利用詞條在獲取數(shù)據(jù)的，就是通過對詞條關(guān)鍵字的提取，而這些待提取的數(shù)據(jù)，是預(yù)先處理好的，并以關(guān)鍵字的形式進(jìn)行存儲，從而當(dāng)關(guān)鍵字匹配之后將數(shù)據(jù)提取。但是在對數(shù)據(jù)預(yù)先處理的過程中其需要對關(guān)系型數(shù)據(jù)庫進(jìn)行復(fù)雜的分表、拆表、合并等操作，且搜索引擎運行過程中，也需要根據(jù)數(shù)據(jù)的變化，進(jìn)行適應(yīng)的補丁修復(fù)，從而進(jìn)行完善，而這種補丁形式的拓展存在個很大的弊端，因為補丁代碼和搜索引擎的源代碼之間會存在連接問題，所以在過程中就需要對補丁代碼和源代碼之間進(jìn)行修復(fù)，整個運行維護(hù)的方式極其繁瑣和耗時耗力。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種基于云計算的數(shù)據(jù)分析方法，用于解決上述問題。

2、為了實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、一種基于云計算的數(shù)據(jù)分析方法，包括以下步驟：

4、s01、基于預(yù)先確定的整合參數(shù)計劃將收集的數(shù)據(jù)生成待調(diào)度的數(shù)據(jù)集合；

5、s02、位于云端媒體庫生成用于存儲待調(diào)度的數(shù)據(jù)集合的多通道數(shù)據(jù)存儲區(qū)塊；

6、s03、識別所述數(shù)據(jù)集合并整理生成相應(yīng)的類結(jié)構(gòu)化查詢語言hive?sql語句，同步調(diào)用所述整合參數(shù)計劃中對應(yīng)的計劃模式，并生成的hive?sql語句請求；

7、s04、調(diào)用java數(shù)據(jù)庫連接jdbc連接技術(shù)與基于分布式計算hadoop的數(shù)據(jù)倉庫服務(wù)器hive?server建立連接，響應(yīng)所述hive?sql語句請求；

8、s05、所述媒體庫存儲接收hive?server返回數(shù)據(jù)，并將多通道數(shù)據(jù)存儲區(qū)塊歸零格式化。

9、作為優(yōu)選的，步驟s01中生產(chǎn)生成待調(diào)度的數(shù)據(jù)集合是基于從所述整合參數(shù)計劃加載待調(diào)度的計劃，并根據(jù)加載的計劃的計劃類型調(diào)用相應(yīng)的計劃模式；

10、基于所述計劃模式是否響應(yīng)，判斷數(shù)據(jù)解析調(diào)用的相應(yīng)的計劃模式是否正確，否則返回重新分配。

11、作為優(yōu)選的，所述步驟s02中多通道數(shù)據(jù)存儲區(qū)塊為臨時存儲，并對所述存儲待調(diào)度的數(shù)據(jù)集合進(jìn)行分類歸納，包括：

12、s21、加載計劃模式后，將所述存儲待調(diào)度的數(shù)據(jù)集合劃分為若干的句子s，并分析每一個句子s中包括多個字符m；

13、s22、根據(jù)所述整合參數(shù)計劃提取關(guān)鍵字符m，并基于一個完整數(shù)據(jù)下的多個所述句子s中包含的幾種類型的所述關(guān)鍵字符m，并將完整數(shù)據(jù)下一個定義f；

14、s23、基于計劃模式確定優(yōu)先級最高的優(yōu)先級對象，并根據(jù)獲取的優(yōu)先級對象中的計劃的計劃類型調(diào)用相應(yīng)的計劃處理模塊進(jìn)行數(shù)據(jù)分析。

15、作為優(yōu)選的，所述步驟s23中的優(yōu)先級對象包括主優(yōu)先級隊列，基于計劃模式下確定的多個所述f下屬于處理的優(yōu)先次排序，并將位于同一量級的多個f生成同級的多個通道數(shù)據(jù)存儲區(qū)塊對數(shù)據(jù)按計劃執(zhí)行，進(jìn)行數(shù)據(jù)分析。

16、作為優(yōu)選的，在確定所述主優(yōu)先級隊列下的同一量級的多個f，在多個同級優(yōu)先級對象的優(yōu)先級進(jìn)行比較，確定關(guān)鍵字符m等級進(jìn)行比較，并根據(jù)比較結(jié)果對該優(yōu)先級對象進(jìn)行排序。

17、作為優(yōu)選的，所述步驟s3中調(diào)用所述整合參數(shù)計劃中對應(yīng)的計劃模式，并生成的hive?sql語句請求的步驟包括：

18、s31、根據(jù)計劃模式退出運行或者無法正常運行后，確定加載待調(diào)度的對象到計劃方式，將所述計劃方式中對象執(zhí)行時間到達(dá)的對象封裝到優(yōu)先級對象中；

19、s32、將所述優(yōu)先級對象發(fā)送到所述從優(yōu)先級隊列單元；并從所述從優(yōu)先級隊列單元中獲取優(yōu)先級最高的優(yōu)先級對象；

20、s33、根據(jù)獲取的優(yōu)先級對象中的對象的對象類型調(diào)用相應(yīng)的計劃處理模塊進(jìn)行數(shù)據(jù)分析。

21、作為優(yōu)選的，所述步驟31在對象執(zhí)行時間到達(dá)的對象封裝到優(yōu)先級對象中，別初始化一個計劃模式進(jìn)行攜帶，由各計劃模式分別調(diào)用相應(yīng)的java數(shù)據(jù)庫。

22、作為優(yōu)選的，初始化一個計劃模式進(jìn)行攜帶，針對其它計劃中的每個并行計劃，并行初始化攜帶各并行計劃的計劃處理線程，由各并行初始化后的計劃處理線程分別調(diào)用相應(yīng)的java數(shù)據(jù)庫。

23、在上述技術(shù)方案中，本發(fā)明提供的一種基于云計算的數(shù)據(jù)分析方法，具備以下有益效果：解決了補丁代碼和源代碼運行中出現(xiàn)錯誤的情況，通過代碼自主調(diào)用java數(shù)據(jù)庫的方式，使得補丁代碼和源代碼子自我進(jìn)行修復(fù)從而保持流暢運行。

技術(shù)特征：

1.一種基于云計算的數(shù)據(jù)分析方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于云計算的數(shù)據(jù)分析方法，其特征在于，步驟s01中生產(chǎn)生成待調(diào)度的數(shù)據(jù)集合是基于從所述整合參數(shù)計劃加載待調(diào)度的計劃，并根據(jù)加載的計劃的計劃類型調(diào)用相應(yīng)的計劃模式；

3.根據(jù)權(quán)利要求1所述的一種基于云計算的數(shù)據(jù)分析方法，其特征在于，所述步驟s02中多通道數(shù)據(jù)存儲區(qū)塊為臨時存儲，并對所述存儲待調(diào)度的數(shù)據(jù)集合進(jìn)行分類歸納，包括：

4.根據(jù)權(quán)利要求3所述的一種基于云計算的數(shù)據(jù)分析方法，其特征在于，所述步驟s23中的優(yōu)先級對象包括主優(yōu)先級隊列，基于計劃模式下確定的多個所述f下屬于處理的優(yōu)先次排序，并將位于同一量級的多個f生成同級的多個通道數(shù)據(jù)存儲區(qū)塊對數(shù)據(jù)按計劃執(zhí)行，進(jìn)行數(shù)據(jù)分析。

5.根據(jù)權(quán)利要求4所述的一種基于云計算的數(shù)據(jù)分析方法，其特征在于，在確定所述主優(yōu)先級隊列下的同一量級的多個f，在多個同級優(yōu)先級對象的優(yōu)先級進(jìn)行比較，確定關(guān)鍵字符m等級進(jìn)行比較，并根據(jù)比較結(jié)果對該優(yōu)先級對象進(jìn)行排序。

6.根據(jù)權(quán)利要求1所述的一種基于云計算的數(shù)據(jù)分析方法，其特征在于，所述步驟s3中調(diào)用所述整合參數(shù)計劃中對應(yīng)的計劃模式，并生成的hive?sql語句請求的步驟包括：

7.根據(jù)權(quán)利要求6所述的一種基于云計算的數(shù)據(jù)分析方法，其特征在于，所述步驟31在對象執(zhí)行時間到達(dá)的對象封裝到優(yōu)先級對象中，別初始化一個計劃模式進(jìn)行攜帶，由各計劃模式分別調(diào)用相應(yīng)的java數(shù)據(jù)庫。

8.根據(jù)權(quán)利要求7所述的一種基于云計算的數(shù)據(jù)分析方法，其特征在于，初始化一個計劃模式進(jìn)行攜帶，針對其它計劃中的每個并行計劃，并行初始化攜帶各并行計劃的計劃處理線程，由各并行初始化后的計劃處理線程分別調(diào)用相應(yīng)的java數(shù)據(jù)庫。

9.一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)權(quán)利要求1至8任一項所述基于云計算的數(shù)據(jù)分析方法的步驟。

10.一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其特征在于，該計算機(jī)程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至8任一項所述基于云計算的數(shù)據(jù)分析方法的步驟。

技術(shù)總結(jié)
本發(fā)明公開了一種基于云計算的數(shù)據(jù)分析方法，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，包括以下步驟：S01、基于預(yù)先確定的整合參數(shù)計劃將收集的數(shù)據(jù)生成待調(diào)度的數(shù)據(jù)集合；S02、位于云端媒體庫生成用于存儲待調(diào)度的數(shù)據(jù)集合的多通道數(shù)據(jù)存儲區(qū)塊；S03、識別所述數(shù)據(jù)集合并整理生成相應(yīng)的類結(jié)構(gòu)化查詢語言Hive?SQL語句，同步調(diào)用所述整合參數(shù)計劃中對應(yīng)的計劃模式，并生成的Hive?SQL語句請求；S04、調(diào)用java數(shù)據(jù)庫連接JDBC連接技術(shù)與基于分布式計算Hadoop的數(shù)據(jù)倉庫服務(wù)器Hive?Server建立連接，響應(yīng)所述Hive?SQL語句請求；S05、所述媒體庫存儲接收Hive?Server返回數(shù)據(jù)，并將多通道數(shù)據(jù)存儲區(qū)塊歸零格式化。該發(fā)明解決了補丁代碼和源代碼運行中出現(xiàn)錯誤的情況。

技術(shù)研發(fā)人員：吳金鑫,高妍
受保護(hù)的技術(shù)使用者：南京川廣信息技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6