大數(shù)據(jù)平臺系統(tǒng)及其運行方法
【專利摘要】本發(fā)明公開了大數(shù)據(jù)平臺系統(tǒng)，包括應(yīng)用層、服務(wù)層、功能層、平臺層和采集層；采集層包括移動終端和互聯(lián)網(wǎng)，大數(shù)據(jù)系統(tǒng)通過這兩個渠道采集數(shù)據(jù)，通過用戶在移動終端和計算機等互聯(lián)網(wǎng)工具上的瀏覽記錄、點評等動作搜集數(shù)據(jù)；平臺層由大數(shù)據(jù)存儲平臺、大數(shù)據(jù)計算平臺和多數(shù)據(jù)中心調(diào)度引擎構(gòu)成，平臺層提供了大數(shù)據(jù)分布式存儲系統(tǒng)。本發(fā)明的系統(tǒng)框架完整，功能齊全，涵蓋互聯(lián)網(wǎng)上的大連數(shù)據(jù)資源，通過大數(shù)據(jù)分布式存儲系統(tǒng)、分布式數(shù)據(jù)挖掘運行時系統(tǒng)和智能數(shù)據(jù)中心聯(lián)合調(diào)度技術(shù)實現(xiàn)了對數(shù)據(jù)高效、快速的存儲、計算、整合和調(diào)度，提高了大數(shù)據(jù)平臺系統(tǒng)的處理能力，且系統(tǒng)能夠穩(wěn)定運行。
【專利說明】
大數(shù)據(jù)平臺系統(tǒng)及其運行方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及大數(shù)據(jù)系統(tǒng)技術(shù)領(lǐng)域，尤其涉及大數(shù)據(jù)平臺系統(tǒng)及其運行方法。
【背景技術(shù)】
[0002]大數(shù)據(jù)分析平臺基于分布式海量數(shù)據(jù)存儲與計算環(huán)境，提供圖形化交互式數(shù)據(jù)處理和分析工具，豐富的數(shù)據(jù)分析與挖掘算法，以及交互式可視化分析工具，通過互聯(lián)網(wǎng)服務(wù)方式向用戶提供服務(wù)。這種系統(tǒng)實現(xiàn)策略不僅符合大數(shù)據(jù)應(yīng)用的發(fā)展趨勢，同時也滿足中小企業(yè)和個人用戶對于數(shù)據(jù)分析系統(tǒng)的可用性、時效性和低成本等方面的要求。大數(shù)據(jù)分析平臺所采用的技術(shù)路線和應(yīng)用模式融合了智能分析技術(shù)、高可擴展計算技術(shù)、非結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)和軟件即服務(wù)(SaaS)應(yīng)用模式，符合當(dāng)前國際大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展趨勢和產(chǎn)業(yè)化應(yīng)用要求。一方面，系統(tǒng)通過互聯(lián)網(wǎng)服務(wù)方式向用戶提供高可用、高易用和一站式的海量數(shù)據(jù)分析服務(wù)，可有效降低企業(yè)應(yīng)用門檻和成本，通過專業(yè)化服務(wù)外包滿足企業(yè)個性化需求。另一方面，由于是開放架構(gòu)的系統(tǒng)平臺，商業(yè)用戶和其他軟件提供商可通過系統(tǒng)提供的互聯(lián)網(wǎng)服務(wù)開發(fā)接口(Open API)開發(fā)面向行業(yè)商務(wù)智能應(yīng)用的解決方案，孵化新型咨詢公司、軟件公司和信息服務(wù)公司，有助于形成以平臺為核心的大數(shù)據(jù)分析產(chǎn)業(yè)生態(tài)環(huán)境。
[0003]然而現(xiàn)有的大數(shù)據(jù)平臺系統(tǒng)大多功能單一，框架不完善，無法實現(xiàn)真正的大數(shù)據(jù)處理時代，為此我們設(shè)計出一種大數(shù)據(jù)平臺系統(tǒng)及其運行方法，來解決上述問題。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是為了解決現(xiàn)有技術(shù)中存在的缺點，而提出的大數(shù)據(jù)平臺系統(tǒng)及其運行方法。
[0005]為了實現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案:
大數(shù)據(jù)平臺系統(tǒng)，包括應(yīng)用層、服務(wù)層、功能層、平臺層和采集層；
采集層包括移動終端和互聯(lián)網(wǎng)，大數(shù)據(jù)系統(tǒng)通過這兩個渠道采集數(shù)據(jù)，通過用戶在移動終端和計算機等互聯(lián)網(wǎng)工具上的瀏覽記錄、點評等動作搜集數(shù)據(jù)；
平臺層由大數(shù)據(jù)存儲平臺、大數(shù)據(jù)計算平臺和多數(shù)據(jù)中心調(diào)度引擎構(gòu)成，平臺層提供了大數(shù)據(jù)分布式存儲系統(tǒng)，分布式數(shù)據(jù)挖掘運行時系統(tǒng)和智能數(shù)據(jù)中心聯(lián)合調(diào)度技術(shù)，為大數(shù)據(jù)存儲和挖掘提供大數(shù)據(jù)存儲和計算平臺，為多區(qū)域智能中心的分析架構(gòu)提供多數(shù)據(jù)中心調(diào)度引擎，為整個大數(shù)據(jù)分析平臺提供基礎(chǔ)平臺支持；
功能層由大數(shù)據(jù)集成、大數(shù)據(jù)存儲、大數(shù)據(jù)管理和大數(shù)據(jù)挖掘構(gòu)成，功能層提供了高可擴展性大數(shù)據(jù)挖掘算法，大數(shù)據(jù)安全與隱私保護技術(shù)，大數(shù)據(jù)安全與隱私保護技術(shù)和交互式可視化分析技術(shù)，為大數(shù)據(jù)存儲和挖掘提供大數(shù)據(jù)集成、存儲、管理和挖掘功能，提供基本的大數(shù)據(jù)存儲和挖掘功能；
服務(wù)層基于Web和Open API技術(shù)提供大數(shù)據(jù)服務(wù)，為用戶提供基于互聯(lián)網(wǎng)的大數(shù)據(jù)服務(wù)；
應(yīng)用層為由用戶提供應(yīng)用軟件和搜索網(wǎng)站，用戶可通過這兩個入口使用大數(shù)據(jù)系統(tǒng)的整理的資源和信息。
[0006]優(yōu)選的，所述應(yīng)用層、服務(wù)層、功能層、平臺層和采集層均通過系統(tǒng)監(jiān)控模塊監(jiān)管。
[0007]優(yōu)選的，所述系統(tǒng)基于硬件、軟件以及互聯(lián)網(wǎng)使用。
[0008]優(yōu)選的，所述系統(tǒng)監(jiān)控模塊與公安監(jiān)管系統(tǒng)連接。
[0009]本發(fā)明還提出了一種大數(shù)據(jù)平臺系統(tǒng)的運行方法，包括以下步驟:
51、系統(tǒng)通過用戶在移動終端和計算機等互聯(lián)網(wǎng)工具上的瀏覽記錄、點評等動作采集數(shù)據(jù)；
52、數(shù)據(jù)進入系統(tǒng)的平臺層，通過大數(shù)據(jù)分布式存儲系統(tǒng)，分布式數(shù)據(jù)挖掘運行時系統(tǒng)和智能數(shù)據(jù)中心聯(lián)合調(diào)度技術(shù)對數(shù)據(jù)進行存儲、計算、整合和調(diào)度，提高大規(guī)模、非結(jié)構(gòu)化數(shù)據(jù)的存儲方式，構(gòu)建大數(shù)據(jù)運行時系統(tǒng)以及構(gòu)建基于多智能中心的大數(shù)據(jù)服務(wù)平臺；
53、數(shù)據(jù)進入系統(tǒng)的功能層，通過高可擴展性大數(shù)據(jù)挖掘算法實現(xiàn)TB級數(shù)據(jù)的建模能力，通過大數(shù)據(jù)安全與隱私保護技術(shù)確保大數(shù)據(jù)挖掘過程中的數(shù)據(jù)安全，保證用戶的隱私不被泄露，通過分布式工作流引擎研究基于云計算的分布式工作流調(diào)度、負(fù)載均衡技術(shù)，通過交互式可視化分析技術(shù)實現(xiàn)大數(shù)據(jù)挖掘的高度人機交互功能；
54、數(shù)據(jù)進入系統(tǒng)的服務(wù)層，構(gòu)建基于Web的大數(shù)據(jù)分析環(huán)境和基于OpenAPI的大數(shù)據(jù)分析模式；
55、至此數(shù)據(jù)處理過程結(jié)束，用戶可通過應(yīng)用軟件和搜索網(wǎng)站使用大數(shù)據(jù)系統(tǒng)的整理的資源和信息。
[0010]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是:本系統(tǒng)框架完整，功能齊全，涵蓋互聯(lián)網(wǎng)上的大連數(shù)據(jù)資源，通過大數(shù)據(jù)分布式存儲系統(tǒng)、分布式數(shù)據(jù)挖掘運行時系統(tǒng)和智能數(shù)據(jù)中心聯(lián)合調(diào)度技術(shù)實現(xiàn)了對數(shù)據(jù)高效、快速的存儲、計算、整合和調(diào)度，提高了大數(shù)據(jù)平臺系統(tǒng)的處理能力，且系統(tǒng)能夠穩(wěn)定運行。
【附圖說明】
[0011]圖1為本發(fā)明提出的大數(shù)據(jù)平臺系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實施方式】
[0012]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。
[0013]參照圖1，大數(shù)據(jù)平臺系統(tǒng)，包括應(yīng)用層、服務(wù)層、功能層、平臺層和采集層，所述應(yīng)用層、服務(wù)層、功能層、平臺層和采集層均通過系統(tǒng)監(jiān)控模塊監(jiān)管，所述系統(tǒng)基于硬件、軟件以及互聯(lián)網(wǎng)使用，所述系統(tǒng)監(jiān)控模塊與公安監(jiān)管系統(tǒng)連接；
采集層包括移動終端和互聯(lián)網(wǎng)，大數(shù)據(jù)系統(tǒng)通過這兩個渠道采集數(shù)據(jù)，通過用戶在移動終端和計算機等互聯(lián)網(wǎng)工具上的瀏覽記錄、點評等動作搜集數(shù)據(jù)；
平臺層由大數(shù)據(jù)存儲平臺、大數(shù)據(jù)計算平臺和多數(shù)據(jù)中心調(diào)度引擎構(gòu)成，平臺層提供了大數(shù)據(jù)分布式存儲系統(tǒng)，分布式數(shù)據(jù)挖掘運行時系統(tǒng)和智能數(shù)據(jù)中心聯(lián)合調(diào)度技術(shù)，為大數(shù)據(jù)存儲和挖掘提供大數(shù)據(jù)存儲和計算平臺，為多區(qū)域智能中心的分析架構(gòu)提供多數(shù)據(jù)中心調(diào)度引擎，為整個大數(shù)據(jù)分析平臺提供基礎(chǔ)平臺支持；
功能層由大數(shù)據(jù)集成、大數(shù)據(jù)存儲、大數(shù)據(jù)管理和大數(shù)據(jù)挖掘構(gòu)成，功能層提供了高可擴展性大數(shù)據(jù)挖掘算法，大數(shù)據(jù)安全與隱私保護技術(shù)，大數(shù)據(jù)安全與隱私保護技術(shù)和交互式可視化分析技術(shù)，為大數(shù)據(jù)存儲和挖掘提供大數(shù)據(jù)集成、存儲、管理和挖掘功能，提供基本的大數(shù)據(jù)存儲和挖掘功能；
服務(wù)層基于Web和Open API技術(shù)提供大數(shù)據(jù)服務(wù)，為用戶提供基于互聯(lián)網(wǎng)的大數(shù)據(jù)服務(wù)；
應(yīng)用層為由用戶提供應(yīng)用軟件和搜索網(wǎng)站，用戶可通過這兩個入口使用大數(shù)據(jù)系統(tǒng)的整理的資源和信息。
[0014]本發(fā)明還提出了一種大數(shù)據(jù)平臺系統(tǒng)的運行方法，包括以下步驟:
51、系統(tǒng)通過用戶在移動終端和計算機等互聯(lián)網(wǎng)工具上的瀏覽記錄、點評等動作采集數(shù)據(jù)；
52、數(shù)據(jù)進入系統(tǒng)的平臺層，通過大數(shù)據(jù)分布式存儲系統(tǒng)，分布式數(shù)據(jù)挖掘運行時系統(tǒng)和智能數(shù)據(jù)中心聯(lián)合調(diào)度技術(shù)對數(shù)據(jù)進行存儲、計算、整合和調(diào)度，提高大規(guī)模、非結(jié)構(gòu)化數(shù)據(jù)的存儲方式，構(gòu)建大數(shù)據(jù)運行時系統(tǒng)以及構(gòu)建基于多智能中心的大數(shù)據(jù)服務(wù)平臺；
53、數(shù)據(jù)進入系統(tǒng)的功能層，通過高可擴展性大數(shù)據(jù)挖掘算法實現(xiàn)TB級數(shù)據(jù)的建模能力，通過大數(shù)據(jù)安全與隱私保護技術(shù)確保大數(shù)據(jù)挖掘過程中的數(shù)據(jù)安全，保證用戶的隱私不被泄露，通過分布式工作流引擎研究基于云計算的分布式工作流調(diào)度、負(fù)載均衡技術(shù)，通過交互式可視化分析技術(shù)實現(xiàn)大數(shù)據(jù)挖掘的高度人機交互功能；
54、數(shù)據(jù)進入系統(tǒng)的服務(wù)層，構(gòu)建基于Web的大數(shù)據(jù)分析環(huán)境和基于OpenAPI的大數(shù)據(jù)分析模式；
55、至此數(shù)據(jù)處理過程結(jié)束，用戶可通過應(yīng)用軟件和搜索網(wǎng)站使用大數(shù)據(jù)系統(tǒng)的整理的資源和信息。
[0015]以上所述，僅為本發(fā)明較佳的【具體實施方式】，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，根據(jù)本發(fā)明的技術(shù)方案及其發(fā)明構(gòu)思加以等同替換或改變，都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。
【主權(quán)項】
1.大數(shù)據(jù)平臺系統(tǒng)，其特征在于，包括應(yīng)用層、服務(wù)層、功能層、平臺層和采集層； 采集層包括移動終端和互聯(lián)網(wǎng)，大數(shù)據(jù)系統(tǒng)通過這兩個渠道采集數(shù)據(jù)，通過用戶在移動終端和計算機等互聯(lián)網(wǎng)工具上的瀏覽記錄、點評等動作搜集數(shù)據(jù)； 平臺層由大數(shù)據(jù)存儲平臺、大數(shù)據(jù)計算平臺和多數(shù)據(jù)中心調(diào)度引擎構(gòu)成，平臺層提供了大數(shù)據(jù)分布式存儲系統(tǒng)，分布式數(shù)據(jù)挖掘運行時系統(tǒng)和智能數(shù)據(jù)中心聯(lián)合調(diào)度技術(shù)，為大數(shù)據(jù)存儲和挖掘提供大數(shù)據(jù)存儲和計算平臺，為多區(qū)域智能中心的分析架構(gòu)提供多數(shù)據(jù)中心調(diào)度引擎，為整個大數(shù)據(jù)分析平臺提供基礎(chǔ)平臺支持； 功能層由大數(shù)據(jù)集成、大數(shù)據(jù)存儲、大數(shù)據(jù)管理和大數(shù)據(jù)挖掘構(gòu)成，功能層提供了高可擴展性大數(shù)據(jù)挖掘算法，大數(shù)據(jù)安全與隱私保護技術(shù)，大數(shù)據(jù)安全與隱私保護技術(shù)和交互式可視化分析技術(shù)，為大數(shù)據(jù)存儲和挖掘提供大數(shù)據(jù)集成、存儲、管理和挖掘功能，提供基本的大數(shù)據(jù)存儲和挖掘功能； 服務(wù)層基于Web和Open API技術(shù)提供大數(shù)據(jù)服務(wù)，為用戶提供基于互聯(lián)網(wǎng)的大數(shù)據(jù)服務(wù)； 應(yīng)用層為由用戶提供應(yīng)用軟件和搜索網(wǎng)站，用戶可通過這兩個入口使用大數(shù)據(jù)系統(tǒng)的整理的資源和信息。2.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)平臺系統(tǒng)，其特征在于，所述應(yīng)用層、服務(wù)層、功能層、平臺層和采集層均通過系統(tǒng)監(jiān)控模塊監(jiān)管。3.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)平臺系統(tǒng)，其特征在于，所述系統(tǒng)基于硬件、軟件以及互聯(lián)網(wǎng)使用。4.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)平臺系統(tǒng)，其特征在于，所述系統(tǒng)監(jiān)控模塊與公安監(jiān)管系統(tǒng)連接。5.大數(shù)據(jù)平臺系統(tǒng)的運行方法，其特征在于，包括以下步驟: S1、系統(tǒng)通過用戶在移動終端和計算機等互聯(lián)網(wǎng)工具上的瀏覽記錄、點評等動作采集數(shù)據(jù)； S2、數(shù)據(jù)進入系統(tǒng)的平臺層，通過大數(shù)據(jù)分布式存儲系統(tǒng)，分布式數(shù)據(jù)挖掘運行時系統(tǒng)和智能數(shù)據(jù)中心聯(lián)合調(diào)度技術(shù)對數(shù)據(jù)進行存儲、計算、整合和調(diào)度，提高大規(guī)模、非結(jié)構(gòu)化數(shù)據(jù)的存儲方式，構(gòu)建大數(shù)據(jù)運行時系統(tǒng)以及構(gòu)建基于多智能中心的大數(shù)據(jù)服務(wù)平臺； S3、數(shù)據(jù)進入系統(tǒng)的功能層，通過高可擴展性大數(shù)據(jù)挖掘算法實現(xiàn)TB級數(shù)據(jù)的建模能力，通過大數(shù)據(jù)安全與隱私保護技術(shù)確保大數(shù)據(jù)挖掘過程中的數(shù)據(jù)安全，保證用戶的隱私不被泄露，通過分布式工作流引擎研究基于云計算的分布式工作流調(diào)度、負(fù)載均衡技術(shù)，通過交互式可視化分析技術(shù)實現(xiàn)大數(shù)據(jù)挖掘的高度人機交互功能； S4、數(shù)據(jù)進入系統(tǒng)的服務(wù)層，構(gòu)建基于Web的大數(shù)據(jù)分析環(huán)境和基于OpenAPI的大數(shù)據(jù)分析模式； S5、至此數(shù)據(jù)處理過程結(jié)束，用戶可通過應(yīng)用軟件和搜索網(wǎng)站使用大數(shù)據(jù)系統(tǒng)的整理的資源和信息。
【文檔編號】H04L29/08GK105933461SQ201610562000
【公開日】2016年9月7日
【申請日】2016年7月18日
【發(fā)明人】劉貴全, 葉劍鳴, 印金汝
【申請人】合肥赑歌數(shù)據(jù)科技有限公司