一種大數(shù)據(jù)分析處理工具的制作方法
【專利摘要】本發(fā)明公開了一種大數(shù)據(jù)分析處理工具，即裴克銘DatSmart工具，其采用多個(gè)不同的層來將性能和易用性結(jié)合到一起，包括用戶界面層和Web API層；工作流通過用戶界面層創(chuàng)建，存儲在RDBMS中，然后由工作流執(zhí)行器服務(wù)拾取，通過基于任務(wù)的異步模型來異步執(zhí)行；工作流完成后，結(jié)果/元數(shù)據(jù)在RDBMS中再次更新，然后通過SignalR廣播消息發(fā)送到用戶界面層。本發(fā)明提供了易于使用的數(shù)據(jù)處理功能包括：數(shù)據(jù)導(dǎo)入、EDD電子數(shù)據(jù)字典、數(shù)據(jù)完整性檢查、數(shù)據(jù)準(zhǔn)備、變量工程和可視化等。由此為數(shù)據(jù)提供全方位的數(shù)據(jù)視圖，能夠在極短的時(shí)間內(nèi)揭示出傳統(tǒng)方法無法展現(xiàn)的隱藏的事實(shí)，助力決策過程。
【專利說明】
一種大數(shù)據(jù)分析處理工具
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于大數(shù)據(jù)分析和處理技術(shù)領(lǐng)域，具體的說是涉及一種大數(shù)據(jù)分析處理工具，其采用極為簡單的單網(wǎng)頁應(yīng)用結(jié)合到一起。
【背景技術(shù)】
[0002]DatSmart是一種用于大數(shù)據(jù)分析的軟件工具，為用戶提供有關(guān)大數(shù)據(jù)的抽象分析，供其對任何類型的數(shù)據(jù)，例如結(jié)構(gòu)化數(shù)據(jù)/非結(jié)構(gòu)化數(shù)據(jù)/半結(jié)構(gòu)化數(shù)據(jù)，開展各種深入研究/分析。為裴克銘的內(nèi)部分析師提供協(xié)助，相對來說無需編寫代碼。DatSmart工具是各種不同工具與技術(shù)的一個(gè)組合，可幫助對原始數(shù)據(jù)執(zhí)行分步處理與分析，提供針對數(shù)據(jù)極具意義的深入見解以及360度全方位的數(shù)據(jù)視圖，除了數(shù)據(jù)處理和分析功能外，還可通過各種交互方式，例如圖表、示意圖、表格等，實(shí)現(xiàn)結(jié)果的可視化。
[0003]當(dāng)前提供的工具能夠執(zhí)行部分操作，但并不是具備全套功能的單一工具，后者具備通過簡單的網(wǎng)頁界面正確整合所有科學(xué)算法和數(shù)據(jù)處理的能力。DatSmart的構(gòu)建采用AngularJS作為前端接口，并且采用Microsoft Web API作為REST API層，提供對Hadoop生態(tài)系統(tǒng)實(shí)現(xiàn)的所有功能，例如Spark、Hive、HBase等的提取，其主要科學(xué)算法由Scala代碼開發(fā)而成。

【發(fā)明內(nèi)容】

[0004]本發(fā)明為了克服現(xiàn)有技術(shù)存在的不足，提供一種大數(shù)據(jù)分析處理工具，適用于裴克銘管理咨詢(上海)有限公司，即DatSmart工具。
[0005]本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的:一種大數(shù)據(jù)分析處理工具，大數(shù)據(jù)分析處理工具采用多個(gè)不同的層來將性能和易用性結(jié)合到一起，大數(shù)據(jù)分析處理工具包括用戶界面層和Web API層；用戶界面層采用AngularJS和Bootstrap框架構(gòu)建，使大數(shù)據(jù)分析處理工具能夠真正做出實(shí)質(zhì)上的快速響應(yīng);Web API層采用Asp.net MVC Web API構(gòu)建，支持真正的異步操作；工作流通過用戶界面層創(chuàng)建，存儲在RDBMS中，然后由工作流執(zhí)行器服務(wù)拾取，通過Net Framework所提供的基于任務(wù)的異步模型來異步執(zhí)行;工作流完成后，結(jié)果/元數(shù)據(jù)在RDBMS中再次更新，然后通過SignalR廣播消息發(fā)送到用戶界面層。工作流執(zhí)行服務(wù)是一種Windows服務(wù)，通過Hadoop簇來創(chuàng)建SSH連接，執(zhí)行工作流中提及的所有步驟。
[0006]本發(fā)明中的大數(shù)據(jù)分析處理工具為DatSmart工具適用于裴克銘管理咨詢(上海)有限公司。
[0007]本發(fā)明的有益效果是:提供一種大數(shù)據(jù)分析處理工具，具有充分的靈活性與可擴(kuò)展性，滿足客戶復(fù)雜的數(shù)據(jù)分析要求。本發(fā)明DatSmart工具的設(shè)計(jì)采用大數(shù)據(jù)，無縫集成形形色色復(fù)雜的科學(xué)算法，其各種數(shù)據(jù)操作可提供有關(guān)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的深入見解。迄今為止，使用本工具所完成的分析工作都極為出色，原因在于通過一個(gè)單一的工具包即可提供全部功能，為數(shù)據(jù)提供360°全方位的數(shù)據(jù)視圖，能夠在極短的時(shí)間內(nèi)揭示出傳統(tǒng)方法無法展現(xiàn)的隱藏的事實(shí)。此外還能在所需的層面上提供深入見解，助力決策過程。
[0008]本發(fā)明大數(shù)據(jù)分析處理工具的功能包括:數(shù)據(jù)導(dǎo)入、EDD電子數(shù)據(jù)字典、數(shù)據(jù)完整性檢查、數(shù)據(jù)準(zhǔn)備、變量工程和可視化等。
[0009]數(shù)據(jù)導(dǎo)入:該操作可供用戶以各種格式導(dǎo)入數(shù)據(jù)，例如Excel、CSV、文本文件、制表符分隔文件、逗號分隔文件等。
[0010]EDD電子數(shù)據(jù)字典:該操作可供用戶選擇應(yīng)用到給定數(shù)據(jù)集的各種科學(xué)算法，例如:1、單變量分析可供用戶查找任何給定數(shù)據(jù)集的各種統(tǒng)計(jì)信息，例如求和、最小值、最大值、唯一值數(shù)、缺失值數(shù)、標(biāo)準(zhǔn)偏差、方差、平均值、中間值、眾數(shù)、四分位數(shù);2、字符分析將提供字符型變量的匯總結(jié)果。
[0011 ]數(shù)據(jù)完整性檢查:該操作可供用戶選擇處理原始數(shù)據(jù)的各種算法，例如:1、缺失值處理使用戶能夠靈活的將缺失值替換為平均值/中位值;2、離群值處理使用戶能夠靈活的使用西格瑪值來查找離群值;3、重復(fù)檢查使用戶能夠靈活的檢查重復(fù)的行;4、壞行處理可將非正常的行從數(shù)據(jù)集中分離出來，并將文件頭保留作為參考。
[0012]數(shù)據(jù)準(zhǔn)備:該操作可供用戶執(zhí)行各種數(shù)據(jù)準(zhǔn)備步驟，取數(shù)據(jù)子集和數(shù)據(jù)合并，例如:1、取數(shù)據(jù)子集供用戶基于各種條件來過濾出數(shù)據(jù)，并且還可從現(xiàn)有變量中創(chuàng)建出新的變量；2、數(shù)據(jù)合并供用戶基于各種連接條件連接起兩個(gè)或更多的數(shù)據(jù)集，如內(nèi)連接、左連接、右連接、交叉連接等，并且為選定的字段返回匯總數(shù)據(jù)。
[0013]變量工程:該操作可供用戶執(zhí)行多種操作，例如:1、創(chuàng)建新變量:供用戶通過加減等操作創(chuàng)建新變量;2、創(chuàng)建標(biāo)志二進(jìn)制變量:在該操作中，用戶以O(shè)和I的形式獲知在給定變量上所應(yīng)用條件的情況，例如是否適用；3、數(shù)學(xué)函數(shù):用戶可對變量應(yīng)用多種數(shù)學(xué)函數(shù)，平方根、立方等;4、字符串操作:供用戶執(zhí)行字符串操作，例如取長度、反向、修剪、取子串等。
[0014]可視化:Datsmart可供用戶以各種所需的格式來查看不同的工作流各步驟的結(jié)果，例如:1、列表數(shù)據(jù)可按前100行/隨機(jī)100行的形式進(jìn)行可視化，以便了解處理完成后數(shù)據(jù)的表現(xiàn)形式;2、數(shù)據(jù)能夠作為不同類型的圖表來可視化，例如條形圖、餅形圖、柱狀圖等，用于確認(rèn)處理完成后數(shù)據(jù)的分布;3、使用地理編碼或反向地理編碼，通過交互式地圖能夠?qū)Φ乩砜臻g數(shù)據(jù)進(jìn)行可視化。
【附圖說明】
[0015]圖1是本發(fā)明大數(shù)據(jù)分析處理工具的架構(gòu)描述圖；
圖中名詞中英文對照:
UI Layer (Angular JS)--用戶界面層(Angular JS)；
Web API Layer (C# DotNet) + SignalR--Web API 層(C# DotNet開發(fā))+
SignalR；
Workflow Executor Service--工作流執(zhí)行器服務(wù)；
Hadoop Ecosystem--Hadoop 生態(tài)系統(tǒng)；
Hive--Hive(基于Hadoop的一個(gè)數(shù)據(jù)倉庫工具)；
Spark--Spark(一個(gè)Hadoop Mapreduce 的通用并行框架)；
HBase——HBase (一個(gè)分布式，面向列的數(shù)據(jù)庫)。
【具體實(shí)施方式】
[0016]以下結(jié)合附圖對本發(fā)明作詳細(xì)描述。
[0017]如圖1所示:一種大數(shù)據(jù)分析處理工具，大數(shù)據(jù)分析處理工具采用多個(gè)不同的層來將性能和易用性結(jié)合到一起，大數(shù)據(jù)分析處理工具包括用戶界面層和Web API層；用戶界面層采用AngularJS和Bootstrap框架構(gòu)建，使大數(shù)據(jù)分析處理工具能夠真正做出實(shí)質(zhì)上的快速響應(yīng);Web API層采用Asp.net MVC Web API構(gòu)建，支持真正的異步操作；工作流通過用戶界面層創(chuàng)建，存儲在RDBMS中，然后由工作流執(zhí)行器服務(wù)拾取，通過NetFramework所提供的基于任務(wù)的異步模型來異步執(zhí)行；工作流完成后，結(jié)果/元數(shù)據(jù)在RDBMS中再次更新，然后通過SignalR廣播消息發(fā)送到用戶界面層。工作流執(zhí)行服務(wù)是一種Windows服務(wù)，通過Hadoop簇來創(chuàng)建SSH連接，執(zhí)行工作流中提及的所有步驟。
[0018]最后應(yīng)當(dāng)說明的是，以上內(nèi)容僅用以說明本發(fā)明的技術(shù)方案，而非對本發(fā)明保護(hù)范圍的限制，本領(lǐng)域的普通技術(shù)人員對本發(fā)明的技術(shù)方案進(jìn)行的簡單修改或者等同替換，均不脫離本發(fā)明技術(shù)方案的實(shí)質(zhì)和范圍。
【主權(quán)項(xiàng)】
1.一種大數(shù)據(jù)分析處理工具，其特征在于:所述大數(shù)據(jù)分析處理工具采用多個(gè)不同的層來將性能和易用性結(jié)合到一起，所述大數(shù)據(jù)分析處理工具包括用戶界面層和Web API層；用戶界面層采用AngularJS和Bootstrap框架構(gòu)建，使大數(shù)據(jù)分析處理工具能夠真正做出實(shí)質(zhì)上的快速響應(yīng);Web API層采用Asp.net MVC Web API構(gòu)建，支持真正的異步操作；工作流通過用戶界面層創(chuàng)建，存儲在RDBMS中，然后由工作流執(zhí)行器服務(wù)拾取，通過.Net Framework所提供的基于任務(wù)的異步模型來異步執(zhí)行；工作流完成后，結(jié)果/元數(shù)據(jù)在RDBMS中再次更新，然后通過SignalR廣播消息發(fā)送到用戶界面層。2.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)分析處理工具，其特征在于:所述工作流執(zhí)行服務(wù)是一種Windows服務(wù)，通過Hadoop簇來創(chuàng)建SSH連接，執(zhí)行工作流中提及的所有步驟。3.根據(jù)權(quán)利要求1或2所述的一種大數(shù)據(jù)分析處理工具，其特征在于:所述大數(shù)據(jù)分析處理工具提供了易于使用的數(shù)據(jù)處理功能，如數(shù)據(jù)導(dǎo)入、EDD電子數(shù)據(jù)字典、數(shù)據(jù)完整性檢查、數(shù)據(jù)準(zhǔn)備、變量工程和可視化。
【文檔編號】G06F17/30GK105930450SQ201610249404
【公開日】2016年9月7日
【申請日】2016年4月21日
【發(fā)明人】萬云飛
【申請人】裴克銘管理咨詢（上海）有限公司