集的名字，value是局部支持度。
[0037]步驟4:Map的輸出作為reduce的輸入，reduce的主要任務(wù)就是將各個(gè)key值在每個(gè)節(jié)點(diǎn)上的局部支持度進(jìn)行一個(gè)累加，得到最終的全局支持度。
[0038]步驟5:將每個(gè)key-項(xiàng)集的全局支持度與最小支持度進(jìn)行比較，得到頻繁k_項(xiàng)集
[0039]本發(fā)明上述方法是基于MapReduce分布式處理的特點(diǎn)，通過(guò)先計(jì)算局部支持度，最后得到全局支持度?；贛apReduce的Apr1ri算法在事務(wù)數(shù)據(jù)庫(kù)的數(shù)據(jù)量非常大的時(shí)候可以將頻繁項(xiàng)集的搜索速度大大提高。將其運(yùn)用于一種基于Hadoop的用戶(hù)服務(wù)安全的方法和系統(tǒng)中的數(shù)據(jù)挖掘模塊，挖掘出海量天氣數(shù)據(jù)與常見(jiàn)疾病發(fā)病率之間的強(qiáng)關(guān)聯(lián)規(guī)則，為用戶(hù)提供疾病預(yù)測(cè)，給出防范信息。
[0040]分布式存儲(chǔ)模塊主要起一個(gè)后臺(tái)存儲(chǔ)的功能。用戶(hù)展示平臺(tái)所能提供的各種服務(wù)都是基于分布式存儲(chǔ)模塊獲取所需的數(shù)據(jù)。本系統(tǒng)采用Spring MVC模式，View與Model相分離的思想，業(yè)務(wù)的改變不會(huì)觸動(dòng)底層數(shù)據(jù)的變動(dòng)。針對(duì)海量的天氣數(shù)據(jù)，采用HDFS分布式存儲(chǔ)，并結(jié)合HBase對(duì)數(shù)據(jù)進(jìn)行有效組織和查詢(xún)。HBase適用于對(duì)key/value類(lèi)型的非結(jié)構(gòu)化稀疏大數(shù)據(jù)，并且其特色在于數(shù)據(jù)的一次寫(xiě)入、多次讀取。而用戶(hù)服務(wù)中的天氣信息的特性決定了其采用HBase的合適性。采用MapReduce對(duì)HDFS中保存的數(shù)據(jù)進(jìn)行原始清理，得到數(shù)據(jù)挖掘部分所需要的數(shù)據(jù)。根據(jù)用戶(hù)所處位置的天氣信息，本發(fā)明把用戶(hù)編號(hào)(UserID)作為HBase表的RowKey (行鍵)，用戶(hù)的基本資料作為Column Familyl，采集的天氣信息作為Column Family2，常見(jiàn)疾病的發(fā)病率作為Column Family3。這樣做的目的在于加快對(duì)用戶(hù)所需數(shù)據(jù)的查找處理速度。HBase以HDFS為基礎(chǔ)，并且將MapReduce的輸出結(jié)果也存入HBase中，方便用戶(hù)直接查看數(shù)據(jù)。
[0041]挖掘結(jié)果展示模塊采用傳統(tǒng)的Spring MVC框架，本發(fā)明系統(tǒng)基于對(duì)大數(shù)據(jù)的處理，所以該系統(tǒng)實(shí)現(xiàn)整合了 Spring MVC以及Spring for Hadoop，因此在配置Spring MVC框架的核心文件web.xml時(shí)將Hadoop以及HBase的一些基本配置注入ServletContext (上下文)中，使整個(gè)web項(xiàng)目都能調(diào)用Hadoop平臺(tái)。本系統(tǒng)通過(guò)網(wǎng)頁(yè)將挖掘結(jié)果展示，由于在web.xml配置文件中集成了 Hadoop的相關(guān)操作，因?yàn)楸景l(fā)明可以通過(guò)網(wǎng)頁(yè)應(yīng)用直接調(diào)用Hadoop平臺(tái)，進(jìn)行遠(yuǎn)程創(chuàng)建HBase表以及HBase中數(shù)據(jù)的導(dǎo)出。在Spring MVC視圖(View)中，以HTML展示大數(shù)據(jù)挖掘關(guān)聯(lián)分析后的結(jié)果。
[0042]如圖3所示，本發(fā)明還提供一種基于Hadoop的用戶(hù)服務(wù)安全系統(tǒng)的實(shí)現(xiàn)方法，該方法包括如下步驟:
[0043]步驟1:用戶(hù)通過(guò)用戶(hù)展示平臺(tái)，登錄系統(tǒng)。
[0044]步驟2:系統(tǒng)根據(jù)用戶(hù)個(gè)人基本健康信息管理模塊中的位置信息上傳當(dāng)前位置處的智能節(jié)點(diǎn)所采集到的天氣信息。
[0045]步驟3:將上傳的天氣信息儲(chǔ)存在HDFS中，并以HBase進(jìn)行組織和管理。
[0046]步驟4:將存儲(chǔ)于HDFS中的天氣信息數(shù)據(jù)進(jìn)行原始清理，得到數(shù)據(jù)挖掘部分需要的數(shù)據(jù)。
[0047]步驟5:將需要數(shù)據(jù)挖掘部分的數(shù)據(jù)與存儲(chǔ)于HDFS中的相關(guān)疾病發(fā)病情況進(jìn)行關(guān)聯(lián)分析，找出它們之間的關(guān)聯(lián)特性。
[0048]步驟6:根據(jù)數(shù)據(jù)挖掘算法找出的天氣與疾病之間的強(qiáng)關(guān)聯(lián)特性，由當(dāng)前位置上當(dāng)天的天氣信息，給出需要注意防范的疾病信息。
[0049]步驟7:將需要防范的疾病信息展示在用戶(hù)展示平臺(tái)，供用戶(hù)查看。
[0050]本發(fā)明上述步驟2的天氣信息包括:溫度、降雨量、風(fēng)力、相對(duì)濕度、光照信息。
[0051]本發(fā)明所述方法應(yīng)用于為用戶(hù)提供健康數(shù)據(jù)的分析服務(wù)，方便用戶(hù)進(jìn)行疾病防范。
【主權(quán)項(xiàng)】
1.一種基于Hadoop的用戶(hù)服務(wù)安全系統(tǒng)，其特征在于，所述系統(tǒng)包括:智能采集節(jié)點(diǎn)，用戶(hù)展示平臺(tái)，Hadoop大數(shù)據(jù)處理平臺(tái)； 所述的智能采集節(jié)點(diǎn)包括:采集經(jīng)度、維度、海拔、溫度、降雨量、風(fēng)力、相對(duì)濕度、光照；用戶(hù)利用智能終端測(cè)量關(guān)鍵生理指標(biāo)，并將數(shù)據(jù)存儲(chǔ)HDFS中； 所述的用戶(hù)展示平臺(tái)包括:采用Spring MVC框架，提供簡(jiǎn)潔明了的人機(jī)界面，方便用戶(hù)查看當(dāng)前智能節(jié)點(diǎn)采集的天氣信息，以及查看由此天氣信息得出的當(dāng)前需要注意防范的疾??； 所述的Hadoop大數(shù)據(jù)處理平臺(tái)包括:負(fù)責(zé)存儲(chǔ)上傳的數(shù)據(jù)，并對(duì)存儲(chǔ)其中的數(shù)據(jù)進(jìn)行挖掘，反饋數(shù)據(jù)挖掘出來(lái)的結(jié)果。2.根據(jù)權(quán)利要求1所述的一種基于Hadoop的用戶(hù)服務(wù)安全系統(tǒng)，其特征在于:所述系統(tǒng)的模塊包括:個(gè)人基本健康信息管理模塊、數(shù)據(jù)挖掘模塊、分布式存儲(chǔ)模塊、挖掘結(jié)果展不豐旲塊。3.根據(jù)權(quán)利要求2所述一種基于Hadoop的用戶(hù)服務(wù)安全系統(tǒng)，其特征在于:所述的個(gè)人基本健康信息管理模塊的功能包括:有用戶(hù)姓名、性別、年齡、出生日期、職業(yè)、用戶(hù)當(dāng)前所處位置，并且當(dāng)用戶(hù)首次注冊(cè)系統(tǒng)會(huì)為其分配唯一標(biāo)識(shí)的用戶(hù)ID，這些數(shù)據(jù)由用戶(hù)注冊(cè)的時(shí)候填寫(xiě)，并可以隨時(shí)修改；用戶(hù)可以在基本健康信息管理模塊里面查看過(guò)往系統(tǒng)根據(jù)天氣信息提出的需要注意防范的疾病。4.根據(jù)權(quán)利要求2所述的一種基于Hadoop的用戶(hù)服務(wù)安全系統(tǒng)，其特征在于:所述的數(shù)據(jù)挖掘模塊的功能包括:采用適用于Hadoop平臺(tái)的Apr1ri算法，挖掘出天氣信息與疾病之間的關(guān)聯(lián)關(guān)系，包括: 首先將事務(wù)數(shù)據(jù)庫(kù)D切割成N個(gè)子集；由MapReduce模式自行切割，啟動(dòng)N個(gè)map任務(wù); map處理前，將數(shù)據(jù)格式轉(zhuǎn)換成布爾矩陣； 以〈key, value)作為map的輸入，對(duì)value進(jìn)行操作，找出其中的局部候選集k_項(xiàng)集，然后進(jìn)行一個(gè)shuffle的過(guò)程；得到每個(gè)子集基于自己部分?jǐn)?shù)據(jù)所有項(xiàng)集的局部支持度； map的輸出作為reduce的輸入； 將每個(gè)k-項(xiàng)集的全局支持度與最小支持度進(jìn)行比較，得到頻繁k-項(xiàng)集。5.根據(jù)權(quán)利要求1所述的一種基于Hadoop的用戶(hù)服務(wù)安全系統(tǒng)，其特征在于:所述的分布式存儲(chǔ)模塊的功能包括:采用Hadoop的核心子項(xiàng)目之一的HDFS ;HDFS具有處理超大文件、流式的訪問(wèn)數(shù)據(jù)、計(jì)算本地化的功能；運(yùn)用于廉價(jià)的商用集群。6.根據(jù)權(quán)利要求1所述的一種基于Hadoop的用戶(hù)服務(wù)安全系統(tǒng)，其特征在于:所述的挖掘結(jié)果展示模塊的功能包括:采用基于MVC設(shè)計(jì)模式的Spring MVC的框架設(shè)計(jì)系統(tǒng)的三層結(jié)構(gòu)；引入了 HBase，在該模塊的數(shù)據(jù)訪問(wèn)層中封裝了對(duì)HBase的操作。7.根據(jù)權(quán)利要求1所述的一種基于Hadoop的用戶(hù)服務(wù)安全系統(tǒng)，其特征在于:所述系統(tǒng)能夠根據(jù)當(dāng)前測(cè)量的天氣數(shù)據(jù)預(yù)測(cè)給出用戶(hù)可能生成的疾病。8.—種基于Hadoop的用戶(hù)服務(wù)安全系統(tǒng)的實(shí)現(xiàn)方法，其特征在于，所述方法包括如下步驟: 步驟1:用戶(hù)通過(guò)用戶(hù)展示平臺(tái)，登錄系統(tǒng)； 步驟2:系統(tǒng)根據(jù)用戶(hù)個(gè)人基本健康信息管理模塊中的位置信息上傳當(dāng)前位置處的智能節(jié)點(diǎn)所采集到的天氣信息； 步驟3:將上傳的天氣信息儲(chǔ)存在HDFS中，并以HBase進(jìn)行組織和管理； 步驟4:將存儲(chǔ)于HDFS中的天氣信息數(shù)據(jù)進(jìn)行原始清理，得到數(shù)據(jù)挖掘部分需要的數(shù)據(jù)； 步驟5:將需要數(shù)據(jù)挖掘部分的數(shù)據(jù)與存儲(chǔ)于HDFS中的相關(guān)疾病發(fā)病情況進(jìn)行關(guān)聯(lián)分析，找出它們之間的關(guān)聯(lián)特性； 步驟6:根據(jù)數(shù)據(jù)挖掘算法找出的天氣與疾病之間的強(qiáng)關(guān)聯(lián)特性，由當(dāng)前位置上當(dāng)天的天氣信息，給出需要注意防范的疾病信息； 步驟7:將需要防范的疾病信息展示在用戶(hù)展示平臺(tái)，供用戶(hù)查看。9.根據(jù)權(quán)利要求8所述的一種基于Hadoop的用戶(hù)服務(wù)安全系統(tǒng)的實(shí)現(xiàn)方法，其特征在于，所述步驟2的天氣信息包括:溫度、降雨量、風(fēng)力、相對(duì)濕度、光照信息。10.根據(jù)權(quán)利要求8所述的一種基于Hadoop的用戶(hù)服務(wù)安全系統(tǒng)的實(shí)現(xiàn)方法，其特征在于，所述方法應(yīng)用于健康數(shù)據(jù)的分析服務(wù)。
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于Hadoop的用戶(hù)服務(wù)安全系統(tǒng)和方法，該系統(tǒng)包括智能采集節(jié)點(diǎn)、用戶(hù)展示服務(wù)平臺(tái)、Hadoop大數(shù)據(jù)分析與處理后端平臺(tái)。在面向用戶(hù)服務(wù)環(huán)境中，智能采集節(jié)點(diǎn)采集當(dāng)前位置的關(guān)鍵氣候環(huán)境指標(biāo)，并上傳到HDFS中，通過(guò)對(duì)存儲(chǔ)于HDFS中的數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘和數(shù)據(jù)分析，用關(guān)聯(lián)規(guī)則挖掘算法找出人體的相關(guān)疾病與氣候環(huán)境之間的關(guān)系。當(dāng)智能采集節(jié)點(diǎn)傳入相關(guān)氣候環(huán)境指標(biāo)后，用戶(hù)展示服務(wù)平臺(tái)就可以根據(jù)Hadoop大數(shù)據(jù)平臺(tái)的數(shù)據(jù)挖掘得到的關(guān)聯(lián)關(guān)系，給出當(dāng)前平臺(tái)用戶(hù)需要防范和注意的疾病，更好的保護(hù)平臺(tái)用戶(hù)的安全。
【IPC分類(lèi)】G06F17/30
【公開(kāi)號(hào)】CN105022783
【申請(qǐng)?zhí)枴緾N201510299093
【發(fā)明人】朱洪波, 陳建濤, 陳晶晶, 沙磊, 蔡艷, 朱琦, 郭永安
【申請(qǐng)人】南京郵電大學(xué)
【公開(kāi)日】2015年11月4日
【申請(qǐng)日】2015年6月3日