基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法和裝置制造方法
【專利摘要】本發(fā)明公開了一種基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法和裝置，該數(shù)據(jù)處理方法包括：根據(jù)用戶發(fā)送的訪問請求信息，記錄用戶的訪問行為及訪問數(shù)據(jù)；對記錄的訪問行為及訪問數(shù)據(jù)進行分析，并根據(jù)分析結(jié)果對訪問行為進行安全等級劃分；根據(jù)預先設(shè)定的安全策略與當前訪問行為的安全等級執(zhí)行與當前訪問行為的安全等級對應(yīng)的安全策略。本發(fā)明通過記錄用戶的訪問請求信息并分析用戶的訪問請求信息，對用戶的訪問請求情況進行安全等級劃分，并根據(jù)預先設(shè)定的安全策略對不同的用戶請求進行相應(yīng)的處理，解決了大數(shù)據(jù)平臺的數(shù)據(jù)結(jié)構(gòu)復雜性導致系統(tǒng)安全性低的問題。
【專利說明】基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法和裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及數(shù)據(jù)處理領(lǐng)域，具體來說，設(shè)及一種基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法 和裝置。

【背景技術(shù)】
[0002] 信息技術(shù)的飛速發(fā)展迎來了大數(shù)據(jù)時代，數(shù)據(jù)越來越成為國家和企業(yè)的戰(zhàn)略資 產(chǎn)。大數(shù)據(jù)是近年來興起的一種新型計算模式，大數(shù)據(jù)技術(shù)也在各個行業(yè)和領(lǐng)域得到了廣 泛的應(yīng)用。當用戶建立起了大數(shù)據(jù)平臺后，由于數(shù)據(jù)的集中和數(shù)據(jù)的重要性，對于數(shù)據(jù)訪問 的行為管理員需要直觀的掌握，并對關(guān)鍵的敏感信息訪問能夠?qū)嵤┛刂?，W保障核屯、數(shù)據(jù) 的安全性。
[0003] 而當前主流的大數(shù)據(jù)軟件并沒有提供完善的數(shù)據(jù)安全防護措施，只有基本的數(shù)據(jù) 讀寫功能。一旦用戶能夠訪問大數(shù)據(jù)平臺，幾乎就可W獲取所有數(shù)據(jù)。
[0004] 目前大數(shù)據(jù)技術(shù)處于起步階段，由于大數(shù)據(jù)平臺的數(shù)據(jù)結(jié)構(gòu)復雜性，并沒有足夠 完善的數(shù)據(jù)安全防護措施，如果用戶進入數(shù)據(jù)庫中，而該些數(shù)據(jù)中對于某些用戶是不應(yīng)該 能夠使用，或者過度使用的，該就給系統(tǒng)帶來了極大的安全隱患。
[0005] 針對相關(guān)技術(shù)中的問題，目前尚未提出有效的解決方案。


【發(fā)明內(nèi)容】

[0006] 針對相關(guān)技術(shù)中的問題，本發(fā)明提出一種基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法和裝 置，能夠大大提高大數(shù)據(jù)平臺數(shù)據(jù)的安全性。
[0007] 本發(fā)明的技術(shù)方案是該樣實現(xiàn)的：
[000引根據(jù)本發(fā)明的一個方面，提供了一種基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法。
[0009] 該數(shù)據(jù)處理方法，包括：
[0010] 根據(jù)用戶發(fā)送的訪問請求信息，記錄用戶的訪問行為及訪問數(shù)據(jù)；
[0011] 對記錄的訪問行為及訪問數(shù)據(jù)進行分析，并根據(jù)分析結(jié)果對訪問行為進行安全等 級劃分；
[0012] 根據(jù)預先設(shè)定的安全策略與當前訪問行為的安全等級執(zhí)行與當前訪問行為的安 全等級對應(yīng)的安全策略。
[0013] 其中，大數(shù)據(jù)平臺由多個不同的數(shù)據(jù)處理平臺并行組成。
[0014] 其中，根據(jù)用戶發(fā)送的訪問請求信息，記錄用戶的訪問行為及訪問數(shù)據(jù)，進一步包 括：
[0015] 將用戶的訪問請求轉(zhuǎn)換成與構(gòu)成大數(shù)據(jù)平臺的數(shù)據(jù)處理平臺相對應(yīng)的請求格式。
[0016] 其中，安全策略包括W下至少之一：
[0017] 記錄日志、發(fā)送告警、阻斷訪問；
[0018] 其中，發(fā)送告警包括記錄日志的處理行為，阻斷包括發(fā)送告警和記錄日志的處理 行為。
[0019] 其中，在當前訪問行為為安全的情況下，將用戶所要訪問的數(shù)據(jù)發(fā)送至客戶端，并 記錄用戶的訪問數(shù)據(jù)及訪問日志；
[0020] 在當前訪問行為為告警的情況下，向監(jiān)控服務(wù)器發(fā)送告警，并記錄用戶的訪問數(shù) 據(jù)及訪問日志；
[0021] 在當前訪問行為為危險的情況下，阻斷當前用戶的訪問請求，并向監(jiān)控服務(wù)器發(fā) 送告警，同時記錄用戶的訪問數(shù)據(jù)及訪問日志。
[0022] 根據(jù)本發(fā)明的另一方面，提供了一種基于大數(shù)據(jù)平臺的數(shù)據(jù)處理裝置，該數(shù)據(jù)處 理裝置包括：
[0023] 記錄模塊，用于根據(jù)用戶發(fā)送的訪問請求信息，記錄用戶的訪問行為及訪問數(shù) 據(jù)；
[0024] 分析模塊，用于對記錄的訪問行為及訪問數(shù)據(jù)進行分析；
[0025] 劃分模塊，用于根據(jù)分析模塊的分析結(jié)果對訪問行為進行安全等級劃分；
[0026] 處理模塊，用于根據(jù)預先設(shè)定的安全策略與當前訪問行為的安全等級執(zhí)行與當前 訪問行為的安全等級對應(yīng)的安全策略。
[0027] 其中，大數(shù)據(jù)平臺由多個不同的數(shù)據(jù)處理平臺并行組成。
[002引此外，記錄模塊進一步包括：
[0029] 格式轉(zhuǎn)換單元，用于將用戶的訪問請求轉(zhuǎn)換成與構(gòu)成大數(shù)據(jù)平臺的數(shù)據(jù)處理平臺 相對應(yīng)的請求格式。
[0030] 其中，安全策略包括W下至少之一：
[0031] 記錄日志、發(fā)送告警、阻斷訪問；
[0032] 其中，發(fā)送告警包括記錄日志的處理行為，阻斷包括發(fā)送告警和記錄日志的處理 行為。
[0033] 此外，該數(shù)據(jù)處理裝置還可W包括：
[0034] 第一發(fā)送模塊，用于在當前訪問行為為安全的情況下，將用戶所要訪問的數(shù)據(jù)發(fā) 送至客戶端；
[00巧]記錄模塊進一步用于，記錄用戶的房屋內(nèi)數(shù)據(jù)及訪問日志；
[0036] 第二發(fā)送模塊用于，在當前訪問行為為告警的情況下，向監(jiān)控服務(wù)器發(fā)送告警；
[0037] 阻斷模塊，用于在當前訪問行為為危險的情況下，阻斷當前用戶的訪問請求。
[003引本發(fā)明通過記錄用戶的訪問請求信息并分析用戶的訪問請求信息，對用戶的訪問 請求情況進行安全等級劃分，并根據(jù)預先設(shè)定的安全策略對不同的用戶請求進行相應(yīng)的處 理，并且由于大數(shù)據(jù)平臺的數(shù)據(jù)結(jié)構(gòu)復雜性本發(fā)明通過對訪問行為進行安全等級劃分，實 現(xiàn)了根據(jù)不同的用戶訪問信息只能訪問自己權(quán)限范圍內(nèi)的數(shù)據(jù)，從而大大提高了大數(shù)據(jù)平 臺的安全性。

【專利附圖】

【附圖說明】
[0039] 為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例中所 需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施 例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可W根據(jù)該些附圖獲 得其他的附圖。
[0040] 圖1是根據(jù)本發(fā)明實施例的基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法的流程圖；
[0041] 圖2是根據(jù)本發(fā)明實施例的基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法的示意性流程圖；
[0042] 圖3是根據(jù)本發(fā)明實施例的軟件架構(gòu)示意圖；
[0043] 圖4是根據(jù)本發(fā)明實施例的硬件架構(gòu)示意圖；
[0044] 圖5是根據(jù)本發(fā)明實施例的基于大數(shù)據(jù)平臺的數(shù)據(jù)處理裝置的框圖。

【具體實施方式】
[0045] 下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完 整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；?本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員所獲得的所有其他實施例，都屬于本發(fā)明保護的 范圍。
[0046] 根據(jù)本發(fā)明的實施例，提供了一種基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法，其中，大數(shù)據(jù) 處理平臺由多個不同和/或相同的數(shù)據(jù)處理平臺組成，比如可W有hadoop平臺和nosql數(shù) 據(jù)庫W及其他分布式并行數(shù)據(jù)庫組合構(gòu)成。
[0047] 如圖1所示，根據(jù)本發(fā)明實施例的基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法，包括：
[0048] 步驟S101，根據(jù)用戶發(fā)送的訪問請求信息，記錄用戶的訪問行為及訪問數(shù)據(jù)；
[0049] 步驟S103,對記錄的訪問行為及訪問數(shù)據(jù)進行分析，并根據(jù)分析結(jié)果對訪問行為 進行安全等級劃分；
[0化0] 步驟S105,根據(jù)預先設(shè)定的安全策略與當前訪問行為的安全等級執(zhí)行與當前訪問 行為的安全等級對應(yīng)的安全策略。
[0051] 其中，在對用戶的訪問行為及訪問數(shù)據(jù)進行記錄時，同時將用戶的訪問請求轉(zhuǎn)換 成與構(gòu)成大數(shù)據(jù)平臺的數(shù)據(jù)處理平臺相對應(yīng)的請求格式，比如用戶需要訪問hadoop組件 的數(shù)據(jù)，則將訪問請求轉(zhuǎn)換成與hadoop平臺相對應(yīng)的請求格式。
[0化2] 其中，安全策略包括W下至少之一：
[0化3] 記錄日志、發(fā)送告警、阻斷訪問；
[0化4] 其中，發(fā)送告警包括記錄日志的處理行為，阻斷包括發(fā)送告警和記錄日志的處理 行為。
[0055] 比如，在當前訪問行為為安全的情況下，安全策略為記錄日志，則將用戶所要訪問 的數(shù)據(jù)發(fā)送至客戶端，并記錄用戶的訪問數(shù)據(jù)及訪問日志；
[0056] 在當前訪問行為為告警的情況下，安全策略為發(fā)送告警，則向監(jiān)控服務(wù)器發(fā)送告 警，并記錄用戶的訪問數(shù)據(jù)及訪問日志；
[0057] 在當前訪問行為為危險的情況下，安全策略為阻斷訪問，則阻斷當前用戶的訪問 請求，并向監(jiān)控服務(wù)器發(fā)送告警，同時記錄用戶的訪問數(shù)據(jù)及訪問日志。
[005引上述在觸發(fā)相應(yīng)的安全策略后進行記錄可W有助于數(shù)據(jù)的統(tǒng)計及數(shù)據(jù)使用情況 的追溯。
[0059] 在一個具體的實施例中，如圖2所示，在大數(shù)據(jù)安全處理引擎中，增加對用戶訪問 數(shù)據(jù)的內(nèi)容審計和屬性分析的功能，對數(shù)據(jù)訪問行為進行記錄，包括數(shù)據(jù)的類別、屬主、訪 問用戶、訪問時間等信息；分析模塊對該些記錄進行合規(guī)性檢查和異常檢測，生成數(shù)據(jù)訪問 統(tǒng)計報表，對訪問行為進行安全等級劃分，根據(jù)不同的級別采取不同的反饋措施。W確保用 戶訪問數(shù)據(jù)的合法性。
[0060] 如圖3示出了本發(fā)明實施例的軟件架構(gòu)，本發(fā)明支持對hadoop平臺各組件W及數(shù) 據(jù)庫等用戶訪問行為的監(jiān)控和追蹤。在軟件層面，將在化dooop組件和數(shù)據(jù)庫之上，構(gòu)建大 數(shù)據(jù)安全訪問引擎，和數(shù)據(jù)訪問支撐工具，大數(shù)據(jù)應(yīng)用系統(tǒng)通過數(shù)據(jù)訪問接口和支撐工具， 對底層數(shù)據(jù)進行訪問，中間經(jīng)過大數(shù)據(jù)安全訪問引擎，會對用戶的訪問數(shù)據(jù)行為進行監(jiān)控 和追蹤，并進行相應(yīng)的控制和處理。
[0061] 如圖4示出了本發(fā)明實施例的硬件結(jié)構(gòu)，應(yīng)用節(jié)點訪問安全引擎集群，安全引擎 集群將從安全引擎數(shù)據(jù)庫中獲取到對應(yīng)的安全策略，然后對應(yīng)用的數(shù)據(jù)訪問進行相應(yīng)的處 理，對于不允許的數(shù)據(jù)訪問將直接阻斷，對于允許的數(shù)據(jù)訪問將數(shù)據(jù)請求轉(zhuǎn)發(fā)到相應(yīng)的大 數(shù)據(jù)組件上，然后將最終數(shù)據(jù)返回給客戶端，并在此過程中對用戶訪問數(shù)據(jù)的內(nèi)容和行為 進行日志審計和記錄，并將結(jié)果存入數(shù)據(jù)庫中，用于后期追蹤和分析。
[0062] 請再參見圖2,本發(fā)明支持大數(shù)據(jù)常用組件的數(shù)據(jù)訪問監(jiān)控和追蹤，包括h壯S、 hive、數(shù)據(jù)庫等，對用戶的數(shù)據(jù)訪問監(jiān)控支持多種安全策略設(shè)置（包括策略的增刪改查）， 監(jiān)控對象支持對文件、數(shù)據(jù)庫表空間、表、關(guān)鍵字段等對象的監(jiān)控，追蹤策略支持記錄日志、 告警（發(fā)送告警郵件）、阻斷=種模式，立種模式為依次包含關(guān)系，即后者會包含前者的功 能，例如阻斷模式會同時記錄日志，并發(fā)送告警郵件。
[0063] 具體的，管理員首先登陸安全處理引擎的Web界面，根據(jù)需求設(shè)置對關(guān)鍵數(shù)據(jù)的 安全策略，安全處理引擎將預先設(shè)定的安全策略存入安全引擎數(shù)據(jù)庫中。當用戶發(fā)送訪問 請求時，通過安全訪問接口發(fā)送數(shù)據(jù)訪問請求，安全引擎根據(jù)用戶的訪問請求中的信息，從 安全引擎數(shù)據(jù)庫中查詢對應(yīng)的安全策略。如果策略為阻斷請求，則直接拒絕用戶發(fā)送的訪 問請求，并記錄日志同時發(fā)送告警。否則則將訪問請求轉(zhuǎn)發(fā)到相應(yīng)的大數(shù)據(jù)平臺，例如h壯S 或者oracle數(shù)據(jù)庫，安全引擎通過調(diào)用大數(shù)據(jù)平臺相應(yīng)的數(shù)據(jù)訪問接口獲得相應(yīng)數(shù)據(jù)，然 后將數(shù)據(jù)返回給客戶端。同時在處理過程中記錄應(yīng)用訪問的數(shù)據(jù)信息，形成數(shù)據(jù)訪問日志， 包括數(shù)據(jù)的類別、屬主、訪問用戶、訪問時間等信息，并實時分析處理該些信息對其進行安 全等級劃分，如果其中滿足告警條件，則發(fā)送相應(yīng)的告警。
[0064] 此外，安全處理引擎需要根據(jù)用戶的請求，進行相應(yīng)的語義轉(zhuǎn)換，包括解析用戶 請求的數(shù)據(jù)對象、數(shù)據(jù)內(nèi)容、所對應(yīng)的大數(shù)據(jù)平臺，在解析過程中除了安全相關(guān)的監(jiān)控和 追蹤外，還需將用戶的數(shù)據(jù)請求轉(zhuǎn)換成對應(yīng)大數(shù)據(jù)平臺相應(yīng)的請求格式，例如h壯S、hive、 oracle都有不同的數(shù)據(jù)訪問請求形式，安全處理引擎需進行相應(yīng)的隱式轉(zhuǎn)換。
[00化]此外，安全處理引擎和應(yīng)用之間支持加密安全傳輸，協(xié)議支持https、ssh W及私 有加密協(xié)議。
[0066] 此外，由于大數(shù)據(jù)軟件組件眾多，語義復雜繁多，本發(fā)明支持的數(shù)據(jù)訪問請求范圍 如下：
[0067] 化acle數(shù)據(jù)平臺數(shù)據(jù)訪問請求為化acle所能夠支持的所有的查詢語句。
[0068] 化ve大數(shù)據(jù)平臺數(shù)據(jù)訪問請求為底層所用化ve版本對應(yīng)的所有的化ve S化語 句。
[0069] H壯S大數(shù)據(jù)平臺數(shù)據(jù)訪問請求分為H壯S Shell的命令封裝W及化doop作為提 交命令。調(diào)用文件系統(tǒng)（F巧化ell命令應(yīng)使用h壯S.〈CMDNAME〉的形式。所有的FS shell 命令使用URI路徑作為參數(shù)。URI格式是scheme://authority/path。對皿FS文件系統(tǒng)， scheme是h壯s，對本地文件系統(tǒng)，scheme是file。其中scheme和authority參數(shù)都是 可選的，如果未加指定，就會使用配置中指定的默認scheme。一個皿FS文件或目錄比如/ parent/chiId 可 W表不成 hdf S: //namenode: namenodeport/parent/chiId，或者更簡單的 /parent/child，大多數(shù)FS Shell命令的行為和對應(yīng)的化ix Shell命令類似，不同之處會 在下表中舉例介紹，下表中所舉例說明的特殊命令并不完全包括其他特殊命令，僅作為介 紹使用。出錯信息會輸出到stderr，其他信息輸出到stdout。
[0070]

【權(quán)利要求】
1. 一種基于大數(shù)據(jù)平臺的數(shù)據(jù)處理方法，其特征在于，包括： 根據(jù)用戶發(fā)送的訪問請求信息，記錄所述用戶的訪問行為及訪問數(shù)據(jù)； 對記錄的所述訪問行為及訪問數(shù)據(jù)進行分析，并根據(jù)分析結(jié)果對所述訪問行為進行安 全等級劃分； 根據(jù)預先設(shè)定的安全策略與當前訪問行為的安全等級執(zhí)行與當前訪問行為的安全等 級對應(yīng)的安全策略。
2. 根據(jù)權(quán)利要求1的所述方法，其特征在于，所述大數(shù)據(jù)平臺由多個不同的數(shù)據(jù)處理 平臺并行組成。
3. 根據(jù)權(quán)利要求1的所述方法，其特征在于，根據(jù)所述用戶發(fā)送的訪問請求信息，記錄 所述用戶的訪問行為及訪問數(shù)據(jù)，進一步包括： 將所述用戶的訪問請求轉(zhuǎn)換成與構(gòu)成所述大數(shù)據(jù)平臺的數(shù)據(jù)處理平臺相對應(yīng)的請求 格式。
4. 根據(jù)權(quán)利要求1的所述方法，其特征在于，所述安全策略包括以下至少之一： 記錄日志、發(fā)送告警、阻斷訪問； 其中，所述發(fā)送告警包括記錄日志的處理行為，所述阻斷包括發(fā)送告警和記錄日志的 處理行為。
5. 根據(jù)權(quán)利要求4的所述方法，其特征在于， 在當前訪問行為為安全的情況下，將用戶所要訪問的數(shù)據(jù)發(fā)送至客戶端，并記錄所述 用戶的訪問數(shù)據(jù)及訪問日志； 在當前訪問行為為告警的情況下，向監(jiān)控服務(wù)器發(fā)送告警，并記錄所述用戶的訪問數(shù) 據(jù)及訪問日志； 在當前訪問行為為危險的情況下，阻斷當前用戶的訪問請求，并向監(jiān)控服務(wù)器發(fā)送告 警，同時記錄所述用戶的訪問數(shù)據(jù)及訪問日志。
6. -種基于大數(shù)據(jù)平臺的數(shù)據(jù)處理裝置，其特征在于，包括： 記錄模塊，用于根據(jù)用戶發(fā)送的訪問請求信息，記錄所述用戶的訪問行為及訪問數(shù) 據(jù)； 分析模塊，用于對記錄的所述訪問行為及訪問數(shù)據(jù)進行分析； 劃分模塊，用于根據(jù)所述分析模塊的分析結(jié)果對所述訪問行為進行安全等級劃分； 處理模塊，用于根據(jù)預先設(shè)定的安全策略與當前訪問行為的安全等級執(zhí)行與當前訪問 行為的安全等級對應(yīng)的安全策略。
7. 根據(jù)權(quán)利要求6的所述裝置，其特征在于，所述大數(shù)據(jù)平臺由多個不同的數(shù)據(jù)處理 平臺并行組成。
8. 根據(jù)權(quán)利要求6的所述裝置，其特征在于，所述記錄模塊進一步包括： 格式轉(zhuǎn)換單元，用于將所述用戶的訪問請求轉(zhuǎn)換成與構(gòu)成所述大數(shù)據(jù)平臺的數(shù)據(jù)處理 平臺相對應(yīng)的請求格式。
9. 根據(jù)權(quán)利要求6的所述裝置，其特征在于，所述安全策略包括以下至少之一： 記錄日志、發(fā)送告警、阻斷訪問； 其中，所述發(fā)送告警包括記錄日志的處理行為，所述阻斷包括發(fā)送告警和記錄日志的 處理行為。
10.根據(jù)權(quán)利要求9的所述裝置，其特征在于，包括： 第一發(fā)送模塊，用于在當前訪問行為為安全的情況下，將用戶所要訪問的數(shù)據(jù)發(fā)送至 客戶端； 記錄模塊進一步用于，記錄所述用戶的房屋內(nèi)數(shù)據(jù)及訪問日志； 第二發(fā)送模塊用于，在當前訪問行為為告警的情況下，向監(jiān)控服務(wù)器發(fā)送告警； 阻斷模塊，用于在當前訪問行為為危險的情況下，阻斷當前用戶的訪問請求。
【文檔編號】G06F17/30GK104504014SQ201410758944
【公開日】2015年4月8日 申請日期:2014年12月10日 優(yōu)先權(quán)日:2014年12月10日
【發(fā)明者】郭慶, 班軍成, 解元, 謝瑩瑩, 徐學輝 申請人:無錫城市云計算中心有限公司