基于分布式文件系統(tǒng)的大數(shù)據(jù)加解密方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種數(shù)據(jù)加解密讀取方法，尤其涉及一種基于分布式文件系統(tǒng)的大數(shù) 據(jù)加解密方法。
【背景技術(shù)】
[0002] Hadoop是一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會開發(fā)。用戶可以在不了解分 布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力高速運(yùn)算和存儲。Hadoop 是一個能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。Hadoop是可靠的，因?yàn)樗僭O(shè)計(jì)算元 素和存儲會失敗，因此它維護(hù)多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點(diǎn)重新分布處理。 Hadoop實(shí)現(xiàn)了一個分布式文件系統(tǒng)（HadoopDistributedFileSystem)，簡稱HDFS。HDFS 有著高容錯性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（low-cost)硬件上。
[0003] Hadoop最初的設(shè)計(jì)目標(biāo)：分布式存儲超大文件，流式訪問數(shù)據(jù)、適用于商業(yè)低成 本硬件、高擴(kuò)展、數(shù)據(jù)自動恢復(fù)能力等，因此并沒有涉及到存儲的加密解密?，F(xiàn)有Hadoop文 件存儲的訪問和讀寫技術(shù)對于用戶來說是透明的，用戶操作HDFS相對透明，所以只要獲取 NameNode配置信息，在集群外部就可以通過Hadoop的API調(diào)用就可以獲取集群文件，在讀 取的過程對文件數(shù)據(jù)沒有任何的加密操作，赤裸裸的獲取數(shù)據(jù)，甚至在集群中植入監(jiān)聽程 序來獲取集群信息進(jìn)行數(shù)據(jù)盜取。對集群的數(shù)據(jù)安全造成了深遠(yuǎn)的影響。
[0004] 在英特爾Hadoop發(fā)行版本增加硬件級加密功能；名為Rhino,已經(jīng)攜手Apache讓 該項(xiàng)目專門負(fù)責(zé)提供一套利用X86AES處理器指令為Hadoop提供硬件加速型加密與解密功 能的框架。同時英特爾在Jffiase當(dāng)中啟用了額外的加密功能，能夠?qū)Base表與列進(jìn)行透 明化加密，同時將HBase中的加密機(jī)制擴(kuò)展至單元級別。該項(xiàng)目的出臺正是為了對斯諾登 事件作出回應(yīng)，希望借此克服據(jù)稱已經(jīng)被美國國安局成功破解的某知名芯片組加密功能、 從而挽回FreeBSD在x86RdRand操作中的可靠性危機(jī)。
[0005] Intel的Hadoop加密方法對Hadoop植入性太強(qiáng)，不能任意插拔，不能適用于其他 版本的Hadoop:如Hadoop2. 6以及以下的Hadoop版本（Q)H5.X以下，HDP2.X以下）等；另 外不能在Hadoop中進(jìn)行任意插拔，直接集成至Hadoop中，密鑰庫也是緊密項(xiàng)鏈，和Hadoop 耦合度太高。此外通過密鑰庫去適配，增加了系統(tǒng)的復(fù)雜度，并且在使用中很難管理和配 置。
[0006] Zettaset提供了一種基于證書設(shè)置密鑰管理服務(wù)器的方法，建立基于Hadoop數(shù) 據(jù)分區(qū)加密的對稱密鑰管理服務(wù)器方式?；贏ES256高級加密標(biāo)準(zhǔn)，此安全架構(gòu)將使用對 稱加密密鑰，為了加密和解密，數(shù)據(jù)將保存在計(jì)算節(jié)點(diǎn)的內(nèi)核節(jié)點(diǎn)。同樣需要通過密鑰庫去 適配，增加了系統(tǒng)的復(fù)雜度，而且與Hadoop的分區(qū)加密系統(tǒng)不兼容。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明所要解決的技術(shù)問題是提供一種基于分布式文件系統(tǒng)的大數(shù)據(jù)加解密方 法，易于配置植入，保證數(shù)據(jù)在落盤流化至磁盤中的一瞬間進(jìn)行相應(yīng)的加密，然后落盤存 儲，在獲取文件流時自動進(jìn)行文件讀取解密操作，從而大大提升了數(shù)據(jù)的安全性，且不影響 集群的整體性能。
[0008] 本發(fā)明為解決上述技術(shù)問題而采用的技術(shù)方案是提供一種基于分布式文件系統(tǒng) 的大數(shù)據(jù)加解密方法，包括如下步驟：a)在分布式文件系統(tǒng)中的每個數(shù)據(jù)節(jié)點(diǎn)配置相同的 加密協(xié)議和密碼；b)在每個數(shù)據(jù)節(jié)點(diǎn)對文件塊流數(shù)據(jù)進(jìn)行本地存儲時，先根據(jù)該數(shù)據(jù)節(jié)點(diǎn) 配置的加密協(xié)議和密碼，對流數(shù)據(jù)進(jìn)行加密，加密完成后再寫到磁盤上；c)在每個數(shù)據(jù)節(jié) 點(diǎn)對文件塊流數(shù)據(jù)進(jìn)行讀取時，先根據(jù)該數(shù)據(jù)節(jié)點(diǎn)配置的加密協(xié)議和密碼，對讀取的流數(shù) 據(jù)進(jìn)行解密，解密完成后再存入內(nèi)存供客戶端讀取。
[0009] 上述的基于分布式文件系統(tǒng)的大數(shù)據(jù)加解密方法，其中，所述分布式文件系統(tǒng) 為Hadoop，所述加密協(xié)議為AES，所述步驟a)的配置過程如下：在Hadoop的core-site, xml配置文件中設(shè)置解密配置擴(kuò)展項(xiàng)fs.security,key作為通用密碼，并且在所有數(shù)據(jù) 節(jié)點(diǎn)的hdfs-site.xml配置文件中修改fs.hdfs.impl，將value值修改成相應(yīng)的包名 AESDistributedFileSystem，然后同步刷新配置文件，使得Hadoop環(huán)境的ClassPath下的 每個數(shù)據(jù)節(jié)點(diǎn)完成相同配置，AESDistributedFileSystem繼承DistributedFileSystem并 且重寫create/append、open方法，分別植入加密和解密方法進(jìn)行調(diào)用。
[0010] 上述的基于分布式文件系統(tǒng)的大數(shù)據(jù)加解密方法，其中，所述步驟b)通過繼承重 寫分布式文件系統(tǒng)的write接口，通過增加字符串類型的加密協(xié)議參數(shù)選項(xiàng)和數(shù)組類型的 密碼參數(shù)選項(xiàng)，并在Hadoop系統(tǒng)寫入或者疊加內(nèi)容的過程中進(jìn)行調(diào)用，實(shí)現(xiàn)落盤加密存 儲。
[0011] 上述的基于分布式文件系統(tǒng)的大數(shù)據(jù)加解密方法，其中，所述步驟c)通過繼承重 寫分布式文件系統(tǒng)的read接口，通過增加字符串類型的加密協(xié)議參數(shù)選項(xiàng)和數(shù)組類型的 密碼參數(shù)選項(xiàng)，并在Hadoop系統(tǒng)讀取內(nèi)容的過程中進(jìn)行調(diào)用，實(shí)現(xiàn)讀取解密。
[0012] 上述的基于分布式文件系統(tǒng)的大數(shù)據(jù)加解密方法，其中，所述密碼參數(shù)選項(xiàng)為 128/192/256位密碼，所述步驟b)和步驟c)直接獲取AES加密協(xié)議操作對象，并且把流數(shù) 據(jù)內(nèi)容和密碼分別交給AES加密協(xié)議操作對象的doFinal直接進(jìn)行加解密。
[0013] 本發(fā)明對比現(xiàn)有技術(shù)有如下的有益效果：本發(fā)明提供的基于分布式文件系統(tǒng)的大 數(shù)據(jù)加解密方法，通過配置方式在分布式文件系統(tǒng)中植入統(tǒng)一的加解密處理，對即將寫入 磁盤的流數(shù)據(jù)進(jìn)行加密，加密完成才存儲到磁盤中；將磁盤的數(shù)據(jù)讀取到內(nèi)存的過程中自 動對流數(shù)據(jù)進(jìn)行解密，從而大大提升了數(shù)據(jù)的安全性，且不影響集群的整體性能，易于移植 維護(hù)，擴(kuò)展性強(qiáng)。
【附圖說明】
[0014] 圖1為本發(fā)明基于分布式文件系統(tǒng)的大數(shù)據(jù)加解密過程示意圖；
[0015] 圖2為本發(fā)明的數(shù)據(jù)存儲調(diào)用流程圖；
[0016] 圖3為本發(fā)明的數(shù)據(jù)讀取調(diào)用流程圖；
[0017] 圖4為本發(fā)明的數(shù)據(jù)加密實(shí)現(xiàn)流程圖。
【具體實(shí)施方式】
[0018] 下面結(jié)合附圖和實(shí)施例對本發(fā)明作進(jìn)一步的描述。
[0019] 圖1為本發(fā)明基于分布式文件系統(tǒng)的大數(shù)據(jù)加解密過程示意圖。
[0020] 請參見圖1，本發(fā)明提供的基于分布式文件系統(tǒng)的大數(shù)據(jù)加解密方法，包括如下步 驟：
[0021] a)在分布式文件系統(tǒng)中的每個數(shù)據(jù)節(jié)點(diǎn)配置相同的加密協(xié)議和密碼；
[0022] b)在每個數(shù)據(jù)節(jié)點(diǎn)對文件塊流數(shù)據(jù)進(jìn)行本地存儲時，先根據(jù)該數(shù)據(jù)節(jié)點(diǎn)配置的加 密協(xié)議和密碼，對流數(shù)據(jù)進(jìn)行加密，加密完成后再寫到磁盤上；
[0023] c)在每個數(shù)據(jù)節(jié)點(diǎn)對文件塊流數(shù)據(jù)進(jìn)行讀取時，先根據(jù)該數(shù)據(jù)節(jié)點(diǎn)配置的加密協(xié) 議和密碼，對讀取的流數(shù)據(jù)進(jìn)行解密，解密完成后再存入內(nèi)存供客戶端讀取。
[0024] 本發(fā)明提供的基于分布式文件系統(tǒng)的大數(shù)據(jù)加解密方法，所述分布式文件系統(tǒng)為 Hadoop，所述加密協(xié)議為AES，在Hadoop所有數(shù)據(jù)節(jié)點(diǎn)下的core-site,xml中配置文件中設(shè) 置解密配置擴(kuò)展項(xiàng)fs.security,key作為通用密碼設(shè)置，配置如下：
[0025]
【主權(quán)項(xiàng)】
1. 一種基于分布式文件系統(tǒng)的大數(shù)據(jù)加解密方法，其特征在于，包括如下步驟： a) 在分布式文件系統(tǒng)中的每個數(shù)據(jù)節(jié)點(diǎn)配置相同的加密協(xié)議和密碼； b) 在每個數(shù)據(jù)節(jié)點(diǎn)對文件塊流數(shù)據(jù)進(jìn)行本地存儲時，先根據(jù)該數(shù)據(jù)節(jié)點(diǎn)配置的加密協(xié) 議和密碼，對流數(shù)據(jù)進(jìn)行加密，加密完成后再寫到磁盤上； c) 在每個數(shù)據(jù)節(jié)點(diǎn)對文件塊流數(shù)據(jù)進(jìn)行讀取時，先根據(jù)該數(shù)據(jù)節(jié)點(diǎn)配置的加密協(xié)議和 密碼，對讀取的流數(shù)據(jù)進(jìn)行解密，解密完成后再存入內(nèi)存供客戶端讀取。
2. 如權(quán)利要求1所述的基于分布式文件系統(tǒng)的大數(shù)據(jù)加解密方法，其特征在于， 所述分布式文件系統(tǒng)為Hadoop，所述加密協(xié)議為AES，所述步驟a)的配置過程如下：在 Hadoop的core-site, xml配置文件中設(shè)置解密配置擴(kuò)展項(xiàng)fs. security, key作為通用 密碼，并且在所有數(shù)據(jù)節(jié)點(diǎn)的hdfs-site. xml配置文件中修改fs. hdfs. impl，將value 值修改成相應(yīng)的包名AESDistributedFileSystem，然后同步刷新配置文件，使得Hadoop 環(huán)境的ClassPath下的每個數(shù)據(jù)節(jié)點(diǎn)完成相同配置，AESDistributedFileSystem繼承 DistributedFileSystem并且重寫create/append、open方法，分別植入加密和解密方法進(jìn) 行調(diào)用。
3. 如權(quán)利要求2所述的基于分布式文件系統(tǒng)的大數(shù)據(jù)加解密方法，其特征在于，所述 步驟b)通過繼承重寫分布式文件系統(tǒng)的write接口方法，對文件進(jìn)行寫入，并在Hadoop系 統(tǒng)寫入或者疊加內(nèi)容的過程中進(jìn)行調(diào)用，實(shí)現(xiàn)落盤加密存儲。
4. 如權(quán)利要求2所述的基于分布式文件系統(tǒng)的大數(shù)據(jù)加解密方法，其特征在于，所述 步驟c)通過繼承重寫分布式文件系統(tǒng)的read接口，通過增加字符串類型的加密協(xié)議參數(shù) 選項(xiàng)和數(shù)組類型的密碼參數(shù)選項(xiàng)，并在Hadoop系統(tǒng)讀取內(nèi)容的過程中進(jìn)行調(diào)用，實(shí)現(xiàn)讀取 解密。
5. 如權(quán)利要求3或4所述的基于分布式文件系統(tǒng)的大數(shù)據(jù)加解密方法，其特征在于，所 述密碼參數(shù)選項(xiàng)為128/192/256位密碼，所述步驟b)和步驟c)直接獲取AES加密協(xié)議操 作對象，并且把流數(shù)據(jù)內(nèi)容和密碼分別交給AES加密協(xié)議操作對象的doFinal直接進(jìn)行加 解密。
【專利摘要】本發(fā)明公開了一種基于分布式文件系統(tǒng)的大數(shù)據(jù)加解密方法，包括如下步驟：a)在分布式文件系統(tǒng)中的每個數(shù)據(jù)節(jié)點(diǎn)配置相同的加密協(xié)議和密碼；b)在每個數(shù)據(jù)節(jié)點(diǎn)對文件塊流數(shù)據(jù)進(jìn)行本地存儲時，先根據(jù)該數(shù)據(jù)節(jié)點(diǎn)配置的加密協(xié)議和密碼，對流數(shù)據(jù)進(jìn)行加密，加密完成后再寫到磁盤上；c)在每個數(shù)據(jù)節(jié)點(diǎn)對文件塊流數(shù)據(jù)進(jìn)行讀取時，先根據(jù)該數(shù)據(jù)節(jié)點(diǎn)配置的加密協(xié)議和密碼，對讀取的流數(shù)據(jù)進(jìn)行解密，解密完成后再存入內(nèi)存供客戶端讀取。本發(fā)明通過配置方式在分布式文件系統(tǒng)中植入統(tǒng)一的加解密處理，加密完成才存儲到磁盤中，讀取過程中自動對流數(shù)據(jù)進(jìn)行解密，從而大大提升了數(shù)據(jù)的安全性，且不影響集群的整體性能，易于移植維護(hù)，擴(kuò)展性強(qiáng)。
【IPC分類】H04L29-06, H04L29-08
【公開號】CN104852922
【申請?zhí)枴緾N201510274970
【發(fā)明人】陳彬, 李永強(qiáng)
【申請人】陳彬, 李永強(qiáng)
【公開日】2015年8月19日
【申請日】2015年5月26日