13.HDFS透明加密

13.1 实验目的与环境

  • 要实现HDFS的透明加密，首先需要一个KMS，KMS可以用CDH自带的Java KeyStore KMS也可以使用企业版工具Navigator。
    • Java KeyStore KMS保存秘钥文件到本地，提供简单的密码保护。
    • Cloudera不建议生产系统使用Java KeyStore KMS。
    • 实验主要介绍如何通过Cloudera Manager安装Java KeyStore KMS服务，并且实现HDFS的透明加密。
  • 内容概述
    • 安装KMS服务
    • HDFS加密测试
  • 测试环境
    • CentOS6.5
    • CDH5.13

13.2 安装KMS

  • 安装libcrypto.so，所有机器都需要，安装完成所有机器检查。
[root@ip-172-31-6-148shell]# sh ssh_do_all.sh node.list "yum -y install openssl-devel"
Loaded plugins: fastestmirror, presto
Loading mirror speeds from cached hostfile
 * base: mirror.qoxy.com
 * extras: mirror.qoxy.com
 * updates: mirror.qoxy.com
Setting up Install Process
Package openssl-devel-1.0.1e-57.el6.x86_64 already installed and latest version
Nothing to do
Connection to ip-172-31-6-148.fayson.com closed.
[root@ip-172-31-6-148 shell]# sh ssh_do_all.sh node.list "hadoop checknative"
17/12/09 09:59:54 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native
17/12/09 09:59:54 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop:  true/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hadoop/lib/native/libhadoop.so.1.0.0
zlib:    true /lib64/libz.so.1
snappy:  true/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hadoop/lib/native/libsnappy.so.1
lz4:     true revision:10301
bzip2:   true /lib64/libbz2.so.1
openssl: true /usr/lib64/libcrypto.so
Connection to ip-172-31-6-148.fayson.com closed.
  • 注：
    • 确认openssl出现true，例如openssl: true/usr/lib64/libcrypto.so。如果是false，表示 libcrypto.so没有正确安装或配置，需要检查和改正。
    • Fayson的机器因为已经安装过了，所以提示“already installedand latest version”

  • 通过Cloudera Manager主界面安装KMS


  • 选择Java KeyStore KMS，点击“继续”
  • 输入秘钥管理员用户和用户组，注意hdfs超级用户已经被禁止设置为秘钥管理员，HDFS管理员和秘钥管理员是分开的。
  • 点击“生成ACL”，并点击“继续”
  • 提示设置“TLS”，暂时不用做任何操作，点击“继续”
  • 等待服务启动完毕，点击“继续”

  • 安装完毕，回到主页，按照提示重启整个集群，等待重启完毕，至此安装KMS完毕。


  • 确认HDFS已经启用了KMS服务


13.3 测试HDFS加密

  • 新建用户user1，创建一个秘钥key1
[root@ip-172-31-6-148 shell]# hadoop key create key1

key1 has not been created. org.apache.hadoop.security.authorize.AuthorizationException: User:root not allowed to do 'CREATE_KEY' on 'key1'
[root@ip-172-31-6-148 shell]# 
[root@ip-172-31-6-148 shell]# sudo -u hdfs hadoop key create key1
key1 has not been created. org.apache.hadoop.security.authorize.AuthorizationException: User:hdfs not allowed to do 'CREATE_KEY' on 'key1'
[root@ip-172-31-6-148 shell]# sudo -u fayson hadoop key create key1
key1 has been successfully created with options Options{cipher='AES/CTR/NoPadding', bitLength=128, description='null', attributes=null}.
KMSClientProvider[http://ip-172-31-10-118.fayson.com:16000/kms/v1/] has been updated.
  • 注意：
    • 在创建秘钥时，发现无论是root用户还是hdfs用户都无法创建成功，必须使用我们在安装配置KMS的时候设置的秘钥管理员fayson。
  • 创建一个HDFS目录并设置为加密区域。
[root@ip-172-31-6-148 shell]# hadoop fs -mkdir /user/user1
[root@ip-172-31-6-148 shell]# sudo -u hdfs hadoop fs -chown user1:user1 /user/user1
[root@ip-172-31-6-148 shell]# sudo -u hdfs hdfs crypto -createZone -keyName key1 -path /user/user1
Added encryption zone /user/user1
[root@ip-172-31-6-148 shell]# sudo -u hdfs hdfs crypto -listZones
/user/user1  key1
  • 注意：需要使用hdfs超级用户
  • 再创建一个目录，用于后面比较加密目录
[root@ip-172-31-6-148 shell]# hadoop fs -mkdir /user1/
[root@ip-172-31-6-148 shell]# sudo -u hdfs hadoop fs -chown user1:user1 /user1
  • 切换到user1用户分别上传文件到加密区域以及非加密区域准备一个文件
  • 上传文件到加密区域和非加密区域
[user1@ip-172-31-6-148 ~]$ hadoop fs -put a.txt /user1
[user1@ip-172-31-6-148 ~]$ hadoop fs -put a.txt /user/user1
[user1@ip-172-31-6-148 ~]$ hadoop fs -cat /user1/a.txt
fsdfsfsdfsdddddddddd
123456789
Fayson is fat!
[user1@ip-172-31-6-148 ~]$ hadoop fs -cat /user/user1/a.txt
fsdfsfsdfsdddddddddd
123456789
Fayson is fat!
  • 注意
    • 需要给上面创建的秘钥key1赋予用户和用户组user1的访问权限，否则用户user1无法put文件到/user/user1目录。

  • 通过HDFS的50070页面查看上传的文件的block分布在那台DataNode上，并记录下Block ID。



  • 登录到ip-172-31-10-118.fayson.com机器，查看block文件从上步骤，可以知道在加密区域/user/user1的文件“a.txt”的block ID为1073776797，在非加密区域/user1的文件“a.txt“的block ID为1073776707
[root@ip-172-31-10-118 ~]# find / -name "*1073776797*"
/dfs/dn/current/BP-900745788-172.31.6.148-1508157818810/current/finalized/subdir0/subdir136/blk_1073776797
/dfs/dn/current/BP-900745788-172.31.6.148-1508157818810/current/finalized/subdir0/subdir136/blk_1073776797_36850.meta
[root@ip-172-31-10-118 ~]# cat /dfs/dn/current/BP-900745788-172.31.6.148-1508157818810/current/finalized/subdir0/subdir136/blk_1073776797
????f�JPQ٥??f ?Lx?+?f?6фt6=ko?1l?+"N?[
root@ip-172-31-10-118 ~]# 
[root@ip-172-31-10-118 ~]# find / -name "*1073776707*"
/dfs/dn/current/BP-900745788-172.31.6.148-1508157818810/current/finalized/subdir0/subdir136/blk_1073776707
/dfs/dn/current/BP-900745788-172.31.6.148-1508157818810/current/finalized/subdir0/subdir136/blk_1073776707_36760.meta
[root@ip-172-31-10-118 ~]# cat /dfs/dn/current/BP-900745788-172.31.6.148-1508157818810/current/finalized/subdir0/subdir136/blk_1073776707
fsdfsfsdfsdddddddddd
123456789
Fayson is fat!
  • 通过HDFS的透明加密可以实现HDFS底层文件的加密
    • 对于非加密区域/user1下的文件a.tx可以直接通过block ID查找到该block文件，并直接查看到明文。
    • 但是在加密区域/user/user1下的文件a.txt虽然也可以直接查找到该block文件，但是查看确是密文。
  • 在安装Java KMS的时候，Cloudera Manager会提示不能将HDFS超级用户hdfs设置为秘钥管理员，这是为了防止HDFS的超级用户既可以访问任何文件，又可以访问所有秘钥，从而可以直接解密所有HDFS文件而造成安全问题。
  • 在通过user1用户上传文件到自己所属的加密区域时，必须设置该加密区域的秘钥文件key1可以被user1访问，该设置通过Cloudera Manager管理的Java KeyStore KMS的配置中设置，将user1用户和组加入到ACL列表，否则会报以下错误。
[user1@ip-172-31-6-148 ~]$ hadoop fs -put a.txt /user/user1
put: User [user1] is not authorized to perform [DECRYPT_EEK] on key with ACL name [key1]!!
17/12/09 11:49:33 ERROR hdfs.DFSClient: Failed to close inode 352863
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): No lease on /user/user1/a.txt._COPYING_ (inode 352863): File does not exist. Holder DFSClient_NONMAPREDUCE_1915499091_1 does not have any open files.
   at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkLease(FSNamesystem.java:3752)
   at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.completeFileInternal(FSNamesystem.java:3839)
   at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.completeFile(FSNamesystem.java:3809)
   at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.complete(NameNodeRpcServer.java:748)
   at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.complete(AuthorizationProviderProxyClientProtocol.java:248)

大数据视频推荐：
腾讯课堂
CSDN
大数据语音推荐：
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容