HDFS Trash垃圾桶
- 功能概述
- HDFS Trash机制，叫做回收站或者垃圾桶。Trash就像Windows操作系统中的回收站一样。它的目的是防止你无意中删除某些东西。默认情况下是不开启的。
- 启用ITrash功能后，从HDFS中删除某些内容时，文件或目录不会立即被清除，它们将被移动到回收站Current目录中(/user/$ (username} /. Trash/current)。
- .Trash中的文件在用户可配置的时间延迟后被永久删除。
- 也可以简单地将回收站里的文件移动到.Trash目录之外的位置来恢复回收站中的文件和目录。
- Trash Checkpoint
- 检查点仅仅是用户回收站下的一个目录，用于存储在创建检查点之前删除的所有文件或目录。
- 回收站目录在/user/$ {username]} /.Trash/{timestamp_of_checkpoint_creation)
-
最近删除的文件被移动到回收站Current目录，并且在可配置的时间间隔内，HDFS会为在Current回收站目录下的文件创建检查点/user/${username} / .Trash/<日期>，并在过期时删除旧的检查点。
image.png
- HDFS Trash功能开启
- step1 :关闭HDFS集群
在node1节点上，执行一键关闭HDFS集群命令:stop-dfs.sh。 -
step2∶修改core-site.xml文件
在nodel节点上修改core-site.xml文件，添加下面两个属性︰
Inkedtrash.jpg - fs.trash. interval:回收站中的文件多少分钟后会被系统永久删除。如果为零，Trash功能将被禁用。
- fs.trash. checkpoint.interval :前后两次检查点的创建时间间隔（单位也是分钟），新的检查点被创建后，随之旧的检查点就会被系统永久删除。如果为零，则将该值设置为fs.trash.interval的值。
删除文件跳过Trash、直接删除
有的时候，我们希望直接把文件删除，不需要再经过Trash回收站了。可以在执行删除操作的时候添加一个参数:-skipTrash.
- 清空Trash
- 除了fs.trash.interval参数控制到期自动删除之外，用户还可以通过命令手动清空回收站，释放HDFS磁盘存储空间。
- 首先想到的是删除整个回收站目录，将会清空回收站,这是一个选择。
- 此外。HDFS提供了一个命令行工具来完成这个工作: hadoop fs -expunge。该命令立即从文件系统中删除过期的检查点。
心
HDFS Snapshot快照
快照介绍
- 可以将快照理解为拍照片时的那一瞬间的投影。
- 快照(Snapshot )是
﹔备份( Backup )则是数据存储的某一个时刻的副本。
- HDPS Snapshot快照是整个文件系统或某个目录在某个时刻的镜像。该镜像并不会随着源目录的改变而进行动态的更新。
快照作用
- 数据恢复
对重要目录进行创建snapshot的操作，当用户误操作时，可以通过snapshot来进行相关的恢复操作。 - 数据备份
使用snapshot来进行整个集群，或者某些目录、文件的备份。管理员以某个时刻的snapshot作为备份的起始结点，然后通过比较不同备份之间差异性，来进行增量备份。 - 数据测试
在某些重要数据上进行测试或者实验，可能会直接将原始的数据破坏掉。可以临时的为用户针对要操作的数据来创建一个snapshot，然后让用户在对应的snapshot上进行相关的实验和测试，从而避免对原始数据的破坏。
HDFS快照功能的实现
对于大多不变的数据，你所看到的数据其实是当前物理路径所指的内容，而发生变更的inode数据才会被快照额外拷贝，也就是所说的差异拷贝。
HDFS快照不会复制datanode中的块，只记录了块列表和文件大小。
HDFS快照不会对常规HDFS操作产生不利影响，修改记录按逆时针顺序进行，因此可以直接访问当前数据。通过从当前数据中减去修改来计算快照数据。
#启用快照功能：
hdfs dfsadmin -allowSnapshot/allenwoon
#禁用快照功能：
hdfs dfsadmin -disallowSnapshot/allenwoon
快照间差异比较
+创建了文件目录。
-文件目录已被删除。
M文件目录已被修改。
R文件/目录已被重命名。
删除开启快照功能的目录
- hadoop fs -rm -r /allenwoon
- 拥有快照的目录不允许被删除，某种程度上也保护了文件安全。
HDFS 权限管理
-rwxr-xr-x(开头的-代表文件，也可以是d代表目录) 权限755
- web页面修改UGo权限
粘滞[nian zhi]位( Sticky bit)用在目录上设置，如此以来，只有目录内文件的所有者或者root才可以删除或移动该文件。
如果不为目录设置粘滞位，任何具有该目录写和执行权限的用户都可以删除和移动其中的文件。 - Simple认证
- Kerberos认证
HDFS Proxy user代理用户
HDFS 透明加密
介绍
- HDFS透明加密（Transparent Encryption )支持端到端的透明加密，启用以后，对于一些需要加密的HDFS目录里的文件可以实现透明的加密和解密，而不需要修改用户的业务代码。端到端是指加密和解密只能通过客户端。
- 对于加密区域里的文件，HDFS保存的即是加密后的文件，文件加密的秘钥也是加密的
让非法用户即使从操作系统层面拷走文件，也是密文，没法查看。 - block在操作系统是以加密的形式存储的，从而减轻了操作系统和文件系统级别的安全威胁
- HDFS使用AES-CTR加密算法。AES-CTR支持128位加密密钥（默认)
密钥
- 当加密区域被创建时，都会有一个
，encryption zone key )与之对应，EZ密钥存储在HDFS外部的密钥库中。
- 加密区域里的每个文件都有其自己加密密钥，叫做
，data encryption key )。DEK会使用其各自的加密区域的EZ* * 密钥进行加密，以形成
密钥库(keystore )
存储密钥（key)的叫做密钥库(keystore ) ,将HDFS与外部企业级密钥库(keystore )集成是部署透明加密的第一步。
这是因为密钥(key )管理员和HDFS管理员之间的职责分离是此功能的非常重要的方面。但是，大多数密钥库都不是为Hadoop工作负载所见的加密/解密请求速率而设计的。
KMS(密钥管理服务)
Hadoop密钥管理服务(Key Management Server，简写KMS），用作HDFS客户端与密钥库之间的代理。
KMS主要有以下几个职责∶
1.访问加密区域秘钥( EZ key )
2.生成EDEK，EDEK存储在NameNode上
3.为HDFS客户端解密EDEK
KMS配置
- step1 :关闭HDFS集群
在node1上执行stop-dfs.sh。 - Step2:创建keystore
·密钥库的名字叫做itcast，访问密钥库的密码是:123456。
keytool -genkey -alias 'itcast_keystore'
- step3:配置kms-site.xml
hadoop. kms. kev.proxider.uri设置密钥库的提供者这里设置jceks，表示就是java密钥库。
<configuration>
<property>
<name>hadoop.kms.key.provider.uri</name>
<value>jceks://file@/${user.home]/kms.jks</value>
</property>
<property>
<name>hadoop.security.keystore.java-keystore-provider.password-file</name>
<value>kms.keystore.password</value>
</property>
<property>
<name>dfs.encryption.key.provider.uri</name>
<value>kms://http@node1:16000/kms</value>
</property>
<property>
<name>hadoop.kms.authentication.type</name>
<value>simple</value>
</property>
</configuration>
