Flume

流式日志采集工具

功能

1.收集采集日志
2.定制采集数据

架构

1.source： 接收数据量
2.channal： 起到筛选作用，缓存数据量
3.sink： 写入数据量

Kerberos

用于安全认证，验证信息是否被串改，登录包的合法性

认证流程

1.客户端发送一条认证指令到达AS（认证服务器），该认证指令中，包含了用户名和密码相关信息，服务器在收到后会查到对应后台记录数据库，然后核实用户身份和权限信息，之后反馈给用户认证通过的表示，TGT（票据授权票据，有效期12h）
2.客户端收到TGT后，马上会携带自己的TGT和自己的用户名密码相关认证信息，发送给TGS（票据授权服务器），TGS收到请求后会马上进行验证，反馈给客户端一个ST（服务票据，有效期5min）
3.客户端马上会带着ST访问对应的hadoop中的服务，进行相关的操作

LDAP

作为用户数据存储中心，存储了集群内用户的信息，包含密码、附属信息等

ZooKeeper

保护高层组件和自己的安全性
1.分布式地分布在一组机器中
2.所有节点存储整份数据
3.在启动时选举出Leader
4.Leader使用原子广播将数据同步到所有其他节点
5.严格的顺序访问控制
6.不会部分读写

名词索引

WAL(Write Ahead Log)

先行写入日志

OSD

对象存储设备

MDS

元数据服务器