Kafka 是一款分布式消息发布和订阅系统，具有高性能、高吞吐量的特点而被 广泛应用与大数据传输场景。
由于 kafka 具有更好的吞吐量、内置分区、冗余及容错性的优点(kafka 每秒可 以处理几十万消息)，让 kafka 成为了一个很好的大规模消息处理应用的解决方案。
Kafka的应用场景
** 行为跟踪：**kafka 可以用于跟踪用户浏览页面、搜索及其他行为。通过发布订阅模式实时记录到对应的 topic 中，通过后端大数据平台接入处理分析，并 做更进一步的实时处理和监控
日志收集：日志收集方面，有很多比较优秀的产品，比如 Apache Flume，很多公司使用 kafka 代理日志聚合。日志聚合表示从服务器上收集日志文件，然后放到一个集中的平台（文 件服务器）进行处理。在实际应用开发中，我们应用程序的 log 都会输出到本地的磁盘上， 排查问题的话通过 linux 命令来搞定，如果应用程序组成了负载均衡集群，并且集群的机器 有几十台以上，那么想通过日志快速定位到问题，就是很麻烦的事情了。所以一般都会做一 个日志统一收集平台管理 log 日志用来快速查询重要应用的问题。所以很多公司的套路都是 把应用日志几种到 kafka 上，然后分别导入到 es 和 hdfs 上，用来做实时检索分析和离线 统计数据备份等。而另一方面，kafka 本身又提供了很好的 api 来集成日志并且做日志收集
Kafka 本身的架构
kafka包含 Producer，Broker（kafka 支持水平扩展）、Consumer Group，以及zookeeper 集群。kafka 通过 zookeeper 管理集群配置及服务协同。Producer 使用 push 模式将消息发布到 broker，consumer 通过监听使用 pull 模式从 broker 订阅并消费消息。 多个 broker 协同工作，producer 和 consumer 部署在各个业务逻辑中。三者通过 zookeeper 管理协调请求和转发。这样就组成了一个高性能的分布式消息发布和订阅系统。 图上有一个细节是和其他 mq 中间件不同的点，producer 发送消息到 broker 的过程是 push，而 consumer 从 broker 消费消息的过程是 pull，主动去拉数 据。而不是 broker 把数据主动发送给 consumer
kafka的集群安装部署(需要准备zookeeper)
搭建3台kafka集群
首先在每台服务器安装好JDK
下载kafka
http://kafka.apache.org/downloads 我下的是 kafka_2.11-2.2.1.tgz 版本
1. tar -zxvf kafka_2.11-2.2.1.tgz 解压安装包
- cd kafka_2.11-2.2.1
3. vi config/server.properties
修改 server.properties 配置
4 修改 zookeeper.connect=172.16.19.186:2181 (zk的地址)
5. 修改 broker.id=0 (broker的全局唯一编号，集群的kafka不能重复，和zookeeper的myid是一个意思)
6. 修改 listeners=PLAINTEXT://192.168.79.138:9092 (broker监听IP和端口也可以是域名，修改成当前kafka服务器的ip和端口)
7.修改 num.partitions=3 (创建topic时设置分区数量，当建立Topic时不指定分区数量，默认的数量是这里设置的，一般需要看服务器的吞吐量来设置，但都会设置成至少与borck数量相同，因为这样有能把topic的分区分配到每台brock上，才能实现集群容错)
8.在最后面添加 default.replication.factor=2 (表示创建一个分区和一个分区的副本，就是有两个相同的分区，一个leader，一个fowller)
(一个topic，默认分区的replication(副本)个数，设置成1表示只创建分区本身(分区本身也是个副本，是Leader副本) ，不得大于集群中broker的个数，可以设置成2(每个分区有一个副本备份数据)，这样每个分区就会多一个副本，就能起容错效果，如果某个brock有p0分区(p0分区Leader)，但这个borck挂了，另一台borck上还有p0分区(follwer)的副本，这个p0 follwer副本，会成为leader，消费者能正常消费到p0上的消息)
配置完成
(https://blog.51cto.com/littledevil/2134694?source=dra)这篇文件有其他的配置参数说明。这里配置上面5个基本就可以了
3台kafka都是相同的操作
启动
先启动zookeeper
然后分别启动3台kafka id最小的会选为master
启动命令：到kafka的bin目录执行
sh kafka-server-start.sh ../config/server.properties &
启动成功到zk -client上查询brock的节点数
查询到有 0 1 2三台kafka brock节点 (显示的是broker.id)
搭建成功
