kafka安装及配置文件详解
Linux环境下kafka安装方法
一、环境准备
1、下载kafka
下载地址：https://kafka.apache.org/
1
2
3
4
<code>2、解压缩并把kafka放到opt下
tar -zxvf kafka.tar.gz
mv kafka /opt
</code>
二、配置步骤
1、建立logs目录
mkdir -p /opt/kafka/logs
1
2
3
<code><code>2、配置conf文件
文件地址：$kafka/config/server.properties
</code></code>
修改zookeeper connect
修改logsdir
1
2
3
4
5
6
7
<code><code><code>如果不需要集群配置，直接启动即可，如需要集群配置，请做以下配置：
broker.id=1#设置该节点为集群中第几个节点
port=9092#如果在同一台机器上部署多个kafka应用，每个应用应单独分配端口，避免重复
host.name=192.168.126.199#绑定机器上的网口
log.dirs=/opt/kafka_2.11-0.8.2.2/logs #日志路径
num.partitions=1#partitions数量
</code></code></code>
三、启动kafka
bin/kafka-server-start.sh config/server.properties
注意：集群配置的话，每台机器上都需要手工启动kafka。
四、验证
1、创建topic
./kafka-topics.sh –create –zookeeper 192.168.121.129:2181,192.168.121.130:2181 –replication-factor 3 –partition 1 –topic storedb
2、启动consumer
./kafka-console-consumer.sh –zookeeper 192.168.121.129:2181,192.168.121.130:2181 –from-beginning –topic storedb
3、启动producer
注意生产者与zookeeper无关，且为9092端口，实际配置了broker的才为生产者
./kafka-console-producer.sh –broker-list 192.168.121.128:9092 –topic storedb
4、在porducer控制台输入message信息，查看consumer控制台中是否能获取
查看topic
查看所有主题
./kafka-topics.sh –list –zookeeper 192.168.121.129:2181,192.168.121.130:2181
./kafka-topics.sh –describe –zookeeper 192.168.121.129:2181,192.168.121.130:2181
查看指定主题：
./kafka-topics.sh –describe –zookeeper 192.168.121.129:2181,192.168.121.130:2181 –topic storedb
kafka配置文件详解
broker.id=0 #当前机器在集群中的唯一标识，和zookeeper的myid性质一样
port=19092 #当前kafka对外提供服务的端口默认是9092
host.name=192.168.7.100 #这个参数默认是关闭的，在0.8.1有个bug，DNS解析问题，失败率的问题。
num.network.threads=3 #这个是borker进行网络处理的线程数
num.io.threads=8 #这个是borker进行I/O处理的线程数
log.dirs=/opt/kafka/kafkalogs/ #消息存放的目录，这个目录可以配置为“，”逗号分割的表达式，上面的num.io.threads要大于这个目录的个数这个目录，如果配置多个目录，新创建的topic他把消息持久化的地方是，当前以逗号分割的目录中，那个分区数最少就放那一个
socket.send.buffer.bytes=102400 #发送缓冲区buffer大小，数据不是一下子就发送的，先回存储到缓冲区了到达一定的大小后在发送，能提高性能
socket.receive.buffer.bytes=102400 #kafka接收缓冲区大小，当数据到达一定大小后在序列化到磁盘
socket.request.max.bytes=104857600 #这个参数是向kafka请求消息或者向kafka发送消息的请请求的最大数，这个值不能超过java的堆栈大小
num.partitions=1 #默认的分区数，一个topic默认1个分区数
log.retention.hours=168 #默认消息的最大持久化时间，168小时，7天
message.max.byte=5242880 #消息保存的最大值5M
default.replication.factor=2 #kafka保存消息的副本数，如果一个副本失效了，另一个还可以继续提供服务
replica.fetch.max.bytes=5242880 #取消息的最大直接数
log.segment.bytes=1073741824 #这个参数是：因为kafka的消息是以追加的形式落地到文件，当超过这个值的时候，kafka会新起一个文件
log.retention.check.interval.ms=300000 #每隔300000毫秒去检查上面配置的log失效时间（log.retention.hours=168 ），到目录查看是否有过期的消息如果有，删除
log.cleaner.enable=false #是否启用log压缩，一般不用启用，启用的话可以提高性能
zookeeper.connect=192.168.7.100:12181,192.168.7.101:12181,192.168.7.107:1218 #设置zookeeper的连接端口
日志说明
默认kafka的日志是保存在/opt/kafka/kafka_2.10-0.9.0.0/logs目录下的，这里说几个需要注意的日志
server.log #kafka的运行日志
state-change.log #kafka他是用zookeeper来保存状态，所以他可能会进行切换，切换的日志就保存在这里
controller.log #kafka选择一个节点作为“controller”,当发现有节点down掉的时候它负责在游泳分区的所有节点中选择新的leader,这使得Kafka可以批量的高效的管理所有分区节点的主从关系。如果controller down掉了，活着的节点中的一个会备切换为新的controller.
Kafka解析
Terminology
● Broker
Kafka集群包含一个或多个服务器，这种服务器被称为broker
● Topic
每条发布到Kafka集群的消息都有一个类别，这个类别被称为topic。（物理上不同topic的消息分开存储，逻辑上一个topic的消息虽然保存于一个或多个broker上但用户只需指定消息的topic即可生产或消费数据而不必关心数据存于何处）
● Partition
parition是物理上的概念，每个topic包含一个或多个partition，创建topic时可指定parition数量。每个partition对应于一个文件夹，该文件夹下存储该partition的数据和索引文件
● Producer
负责发布消息到Kafka broker
● Consumer
消费消息。每个consumer属于一个特定的consuer group（可为每个consumer指定group name，若不指定group name则属于默认的group）。使用consumer high level API时，同一topic的一条消息只能被同一个consumer group内的一个consumer消费，但多个consumer group可同时消费这一消息
一个典型的kafka集群中包含若干producer（可以是web前端产生的page view，或者是服务器日志，系统CPU、memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干consumer group，以及一个 Zookeeper 集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在consumer group发生变化时进行rebalance。producer使用push模式将消息发布到broker，consumer使用pull模式从broker订阅并消费消息。
本文为转载；
