Kafka集群部署

1、软件环境

用三台机器,系统CentOS7 64位

192.168.0.241

192.168.0.242

192.168.0.243

2、安装jdk

注释:三台机器都需要安装

#yum -y install jdk

3、下载zookeeper

wget http://mirror-hk.koddos.net/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz

4、安装Kafka

注释:三台机器都需要执行

#tar -zxvf kafka_2.12-2.3.0.tgz

#mv kafka_2.12-2.3.0 /data/zookeeper

5、修改配置

注释:三台机器都需要修改配置

#vim /data/kafka/config/server.properties

broker.id=1

listeners=PLAINTEXT://192.168.0.241:9092 ##设置本机IP

num.network.threads=2

num.io.threads=16

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/data/kafka/logs/kafka-logs

num.partitions=120

num.recovery.threads.per.data.dir=1

offsets.topic.replication.factor=2

transaction.state.log.replication.factor=2

transaction.state.log.min.isr=2

log.flush.interval.messages=10000

log.flush.interval.ms=1000

log.retention.hours=72

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=192.168.0.241:2181,192.168.0.242:2181,192.168.0.243:2181

zookeeper.connection.timeout.ms=6000

group.initial.rebalance.delay.ms=0

auto.create.topics.enable=true

delete.topic.enable=true

6、启动

mkdir -p /data/kafka/logs

cd /data/kafka/bin

./kafka-server-start.sh -daemon ../config/server.properties

7、查看

#ps -ef |grep java

#netstat -anp |grep 9092

#jps

6213 Kafka

6393 Jps

5757 QuorumPeerMain

8、参考

https://www.jianshu.com/p/5297773fcc1b

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。