Kafka安装（0.9.0.0）与升级（0.9.0.0升级0.10.2.0）

1.安装zookeeper

2.kafka安装

2.1准摆好三台机器，安装好JDK1.8 + centos6.7，本次安装是kafka+zk在同一台机器的方式

image.png

2.2 准备好

image.png

2.3修改配置文件

192.168.18.101    broker.id = 0
192.168.18.102    broker.id = 1
192.168.18.103    broker.id = 2

image.png

2.4 创建软链接 `ln -s kafka_2.10-0.9.0.0 kafka`

image.png

2.5 启动脚本+开启jmx+promethus监控

IP=`ifconfig eth0 | grep "inet addr" | awk '{ print $2}' | awk -F: '{print $2}'`
echo ${IP}
KAFKA_HOME=/root/apps/kafka
echo ${KAFKA_HOME}
KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote  -Dcom.sun.management.jmxremote.port=9999 -Dcom.sun.management.jmxremote.authenticate=false  -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=${IP} -javaagent:/root/apps/prometheus_kafka/jmx_prometheus_javaagent-0.6.jar=7071:/root/apps/prometheus_kafka/kafka-0-8-2.yml"  \
nohup ${KAFKA_HOME}/bin/kafka-server-start.sh ${KAFKA_HOME}/config/server.properties 2>&1 &

#如果不使用promethus，启动脚本为这样
IP=`ifconfig eth0 | grep "inet addr" | awk '{ print $2}' | awk -F: '{print $2}'`
echo ${IP}
KAFKA_HOME=/root/apps/kafka
echo ${KAFKA_HOME}
KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote  -Dcom.sun.management.jmxremote.port=9999 -Dcom.sun.management.jmxremote.authenticate=false  -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=${IP}  \
nohup ${KAFKA_HOME}/bin/kafka-server-start.sh ${KAFKA_HOME}/config/server.properties 2>&1 &

2.6 分别启动三台kafka-broker，利用kafka-manager查看

image.png

创建topic

image.png

启动生产者

./kafka-console-producer.sh --broker-list 192.168.18.101:9092,192.168.18.102:9092,192.168.18.103:9092 --topic test02_topic

image.png

启动消费者
./kafka-console-consumer.sh --zookeeper 192.168.18.101:2181,192.168.18.102:2181,192.168.18.103:2181 --topic test02_topic --from-beginning

image.png

消息记录

image.png

3.kafka升级0.9.0 --> 0.10.2

3.1 准备好相关配置

image.png

配置文件中，增加以下配置

#CURRENT_KAFKA_VERSION=0.9.0.0
inter.broker.protocol.version=0.9.0.0
log.message.format.version=0.9.0.0

3.2.1 启动idea生产客户端test02_topic、启动flume生产端模拟线上生产数据test03_topic

image.png

3.2.2 启动console-consumer 消费test02_topic、test03_topic 模拟线上消费者

image.png

3.2.3

停止0.9.0 kafka
删除软链接
创建新的软链接 ln -s kafka_2.11 kafka
启动

逐台执行以上操作，观察kafka-manager，待每台broker重启成功后，操作下一台broker。

image.png

3.2.4

修改server.perproties inter.broker.protocol.version,log.message.format.version改为0.10.2.0

inter.broker.protocol.version=0.9.0.0
log.message.format.version=0.9.0.0

inter.broker.protocol.version=0.10.2.0
log.message.format.version=0.10.2.0

image.png

停止kafka
启动kafka
逐台执行以上操作，观察kafka-manager，待每台broker重启成功后，操作下一台broker。
操作期间，生产者消费者均无异常，正常执行

image.png

image.png

kafkamanager中也是正常
mini01

image.png

image.png
mini02

image.png

image.png
mini03

image.png

image.png