kafka笔记
0. Kafka
分布式流处理平台。
在系统之间构建实时数据流管道。
以topic分类对记录进行存储
每个记录包含key-value+timestamp
每秒钟百万消息吞吐量。
producer //消息生产者
consumer //消息消费者
consumer group //消费者组
kafka server //broker,kafka服务器
topic //主题,副本数,分区.
zookeeper //hadoop namenoade + RM HA | hbase | kafka
安装
- 下载
wget http://mirrors.shu.edu.cn/apache/kafka/2.2.0/kafka_2.12-2.2.0.tgz
-
解压
tar -zxvf kafka_2.12-2.2.0.tgz -
环境变量
- 建立符号连接 ln -s xxx /soft/kafka
- 配置/etc/profile
1. Kafka
-
配置server.properties
[kafka/config/server.properties] ... broker.id=1 ... listeners=PLAINTEXT://:9092 ... log.dirs=/home/gin/kafka/logs ... zookeeper.connect=localhost:2181 -
启动kafka
a. 先启动zk
b. 启动kafka
kafka-server-start.sh config/server.properties
kafka-server-start.sh daemon config/server.properties 创建主题
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic hellokfk
- 查看主题
kafka-topics.sh --list --zookeeper localhost:2181
- 控制台生产者
kafka-console-producer.sh --broker-list localhost:9092 --topic hellokfk
- 控制台消费者
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic hellokfk --from-beginning
1. Kafka在zk中的配置
/brokers/ids/203
/brokers/topics/test/partitions/0/state
/brokers/seqid
/admin/delete_topics
/isr_change_notification
