Kafka基本概念
Kafka的应用场景
1.Messaging
类似传统消息中间件（RabbitMQ）
2.Website Activity Tracking
用户行为埋点统计，用户在网站上的行为统计
3.Metrics
做系统各种操作记录的度量
4.Log Aggregation
日志聚合
5.Stream Progessing
作为数据流的管道进行加工（数据清理，聚合，强化），这个功能单独独立出新的项目：Storm和Samza
6.Event Sourcing
状态的变化作为日志进行记录
7.commit log
对提交记录进行报错，错误节点可以根据提交记录二次提交进行补偿， log compaction
对这个特性进行很好支撑，类型的项目Apache BookKeeper
Kafaka安装
下载安装
wget http://mirror.bit.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz
tar -zxvf kafka_2.11-2.0.0.tgz
cd kafka_2.11-2.0.0/
如果没有安装zk，可以先启动系统kafaka自带的Zk
./bin/zookeeper-server-start.sh config/zookeeper.properties
启动kafaka
./bin/kafka-server-start.sh config/server.properties
创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
发送消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
消费消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
集群配置
配置server
server-1.properties
broker.id=1
listeners=PLAINTEXT://:9093
log.dirs=/tmp/kafka-logs-1
server-2.properties
broker.id=2
listeners=PLAINTEXT://:9094
log.dirs=/tmp/kafka-logs-2
启动server
bin/kafka-server-start.sh config/server-1.properties &
bin/kafka-server-start.sh config/server-2.properties &
创建Topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 1 --topic my-replicated-topic
查看Topic
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
