简介
Kafka 是一种高吞吐的分布式发布订阅消息系统，能够替代传统的消息队列用于解耦合数据处理，缓存未处理消息等，同时具有更高的吞吐率，支持分区、多副本、冗余，因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端，可与Hadoop、Storm、Spark等其它大数据工具结合使用。
系统
CentOS Linux release 7.2.1511 (Core)
安装JDK1.8
- 第一种方式
$ yum install java-1.8.0-openjdk.x86_64
安装成功校验
$ java -version
openjdk version "1.8.0_242"
OpenJDK Runtime Environment (build 1.8.0_242-b08)
OpenJDK 64-Bit Server VM (build 25.242-b08, mixed mode)
- 第二种方式
通过wget下载jdk，jdk下载地址需要去oracle官网查看
$ tar zxvf jdk-8u65-linux-x64.tar.gz
$ mv jdk1.8.0_65 java
添加环境变量
JAVA_HOME=/opt/java
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME PATH
安装Kafka
通过wget下载kafka的安装包 下载地址去kafka官网
$ cd /opt
$ wget http://mirror.bit.edu.cn/apache/kafka/2.3.1/kafka_2.11-2.3.1.tgz
$ tar zxvf kafka_2.11-2.3.1.tgz
$ mv kafka_2.11-2.3.1 kafka
kafka验证
- 启动zookeeper
$ cd /opt/kafka
$ bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
- 启动kafka
bin/kafka-server-start.sh config/server.properties
- 创建topic
使用kafka-topics.sh 创建单分区单副本的topic test：
$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
- 查看topic：
$ bin/kafka-topics.sh --list --zookeeper localhost:2181
test
