kafka简介
Kafka是一种高吞吐量的分布式发布订阅消息系统。
需要依赖于zookeeper服务，可以参照下面文章部署：
环境介绍
Linux系统：Centos6
192.168.122.10 server1
192.168.122.11 server2
192.168.122.12 server3
jdk部署
解压jdk压缩包到/opt/jdk
下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
tar zxvf jdk-8u111-linux-x64.tar.gz
mv jdk1.8.0_111 /opt/jdk
创建普通用户运行kafka
useradd kafka
修改文件句柄和进程限制，并修改hosts
echo '192.168.122.10 server1' >> /etc/hosts
echo '192.168.122.11 server2' >> /etc/hosts
echo '192.168.122.12 server3' >> /etc/hosts
echo 'kafka soft nproc 65535 ' >> /etc/security/limits.conf
echo 'kafka hard nproc 65535 ' >> /etc/security/limits.conf
echo 'kafka soft nofile 65535 ' >> /etc/security/limits.conf
echo 'kafka hard nofile 65535 ' >> /etc/security/limits.conf
修改环境变量
su - kafka
echo 'export JAVA_HOME=/opt/jdk' >> /home/kafka/.bash_profile
echo 'export PATH=$JAVA_HOME/bin:$PATH' >> /home/kafka/.bash_profile
. /home/kafka/.bash_profiles
下载kafka并解压安装
下载地址：http://mirror.bit.edu.cn/apache/kafka/0.10.2.0/kafka_2.11-0.10.2.0.tgz
tar zxvf kafka_2.11-0.10.2.0.tgz
mv kafka_2.11-0.10.2.0 /opt/
cd /opt
ln -s kafka_2.11-0.10.2.0 kafka
修改配置文件
cd /opt/kafka/config
vim server.properties
#修改broker.id ，在集群里面是唯一的
broker.id=0
#修改日志目录路径
log.dirs=/data/kafka-logs
#修改连接的zookeeper
zookeeper.connect=192.168.122.10:2181,192.168.122.11:2181,192.168.122.12:2181
创建目录及修改权限
su - root
mkdir -p /data/kafka-logs
chown kafka.kafka /data/kafka-logs -R
启动kafka
cd /opt/kafka/
nohup bin/kafka-server-start.sh config/server.properties &
其他两个节点只要broker.id分别设置成2 3 就可以了
