centos7上的kafka安装

架构图:

 一台机器上安装3个kafka节点,然后把这三个kakfa节点注册到同一台zk上。

zk版本: 3.4.13

      zookeeper-3.4.13.tar.gz

kafka版本 : 2.11-2.1.0.0


一、安装zk


1.从zk官网上下载3.4.13的zk

      下载地址

      http://apache.mirror.colo-serv.net/zookeeper/zookeeper-3.4.13/


2.创建zk的安装目录


创建zk的安装目录


2.把zk的安装包上传到服务器上



把zk的安装包上传至服务器上

3.解压


解压


4.修改配置文件


 4.1 在zookeeper目录下,创建俩个目录,一个是:data,另一个用于日志logs

          mkdir data

          mkdir logs


创建zk所需的目录


 4.2.复制出来一份配置文件

cp zoo_sample.cfg zoo.cfg


复制出来一个配置文件

4.3.修改zoo.cfg配置文件

修改zoo.cfg配置文件里面的内容

    #指定zk的基准时间间隔

    tickTime=2000

    #指定zk存放数据文件夹的目录为 /usr/local/zookeeper/data

    dataDir= /usr/local/zookeeper/data

    #指定zk存放日志文件夹的目录为:/usr/local/zookeeper/logs

    dataLogDir=/usr/local/zookeeper/logs

    #指定客户端访问zk的端口号为2181

    clientPort=2181


修改配置文件

 4.4.保存配置文件


保存配置文件


5.修改系统环境变量,把zk的启动命令加入到系统环境变量中


  5.1 编辑/etc/profile文件

vim /etc/profile

编辑profile文件

把zk相关的启动命令放入profile中:

#add zk config to profile

#zk dir

export  ZK_HOME=/usr/local/zookeeper/zookeeper-3.4.13

#append zk bin to  system path

export PATH=${ZK_HOME}/bin:$PATH


把zk的启动命令放入path中


5.2 使profile配置生效


source  /etc/profile 


刷新配置


6.启动zk


zkServer.sh start


启动zk

此时,即表明zk已经成功启动。

我们还可以使用zkServer.sh status命令来查看zk的运行状态。


查看zk的启动状态



二、安装kafka


1.下载kakfa安装包

下载地址

  kafka_2.11-2.1.0

kafka_2.11-2.1.0.tgz

2.上传至服务器



上传安装包至服务器

3.在/usr/local下创建kafka的安装目录

创建kafka的安装目录:

mkdir kafka


创建kafka的安装路径


4.解压到指定路径下

解压至/usr/local/kafka目录下:

[root@iz2ze38jexm12odh3o3k5ez ~]# tar -zxvf kafka_2.11-2.1.0.tgz -C /usr/local/kafka/


解压


5.在kafka目录下创建一个目录kafka-logs用于kafka存放文件


    mkdir kafka-logs


kafka的数据目录


6.修改kafka配置

kafka的几个重要配置:

    broker.id  #broker实例的id

    log.dirs    # kafka数据的存放地址

    port        #broker server的服务端口号

    zookeeper.connect  #zookeeper集群的地址


#zk相关配置

    zookeeper.connect = localhost:2181

    zookeeper.session.timeout.ms=6000

    zookeeper.connection.timeout.ms =6000

    zookeeper.sync.time.ms =2000

broker.id=0                # 每一个broker在集群中的唯一表示,要求是正数。当该服务器的IP地址发生改变时,broker.id没有变化,则不会影响                                      consumers的消息情况

num.network.threads=2    #broker处理消息的最大线程数,一般情况下数量为cpu核数

num.io.threads=8           #broker处理磁盘IO的线程数,数值为cpu核数2倍

socket.send.buffer.bytes=1048576         #socket的发送缓冲区,socket的调优参数SO_SNDBUFF

socket.receive.buffer.bytes=1048576         #socket的接受缓冲区,socket的调优参数SO_RCVBUFF

socket.request.max.bytes=104857600         #socket请求的最大数值,防止serverOOM,message.max.bytes必然要小于                                                                                                  socket.request.max.bytes,会被topic创建时的指定参数覆盖

log.dirs=/usr/local/kafka/kafka-logs             #kafka数据的存放地址,多个地址的话用逗号分割,多个目录分布在不同磁盘上可以提高读写性                                                                能

num.partitions=2                                         #每个topic的分区个数,若是在topic创建时候没有指定的话会被topic创建时的指定参数覆盖

log.retention.hours=168

log.segment.bytes=536870912               #topic每个分区的最大文件大小,一个topic的大小限制 = 分区数*log.retention.bytes。-1没有大小                                    限log.retention.bytes和log.retention.minutes任意一个达到要求,都会执行删除,会被topic创建时的指定参数覆盖

log.retention.check.interval.ms=60000      #文件大小检查的周期时间,是否处罚 log.cleanup.policy中设置的策略

log.cleaner.enable=false                        #是否开启日志清理

#

zookeeper.connect=localhost:2181

zookeeper.connection.timeout.ms=1000000  #ZooKeeper的最大超时时间,就是心跳的间隔,若是没有反映,那么认为已经死了,不易过        大


6.1 打开server.properties配置文件



打开配置文件

进行如下配置:


配置zk信息:


为kafka指定zk

保存配置。




7.启动kafka



利用单节点部署多个broker。不同的broker不同的id,监听端口以及日志目录

这里我们复制出来三份配置,broker.id分别设置为1,2,3,端口号为:9092,9093,9094

日志目录: kafka-logs、 kafka-logs2、 kafka-logs3


复制配置


 依次启动三个broker:


bin/kafka-server-start.sh -daemon config/server.properties &



分别起三个broker
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,657评论 6 505
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,889评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,057评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,509评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,562评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,443评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,251评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,129评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,561评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,779评论 3 335
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,902评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,621评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,220评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,838评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,971评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,025评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,843评论 2 354

推荐阅读更多精彩内容