Kafka集群部署

一、Jdk安装配置

环境搭建需要jdk版本为1.7。将jdk安装文件分别拷贝至各服务器上,配置环境变量,下面以jdk-7u55-linux-x64.rpm版本为示例:

1). 将下载的jdk安装文件jdk-7u55-linux-x64.rpm拷贝到/home/hiatmp里。

2).运行命令安装,命令为:rpm -ivh jdk-7u55-linux-x64.rpm

3).在/etc/profile里面增加环境变量:

export JAVA_HOME=/usr/java/jdk1.7.0_55

export JAVA_BIN=/usr/java/jdk1.7.0_55/bin

export PATH=$PATH:$JAVA_HOME/bin

export

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOMEJAVA_BIN PATH CLASSPATH

注意,linux中环境变量是以":"分割的,不是";",目录要设置正确,特别注意不要有空格等。

4).执行source /etc/profile命令使修改生效;

5).查看jdk是否安装好:Java  –version,显示类似如下信息说明安装配置正确。

确认当前jdk的版本号

若还出现类似以下界面,则需要先卸载自带的jdk版本。 先查看jdk,命令为:rpm -qa|grep java,

系统自带的jdk

然后输入如下命令进行卸载: rpm -e --nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115(nodeps后面的java信息由系统自带的具体版本确定),卸载完之后在按上述步骤重新安装一遍即可。

二、ZooKeeper服务搭建

1、功能描述:

    主要为kafka集群运行提供一致性协调服务。

2、准备安装包zookeeper-3.4.12.tar.gz

3、解压安装包,重命名文件zoo_sample.cfg为zoo.cfg,按照如下要求在各服务器上创建相应的文件夹并修改zoo.cfg文件配置,此项各服务器可采用相同配置。


zoo.cfg配置修改

4、修改好zoo.cfg文件后,打包至zookeeper-3.4.12.tar.gz的conf下,上传至各服务器/home/hiatmp下。

5、在各服务器的/home/hiatmp/zookeeper/data下,创建myid文件,内容依次为1,2,3,全局唯一不能重复。

操作示例:

创建标识文件

6、执行tar -zxvf zookeeper-3.4.12.tar.gz ,在服务器上解压缩安装包。

解压缩

7、分别进入各服务器的/home/hiatmp/zookeeper-3.4.12/bin路径下,启动各服务器上的zookeeper服务并如图确认状态。

启动服务

三、Kafka服务

1、 功能描述:

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。

2、 准备安装包kafka_2.11-1.1.0.tgz。

3、 解压安装包,按照如下要求在各服务器上创建相应的文件夹并修改server.properties文件配置,各服务器共需要修改四项,前两项配置参数不同,后两项可采用相同配置(前提:路径一致)。


broker标识
本地服务监听
日志数据存储路径
集群配置列表

4、 修改好server.properties文件后,打包至kafka_2.11-1.1.0.tgz的conf下,上传至各服务器/home/hiatmp下。

5、 执行tar -zxvf kafka_2.11-1.1.0.tgz ,在服务器上解压缩安装包。

6、 分别进入各服务器的/home/hiatmp/kafka_2.11-1.1.0/bin路径下,启动各服务器上的kafka服务并如图确认状态。

服务启动

启动命令:./kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 &

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 221,548评论 6 515
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,497评论 3 399
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 167,990评论 0 360
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,618评论 1 296
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,618评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,246评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,819评论 3 421
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,725评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,268评论 1 320
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,356评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,488评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,181评论 5 350
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,862评论 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,331评论 0 24
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,445评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,897评论 3 376
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,500评论 2 359

推荐阅读更多精彩内容