Kafka快速入门

作者:crane-yuan 日期:2017-08-31


介绍

Apache Kafka was originated at LinkedIn and later became an open sourced Apache project in 2011, then First-class Apache project in 2012. Kafka is written in Scala and Java. Apache Kafka is publish-subscribe based fault tolerant messaging system. It is fast, scalable and distributed by design.

安装kafka服务器

kafka启动需要依赖zookeeper和Java8环境,所以需要先安装zookeeper和java8

注:本人实验使用的kafka版本为0.8.2.x

ArchLinux下安装命令

> yaourt -S zookeeper
> yaourt -S java8
> yaourt -S kafka #可以自己修改PKGBUILD文件,安装指定版本

Mac下安装命令

> brew install zookeeper
>  brew cask install java
> brew install kafka

配置zookeeper

# conf/zoo.cfg

tickTime=2000
dataDir=/var/zookeeper
clientPort=2181

配置kafka

/etc/kafka/server.properties

broker.id=0
auto.create.topics.enable=true # 自动创建topic
delete.topic.enable=true # 使删除topic命令可以起作用
host.name=localhost

zookeeper.connect=localhost:2181

启动kafka server

> sudo zkServer.sh start
> sudo kafka-server-start.sh  /etc/kafka/server.properties # 可以加上-daemon选项在后台以守护进程运行

创建topic

> kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test-topic

获取topic列表

> kafka-topics.sh --list --zookeeper localhost:2181 

写消息到topic

> kafka-console-producer.sh --broker-list localhost:9092 --topic test-topic
# 输入字符,以回车结束一条消息

从topic读取消息

> kafka-console-consumer.sh --zookeeper localhost:2181 --topic test-topic --from-beginning

删除topic

> kafka-topics.sh --zookeeper localhost:2181 --delete --topic test-topic # server.properties中delete.topic.enable=true设置时才有效

参考文章

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • ** 今天看了一下kafka官网,尝试着在自己电脑上安装和配置,然后学一下官方document。** Introd...
    RainChang阅读 10,452评论 1 30
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 136,084评论 19 139
  • 本教程假设你是新手,没有 Kafka 或 ZooKeeper 的历史数据。由于 Kafka 自带的控制台脚本在 U...
    翼徳阅读 10,547评论 0 5
  • Kafka入门经典教程-Kafka-about云开发 http://www.aboutyun.com/threa...
    葡萄喃喃呓语阅读 13,700评论 4 54
  • 其实有些时候,心里的谜团不曾着急去解开。只想着,凡事皆是天定,天意欲弄人,管你如何折腾,也无法改变分毫。就像...
    云紫烟阅读 1,616评论 0 0

友情链接更多精彩内容