kafka 第一课

Paste_Image.png
Paste_Image.png

1.kafka是能够处理实时信息流的消息系统

Paste_Image.png

(1)Producer API
提供生产topic的接口
(2) Streams API
接受一个topic 然后返回一个topic
(3)Consumer API
消费topic的api
(4) Connector API
通过 connectors可以将大数据从其它系统导入到Kafka中,也可以从Kafka中导出到其它系统。而导出工作则是将数据从Kafka Topic中导出到其它数据存储系统、查询系统或者离线分析系统等,比如数据库、 Elastic SearchApache Ignite 等。

2.kafka 的用途

(1)在不同系统和应用之间构建实时可靠信息流
(2)能够实时转化和响应信息流

3.Topics and Logs

Paste_Image.png

系统发送的每个记录被称为一个topic。topic的存活周期可以自己设定。

Paste_Image.png

每个consumer都会保持一个meta记录,记录着offset 偏移量。由用户控制。可以随意读取。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 本文转载自http://dataunion.org/?p=9307 背景介绍Kafka简介Kafka是一种分布式的...
    Bottle丶Fish阅读 10,818评论 0 34
  • Kafka官网:http://kafka.apache.org/入门1.1 介绍Kafka™ 是一个分布式流处理系...
    it_zzy阅读 9,303评论 3 53
  • kafka的定义:是一个分布式消息系统,由LinkedIn使用Scala编写,用作LinkedIn的活动流(Act...
    时待吾阅读 10,764评论 1 15
  • 背景介绍 Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下: 以时间复杂度为O...
    高广超阅读 14,406评论 8 167
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,810评论 19 139

友情链接更多精彩内容