Vertica的这些事(十七)——Vertica消费kafka答疑

关于如何消费kafka数据,请参看Vertica的这些事(十四)——Vertica实时消费kafka实现
最近有小伙伴提出了消费kafka的一些疑问,答疑如下:

1、 Vertica消费kafka机制是什么?

Vertica通过scheduler来按定义的频度调度执行copy table from kafkasource(...)来从kafka的主题加载数据。

2、 Vertica消费kafka的偏移量是怎么维护的?

Vertica的scheduler会把每个主题消费到的偏移量存储到表stream_microbatch_history中(schema由scheduler的参数指定和创建),没加载一批就会scheduler就会给它加上,下一次加载的时候会作为参数传递给kafkasource。

3、 Vertica消费kafka是多个节点并发执行?资源怎么控制?

Vertica是多个节点并行读取kafka主题多个patition的消息的。资源池的EXECUTIONPARALLELISM参数会决定节点内解析消息的并行线程数,内存等资源也由资源池控制。

4、 Vertica消费kafka应该怎么监控?

MC本身具备kafka消息加载的监控界面,表stream_microbatch_history中有详细的加载信息。

5、 出现节点宕机对kafka消息读取有什么影响?

Kafka读过的消息偏移量和业务数据都存放到Vertica中,就算Vertica集群数据不完全恢复,他们也会保证是一致的,恢复后会自动从数据库中记录的偏移量开始继续加载,不会出现数据对视。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 姓名:周小蓬 16019110037 转载自:http://blog.csdn.net/YChenFeng/art...
    aeytifiw阅读 34,743评论 13 425
  • kafka的定义:是一个分布式消息系统,由LinkedIn使用Scala编写,用作LinkedIn的活动流(Act...
    时待吾阅读 5,356评论 1 15
  • 小时候爱吃辣条,就想着长大了要天天吃,可是长大了以后不爱吃了就是不爱吃了,我没有错,辣条也没有错,错的就是那些自以...
    21个年头阅读 252评论 0 0
  • 上周我们了解了记账的重要性及好处,这周就让我们来看看如何科学记账 吧! 【为什么要记账?】 当初年轻气盛的小投也想...
    简JA0阅读 285评论 0 0
  • 首发地址 iOS 中关于列表滚动流畅的一些探讨 近些年,App 越来越推崇体验至上,随随便便乱写一通的话已经很难让...
    ifelseboyxx阅读 2,069评论 16 28