Flink消费kafka(动态拉取topic + 正则匹配多个topic)

动态拉取topic

//动态感知partition的变化   10ms动态获取topic的元数据,新增的partition会自动从最早的位点开始消费数据
      
properties.setProperty(FlinkKafkaConsumerBase.KEY_PARTITION_DISCOVERY_INTERVAL_MILLIS, "10");

正则匹配多个topic

FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer<>(Pattern.compile("test_topic.*"), deserializationSchema, properties);

参考

【1】flink 消费kafka (exactly-once),动态感知topic,partition, 消费多个topic,区分数据来源 API:https://blog.csdn.net/weixin_40954192/article/details/107561435

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容