240 发简信
IP属地:北京
  • "在预提交成功之后,提交的 commit 需要保证最终成功 - operator 和外部系统都需要保障这点。如果 commit 失败(例如,由于间歇性网络问题),整个 Flink 应用程序将失败,应用程序将根据用户的重启策略重新启动,还会尝试再提交。这个过程至关重要,因为如果 commit 最终没有成功,将会导致数据丢失。"你分享的文章有这么一句话,在上述情况下,它的意思是失败后,重试的时候会在提交,而不是走检查点,再提交时你的conn已经关闭了,flink是如何实现恢复之前的conn状态的?

    Flink实现Kafka到Mysql的Exactly-Once

    Flink实现Kafka到Mysql的Exactly-Once 背景 最近项目中使用Flink消费kafka消息,并将消费的消息存储到mysql中,看似一个很简单的需求,在网...

  • Ambari hdp Spark多版本并存

    本示例基于ambari hdp-2.6.0.3(spark2.1.0),集成spark2.2.2,其他的版本思路类似(spark2.3经测试也是没问题的) 下载spark-2...

  • MLSQL权限管理

    前言 MLSQL 在v1.1.7 规范化了DataSource 相关的API, 可以细化控制所有的表,这也是MLSQL权限体系的一个基础。在该文,我们会详细介绍MLSQL权限...

  • 120
    ServiceFramework作为Java Web框架都有哪些不错的设计

    前言 最近需要开发一个纯API的项目,mlsql-cluster,从无到有,到最后完整的proxy功能开发完毕,只花了四个小时不到,自己不尽小感叹了一把 ServiceFra...