本文将介绍 Airflow 这一款优秀的调度工具。主要包括 Airflow 的服务构成、Airflow 的 Web 界面、DAG 配置、常用配置以及 Airflow DAG ...
发简信
IP属地：广东
-
浅谈调度工具——Airflow -
30张图带你彻底理解红黑树写在前面 当在10亿数据进行不到30次比较就能查找到目标时，不禁感叹编程之魅力！人类之伟大呀！ —— 学红黑树有感。 终于，在学习了几天的红黑树相关的知识后，我想把我所学所想...
-
Spark Core解析 2：Scheduler 调度体系Spark Core解析 2：Scheduler 调度体系 Overview 调度系统，是贯穿整个Spark应用的主心骨，从调度系统开始入手了解Spark Core，比较容易...
-
Spark Structured Streaming 写checkpoint 到HDFS 抖动的排查问题描述 我们最近有个项目，需要实时消费订单成单的消息，提炼完数据后把结果写入HDFS，因此checkpointConfiguration 自然而然也采用默认配置写到HDFS...
-
Scala并发编程实战 - 2：Lock 锁
synchronized作为内置锁，使用简单，不易出错，然鹅确有相当的局限性，例如，无法从等待获取锁的阻塞中中断，无法设置获取锁的超时。所以JUC提供了另一种更灵活的加锁方式...
-
Spark Core 解析：RDD引言 Spark Core是Spark的核心部分，是Spark SQL，Spark Streaming，Spark MLlib等等其他模块的基础, Spark Core提供了...
-
Scala implicit 隐式转换安全驾驶指南
这篇短文将结合实例对隐式转换的各种场景进行解释和总结，希望看完的人能够安全驶过隐式转换这个大坑。 隐式转换函数 隐式转换函数有两种作用场景。 1 转换为期望类型：就是指一旦编...
-
Maven用户都应该知道的一些事：关于依赖的常见问题
依赖范围(scope)不同选项的区别 依赖范围参数的作用是控制依赖在不同阶段与classpath的关系，具体区别如下图所示。 表中没有列出的值是import，这个选项是用于引...
-
Maven用户都应该知道的一些事：构建生命周期和插件
Maven的所有实际操作都是由插件完成的，如果没有插件，Maven什么都不会干。（即时你没有在POM中配置 元素，Super POM中也已经帮你引入了若干核心插件） 那么问题...
-
《奇葩说》金句集锦，每一句都能要了你的命上周末，最新一季的《奇葩说》迎来收官之战。 剧情最后大反转，陈铭老师喜提新一季“BBking”，如晶以微弱差距再次与“BBking”失之交臂。 下面，我们一起来回顾下《奇葩说...
-
给女朋友讲解什么是Optional【JDK 8特性】
前言 只有光头才能变强 前两天带女朋友去图书馆了，随手就给她来了一本《与孩子一起学编程》的书，于是今天就给女朋友讲解一下什么是Optional类。 至于她能不能看懂，那肯定是...
-
学习云计算大数据平台，Spark, Flink，Storm Hadoop等平台，让我们共同促进大数据的发展
-
大厂的第一堂课，完整的git流程前言 大厂有着数量庞大的代码库以及复杂的权限验证体系，囊括着开发、测试、上线的完整流程。因此必然会有一套代码仓库的管理流程，而不再是个人的代码随意开发、随意提交。这也是我从小...
