生成一个parquet文件 下载 编译 运行 准备csv文件 生成parquet文件 可见目录下多了一个sample.parquet文件。这里没有指定avsc格式的schem...
生成一个parquet文件 下载 编译 运行 准备csv文件 生成parquet文件 可见目录下多了一个sample.parquet文件。这里没有指定avsc格式的schem...
摘要 上一篇以知乎网为例简单分享网络请求分析。这一篇主要分享一种应对反爬虫的方法,前端数据混淆。 目的 之前写https://github.com/wycm/zhihu-cr...
checkpoint是啥 简单点说,就是将正在运行的任务的状态保存下来。这个状态包括任务中每个算子的state,缓存的数据(比如processFunction)等。可以保存在...
什么是状态 首先要知道,状态指的是算子的状态。为什么算子需要状态,状态的用处无非两点: 实现算子的逻辑(作为一种中间状态) 错误恢复 实现算子的逻辑 用官网的例子,假设一段数...
jdk动态代理 一般的代码套路定义接口 定义接口实现类 自定义handler,完成自定义代理的业务逻辑 核心代码一共做了以下几件事 在ProxyHandler中的invoke...
kylin介绍 Apache Kylin is an open source Distributed Analytics Engine designed to provide...
本篇讲讲Flink,主要有 基于事件时间的消息处理机制 flink的容错机制 都说flink很火,那么它到底有什么过人之处呢。看了《Flink基础教程》,总结一下。 flin...
本文是基于jdk1.8来对动态代理的底层机制进行探究的 Java中代理的实现一般分为三种:JDK静态代理、JDK动态代理以及CGLIB动态代理。在Spring的AOP实现中,...
本文主要介绍mac下iTerm2的基本配置,包括两方面内容:主题和快捷键。写这篇的目的是为自己电脑的配置做个记录,以备不时之需。 主题 在配置完主题后,当你打开iTerm2时...