发简信
IP属地：辽宁
-
Linux mysql 5.6.29 安装
今天再次在linux下安装了一次mysql。以前从来没有做过记录。今天照着网上安装的时候，发现竟然没有找到一篇文章讲清楚了怎么使用压缩包安装mysql。这里我自己记录一番，以...
-
win10离线安装WSL2 Ubuntu20.04系统虽然微软官方提供了方便的APP Store安装方式，和自动的命令安装方式，单由于国内限制因素，导致官方网速巨慢，而且很不稳定。 这不得不迫使我们探索一种不依赖官方网站的安装方...
-
expose 和 export 都分不清
Gson（动态）忽略字段@Export注解使用
背景： 提交（获取）服务器数据时，经常遇到json实体中某些字段不需要序列化（反序列化）提交（获取）到服务器（本地）。怎么办？Gson工具类实际已通过注解方式帮助我们实现了该...
-
Electron: 从零开始写一个记事本appElectron介绍 简单来说，Electron就是可以让你用Javascript、HTML、CSS来编写运行于Windows、macOS、Linux系统之上的桌面应用的库。...
-
R 数据可视化 —— 径向柱状图前言 我们前面所介绍的图形，基本上都是在笛卡尔坐标系上的图形。 今天，我们要介绍几种绘制在极坐标上的图形 南丁格尔玫瑰图 南丁格尔玫瑰图，即笛卡尔坐标系中的柱状图转换为极坐标...
-
【r<-ROC|包】分析与可视化ROC——plotROC、pROC在【r<-绘图|ROC】ROC的计算与绘制这篇文章中我讲了ROC曲线的本质以及如何计算和绘制ROC曲线。注意，我这里谈到的ROC并未曾涉及机器学习模型的拟合与预测，而是指存在...
-
谢谢，简书的代码片段和图片格式受限，我搬家到这里啦
https://www.cnblogs.com/myownswordsman/p/streaming-watermarks.html《Streaming Systems》第三章: Watermarks
定义 对于一个处理无界数据流的 pipeline 而言，非常需要一个衡量数据完整度的指标，用于标识什么时候属于某个窗口的数据都已到齐，窗口可以执行聚合运算并放心清理，我们暂且...
-
R ggplot2解决中文乱码
ggplot2 横纵坐标需要显示为中文，正常情况下显示为乱码。 查了百度，一致的解决方法是修改family来调整语言：theme(text = element_text(fa...
-
Kafka Kerberos 安全认证本主要介绍在 Kafka 中如何配置 Kerberos 认证，文中所使用到的软件版本：Java 1.8.0_261、Kafka_2.12-2.6.0、Kerberos 1.1...
-
Flink 清理过期 Checkpoint 目录的正确姿势本博客是笔者在生产环境使用 Flink 遇到的 Checkpoint 相关故障后，整理输出，价值较高的 实战采坑记，本文会带你更深入的了解 Flink 实现增量 Checkp...
-
《Streaming Systems》第三章: Watermarks定义 对于一个处理无界数据流的 pipeline 而言，非常需要一个衡量数据完整度的指标，用于标识什么时候属于某个窗口的数据都已到齐，窗口可以执行聚合运算并放心清理，我们暂且...
-
《Streaming Systems》第二章: 数据处理中的 What, Where, When, How本章中，我们将通过对 What，Where，When，How 这 4 个问题的回答，逐步揭开流处理过程的全貌。 What：计算什么结果？也就是我们进行数据处理的目的，答案是转...
-
《Streaming Systems》第一章: Streaming 101数据的价值在其产生之后，将随着时间的流逝逐渐降低。因此，为了获得最大化的数据价值，尽可能实时、快速地处理新产生的数据就显得尤为重要。实时数据处理将在越来越多的场景中体现出更大...
-
Flink 中的事件时间触发器和处理时间触发器EventTimeTrigger EventTimeTrigger 的触发完全依赖 watermark，换言之，如果 stream 中没有 watermark，就不会触发 E...
-
Flink详解系列之五--水位线（watermark）1、概念 在Flink中，水位线是一种衡量Event Time进展的机制，用来处理实时数据中的乱序问题的，通常是水位线和窗口结合使用来实现。 从设备生成实时流事件，到Flin...
-
Flink的重启策略
Flink的重启策略 Flink支持不同的重启策略，这些重启策略控制着job失败后如何重启。集群可以通过默认的重启策略来重启，这个默认的重启策略通常在未指定重启策略的情况下使...
-
本博客所有内容均适用知识共享-署名-相同方式共享（CC-BY-SA）4.0协议。
-
谈谈三种海量数据实时去重方案（w/ Flink）
Prologue 数据去重（data deduplication）是我们大数据攻城狮司空见惯的问题了。除了统计UV等传统用法之外，去重的意义更在于消除不可靠数据源产生的脏数据...
