Flink任务、Spark任务提交到集群，通常需要将可执行Jar上传到集群，手动执行任务提交指令，如果有配套的大数据平台则需要上传Jar，由调度系统进行任务提交。对开发者来说...
发简信
IP属地：北京
-
本地IDEA提交Flink/Spark任务到集群的工具
-
「Git」合并多个 Commit在使用 Git 作为版本控制的时候，我们可能会由于各种各样的原因提交了许多临时的 commit，而这些 commit 拼接起来才是完整的任务。那么我们为了避免太多的 comm...
-
列存储格式Parquet浅析Parquet调研报告 1. 概述 1.1 简介 Apache Parquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Had...
-
Flink详解系列之八--Checkpoint和Savepoint一、Checkpoint 获取分布式数据流和算子状态的一致性快照是Flink容错机制的核心，这些快照在Flink作业恢复时作为一致性检查点存在。 1.1 原理 1.1.1 B...
-
在浏览器中用JS实现常见弹出框JS常见的弹出框（非常之简单） 本文适合初入前端的同学相信不少同学在学习前端的过程中，不管是制作demo，还是真实工作项目中，难免会遇到制作弹出框（提示框）的需求，这两天正好...
-
yarn-site.xml中的几个日志相关配置项
提交到yarn上的application出错，最简单直接的查错方式就是查看log，有时还需分析提交到yarn上的job.jar。 yarn-site.xml中有几个配置项与日...
-
【更新中】个人总结：在大数据hadoop路上跳过的坑环境说明：CentOS-6.4-x86_64-bin-DVD1.isohadoop-2.4.1.tar.gzhbase-0.98.3-hadoop2-bin.tar.gzjd...
-
Flink 1.10源代码编译，基于release-1.10分支
Flink源代码编译部署 以[release-1.10][https://github.com/apache/flink/tree/release-1.10]版本为例 以 [...
-
jvm系列(十):如何成为Java的OOM Killer
前言 虽然事隔半年，当时排查线上OOM事故的过程记忆犹新，每一个步骤都历历在目，感谢业务组、系统部、压测组、监控与应急部对架构组的强力支持，得以让这个Java内存问题水落石...
