可以分为 繁忙程度 util 响应速度 await 获取数据 /proc/diskstats 以Linux为例，该服务器上有一块vda设备，该vda设备的diskstat...
发简信
IP属地：四川
-
关于服务器IO监控的了解
-
【SSL】SSL双向认证双向认证 SSL 协议要求服务器和用户双方都有证书。 单向认证 SSL 协议不需要客户拥有CA证书，具体的过程相对于上面的步骤，只需将服务器端验证客户证书的过程去掉，以及在协...
-
Supervisor的作用与配置
supervisor supervisor管理进程，是通过fork/exec的方式将这些被管理的进程当作supervisor的子进程来启动，所以我们只需要将要管理进程的可执行...
-
启动Spark时遇到的HDFS user的读写权限问题：ERROR spark.SparkContext: Error initializing SparkContext. org.apache...
之前在为客户做数据湖产品调试Spark程序的时候，遇到过一个报错： 一、原因分析 从日志中大致可以看出，是因为Spark在启动阶段初始化SparkContext时遇到了wri...
-
427.【数据库】starrocks 安装踩坑
starrocks官网的部署文档[https://docs.starrocks.com/zh-cn/latest/quick_start/Deploy]还是蛮详细的，可还是有...
-
Spark会把数据都载入到内存么？
这篇文章算是个科普贴。如果已经熟悉Spark的就略过吧。 前言 很多初学者其实对Spark的编程模式还是RDD这个概念理解不到位，就会产生一些误解。 比如，很多时候我们常常以...
-
too many open files 的终极解决办法
关于我：https://blog.csdn.net/Appleyk[https://blog.csdn.net/Appleyk] ====简书就是随便记录，不会太详细，不会注...
-
flink solt和并行度简介 Flink运行时主要角色有两个：JobManager和TaskManager，无论是standalone集群，flink on yarn都是要启动这两个角色。JobMa...
-
Flink任务日志写到kafka【最新1.12，1.13】
这篇文章如果对你有帮助，记得点赞哦！有问题也可以给我评论~ 一、背景 公司的日志希望能够同一到一个Kibana去做一个同一的展示，那就需要将任务的日志写到kafka。Flin...
-
Flink系列（一）数据集类型和数据运算模型数据集类型： 无穷数据集：无穷的持续集成的数据集合 有界数据集：有限不会改变的数据集合 常见的无穷数据集有： 用户与客户端的实时交互数据 应用实时产生的日志 金融市场的实时交...
-
impala + kudu一些优化心得
用了几次impala + kudu做大数据实时计算场景，一路踏坑过来，这里分享踏坑经验 一开始需要全量导入kudu，这时候我们先用sqoop把关系数据库数据导入临时表，再用i...
-
Spark Structured Streaming 写checkpoint 到HDFS 抖动的排查问题描述 我们最近有个项目，需要实时消费订单成单的消息，提炼完数据后把结果写入HDFS，因此checkpointConfiguration 自然而然也采用默认配置写到HDFS...
-
Spark Structured Streaming 2.4 踩的一些坑最近参与一个公司大数据项目开始入坑Spark，Spark从2.0开始从RDD 的底层API转向了面向Dataset/Dataframe 的高级API，Spark Stream...
-
Netty入门教程——认识Netty什么是Netty？ Netty 是一个利用 Java 的高级网络的能力，隐藏其背后的复杂性而提供一个易于使用的 API 的客户端/服务器框架。Netty 是一个广泛使用的 J...
-
消息中间件—Kafka数据存储（一）摘要：消息存储对于每一款消息队列都非常重要，那么Kafka在这方面是如何来设计做到高效的呢？Kafka这款分布式消息队列使用文件系统和操作系统的页缓存（page cache）...
-
