刚看到，😃configloader就是去读个配置文件内容的值，代码直接写值就行。
Spark Structured Streaming写Hive HBase Mysql组件版本 spark版本 2.3.1 (hdp) hadoop 3.1.1 (hdp) HDP hive 3.1.2 HBase 2.0.0 mysql 版本5.x 使用Sp...
发简信
IP属地：上海
-
-
ES查询新老数据速率差的问题探析
问题背景 在用户的实际使用中发现，某一简单查询，查询一段时间内符合要求的记录，查询老旧数据，响应速度在1秒左右，而查询包含最近数据的同类查询则慢到十秒左右，且存在超时的现象。...
-
logger无法发送消息的问题排查背景 logger是一个在Linux和Unix操作系统中使用的命令行工具，可以直接向系本地syslog文件或远程Syslog服务器发送消息。logger为写日志提供了不同的选...
-
ES集群异常处理与进阶实践
failed to execute pipeline for a bulk request问题 客户使用场景是使用第三方工具大批量往ES写入数据，报错写入失败，需排查。 已知...
-
后续研究下离线测试流程
Esrally性能测试步骤与调优
esrally一个对ElasticSearch做基准性能测试的工具，是 elastic 官方开源的一款基于 python3 实现的针对ES 的压测工具，ES官方也是基于 es...
-
Esrally性能测试步骤与调优
esrally一个对ElasticSearch做基准性能测试的工具，是 elastic 官方开源的一款基于 python3 实现的针对ES 的压测工具，ES官方也是基于 es...
-
记ES集群磁盘I/O异常修复
用户在例行巡检过程发现es有data节点处于停止状态，进行启动后，页面进度条显示绿色已完成，但实际进程启动失败了。 排查节点日志，发现不能访问数据路径，报错关键内容如下：Un...
-
ES集群red状态排查与恢复
原文转自我的博客[https://kelvin-qzy.top/] 问题描述 ElasticSearch开箱即用，本身并没有太多需要配置、调整的参数，平时使用中最大的问题应该...
-
Impala常见问题笔记
kerberos下怎么jdbc链接（kerberos）？jdbc url的写法：jdbc:hive2://host:21050/;principal=hive/_HOST@B...
-
CAP定理20年回首：时代变了吗？
前言 10年前的今天，Eric Brewer 博士发表CAP Twelve Years Later—How the 'Rules' Have Changed[https://...
-
现代数据栈，谁主沉浮？欢迎访问我的博客[https://kelvin-qzy.top/]：https://kelvin-qzy.top[https://kelvin-qzy.top]2022年已经...
-
Hudi + Spark3入门第一课
欢迎访问我的博客[https://kelvin-qzy.top/] Hudi + Spark3入门第一课 Apache Hudi 是下一代流数据湖平台。Apache Hudi...
-
【原则——一旦做出决定，任何人都必须服从，即便个人可能有不同意见】读后感
团队比个人更重要，要避免破坏既定路径的行为。 这样的规定确实是大部分团队执行的标准，可是，一旦大部分人的决定是错误的，那么，其后果将是非常可怕的。 很多时候这条原则适应于常规...
-
查看YARN任务日志的几种方式
Caused by: java.lang.Exception: Exception from container-launch. Container id: containe...
-
kafka命令行超全总结https://juejin.cn/post/6844903829352382471#heading-7[https://juejin.cn/post/68449038293...
-
