晒太阳的山楂

1. hudi写完文件后同步hive元数据报错： sql直接在mysql的hive库执行是正常的 2. 把hive服务日志导出，发现如下错误 原因：查看mysql所在的物理机...

晒太阳的山楂

1. Kubectl添加自动补全 2. 如果执行命令遇到报错 解决方法：vim ~/.zshrc or vim ~/.bash_profile，添加以下内容 3.k8s入门...

晒太阳的山楂

spark 任务写hudi error，但是异常没有抛出。 降低driver log日志为TRACE级别，可以看到如下报错 原因：最后排查原因为dataframe中，数组类型...

晒太阳的山楂

ignite 服务重启，查看错误日志： 直接内存是一种在堆外分配的内存，它不受Java堆大小的限制。MaxDirectMemorySize参数可以通过在启动JVM时使用以下命...

晒太阳的山楂

使用spark查询mysql的my_table表中，status字段的值为"active"的数据 第一次查询： 结果：可以查询到表中的数据 分析：where条件的过滤计算，会...

晒太阳的山楂

spark 3.2.3hudi 0.11.0 spark 写hudi，commit失败。.hoodie目录下，有commit.request和inflight，没有commi...

晒太阳的山楂

生产环境，没有进行升级或修改配置，却突然出现某些pod服务无法访问hdfs的情况。抛出异常 unknownHostException 最终解决方法：重启 k8s coreDn...

晒太阳的山楂

重启ignite后，遇到报错： Caused by: java.sql.SQLException: Failed to update some keys because th...

晒太阳的山楂

升级spark3遇到的问题 https://github.com/cjuexuan/mynote/issues/73[https://github.com/cjuexuan/...

晒太阳的山楂

spark 读取mysql 自增id，用getAsLong()方法解析报错 原因：mysql中id字段的类型为 unsigned bigint ，而不是 bigint 1. ...

晒太阳的山楂

场景：线上运行报错，本地无法复线，需要临时打开debug或trace级别日志，抓取错误信息要求：只修改启动命令，不重新编译打包 1.准备log4j.properties配置文...

晒太阳的山楂

问题： spark driver 或者 executor pod频繁被k8s kill。被kill前，查看spark ui，发现driver或者executor的gc根本不严...

晒太阳的山楂

ignite经常每隔数小时就挂掉，手动重启也经常出现无法启动成功 初步判断，ignite中数据量暴增后出现网络问题，增加超时时间 在ignite的配置文件中，在IgniteC...

晒太阳的山楂

presto 每隔一段时间就不可用，出现 activeWorkers=0： 原因分析：应该是adhoc_etl队列的多个离线任务的大查询并行执行，worker负载高，频繁gc...

晒太阳的山楂

重启presto后，发现sql查询失败，但是active worker数正常 pod log信息 原因分析：1.查看presto- 4和presto-5的日志，发现他们一直都...

晒太阳的山楂

1. hudi清理策略 代码位置 1.1 策略一：KEEP_LATEST_FILE_VERSIONS 相关参数：hoodie.cleaner.fileversions.ret...

晒太阳的山楂

hudi 0.8版本，在特殊条件下出现此问题 发生条件：1.由于hdfs磁盘满，但是spark任务仍在写hudi表。hudi表写失败后，会在.hoodie下写一个rollba...

晒太阳的山楂

工作中，经常会给kafka配置以下参数： session.timeout.ms: 检查整个消费者死亡超时时间 heartbeat.interval.ms: 心跳检查超时时间...

晒太阳的山楂

hudi 0.8，使用insert_overwrite_table模式覆写hudi表。之前写入正常，但hive由1.x升级到2.7.2后，报下面的错误：Unable to a...