240 发简信
IP属地:山西
  • hudi报错 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

    1. hudi写完文件后同步hive元数据报错: sql直接在mysql的hive库执行是正常的 2. 把hive服务日志导出,发现如下错误 原...

  • k8s自动补全+资源大全

    1. Kubectl添加自动补全 2. 如果执行命令遇到报错 解决方法:vim ~/.zshrc or vim ~/.bash_profile...

  • hudi:INSERT_OVERWRITE_TABLE failed with errors

    spark 任务写hudi error,但是异常没有抛出。 降低driver log日志为TRACE级别,可以看到如下报错 原因:最后排查原因为...

  • java.lang.OutOfMemoryError: Direct buffer memory

    ignite 服务重启,查看错误日志: 直接内存是一种在堆外分配的内存,它不受Java堆大小的限制。MaxDirectMemorySize参数可...

  • spark 读取到的mysql数据不一致的原因分析

    使用spark查询mysql的my_table表中,status字段的值为"active"的数据 第一次查询: 结果:可以查询到表中的数据 分析...

  • SchemaCompatibilityException: Unable to validate the rewritten record

    spark 3.2.3hudi 0.11.0 spark 写hudi,commit失败。.hoodie目录下,有commit.request和i...

  • k8s 出现异常unknownhostexception

    生产环境,没有进行升级或修改配置,却突然出现某些pod服务无法访问hdfs的情况。抛出异常 unknownHostException 最终解决方...

  • java.sql.SQLException: Failed to update some keys because they had been modified concurrently

    重启ignite后,遇到报错: Caused by: java.sql.SQLException: Failed to update some ...

  • spark datetimeRebaseModeInRead

    升级spark3遇到的问题 https://github.com/cjuexuan/mynote/issues/73[https://githu...

个人介绍
尘世纷扰,坚守本心