240 发简信
IP属地:北京
  • Spark 关于闭包对象的序列化的问题(closure)

    当程序运行到Spark执行计划时,可能会遇到我似类于以下的问题,如果从错误信息来看,是不是有点费解呢? 问题现象: 原因分析: 不过这是一个很简...

  • [SPARK-19680] OffsetOutOfRangeException 解决方案

    当kafka中的数据丢失时,Spark程序消费kafka中数据的时候就可能会出现以下异常: 原因分析 Spark在创建Kafka RDD时会将k...