240 发简信
IP属地:江西
  • 120
    [调优]数据倾斜调优~spark性能优化:

    spark性能优化:数据倾斜调优 - LW_ICE - 博客频道 - CSDN.NEThttp://blog.csdn.net/lw_ghy/article/details/...

  • 120
    解决spark中遇到的数据倾斜问题

    一. 数据倾斜的现象 多数task执行速度较快,少数task执行时间非常长,或者等待很长时间后提示你内存不足,执行失败。 二. 数据倾斜的原因 常见于各种shuffle操作,...

  • 120
    Spark累加器(Accumulator)陷阱及解决办法

    程序中可能会使用到spark提供的累加器功能,可是如果你不了解它的运行机制,有时候会带来一些负面作用(错误的累加结果)。 下文会介绍产生错误结果的原因,并提供一种解决办法。 ...

  • 120
    scala 学习笔记-持续更新中

    学习列表: scala官方文档[http://scala-lang.org/documentation/] scala cheat[http://docs.scala-lan...