240 发简信
IP属地:北京
  • hive数据倾斜解决

    hive在跑数据时经常会出现数据倾斜的情况。使的作业经常reduce时卡住较长时间,有时完成任务的百分百比甚至会回退,如果你碰到这种情况,”恭喜“你,你遇到数据倾斜了。以下是...

  • 不错

    Flink 状态

    state创建 state清理 (TTL/clear) state存储 (分布式) state的恢复 flink中对状态的分类有以下2种: Keyed State (跟key...

  • spark操作mysql总结

    1、Spark DataFrame写入mysql DataFrame写入mysql就没什么可重点注意的了,这里说的Spark包含SparkCore/SparkSQL/Spar...

  • 120
    《一切皆是映射:代码的本质》一致性哈希算法(consistent hashing)

    一致性Hash算法背景 一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的,设计目标是为了解决因特网中的热点(Hot spot)问题,初...