（由于平台限制，公式无法正常显示，更好排版请访问我的博客：https://tianle.me/2017/12/12/jd/）项目源代码：https://github.com/...
发简信
IP属地：北京
-
2017京东金融信贷需求预测 赛题总结 -
如何正确地解答海量数据处理面试题一. 基础知识 1. 哈希函数 经典的哈希函数有MD5, SHA1等, 不是必须掌握, 可以适当了解. 2. map-reduce 原理展现: 使用word-count案例 ...
-
Spark的Driver和ApplicationMaster进程核数设置之我见
配置 源码 具体可以参见yarn.Client.scala#L87，这边用去读取参数设置ApplicationMaster的对应核数。 具体可以参见yarn.Client.s...
-
一个引发Spark在Executor端Shuffle Write发生StackOverFlow的case
引子 有一天，一个客户带着下面StackOverFlow错误栈来找我，简单的主诉之后发现应该是shuffle wtrite阶段写中间文件的时候序列化发生了死循环。 客户：xs...
-
2018年 九大改变世界的技术趋势技术的世界正在爆炸式发展，“日新月异”不再是一个修辞，而是正在发生的现实。在这其中，有一些发展趋势注定要改变世界，改变我们的生活方式。在此，我们借鉴美国大数据专家Bernar...
-
Spark-sql[1]-antrl4的入门以及在spark中的实现we are all in the gutter,but some of us are looking at the stars. --王尔德Just For M 为了更方便...
