谢谢回复。现在主攻Spark了,毕竟Hadoop MapReduce部分已经过时了。
Hadoop源码学习——找到main()函数(1)【至于我为什么要写这一系列文章,目的为“缝合”,即把别人的知识枝丫缝合到自己的知识主干上,把别人的东西化为自己的东西。通俗地说,就是要写出来。当然,这是知识缝合的方式之一。】...
谢谢回复。现在主攻Spark了,毕竟Hadoop MapReduce部分已经过时了。
Hadoop源码学习——找到main()函数(1)【至于我为什么要写这一系列文章,目的为“缝合”,即把别人的知识枝丫缝合到自己的知识主干上,把别人的东西化为自己的东西。通俗地说,就是要写出来。当然,这是知识缝合的方式之一。】...
本文想探讨的问题有两个: 如果我们在synchronized代码块中创建一个Future会发生什么? 如果我们在创建Future的代码块中加synchronized又会发生什...
NOTE:本文要求读者对spark的运行原理有基本的了解。 需要明确的一点是,abort不同于fail。如果一个stage fail了,那么它还有可能被resubmit,然后...
本文要求读者了解DAGScheduler如何划分一个作业的stages。本文主要内容是作者个人关于spark在提交多个作业时,stage划分的一些小思考。 假设我们有如下图所...
Note:本文要求读者对UnifiedMemoryManager的原理有基本的了解。希望读者能与作者一起探讨。 本文试图分析UnifiedMemoryManager中的may...
我以近十天的编译Spark的痛苦经历,来分享一下如何在国内快速的完成Spark编译。 其实,唯一的任务就是将Spark中的默认maven中央仓库地址,替换成国内的maven仓...
今天调试spark(read分支),设置断点,debug运行,就是不能在断点的地方停止运行。但是,我能非常肯定,代码是会执行到这里的。 另外,在某些函数单步执行的时候,执行顺...
今天我才意识到,我的身上发生了重大问题。我已经患上了严重的拖延症!!! 我一直以为自己的有分寸和把握,到最后都成为了把我推向要死的边缘! 十一回家,好好休整!整理一下最近拖的...
1分钟能解决的问题,花30分钟解决。 学会打印错误...... 还要学会debug......
拒绝拖延 主动沟通!!!
Thymeleaf 是现代化服务器端的Java模板引擎,不同与JSP和FreeMarker,Thymeleaf的语法更加接近HTML,并且也有不错的扩展性。详细资料可以浏览官...
我突然意识到,简书之所以能被称为简书,应该以非常简便的方式去书写。所以,更多的时候,我们只写一句话也足够。这也可以是非常好的记录。 附一张晚上在公司拍的照片。
(转载说明:本文非原创,转载自http://ifeve.com/java-nio-all/) Java NIO: Channels and Buffers(通道和缓冲区)标准...
我们先来看看Hadoop源码中对DFS Client的注释说明: 显然,DFSClient在DistributedFileSystem和NameNode和之间起到了桥梁的作用...
闲话少叙,言归正传。这次,我们从"-ls /"命令入手,窥探一下hdfs。hdfs模块提供了一个org.apache.hadoop.fs.FsShell类用来支持用户在终端的...
这里,我们省略hadoop源码导入eclipse的过程。在上一篇我们寻找main()函数的文章,我们可以看到,脚本文件启动hdfs的过程分两步,见下图: 先启动namenod...
【至于我为什么要写这一系列文章,目的为“缝合”,即把别人的知识枝丫缝合到自己的知识主干上,把别人的东西化为自己的东西。通俗地说,就是要写出来。当然,这是知识缝合的方式之一。】...