看了好几天spark源码,今天突然想试一试如何把spark编译出来。
记录一下编译过程。
第一步,下载源码:
下载源码,考虑到墙的存在,没有直接使用spark提供的下载链接,我是从aliyun的镜像网站下载的,http://mirrors.aliyun.com/apache/spark/spark-1.6.1/spark-1.6.1.tgz 。
将下载好的源码解压:
tar -xf spark-1.6.1.tgz
第二步,编译:
使用spark提供的脚本进行编译:
cd spark-1.6.1
./make-distribution.sh --name custom-spark --tgz -Phadoop-2.4 -Pyarn
漫长的等待过程。
编译好了,会在当前目录产生一个文件spark-1.6.1-bin-custom-spark.tgz
第三步,运行:
解压编译出来的spark运行包:
tar -xf spark-1.6.1-bin-custom-spark.tgz
运行spark-shell
cd spark-1.6.1-bin-custom-spark
bin/spark-shell
运行效果图: