通过源码构建Spark

看了好几天spark源码,今天突然想试一试如何把spark编译出来。
记录一下编译过程。
第一步,下载源码:
下载源码,考虑到墙的存在,没有直接使用spark提供的下载链接,我是从aliyun的镜像网站下载的,http://mirrors.aliyun.com/apache/spark/spark-1.6.1/spark-1.6.1.tgz
将下载好的源码解压:
tar -xf spark-1.6.1.tgz
第二步,编译:
使用spark提供的脚本进行编译:

cd spark-1.6.1
./make-distribution.sh --name custom-spark --tgz -Phadoop-2.4 -Pyarn

漫长的等待过程。
编译好了,会在当前目录产生一个文件spark-1.6.1-bin-custom-spark.tgz

屏幕快照 2016-03-27 下午10.47.15.png

第三步,运行:
解压编译出来的spark运行包:
tar -xf spark-1.6.1-bin-custom-spark.tgz
运行spark-shell

cd spark-1.6.1-bin-custom-spark
bin/spark-shell

运行效果图:


屏幕快照 2016-03-27 下午10.51.50.png

参考:
http://spark.apache.org/docs/latest/building-spark.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容