运行环境
java 1.8
scala 2.11.0
maven 3.3.9
idea 2016
spark 2.0.2
1完成以下配置
java环境变量
scala环境变量
maven setting配置文件jar包存放路径
idea下载scala plugins语言插件
idea配置maven setting及jar包存放路径
spark git :https://github.com/apache/spark.git
2编译spark源码
进入目录$spark_home
配置maven内存大小，或者在maven配置文件中配置（$maven_home/bin/mvn）
exportMAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"
打包spark源码
./build/mvn-Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package
3 debug调试配置
1）加载所有jars
idea =>file => project structure=> libraries => add java =>$spark_home/assembly/target/scala-2.11/jars =>all project
2）debug配置
idea=>run =>run config =>
随着git代码更新到本地，打包代码与debug代码 不一致，把下面的 build 删除即可。
3）打断点
4）debug调试
下一篇简述下Spark 的基础算子RDD
