阅读源码的第一步是下载Spark源码,并导入到工具中阅读。
下载
- 进入http://spark.apache.org/downloads.html页面,点击
- 安装Maven,需要安装Maven 3.6以上的版本。
- 安装Scala2.12.10+,Spark3.0需要使用2.12.10以上的版本。
调整pom.xml
-
修改根目录下的pom.xml文件,将googleapis仓库给注释掉
如果是在windows下,需要将spark-core项目的pom.xml文件中的antrun-plugin插件修改下,如下图
编译
可以直接导入到IDEA中进行编译,也可以直接在控制台进行编译,如控制台:
- 进入spark界面的跟目录
- 执行maven编译命令mvn compile/package;如果需要跳过测试,使用命令:mvn compile/package -Dmaven.test.skip=true
- 经过漫长地等待(取决于网络),Spark将编译完成。