源码项目调试
在源代码项目对源码修改后用idea直接进行调试工作
clone源码到本地并编译
git clone git@github.com:apache/spark.git
./build/mvn -DskipTests clean package
idea导入工程
File -> Open -> {spark dir}/pom.xml -> Open as Project
过程中会出现sbt project detect,忽略这个,我们使用maven组织工程,导入完成后项目目录如下:
运行example程序
下面尝试运行SparkSQLExample:
编辑 run configure如下:
-Dspark.master=local 使用local模式运行
运行之前需要做一件很重要的事情,将example的依赖全部由provided改为compile,将这些包全部打入工程中才能正常运行(也可以更改example的pom文件,但是不是很全,还会缺一些库)
完成这些工作后,直接就可以run了。调试也非常简单,直接加断点debug就好