对于一些比较简单的application,我们可以在IDEA编码并直接以local的方式在IDEA运行。有两种方法:
一
在创建SparkContext对象时,指定以local方式执行,如下
val sc = new SparkContext("local", "app name")
二
修改执行配置,如下
当然,运行的前提是将必要的jar包在Libraries中配置好,如图:
三
如果你还想直接在IDEA中调试spark源码,按f7进入.class后,点击
选择你在官网下载的与你的jar包版本一致的源码
之后,你就可以任意debug了~