使用idea调试spark，主要是为了学习spark，使用local模式，不涉及spark的安装
参考：Window环境下使用IntelliJ IDEA调试Spark Application
-
软件安装
Java安装的是 1.8
Scala安装的是 2.11.8
IDEA及scala插件安装 -
下载spark包
下载已经编译过的spark包，这里我使用是的spark-2.2.0-bin-hadoop2.7.tgz，下载后解压，找到其中 jars 目录，后面项目中添加其作为依赖
-
创建工程
-
创建maven工程
打开idea, 依次点击
File -> New -> Project -> Maven创建工程，创建完工程目录结构如下：
maven-project.png -
添加spark依赖
打开
File -> Project Structure，按下图选择上面下载的sprak下的jar包，一路点击后选择 Apply 后可看到右侧出现了对应的包
spark-jar.pngspark-jar2.png -
添加Scala-JDK
接着添加Scala依赖，与上面添加spark包基本类似，只是这里换成了JDK，如下图所示
scala-jdk.png -
-
编写程序
仿照spark官网给出的样例进行WordCount计算，运行可得结果如下import org.apache.spark.{SparkConf,SparkContext} import scala.collection.immutable.List object WordCount { def main(args: Array[String]) { val conf = new SparkConf().setAppName("Spark Pi").setMaster("local[*]") val sc = new SparkContext(conf) val words = sc.parallelize(List("hadoop spark storm", "spark hadoop")) words.flatMap(_.split(" ")).map(x => (x, 1)).reduceByKey(_+_).foreach(println) sc.stop() } }run.png
