windows下idea调试spark

  使用idea调试spark，主要是为了学习spark，使用local模式，不涉及spark的安装
  参考：Window环境下使用IntelliJ IDEA调试Spark Application

• 软件安装

    Java安装的是 1.8
    Scala安装的是 2.11.8
    IDEA及scala插件安装

• 下载spark包

    下载已经编译过的spark包，这里我使用是的spark-2.2.0-bin-hadoop2.7.tgz，下载后解压，找到其中 jars 目录，后面项目中添加其作为依赖

• 创建工程

  • 创建maven工程

     打开idea, 依次点击File -> New -> Project -> Maven创建工程，创建完工程目录结构如下：
    

    maven-project.png

  • 添加spark依赖

     打开 File -> Project Structure，按下图选择上面下载的sprak下的jar包，一路点击后选择 Apply 后可看到右侧出现了对应的包
    

    spark-jar.png
    spark-jar2.png

  • 添加Scala-JDK

  ​  接着添加Scala依赖，与上面添加spark包基本类似，只是这里换成了JDK，如下图所示

  scala-jdk.png

• 编写程序
   仿照spark官网给出的样例进行WordCount计算，运行可得结果如下

  import org.apache.spark.{SparkConf,SparkContext}
  import scala.collection.immutable.List
  
  object WordCount {
      def main(args: Array[String]) {
          val conf = new SparkConf().setAppName("Spark Pi").setMaster("local[*]")
          val sc = new SparkContext(conf)
  
          val words = sc.parallelize(List("hadoop spark storm", "spark hadoop"))
          words.flatMap(_.split(" ")).map(x => (x, 1)).reduceByKey(_+_).foreach(println)
  
          sc.stop()
      }
  }
  

  run.png