Spark源码是有Scala语言写成的,目前,IDEA对Scala的支持要比eclipse要好,大多数人会选在在IDEA上完成Spark平台应用的开发。因此,Spark源码阅读的IDE理所当然的选择了IDEA。
安装jdk/java 略
安装git
安装scala
安装sbt
http://www.scala-sbt.org/download.html
下载地址
安装完成后输入sbt,会自动下载需要的包,要等一段时间。
本文介绍的是Windows下的各项配置方法(默认已经装了java,JDK)。
下面列举搭建此环境需要的各个组件:
IDEA,有两个版本:Ultimate Edition & Community Edition,后者是free的,而且完全能满足学习者所有的需求
Scala,Spark是用Scala语言写成的,在本地编译执行需要这个包
SBT,scala工程构建的工具
Git,IDEA自动下载SBT插件时可能会用到的工具
Spark Source Code,Spark源码
spark下载源码(http://spark.apache.org/downloads.html):
IDEA下载地址:https://www.jetbrains.com/idea/download/#section=windows
打开IDEA,在‘Welcome to IntelliJ IDEA’界面的‘Quick Start’栏,点击Configure,选择Plugins。
在弹出的窗口中可以看到已安装的插件,现在IDEA默认还没有Scala的插件。需要点击左下角的Install JetBrains plugin...,在搜索框中输入‘scala’,点击安装。安装完成后可能会要求重启一下IDEA。
解压缩Spark Source Code包
导入Spark工程
在欢迎界面‘Quick Start’栏或者是在主界面的菜单栏File下,选Import Project,找到解压之后的spark工程文件夹,OK。
选择import project from external model中的SBT project,(这个选项只有在安装了IDEA的Scala插件才会有)。
下一步,选择Project SDK为JDK,最好勾上Use auto-import,然后点击Finish。这时,IDEA会自动下载安装SBT所需的各个包,没有装Git的话可能会报错。
因为Spark是一个比较大的工程,所需的包也很多,这个过程也会特别慢,请耐心等待。
导入完成
导入完成后,自动打开工程,要等一段时间,等待sbt对这个工程进行编译。
安装intelliJ IDE
打开工程文件:file->open
打开后需要加载一些资源包
参考:
http://guozhongxin.com/pages/2014/10/15/spark_source_code.html