0x00 安装
- 安装IntelliJ IDEA,并激活
- 安装Spark,JDK1.8(Spark2.4.3 与 jdk12版本有兼容问题,降级为jdk8版本可以解决), scala, sbt(一个类似于maven,npm等的scala版本的包管理工具)
0x01 项目配置
参考这篇文献:http://dblab.xmu.edu.cn/blog/1492-2/ 版本有所区别。
包依赖
大多数时候可以简单的通过编辑项目根目录下的build.sbt
文件中的libraryDependencies
设置项列出需要的依赖,语法如下:
libraryDependencies += groupID % artifactID % revision
,其中groupID
, artifactID
和revision
都是字符串。
example:
name := "SparkTest"
version := "0.1"
scalaVersion := "2.12.8"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.4.3"
此处掉坑:注意%%
与%
的区别,通过%%
,sbt能够帮你找到合适的版本,而%
需要人工指明版本。
tips: view -> Tool Windows -> sbt 打开sbt,当build.sbt文件修改后,可以点击刷新按钮方便更新包依赖,此外允许Enable auto-import
可以在build.sbt文件修改后实现自动更新。