win10下idea使用sbt方式编译scala源码

虽然集群使用Linux，Ubuntu的桌面版也有非常好的体验感受，但是windows下写码编译打包成jar文件然后再提交到集群运行也是不错的，故本文记录win10下如何搭建环境

准备工作

idea官网下载 https://www.jetbrains.com/idea/

sbt官网下载 https://www.scala-sbt.org/download.html

一些配置

打开idea，右上角File->Settings
找到Plugins(插件)，选择安装Jetbrains的插件

安装idea插件按钮.png

在搜索框搜索Scala什么版本无所谓，可能就是为了代码高亮并且有智能提示和联想。因为在之后sbt编译的配置中不一定使用这个版本。

下载Scala插件.png

插件下载完成之后会提示restart idea，那就restart咯~

新建一个Project，选择sbt

新建项目.png

安装环境需要java

jdk-sbt-scala.png

打开Settings,找到Build Tools，进行对sbt的一些自定义

可以使用在官网下载的sbt-1.1.6.zip，解压，解压后的文件路径请添加到环境变量

然后如下图，Launcher选择Custom，选择刚刚解压的文件中sbt/bin/sbt-launch.jar

配置sbt.png

如果能够用Google的小伙伴这一步无所谓，不能用就换源，可以换成阿里的~
找到解压sbt的目录，进入conf文件夹，新建文本文档改名为repo.properties

[repositories]
  local
  aliyun: http://maven.aliyun.com/nexus/content/groups/public/
  typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
  sonatype-oss-releases
  maven-central
  sonatype-oss-snapshots

完成之后，切换至Terminal

sbt有许多命令

sbt clean

sbt compile

sbt package

sbt assembly

···

我习惯使用package命令，将scala编译后生成的内容打成jar包，提交到集群运行
到此为止，可以键入sbt sbtVersion查看sbt的版本，这个过程将陷入漫长的等待。
第一次会比较慢，可以去喝杯咖啡或者开一波黑，之后就会比较快了。

键入 sbt sbtVersion 的运行结果如果是这样就表示成了！

D:\IDEAProjects\SparkSample>sbt sbtVersion
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256m; support was removed in 8.0
[info] Loading settings from idea.sbt ...
[info] Loading global plugins from C:\Users\zhongfuze\.sbt\1.0\plugins
[info] Loading settings from assembly.sbt ...
[info] Loading project definition from D:\IDEAProjects\SparkSample\project
[info] Loading settings from build.sbt ...
[info] Set current project to SparkSample (in build file:/D:/IDEAProjects/SparkSample/)
[info] 1.1.6

在src/main/scala里新建HelloScala.scala

object HelloScala {
  def main(args: Array[String]): Unit = {
    println("Hello Scala!")
  }
}

键入 sbt package 的运行结果如果是这样就表示成了！
生成的jar包在根目录/target/scala-2.11/xxxxx.jar

D:\IDEAProjects\SparkSample>sbt package
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256m; support was removed in 8.0
[info] Loading settings from idea.sbt ...
[info] Loading global plugins from C:\Users\zhongfuze\.sbt\1.0\plugins
[info] Loading settings from assembly.sbt ...
[info] Loading project definition from D:\IDEAProjects\SparkSample\project
[info] Loading settings from build.sbt ...
[info] Set current project to SparkSample (in build file:/D:/IDEAProjects/SparkSample/)
[info] Compiling 1 Scala source to D:\IDEAProjects\SparkSample\target\scala-2.11\classes ...
[info] Done compiling.
[info] Packaging D:\IDEAProjects\SparkSample\target\scala-2.11\sparksample_2.11-1.0.jar ...
[info] Done packaging.
[success] Total time: 4 s, completed 2018-7-24 16:12:19

分割线

到这里为止只是能够能打包而已，但是coding的时候是需要各种各样的配置的呢
而且为了便于维护各种各样的依赖jar，properties，config，并且有时需要决定某些jar文件需要被打包，有的jar文件集群里已经存在了，不需要打包，要满足这种需求，就使用sbt assembly命令

在项目根目录/project下，与build.properties的同级目录
新建assembly.sbt，内容如下

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.14.7")

Note:sbt-assembly的版本取决于sbt的版本，不同的版本区间版本号不一样的！！！

assembly-sbt.png

接着找到根目录下build.sbt
这里可以自定义许多内容，添加依赖等等
更具体的用法请参考github-sbt-assembly
https://github.com/sbt/sbt-assembly

name := "SparkSample"

version := "1.0"

organization := "com.zhong.PRM"

scalaVersion := "2.11.8"

assemblyJarName in assembly := "PRM.jar"

test in assembly := {}

assemblyOption in assembly := (assemblyOption in assembly).value.copy(includeScala = false)

assemblyMergeStrategy in assembly := {
  case PathList("javax", "servlet", xs@_*) => MergeStrategy.first
  case PathList(ps@_*) if ps.last endsWith ".class" => MergeStrategy.first
  case PathList(ps@_*) if ps.last endsWith ".xml" => MergeStrategy.first
  case PathList(ps@_*) if ps.last endsWith ".properties" => MergeStrategy.first
  case "application.conf" => MergeStrategy.concat
  case "unwanted.txt" => MergeStrategy.discard
  case x =>
    val oldStrategy = (assemblyMergeStrategy in assembly).value
    oldStrategy(x)
}

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.1.0" % "provided"

排除jar包

provided 表示打包的时候可以不包含这个jar包
sbt-assembly是根据项目配置的libraryDependencies依赖进行打包的，不需要打包的依赖可以设置”provided”进行排除

[build.sbt]
libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.1.0" % "provided"

排除scala库的jar包

在项目根目录下创建assembly.sbt文件并添加以下配置（注：sbt-assembly相关的配置，可以配置在项目根目录/build.sbt中，也可以在项目根目录下的assembly.sbt文件中）：

[assembly.sbt]
assemblyOption in assembly := (assemblyOption in assembly).value.copy(includeScala = false)

明确排除某一指定jar包

[assembly.sbt]
assemblyExcludedJars in assembly := {
  val cp = (fullClasspath in assembly).value
  cp filter {_.data.getName == “compile-0.1.0.jar”}
}

多个文件共享相同的相对路径

如果多个文件共享相同的相对路径（例如，多个依赖项JAR中名为application.conf的资源），则默认策略是验证所有候选项具有相同的内容，否则出错。可以使用以下内置策略之一或编写自定义策略在每个路径的基础上配置此行为：

MergeStrategy.deduplicate是上面描述的默认值
MergeStrategy.first以类路径顺序选择第一个匹配文件
MergeStrategy.last选择最后一个
MergeStrategy.singleOrError在冲突时出现错误消息
MergeStrategy.concat简单地连接所有匹配的文件并包含结果
MergeStrategy.filterDistinctLines也会连接，但在此过程中会遗漏重复项
MergeStrategy.rename重命名源自jar文件的文件
MergeStrategy.discard只是丢弃匹配的文件
路径名称到合并策略的映射是通过设置assemblyMergeStrategy完成的，可以按如下方式扩充

assemblyMergeStrategy in assembly := {
  case PathList("javax", "servlet", xs @ _*)         => MergeStrategy.first
  case PathList(ps @ _*) if ps.last endsWith ".html" => MergeStrategy.first
  case "application.conf"                            => MergeStrategy.concat
  case "unwanted.txt"                                => MergeStrategy.discard
  case x =>
    val oldStrategy = (assemblyMergeStrategy in assembly).value
    oldStrategy(x)
}

放一些配置文件做备忘

[plugins.sbt]
logLevel := Level.Warn

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.14.3")

[build.sbt]

name := "lanke"

version := "1.0"

scalaVersion := "2.11.8"

assemblyJarName in assembly := "lanke.jar"

test in assembly := {}

assemblyOption in assembly := (assemblyOption in assembly).value.copy(includeScala = false)

assemblyMergeStrategy in assembly := {
  case PathList("javax", "servlet", xs@_*) => MergeStrategy.first
  case PathList(ps@_*) if ps.last endsWith ".class" => MergeStrategy.first
  case PathList(ps@_*) if ps.last endsWith ".xml" => MergeStrategy.first
  case PathList(ps@_*) if ps.last endsWith ".properties" => MergeStrategy.first
  case "application.conf" => MergeStrategy.concat
  case "unwanted.txt" => MergeStrategy.discard
  case x =>
    val oldStrategy = (assemblyMergeStrategy in assembly).value
    oldStrategy(x)
}

resolvers ++= Seq(
  "kompics" at "http://kompics.sics.se/maven/repository/"
)

javacOptions ++= Seq("-encoding", "UTF-8", "-source", "1.7", "-target", "1.7")

resolvers ++= Seq(
  "libs-releases" at "http://artifactory.jd.com/libs-releases",
  "libs-snapshots" at "http://artifactory.jd.com/libs-snapshots",
  "plugins-releases" at "http://artifactory.jd.com/plugins-releases",
  "plugins-snapshots" at "http://artifactory.jd.com//plugins-snapshots"
)

libraryDependencies ++= Seq(
  "org.apache.spark" % "spark-core_2.11" % "2.3.0" % "provided",
  "org.apache.spark" % "spark-sql_2.11" % "2.3.0" % "provided",
  "org.apache.spark" % "spark-streaming_2.11" % "2.3.0" % "provided",
  "org.apache.spark" % "spark-hive_2.11" % "2.3.0" % "provided",
  "org.apache.spark" % "spark-repl_2.11" % "2.3.0" % "provided",
  "org.apache.spark" % "spark-tags_2.11" % "2.3.0" % "provided"
)

libraryDependencies += "com.yammer.metrics" % "metrics-core" % "2.2.0"

libraryDependencies += "com.typesafe" % "config" % "1.2.1"

libraryDependencies += "net.liftweb" % "lift-json_2.11" % "3.0"

libraryDependencies += "com.huaban" % "jieba-analysis" % "1.0.2"

resolvers += "Sonatype OSS Releases" at "http://oss.sonatype.org/content/repositories/releases/"

libraryDependencies += "com.thesamet" %% "kdtree" % "1.0.4"

libraryDependencies += "com.soundcloud" % "cosine-lsh-join-spark_2.10" % "1.0.1"

libraryDependencies += "org.tensorflow" %% "spark-tensorflow-connector" % "1.6.0"

libraryDependencies += "org.scalaj" %% "scalaj-http" % "2.4.0"

[tools/sbt/conf repo.properties]
[repositories]
  local
  my-ivy-proxy-releases: http://artifactory.jd.com/ivy-release/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
  my-maven-proxy-releases: http://artifactory.jd.com/libs-releases/

[respositories]
[repositories]
  local
  aliyun: http://maven.aliyun.com/nexus/content/groups/public/
  typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
  sonatype-oss-releases
  maven-central
  sonatype-oss-snapshots

最后编辑于：2018.09.29 17:55:26

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 216,402评论 6赞 499
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 92,377评论 3赞 392
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 162,483评论 0赞 353
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,165评论 1赞 292
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,176评论 6赞 388
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,146评论 1赞 297
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,032评论 3赞 417
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,896评论 0赞 274
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,311评论 1赞 310
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,536评论 2赞 332
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,696评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,413评论 5赞 343
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,008评论 3赞 325
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,659评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,815评论 1赞 269
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,698评论 2赞 368
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,592评论 2赞 353

win10下idea使用sbt方式编译scala源码