问题:Caused by: java.lang.ClassNotFoundException: org.apache.spark.SparkConf
出现的原因:
注意这里的scope, 为了在运行时使用公司统一的spark平台(jar), 所以程序打包的时候需要保证scope是
provided
. 但是也带来了问题, 在idea用main函数直接启动时, 无法使用maven中的jar包. 那么怎么解决呢?
- 将scope这个标签去掉, 使用默认的scope, 即compile. 但, 这样就违背了我们的初衷.
-
在idea中进行下步操作, 就是运行时包含scope为provided的jar包.