1. java.lang.classnotfoundException scala.predef any2stringadd
版本错误,尤其时scala中对应的版本错误(一个是kafka-2.10,另一个是akka_2.11),版本之间的不一致导致的编译错误。
2. spark sql java.lang.nosuchmethoderror com.google.common.util.concurrent.moreexecutors.sameThreadExecutor
将guava版本由21.0更改为18.0
dependency>
com.google.guava
guava
18.0
3.java.lang.unsupportedoperationexception: schema for type org.apache.spark.sql.Column is not supported
更改了实现方式(以列作为参数进行相关操作后 spark sql 不支持)
4.error diskblockmanager exception while deleting local spark dir
java.io.exception failed to delete
据说是bug' 没找到解决方案
resources内一定要有 hive-site.xml hdfs-site.xml hadoop-env.sh core-site.xml 等核心配置文件
add......