Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)

直奔主题:

      其实这个错误就是编译的程序的scala版本和提交时的版本不一致导致的. 

      我是在idea上写的scala程序 用的是2.11.8,  但是在提交spark时  忽然发现spark用的是2.10.5

      所以

      解决办法:

      就是在idea上重新下个和spark集群上相同的版本就行了 .

      但是我在集群上配置的明明就是2.11.8 包括 spark-env.sh里的配置也是

      原因:

      spark1.6.1(当前版本)还不支持2.11.x , 其中很多的插件还不兼容

      spark就默认是用了 bin/下自带的scala版本 



先删除再添加一下就可以了

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容