在intellij IDEA把scala程序打包成jar包,在spark集群中编译没通过

      今天利用intellij IDEA(15.0.6)编译通过了sparkpi程序,按照http://dongxicheng.org/framework-on-yarn/apache-spark-intellij-idea/里的教程,已经把scala程序打包成jar包,想在hadoop-2.6.0的集群里spark-1.6.0进行测试运行,在命令行输入如下:./spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 /usr/local/workspace/ideal/out/artifacts/idealtest2_jar/,提示报错:java.lang.ClassNotFoundException: org.apache.spark.examples.SparkPi

intellij IDEA程序如下:

搭建环境:intellij IDEA(15.0.6)+hadoop(2.6.0)+scala(2.10.4)+java(1.8.0.-131)+spark(1.6.0)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容