打包方式运行编写的Spark程序

说明:windows环境下编写spark程序,在linux下运行

例:一个简单的求π的spark程序


一、先通过mvn命令打包

mvn clean :

mvn package:


二、将生成的jar包,上传到linux(我的在jars目录下),然后执行运行命令

以local形式运行($SPARK_HOME如果未指定,先要export SPARK_HOME = 个人的spark安装目录):

以yarn平台形式运行:(yarn上运行先要设置 HADOOP_CONF_DIR)

1.设置HADOOP_CONF_DIR


2.yarn上运行($SPARK_HOME如果未指定,先要export SPARK_HOME = 个人的spark安装目录)

可以在浏览器端查看



至此,运行了一个简单的spark程序。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容