单节点spark下程序的运行

1.进入安装目录

./sbin/start-master.sh,访问localhost:8080验证是否启动成功

2.启动一个worker

./sbin/start-slave.sh spark://bogon:7077

3.编译

idea:build->build artifacts

在out目录下找到打包好的jar包

4.运行

./bin/spark-submit --master spark://bogon:7077 --class CarTest ~/IdeaProjects/new-scala-pro/out/artifacts/new_scala_pro_jar/new-scala-pro.jar

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容