Spark配置History服务

先看最终效果:

实现步骤(配置Spark):

1、配置Spark-env.sh

SPARK_HISTORY_OPTS='-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=/tmp/spark-events'

2、配置spark-defaults.conf

spark.eventLog.enabled true

3、由于没有配置Spark_event_dir,所以创建了默认路径/tmp/spark-events以存放历史信息

4、开启start-history-server.sh服务

5、打包上传jar  spark-submit --class xxx(classname)  --master local app.jar(xxx所在的jar包)

6、至此完成了配置,访问http://xxx.xxx.xx.xxx:18080/  即可打开界面

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容