先看最终效果:
实现步骤(配置Spark):
1、配置Spark-env.sh
SPARK_HISTORY_OPTS='-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=/tmp/spark-events'
2、配置spark-defaults.conf
spark.eventLog.enabled true
3、由于没有配置Spark_event_dir,所以创建了默认路径/tmp/spark-events以存放历史信息
4、开启start-history-server.sh服务
5、打包上传jar spark-submit --class xxx(classname) --master local app.jar(xxx所在的jar包)
6、至此完成了配置,访问http://xxx.xxx.xx.xxx:18080/ 即可打开界面