1、复制在$SPARK_HOME/conf 下的 spark.default.conf.template到spark.default.conf
2、将以下内容添加到spark.default.conf中(或者将注释解开)(https://spark.apache.org/docs/2.3.1/configuration.html)
```spark.eventLog.enabledtruespark.eventLog.dir hdfs://mycluster/spark/logspark.history.fs.logDirectory hdfs://mycluster/spark/logspark.eventLog.compresstrue```
注意:
(1)spark.history.fs.logDirectory:指定了从哪个目录下恢复历史日志。
(2)spark.eventLog.compress:指定日志为压缩格式(为true,如果不是设置此配置,使用hdfs fs ...查看历史日志,是一种json的格式,大致能看得懂)。
(3)注意这里面的dir需要在自己的hdfs上创建directory这个目录。
(4)历史日志服务配置完之后,以后再启动spark之前,需要启动好hdfs(因为spark 历史服务配置了指向hdfs的路径)
3、启动历史日志服务:
```
../spark/sbin/start-history-server.sh
```
4、访问历史日志
5、其它
(1)可以更改spark web Ui的访问端口,具体的 在$SPARK_HOME/conf/spark-env.sh中添加: