spark日志量太大,想看报错日志需要加载大量的日志

背景

spark作业如果跑了个把月甚至半年一年的作业,日志是非常多的,这个时候如果友报错程序停止了,你需要去看具体的错误日志的上下文的,理论上你需要把所有日志都加载到网页中查看的,但是可以用下面的方法,就可以避免

解决方法

那就是在网址的后面加上 ?start=-20240,后面的数字是每次加载的字节数据,负号表示从最后重新加载

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容