【问题分析】
当刷新HistoryServer首页时,页面会发送一个REST请求( /api/v1/applications)到HistoryServer,获取application列表信息(json response);默认是将history log存储路径下的所有application信息返回。目前history log的HDFS存储路径下的application数目基本维持在1万以上,刷新首页显示“Loading History Summary”的耗时主要在解析返回的json数据及渲染页面上。
【解决方案】
设置spark.history.ui.maxApplications=2000参数,限制首页显示的application数目。
参数设置后带来的问题是没有加载到首页的application通过search框搜索不到,查找方法转换成打开页面已有app historylog 链接,替换appid字段后跳转。
【Spark】HistoryServer首页加载页面慢问题
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
推荐阅读更多精彩内容
- Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...