【Spark】HistoryServer首页加载页面慢问题

【问题分析】
当刷新HistoryServer首页时,页面会发送一个REST请求( /api/v1/applications)到HistoryServer,获取application列表信息(json response);默认是将history log存储路径下的所有application信息返回。目前history log的HDFS存储路径下的application数目基本维持在1万以上,刷新首页显示“Loading History Summary”的耗时主要在解析返回的json数据及渲染页面上。
【解决方案】
设置spark.history.ui.maxApplications=2000参数,限制首页显示的application数目。
参数设置后带来的问题是没有加载到首页的application通过search框搜索不到,查找方法转换成打开页面已有app historylog 链接,替换appid字段后跳转。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,886评论 18 139
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 173,142评论 25 708
  • 发现 关注 消息 iOS 第三方库、插件、知名博客总结 作者大灰狼的小绵羊哥哥关注 2017.06.26 09:4...
    肇东周阅读 12,223评论 4 61
  • 不知道在南京,在中国,在世界,有多少背井离乡,孤身一人在外打拼的人…… 也不知道这些人中有多少人和我一样,看似开心...
    雪后晴空阅读 827评论 2 49
  • $.ajax({ //提交数据的类型 POST GET type: "post", //提交的网址 url: "x...
    前端大鹏阅读 180评论 0 0