spark集群安装

生成rsa后,用
ssh-copy-id targetIP

spark ui访问不了,考虑防火墙是否关闭
  service iptables stop
  chkconfig iptables off

配置免密码登录的目的是 spark通过ssh协议将远端的worker 启动起来,所以得配。如果不想配,就自己在自己机子上起对应的master 或 worker 不要用start-all

standalone
total-executor-core 给所有worker分配的总数 尽量打散 (目前这个) 或 尽量集中
executor-memory 给每一个worker分配的数 memory per node

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容