spark集群环境搭建(超详细)

精简流程

1.安装vm ubuntu虚拟机

2.新建2台虚拟机  

3.虚拟机之间ssh免密登录

4.在一台虚拟机上搭建java ,scala,spark,hadoop环境

5.成功

详细过程:

2.新建两台虚拟机:(这里我用的是ubuntu 16.04)

3.ssh免密登录:

   1.    sudo apt-get install openssh-server  //安装ssh(在两台机器上都安装)

    2. /etc/init.d/sshstart  // 启动ssh (在slave 上启动:)

    3. sudo vim  /etc/hostname   //两台机器上都操作(一个master ,另一个slave,没有vim  先 sudo apt-get install vim)

   4.  sudo vim /etc/hosts //两台机器都操作 hosts内容如下:

(192.168.195.130  master

192.168.195.131   slave)

5. ssh-keygen -t rsa   //输入之后一直选择enter即可

sudo scp id_rsa.pub spark@slave:~/.ssh //复制到slave机器上

sudo cat id_rsa.pub >> authorized_keys //免密认证

sudo chmod 600 authorized_keys  //加权限

6  在master 上  输入  ssh spark@slave    即可

4.

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 最近在学习大数据技术,朋友叫我直接学习Spark,英雄不问出处,菜鸟不问对错,于是我就开始了Spark学习。 为什...
    Plokmijn阅读 26,679评论 6 26
  • --------"道路是曲折的,前途是光明的。"最近又涉及到了hadoop以及spark的安装,之前课题设计中有要...
    九七学姐阅读 3,092评论 3 5
  • 由于最近学习大数据开发,spark作为分布式内存计算框架,当前十分火热,因此作为首选学习技术之一。Spark官方提...
    Fang2016阅读 17,129评论 3 6
  • 1、要加强学习能力,这么长时间了还没把java和数据库搞定,这是很大的问题。要学的很快。 2、老了就会不想学习,然...
    智囊团阅读 139评论 0 0
  • 今年8月,小米科技终于推出了VR眼镜玩具版本,这款产品售价仅49元,在低价刺激下,小米 VR 眼镜玩具版的销量也较...
    小离2014阅读 722评论 0 49