1.虚拟机安装
安装vmware,此处安装vmware14版本虚拟机,密匙易搜。
2.linux环境准备
下载linux系统镜像,下载地址:
http://archive.kernel.org/centos-vault/6.5/isos/x86_64/
cent-os下载巨细说明:
https://blog.csdn.net/sinat_36564972/article/details/81560395
此处鉴于本机原因选择cent-os-64位-6.5版本(现在一般服务server均使用7.4左右)
3.linux系统(cent-os)于虚拟机安装
关于安装cent-os有直接安装标准版,可以直接安装很容易,这样安装得到的是桌面版的cent-os系统,但是初始使用basic-server版的cent-os安装可以对该系统有个好的的了解,具体的安装本人借鉴于慕课网linux课程安装进行,也可以自行搜集进行linux系统的安装,安装需要注意的地方做一罗列。
不使用标准简易安装,使用自定义安装,之后进入安装,需要注意的是如果是win10系统,需要进入dos界面进行简单的设置。
下一步选择好下载好的cent-os系统镜像文件:
此处注意,开始安装虚拟需要给自己所在盘符如e盘下留有足够的空间,为了文件以及后续大数据hadoop体系组件搭建,留40g以上空间为保证后续操作顺畅。
win10系统创建虚拟机需要bois界面设置:
https://blog.csdn.net/sinat_37390744/article/details/56498655
安装前虚拟机创建好后,其中一般将处理器设置为多核,此处设置为4核,选择centos系统镜像文件网络选择桥接,简单的方法使得一台电脑上的多台虚拟机网络可以互通(桥接的意思是跟主机可以互相通信且是率属于同一网段,非主机路由出的子网段,如果是net模式是由主机路由出的子网),初始建议网络均选择桥接模式,桥接模式下在同一局域网下或者公司内网,之间均可以通信,但是需要注意如果公司网络大量用于开发使用,需要跟网络工程师沟通,看是否有闲置ip,否则造成ip冲突,网络不稳定,还会影响同时办公,也可以请教网络工程师进行协助,那样效率也会高很多,由于其它原因后续需要考虑与云主机进行通讯等,暂不巨细讨论。
网络选择桥接,选择镜像文件,内存选择1g(1g一般够用,本机内存是8g,内存1g分给虚拟机)
开机(快速切入虚拟机按F2)
进入后选择第一项-->已经存在的系统-->之后检查选择skip跳过-->之后ok确认后进入centos的安装-->选择语言Chinese中文简体-->键盘美国英式标准-->设备选择基本存储设备默认-->默认之后选择安装模式-->此处为了节省存储空间-->使用自定义安装-->然后进行分区-->一般分区设置-->自定义分区-->必须根分区与boot分区,boot 200M home 2000M swap 1000M \ 根分选择剩余全部,作为最后需要的扩展分区(备存放逻辑分区)
-->格式化-->选择basic server,之后按照引导重新启动ok,密码设置此处均设置的不少于6位,完成安装,上述主要步骤如上,巨细可以查找资料或者慕课网linux安装。
安装成功后关机配置网络,在安装虚拟机后,进入网络适配器选项,修改vm8网络适配器,其网段与本机所在网络一致,此处再可以查找资料。
修改vm8网络适配器后修改vmware的网路适配器
网络适配器参考:
配置好之后开机进入虚拟机。
上述安装完毕,虚拟机有两个功能比较实用,快照和克隆,快照记录下虚拟机某一状态,所得到的快照文件也就便于另一台,或者多态虚拟机的安装,克隆可以将整个系统克隆下来,生成的文件比快照要大,快照使用的更多一些,快照下某一时刻的应用,之间进行切换,便于系统恢复以及相关功能或者应用组件安装测试。
上述对于虚拟机的基本安装已经好了,接下来需要做一些为使用,再更进一步为大数据组件安装使用做一些准备工作。
网络配置:
vi /etc/sysconfig/network-scripts/ifcfg-eth0
如果是动态获取地址,BOOTPROTO=dhcp ,如果是设置静态地址,则BOOTPROTO=static
BOOTPROTO=static
IPADDR=192.168.1.103 (此处所在局域网的网络ip设置,与网络适配器属同一网段)
NETMASK=255.255.255.0
GATEWAY=192.168.1.1 (主机网络适配器设置的网关)
https://blog.csdn.net/u010064017/article/details/77883776
ONBOOT=yes
无论是动态还是静态,配置文件里默认的ONBOOT=no要改成ONBOOT=yes,然后保存。
service neteork restart 命令重启网络服务。
vi /etc/resolv.conf
添加域名服务器:
nameserver 218.2.135.1
nameserver 8.8.8.8
保存后,无需重启网卡,DNS立即生效。
网络成功配置参考:
https://blog.csdn.net/u010064017/article/details/77883776
https://blog.csdn.net/u014466635/article/details/80284792
网络防火墙关闭(较为简单,参考下文档,注意最好使用永久关闭防火墙):
service iptables stop(关闭)
chkconfig iptables off (永久关闭,使用永久关闭,三台机器均操作)
service iptables status
https://www.cnblogs.com/maybo/p/5250668.html
service network restart 重启网络服务
为了配置安装hadoop以及其它使用还需要进行主机名的设置
主机名进行设置(修改主机名):
[root@master /]# cat /etc/sysconfig/network #HOSTNAME=localhostzjx
NETWORKING=yes
HOSTNAME=master
NETWORKING_IPV6=yes
需要进行切换用户生效:
su - root
也可百度下设置用户名和密码,另外需要将进行网络通信的主机名与ip加入/etc/hosts 。这里面配置的是其它主机的ip与主机名的映射,由此才可以通过主机名进行访问。
vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.176.2.101 master
10.176.2.103 zjx03
10.176.2.105 zjx05
10.176.2.111 yjy11
10.176.2.113 yjy13
10.176.2.115 yjy15
可以使用主机名进行测试:
ssh master date
基本安装与环境配置到此已经完毕,可以使用此镜像完成
大数据hadoop安装准备
hadoop安装
hadoop下载地址:
http://central.maven.org/maven2/org/apache/hadoop/
https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
hadoop安装获取hadoop官方版本,另一个是CDH版本,关于安装版本选择,目前所使用的较多的有hadoop-2.5版本,但后续更多应用均采用2.7,此处也选用hadoop-2.7
有参考版本如下:
hadoop-2.5.0.tar.gz
hbase-0.98.6-cdh5.3.0
jdk-7u67-linux-x64
zookeeper-3.4.5-cdh.10.0
实际安装版本:
jdk-8.191
hadoop-2.7.7
zookeeper-3.4.5-cdh5.12.2
后续组件安装sqoop选用版本:sqoop-1.4.7.bin__hadoop-2.6.0
已成功安装对应此版本下的基于zookeeper的hadoop集群,此版本测试环境可以放心使用,生产环境待测。
下一篇:进行大数据平台搭建hadoop安装(单机版,hadoop集群版,zookeeper管理集群的安装)
不足之处还望指正,谢谢!Q:1098077157