大数据平台环境搭建准备

1.虚拟机安装
安装vmware,此处安装vmware14版本虚拟机,密匙易搜。
2.linux环境准备
下载linux系统镜像,下载地址:
http://archive.kernel.org/centos-vault/6.5/isos/x86_64/
cent-os下载巨细说明:
https://blog.csdn.net/sinat_36564972/article/details/81560395
此处鉴于本机原因选择cent-os-64位-6.5版本(现在一般服务server均使用7.4左右)
3.linux系统(cent-os)于虚拟机安装
关于安装cent-os有直接安装标准版,可以直接安装很容易,这样安装得到的是桌面版的cent-os系统,但是初始使用basic-server版的cent-os安装可以对该系统有个好的的了解,具体的安装本人借鉴于慕课网linux课程安装进行,也可以自行搜集进行linux系统的安装,安装需要注意的地方做一罗列。
不使用标准简易安装,使用自定义安装,之后进入安装,需要注意的是如果是win10系统,需要进入dos界面进行简单的设置。


下一步选择好下载好的cent-os系统镜像文件:

此处注意,开始安装虚拟需要给自己所在盘符如e盘下留有足够的空间,为了文件以及后续大数据hadoop体系组件搭建,留40g以上空间为保证后续操作顺畅。
win10系统创建虚拟机需要bois界面设置:
https://blog.csdn.net/sinat_37390744/article/details/56498655
安装前虚拟机创建好后,其中一般将处理器设置为多核,此处设置为4核,选择centos系统镜像文件网络选择桥接,简单的方法使得一台电脑上的多台虚拟机网络可以互通(桥接的意思是跟主机可以互相通信且是率属于同一网段,非主机路由出的子网段,如果是net模式是由主机路由出的子网),初始建议网络均选择桥接模式,桥接模式下在同一局域网下或者公司内网,之间均可以通信,但是需要注意如果公司网络大量用于开发使用,需要跟网络工程师沟通,看是否有闲置ip,否则造成ip冲突,网络不稳定,还会影响同时办公,也可以请教网络工程师进行协助,那样效率也会高很多,由于其它原因后续需要考虑与云主机进行通讯等,暂不巨细讨论。
网络选择桥接,选择镜像文件,内存选择1g(1g一般够用,本机内存是8g,内存1g分给虚拟机)

开机(快速切入虚拟机按F2)
进入后选择第一项-->已经存在的系统-->之后检查选择skip跳过-->之后ok确认后进入centos的安装-->选择语言Chinese中文简体-->键盘美国英式标准-->设备选择基本存储设备默认-->默认之后选择安装模式-->此处为了节省存储空间-->使用自定义安装-->然后进行分区-->一般分区设置-->自定义分区-->必须根分区与boot分区,boot 200M home 2000M swap 1000M \ 根分选择剩余全部,作为最后需要的扩展分区(备存放逻辑分区)
-->格式化-->选择basic server,之后按照引导重新启动ok,密码设置此处均设置的不少于6位,完成安装,上述主要步骤如上,巨细可以查找资料或者慕课网linux安装。

安装成功后关机配置网络,在安装虚拟机后,进入网络适配器选项,修改vm8网络适配器,其网段与本机所在网络一致,此处再可以查找资料。



修改vm8网络适配器后修改vmware的网路适配器




网络适配器参考:

配置好之后开机进入虚拟机。
上述安装完毕,虚拟机有两个功能比较实用,快照和克隆,快照记录下虚拟机某一状态,所得到的快照文件也就便于另一台,或者多态虚拟机的安装,克隆可以将整个系统克隆下来,生成的文件比快照要大,快照使用的更多一些,快照下某一时刻的应用,之间进行切换,便于系统恢复以及相关功能或者应用组件安装测试。

上述对于虚拟机的基本安装已经好了,接下来需要做一些为使用,再更进一步为大数据组件安装使用做一些准备工作。
网络配置:
vi /etc/sysconfig/network-scripts/ifcfg-eth0
如果是动态获取地址,BOOTPROTO=dhcp ,如果是设置静态地址,则BOOTPROTO=static

BOOTPROTO=static
IPADDR=192.168.1.103 (此处所在局域网的网络ip设置,与网络适配器属同一网段)
NETMASK=255.255.255.0
GATEWAY=192.168.1.1 (主机网络适配器设置的网关)
https://blog.csdn.net/u010064017/article/details/77883776
ONBOOT=yes
无论是动态还是静态,配置文件里默认的ONBOOT=no要改成ONBOOT=yes,然后保存。
service neteork restart 命令重启网络服务。
vi /etc/resolv.conf
添加域名服务器:
nameserver 218.2.135.1
nameserver 8.8.8.8
保存后,无需重启网卡,DNS立即生效。
网络成功配置参考:
https://blog.csdn.net/u010064017/article/details/77883776
https://blog.csdn.net/u014466635/article/details/80284792
网络防火墙关闭(较为简单,参考下文档,注意最好使用永久关闭防火墙):
service iptables stop(关闭)
chkconfig iptables off (永久关闭,使用永久关闭,三台机器均操作)
service iptables status
https://www.cnblogs.com/maybo/p/5250668.html
service network restart 重启网络服务

为了配置安装hadoop以及其它使用还需要进行主机名的设置
主机名进行设置(修改主机名):
[root@master /]# cat /etc/sysconfig/network #HOSTNAME=localhostzjx
NETWORKING=yes
HOSTNAME=master
NETWORKING_IPV6=yes

需要进行切换用户生效:
su - root

也可百度下设置用户名和密码,另外需要将进行网络通信的主机名与ip加入/etc/hosts 。这里面配置的是其它主机的ip与主机名的映射,由此才可以通过主机名进行访问。
vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.176.2.101 master
10.176.2.103 zjx03
10.176.2.105 zjx05
10.176.2.111 yjy11
10.176.2.113 yjy13
10.176.2.115 yjy15

可以使用主机名进行测试:
ssh master date

基本安装与环境配置到此已经完毕,可以使用此镜像完成

大数据hadoop安装准备
hadoop安装
hadoop下载地址:
http://central.maven.org/maven2/org/apache/hadoop/
https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

hadoop安装获取hadoop官方版本,另一个是CDH版本,关于安装版本选择,目前所使用的较多的有hadoop-2.5版本,但后续更多应用均采用2.7,此处也选用hadoop-2.7
有参考版本如下:
hadoop-2.5.0.tar.gz
hbase-0.98.6-cdh5.3.0
jdk-7u67-linux-x64
zookeeper-3.4.5-cdh.10.0

实际安装版本:
jdk-8.191
hadoop-2.7.7
zookeeper-3.4.5-cdh5.12.2
后续组件安装sqoop选用版本:sqoop-1.4.7.bin__hadoop-2.6.0
已成功安装对应此版本下的基于zookeeper的hadoop集群,此版本测试环境可以放心使用,生产环境待测。

下一篇:进行大数据平台搭建hadoop安装(单机版,hadoop集群版,zookeeper管理集群的安装)

不足之处还望指正,谢谢!Q:1098077157

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容