大数据集群基础安装篇 - CentOS 7 安装、克隆集群(7台)

CentOS

敬语
为常年奋斗、努力工作在一线,并为操作系统发展做出突出贡献的的大佬们致敬,此处深思几分钟...
科普
CentOS(Community Enterprise Operating System,中文意思是:社区企业操作系统)是Linux发行版之一,它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码,因此有些要求高度稳定性的服务器以CentOS替代商业版的Red Hat Enterprise Linux使用。两者的不同,在于CentOS并不包含封闭源代码软件。
https://wiki.centos.org/zh/Manuals/ReleaseNotes/CentOS7

正题
安装君手把手教你安装CentOS 7操作系统,进入正题,详细见下述安装步骤:

下载镜像文件

由于文件比较大,在加上现在网盘各种本土限制,再加上买不起的会员,所以小伙伴自行去官网下载哦,下述为本次需要安装的操作系统信息:

  1. 操作系统:CentOS-7-x86_64-DVD-1708.iso (64位哦)
  2. 下载地址:https://www.centos.org/download/
  3. 系统官网:http://www.centos.org (操作系统的前世今生一览无遗)
下载镜像须知

官方(http://www.centos.org/)提供三个版本,分别如下:

  1. DVD ISO 标准版本(服务器安装推荐使用)
  2. Everything ISO 对完整版安装盘的软件进行补充,集成所有软件
  3. Minimal ISO Mini版本,只有必要的软件,自带的软件最少
系统安装开始

此处以VMware® Workstation 12 Pro 为例,关于VMware® Workstation 12 Pro安装后续更新,小伙伴要关注哦...


开始安装
第 1 步

操作系统检测,可对其所运行的软件环境进行检测,如果有问题会显示出来,不过需要5分钟左右的时间(机器配置差就不说了哈),不想等待的小伙伴可以直接选择安装,Install CentOS7 ,不需要检测即可;

第 2 步

开始进入安装;

第 3 步

安装进行中...;

第 4 步

选择操作系统语言,点击下一步(Continue),友情提示:推荐英文;

第 5 步

选择操作系统分区,可以自行配制分区,也可以选择默认的磁盘分区

第 6 步

操作系统主配置界面,可配置软件,安全、系统、网络等方面,重点关注下属几个方面配置:

  1. NETWORK & HOST NAME 网络配置,具体配置参见第 7 步;
  2. SOFTWARE SELECTION 软件配置,此处选择最小化安装,不包括其他软件以及GUI组件,友情提示:服务器推荐使用该参数,想用界面的小伙伴可以使用GUI可视化界面;
  3. INSTALLATION DESTIONATION 分区配置;
第 7 步

配置操作系统网络环境,可手动配置也可以自动配置;

第 8 步

配置完成之后进行下一步,正式开始安装;

第 9 步

配置账号,可以root账号密码,也可以创建用户操作;

第 10 步

安装完成之后系统自动重启;

第 11 步

输入账号/密码,登录第9步配置的账号或root密码;

第 12 步

至此万能的CentOS 7 操作系统安装已经成功,大喜....;

大数据集群基础篇章

一般大数据基础组件,不管是Elasticsearch、Hbase、Hadoop、Zookeeper、Spark或者其他,随着业务系统和数据的积累,都不可避免的都需要提供灵活、可扩展的底层物理设备的支撑,进而就对软件前期的规划、架构就有了相对比较严格的要求,需要可以实现水平扩展,那么一般情况下,通用的大数据组件核心主要底层可能会分为数据节点、主从Master、客户端,那么根据这些核心的组件,最低的节点保证7台即可,后续跟随业务量不断的扩单,即可实现水平扩容,几个节点大概的应用、配置适当描述一下,见下述:

  1. 数据节点:对磁盘要求比较高、读写速度快(SSD、转速高),当然跟着业务走了,机械也是没有问题的
  2. 主从节点:一般都是存储源数据,对内存要求较高,建议在条件允许下,根据业务适当提升内存
  3. 客户端节点:对网络要求比较高,一般客户端节点核心工作就是做访问负载均衡,实现高可用

针对上述要求,前期我们已经安装了一台虚拟机,接下来我们根据实际情况,进行克隆即可,不需要再一台一台的进行安装(比较费时,而且也没有必要),总共需要克隆7台,详细如下:

序号 节点 备注/Hostname
1 server01-128 数据节点1 / node1
2 server02-129 数据节点2 / node2
3 server02-130 数据节点3 / node3
4 server02-131 主从1 / node4
5 server02-132 主从2 / node5
6 server02-133 客户端节点1 / node6
7 server02-134 客户端节点2 / node7

附一下本机的机器配置



VMware Workstation 版本


克隆机器的方法如下

此处仅演示一台,其他5台操作步骤一模一样,克隆之前需要关闭需要克隆的虚拟机

第一步 选中需要克隆的虚拟机》右键》管理》克隆

第二步 出现克隆向导,点击下一步

第三步 点击下一步

如果目标虚拟机存在快照,也可以直接从某一个快照中选择,因为目标虚拟机为裸机,没有快照,所以下面快照选项是无法选择的;

第四步 选中下面一个选项,创建完整克隆,点击下一步

第五步 选择输入虚拟机名称以及对应克隆的位置,点击完成

我一般会安装到D:\ProgramData\vmwarea\centos\server08

第六步 克隆进行中

进行中...
安装完成,点击关闭
左侧列表会出现已经安装完成的虚拟机

下来就是该名称:server04-131, 启动虚拟机,进去并登录


大功告成了
网络配置(IP)

静态IP设置

  1. cd /etc/sysconfig/network-scripts
  2. vi ifcfg-ens33

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static" #修改dhcp > static
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="6504d73f-6587-4cb1-9d5d-11db1610765d"
DEVICE="ens33"
ONBOOT="yes" #no > yes
IPADDR=192.168.91.128 #IP
NETMASK=255.255.255.0 #子网掩码
GATEWAY=192.168.91.2 # 网关

DNS配置

vi /etc/resolv.conf
#######Generated by NetworkManager
nameserver 8.8.8.8
nameserver 8.8.4.4

修改主机名称

vi /etc/hostname
node1

重启网络

systemctl restart network

验证网络配置

验证网络可用性
结果图

PS
某一个环境配置完成,建议小伙伴使用VM生成一个快照,以后可以复制、回退、克隆都是很有帮助的哦!

至此基础环境已经安装完成,后续讲不定期更新大数据组件,喜欢的童鞋可以关注我们!

喜欢我们的小伙伴可以扫描屏幕下方的微信(左侧)、微博(右侧)二维码,欢迎多挑毛病、多多关注。

关注我们
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,496评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,407评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,632评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,180评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,198评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,165评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,052评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,910评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,324评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,542评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,711评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,424评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,017评论 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,668评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,823评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,722评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,611评论 2 353

推荐阅读更多精彩内容