虚拟化使服务器工作更饱满,一般数据中心运行初期负荷很高。 X
01 云数据中心代替传统数据中心
1.从IBM和Amazon的2013年案例分析
CIA项目最看重的三个主要方面的内容:
技术的展现方面、技术的解决方案方面、服务水平保障方面
CIA项目的业务本质:情报社区云---基于互联网架构的私有云业务,当业务出现高峰时,系统是否能够快速的水平扩展,是关键考量因素
CIA最终选择AWS的云数据中心解决方案,而放弃了IBM的传统数据中心,是对云数据中心解决方案的认可。
2.云数据中心和传统数据中心
传统数据中心的模式主要特点:孤岛式、烟囱式的,从当年的PC机到X86服务器,再到小型机和大型机,2009年以前,这个模式都是主要的建设和发展模式。
2009年之后,整个IT技术发生变化,由传统的烟囱式、孤岛式的传统数据中心的纵向扩展,向水平的横向扩展的方向演进。
以2013的CIA的项目为转折点,可以看到整个产业链往虚拟化、云化方向发展的步伐是越来越快,云数据中心势不可挡,云数据中心代替传统数据中心市委来IT发展的方向和必然选择。
02 传统数据中心的组成
1.数据中心机房设施
服务器、存储、网络---放在机房中
机房的环境要求:保证供电,保证恒温,保证一个相对稳定的环境
- 传统数据中心的组成【共四部分】
第一部分,一套集中对外提供信息服务的IT设施,像服务器、存储、网络,一般也称为基础设施层
第二部分是保障IT设施稳定运行的环境设施。像数据通信连接,换进过的控制设备、监控设备、安全装置等。一般称为机房配套层。【独立建设】
第三部分:应用软件层,例如:缴费软件
第四部分:存放数据的数据库软件以及其他特定的中间件软件,一般称为平台软件层。
如果不够,则进行相对的扩充,扩内存,CPU,扩磁盘等,要是不行,就换更好的机器,称为垂直扩展,他的特点是:越往上扩展费用越高;而且每次扩容都需要停止业务进行系统的割接;风险极高。
3.传统数据中心的特点
传统数据中心除了机房配套层是多业务共享之外,各个业务系统的基础设施只能给自己的业务软件使用,即使业务在波谷不用时也不能给别的系统使用,相互之间的IT建设是割裂的。长久建设下来,就形成了一个个的IT烟囱或者叫做IT孤岛。
03 云数据中心的组成
1.AWS云数据中心的组成
该云数据中心是由28个大型的云数据中心+52个边缘的云数据中心互联在一起,形成的一朵云。统一的呈现,覆盖了全球的11个地区。
- 云数据中心是什么?
传统的数据中心提供的是服务器、存储、网络这些设备。
云数据中心提供的是一种IT服务,就像计算服务、存储服务、网络服务,甚至包括数据库服务、管理服务等等。它是以统一的标准的服务形态来提供的,客户需要什么样的IT能力,云就可以按需给你相应的IT服务而不是设备。无论业务延展到全球哪里,都可以获取这种IT的云服务能力。 - 云数据中心的水平扩展能力
当业务需要急速扩展的时候,可以快速的通过增加IT服务进行水平的平滑扩展。
云数据中心的水平扩展能力含义:【3层】
【1】第一层是技术上的平滑扩展,举例:原来是X86服务,现在只需要增加更多的X86服务即可,在架构上没有断裂,不需要停止业务,也不需要割接扩容,风险就降低了。
【2】第二层是水平扩展使用的设备是低成本的,甚至未来可以是由白牌化的通用设备,而不是昂贵的专用IT设备。所以扩容时不需要等待厂家的专门生产,扩容成本是线性可控的。
【3】第三层含义是,当你的业务出现波谷时,可以把不用的或者闲置的IT资源释放给其他的软件使用。实现资源的共享和弹性伸缩。最终实现IT资源的削峰填谷。
水平扩展模式的特点:
共享资源、弹性、高效、低成本、高可靠
4.云数据中心核心---云操作系统
云数据中心要实现这种水平扩展的IT服务,云操作系统是关键的核心。跟传统数据中心对比,最大的不同也是这里。
在基础设施层,由云操作系统把服务器、存储、网络、安全等IT设备能力转变为各种IT服务。向上提供给平台软件和应用软件使用。也就是说,传统数据数据中心安上了云操作系统这颗心脏,就变成了云数据中心。
5.云数据中心的建设模式
基础设施与上层应用、平台软件进行了解耦。一个统一的基础设施不在只为一个应用体哦国内IT支撑,而是为企业所有的业务提供IT支撑。多业务共部署称为常态,这种聚焦在基础设施层提供的云服务,我们称为IaaS.
6.云数据中心提供的IT服务演进
SaaS最早
PaaS最慢
IaaS最成熟
04 云数据中心与传统数据中心的区别
- 云数据中心与传统数据中心的区别
【提供的服务以及架构方面】:
传统数据中心是面向应用软件提供设备,是烟囱式的架构,
而云服务数据中心是提供IT服务,是共享式服务架构。
【应用价值上方面】:
传统数据中心的资源虽然是业务独占的,但从整体的数据中心的角度来看,波峰波谷的忙闲是不均的,会出现资源闲置,利用率低于10%,粗腰买大量的新机器,建设期长达3-6个月。
而云数据中心是按照分钟提供资源,他能够很好的将那些不用的资源共享给新的业务使用。资源的利用率高达60%以上。换言之,就是云数据中心可以实现企业级的资源共享,资源共享的好处就是把那些闲置的被浪费的,资源利用率低的重复利用起来。
【可扩展性方面】:
当数据中心的资源不够时,传统的数据中心就要去买内存,扩存储,如果还是不够就去买小型机或者大型机等,整个的建设成本是越来越高。是一种几何式跳跃式的增长。而且扩容时需要复杂的割接,往往需要停业务;
而云数据中心采用的是X86架构,云数据中心的水平扩展除了带来低成本线性扩容优势外,就是IT服务的增加不需要停业务,
2.云数据中心的几大特点
云数据中心在几个方面实现了质的飞跃:
【1】提升了资源供给的速度,先从几个月到几分钟。
【2】提升了资源的平均使用效率,从10%到60%
【3】改进了资源的扩容模式,从垂直向上的扩容转变为水平平滑的线性扩容。
【4】降低了资源的建设成本,比如实现了小型机的X86化
【5】提升了资源的维护效率3倍以上。
3.云数据中心重点关注的问题
【1】以降低成本为主要目的的云数据中心的高效建设问题
【2】以提升效率为主要目标的云数据中心的高效管理问题
【3】以缩短上线支持时间为目标的云数据中心的敏捷使用问题 (快速部署)
05 云数据中心建设和演进路线
1.高效建设云数据中心的含义
高校建设顾名思义就是建设的速度要快,建设成本低
2.高效建设云数据中心的前提
第一个是选好标准,就是究竟采用什么样的标准才能匹配业务目标。
第二个就是规划蓝图,也就是同一架构,即大家要遵循统一的云数据中心的架构
第三十,制定好实施的路线图。
3.云数据中心的演进方式一---全局规划
通过云数据中心进行全局的规划,分步实施。大型企业具备技术实例,大都采用这种方法。
实施的步骤:
第一,是建立云数据中心的样板点,确定云服务的标准。
第二,建立云数据中心企业级的统一调度平台,强化大脑
第三,向周边复制云数据中心,强化网络自动化,实现多数据中心互联互通。
第四,业务云化变迁到云数据中心之上
第五。,持续的进行云数据中心的经营优化。
4.云数据中心的演进方式二---通过构建资源池,以点带面,逐步渗透
使用对象:技术能力偏弱的企业
第一步是:通过构建资源池,然后迁移一两个业务到云上去,验证云的效果
第二步是把建立的多个资源池互联起来,形成一朵云,随着业务的增多,可以把一部分云迁移到自己的云数据中心上。另一部分的业务迁移到公有云里面。形成一个混合的云数据中心的架构。验证混合云的效果。
5.云转型的三条路径
第一条路:那些初始公司,中小企业和政府都会优先选择亚马逊或者阿里云等或者政企托管云服务,直接在云上购买服务。
第二条路:通过新建云数据中心,整合搬迁传统的数据中心,建立云数据中心的整体能力,是一种从水平角度上打地基的模式,云数据中心和云服务能力统一构建,然后再逐步的搬迁到云数据中心之上。在大企业,运营商和银行会用这种方式
第三条路:就是跟随业务云化节奏,采取逐渐渗透的模式,先围绕外围的业务,建设云资源,然后逐渐的演进到核心业务中去,形成完整的一朵云,这种模式经常倍大中型企业选用。
三条路不是完全分开的,是相互的交叉的。
06 管理好云数据中心
1.云数据中心效率提升靠管理
Google的例子:拥有全球最大的搜索和广告业务,每天处理海量的互联网数据。
Google采用分布式架构。在全球构建了云数据中心,首先它建立了一个全球统一的云数据中心管控平台(全局资源集中管理与大数据平台),通过这个管控平台把全球资源集中起来实现自动化,统一运维。
当一个云数据中心有问题时,可通过这个管控平台,依托自动化技术,实现全球资源的统一弹性调度,这一切的变化,客户是无感知的。
所以企业级的统一的云数据中心资源管控平台是管好云数据中心的关键支撑手段。
- 主动与被动运维模式:
如何实现主动运维模式,把问题扼杀在摇篮里?
第一步是解决全球资源可视化问题,要能看到哪台机器是忙的,哪台机器是坏的,哪台是需要维修的,这些信息不是靠人工检查,而是要靠技术、手段去支支持。在这个基础上还要对大量数据进行健康体检。
很多时候,找到数据中心的热点,提前把他解除掉,不仅仅会降低系统的隐患,提升资源利用率,还能降低能耗。 - 数据中心健康体检可视化
在资源运行可视化基础上,就可以实现数据中心资源的健康体检可视化,通过自动化工具把运维的经验不断的沉淀下来,再把这种经验编写成各种脚本固化下来,从而加强了整个自动化处理,同时开展大数据分析,这种主动发现问题预先处理隐患,是云数据中心健康稳定运行的关键保障措施。
07 pdf 其他
云数据中心典型应用场景:运营商IDC, 园区IDC, 大企业IT托管和电子政务IT托管
云计算是一种提供动态、弹性的虚拟化资源的服务模式
云计算是下一代数据中心的核心技术, 虚拟化技术是云计算的核心, 安全、容灾技术是客户关注的重点技术, 网络、管理、机房属于数据中心的基础技术, 云数据中心到过度和迁移是数据中心技术的一个热点技术
虚拟化技术的特点:分区、隔离、封装、独立
Vmwarev虚拟化概念原理
01 服务器的虚拟化介绍
1.物理基础架构
下方是各类存储,并且通过以太网、光纤和上方的物理服务器相连接。每台服务器的结构是由硬件资源和在硬件资源之上安装各类的操作系统,在操作系统之上是我们的应用程序。
2.物理架构存在的问题
难以复制和移动
受制于一定的硬件组件
生命周期短(x86老机器cpu什么都不行了),在云环境下,可以平行扩充! 物理服务器的资源利用率低
3.虚拟化的介绍
虚拟化是在服务器硬件上先安装一个虚拟化层,在在此上安装操作系统,和应用程序。同时可以安装多个操作系统,这边是服务器的虚拟化
4.虚拟基础架构
在每一台物理主机内,通过服务器的虚拟化,在每台主机上,部署虚拟化层,再在虚拟化层上安装虚拟机。
5.物理主机内部的架构【如图】
6.服务器虚拟化是如何实现资源共享的?
CPU:采用超线程和CPU的虚拟化技术来实现CPU的过量使用
内存:可以通过内存的复用、压缩等机制实现内存的过量分配。
网络资源部分:需要使用虚拟交换机,将虚拟机的虚拟网卡和网络网卡相连接。将虚拟机间的流量引导到外部网络中。
磁盘:将各类物理存储形成资源存储池后,在在资源池中划分虚拟磁盘,提供给虚拟机使用。
02 VMware 的组件介绍
1.VMware ESXi
VMware ESXi是最核心的组件
VMware ESXi是我们常说的ESXi主机,虚拟化层
组件的作用:ESXi用于协调物理计算机的资源,同时通过ESXi管理其上的虚拟机,如部署、迁移等操作。同时还可以通过ESXi对物理计算机上的网络存储资源仅从管理,ESXi通过配置虚拟交换机上的vSwitch管理配置网络资源,通过VMfs和nfs管理虚拟存储资源。
2.vCenter Server
主要的作用是:提供集中的管理接口,供管理员可以管理整套的虚拟化环境。
也可以为虚拟化提供更高级的功能。如,虚拟机迁移,分布式的服务,快速部署虚拟机
vCenter的配置信息和清单信息主要保存在数据库中,这就是数据库服务器和数据库存储。
同时vCenter管理主机时,有部分服务需要在各个主机上,比如,分布式虚拟交换机需要一定的分布式服务,同时在管理虚拟化的环境时,需要有相应的权限管理以及ACL用户访问控制。同时,为了便于管理,需要统一的身份验证,vCenter提供了一些接口,供第三方程序进行连接。
3.VMware的其他组件
【1】Vsphere Client:客户端的管理工具,用户连接并管理ESXi主机和Vcenter Server时,他能够为管理员提供一个良好的图形化管理界面。
【2】Update Manager:用作更新管理,比如更新ESXi版本,更新补丁等,时Vcenter的扩展插件,在安装完成后,还需要对客户端的组件进行更新
【3】VMware Data Protection(VDP):用于数据保护
【4】VMware vRealize Orchestrator :用于实现一系列的自动化工作流
【5】vCloud Director:云平台组件,适用于部署私有云后,发布云环境。
03 ESXi介绍
1.VMware ESX的发展过程
【1】2006年,服务器有了第一款虚拟化产品---GSX,此时VMware的安装方式时现在物理机上安装操作系统,再见个VMware作为应用程序安装在主机上,VMware通过宿主操作系统进行资源和操作系统的管理。这种将虚拟化程序安装在宿主机上的架构称为寄居式虚拟化。寄居式虚拟化最大的问题式过度的依赖于宿主操作系统。
【2】2009年,VMware推出 ESX,VMware 直接将ESX安装在物理计算机上,这种安装方式称为裸机安装。但是ESX并不能完全的摒弃宿主操作系统,他的解决方法是将虚拟化程序和操作系统整合到一起。也就是说,他将虚拟化的程序写入到linux的操作系统中。此时,ESX通过linux系统的Servers Console来运行,而资源和虚拟机的管理工作则通过合作代理伙伴和编写脚本来执行。ESX有效的解决了对宿主操作系统过于依赖的问题。但是这种架构依然有他自己的缺陷,首先,由于虚拟化程序中包含linux的操作系统,linux的操作系统中非虚拟化部分的进程会占用主机上的部分资源,造成资源的浪费。其次,在进行资源和虚拟机的管理时,只能通过脚本和代理,非常的不方便。
【3】2011年,VMware推出了ESXi,即为当前应用最广泛的虚拟化产品。同样,ESXi也是裸机安装在物理计算机上的,他做的改进是将虚拟化层中繁杂的linux层剔除,只保留了VMkernel虚拟化内核对资源进行管理。这样,便大大的额降低了虚拟化层的大小。同时,也减小了虚拟化层对物理化层的开销。ESXi做的第二大改进便是将控制台从虚拟化程序中移除,变成一个独立的组件,即Vsphere Client,使得管理工作更加的轻松便捷。
ESXi体系结构独立于通用的操作系统运行,从而简化了虚拟化管理程序管理并提高了安全性。
2.ESXi的优点
精简的体系结构
更小的安全占用空间
简化的部署和配置
简化的修补和更新模式
3.ESXi的体系结构
04 vCenter Server介绍
1.定义:VMware vCenter Server是充当ESXi主机及其虚拟化中心管理点的服务。供管理员集中的统一的管理企业的虚拟化环境。
- VMware vCenter Server的两大作用
一个是,提供集中管理的接口,管理员可以通过管理点集中的管理虚拟化的环境。
另一个是,通过VMware vCenter Server实现虚拟化的高级功能。比如,虚拟机迁移的vMotion、和Storage vMotion;分布式虚拟交换机;快速部署虚拟机的模板和克隆。以及实现虚拟化高可用的HA、FT等。 - VMware vCenter的体系结构
VMware 通过vCenter Server来管理虚拟化环境中的ESXi的主机,同时,需要有客户端来连接和管理vCenter Server,可以是Vsphere Client。vCenter的配置信息和清单信息主要保存在数据库中,所以还需要有数据库服务器;最后,当架构特别庞大时,需要管理的组件较多时,各个组件间的信任可能会出现问题,这时,那边需要一个统一的身份验证,便是Active Directory 域(AD域)
- vCenter Server与ESXi通信【如图】
5.vCenter管理角色【如图】
在中间的圆形区域中,是安装完vCenter后,便带有的管理功能,包括资源管理,模板管理,虚拟机分布,虚拟机管理,安全任务事件,和日志主机管理等
边缘四个方形区域,是可扩展的组件,比如云平台管理,站点恢复管理,APP接口和更新管理等。
在安装vCente时,可以自由选择是否安装可扩展的插件。注意,可扩展模块是包括一个服务器组件和一个客户端组件。
05 VMware虚拟机及虚拟机管理介绍
1.什么是虚拟机?
虚拟机是一个逻辑的计算机,可以在其上运行受支持的客户端操作系统和应用程序的虚拟硬件集;
从本质上来说,或者是从存储的角度来看,是一组离散的文件。
2.虚拟机文件
VM文件夹包括:配置文件、交换文件、BIOS文件,日志文件、虚拟磁盘文件【重中之重】。
此外,还有快照文件,锁定文件,挂起状态的文件等,分别具有不同的作用,在不同的场景下出现。
3.虚拟机的模板
通过虚拟机的模板快速的部署虚拟机
模板是虚拟机的主副本,用于创建和部署新的虚拟机。
模板通常包括一个客户操作系统,一组应用程序和一个特定的虚拟机配置的映像。
4.管理模板
在制作模板时,我们可以选择将虚拟机转化为模板,也可以选择克隆为模板。
若是转换为模板,则是选择为该虚拟机添加模板标记,并转化为模板,效率很快,此时虚拟机必须处于关闭状态才可以进行。
若选择克隆为模板,则是先客隆虚拟机,在制作模板,所以,耗时很长,但是克隆为模板时,虚拟机的电源是可以开启的,也可以是关闭的。
在选择用模板部署虚拟机时,可以选择通过模板部署虚拟机,也可以选择转换为虚拟机,来修改模板。同时,在部署虚拟机的过程中,我们可以选择使用规范或者自定义的向导完成部署后的自定义工作。比如,刷新SID,加入域等,以减少部署虚拟机后的后序工作。
5.克隆虚拟机
克隆是虚拟机的一个精确副本,被克隆的虚拟机的电源是可以开启的,也可以是关闭的。
6.动态的增加磁盘大小
7.虚拟机的快照
通过快照保留虚拟机的状态,以便可以反复的回到同一状态。
快照提供了一种临时的容错解决方案
快照的工作原理:当为虚拟机拍摄快照时,生成快照的状态文件,保留拍摄快照时虚拟机运行的状态信息,同时,将原虚拟机的磁盘变为只读磁盘,并且新建一块新的增量虚拟磁盘,拍摄快照后的变更数据,写入增量虚拟磁盘中;恢复快照时,将增量虚拟磁盘删除,清除所有变更后的快照信息。并再次新建增量磁盘,如果想在删除快照,则上块增量虚拟磁盘中的数据写入到只读磁盘中,并删除增量虚拟磁盘,这样就保留了快照后的信息,删除了快照节点,可以在开启,关闭和挂起时拍摄快照。拍摄快照也可以选择是否捕获虚拟机内存状态,设置状态和虚拟的磁盘状态
但是,虚拟机快照只是一种临时的容错方案,不能替代备份方案,如果虚拟机的数据损坏,快照无法完成修复。所以,依然需要规划虚拟机的数据保护。同时,为了比避免增量磁盘过大,需要对虚拟机的快照做及时的删除。
06 Vmware vMotion及Storage vMotion
1.虚拟机的迁移方式【如图】
2.迁移类型的对比【如图】
- vMotion-迁移主机
作用:可以提高整体硬件的利用率
使得迅即在计划内硬件停机期间能够继续运行
实现跨主机平衡虚拟机负载
通过vMotion,可以实现虚拟机的动态迁移,而服务不中断。为客户带来诸多的优势,比如,零宕机时间,可以进行有计划的服务器的维护和升级迁移工作负载,使得资源的利用率最大化,确保服务器的持续可用性。实现完整的交易集成。
vMotion支持广泛的存储格式,支持iSCSI和ip SAN环境,以及NAS
需要注意的地方:进行vMotion时,虚拟机需要进行一系列的要求才可以进行迁移,虚拟机不能与内部交换机相连接,内部交换机不链接任何物理网卡,目标计算机上无法完成相同的配置。所以,无法进行迁移。虚拟机不能与装载了本地映像的虚拟设备相连接,目标主机由于无法访问本地映像,而导致迁移失败,虚拟机也不能配置CPU的关联性,如果虚拟机使用的时RDM映射磁盘,目标主机必须能够访问该RDM。 - Storage vMotion
定义:Storage vMotion将虚拟机从一个数据讯相互迁移到另外一个数据存储,源和目标的类型可以不同。
作用:通过存储迁移,我们可以进行存储的维护集合重新分配;重新分配存储的负载;清除即将淘汰的存储;执行存储的分层。
在进行Storage vMotion之前,需要注意:迁移工作需要和系统管理员一同规划和协调,避免因系统的特殊需求和配置等在迁移过程中影响业务,同时,尽量在非高峰时段运行,避免因为迁移消耗过多的主机网络资源,从而影响业务。最后,需要确保源主机可以访问数据存储和目标的数据存储。
07 VMware可用性及可扩展性的介绍
1.VMware各级容灾方案
在站点级别:有set recovery manager,实现站点的数据备份。
在数据级别,有VMware Data Recovery以及其他第三方的备份解决方案
在存储级别:通过Storage vMotion可以保存储的可用性
在服务器级别:有VMware vSphere和vMotion 和DRS动态资源分布等保证主机级的可用性。
在组件级别:有网卡绑定、存储多路径等功能保障网络、存储的可用性。
VMware为我们提供了针对故障的保护,实现零停机的计划运维,同时,针对计划外的停机和灾难也提供了相应的保护机制
2.VMware在虚拟化级别为我们提供的解决方案---HA
HA的作用:【如图】
HA的适用故障
主机故障
客户OS故障
应用程序故障
3.HA如何实现高可用?
当服务器发生故障时,HA自动的到其他的虚拟机上进行虚拟机的重启,保障其虚拟机的可用性以及业务的连续性
4.HA的优势:
HA是一套经济有效的适用于所有应用的高可用的解决方案
因为HA不需要独占stand-by硬件,也没有集群软件的成本和复杂性,只需要在集群中启用HA的功能即可。
5.HA的缺陷:
HA可以为组织体哦国内自信的运行其关键业务能力的应用程序的能力,但是是通过重启虚拟机来实现的,有些虚拟机的重新启动的速度很慢,这时业务的连续性就比较低,甚至有些虚拟机需要开机后,在手动的进行某些配置才可以提供服务。仅仅时自动重启,并不能满足高可用性。
6.Fault Tolerance(FT)
FT容错系统的设计目标是:出现计划外的中断时,某个备份的虚拟机可以立即去完成任务,确保不出现服务的中断。
FT体提供了比HA更高的业务连续性
实现了应用程序的零停机和零数据丢失。
7.FT的应用【如图】
8.虚拟化的可扩展性---DRS
DRS---Distributed Resource Scheduler,动态负载均衡
DRS实现了动态负载均衡连续的智能优化保证了所有的应用需要的资源。
DRS可以实现跨资源池的动态调整计算资源,可基于预定义的规则,智能的分配资源。
注意:规划DRS时,是围绕着业务进行组织和规划的,而不是硬件
9.DRS如何实现动态的扩展?【当有新主机的加入时】
当有新主机的加入时,DRS自动的将资源池扩展,经过计算后,自动的将虚拟机迁移到新的主机上,这样,变更利于添加更多的资源,避免业务繁忙时,出现过载的现象。