【大话存储II】学习笔记(15章),集群概论

随着应用程序对服务器、存储系统的系统要求越来越高,单台设备有时已经无法满足需求了,此时我们有两种方法可以解决:

  • 使用性能更高的机器,但是成本以及维护成本非常高,而且不见得适合所有的应用。

  • 多台设备联合起来对外提供服务,这就是集群。

主机可以形成集群,存储设备也可以形成集群。目前中高端存储设备自身就有双控制器。

一些NAS设备可以在多台独立设备之间形成集群,并实现单一命名空间,即用户访问目录路径就像访问一台机器一样。屏蔽了后端访问的过程,实际上,可能是由集群中不同的节点来提供服务的。

集群概述

上面讲到了为什么要用集群,首先用多个节点来代替一个节点完成任务,处理能力可以得到提高,其实还可以获得高可用性,即一个节点发生故障,另外的节点可以接替故障节点。

我们可以把集群分为三种:

  • 高可用集群

    在HA集群中,节点分为活动节点和备份节点,当活动节点故障了以后,备份节点立即接替任务。

    那怎么实现切换的呢?HA集群的实现是基于资源切换。资源指的是备份节点要接管的所有东西,比如IP地址、磁盘卷、上下文等。

    那怎么知道需要主节点挂了呢?需要依靠操作系统上安装的HA软件。它可以监控对方节点状态,一旦发现故障,则强行将资源占有。

  • 负载均衡集群

    负载均衡节点中,所有节点都参与工作。每个节点的地位相同,但是工作量怎么分配呢?可以有两种方式:

    • 由单独的节点来分配运算量

    • 也可以由节点通过网络通信来协商。

  • 高性能集群

    又称科学计算集群,其实与负载均衡集群本质上是一样的 ,不过主要用于科学计算而已,所以这种集群主要面向与CPU消耗型的应用。

    如何把任务平均分配到每个CPU核心上呢?如果在一台计算机上则非常简单,操作系统会自动将多个线程平摊到多个CPU核心上

    但是在集群里面,则可以通过网络来进行协商。为了方便编程,还开发出很多API,可以屏蔽很多编程复杂度。所以节点收到任务数据之后,再由节点操作系统自行将任务数据分派到多个CPU核心上。

image.png

系统路径上的集群各论

集群可以在系统路上的任何点实现。比如CPU、内存、显卡等硬件可以形成集群,软件上,应用程序、文件系统、卷管理系统也可以形成集群。

什么时候需要集群呢?

  • 当需要系统高可用的时候,也就是某处故障不会影响系统的可用,可选择使用高可用性集群

  • 当单个系统的处理能力不能满足性能要求的时候,可使用负载均衡集群

  • 当需要运算的数据量很大的时候,运算周期很长的时候,可使用高性能集群。

下面我们一一谈一下硬件层面和软件层面的集群。

硬件层面的集群

image.png
  • CPU集群:体现在多CPU的计算机系统,比如对称多处理系统,多个CPU共享物理内存相互协作。

  • 内存集群:多条内存组成更大的容量空间。比如通过双通道提高性能(相当于条带化RAID0)

  • 以太网卡集群:将多块以太网卡绑定在一起,向上提供虚拟网卡,底层则可以通过ARP轮询负载均衡,或者HA方式的多路径访问。

  • 以太网集群:多台设备协作转发,实现了负载均衡和HA,体现在路由器和以太网交换机上。

  • 显卡集群:将插在总线上的多块显卡连接起来,实现对大型3D数据渲染负载均衡,性能可以得到很大的提升。

  • FC卡的集群:通过与主机上的多路径软件配合,多块FC卡之间可以实现流量的负载均衡和HA,或者通过FC网络中的ISL链路负载均衡、HA方式实现流量分摊

  • FC网络设备的集群:一般来说FC网络设备没有向以太网交换机那样实现了负载均衡和HA 。

  • 控制器集群:几乎中高端磁盘阵列的控制器都是双控的,可以是HA关系,或者是负载均衡关系。

  • 磁盘集群:典型的集群是RAID系统,

软件层面的集群

  • 应用程序的集群:一个应用程序可以同时启动多个实例(进程),共同完成工作 。不同实例可以运行在同一机器上,也可运行在不同的机器上,通过网络交互信息。

  • 文件系统的集群:文件系统的集群是一个比较独立的课题。可以实现集群功能的文件系统叫集群文件系统,比如NFS、CIFS等网络文件系统,就是最简单的集群文件系统。

    集群文件系统主要为了解决:容量、性能、共享

    • 解决容量问题:比如说分布式文件系统,文件的存储其实是分散在各个节点上的,但是对外呈现统一的命名空间,也即目录

    也就是说分布式文件系统将每个节点的可用空间进行虚拟的整合,形成虚拟目录,对外屏蔽细节,对外根据多种策略来判断数据流向,将数据写入实际的空间里面。

    • 解决性能问题。

    同样的,可以使用多个节点来获得高性能。集群文件系统使得每个节点不必连接昂贵的磁盘阵列,就可以获得较高的文件IO性能。

    在分布式文件系统的虚拟整合目录之上,采用了类似条带RAID 0的方式,依据负载均衡策略,将每次IO写入的数据,负载分担到所有节点上,节点获得的性能越多提升就越大。

    但是实际上,集群文件系统实施起来不那么容易,需要经过长时间的调优。

    • 解决共享访问的问题。

    这是集群文件系统要解决的最重要的问题,也就是多节点共同访问相同目录和相同文件时一致性的问题。

    集群文件系统需要考虑多个节点同时读写相同文件,保证所有节点都能读到一致性的数据,并利用分布式锁机制保证允许的性能下,节点之间不会写冲突。

    常用的集群文件系统有PVFS,GFS,DFS,Lustre等

  • 卷管理系统集群

    本机的卷和本机和远程的卷进行镜像等协同操作,形成集群。


    image.png
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,332评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,508评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,812评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,607评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,728评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,919评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,071评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,802评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,256评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,576评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,712评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,389评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,032评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,026评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,473评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,606评论 2 350

推荐阅读更多精彩内容