大数据时代,全闪存势不可挡

笔者的朋友,一位金融行业的IT负责人不止一次跟笔者抱怨他们私有云平台的计算性能越来越差,虽然还不至于影响到日常业务的开展,但是像数据分析这类核心的业务已经受到了一定程度的影响,处理数据所消耗的时间越来越长。朋友表示,公司已经对内部服务器进行了换代升级,虽有所改善,但根本问题仍然没有得到解决。那么,问题出在哪儿呢?


通过了解,笔者判断问题的根本出现在老旧的存储系统上。据朋友介绍,在升级服务器的过程中,并未更换存储系统,也从未考虑过存储系统会对计算性能产生影响。在这里还是要推荐下我自己建的大数据学习交流群:199427210,群里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据软件开发相关的),包括我自己整理的一份2018最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴加入。

此类的问题,相信很多企业都曾遇到过。那么,存储系统为何会成为影响数据分析业务的主要瓶颈?企业应该如何对存储系统进行升级改造?接下来,笔者将一一解答。

一、大数据时代,别让存储成为系统瓶颈

在处理系统性能问题的过程中,很多IT技术人员会优先排查CPU、内存等核心配件,往往最容易忽视存储。正是由于这种根深蒂固的思维逻辑,最终导致配件换了一茬又一茬,故障仍然没有得到完善的解决。

大家知道,存储的发展要明显滞后与CPU、内存、网络等产品,大部分IT技术工程师都非常了解这一状况。但是,由于过去大家对存储系统的要求不高,只要满足存储容量和安全可靠即可,因此,在过去很长的时间里,存储厂商都在致力于存储容量的提升,在读写性能的研发方面并没有投入太多的精力。不过,在大数据时代,这一格局被彻底打破了。

大数据时代,数据价值被逐渐放大。借助数据,企业可以快速分析用户需求,洞察市场变化,指导决策并抓住商机,获取利润,高速发展。在这样的时代背景下,存储系统不但要具备更大容量的存储需求,而且还要以更高的性能来应对数据分析和挖掘带来的挑战。为此,传统的机械硬盘显然已经无法满足要求,企业必须尽快部署性能更加强大的全闪存存储系统。

与传统机械硬盘相比,全闪存阵列能够大幅提升企业存储系统的性能。传统机械硬盘的存储系统性能大部分都在200 IOPS左右,顶级全闪存存储系统,像IBM FLashSystem系列全闪存阵列,可以提供500000到1000000 IOPS,这对于传统的磁盘阵列来说是遥不可及。

因此,在大数据时代,即使你的服务器拥有强大的计算性能,如果老旧的存储系统不升级改造,那么IT系统仍然无法满足需求。所以,对于企业来讲,拥抱大数据,必先拥护全闪存存储。

二、全闪存存储的成本太高,并非如此

一些朋友在跟笔者聊天时提到,虽然全闪存的优势非常明显,但高昂的拥有成本,成为影响全闪存普及的主要绊脚石,这也是很多企业将之拒之门外的一个重要原因。

笔者分析认为,如果从每GB的对比成本来看,全闪存的价格确实要比机械硬盘贵很多。但是,如果从整体拥有成本(TCO)来看,全闪存非但不贵,甚至还要便宜一些。主要原因有以下几点。

其一,全闪存的发热量更小,功耗更低。由于取消了机械部件,全闪存相比机械硬盘来讲有着更低的发热量和功耗,能够更好的为企业节省能源开支。千万别小看能源支出,据统计能源消耗已经成为企业主要的成本开支之一,特加是对于数据中心来讲,除了设备本身的功耗外,在散热辅助设备方面的投资也相当惊人。因此,从能耗方面来讲,全闪存有着明显的优势,至少能够比机械硬盘节省一半以上的能源开支。

其二,全闪存更易于扩展,其较小的体积在同样面积内可以部署更多的产品。另外,由于性能方面的优势,能够大幅降低企业的部署时间,加快业务的上线。

其三,由于不存在机械部件,全闪存的可靠性更高。当然,也许会有人说闪存的擦写寿命决定了其不可能取代传统存储,殊不知,目前全闪存阵列大都采用MLC闪存颗粒,并且厂商通过使用软件和更好的写入技术提升了MLC的性能和可靠性,虽然寿命没有机器硬盘的寿命长,但也并没有人们想象的那么夸张,即使在现在,一些专门设计的闪存写入寿命可以达到100万甚至500万,整体寿命在20万年以上。因此,完全没有必要担心全闪存阵列的寿命。

最后,全闪存的价格正在逐步降低。随着技术的发展,全闪存每GB的成本正在不断降低,存储性能将会大幅提升,发热量和占用空间将会进一步减少。

三、全闪存品牌产品众多,怎么选?

对于全闪存品牌与产品推荐,也是很多朋友非常关心的话题。目前,众多存储厂商纷纷推出了旗下的全闪存存储产品,品牌多,产品杂,选择起来确实不是一件容易的事情。

笔者建议,大家在购买全闪存产品时,一是要选择一线品牌的产品,以确保产品品质;二是要结合自身的业务情况,有针对性的选择产品,以获得最佳的性能和最少的投放;三是要重视技术支持和售后服务,以保证在部署和使用过程中得到厂商的大力支持和帮助。

例如IBM,在全闪存领域已经耕耘多年,针对不同的应用场景,推出了一系列的产品解决方案,如针对性能加速解决方案推出的IBM FlashSystem F900,针对虚似化存储解决方案推出的IBM FlashSystem V9000、IBM Storwize V7000F、IBM Storwize V5030F等产品,很好的满足了不同用户的需求。

写在最后:大数据时代,存储已经不再仅仅扮演数据仓库的角色,越来越多的企业已经认识到了存储系统的重要性。目前,全闪存阵列已经普遍应用到金融、制作、交通、医疗等各个领域,并且很多互联网公司也已经开始部署和应用全闪存阵列,这充分说明全闪存阵列已经得到了充分的肯定和认可。可以肯定的说,未来存储发展,全闪存势不可挡。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,907评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,987评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,298评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,586评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,633评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,488评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,275评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,176评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,619评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,819评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,932评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,655评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,265评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,871评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,994评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,095评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,884评论 2 354

推荐阅读更多精彩内容