Vertica-MPP解决方案

在数据仓库环境中,OLAP数据库(主要数据库)的选型是过去一直在一边使用和一边探索的过程。笔者从事通信行业数据仓库已有近十年工作经验,这类数据库选型和使用从Teradata到DB2,再从DB2到Vertica,期间老板决策说要用hadoop生态组件替代Teradata和DB2(成本因素和集团的去IOE决策,分公司都在寻求适合自己的替代方案),但项目最后烂尾,不得不再次进行招标,参与竞标的有Vertica、Gbase和Greenplum,最后Vertica竞标胜出(因为笔者参与了整个招标过程,商业的游戏就不多阐述了,不过在后期对于Vertica的使用上来说,整体感知还是不错的),以下对笔者使用的三款分布式数据库简单对比(后续会放出对于Teradata介绍和DB2介绍相关文档

Vertica 9.3 Docs

Teradata:

优点:稳定、周边产品齐全

缺点:成本高、扩展性差、开放性差(基本在网上不大找得到)

DB2:

优点:稳定(基于IBM小机和AIX系统),较开放

缺点:成本高、扩展性差、周边产品不足(资源管控组件能力不足)

Vertica:

优点:成本低、扩展性较好(如不按倍数扩展节点,rebalance巨慢)、开放性好、周边产品齐全(有MC控制台、完整的产品指导手册)

缺点:售后支撑服务一般(大中华地区售后只有5*8服务,要额外购买专家服务),对客户自有人员能力需求高(基本安装部署、扩容、版本升级都由本人完成了,以往Teradata或DB2都是厂商操作完成

一、Vertica的相关介绍

以往用过Teradata和DB2的服务,基本会有人员短期的驻场支撑和周期的数据库巡检,Vertica在这块上如果购买了专家服务是可以约时间短期驻场支撑的,当然成本很高,但没有数据库巡检这项服务,当然成本决定一切,也许也是HP对自身产品的自信。

从以上数据库的演变来看,在大数据解决方案中,市场对于OLAP场景数据库选型在朝着:开放性、低成本、高可用、可扩展(在线)、列式存储、基于x86硬件环境,如果人员能力足考虑使用开源产品,如果对稳定性和保障性需求高可选择商用产品(笔者所处的环境是开源+商用的组合架构)

Vertica数据库是HP的大数据解决方案,基于MPP架构(分布式并行处理架构)的列式存储数据库(原Teradata和DB2均为行式存储数据库,IO瓶颈极大)

后面简要说明下Vertica的独有特性(偷点懒,直接使用之前整理给内部的培训文档)

Vertica的高可用实现(K安全性)

在默认情况下,Vertica采用一主一副两副本的形式存放副本,主副两副本存放在相邻节点上

所以根据RDBMS(关系型数据库)的事务管理ACID,只要不存在相邻节点down掉的情况,仍然能取出完整的数据,数据库仍可以使用,当然在实际生产环境中会比这个架构复杂很多,根据机架信息构建fault group实现,避免机架断电的极端情况出现。

Vertica特有对象:Projection

在其他关系型数据库中,Table提供数据的物理存放,但在Vertica中Table有点类似其他数据库的View,其下还有一层称之为Projection指明表列的数据物理存放,所以依照前面提出来Vertica默认一主一副两副本的存储,在Vertica中创建table会默认生成两个projection。

Vertica数据特性:数据分布

在MPP数据库环境都存在分布键的概念,即选择合适的一个或多个字段进行数据分布,保证数据的均匀分布能有效提升MPP的DML操作性能,在Vertica数据库中如未指定分布键,系统会自动选择前8个非字符串类型字段进行分布,我们需要根据唯一性和访问频率进行合理选择

Projection默认继承Table参数指定

涉及物理存放,字段太多会影响增删改效率

Vertica数据特性:有序存放

在Vertica数据库中创建Table和创建Projection时需要指明排序列,如未指明会默认取表第一列进行ASC即进行正序排序存放数据,我们需要根据访问频率进行合理选择,选择是否合理对后面访问会有很大性能影响

Projection默认继承Table参数指定

涉及物理存放,字段太多会影响增删改效率

Vertica执行计划:Merge Join

通过以上特性能很清楚意识到,在其他数据中Merge Join并不是通常最优的执行计划选择,因为需要进行sort,会耗费大量资源,但在Vertica中就不一样了,因为数据是有序存放,故而通常Merge Join会是最优的选择,当然在一些业务场景中我们不得不使用非序字段关联分析,那么Vertica此时会选择Hash Join,对内存的需求就增大了,所以Vertica的资源池resource pools(类比其他数据库的workload manager)对这内存资源的限制参数会比较丰富。

二、Vertica的尴尬

Vertica的尴尬:并发

Vertica安装部署较为简单,不像其他数据库,安装完软件还需要配置一系列的数据库参数才可有效使用,Vertica几乎不用设置任何参数即可使用,但是这带来的就是对硬件配置指向性较高同时linux操作系统并发控制依赖较高

e.g.:一个事务至少要获取到1C的核心,同时Vertica需要关闭超线程,一般的x86服务器配置在20C-24C已经算很不错了,那么除去预留系统用的,看上去事务并发有效最高只能达到18-22个了。

Vertica的尴尬:存储资源控制

Vertica不像其他数据库,有如DB2的表空间、Teradata的子库空间可直接或间接控制用户对于存储资源的使用限制,而是把总的存储当成一个大池子,任何用户都可以肆无忌惮的使用存储资源,管理员只能通过规范和考核限制用户的行为,但对于数据集市这类场景复杂,用户量巨大的环境,以及一些不太敢得罪的用户,管理员只能督促规范使用,没有成效则只能选择扩容了(这会不会是HP的小心机呢,扩容就有钱赚了,细思极恐),这块据说没有革新的计划。

Vertica的尴尬:无分发的安装部署

Vertica的安装部署和后期的配置修改还是比较简单的(后续考虑关于Vertica Enterprise的安装部署放送出来),但是当节点数较多时问题就产生了:

需要一台一台服务器的安装和配置(无法像cloudera manager这类进行分发部署hadoop相关组件),暂未收到未来有考虑在MC控制台增加这项功能

Vertica的尴尬:非倍数的扩容

Vertica的扩容操作比较简单(续考虑关于Vertica Enterprise的扩容过程放送出来),但存在两类问题:

(1)需要一台台修改服务器配置(如hosts文件修改)

(2)rebalance巨慢(需要进行数据拆分和复制)

在笔者最近一次的集群扩容操作中17节点扩容至26节点,踩到了非倍数的扩容,rebalance几乎持续了一个月的坑(当然rebalance窗口也是十分有限的),后面为加快rebalance,不得不采取DBA重建对象的操作(RENAME ,CREATE ,INSERT ,DROP)

三、Vertica的未来

Vertica的未来:hadoop组件兼容+AI

Vertica近几次版本的更新均提到了对于kafka等开源组件以及机器学习等算法的支撑更加完备。

对接kafka:笔者所在集群环境已部署生产上线通过Vertica微进程消费kafka数据,但这块当前遇到一块难点,对开启安全认证的kafka环境当前Vertica微进程存在访问不到topic(即安全认证失败的问题),当下Vertica专家还未给与解决方案

对于机器学习等,因笔者所处环境并未涉猎还未开展相关探索(当然也是笔者毕业时忘记把大学学的关于数据和算法大部分内容带出来了,有点棘手

Vertica的未来:读写分离(Eon Mode)

关于这块这里就不做过多说明了,后续会有专门章节介绍(笔者对这块最近已做了Vertica+HDFS的部署实施并产生了一份测评报告

Vertica提出这块也是要解决市场对于读写分离的需求以及自身产品并发不足的问题,目前应用主要集中在Amazon S3,但国内很少有用户会使用到亚马逊云服务,据反馈对于基于HDFS的Vertica Eon Mode解决支持已走上日程,最快可能2020年即会发布支撑



最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容