贝专家分享|金融科技公司常用存储引擎演进

今天贝专家给大家分享的是金融科技公司常用存储引擎的演进。


第一阶段:关系数据库


说到关系型数据库大家可能会先想到电商系统或者交易系统,所有的订单信息都保存在关系数据库里面。数据库有很多种类型,第一种是MySQL;第二种是SQL SERVER,本身是微软的体系;第三种是PostgreSQL,是伯克利大学的开发的,被美国气象局大规模使用。


现在具体谈谈MySQL和PostgreSQL两个系统。PostgreSQL跟MySQL的区别是一个开放,一个封闭,一个像ios,一个像andoroid;PostgreSQL是开源开放的平台,任何人都可以在里面写插件,比如数据库函数,可以定制分词函数,或者可以自己定义的索引方式,比如全文索引(GIN),空间索引(RTREE)。



PostgreSQL使用的是进程模型,进程模型的虚拟地址内存是独立的,接收到一些中断,那么只会影响当前的进程,而不会影响其他进程。但是线程模型不一样,一个进程内部的多线程是共享内存的,任何线程中断,比如I/O中断,都会打断进程中的其他线程。


因为PostgreSQL是一个开放的系统,里面会有很多插件。所以写插件时,如果选用了线程模型,写的插件所在的线程如果出现线程中断,就会影响其它查询线程,导致服务不稳定。阿里云的后台系统称为飞天系统,最初设计的时候是基于线程模型的分布式计算系统,线程模型由于调度只用在用户空间内调度而没有内核调度系统的参与,内存共享,消耗资源更少,能提高效率。


淘宝里面所有Hadoop大数据的处理全部迁移到飞天系统,系统里有很多计算任务,当计算任务写的有问题,运行的时候发生中断,会影响其他任务。这违背了设计的开放性原则,作为计算平台,要对任何应用方容错。



以十一贝为例,我们选用数据库的时候,主要考虑了两方面:1. 团队的熟悉程度;2. 是否需要引入更多系统,PG随着应用服务的增加,需要要在数据库中间搭乘连接层,系统架构会更复杂,而我们也没有定制开发的需求,所以最后选用了MySQL。



第二阶段:全文搜索引擎 ES


数据库索引是为了提升查询速度。MySQL在查询时,只能用到一个索引。而我们的应用场景需要多字段检索。比如消费者又有很多属性,比如年龄、地域、性别、职业,我们需要从几亿消费者中根据上面属性进行快速检索。


这时候使用MySQ就有两个问题:1. Mysql的可扩展性,需要单独分表分裤,单表不能超过500万。如果超过的话,要分表分库。2. 多字段索引不能使用多个索引(搜索条件不固定)


所以我们引入了elasticsearch,来解决多字段检索的应用场景。



第三阶段:Hbase


十一贝是一家为消费者提供风险决策的公司,我们要了解要去分析消费者画像。需要更新上亿行数据,上千列特征:比如要分析某个人是不是高净值,一段时间后又要分析这个人是不是早起晚归的类型,这时模型里面要加很多类型,消费者的信息和访问轨迹也会实时更新。


我们希望找一个存储引擎能支持上亿行的数据,支持列式存储高效的空间存储结构的引擎,我们自然想到Hbase,Hbase列式存储,数据写采用追加模式,写吞吐量近乎磁盘写。Hbase的检索使用了很多机制,比如使用了BloomFilter, 来解决100%召回率,低错误率的场景。我们采用了Hbase为存储引擎的实时计算框架,实现了消费者特征分钟级更新。



关注:小贝保险

选保险,不焦虑!


©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,185评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,445评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,684评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,564评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,681评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,874评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,025评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,761评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,217评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,545评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,694评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,351评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,988评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,778评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,007评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,427评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,580评论 2 349

推荐阅读更多精彩内容