支持微服务架构的流数据处理

微服务是指将大型系统的功能分割成通常具有单一目的的简单服务,从而使小型团队可以轻松地构建和维护这些服务。即使是超大型组织,也可以用这种设计实现敏捷。若要使整个系统正常工作,各服务之间因通信而产生的链接必须是轻量级的。微服务的目标是给予每个团队一项工作,并授以完成工作的方法,然后就放手。

之前说过消息传输系统一方面将生产者和消费者解耦,另一方面又有足够高的吞吐量,并且能够满足像Flink这样的高性能流处理器。这种系统非常适合用于构建微服务。就链接微服务而言,流数据是相对较新的模式,但是新的模式下也有很多好处:

使用数据流作为中心数据源:流处理架构的核心是使各种应用程序互连在一起的消息队列。FLink从消息队列中订阅数据并加以处理。处理后的数据可以流向另一个消息队列。这样一来,其他应用程序都可以共享流数据。另外在一些情况下,处理后的数据也会被存放在本地数据库。

使用流处理架构来做欺诈检测:基于流处理的微服务架构有着强大的灵活性,特别是当同一份数据被用于不同的场景时,其灵活性更为明显。以信用卡服务提供商的欺诈检测项目为例。项目的目标是尽可能快地识别可疑的刷卡行为,从而阻止盗刷,并将损失降到最低。例如,欺诈检测器可以将刷卡速度作为评判依据:在很短时间内,发生在跨度很大的不同地点,这样的连续交易合理吗?事实上,真正的欺诈检测会使用几十个(甚至几百个)特征作为评判,但是我们仅仅通过分析刷卡速度这一个特征就可以理解许多问题。

传统的欺诈检测模型将包含每张信用卡最后一次刷卡地点的文件直接存储在数据库中。但在这样的集中式数据库设计中,其他消费者并不能轻易使用刷卡行为的数据。因为访问数据库可能会影响欺诈检测系统的正常工作;在没有经过认真仔细审查之前,其他消费者绝不会被授权更改数据库。这将导致整个流程变慢,因为必须仔细地执行各种检查,以避免核心的业务功能收到破坏和影响。与传统相比,流处理架构下将欺诈检测器的输出发送给外部的消息队列,再由Flink更新数据库,而不是直接将输出发送给数据库,这使得刷卡行为的数据可以通过消息队列被其他服务使用,例如刷卡行为分析器。上一次刷卡行为的数据被存储在本地数据库中,不会被其他服务访问。这样的设计避免了因为增加新的服务而带来的过载风险。

基于流处理的微服务架构也带来了灵活性。假设开发团队正试图改进欺诈检测模型并加以评估。刷卡行为产生的消息流可以被新模型采用,而完全不影响已有的检测器。新增加一个数据消费者的开销几乎可以忽略不计,同时只要合适,数据的历史信息可以保存成任何一种格式,并且使用任意的数据库服务。此外,如果刷卡行为队列中的消息被设计成业务级别的时间,而不是数据库表格的更新,那么消息的形式和内容都会非常稳定。若一定要改,向前兼容可以避免更改已有的应用程序。

流处理架构通过一个合适的消息传输系统和一个多用途、高性能的流处理器,能支持各种应用程序使用共享数据源,即消息流。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,125评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,293评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,054评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,077评论 1 291
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,096评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,062评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,988评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,817评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,266评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,486评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,646评论 1 347
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,375评论 5 342
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,974评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,621评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,796评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,642评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,538评论 2 352

推荐阅读更多精彩内容

  • 摘要:本文中,我们将进一步理解微服务架构的核心要点和实现原理,为读者的实践提供微服务的设计模式,以期让微服务在读者...
    Java架构师Carl阅读 5,773评论 0 20
  • 如果有一天,我们都将老去,是否会回首时黯然神伤,悲哀那逝去的岁月?我们无从把握青春的梦想,已经默默消散,连回忆...
    c661bf31da87阅读 345评论 0 0
  • 今天早上起床后浇了浇花,然后准备早饭,快六点半了就叫儿子起床,儿子洗漱好了饭也做好了,我俩一起吃了早饭,然...
    三一班李文昊阅读 148评论 0 1
  • CristPenn阅读 517评论 0 1
  • 独舞很美,美的清寒。 那一刻,似乎世界是自己的,舞台没了往日的界限分明,我是王者,所以我站在这里。 独奏很妙,妙的...
    03520fa3b4cd阅读 461评论 0 2