17 | 消息队列:秒杀时如何处理每秒上万次的下单请求?

从开始到现在我们了解了高并发系统设计的三个目标:性能,可用性,可扩展性。而在提升系统性能让方面我们一直关注的是系统的查询性能。究其原因在于我们遇到的大部分场景都是读多写少,尤其是在一个系统的初级阶段。

但随着业务发展,你可能会遇到一些存在高并发写请求的场景,其中秒杀请购是最典型的场景。假设你的商城策划了一起秒杀活动,那么在秒杀即将开始时,后台会显示用户正在疯狂的刷新app或者浏览器保证自己能够尽量早些看到商品。

这时你面对的依旧是读请求过高,那么该如何应对?

因为用户查询的是少量的商品数据,属于查询的热点数据,你可以采用缓存的策略将请求尽量挡在上层的缓存中,能被静态化的数据尽量做到静态化,这样就可以用命中cdn节点缓存减少web服务器的查询量和带宽负担。web服务器比如nginx可以直接访问分布式缓存节点,从而避免请求到达Tomcat等业务服务器。

当然,你可以加上一些限流的策略,比如段时间内来自某一用户、某一IP或者某一台设备的重复请求做丢弃处理。

通过这几种方式,请求就可以尽量挡在数据库之外了。

秒杀活动开始的时候,用户瞬间向电商系统请求生成订单,扣减库存,用户的这些写操作都是不经过缓存直达DB的,1s之内,有1w个数据库连接同时到达,系统 的DB濒临崩溃。

如何理解消息队列?

在一些组件中你会见到队列的影子:

  • 在Java线程池中我们会使用一个队列来暂时存储提交的任务,等待有空闲的线程处理这些任务;
  • 操作系统中,中断的下半部分也会使用工作队列来实现延后执行;
  • 在实现一个RPC框架时,也会将从网络上接收到的请求写入到队列里,在启动若干个工作线程来处理。

如何用消息队列解决秒杀场景下的问题?

削去秒杀场景下的峰值写流量
秒杀场景下高并发的写请求不是持续的,也不是经常发生的,只有在活动开始后几秒或者十几秒才存在,为了应对这十几秒的瞬间写高峰花费高额成本扩容数据库之后再缩容是得不偿失的。
所以思路是:将秒杀请求暂存在消息队列中,然后业务服务器会响应用户“秒杀结果正在计算中”,释放了系统资源后再处理其他用户的请求。

我们会在后台启动若干个队列处理程序消费消息队列中的消息,再执行校验库存、下单等逻辑。当库存被消耗完后,消息队列中堆积的请求就可以被丢弃了。


image.png

这就是消息队列在秒杀系统中最主要的作用:削峰填谷,虽说堆积会造成请求被短暂延迟处理,但是只要我们时刻监控消息队列中的堆积长度,在堆积量超过一定量时,增加队列处理机数量来提升消息的处理能力就好。

这里需要注意,所说的是“短暂的延迟”,如果长时间没有给用户公示秒杀结果,那么就会引起用户的怀疑。所以在使用消息队列在应对流量峰值时,需要对队列的处理时间、前端写入量的大小、数据库处理能力做好评估,然后根据不同量级来决定部署多少队列处理程序。

通过异步处理简化秒杀请求中的业务流程

整个购买流程会有主要的业务逻辑,也会有次要的业务逻辑:比如说,主要的流程是生成订单、扣减库存;次要流程可能是在下单购买成功后会给用户发放优惠券,增加用户积分等等。

假设处理购买请求需要500ms,发放优惠券是50ms,增加用户积分也是50ms,那么我们将这两个操作放在另外一个队列处理机中执行,那么整个流程就缩短到了400ms,处理1000件商品的时间就变成了400s。。如果我们希望能在50s之内看到秒杀结果的话,只需要部署8个队列程序就好了。

经过将一些业务流程异步处理之后,我们的秒杀系统部署结构也会有所改变:


image.png

解耦实现秒杀系统模块之间松耦合

除了异步处理和削峰填谷之外,消息队列在秒杀系统中起到的另外一个作用是解耦合。

比如数据团队徐亚在秒杀活动之后想要统计活动的数据,借此来分析活动商品的受欢迎程度,购买者人群的特点等指标,我们需要将大量的数据发送给数据团队,那么要怎么做呢?

一个思路是:使用HTTP或者RPC方式来同步地调用,也就是数据团队这边提供一个接口,我们实时的将秒杀数据推送给他,但是这样调用会有两个问题:

  • 整体系统的耦合性比较强,当数据团队的接口发生故障时,会影响到秒杀系统的可用性。
  • 当数据系统需要新的字段,就要变更接口的参数,那么秒杀系统也要随着一起变更。

这时,我们可以考虑使用消息队列减低业务系和数据系统直接的耦合度。
秒杀系统产生一条购买数据后,我们可以先把全部数据发送给消息队列,然后数据团队再订阅这个消息队列的话题,这样它们就可以接收到数据,然后再做过滤和处理了。

秒杀系统在这样解耦合之后,数据系统的故障就不会影响到秒杀系统了,同时当数据系统需要新的字段时,只需要解析消息队列中的消息,拿到需要的数据就好了。

image.png

异步处理、解耦合、削峰填谷是消息队列在秒杀系统设计中起到的主要作用。其中异步处理可以简化业务流程中的步骤,提升系统性能;削峰填谷可以削去到达秒杀系统的峰值流量,让业务逻辑的处理更加缓和;解耦合可以将秒杀系统和数据系统解耦开,这样两个系统的任何变更都不会影响到另一个系统。

如果你的系统想要提升写入性能实现系统的低耦合,想要抵挡高并发的写流量,那么你就可以考虑使用消息队列来完成。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,684评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,143评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,214评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,788评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,796评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,665评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,027评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,679评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,346评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,664评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,766评论 1 331
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,412评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,015评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,974评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,073评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,501评论 2 343

推荐阅读更多精彩内容

  • 消息队列 什么是消息队列(Message Queue,MQ)呢? 首先回忆下生活中在餐馆点餐的场景,当你点完餐之后...
    JunChow520阅读 3,031评论 0 29
  • 目录 ·大型网站软件系统的特点 ·大型网站架构演化发展历程 ·初始阶段的网站架构 ·需求/解决问题 ·架构 ·应用...
    zhyang0918阅读 2,635评论 0 16
  • 以下是消息队列以下的大纲,本文主要介绍消息队列概述,消息队列应用场景和消息中间件示例(电商,日志系统)。 本次分享...
    文档随手记阅读 1,881评论 0 28
  • 一、 消息队列概述 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合、异步消息、流量削锋等问题。实现高性能...
    步积阅读 56,849评论 10 138
  • (图片来自必应) 2017.4.10星期一阴 因为买商铺未果,退定金这件事,我心里实在堵得慌,郁闷在心,内心深处惶...
    annaqueen阅读 339评论 0 0