2019-11-30 双11 黑五 网一

风险来源:

1.目前ESearch日常总日平均QPS接近1000(搜索接口QPS800,  价格接口QPS200),根据运维流量估计,大促顶峰流量是平常的2-->6倍,也就是QPS接近2000-->6000。

如果我们取10倍峰值流量来作为我们的最大值的话,QPS也就是8000。

2.价格接口

对于QPS最大可以支撑8000,对于目前200*10 = 2000QPS大促总QPS是可以满足的。

3.搜索接口

场景                          QPS                            风险预估

日常总QPS              约800                            低

大促总QPS              约2400-->4800                中

预估最大峰值QPS      约8000                          高

3.ES已有机器集群

                机器台数                          支撑QPS

集群1        5(32核128G)              目前search Rate 1500 左右, 能支撑的最大Search Rate 5500左右

集群2        5(32核128G)              目前search Rate 1500 左右, 能支撑的最大Search Rate 5500左右

集群3        3(32核64G)                目前search Rate 200 左右, 能支撑的最大Search Rate 3000左右

从以上情况可知,ES集群这边能支撑的最大QPS大概在现在的4倍左右也就是3200

基于这种情况,我们预计需要一个备用ES集群,需要5台机器(32核128G)

集群4      5(32核128G)              可支撑的最大Search Rate 5500左右

4.ESearch应用模块

esearch-->search 扩一台,备一台。

esearch-->restapi 备一台

新增两台机器(32核64G)

5.Redis集群容量

ES聚合查询需要放在缓存中,对缓存的容量有一定的要求,目前使用了12G内存,总容量是36G,按照3-->6倍的量来预估的话,需要36G-->72G内存,扩容redis集群容量

双11 黑五 复盘

一.搜索技术团队前期准备

1.启动大会:制定目标,确定负责人。

2.梳理对外服务,整理已有服务契约,服务瓶颈点

获取业务方根据本年行情设定的访问量是多大。

来评估,我们搜索目前qps支撑量是多少?基于历史经历,往年大促是日常的几倍

来决定今年的流量。

然后基于流量来评估是否需要扩充机器,如果需要,则联系运维,去购买机器。

如果不需要,则也需要根据实际情况,来对关键服务来准备几台备用服务机器。

3.监控项:帮助研发更好的了解我们服务状态,更及时的处理问题。

3.1 机器性能状态:zabix 小米监控,监控机器各项性能指标,网络,cpu,磁盘等。

3.2 nginx流量路径监控 :sentinal 可提供流控

3.3 重要服务接口调用频率:SOA链路追踪和监控。

3.4 ES集群性能指标: kibana 这块目前已经提供对应集群JVM和对应索引服务状态的展示数据。

3.5 运维Kibana:可以监控Nginx访问情况,采集访问日志。

3.6 分布式缓存中间件redis:监控空间,根据业务内容提前进行扩容,设置好的缓存策略。

3.7 canal binlog同步组件:prometheus+grafana监控组件 这个监控组件可以监控binlog同步状态,DB运行状态。

这部分,最好分配给团队对应童鞋进行监控,每个人分担一部分监控任务,定时巡检。

4.梳理自身业务,了解自身业务瓶颈点,更好的为大促做准备,大促趋近保守策略。

4.1 慢sql 提前梳理总结,提前清理。

4.2 依赖服务梳理

4.3 消息中间件 消息堆积 kafka

4.4 缓存击穿mysql压力大

4.5 redis 哨兵

4.6 关键服务熔断降级限流

5.压测

5.1 测试环境进行压力测试,整个服务链路压测计划。使用jmeter进行。制定压测方案。

5.2 如果可以的话,可以针对生产环境进行一波压力测试,逐步提升阈值,这样能够发现一些在测试环境发现不了的问题。

6.预演

6.1 对于既定的应急方案,我们需要提前做一遍,看看能不能达到既定的期望,否则,等到大促,就来不及了。

7.封板计划

7.1 接受到的需求与项目,在既定的时间拿到这个需求点的时候,就需要考虑业务方期望时间是否符合,避免在大促期间进行发版。

如果紧急bug需要发版,我们需要划清楚架构逻辑,回滚计划,再谨慎执行上线计划,验证,监控。

谨慎!!!

8.过程数据统计

我们需要统计本次部门本次大促期间对应的数据,作为后面同事评估来源。

二.大促进行时

1.值班人员安排

2.定时巡检任务

3.应急预案

三.大促结束时

1.进行关键问题的复盘

2.进行数据统计

四.思考

1.工作在平时,检验在大促

我们应该做好我们产品,做好设计,做好服务契约,做好业务架构。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,923评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,154评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,775评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,960评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,976评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,972评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,893评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,709评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,159评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,400评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,552评论 1 346
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,265评论 5 341
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,876评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,528评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,701评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,552评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,451评论 2 352

推荐阅读更多精彩内容