流量回放原理

流量回放是通过日志采集再处理来获取所需要的数据

日志采集

通过logstash工具从应用容器拉取日志信息,可以根据filter、tags来筛选

数据传输

通过kafka等消息队列将获取的日志数据传输进行下一步处理

数据处理

从消息队列中消费日志数据,通过storm数据处理系统从日志信息中获取到想要的数据,比如从日志中获取接口的req

数据转存

通过hadoop\mysql\hive对处理的数据进行存储,第一轮一般是原始数据,后面可以用mapreduce再次处理,知道得到想要的数据再存储到具体的磁盘中

ELK

elasticsearch+logstash+kibana(前端开源框架)

压测

针对录制的流量进行处理,除敏、渲染、隔离、熔断,得到符合指标的流量,利用这些流量针对接口服务做压测服务,模拟线上请求

全链路压测核心点

1、流量渲染,打上特有的tag

2、日志隔离,压测的日志和生产的日志隔离

3、风险开关,流量瓶颈时设置黑白名单控制流量

4、数据隔离,影子库

全链路压测关注指标

1、用户

2、应用监控,保留现场数据

3、代码层面分析

作者:liyaoyao6342

链接:https://www.jianshu.com/p/e0a9b76c4f95

来源:简书

著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 流量回放是通过日志采集再处理来获取所需要的数据 日志采集 通过logstash工具从应用容器拉取日志信息,可以根据...
    DuffyMagic阅读 11,704评论 0 0
  • TCPCopy使用简介 一、 TCPCopy使用简介 1 概述 tcpcopy是一种请求复制(所有基于tcp的pa...
    Alex笔记阅读 9,346评论 0 1
  • 背景 互联网应用提供服务,与用户的操作产生交互,其行为产生的流量蕴含着许多可挖掘的价值,如性能分析、数据对比、行为...
    orionc阅读 7,005评论 0 1
  • 使用流量回放的背景: 而随着业务增长,每次发布需要覆盖的Case越来越多,这时对所有Case都进行回归显然不太现实...
    李腾momoko阅读 12,464评论 0 3
  • 我是黑夜里大雨纷飞的人啊 1 “又到一年六月,有人笑有人哭,有人欢乐有人忧愁,有人惊喜有人失落,有的觉得收获满满有...
    陌忘宇阅读 12,721评论 28 53