redis 慢查询

核心知识点:
1.什么是慢查询?
2.客户端执行一条命令的步骤?
3.阈值和慢查询日志的设置?
4.慢查询日志的操作命令:slowlog get、slowlog len、slowlog reset。
5.注意事项:
  a.没有慢查询不代表客户请求不会超时,还有排队和网络传输的时间
  b.当客户端请求超时,可查看对应时间点是否有慢查询而导致的级联阻塞
  c.可以定期将慢查询日志持久化,这样可以避免由于慢查询较多而导致的数据的丢失情况

许多存储系统(例如MySQL)提供慢查询日志帮助开发和运维人员定位系统存在的慢操作。
所谓慢查询日志就是系统在命令执行前后计算每条命令的执行时间,当超过预设阈值,
就将这条命令的相关信息(例如:发生时间、耗时、命令的详细信息)记录下来,Redis也提供了类似的功能。

Redis客户端执行一条命令分为4个部分:


命令的生命周期

1)发送命令
2)排队
3)执行命令
4)返回结果
注意:慢查询只会记录执行命令的时间,没有慢查询并不代表客户端没有超时问题。

1.慢查询的两个配置参数
对于慢查询功能,需要明确两件事:
第一、预设阈值怎么设置?
第二、慢查询记录存放在哪里?

Redis提供了slowlog-log-slower-thanslowlog-max-len配置来解决这两个问题。

从字面意思就可以看出,<b>slowlog-log-slower-than就是那个预设阈值,它的单位是微妙(1秒=1000毫秒=1000000微秒),默认值10000</b>。
假如执行了一条“很慢”的命令(例如keys *),<b>如果它的执行时间超过了10000微秒,那么它将被记录在慢查询日志中</b>。
如果<b>slowlog-log-slower-than=0,那么系统会记录所有的命令</b>;如果<b>slowlog-log-slower-than<0,那么对任何命令都不会记录</b>。

从字面意思看,<b>slowlog-max-len只能说明慢查询日志最多存储多少条</b>,并没有说明存放在那里?
实际上Redis使用了一个列表来存储慢查询日志,<b>slowlog-max-log就是列表的最大长度</b>。
一个新的命令满足慢查询条件时被插入到这个列表中,当慢查询日志列表已经处于最大长度时,列表中最早插入的那条记录将被移除,
例如,slowlog-max-log设置为5,当有第6条慢查询插入的话,那么队头的第一条数据就会出来列,第6条慢查询就会入列。

config set slowlog-log-slower-than 20000
config set slowlog-max-len 1000
config rewrite

python写法:

# 当命令执行时间高于20000微秒时,就把该命令写入日志汇总
client.config_set('slowlog-log-slower-than', 20000)
# log中最多保存1000条命令
client.config_set('slowlog-max-len', 1000)
# 写入配置文件
client.config_rewrite()

虽然慢查询日志是存放在Redis内存列表中,但是Redis并没有暴露这个列表的键,
而是通过一组命令来实现对慢查询日志的访问和管理,下面介绍这几个命令:
(1)获取慢查询日志
命令:slowlog get [n]

127.0.0.1:6379> slowlog get
1) 1) (integer) 1
   2) (integer) 1513709400
   3) (integer) 11
   4) 1) "slowlog"
      2) "get"
2) 1) (integer) 0
   2) (integer) 1513709398
   3) (integer) 4
   4) 1) "config"
      2) "set"
      3) "slowlog-log-slower-than"
      4) "2"

可以看到每个慢查询日志有4个属性组成,分别是慢查询日志的识别id、发生时间戳、命令耗时、执行命令和参数。


python写法:

# 得到所有的日志
client.slowlog_get()
# 或者
# 只返回num条日志
client.slowlog_get(num=2)

输出结果是一个列表,列表中的每一个元素都是一个字典:
duration是命令执行时间,command是执行的命令。

[
{'id': 14, 'start_time': 1539596678, 'duration': 330, 'command': b'KEYS *'}, 
{'id': 13, 'start_time': 1539596678, 'duration': 8, 'command': b'CONFIG SET slowlog-max-len 5'}
]

(2)获取慢查询日志列表当前的长度
命令:slowlog len

127.0.0.1:6379> slowlog len
(integer) 2

python写法:

# 返回日志的长度
client.slowlog_len()

(3)慢查询日志重置
命令:slowlog reset
实际是对慢查询日志列表做清理操作。

127.0.0.1:6379> slowlog len
(integer) 6
127.0.0.1:6379> slowlog reset
OK
127.0.0.1:6379> slowlog len
(integer) 1
#为什么还有1个,当阈值设的比较小,slowlog reset就属于慢查询。

python写法:

client.slowlog_reset()

2.注意事项
慢查询功能可以有效的帮助我们找到Redis可能存在的瓶颈,但在实际使用过程中要注意以下几点:
(1)slowlog-max-len配置建议:线上建议调大慢查询列表,记录慢查询时Redis会对长命令做截断操作,并不会占用大量内存。增大慢查询列表可以减缓慢查询被剔除的可能。
(2)slowlog-log-slower-than配置建议:默认值超过10毫秒判定为慢查询,需要根据Redis并发量调整该值。由于Redis采用单线程响应命令,对于高流量的场景,如果命令执行时间在1毫秒以上,那么Redis最多可以支撑OPS不到1000,因此对于高OPS的场景的Redis建议设置1毫秒。
(3)慢查询只记录命令执行时间,并不包括命令排队和网络传输时间。因此客户端执行命令的时间会大于命令实际执行的时间。因为命令执行排队机制,慢查询会导致其他命令级联阻塞,因此当客户端出现请求超时,需要检查该时间点是否有对应的慢查询,从而分析出是否为慢查询导致的命令级联阻塞。
(4)由于慢查询日志是一个先进先出的队列,也就是说如果慢查询比较多的情况下,可能会丢失部分慢查询命令,为了防止这种情况发生,可以定期执行slowlog get命令将慢查询日志持久化到其他存储中(例如,MySQL),然后可以制作出可视化界面进行查询。

参考:

https://www.cnblogs.com/yangmingxianshen/p/8070594.html
https://blog.csdn.net/kimylrong/article/details/78134225
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,293评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,604评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,958评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,729评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,719评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,630评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,000评论 3 397
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,665评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,909评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,646评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,726评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,400评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,986评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,959评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,996评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,481评论 2 342

推荐阅读更多精彩内容

  • Redis 客户端执行命令分四个部分: 发送命令 命令排队 命令执行 返回结果 Redis 的慢查询只统计步奏3)...
    非典型程序员阅读 2,084评论 0 2
  • 通过这这篇文章你会知道如下内容: 慢查询是什么?如何配置? 如何多次间隔的执行命令?如何测试redis客户端到网络...
    打伞的Fish阅读 417评论 0 2
  • 一、慢查询说明 慢查询日志, 是系统记录那些超过指定查询时间的日志,查询时间指的是单个命令占用CPU处理时间。不包...
    FantJ阅读 608评论 0 3
  • 前言 慢查询,大家可能已经接触到了MySQL的慢查询。我们配置一个时间,如果查询时间超过了我们设置的时间,我们就认...
    番薯IT阅读 3,292评论 0 1
  • 今天是母亲的生日,特此与书友们分享一篇小故事,以此纪念。 很久以前,一个小伙子特别信佛,放弃了与之相依为命的母亲,...
    孤独伪文阅读 381评论 0 0