Redis 阻塞原因

Redis 是典型的单线程架构,所有的读写操作都是在一条主线程中完成的。当Redis用于高并发场景时,这条线程就变的极其重要。如果它出现阻塞,就会对应用带来致命的问题。当 Redis 出现阻塞时,可以从以下方面着手分析。

内在原因

当出现阻塞时,应该首先排查是否Redis 自身原因导致。其自身可能导致阻塞的原因有

API或数据结构使用不合理

Redis中的 API或数据结构使用不当时,就会出现慢查询,从而会导致,Redis处理相对较慢。
1 发现慢查询
通过命令 slowlog get {n} 可以获取最近的 n 条慢查询命令。当发现慢查询后,可以通过如下方式进行调整

  1. 修改为低算法度的命令,如 getall 改为 hmget等,禁用 keyssort 等。
  2. 调整大对象:缩减大对象数据或把大对象拆分为多个小对象,防止一次命令操作过多数据

2 发现大对象
通过命令 redis-cli -h {ip} -p {port} --bigkeys 查找大对象。

CPU饱和

单线程的Redis处理命令时只能使用一个CPU,CPU饱和是指Redis把单核 CPU 使用率达到接近 100% 。可以使用 top 命令找出 对应的 Redis 进程。然后,通过 使用 redis-cli -h {ip} -p {port} --stat 获取当前 Redis 的使用情况。也可以通过 info commandstats 统计信息分析出命令不合理开心时间。

持久化相关的阻塞

引起主线程阻塞的持久化操作有

1 fork 阻塞

RedisRDBAOF 重写是,会通过 fork 操作创建共享内存的子进程,如果 fork 操作本身比较耗时,就会导致 主线程阻塞。
可以通过 命令 info stats 获取 latest_fork_usec 指标,其表示 Redis 最近一次 fork 操作耗时。

2 AOF 刷盘阻塞

当开启 AOF 持久化功能时,一般是采用一秒刷盘一次的方式,当硬盘压力过大时,刷盘操作就会等待,直到写完。可以通过命令info persistence 统计中的aof_delayed_fsync指标分析。

3 HugePage 写操作阻塞

由于子进程在重新期间是采用的 写时复制 来降低内存开销,如果对开启了 Transparent HugePages 的操作系统,每次写命令引起的复制内存页将会很大,会拖慢写操作的执行时间,导致大量的写操作慢查询。

外在原因

如果排查 Redis 内因引起的阻塞原因后,还是没有定位到问题,就需要排查一下外因了。

CPU竞争

  • 进程竞争RedisCPU 密集型应用,最好不要跟其他 CPU 密集型服务部署在一起。
  • 绑定CPU:有时为了减少CPU频繁上下文切换,把 Redis 绑定到 CPU 上。此种情况当 进行 RDB 或 AOF 重写时,就会导致 CPU 使用率飙高。

内存交换

内存交换对于Redis 来说是非常致命的,Redis 保证高性能的一个重要前提是所有的数据在内存中。如果操作系统把 Redis 使用的内存数据置换到硬盘中,由于内存和硬盘的读写速度相差几个数据量级,从而会导致Redis 的性能急剧下降。 可以通过如下方式检查是否存在内存交换:

  1. 查询 Redis 进程号
 redis-cli -p {port} info server | grep process_id
  1. 根据进程号查询内存交换信息
 cat /proc/{process_id}/smaps | grep Swap

防止内存交换方法

  • 保证机器可用内存充足
  • 确保所有 Redis 实例设置最大可用内存
  • 降低系统内存使用 swap 优先级。

网络问题

网络问题经常是引起 Redis 阻塞的问题点。常见的网络问主要有:

连接拒绝

  • 网络闪断:一般发生在网络割接或带宽耗尽的情况,这种情况比较难识别
  • Redis 连接拒绝:连接数 超过了 maxclients 参数控制的最大允许连接数
  • 连接溢出:超过Linux 操作系统现在最大文件数控制 或者 tcp-backlog 超过最大数。

网络延迟

此种方式主要是 客户端到 Redis 服务器之间的网络环境问题。

网卡软中断

网卡中断是指由于单个网卡队列只能使用一个 CPU,高并发下网卡数据交换都集中在同一个 CPU,导致无法充分利用多核 CPU的情况。网卡软中断瓶颈一般出现在网络高流量吞吐的场景。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,772评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,458评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,610评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,640评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,657评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,590评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,962评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,631评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,870评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,611评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,704评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,386评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,969评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,944评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,179评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,742评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,440评论 2 342

推荐阅读更多精彩内容