3.3、Pipeline

Pipeline

  1. Pipeline

    Redis客户端执行一条命令分为如下四个过程:

    1)发送命令
    2)命令排序
    3)命令执行
    4)返回结果

    其中1)+4)称为Round Trip Time(RTT,往返时间)。

    Redis提供了批量操作命令(例如mget、mset等),有效地节约RTT。但大部分
    命令是不支持批量操作的,例如要执行n次hgetall命令,并没有mhgetall命令
    存在,需要消耗n次RTT。Redis的客户端和服务端可能部署在不同的机器上。例
    如客户端在北京,Redis服务端在上海,两地直线距离约为1300公里,那么1次
    RTT时间=13002/(3000002/3)=13毫秒(光在真空中传输速度为每秒30秒公
    里,这里假设光纤为光速的2/3),那么客户端在1秒内大约只能执行80次左右
    的命令,这个和Redis的高并发高吞吐特性背道而驰。

    Pipeline(流水线)机制能改善上面这类问题,它能将一组Redis命令进行组
    装,通过一次RTT传输给Redis,再将这组Redis命令的执行结果按顺序返回给客
    户端。

    Pipeline并不是什么新的技术活机制,很多技术上都使用过。而且RTT在不同网
    络环境下会有不同,例如同机房和同机器会比较快,跨机房跨地区会比较慢。
    Redis命令真正执行的时间通常在微秒级别,所以才会有Redis性能瓶颈是网络
    这样的说法。

    redis-cli的--pipe选项实际上就是使用Pipeline机制,例如下面操作将set
    hello world和incr counter两条命令组装:

    echo -en '*3\r\n$3\r\nSET\r\n5\r\nhello\r\n$5\r\nworld\r\n*2\r\n$4\r\nincr\r\n$7\r\ncounter\r\n' | redis-cli --pipe
    

    但大部分开发人员更倾向于使用高级语言客户端中的Pipeline,目前大部分
    Redis客户端都支持Pipeline

  2. 性能测试

    网络 延迟 非Pipeline Pipeline
    本机 0.17ms 573ms 134ms
    内网服务器 0.41ms 1610ms 240ms
    异地机房 7ms 78499ms 1104ms

    上表给出了在不同网络环境下非Pipeline和Pipeline执行10000次set操作的
    效果,可以得到如下两个结论:

    • Pipeline执行速度一般比逐条执行要快。
    • 客户端和服务端的网络延时越大,Pipeline的效果越明显。
  3. 原生批量命令与Pipeline对比

    可以使用Pipeline模拟出批量操作的效果,但是在使用时要注意它与原生批量
    命令的区别,具体包含以下几点:

    • 原生批量命令是原子的,Pipeline是非原子的。
    • 原生批量命令是一个命令对应多个key,Pipeline支持多个命令。
    • 原生批量命令是Redis服务端支持实现的,而Pipeline需要服务端和客户端
      的共同实现。
  4. 最佳实践

    Pipeline虽然好用,但是每次Pipeline组装的命令个数不能没有节制,否则一
    次组装Pipeline数据量过大,一方面会增加客户端的等待时间,另一方面会造
    成一定的网络阻塞,可以将一次包含大量命令的Pipeline拆分成多次较小的
    Pipeline来完成。

    Pipeline只能操作一个Redis实例,但是即使在分布式Redis场景中,也可以作
    为批量操作的重要优化手段。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,843评论 6 502
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,538评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,187评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,264评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,289评论 6 390
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,231评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,116评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,945评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,367评论 1 313
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,581评论 2 333
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,754评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,458评论 5 344
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,068评论 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,692评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,842评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,797评论 2 369
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,654评论 2 354

推荐阅读更多精彩内容

  • 原帖地址:https://www.jianshu.com/p/2f14bc570563 redis概述 Redis...
    onlyHalfSoul阅读 2,168评论 0 28
  • ·慢查询分析:通过慢查询分析,找到有问题的命令进行优化。·Redis Shell:功能强大的Redis Shell...
    何何与呵呵呵阅读 793评论 0 1
  • 安全性 设置客户端连接后进行任何其他指令前需要使用的密码。 警告:因为redis 速度相当快,所以在一台比较好的服...
    OzanShareing阅读 1,727评论 1 7
  • pipeline 管道 一般情况下,Redis Client端发出一个请求后,通常会阻塞并等待Redis服务端处理...
    剑客kb阅读 5,377评论 0 0
  • Pipeline概念 Redis客户端执行一条命令分为如下四个过程: 发送命令 命令排队 命令执行 返回结果 其中...
    FX_SKY阅读 1,384评论 0 3