redis-pipeline批量操作

Redis批量建议

首先强烈建议开始在redis中存储的时候一定要考虑批量操作的情况,存储的数据类型考虑使用set和hmap,至于set和hmap的命令以及java api的使用建议浏览官方文档。

针对于有些较大的工程中已经使用了string或者list,而list中仅仅存储数据库中对应一条的数据的情况,由于此时修改数据存储的方式工程量比较大,容易出现问题,不能保证一次修改完成及正确修改,需要经过多次调试,此种情况建议考虑使用redis的pipeline管道实现高效批量的操作。

Pipeline介绍

Redis 管道是客户端将多个命令打包一次性发送给服务器,不用等到单独命令的执行结果返回;而 Redis 管理需要服务器在执行所有的命令后返回结果,所有命令发送和接收只发生一次,大大减少了多个命令单个在网络的耗时。

管道技术是广泛使用的技术。使如,许多POP3 协议实现已经支持此功能,大大加快了从服务器下载电子邮件的过程。Redis 从很早就开始支持管道技术,不管运行的什么版本,可理解为使用管道技术可以不考虑版本是否支持的情况。

管道技术不仅仅可以减少由于往返时间而导致的延迟成功,还大大提高了在给定Redis 服务中每秒可执行的总操作量。这是因为,在不使用管道技术的情况下,为每个命令提供服务,需要调用系统 read()和write(),意味着从用户态到内核态,在多命令情况下,频繁的上下文切换需要消耗巨大的系统性能。使用管道技术,通常调用一次read()可以读取多个命令,并调用一次write()返回多个执行结果。使用管道技术最多可以提高10倍的性能。

Pipeline应用

单机版jedis应用pipeline

单机版的jedis调用pipeline的使用案例,这里和普通的操作进行了对比:

、、、

Jedis jedis = new Jedis("localhost", 6379);

Logger logger = Logger.getLogger("javasoft");

long start = System.currentTimeMillis();

for (int i = 0; i < 10000; i++) {

jedis.set(String.valueOf(i), String.valueOf(i));

}

long end = System.currentTimeMillis();

logger.info("the jedis total time is:" + (end - start));

Pipeline pipe = jedis.pipelined(); // 先创建一个pipeline的链接对象

long start_pipe = System.currentTimeMillis();

for (int i = 0; i < 10000; i++) {

pipe.set(String.valueOf(i), String.valueOf(i));

}

pipe.sync(); // 获取所有的response

long end_pipe = System.currentTimeMillis();

logger.info("the pipe total time is:" + (end_pipe - start_pipe));

、、、

集群版redisTampate应用pipeline

集群版的redis初始化的类为redisCluster,redisCluster不支持使用pipeline,网上有三种解决方案,第一种是通过redisCluster最终获取redis实例,然后进行调用pipeline;第二种方式是调用github上封装的一个redis-exe的;第三种方式也就是目前我们使用的springboot支持的spring-data-redis中的redisTampate;

、、、

long start = System.currentTimeMillis();

for (int i = 0; i < 10; i++) {

redisTemplate.opsForValue().set("gcc_test_normal"+String.valueOf(i), String.valueOf(i));

}

long end = System.currentTimeMillis();

logger.info("the jedis total time is:" + (end - start));

     long start_pipe = System.currentTimeMillis();

List<Object> list = redisTemplate.executePipelined(new SessionCallback<Object>() {

@Override

public <K, V> Object execute(RedisOperations<K, V> operations) throws DataAccessException {

for (int i = 0; i < 10; i++) {

redisTemplate.opsForValue().set("gcc_test_pipeline"+String.valueOf(i), String.valueOf(i));

}

return null;

}

});

long end_pipe = System.currentTimeMillis();

logger.info("the pipe total time is:" + (end_pipe - start_pipe));

、、、

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,657评论 6 505
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,889评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,057评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,509评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,562评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,443评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,251评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,129评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,561评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,779评论 3 335
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,902评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,621评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,220评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,838评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,971评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,025评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,843评论 2 354