python redis lua 脚本 实战一个限流或抢红包等业务

知识点

1.lua是什么
2.redis,lua,python(java)三者的关系
3.用lua承载业务逻辑

为何加入一个lua脚本

  • 减少网络开销。可以将多个请求通过脚本的形式一次发送,减少网络时延
  • 原子操作。redis会将整个脚本作为一个整体执行,中间不会被其他命令插入。因此在编写脚本的过程中无需担心会出现竞态条件,无需使用事务。
  • 复用。客户端发送的脚步会永久存在redis中,这样,其他客户端可以复用这一脚本而不需要使用代码完成相同的逻辑。

lua环境安装

本机测试地址在虚拟机centos-30上
安装请参照Redis安装
ps:安装教程为集群模式,本demo单实例的redis即可,参照前面几步,不使用ruby脚本部分。

  • 安装依赖和Lua:
> yum install -y readline
> yum install -y readline-devel
> wget http://www.lua.org/ftp/lua-5.1.1.tar.gz
> tar -zxvf lua-5.1.1.tar.gz -C /usr/local/
> cd /usr/local/lua-5.1.1
> make linux
> make install

  • 验证
> lua
> print("hello world")
> hello world

Redis 调用Lua脚本 三种方式* eval

  • evalsha
  • script load
    eval用来直接执行lua脚本,使用方式如下
EVAL script numkeys key [key ...] arg [arg ...]

> eval "return {KEYS[1],KEYS[2],ARGV[1],ARGV[2]}" 2 key1 key2 first second
1) "key1"
2) "key2"
3) "first"
4) "second"

key代表要操作的rediskey
arg可以传自定义的参数
numkeys用来确定key有几个
script就是你写的lua脚本
lua脚本里面使用KEYS[1]和ARGV[1]来获取传递的key和arg

lua语法详见lua教程

local result=0
    local id= redis.call('get',KEYS[1])
if id then
    result= redis.call('sismember',id,KEYS[2])
end
 
if result==1 then
    redis.call('expire',KEYS[1],ARGV[1])
end
  
return result

方式1

redis-cli  --eval 1.lua 2 user1 user:list 1800

方式2

  redis-cli  eval "$(1.lua)" 2 user1 user:list 1800

方式3

  redis-cli  script load "$(cat 1.lua)"
  redis-cli  evalsha 2cfe726fe60678e8ed4d689a3e98727d1e1e2339 1 test 1
  • 脚本Demo 文件名:redis.lua
redis.call('set','age','18')
local age = redis.call('get','age')
return age;

  • 启动Redis
> /usr/local/redis-3.2.9/src/redis-server /usr/local/redis-3.2.9/redis.conf

  • 运行脚本
    由于在conf中配置了bind ip ,故下面-h指定了host。使用eval命令执行
> /usr/local/redis-3.2.9/src/redis-cli -h 192.168.1.30 -p 6379 --eval /usr/local/luadir/redis.lua
>"18"     #set了age,并返回了value = 18

此时如果用redis-cli连接redis 。keys * 可看到有age 这个key了。

Redis调用带参数Lua脚本

  • 命令格式:
    /redis-cli -h 192.168.1.30 -p 6379 --eval /.lua key1 key2... , value1 value2*
  • 脚本内容:
--获取key1 的值,并赋值给local age
local age = redis.call('get', KEYS[1]);
if age == 18 then
redis.call('set',KEYS[2],ARGV[1])
end

当key1="age"的值为18时,设置key2 ="name" 的value为"mawenxia"

  • 运行脚本
> /usr/local/redis-3.2.9/src/redis-cli -h 192.168.1.30 -p 6379 --eval /usr/local/luadir/redis-arg.lua age name , mawenxia

  • 可看到多了一个key为name,并且内容为"mawenxia"

    [图片上传失败...(image-90eef1-1540882227440)]

python 操作redis lua 脚本

import redis
pool = redis.ConnectionPool(host="localhost", port=6379, db=0)
r = redis.Redis(connection_pool=pool)

lua_2 = """
   local ret = redis.call("get", KEYS[1])
   return ret
"""
script_2 = r.register_script(lua_2)

print(script_2(keys=["hugo"]))

结果:


image.png

JAVA操作Redis Lua脚本

public class TestSingleRedis {

    private static Jedis jedis;     //单实例[]
    private static ShardedJedis shard;      //分片[]
    private static ShardedJedisPool pool;   //池化[apache common - pool2]

    @BeforeClass
    public static void setUpBeforeClass() throws Exception {
        //单个节点
        jedis = new Jedis("192.168.1.30", 6379);
        //分片
        List<JedisShardInfo> shards = Arrays.asList(
                new JedisShardInfo("192.168.1.30",6379));

        shard = new ShardedJedis(shards);
        //池化
        GenericObjectPoolConfig goConfig = new GenericObjectPoolConfig();
        goConfig.setMaxTotal(100);
        goConfig.setMaxIdle(20);
        goConfig.setMaxWaitMillis(-1);
        goConfig.setTestOnBorrow(true);        
        pool = new ShardedJedisPool(goConfig, shards);
    }

    @AfterClass
    public static void tearDownAfterClass() throws Exception {
        jedis.disconnect();
        shard.disconnect();
        pool.destroy();
    }
  /**
     * <B>方法名称:</B>Redis使用Lua执行应用程序<BR>
     * <B>概要说明:</B>
     * 我们可以使用Redis+Lua的方式,实现一个完整的事务、保证事务的原子性。
     * 如何使用Redis+Lua?
     * 我们使用scriptLoad方法,把我们写好的lua脚本加载到Redis的内存中(注意是内存,每次重启则失效)。
     * scriptLoad方法会返回一个索引Key,我们只需要通过这个索引Key就可以找到我们之前放到Redis里的脚本。
     * 调用evalsha方法,传入索引key,以及操作键、参数值。进行返回 <BR>
     */
    /**
     * lua script:
     *      local t1 = redis.call('hgetall',KEYS[1]);
     *      if type(t1) == 'table' then 
     *          return t1;
     *      end;
     *
     *  type(t1) == 'table': lua的表类型,redis的hash类型属于这个类型
     */
    public static final String SCRIPT = 
            "local t1 = redis.call('hgetall',KEYS[1]);" + "\n" +
            "if type(t1) == 'table' then" + "\n" +
            "return t1;" + "\n" +
            "end;" + "\n" ;
    @Test
    public void  testLua(){
        /**
         * 把string类型的脚本放入redis的scriptLoad中,变成一个可执行的脚本
         * 并且会返回一个shakey,使用这个shakey来调用脚本
         */
        String shakey = jedis.scriptLoad(SCRIPT);//加载脚本,获取sha索引 
        System.out.println("shakey: " + shakey);
        //要获取的key值
        List<String> keys = new ArrayList<>();
        keys.add("myhash");
        //传入的参数。这里没有加参数
        List<String> args = new ArrayList<>();
        // /usr/local/bin/redis-cli -h 192.168.1.115 -p 6379 --eval /usr/local/luadir/03.lua name age , baihezhuo
        List<String> ret = (List<String>)jedis.evalsha(shakey, keys, args);

        System.out.println(ret);
        jedis.close();
    }

}

  • 注意:由于本脚本取的是key为"myhash"的值,故需要在redis中插入该数据,否则取到的值是空的。

Lua表类型

  • Lua表类型类似一个数组。跟其他语言不同的是,Lua中可以用任意类型作为下标。
 //定义空表
T1={} 
//赋值
T1["name"] = "mawenxia"
T1["age"] = 18
//其他赋值方式
T1.name = "mawenxia"
T1.age = 18
//其他赋值方式
T1.person = {name="mawenxia",age=18}

  • 安装Lua的Cjson工具类
> wget http://www.kyne.com.au/~mark/software/download/lua-cjson-2.1.0.tar.gz
> tar -zvxf lua-cjson-2.1.0.tar.gz -C /usr/local/
> cd /usr/local/lua-cjson-2.1.0/
> vim Makefile
> 修改PREFIX 变量为/usr/local  保存
> make install
> cp cjson.so /usr/local/lib/lua/5.1/

  • Lua的表类型和Cjson结合。可方便的操作redis的hash类型数据

Lua脚本结合Redis实现抢红包场景

  • 主要是利用了Redis+lua脚本的原子性。避免出现同一个用户抢两次的情况。
  • 前提:用户发起红包时,按个数分配好金额,而不是抢的时候再分配。分配结束后存入redis的list中。
  • 基本思路:两个list1(未分配的红包),list2(分配后的红包) 和一个set。利用set里的key不能重复用来判断用户是否已抢。
  • 一个Lua脚本下实现三个操作,保证原子性。1:从set中取用户id,判断是否已抢,不存在id,进入步骤2。2:从list1中pop移除一个红包。3:往list2中push一个红包和抢到的用户id。
  • 最后业务系统来读取分配后的list2信息即可

参考:
http://xiaorui.cc/2016/03/27/%E8%AF%A6%E8%A7%A3python%E8%B0%83%E7%94%A8redis-lua%E5%86%85%E5%B5%8C%E8%84%9A%E6%9C%AC%E7%9A%84%E9%AB%98%E7%BA%A7%E7%94%A8%E6%B3%95/

https://www.jianshu.com/p/bec0d7cf0b43

https://www.jianshu.com/p/d88e7359b025

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,390评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,821评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,632评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,170评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,033评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,098评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,511评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,204评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,479评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,572评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,341评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,893评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,171评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,486评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,676评论 2 335