golang-redis系列——返回值助手函数(二)

1、redigo客户端的返回值解析

从上一节的内容可知,Do() 和 Receive() 等方法的返回值,除了 error 外,是一个 interface{} 类型的返回值,因此当我们的复杂操作返回的不是基本数据类型时,就需要我们自己解析返回值,例如,当我们利用 HMGET 方法获取一批返回值时,就需要对返回结果进行解析,具体如下:

    var param = map[string][]int64{
        "153_35_2": []int64{10, 20, 30},
        "153_35_1": []int64{1, 2, 3},
        "153_35_3": []int64{100, 200, 300},
    }

    _, err := rc.Do("HMSET", redis.Args{}.Add("redis-hash").AddFlat(param)...)
    if err != nil {
        fmt.Println("cacheModelInfo error:", err.Error())
        return
    }

    fmt.Println("insert ok")

    reply, _ := rc.Do("HGETALL", "redis-hash")

    for i,v := range reply.([]interface{}){
        fmt.Println(string(v.([]uint8)))
    }
---------------------------------------------------
返回结果:
insert ok
153_35_2
[10 20 30]
153_35_1
[1 2 3]
153_35_3
[100 200 300]

由于返回值是多条数据,因此需要先将 reply 转成 []interface 类型,然后在遍历结果时在分别转成 []uint8 (byte数组), 最后再转成 string 类型。

写入时 vaule 为 []int64,为什么读出来是 string 类型呢?

这是因为 Redis hash 是一个 string 类型的 field(字段) 和 value(值) 的映射表,hash 特别适合用于存储对象。
Redis 中每个 hash 可以存储 232 - 1 键值对(40多亿)。

Redis Hash

随着我们操作复杂度,数据解析的工作量也会非常大,(lua 脚本的使用,会使结果的解析更为复杂,因为可能存在多种类型的结果一起返回的情况,lua 脚本相关的内容会在下一节介绍)。

redigo 包中的返回值助手函数的存在,就是为了帮助我们完成这些枯燥繁琐的数据解析过程。

2、redigo 返回值助手函数

返回值助手函数相关源码路径为 github.com/gomodule/redigo/redis/reply.go 提供的主要方法如下:

方法 说明
func Int(reply interface{}, err error) (int, error) 将返回值转为 int 类型数据
Int64(reply interface{}, err error) (int64, error) 将返回值转为 int64 类型数据
Uint64(reply interface{}, err error) (uint64, error) 将返回值转为 uint64 类型数据
func Float64(reply interface{}, err error) (float64, error) 将返回值转为 float64 类型数据
func String(reply interface{}, err error) (string, error) 将返回值转为 string 类型数据
func Bytes(reply interface{}, err error) ([]byte, error) 将返回值转为 []byte 类型数据,通常用于解析某些编码数据,例如protobuf 或者 json等
Bool(reply interface{}, err error) (bool, error) 将返回值转为 bool 类型数据
func Values(reply interface{}, err error) ([]interface{}, error) 将返回值转为 []interface 类型数据,一般用于分解复杂结构,例如 lua 脚本的聚合结果
func Float64s(reply interface{}, err error) ([]float64, error) 将返回值转为 []float 类型数据
func Strings(reply interface{}, err error) ([]string, error) 将返回值转为 []string 类型数据
func ByteSlices(reply interface{}, err error) ([][]byte, error) 将返回值转为 [][]byte 类型数据,通常用于解析某些编码数据数组,例如protobuf 或者 json等
func Int64s(reply interface{}, err error) ([]int64, error) 将返回值转为 []int64 类型数据
func Ints(reply interface{}, err error) ([]int, error) 将返回值转为 []int 类型数据
func StringMap(result interface{}, err error) (map[string]string, error) 将返回值转为 map[string]string 类型数据,通常用于 HMGET、MGET、HGETALL 等场景
func IntMap(result interface{}, err error) (map[string]int, error) 将返回值转为 map[string]int 类型数据,通常用于value 类型为 int 的 HMGET、MGET、HGETALL
func Int64Map(result interface{}, err error) (map[string]int64, error) 将返回值转为 map[string]int64 类型数据 通常用于value 类型为 int64 的 HMGET、MGET、HGETALL
func Uint64s(reply interface{}, err error) ([]uint64, error) 将返回值转为 []uint64 类型数据
func Uint64Map(result interface{}, err error) (map[string]uint64, error) 将返回值转为 map[string]uint64 类型数据
func SlowLogs(result interface{}, err error) ([]SlowLog, error) 将返回值转为 []SlowLog 类型数据,主要用于获取慢查询日志
func Positions(result interface{}, err error) ([]*[2]float64, error) 将返回值转为 []*[2]float64 类型数据,主要用于 GEOPOS 命令的返回

上述返回值助手函数的具体使用,应该依据具体的命令进行选择。如果大家还记得上一节介绍的 Redis 基本数据类型,可能会有些疑问,对于 redis 来说,其数据据存储本质都是 []bytes, 为什么可以解析出 Int、int64、float等类型的数据呢?

我们以 Float64() 为例进行说明,具体源码如下:

func Float64(reply interface{}, err error) (float64, error) {
    if err != nil {
        return 0, err
    }
    switch reply := reply.(type) {
    case []byte:
        n, err := strconv.ParseFloat(string(reply), 64)
        return n, err
    case nil:
        return 0, ErrNil
    case Error:
        return 0, reply
    }
    return 0, fmt.Errorf("redigo: unexpected type for Float64, got type %T", reply)
}

其实,返回值助手函数是将 []byte 类型的原始数据,利用 strconv.ParseFloat(string(reply), 64) 转换成了 float64类型,因此在我们使用过程中返回值助手函数的选择,应该基于业务和实际存储的数据格式为依据。我们以第一小节的示例为例,看返回值助手函数如何降低我们的工作量,具体如下:

reply,_ := redis.StringMap(rc.Do("HGETALL", "redis-hash"))
for k,v := range reply{
    fmt.Println(k,":",v)
}

---------------------------------------------------------------
153_35_2 : [10 20 30]
153_35_1 : [1 2 3]
153_35_3 : [100 200 300]


reply,_ := redis.Strings(rc.Do("HGETALL", "redis-hash"))
for _,v := range reply{
    fmt.Println(v)
}
---------------------------------------------------------------
153_35_2
[10 20 30]
153_35_1
[1 2 3]
153_35_3
[100 200 300]

3、Scan 方法解析复杂结构

除了使用返回值助手函数对上述固定结构的结果进行解析外,redigo 包还提供了一个 Scan()函数用于解析自定义的复杂数据结构,我们依然以上一个示例进行说明,具体示例如下:

    rc := RedisClientPool.Get()
    defer func() {
        rcErr := rc.Close()
        if rcErr != nil {
            fmt.Printf("Cache init redis client close err: %s", rcErr.Error())
        }
    }()

    var param = map[string][]int64{
        "153_35_2": []int64{10, 20, 30},
        "153_35_1": []int64{1, 2, 3},
        "153_35_3": []int64{100, 200, 300},
    }

    _, err := rc.Do("HMSET", redis.Args{}.Add("redis-hash").AddFlat(param)...)
    if err != nil {
        fmt.Println("cacheModelInfo error:", err.Error())
        return
    }

    fmt.Println("insert ok")

    reply,_ := redis.Values(rc.Do("HGETALL", "redis-hash"))

    fmt.Println(reply)

    for len(reply) > 0 {
        var key string
        var value string
        reply, err = redis.Scan(reply, &key, &value)
        if err != nil {
            fmt.Println(err)
            return
        }
        fmt.Println(key,":",value)
    }

--------------------------------------------------------------------------------
Output:
153_35_2 : [10 20 30]
153_35_1 : [1 2 3]
153_35_3 : [100 200 300]

Scan 函数从 src 扫描副本到 dest 指向的值。

dest 指向的值必须是整数、浮点数、布尔值、字符串、[]byte、interface{} 或这些类型的切片。扫描使用标准的 strconv 包将字符串转换为数字和布尔类型。

如果 dest 值为 nil,则跳过相应的 src 值。

如果 src 元素为 nil,则不修改对应的 dest 值。

为了在循环中轻松使用 Scan,Scan 返回的结果为 src 切片扫描之后剩余的部分。

如果返回结果为结构化切片,也可以使用 canSlice() 方法,从而简化 loop 处理的部分,具体示例如下:

    var result []struct {
        Key string
        Value string
    }
    if err := redis.ScanSlice(reply, &result); err != nil {
        fmt.Println(err)
        return
    }
    fmt.Printf("%v\n", result)

---------------------------------------------------------
Output:
[
    {153_35_2 [10 20 30]} 
    {153_35_1 [1 2 3]} 
    {153_35_3 [100 200 300]}
]

通过上述的示例,我们介绍了 scan 函数的基本用法,但是细心的同学可能会发现吗,为什么数据写入时,value 的类型为 []int64 但是读取时只能按照 string 类型读取呢。这是因为 Redis 底层存储的数据本质都是 string 类型,。无论是 HMSET 还是 MSET 最终都只能按照 string 类型读取,因为其本质都是 hash 结构,不同之处仅在于 HMSET 是嵌套的 hash类型。 因此,[]int64 数据在写入阶段,就已经被自动处理为 []byte,写入 redis 之后,len 和 类型 属性会丢失。

如果强行按照 []int64解析将出错:

    var result []struct {
        Key string
        Value []int64
    }
    if err := redis.ScanSlice(reply, &result); err != nil {
        fmt.Println(err)
        return
    }
    fmt.Printf("%v\n", result)

-----------------------------------------------------------
redigo.ScanSlice: cannot assign element 1 to field Value: cannot convert from Redis bulk string to []int64

如果 value 必须以结构化的数据存储,那么可以提前对要写入的数据进行编码,例如 json、protobuf 等,取出后再进行解码获得原始数据。

4、相关文档

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,029评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,238评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,576评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,214评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,324评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,392评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,416评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,196评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,631评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,919评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,090评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,767评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,410评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,090评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,328评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,952评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,979评论 2 351

推荐阅读更多精彩内容