go yaml 和 k8s yaml 混用踩坑

云原生相关的项目避免不了和 yaml 打交道。go 没有内置对 yaml 格式的支持，比较常用的 go-yaml 这个库，这个库可以用进行日常的 marshal 和 unmarshal。
k8s 自身也常和 yaml 打交道，所以 k8s 提供了一个 sigs.k8s.io/yaml 库。这个库自身也是基于 go-yaml，所以文档中也说明了 k8syaml 支持 go-yaml 的全部功能。

我们在一个项目中一开始引入的是 go-yaml 的依赖，后来引入了 k8syaml 依赖，导致在代码的不同模块中分别使用两个模块进行序列化和反序列化，最终触发了一个系统 bug，该 bug 的表现一个配置项原本没有发生变化，但是系统会显示为发生了变化。经过 debug 才发现是由于在旧值和新值分别使用了 go-yaml 和 k8s yaml 进行了初始化导致的。
我们写一小段代码进行验证一下，发现由于 k8syaml 会先将 data 转为 json 再 unmarshal，导致 Value 的类型为 float64，而直接使用 go-yaml 中话，Value 的类型则是 int。

k8s-yaml Unmarshal 出来的类型之所以为 float64，也不是做了什么魔法，仅仅是先 unmarshal 到 json 导致的，我们直接使用 json unmarshal 的话，Value 的类型也是 float64。不过 json 提供了 decode 提供了选项 UseNumger() 的选项来处理此行为。

其实 k8syaml 的这个行为在文档中也有明确说明，只是之前没有触碰到这个先转为 json 再转为 yaml 的问题，算是踩了一次坑。

package main

import (
    "bytes"
    "encoding/json"
    "fmt"
    "reflect"

    "gopkg.in/yaml.v3"
    k8syaml "sigs.k8s.io/yaml"
)

func MustUnmarshalJSON(data []byte, o interface{}, useNumber bool) {
    var dec = json.NewDecoder(bytes.NewReader(data))
    if useNumber {
        dec.UseNumber()
    }
    err := dec.Decode(o)
    if err != nil {
        panic(err)
    }
}

const (
    DefaultYaml = iota
    K8SYaml
)

func MustUnmarshalYAML(data []byte, o interface{}, yamlType int, opts ...k8syaml.JSONOpt) {
    var err error
    switch yamlType {
    case DefaultYaml:
        err = yaml.Unmarshal(data, o)
    case K8SYaml:
        err = k8syaml.Unmarshal(data, o, opts...)
    default:
        panic(fmt.Errorf("unknown yamlType %v", yamlType))
    }
    if err != nil {
        panic(err)
    }
}

var useNumberOpt = func(d *json.Decoder) *json.Decoder {
    d.UseNumber()
    return d
}

func main() {
    type data struct {
        yaml string
        json string
    }
    type dd struct {
        Value interface{} `yaml:"value"`
    }
    for _, o := range []data{
        {
            yaml: `value: 7`,
            json: `{"value": 7}`,
        },
        {
            yaml: `value: 7.4`,
            json: `{"value":7.4}`,
        },
    } {
        var d dd
        fmt.Printf("Input:%+v\n", o)
        MustUnmarshalJSON([]byte(o.json), &d, false)
        fmt.Printf("JSON Unmarshal Default: %+v, type of value: %v\n", d, reflect.TypeOf(d.Value))
        MustUnmarshalJSON([]byte(o.json), &d, true)
        fmt.Printf("JSON Unmarshal UseNumber: %+v, type of value: %v\n", d, reflect.TypeOf(d.Value))

        MustUnmarshalYAML([]byte(o.yaml), &d, DefaultYaml)
        fmt.Printf("Default YAML Unmarshal %+v, type of value: %v\n", d, reflect.TypeOf(d.Value))

        MustUnmarshalYAML([]byte(o.yaml), &d, K8SYaml)
        fmt.Printf("K8SYAML Unmarshal %+v, type of value: %v\n", d, reflect.TypeOf(d.Value))

        MustUnmarshalYAML([]byte(o.yaml), &d, K8SYaml, useNumberOpt)
        fmt.Printf("K8SYAML Unmarshal With JSONOpt %+v, type of value: %v\n", d, reflect.TypeOf(d.Value))
    }
}

最后编辑于：2023.11.04 14:01:01