Golang 中 defer Close() 的潜在风险

作为一名 Gopher,我们很容易形成一个编程惯例:每当有一个实现了 io.Closer 接口的对象 x 时,在得到对象并检查错误之后,会立即使用 defer x.Close() 以保证函数返回时 x 对象的关闭 。以下给出两个惯用写法例子。

  • HTTP 请求
resp, err := http.Get("https://golang.google.cn/")
if err != nil {
    return err
}
defer resp.Body.Close()
// The following code: handle resp
  • 访问文件
f, err := os.Open("/home/golangshare/gopher.txt")
if err != nil {
    return err
}
defer f.Close()
// The following code: handle f

存在问题

实际上,这种写法是存在潜在问题的。defer x.Close() 会忽略它的返回值,但在执行 x.Close() 时,我们并不能保证 x 一定能正常关闭,万一它返回错误应该怎么办?这种写法,会让程序有可能出现非常难以排查的错误。

那么,Close() 方法会返回什么错误呢?在 POSIX 操作系统中,例如 Linux 或者 maxOS,关闭文件的 Close() 函数最终是调用了系统方法 close(),我们可以通过 man close 手册,查看 close() 可能会返回什么错误

ERRORS
     The close() system call will fail if:

     [EBADF]            fildes is not a valid, active file descriptor.

     [EINTR]            Its execution was interrupted by a signal.

     [EIO]              A previously-uncommitted write(2) encountered an
                        input/output error.

错误 EBADF 表示无效文件描述符 fd,与本文中的情况无关;EINTR 是指的 Unix 信号打断;那么本文中可能存在的错误是 EIO

EIO 的错误是指未提交读,这是什么错误呢?

计算机存储体系.png

EIO 错误是指文件的 write() 的读还未提交时就调用了 close() 方法。

上图是一个经典的计算机存储器层级结构,在这个层次结构中,从上至下,设备的访问速度越来越慢,容量越来越大。存储器层级结构的主要思想是上一层的存储器作为低一层存储器的高速缓存。

CPU 访问寄存器会非常之快,相比之下,访问 RAM 就会很慢,而访问磁盘或者网络,那意味着就是蹉跎光阴。如果每个 write() 调用都将数据同步地提交到磁盘,那么系统的整体性能将会极度降低,而我们的计算机是不会这样工作的。当我们调用 write() 时,数据并没有立即被写到目标载体上,计算机存储器每层载体都在缓存数据,在合适的时机下,将数据刷到下一层载体,这将写入调用的同步、缓慢、阻塞的同步转为了快速、异步的过程。

这样看来,EIO 错误的确是我们需要提防的错误。这意味着如果我们尝试将数据保存到磁盘,在 defer x.Close() 执行时,操作系统还并未将数据刷到磁盘,这时我们应该获取到该错误提示(只要数据还未落盘,那数据就没有持久化成功,它就是有可能丢失的,例如出现停电事故,这部分数据就永久消失了,且我们会毫不知情)。但是按照上文的惯例写法,我们程序得到的是 nil 错误。

解决方案

我们针对关闭文件的情况,来探讨几种可行性改造方案

  • 第一种方案,那就是不使用 defer
func solution01() error {
    f, err := os.Create("/home/golangshare/gopher.txt")
    if err != nil {
        return err
    }

    if _, err = io.WriteString(f, "hello gopher"); err != nil {
        f.Close()
        return err
    }

    return f.Close()
}

这种写法就需要我们在 io.WriteString 执行失败时,明确调用 f.Close() 进行关闭。但是这种方案,需要在每个发生错误的地方都要加上关闭语句 f.Close(),如果对 f 的写操作 case 较多,容易存在遗漏关闭文件的风险。

  • 第二种方案是,通过命名返回值 err 和闭包来处理
func solution02() (err error) {
    f, err := os.Create("/home/golangshare/gopher.txt")
    if err != nil {
        return
    }

    defer func() {
        closeErr := f.Close()
        if err == nil {
            err = closeErr
        }
    }()

    _, err = io.WriteString(f, "hello gopher")
    return
}

这种方案解决了方案一中忘记关闭文件的风险,如果有更多 if err !=nil 的条件分支,这种模式可以有效降低代码行数。

  • 第三种方案是,在函数最后 return 语句之前,显示调用一次 f.Close()
func solution03() error {
    f, err := os.Create("/home/golangshare/gopher.txt")
    if err != nil {
        return err
    }
    defer f.Close()

    if _, err := io.WriteString(f, "hello gopher"); err != nil {
        return err
    }

    if err := f.Close(); err != nil {
        return err
    }
    return nil
}

这种解决方案能在 io.WriteString 发生错误时,由于 defer f.Close() 的存在能得到 close 调用。也能在 io.WriteString 未发生错误,但缓存未刷新到磁盘时,得到 err := f.Close() 的错误,而且由于 defer f.Close() 并不会返回错误,所以并不担心两次 Close() 调用会将错误覆盖。

  • 最后一种方案是,函数 return 时执行 f.Sync()
func solution04() error {
    f, err := os.Create("/home/golangshare/gopher.txt")
    if err != nil {
        return err
    }
    defer f.Close()

    if _, err = io.WriteString(f, "hello world"); err != nil {
        return err
    }

    return f.Sync()
}

由于调用 close() 是最后一次获取操作系统返回错误的机会,但是在我们关闭文件时,缓存不一定被会刷到磁盘上。那么,我们可以调用 f.Sync() (其内部调用系统函数 fsync )强制性让内核将缓存持久到磁盘上去。

// Sync commits the current contents of the file to stable storage.
// Typically, this means flushing the file system's in-memory copy
// of recently written data to disk.
func (f *File) Sync() error {
    if err := f.checkValid("sync"); err != nil {
        return err
    }
    if e := f.pfd.Fsync(); e != nil {
        return f.wrapErr("sync", e)
    }
    return nil
}

由于 fsync 的调用,这种模式能很好地避免 close 出现的 EIO。可以预见的是,由于强制性刷盘,这种方案虽然能很好地保证数据安全性,但是在执行效率上却会大打折扣。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,948评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,371评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,490评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,521评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,627评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,842评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,997评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,741评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,203评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,534评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,673评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,339评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,955评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,770评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,000评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,394评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,562评论 2 349

推荐阅读更多精彩内容

  • 当关闭一个可写文件时,该操作会又系统调用call完成,该调用可能会返回一下错误代码。 当EIO 错误发生时,写入文...
    kker阅读 697评论 0 0
  • 函数 Golang函数特点 无需声明原型支持多返回值不定参数传参 也就是函数的参数个数不是固定的 但是后面的类型是...
    TZX_0710阅读 615评论 0 0
  • Golang作为一门新的编程语言,它借鉴了现有语言的思想但拥有着不同寻常的特性,使得有效的Go程序在性质上不同于其...
    云时代的运维开发阅读 887评论 0 0
  • 参考:http://c.biancheng.net/view/61.html 关键点 希望通过下面的关键词,能够实...
    码二哥阅读 220评论 0 0
  • 一、错误异常 《快学 Go 语言》第 10 课 —— 错误与异常Go 语言的异常处理语法绝对是独树一帜,在我见过的...
    合肥黑阅读 1,090评论 0 3