源码学习 go 语言中的文件操作(上)

该篇文章主要分析文件的打开和读取操作。

os 包的目录结构

os 包主要是为 go 语言的使用者提供平台无关的一致性接口。

os 中存在着大量以下的文件结构:

os/
    file.go
    file_plan9.go
    file_posix.go
    file_unix.go
    file_windows.go

它们即是为屏蔽不同平台的差异而存在的。

File 结构体

本文中,我们将以 unix 环境为例,来看一下文件操作的相关实现。

首先,我们来看一下 File 结构体。

os/file_unix.go

type File struct {
    *file
}

type file struct {
    fd      int
    name    string
    dirinfo *dirInfo // nil unless directory being read
}

File 结构体只是一个空壳,它里面包含了一个真正代表文件信息的 file 结构体。file 才是文件结构体的真身。

奇怪,此处为何要多此一举呢?

官方解释说这是为了避免使用者将 File 的数据覆盖,导致垃圾回收时关闭错误的文件描述符。原来,虽然 fd 是私有的成员,但是还是有可能通过 unsafe 等方式被修改。

这个结构体的内容很简单,其中 fd 是文件描述符,name 是文件的名字,dirinfo 只有在操作目录时才会用来,我们暂不关心。

创建 File

我们再来通过创建 File 的函数,更加深入地理解一下这几个字段。

os/file_unix.go

func NewFile(fd uintptr, name string) *File {
    fdi := int(fd)
    if fdi < 0 {
        return nil
    }
    f := &File{&file{fd: fdi, name: name}}
    runtime.SetFinalizer(f.file, (*file).close)
    return f
}

NewFile() 函数实例化一个 File 结构体,它接受两个参数:文件描述符和文件名。

这个函数很简单,它使用传入的参数创建一个 File 对象,并设置在垃圾回收时关掉文件该文件。当然,这是一个较低层的函数,它在 OpenFile() 是这样被使用的。

os/file_unix.go

func OpenFile(name string, flag int, perm FileMode) (*File, error) {
    // ...

    var r int
    var e error
    r, e = syscall.Open(name, flag|syscall.O_CLOEXEC, syscallMode(perm))

    // ...

    return NewFile(uintptr(r), name), nil
}

我们还是使用了之前的 trick,将我们不关心的代码省略了。此处我们看到,NewFile() 实际的作用只是创建一个结构体,打开文件之类的操作需要在创建结构体前完成。

打开文件函数

实际上我们刚才省略部分内容的 OpenFile() 函数,就是我们要关心打开文件里最重要的一个函数了。

虽然我们省略了部分内容,但是请不要担心,这些内容对我们的理解不会有太大的帮助。

我们看到,go 语言里操作函数是非常原始的,它只是对原生的系统调用稍加封装,并替换了错误处理的方式而已。

文章的最开始有一个文件名的模式,到此为止我们看的都是 os/file_unix.go 下的部分代码。实际上,平台无关性是通过 os/file.go 来实现的。

os/file.go 里提供了两个与打开文件有关的函数。

func Open(name string) (*File, error) {
    return OpenFile(name, O_RDONLY, 0)
}

func Create(name string) (*File, error) {
    return OpenFile(name, O_RDWR|O_CREATE|O_TRUNC, 0666)
}

是的,每个函数的函数体只有一行,它们是对 OpenFile() 函数的简单封装,或者说,只是一个简单的 wrapper,为我们提供更方便使用的快捷函数而已。

读取文件

os/file.go 中为我们提供了两个读取文件的函数。我们先来看第一个,从默认偏移处读取文件内容。

func (f *File) Read(b []byte) (n int, err error) {
    if f == nil {
        return 0, ErrInvalid
    }
    n, e := f.read(b)
    if n == 0 && len(b) > 0 && e == nil {       // 文件正常读完
        return 0, io.EOF
    }
    if e != nil {                   // 读取出错
        err = &PathError{"read", f.name, e}
    }
    return n, err
}

除了里面给出的两条注释,已经没有什么可写了。其中的 f.read() 几乎等价于直接执行系统的 read() 调用。几乎,意思是它还为我们屏蔽了不同平台间的差异。

这里有一点很值得我们学习,那就是对错误的处理。系统抛过来的错误是错误描述,而此函数,或者说此模块为错误信息加上了文件和具体操作的信息,这就让追踪错误变得更方便。有兴趣可以读一下 PathError,代码不多。

你应该还记得 read() 调用是如何工作的,操作系统维护一个文件偏移,读取一段内容后,偏移将自动调整。下次又会从新的偏移开始读取。

我们再来看第二个函数。

func (f *File) ReadAt(b []byte, off int64) (n int, err error) {
    if f == nil {
        return 0, ErrInvalid
    }
    for len(b) > 0 {
        m, e := f.pread(b, off)
        if m == 0 && e == nil {
            return n, io.EOF
        }
        if e != nil {
            err = &PathError{"read", f.name, e}
            break
        }
        n += m
        b = b[m:]
        off += int64(m)
    }
    return
}

奇怪,一个简单的读操作怎么还有 for 循环?

答案在 pread() 的实现里,我们来看一下。

os/file_unix.go

func (f *File) pread(b []byte, off int64) (n int, err error) {
    if needsMaxRW && len(b) > maxRW {
        b = b[:maxRW]
    }
    return fixCount(syscall.Pread(f.fd, b, off))
}

由于平台的特殊性,Darwin 和 FreeBSD 不能一次读写超过 2G 的文件内容,ReadAt() 在试图尽可能多地获取内容。

一个简单的读取文件 demo

package main

import (
    "log"
    "os"
)

func main() {
    file, err := os.Open("/tmp/hello.txt")
    if err != nil {
        log.Fatal(err)
    }
    defer file.Close()

    content := make([]byte, 100)
    n, err := file.Read(content)
    if err != nil {
        log.Fatal(err)
    }

    println(string(content[:n]))
}

归纳总结

这里我们把 file 暴露的与打开文件和读取文件有关的接口梳理如下。

打开文件:

func OpenFile(name string, flag int, perm FileMode) (*File, error)
func Open(name string) (*File, error)
func Create(name string) (*File, error)

读取文件:

func (f *File) Read(b []byte) (n int, err error)
func (f *File) ReadAt(b []byte, off int64) (n int, err error)

下一篇,我们再来看一下写文件、关闭文件等剩下的文件操作。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,921评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,635评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,393评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,836评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,833评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,685评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,043评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,694评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,671评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,670评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,779评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,424评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,027评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,984评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,214评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,108评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,517评论 2 343

推荐阅读更多精彩内容