如何在 Go 中将 []byte 转换为 io.Reader?

原文链接: 如何在 Go 中将 []byte 转换为 io.Reader?

001-byte-slice-to-io-reader.png

在 stackoverflow 上看到一个问题,题主进行了一个网络请求,接口返回的是 []byte。如果想要将其转换成 io.Reader,需要怎么做呢?

这个问题解决起来并不复杂,简单几行代码就可以轻松将其转换成功。不仅如此,还可以再通过几行代码反向转换回来。

下面听我慢慢给你吹,首先直接看两段代码。

[]byte 转 io.Reader

package main

import (
    "bytes"
    "fmt"
    "log"
)

func main() {
    data := []byte("Hello AlwaysBeta")

    // byte slice to bytes.Reader, which implements the io.Reader interface
    reader := bytes.NewReader(data)

    // read the data from reader
    buf := make([]byte, len(data))
    if _, err := reader.Read(buf); err != nil {
        log.Fatal(err)
    }

    fmt.Println(string(buf))
}

输出:

Hello AlwaysBeta

这段代码先将 []byte 数据转换到 reader 中,然后再从 reader 中读取数据,并打印输出。

io.Reader 转 []byte

package main

import (
    "bytes"
    "fmt"
    "strings"
)

func main() {
    ioReaderData := strings.NewReader("Hello AlwaysBeta")

    // creates a bytes.Buffer and read from io.Reader
    buf := &bytes.Buffer{}
    buf.ReadFrom(ioReaderData)

    // retrieve a byte slice from bytes.Buffer
    data := buf.Bytes()

    // only read the left bytes from 6
    fmt.Println(string(data[6:]))
}

输出:

AlwaysBeta

这段代码先创建了一个 reader,然后读取数据到 buf,最后打印输出。

以上两段代码就是 []byteio.Reader 互相转换的过程。对比这两段代码不难发现,都有 NewReader 的身影。而且在转换过程中,都起到了关键作用。

那么问题来了,这个 NewReader 到底是什么呢?接下来我们通过源码来一探究竟。

源码解析

Go 的 io 包提供了最基本的 IO 接口,其中 io.Readerio.Writer 两个接口最为关键,很多原生结构都是围绕这两个接口展开的。

001-io-reader-writer.png

下面就来分别说说这两个接口:

Reader 接口

io.Reader 表示一个读取器,它将数据从某个资源读取到传输缓冲区。在缓冲区中,数据可以被流式传输和使用。

001-io-reader.png

接口定义如下:

type Reader interface {
    Read(p []byte) (n int, err error)
}

Read() 方法将 len(p) 个字节读取到 p 中。它返回读取的字节数 n,以及发生错误时的错误信息。

举一个例子:

package main

import (
    "fmt"
    "io"
    "os"
    "strings"
)

func main() {
    reader := strings.NewReader("Clear is better than clever")
    p := make([]byte, 4)

    for {
        n, err := reader.Read(p)
        if err != nil {
            if err == io.EOF {
                fmt.Println("EOF:", n)
                break
            }
            fmt.Println(err)
            os.Exit(1)
        }
        fmt.Println(n, string(p[:n]))
    }
}

输出:

4 Clea
4 r is
4  bet
4 ter
4 than
4  cle
3 ver
EOF: 0

这段代码从 reader 不断读取数据,每次读 4 个字节,然后打印输出,直到结尾。

最后一次返回的 n 值有可能小于缓冲区大小。

Writer 接口

io.Writer 表示一个编写器,它从缓冲区读取数据,并将数据写入目标资源。

image
type Writer interface {
   Write(p []byte) (n int, err error)
}

Write 方法将 len(p) 个字节从 p 中写入到对象数据流中。它返回从 p 中被写入的字节数 n,以及发生错误时返回的错误信息。

举一个例子:

package main

import (
    "bytes"
    "fmt"
    "os"
)

func main() {
    // 创建 Buffer 暂存空间,并将一个字符串写入 Buffer
    // 使用 io.Writer 的 Write 方法写入
    var buf bytes.Buffer
    buf.Write([]byte("hello world , "))

    // 用 Fprintf 将一个字符串拼接到 Buffer 里
    fmt.Fprintf(&buf, " welcome to golang !")

    // 将 Buffer 的内容输出到标准输出设备
    buf.WriteTo(os.Stdout)
}

输出:

hello world ,  welcome to golang !

bytes.Buffer 是一个结构体类型,用来暂存写入的数据,其实现了 io.Writer 接口的 Write 方法。

WriteTo 方法定义:

func (b *Buffer) WriteTo(w io.Writer) (n int64, err error)

WriteTo 方法第一个参数是 io.Writer 接口类型。

转换原理

再说回文章开头的转换问题。

只要某个实例实现了接口 io.Reader 里的方法 Read() ,就满足了接口 io.Reader

001-io-bytes-strings.png

bytesstrings 包都实现了 Read() 方法。

// src/bytes/reader.go

// NewReader returns a new Reader reading from b.
func NewReader(b []byte) *Reader { return &Reader{b, 0, -1} }
// src/strings/reader.go

// NewReader returns a new Reader reading from s.
// It is similar to bytes.NewBufferString but more efficient and read-only.
func NewReader(s string) *Reader { return &Reader{s, 0, -1} }

在调用 NewReader 的时候,会返回了对应的 T.Reader 类型,而它们都是通过 io.Reader 扩展而来的,所以也就实现了转换。

总结

在开发过程中,避免不了要进行一些 IO 操作,包括打印输出,文件读写,网络连接等。

在 Go 语言中,也提供了一系列标准库来应对这些操作,主要封装在以下几个包中:

  • io:基本的 IO 操作接口。
  • io/ioutil:封装了一些实用的 IO 函数。
  • fmt:实现了 IO 格式化操作。
  • bufio:实现了带缓冲的 IO。
  • net.Conn:网络读写。
  • os.Stdinos.Stdout:系统标准输入输出。
  • os.File:系统文件操作。
  • bytes:字节相关 IO 操作。

除了 io.Readerio.Writer 之外,io 包还封装了很多其他基本接口,比如 ReaderAtWriterAtReaderFromWriterTo 等,这里就不一一介绍了。这部分代码并不复杂,读起来很轻松,而且还能加深对接口的理解,推荐大家看看。

好了,本文就到这里吧。关注我,带你通过问题读 Go 源码。


推荐阅读:

热情推荐:

  • 计算机经典书籍(含下载方式)
  • 技术博客 硬核后端技术干货,内容包括 Python、Django、Docker、Go、Redis、ElasticSearch、Kafka、Linux 等。
  • Go 程序员 Go 学习路线图,包括基础专栏,进阶专栏,源码阅读,实战开发,面试刷题,必读书单等一系列资源。
  • 面试题汇总 包括 Python、Go、Redis、MySQL、Kafka、数据结构、算法、编程、网络等各种常考题。

参考文章:

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,589评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,615评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,933评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,976评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,999评论 6 393
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,775评论 1 307
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,474评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,359评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,854评论 1 317
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,007评论 3 338
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,146评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,826评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,484评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,029评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,153评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,420评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,107评论 2 356

推荐阅读更多精彩内容

  • Go原生的pkg中有一些核心的interface,其中io.Reader/Writer是比较常用的接口。很多原生的...
    P_Chou阅读 39,028评论 1 13
  • 推荐阅读Go语言小贴士1 - io包Go语言小贴士2 - 协议解析Go语言小贴士3 - bufio包 一、《GO语...
    合肥黑阅读 13,024评论 0 12
  •  一般的,计算机程序是:输入 (Input) 经过算法处理产生输出 (Output)。各种语言一般都会提供IO库供...
    没我找不到电子书阅读 3,323评论 0 8
  • 原文链接 Streaming IO in Go – Learning the Go Programming Lan...
    大猫黄阅读 1,458评论 0 1
  • Go中输入和输出操作都采用原语来实现,原语会将数据模拟成可读的或可写的字节流。为方便开发使用Go将I/O操作封装在...
    JunChow520阅读 651评论 0 1