专栏首页Golang语言社区从 io.Reader 中读数据

从 io.Reader 中读数据

原文作者:smallnest

目录 [−]

  1. io.Reader.Read
  2. io.Copy
  3. ioutil.ReadAll
  4. io.ReadFull
  5. io.ReadAtLeast
  6. io.LimitReader
  7. 参考资料

Go 的标准库提供了多个从 io.Reader 中读取数据的方法 (io、ioutil),本文通过从 net.Conn中读取数据为例,演示各种方法已经应用场景。

使用TCP连接访问某个网站,采用HTTP 1.0的协议,让TCP连接保持短连接,读取完response之后连接会关闭,这样就模拟了io.EOF的错误:

1conn, err := net.Dial("tcp", "rpcx.site:80")
2if err != nil {
3    fmt.Println("dial error:", err)
4    return
5}
6defer conn.Close()

io.Reader.Read

io.Reader接口定义了Read(p []byte) (n int, err error)方法,我们可以使用它从Reader中读取一批数据。

  • 一次最多读取len(p)长度的数据
  • 读取遭遇到error(io.EOF或者其它错误), 会返回已读取的数据的字节数和error
  • 即使读取字节数< len(p),也不会更改p的大小 (显然的,因为正常它也没办法更改)
  • 当输入流结束时,调用它可能返回 err == EOF 或者 err == nil,并且n >=0, 但是下一次调用肯定返回 n=0, err=io.EOF

常常使用这个方法从输入流中批量读取数据,直到输入流读取到头,但是需要注意的时候,我们应该总是先处理读取到的n个字节,然后再处理error。

如果你要实现io.Reader接口,在实现Read方法时,不建议你返回0,nil,除非输入的len(p)==0,因为这容易造成困惑,一般用0,io.EOF 来表示输入流已经读取到头。

下面是演示这个方法的例子:

 1package main
 2import (
 3    "fmt"
 4    "io"
 5    "net"
 6    "strings"
 7)
 8func main() {
 9    // 建立连接
10    conn, err := net.Dial("tcp", "rpcx.site:80")
11    if err != nil {
12        fmt.Println("dial error:", err)
13        return
14    }
15    defer conn.Close()
16    // 发送请求, http 1.0 协议
17    fmt.Fprintf(conn, "GET / HTTP/1.0\r\n\r\n")
18    // 读取response
19    var sb strings.Builder
20    buf := make([]byte, 256)
21    for {
22        n, err := conn.Read(buf)
23        if err != nil {
24            if err != io.EOF {
25                fmt.Println("read error:", err)
26            }
27            break
28        }
29        sb.Write(buf[:n])
30    }
31    // 显示结果
32    fmt.Println("response:", sb.String())
33    fmt.Println("total response size:", sb.Len())
34}

io.Copy

func Copy(dst Writer, src Reader) (written int64, err error)可以从src复制数据到dst(Go 实现的方法一般把目的地址参数放在源参数的前面),直到:

  • EOF
  • 其它error

它返回读取的字节数以及遇到的第一个错误

注意成功的读取完输入流后err并不是io.EOF, 而是nil。 它内部是调用CopyBuffer(dst Writer, src Reader, buf []byte) (written int64, err error)实现的, CopyBuffer会有可能使用一个指定的buf来复制数据,如果buf的长度为0, 它会panic。

在两种特例的情况下buf并不会被使用,而是使用接口的方法进行复制:

  1. src实现了WriterTo接口
  2. dst实现了ReadFrom接口 1package main 2import ( 3 "fmt" 4 "io" 5 "net" 6 "strings" 7) 8func main() { 9 // 建立连接 10 conn, err := net.Dial("tcp", "rpcx.site:80") 11 if err != nil { 12 fmt.Println("dial error:", err) 13 return 14 } 15 defer conn.Close() 16 // 发送请求, http 1.0 协议 17 fmt.Fprintf(conn, "GET / HTTP/1.0\r\n\r\n") 18 // 读取response 19 var sb strings.Builder 20 _, err = io.Copy(&sb, conn) 21 if err != nil { 22 fmt.Println("read error:", err) 23 } 24 // 显示结果 25 fmt.Println("response:", sb.String()) 26 fmt.Println("total response size:", sb.Len()) 27}

ioutil.ReadAll

ReadAll(r io.Reader) ([]byte, error)提供了一个从输入流中读取全部数据的方法,它读取输入流直到出现错误(error)或者读到头(EOF)。

成功的读取到头不会返回io.EOF, 而是返回数据和nil。

我们经常用它来读取可信的http.Response.Body。

 1package main
 2import (
 3    "fmt"
 4    "io"
 5    "io/ioutil"
 6    "net"
 7)
 8func main() {
 9    // 建立连接
10    conn, err := net.Dial("tcp", "rpcx.site:80")
11    if err != nil {
12        fmt.Println("dial error:", err)
13        return
14    }
15    defer conn.Close()
16    // 发送请求, http 1.0 协议
17    fmt.Fprintf(conn, "GET / HTTP/1.0\r\n\r\n")
18    // 读取response
19    data, err := ioutil.ReadAll(conn)
20    if err != nil {
21        if err != io.EOF {
22            fmt.Println("read error:", err)
23        }
24        panic(err)
25    }
26    // 显示结果
27    fmt.Println("response:", string(data)) 
28    fmt.Println("total response size:", len(data))
29}

io.ReadFull

ReadFull(r Reader, buf []byte) (n int, err error)从输入流中读取正好len(buf)字节的数据。

  • 读取到0字节,并且遇到EOF, 返回EOF
  • 读取到0<n<len(buf)字节,并且遇到EOF, 返回ErrUnexpectedEOF
  • 读取到n==len(buf),即使遇到error也返回err=nil
  • 返回err != nil则肯定n<len(buf)
 1package main
 2import (
 3    "fmt"
 4    "io"
 5    "net"
 6    "strings"
 7)
 8func main() {
 9    // 建立连接
10    conn, err := net.Dial("tcp", "rpcx.site:80")
11    if err != nil {
12        fmt.Println("dial error:", err)
13        return
14    }
15    defer conn.Close()
16    // 发送请求, http 1.0 协议
17    fmt.Fprintf(conn, "GET / HTTP/1.0\r\n\r\n")
18    // 读取response
19    var sb strings.Builder
20    buf := make([]byte, 256)
21    for {
22        n, err := io.ReadFull(conn, buf)
23        if err != nil {
24            if err != io.EOF && err != io.ErrUnexpectedEOF {
25                fmt.Println("read error:", err)
26            }
27            break
28        }
29        sb.Write(buf[:n])
30    }
31    // 显示结果
32    fmt.Println("response:", sb.String())
33    fmt.Println("total response size:", sb.Len())
34}

io.ReadAtLeast

ReadAtLeast(r Reader, buf []byte, min int) (n int, err error)从输入流中读取至少min个字节到buf中,直到把buf读取满或者遇到 error,包括EOF。

  • 如果n < min, 肯定返回错误
  • 没有数据可读返回n=0和EOF
  • n < min,并且遇到EOF,返回n和ErrUnexpectedEOF
  • 如果参数min>len(buf),返回0,ErrShortBuffer
  • 如果读取了至少min个字节,即使遇到错误也会返回err=nil

io.LimitReader

LimitReader(r Reader, n int64) Reader返回一个内容长度受限的Reader,当从这个Reader中读取了n个字节一会就会遇到EOF。

设想一下如果没有这个保护措施,别让告诉你发送一个图片,结果发送给你一个3G的葫芦娃的视频,有可能会使你的内存飙升。

它就是提供了一个保护的功能,其它和普通的Reader没有两样。

 1package main
 2import (
 3    "fmt"
 4    "io"
 5    "net"
 6    "strings"
 7)
 8func main() {
 9    // 建立连接
10    conn, err := net.Dial("tcp", "rpcx.site:80")
11    if err != nil {
12        fmt.Println("dial error:", err)
13        return
14    }
15    defer conn.Close()
16    // 发送请求, http 1.0 协议
17    fmt.Fprintf(conn, "GET / HTTP/1.0\r\n\r\n")
18    // 读取response
19    var sb strings.Builder
20    buf := make([]byte, 256)
21    rr := io.LimitReader(conn, 102400)
22    for {
23        n, err := io.ReadAtLeast(rr, buf, 256)
24        if err != nil {
25            if err != io.EOF && err != io.ErrUnexpectedEOF {
26                fmt.Println("read error:", err)
27            }
28            break
29        }
30        sb.Write(buf[:n])
31    }
32    // 显示结果
33    fmt.Println("response:", sb.String())
34    fmt.Println("total response size:", sb.Len())
35}

参考资料

  • https://github.com/golang/go/issues/20477
  • https://stackoverflow.com/questions/24339660/read-whole-data-with-golang-net-conn-read
  • https://stackoverflow.com/questions/29221872/golang-read-bytes-from-net-tcpconn

版权申明:内容来源网络,版权归原创者所有。除非无法确认,我们都会标明作者及出处,如有侵权烦请告知,我们会立即删除并表示歉意。谢谢。

本文分享自微信公众号 - Golang语言社区(Golangweb)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-02-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

推荐阅读

  • 远程办公经验为0,如何将日常工作平滑过度到线上?

    我是一名创业者,我的公司(深圳市友浩达科技有限公司)在2018年8月8日开始运营,现在还属于微型公司。这个春节假期,我一直十分关注疫情动向,也非常关心其对公司带来的影响。

    TVP官方团队
    TAPD 敏捷项目管理腾讯乐享企业邮箱企业编程算法
  • 数据中台,概念炒作还是另有奇效? | TVP思享

    作者简介:史凯,花名凯哥,腾讯云最具价值专家TVP,ThoughtWorks数据智能业务总经理。投身于企业数字化转型工作近20年。2000年初,在IBM 研发企业级中间件,接着加入埃森哲,为大型企业提供信息化架构规划,设计,ERP,云平台,数据仓库构建等技术咨询实施服务,随后在EMC负责企业应用转型业务,为企业提供云迁移,应用现代化服务。现在专注于企业智能化转型领域,是数据驱动的数字化转型的行业布道者,数据中台的推广者,精益数据创新体系的创始人,2019年荣获全球Data IQ 100人的数据赋能者称号,创业邦卓越生态聚合赋能官TOP 5。2019年度数字化转型专家奖。打造了行业第一个数据创新的数字化转型卡牌和工作坊。创建了精益数据创新方法论体系构建数据驱动的智能企业,并在多个企业验证成功,正在向国内外推广。

    TVP官方团队
    大数据数据分析企业
  • 扩展 Kubernetes 之 CRI

    使用 cri-containerd 的调用流程更为简洁, 省去了上面的调用流程的 1,2 两步

    王磊-AI基础
    Kubernetes
  • 扩展 Kubernetes 之 Kubectl Plugin

    kubectl 功能非常强大, 常见的命令使用方式可以参考 kubectl --help,或者这篇文章

    王磊-AI基础
    Kubernetes
  • 多种登录方式定量性能测试方案

    最近接到到一个测试任务,某服务提供了两种登录方式:1、账号密码登录;2、手机号+验证码登录。要对这两种登录按照一定的比例进行压测。

    八音弦
    测试服务 WeTest
  • 线程安全类在性能测试中应用

    首先验证接口参数签名是否正确,然后加锁去判断订单信息和状态,处理用户增添VIP时间事务,成功之后释放锁。锁是针对用户和订单的分布式锁,使用方案是用的redis。

    八音弦
    安全编程算法
  • 使用CDN(jsdelivr) 优化博客访问速度

    PS: 此篇文章适用于 使用 Github pages 或者 coding pages 的朋友,其他博客也类似.

    IFONLY@CUIT
    CDNGitGitHub开源
  • 扩展 Kubernetes 之 CNI

    Network Configuration 是 CNI 输入参数中最重要当部分, 可以存储在磁盘上

    王磊-AI基础
    Kubernetes
  • 聚焦【技术应变力】云加社区沙龙online重磅上线!

    云加社区结合特殊时期热点,挑选备受关注的音视频流量暴增、线下业务快速转线上、紧急上线防疫IoT应用等话题,邀请众多业界专家,为大家提供连续十一天的干货分享。从视野、预判、应对等多角度,帮助大家全面提升「技术应变力」!

    腾小云
  • 京东购物小程序购物车性能优化实践

    它是小程序开发工具内置的一个可视化监控工具,能够在 OS 级别上实时记录系统资源的使用情况。

    WecTeam
    渲染JavaScripthttps网络安全缓存

扫码关注云+社区

领取腾讯云代金券