从 io.Reader 中读数据
原文作者：smallnest
目录 [−]
- io.Reader.Read
- io.Copy
- ioutil.ReadAll
- io.ReadFull
- io.ReadAtLeast
- io.LimitReader
- 参考资料
Go 的标准库提供了多个从 io.Reader 中读取数据的方法 (io、ioutil)，本文通过从 net.Conn中读取数据为例，演示各种方法已经应用场景。
使用TCP连接访问某个网站，采用HTTP 1.0的协议，让TCP连接保持短连接，读取完response之后连接会关闭，这样就模拟了io.EOF的错误：
1conn, err := net.Dial("tcp", "rpcx.site:80")
2if err != nil {
3 fmt.Println("dial error:", err)
4 return
5}
6defer conn.Close()io.Reader.Read
io.Reader接口定义了Read(p []byte) (n int, err error)方法，我们可以使用它从Reader中读取一批数据。
- 一次最多读取
len(p)长度的数据 - 读取遭遇到error(io.EOF或者其它错误), 会返回已读取的数据的字节数和error
- 即使读取字节数< len(p),也不会更改p的大小 (显然的，因为正常它也没办法更改)
- 当输入流结束时，调用它可能返回
err == EOF或者err == nil，并且n >=0, 但是下一次调用肯定返回n=0,err=io.EOF
常常使用这个方法从输入流中批量读取数据，直到输入流读取到头，但是需要注意的时候，我们应该总是先处理读取到的n个字节，然后再处理error。
如果你要实现io.Reader接口，在实现Read方法时，不建议你返回0,nil,除非输入的len(p)==0,因为这容易造成困惑，一般用0,io.EOF 来表示输入流已经读取到头。
下面是演示这个方法的例子：
1package main
2import (
3 "fmt"
4 "io"
5 "net"
6 "strings"
7)
8func main() {
9 // 建立连接
10 conn, err := net.Dial("tcp", "rpcx.site:80")
11 if err != nil {
12 fmt.Println("dial error:", err)
13 return
14 }
15 defer conn.Close()
16 // 发送请求, http 1.0 协议
17 fmt.Fprintf(conn, "GET / HTTP/1.0\r\n\r\n")
18 // 读取response
19 var sb strings.Builder
20 buf := make([]byte, 256)
21 for {
22 n, err := conn.Read(buf)
23 if err != nil {
24 if err != io.EOF {
25 fmt.Println("read error:", err)
26 }
27 break
28 }
29 sb.Write(buf[:n])
30 }
31 // 显示结果
32 fmt.Println("response:", sb.String())
33 fmt.Println("total response size:", sb.Len())
34}io.Copy
func Copy(dst Writer, src Reader) (written int64, err error)可以从src复制数据到dst(Go 实现的方法一般把目的地址参数放在源参数的前面)，直到：
- EOF
- 其它error
它返回读取的字节数以及遇到的第一个错误
注意成功的读取完输入流后err并不是io.EOF, 而是nil。
它内部是调用CopyBuffer(dst Writer, src Reader, buf []byte) (written int64, err error)实现的，
CopyBuffer会有可能使用一个指定的buf来复制数据,如果buf的长度为0, 它会panic。
在两种特例的情况下buf并不会被使用,而是使用接口的方法进行复制：
- src实现了
WriterTo接口 - dst实现了
ReadFrom接口 1package main 2import ( 3 "fmt" 4 "io" 5 "net" 6 "strings" 7) 8func main() { 9 // 建立连接 10 conn, err := net.Dial("tcp", "rpcx.site:80") 11 if err != nil { 12 fmt.Println("dial error:", err) 13 return 14 } 15 defer conn.Close() 16 // 发送请求, http 1.0 协议 17 fmt.Fprintf(conn, "GET / HTTP/1.0\r\n\r\n") 18 // 读取response 19 var sb strings.Builder 20 _, err = io.Copy(&sb, conn) 21 if err != nil { 22 fmt.Println("read error:", err) 23 } 24 // 显示结果 25 fmt.Println("response:", sb.String()) 26 fmt.Println("total response size:", sb.Len()) 27}
ioutil.ReadAll
ReadAll(r io.Reader) ([]byte, error)提供了一个从输入流中读取全部数据的方法，它读取输入流直到出现错误（error）或者读到头（EOF）。
成功的读取到头不会返回io.EOF, 而是返回数据和nil。
我们经常用它来读取可信的http.Response.Body。
1package main
2import (
3 "fmt"
4 "io"
5 "io/ioutil"
6 "net"
7)
8func main() {
9 // 建立连接
10 conn, err := net.Dial("tcp", "rpcx.site:80")
11 if err != nil {
12 fmt.Println("dial error:", err)
13 return
14 }
15 defer conn.Close()
16 // 发送请求, http 1.0 协议
17 fmt.Fprintf(conn, "GET / HTTP/1.0\r\n\r\n")
18 // 读取response
19 data, err := ioutil.ReadAll(conn)
20 if err != nil {
21 if err != io.EOF {
22 fmt.Println("read error:", err)
23 }
24 panic(err)
25 }
26 // 显示结果
27 fmt.Println("response:", string(data))
28 fmt.Println("total response size:", len(data))
29}io.ReadFull
ReadFull(r Reader, buf []byte) (n int, err error)从输入流中读取正好len(buf)字节的数据。
- 读取到0字节，并且遇到EOF, 返回EOF
- 读取到0<n<len(buf)字节，并且遇到EOF, 返回ErrUnexpectedEOF
- 读取到n==len(buf),即使遇到error也返回err=nil
- 返回err != nil则肯定n<len(buf)
1package main
2import (
3 "fmt"
4 "io"
5 "net"
6 "strings"
7)
8func main() {
9 // 建立连接
10 conn, err := net.Dial("tcp", "rpcx.site:80")
11 if err != nil {
12 fmt.Println("dial error:", err)
13 return
14 }
15 defer conn.Close()
16 // 发送请求, http 1.0 协议
17 fmt.Fprintf(conn, "GET / HTTP/1.0\r\n\r\n")
18 // 读取response
19 var sb strings.Builder
20 buf := make([]byte, 256)
21 for {
22 n, err := io.ReadFull(conn, buf)
23 if err != nil {
24 if err != io.EOF && err != io.ErrUnexpectedEOF {
25 fmt.Println("read error:", err)
26 }
27 break
28 }
29 sb.Write(buf[:n])
30 }
31 // 显示结果
32 fmt.Println("response:", sb.String())
33 fmt.Println("total response size:", sb.Len())
34}io.ReadAtLeast
ReadAtLeast(r Reader, buf []byte, min int) (n int, err error)从输入流中读取至少min个字节到buf中，直到把buf读取满或者遇到 error，包括EOF。
- 如果n < min, 肯定返回错误
- 没有数据可读返回n=0和EOF
- n < min,并且遇到EOF,返回n和ErrUnexpectedEOF
- 如果参数min>len(buf),返回0,ErrShortBuffer
- 如果读取了至少min个字节，即使遇到错误也会返回err=nil
io.LimitReader
LimitReader(r Reader, n int64) Reader返回一个内容长度受限的Reader，当从这个Reader中读取了n个字节一会就会遇到EOF。
设想一下如果没有这个保护措施，别让告诉你发送一个图片，结果发送给你一个3G的葫芦娃的视频，有可能会使你的内存飙升。
它就是提供了一个保护的功能，其它和普通的Reader没有两样。
1package main
2import (
3 "fmt"
4 "io"
5 "net"
6 "strings"
7)
8func main() {
9 // 建立连接
10 conn, err := net.Dial("tcp", "rpcx.site:80")
11 if err != nil {
12 fmt.Println("dial error:", err)
13 return
14 }
15 defer conn.Close()
16 // 发送请求, http 1.0 协议
17 fmt.Fprintf(conn, "GET / HTTP/1.0\r\n\r\n")
18 // 读取response
19 var sb strings.Builder
20 buf := make([]byte, 256)
21 rr := io.LimitReader(conn, 102400)
22 for {
23 n, err := io.ReadAtLeast(rr, buf, 256)
24 if err != nil {
25 if err != io.EOF && err != io.ErrUnexpectedEOF {
26 fmt.Println("read error:", err)
27 }
28 break
29 }
30 sb.Write(buf[:n])
31 }
32 // 显示结果
33 fmt.Println("response:", sb.String())
34 fmt.Println("total response size:", sb.Len())
35}参考资料
- https://github.com/golang/go/issues/20477
- https://stackoverflow.com/questions/24339660/read-whole-data-with-golang-net-conn-read
- https://stackoverflow.com/questions/29221872/golang-read-bytes-from-net-tcpconn
版权申明：内容来源网络，版权归原创者所有。除非无法确认，我们都会标明作者及出处，如有侵权烦请告知，我们会立即删除并表示歉意。谢谢。