最近准备写一些关于golang的技术博文,本文是之前在GitHub上看到的golang技术译文,感觉很有帮助,先给各位读者分享一下。
Go 是一门简单有趣的编程语言,与其他语言一样,在使用时不免会遇到很多坑,不过它们大多不是 Go 本身的设计缺陷。如果你刚从其他语言转到 Go,那这篇文章里的坑多半会踩到。
如果花时间学习官方 doc、wiki、讨论邮件列表、 Rob Pike 的大量文章以及 Go 的源码,会发现这篇文章中的坑是很常见的,新手跳过这些坑,能减少大量调试代码的时间。
使用 HTTP 标准库发起请求、获取响应时,即使你不从响应中读取任何数据或响应为空,都需要手动关闭响应体。新手很容易忘记手动关闭,或者写在了错误的位置:
1// 请求失败造成 panic
2func main() {
3 resp, err := http.Get("https://api.ipify.org?format=json")
4 defer resp.Body.Close() // resp 可能为 nil,不能读取 Body
5 if err != nil {
6 fmt.Println(err)
7 return
8 }
9
10 body, err := ioutil.ReadAll(resp.Body)
11 checkError(err)
12
13 fmt.Println(string(body))
14}
15
16func checkError(err error) {
17 if err != nil{
18 log.Fatalln(err)
19 }
20}
上边的代码能正确发起请求,但是一旦请求失败,变量 resp
值为 nil
,造成 panic:
panic: runtime error: invalid memory address or nil pointer dereference
应该先检查 HTTP 响应错误为 nil
,再调用 resp.Body.Close()
来关闭响应体:
1// 大多数情况正确的示例
2func main() {
3 resp, err := http.Get("https://api.ipify.org?format=json")
4 checkError(err)
5
6 defer resp.Body.Close() // 绝大多数情况下的正确关闭方式
7 body, err := ioutil.ReadAll(resp.Body)
8 checkError(err)
9
10 fmt.Println(string(body))
11}
输出:
Get https://api.ipify.org?format=json: x509: certificate signed by unknown authority
绝大多数请求失败的情况下,resp
的值为 nil
且 err
为 non-nil
。但如果你得到的是重定向错误,那它俩的值都是 non-nil
,最后依旧可能发生内存泄露。2 个解决办法:
defer
来关闭响应体: 1// 正确示例
2func main() {
3 resp, err := http.Get("http://www.baidu.com")
4
5 // 关闭 resp.Body 的正确姿势
6 if resp != nil {
7 defer resp.Body.Close()
8 }
9
10 checkError(err)
11
12 body, err := ioutil.ReadAll(resp.Body)
13 checkError(err)
14
15 fmt.Println(string(body))
16}
resp.Body.Close()
早先版本的实现是读取响应体的数据之后丢弃,保证了 keep-alive 的 HTTP 连接能重用处理不止一个请求。但 Go 的最新版本将读取并丢弃数据的任务交给了用户,如果你不处理,HTTP 连接可能会直接关闭而非重用,参考在 Go 1.5 版本文档。
如果程序大量重用 HTTP 长连接,你可能要在处理响应的逻辑代码中加入:
1_, err = io.Copy(ioutil.Discard, resp.Body) // 手动丢弃读取完毕的数据
如果你需要完整读取响应,上边的代码是需要写的。比如在解码 API 的 JSON 响应数据:
1json.NewDecoder(resp.Body).Decode(&data)
一些支持 HTTP1.1 或 HTTP1.0 配置了 connection: keep-alive
选项的服务器会保持一段时间的长连接。但标准库 "net/http" 的连接默认只在服务器主动要求关闭时才断开,所以你的程序可能会消耗完 socket 描述符。解决办法有 2 个,请求结束后:
Close
字段值为 true
,每次请求结束后就会主动关闭连接。Connection: close
,然后服务器返回的响应头部也会有这个选项,此时 HTTP 标准库会主动断开连接。 1// 主动关闭连接
2func main() {
3 req, err := http.NewRequest("GET", "http://golang.org", nil)
4 checkError(err)
5
6 req.Close = true
7 //req.Header.Add("Connection", "close") // 等效的关闭方式
8
9 resp, err := http.DefaultClient.Do(req)
10 if resp != nil {
11 defer resp.Body.Close()
12 }
13 checkError(err)
14
15 body, err := ioutil.ReadAll(resp.Body)
16 checkError(err)
17
18 fmt.Println(string(body))
19}
你可以创建一个自定义配置的 HTTP transport 客户端,用来取消 HTTP 全局的复用连接:
1func main() {
2 tr := http.Transport{DisableKeepAlives: true}
3 client := http.Client{Transport: &tr}
4
5 resp, err := client.Get("https://golang.google.cn/")
6 if resp != nil {
7 defer resp.Body.Close()
8 }
9 checkError(err)
10
11 fmt.Println(resp.StatusCode) // 200
12
13 body, err := ioutil.ReadAll(resp.Body)
14 checkError(err)
15
16 fmt.Println(len(string(body)))
17}
根据需求选择使用场景:
fs.file-max
的值。在 encode/decode JSON 数据时,Go 默认会将数值当做 float64 处理,比如下边的代码会造成 panic:
1func main() {
2 var data = []byte(`{"status": 200}`)
3 var result map[string]interface{}
4
5 if err := json.Unmarshal(data, &result); err != nil {
6 log.Fatalln(err)
7 }
8
9 fmt.Printf("%T\n", result["status"]) // float64
10 var status = result["status"].(int) // 类型断言错误
11 fmt.Println("Status value: ", status)
12}
panic: interface conversion: interface {} is float64, not int
如果你尝试 decode 的 JSON 字段是整型,你可以:
1// 将 decode 的值转为 int 使用
2func main() {
3 var data = []byte(`{"status": 200}`)
4 var result map[string]interface{}
5
6 if err := json.Unmarshal(data, &result); err != nil {
7 log.Fatalln(err)
8 }
9
10 var status = uint64(result["status"].(float64))
11 fmt.Println("Status value: ", status)
12}
Decoder
类型来 decode JSON 数据,明确表示字段的值类型 1// 指定字段类型
2func main() {
3 var data = []byte(`{"status": 200}`)
4 var result map[string]interface{}
5
6 var decoder = json.NewDecoder(bytes.NewReader(data))
7 decoder.UseNumber()
8
9 if err := decoder.Decode(&result); err != nil {
10 log.Fatalln(err)
11 }
12
13 var status, _ = result["status"].(json.Number).Int64()
14 fmt.Println("Status value: ", status)
15}
16
17 // 你可以使用 string 来存储数值数据,在 decode 时再决定按 int 还是 float 使用
18 // 将数据转为 decode 为 string
19 func main() {
20 var data = []byte({"status": 200})
21 var result map[string]interface{}
22 var decoder = json.NewDecoder(bytes.NewReader(data))
23 decoder.UseNumber()
24 if err := decoder.Decode(&result); err != nil {
25 log.Fatalln(err)
26 }
27 var status uint64
28 err := json.Unmarshal([]byte(result["status"].(json.Number).String()), &status);
29 checkError(err)
30 fmt.Println("Status value: ", status)
31}
- 使用 struct
类型将你需要的数据映射为数值型
go // struct 中指定字段类型 func main() { var data = []byte(`{"status": 200}`) var result struct { Status uint64 `json:"status"` } ¨K113K }
struct
将数值类型映射为 json.RawMessage
原生数据类型
适用于如果 JSON 数据不着急 decode 或 JSON 某个字段的值类型不固定等情况: 1// 状态名称可能是 int 也可能是 string,指定为 json.RawMessage 类型
2func main() {
3 records := [][]byte{
4 []byte(`{"status":200, "tag":"one"}`),
5 []byte(`{"status":"ok", "tag":"two"}`),
6 }
7
8 for idx, record := range records {
9 var result struct {
10 StatusCode uint64
11 StatusName string
12 Status json.RawMessage `json:"status"`
13 Tag string `json:"tag"`
14 }
15
16 err := json.NewDecoder(bytes.NewReader(record)).Decode(&result)
17 checkError(err)
18
19 var name string
20 err = json.Unmarshal(result.Status, &name)
21 if err == nil {
22 result.StatusName = name
23 }
24
25 var code uint64
26 err = json.Unmarshal(result.Status, &code)
27 if err == nil {
28 result.StatusCode = code
29 }
30
31 fmt.Printf("[%v] result => %+v\n", idx, result)
32 }
33}
可以使用相等运算符 ==
来比较结构体变量,前提是两个结构体的成员都是可比较的类型:
1type data struct {
2 num int
3 fp float32
4 complex complex64
5 str string
6 char rune
7 yes bool
8 events <-chan string
9 handler interface{}
10 ref *byte
11 raw [10]byte
12}
13
14func main() {
15 v1 := data{}
16 v2 := data{}
17 fmt.Println("v1 == v2: ", v1 == v2) // true
18}
如果两个结构体中有任意成员是不可比较的,将会造成编译错误。注意数组成员只有在数组元素可比较时候才可比较。
1type data struct {
2 num int
3 checks [10]func() bool // 无法比较
4 doIt func() bool // 无法比较
5 m map[string]string // 无法比较
6 bytes []byte // 无法比较
7}
8
9func main() {
10 v1 := data{}
11 v2 := data{}
12
13 fmt.Println("v1 == v2: ", v1 == v2)
14}
invalid operation: v1 == v2 (struct containing [10]func() bool cannot be compared)
Go 提供了一些库函数来比较那些无法使用 ==
比较的变量,比如使用 "reflect" 包的 DeepEqual()
:
1// 比较相等运算符无法比较的元素
2func main() {
3 v1 := data{}
4 v2 := data{}
5 fmt.Println("v1 == v2: ", reflect.DeepEqual(v1, v2)) // true
6
7 m1 := map[string]string{"one": "a", "two": "b"}
8 m2 := map[string]string{"two": "b", "one": "a"}
9 fmt.Println("v1 == v2: ", reflect.DeepEqual(m1, m2)) // true
10
11 s1 := []int{1, 2, 3}
12 s2 := []int{1, 2, 3}
13 // 注意两个 slice 相等,值和顺序必须一致
14 fmt.Println("v1 == v2: ", reflect.DeepEqual(s1, s2)) // true
15}
这种比较方式可能比较慢,根据你的程序需求来使用。DeepEqual()
还有其他用法:
1func main() {
2 var b1 []byte = nil
3 b2 := []byte{}
4 fmt.Println("b1 == b2: ", reflect.DeepEqual(b1, b2)) // false
5}
注意:
DeepEqual()
并不总适合于比较 slice 1func main() {
2 var str = "one"
3 var in interface{} = "one"
4 fmt.Println("str == in: ", reflect.DeepEqual(str, in)) // true
5
6 v1 := []string{"one", "two"}
7 v2 := []string{"two", "one"}
8 fmt.Println("v1 == v2: ", reflect.DeepEqual(v1, v2)) // false
9
10 data := map[string]interface{}{
11 "code": 200,
12 "value": []string{"one", "two"},
13 }
14 encoded, _ := json.Marshal(data)
15 var decoded map[string]interface{}
16 json.Unmarshal(encoded, &decoded)
17 fmt.Println("data == decoded: ", reflect.DeepEqual(data, decoded)) // false
18}
如果要大小写不敏感来比较 byte 或 string 中的英文文本,可以使用 "bytes" 或 "strings" 包的 ToUpper()
和 ToLower()
函数。比较其他语言的 byte 或 string,应使用 bytes.EqualFold()
和 strings.EqualFold()
如果 byte slice 中含有验证用户身份的数据(密文哈希、token 等),不应再使用 reflect.DeepEqual()
、bytes.Equal()
、 bytes.Compare()
。这三个函数容易对程序造成 timing attacks,此时应使用 "crypto/subtle" 包中的 subtle.ConstantTimeCompare()
等函数
reflect.DeepEqual()
认为空 slice 与 nil slice 并不相等,但注意 byte.Equal()
会认为二者相等:1func main() {
2 var b1 []byte = nil
3 b2 := []byte{}
4
5 // b1 与 b2 长度相等、有相同的字节序
6 // nil 与 slice 在字节上是相同的
7 fmt.Println("b1 == b2: ", bytes.Equal(b1, b2)) // true
8}
在一个 defer 延迟执行的函数中调用 recover()
,它便能捕捉 / 中断 panic
1// 错误的 recover 调用示例
2func main() {
3 recover() // 什么都不会捕捉
4 panic("not good") // 发生 panic,主程序退出
5 recover() // 不会被执行
6 println("ok")
7}
8
9// 正确的 recover 调用示例
10func main() {
11 defer func() {
12 fmt.Println("recovered: ", recover())
13 }()
14 panic("not good")
15}
从上边可以看出,recover()
仅在 defer 执行的函数中调用才会生效。
1// 错误的调用示例
2func main() {
3 defer func() {
4 doRecover()
5 }()
6 panic("not good")
7}
8
9func doRecover() {
10 fmt.Println("recobered: ", recover())
11}
recobered: panic: not good
在 range 迭代中,得到的值其实是元素的一份值拷贝,更新拷贝并不会更改原来的元素,即是拷贝的地址并不是原有元素的地址:
1func main() {
2 data := []int{1, 2, 3}
3 for _, v := range data {
4 v *= 10 // data 中原有元素是不会被修改的
5 }
6 fmt.Println("data: ", data) // data: [1 2 3]
7}
如果要修改原有元素的值,应该使用索引直接访问:
1func main() {
2 data := []int{1, 2, 3}
3 for i, v := range data {
4 data[i] = v * 10
5 }
6 fmt.Println("data: ", data) // data: [10 20 30]
7}
如果你的集合保存的是指向值的指针,需稍作修改。依旧需要使用索引访问元素,不过可以使用 range 出来的元素直接更新原有值:
1func main() {
2 data := []*struct{ num int }{{1}, {2}, {3},}
3 for _, v := range data {
4 v.num *= 10 // 直接使用指针更新
5 }
6 fmt.Println(data[0], data[1], data[2]) // &{10} &{20} &{30}
7}
从 slice 中重新切出新 slice 时,新 slice 会引用原 slice 的底层数组。如果跳了这个坑,程序可能会分配大量的临时 slice 来指向原底层数组的部分数据,将导致难以预料的内存使用。
1func get() []byte {
2 raw := make([]byte, 10000)
3 fmt.Println(len(raw), cap(raw), &raw[0]) // 10000 10000 0xc420080000
4 return raw[:3] // 重新分配容量为 10000 的 slice
5}
6
7func main() {
8 data := get()
9 fmt.Println(len(data), cap(data), &data[0]) // 3 10000 0xc420080000
10}
可以通过拷贝临时 slice 的数据,而不是重新切片来解决:
1func get() (res []byte) {
2 raw := make([]byte, 10000)
3 fmt.Println(len(raw), cap(raw), &raw[0]) // 10000 10000 0xc420080000
4 res = make([]byte, 3)
5 copy(res, raw[:3])
6 return
7}
8
9func main() {
10 data := get()
11 fmt.Println(len(data), cap(data), &data[0]) // 3 3 0xc4200160b8
12}
举个简单例子,重写文件路径(存储在 slice 中)
分割路径来指向每个不同级的目录,修改第一个目录名再重组子目录名,创建新路径:
1// 错误使用 slice 的拼接示例
2func main() {
3 path := []byte("AAAA/BBBBBBBBB")
4 sepIndex := bytes.IndexByte(path, '/') // 4
5 println(sepIndex)
6
7 dir1 := path[:sepIndex]
8 dir2 := path[sepIndex+1:]
9 println("dir1: ", string(dir1)) // AAAA
10 println("dir2: ", string(dir2)) // BBBBBBBBB
11
12 dir1 = append(dir1, "suffix"...)
13 println("current path: ", string(path)) // AAAAsuffixBBBB
14
15 path = bytes.Join([][]byte{dir1, dir2}, []byte{'/'})
16 println("dir1: ", string(dir1)) // AAAAsuffix
17 println("dir2: ", string(dir2)) // uffixBBBB
18
19 println("new path: ", string(path)) // AAAAsuffix/uffixBBBB // 错误结果
20}
拼接的结果不是正确的 AAAAsuffix/BBBBBBBBB
,因为 dir1、 dir2 两个 slice 引用的数据都是 path
的底层数组,第 13 行修改 dir1
同时也修改了 path
,也导致了 dir2
的修改
解决方法:
input[low:high:max]
,容量便调整为 max - low 1// 使用 full slice expression
2func main() {
3
4 path := []byte("AAAA/BBBBBBBBB")
5 sepIndex := bytes.IndexByte(path, '/') // 4
6 dir1 := path[:sepIndex:sepIndex] // 此时 cap(dir1) 指定为4, 而不是先前的 16
7 dir2 := path[sepIndex+1:]
8 dir1 = append(dir1, "suffix"...)
9
10 path = bytes.Join([][]byte{dir1, dir2}, []byte{'/'})
11 println("dir1: ", string(dir1)) // AAAAsuffix
12 println("dir2: ", string(dir2)) // BBBBBBBBB
13 println("new path: ", string(path)) // AAAAsuffix/BBBBBBBBB
14}
第 6 行中第三个参数是用来控制 dir1 的新容量,再往 dir1 中 append 超额元素时,将分配新的 buffer 来保存。而不是覆盖原来的 path 底层数组
当你从一个已存在的 slice 创建新 slice 时,二者的数据指向相同的底层数组。如果你的程序使用这个特性,那需要注意 "旧"(stale) slice 问题。
某些情况下,向一个 slice 中追加元素而它指向的底层数组容量不足时,将会重新分配一个新数组来存储数据。而其他 slice 还指向原来的旧底层数组。
1// 超过容量将重新分配数组来拷贝值、重新存储
2func main() {
3 s1 := []int{1, 2, 3}
4 fmt.Println(len(s1), cap(s1), s1) // 3 3 [1 2 3 ]
5
6 s2 := s1[1:]
7 fmt.Println(len(s2), cap(s2), s2) // 2 2 [2 3]
8
9 for i := range s2 {
10 s2[i] += 20
11 }
12 // 此时的 s1 与 s2 是指向同一个底层数组的
13 fmt.Println(s1) // [1 22 23]
14 fmt.Println(s2) // [22 23]
15
16 s2 = append(s2, 4) // 向容量为 2 的 s2 中再追加元素,此时将分配新数组来存
17
18 for i := range s2 {
19 s2[i] += 10
20 }
21 fmt.Println(s1) // [1 22 23] // 此时的 s1 不再更新,为旧数据
22 fmt.Println(s2) // [32 33 14]
23}
从一个现有的非 interface 类型创建新类型时,并不会继承原有的方法:
1// 定义 Mutex 的自定义类型
2type myMutex sync.Mutex
3
4func main() {
5 var mtx myMutex
6 mtx.Lock()
7 mtx.UnLock()
8}
mtx.Lock undefined (type myMutex has no field or method Lock)…
如果你需要使用原类型的方法,可将原类型以匿名字段的形式嵌到你定义的新 struct 中:
1// 类型以字段形式直接嵌入
2type myLocker struct {
3 sync.Mutex
4}
5
6func main() {
7 var locker myLocker
8 locker.Lock()
9 locker.Unlock()
10}
interface 类型声明也保留它的方法集:
1type myLocker sync.Locker
2
3func main() {
4 var locker myLocker
5 locker.Lock()
6 locker.Unlock()
7}
没有指定标签的 break 只会跳出 switch/select 语句,若不能使用 return 语句跳出的话,可为 break 跳出标签指定的代码块:
1// break 配合 label 跳出指定代码块
2func main() {
3loop:
4 for {
5 switch {
6 case true:
7 fmt.Println("breaking out...")
8 //break // 死循环,一直打印 breaking out...
9 break loop
10 }
11 }
12 fmt.Println("out...")
13}
goto
虽然也能跳转到指定位置,但依旧会再次进入 for-switch,死循环。
for 语句中的迭代变量在每次迭代中都会重用,即 for 中创建的闭包函数接收到的参数始终是同一个变量,在 goroutine 开始执行时都会得到同一个迭代值:
1func main() {
2 data := []string{"one", "two", "three"}
3
4 for _, v := range data {
5 go func() {
6 fmt.Println(v)
7 }()
8 }
9
10 time.Sleep(3 * time.Second)
11 // 输出 three three three
12}
最简单的解决方法:无需修改 goroutine 函数,在 for 内部使用局部变量保存迭代值,再传参:
1func main() {
2 data := []string{"one", "two", "three"}
3
4 for _, v := range data {
5 vCopy := v
6 go func() {
7 fmt.Println(vCopy)
8 }()
9 }
10
11 time.Sleep(3 * time.Second)
12 // 输出 one two three
13}
另一个解决方法:直接将当前的迭代值以参数形式传递给匿名函数:
1func main() {
2 data := []string{"one", "two", "three"}
3
4 for _, v := range data {
5 go func(in string) {
6 fmt.Println(in)
7 }(v)
8 }
9
10 time.Sleep(3 * time.Second)
11 // 输出 one two three
12}
注意下边这个稍复杂的 3 个示例区别:
1type field struct {
2 name string
3}
4
5func (p *field) print() {
6 fmt.Println(p.name)
7}
8
9// 错误示例
10func main() {
11 data := []field{{"one"}, {"two"}, {"three"}}
12 for _, v := range data {
13 go v.print()
14 }
15 time.Sleep(3 * time.Second)
16 // 输出 three three three
17}
18
19
20// 正确示例
21func main() {
22 data := []field{{"one"}, {"two"}, {"three"}}
23 for _, v := range data {
24 v := v
25 go v.print()
26 }
27 time.Sleep(3 * time.Second)
28 // 输出 one two three
29}
30
31// 正确示例
32func main() {
33 data := []*field{{"one"}, {"two"}, {"three"}}
34 for _, v := range data { // 此时迭代值 v 是三个元素值的地址,每次 v 指向的值不同
35 go v.print()
36 }
37 time.Sleep(3 * time.Second)
38 // 输出 one two three
39}
对 defer 延迟执行的函数,它的参数会在声明时候就会求出具体值,而不是在执行时才求值:
1// 在 defer 函数中参数会提前求值
2func main() {
3 var i = 1
4 defer fmt.Println("result: ", func() int { return i * 2 }())
5 i++
6}
result: 2
对 defer 延迟执行的函数,会在调用它的函数结束时执行,而不是在调用它的语句块结束时执行,注意区分开。
比如在一个长时间执行的函数里,内部 for 循环中使用 defer 来清理每次迭代产生的资源调用,就会出现问题:
1// 命令行参数指定目录名
2// 遍历读取目录下的文件
3func main() {
4
5 if len(os.Args) != 2 {
6 os.Exit(1)
7 }
8
9 dir := os.Args[1]
10 start, err := os.Stat(dir)
11 if err != nil || !start.IsDir() {
12 os.Exit(2)
13 }
14
15 var targets []string
16 filepath.Walk(dir, func(fPath string, fInfo os.FileInfo, err error) error {
17 if err != nil {
18 return err
19 }
20
21 if !fInfo.Mode().IsRegular() {
22 return nil
23 }
24
25 targets = append(targets, fPath)
26 return nil
27 })
28
29 for _, target := range targets {
30 f, err := os.Open(target)
31 if err != nil {
32 fmt.Println("bad target:", target, "error:", err) //error:too many open files
33 break
34 }
35 defer f.Close() // 在每次 for 语句块结束时,不会关闭文件资源
36
37 // 使用 f 资源
38 }
39}
先创建 10000 个文件:
1#!/bin/bash
2for n in {1..10000}; do
3 echo content > "file${n}.txt"
4done
运行效果:
解决办法:defer 延迟执行的函数写入匿名函数中:
1// 目录遍历正常
2func main() {
3 // ...
4
5 for _, target := range targets {
6 func() {
7 f, err := os.Open(target)
8 if err != nil {
9 fmt.Println("bad target:", target, "error:", err)
10 return // 在匿名函数内使用 return 代替 break 即可
11 }
12 defer f.Close() // 匿名函数执行结束,调用关闭文件资源
13
14 // 使用 f 资源
15 }()
16 }
17}
当然你也可以去掉 defer,在文件资源使用完毕后,直接调用 f.Close()
来关闭。
在类型断言语句中,断言失败则会返回目标类型的“零值”,断言变量与原来变量混用可能出现异常情况:
1// 错误示例
2func main() {
3 var data interface{} = "great"
4
5 // data 混用
6 if data, ok := data.(int); ok {
7 fmt.Println("[is an int], data: ", data)
8 } else {
9 fmt.Println("[not an int], data: ", data) // [isn't a int], data: 0
10 }
11}
12
13
14// 正确示例
15func main() {
16 var data interface{} = "great"
17
18 if res, ok := data.(int); ok {
19 fmt.Println("[is an int], data: ", res)
20 } else {
21 fmt.Println("[not an int], data: ", data) // [not an int], data: great
22 }
23}
在 2012 年 Google I/O 大会上,Rob Pike 的 Go Concurrency Patterns 演讲讨论 Go 的几种基本并发模式,如 完整代码 中从数据集中获取第一条数据的函数:
1func First(query string, replicas []Search) Result {
2 c := make(chan Result)
3 replicaSearch := func(i int) { c <- replicas[i](query) }
4 for i := range replicas {
5 go replicaSearch(i)
6 }
7 return <-c
8}
在搜索重复时依旧每次都起一个 goroutine 去处理,每个 goroutine 都把它的搜索结果发送到结果 channel 中,channel 中收到的第一条数据会直接返回。
返回完第一条数据后,其他 goroutine 的搜索结果怎么处理?他们自己的协程如何处理?
在 First()
中的结果 channel 是无缓冲的,这意味着只有第一个 goroutine 能返回,由于没有 receiver,其他的 goroutine 会在发送上一直阻塞。如果你大量调用,则可能造成资源泄露。
为避免泄露,你应该确保所有的 goroutine 都能正确退出,有 2 个解决方法:
1func First(query string, replicas ...Search) Result {
2 c := make(chan Result,len(replicas))
3 searchReplica := func(i int) { c <- replicas[i](query) }
4 for i := range replicas {
5 go searchReplica(i)
6 }
7 return <-c
8}
select
语句,配合能保存一个缓冲值的 channel default
语句:
default
的缓冲 channel 保证了即使结果 channel 收不到数据,也不会阻塞 goroutine 1func First(query string, replicas ...Search) Result {
2 c := make(chan Result,1)
3 searchReplica := func(i int) {
4 select {
5 case c <- replicas[i](query):
6 default:
7 }
8 }
9 for i := range replicas {
10 go searchReplica(i)
11 }
12 return <-c
13}
1func First(query string, replicas ...Search) Result {
2 c := make(chan Result)
3 done := make(chan struct{})
4 defer close(done)
5 searchReplica := func(i int) {
6 select {
7 case c <- replicas[i](query):
8 case <- done:
9 }
10 }
11 for i := range replicas {
12 go searchReplica(i)
13 }
14
15 return <-c
16}
Rob Pike 为了简化演示,没有提及演讲代码中存在的这些问题。不过对于新手来说,可能会不加思考直接使用。
只要值是可寻址的,就可以在值上直接调用指针方法。即是对一个方法,它的 receiver 是指针就足矣。
但不是所有值都是可寻址的,比如 map 类型的元素、通过 interface 引用的变量:
1type data struct {
2 name string
3}
4
5type printer interface {
6 print()
7}
8
9func (p *data) print() {
10 fmt.Println("name: ", p.name)
11}
12
13func main() {
14 d1 := data{"one"}
15 d1.print() // d1 变量可寻址,可直接调用指针 receiver 的方法
16
17 var in printer = data{"two"}
18 in.print() // 类型不匹配
19
20 m := map[string]data{
21 "x": data{"three"},
22 }
23 m["x"].print() // m["x"] 是不可寻址的 // 变动频繁
24}
cannot use data literal (type data) as type printer in assignment: data does not implement printer (print method has pointer receiver) cannot call pointer method on m["x"] cannot take the address of m["x"]
如果 map 一个字段的值是 struct 类型,则无法直接更新该 struct 的单个字段:
1// 无法直接更新 struct 的字段值
2type data struct {
3 name string
4}
5
6func main() {
7 m := map[string]data{
8 "x": {"Tom"},
9 }
10 m["x"].name = "Jerry"
11}
cannot assign to struct field m["x"].name in map
因为 map 中的元素是不可寻址的。需区分开的是,slice 的元素可寻址:
1type data struct {
2 name string
3}
4
5func main() {
6 s := []data{{"Tom"}}
7 s[0].name = "Jerry"
8 fmt.Println(s) // [{Jerry}]
9}
注意:不久前 gccgo 编译器可更新 map struct 元素的字段值,不过很快便修复了,官方认为是 Go1.3 的潜在特性,无需及时实现,依旧在 todo list 中。
更新 map 中 struct 元素的字段值,有 2 个方法:
1// 提取整个 struct 到局部变量中,修改字段值后再整个赋值
2type data struct {
3 name string
4}
5
6func main() {
7 m := map[string]data{
8 "x": {"Tom"},
9 }
10 r := m["x"]
11 r.name = "Jerry"
12 m["x"] = r
13 fmt.Println(m) // map[x:{Jerry}]
14}
1func main() {
2 m := map[string]*data{
3 "x": {"Tom"},
4 }
5
6 m["x"].name = "Jerry" // 直接修改 m["x"] 中的字段
7 fmt.Println(m["x"]) // &{Jerry}
8}
但是要注意下边这种误用:
1func main() {
2 m := map[string]*data{
3 "x": {"Tom"},
4 }
5 m["z"].name = "what???"
6 fmt.Println(m["x"])
7}
panic: runtime error: invalid memory address or nil pointer dereference
虽然 interface 看起来像指针类型,但它不是。interface 类型的变量只有在类型和值均为 nil 时才为 nil
如果你的 interface 变量的值是跟随其他变量变化的(雾),与 nil 比较相等时小心:
1func main() {
2 var data *byte
3 var in interface{}
4
5 fmt.Println(data, data == nil) // <nil> true
6 fmt.Println(in, in == nil) // <nil> true
7
8 in = data
9 fmt.Println(in, in == nil) // <nil> false // data 值为 nil,但 in 值不为 nil
10}
如果你的函数返回值类型是 interface,更要小心这个坑:
1// 错误示例
2func main() {
3 doIt := func(arg int) interface{} {
4 var result *struct{} = nil
5 if arg > 0 {
6 result = &struct{}{}
7 }
8 return result
9 }
10
11 if res := doIt(-1); res != nil {
12 fmt.Println("Good result: ", res) // Good result: <nil>
13 fmt.Printf("%T\n", res) // *struct {} // res 不是 nil,它的值为 nil
14 fmt.Printf("%v\n", res) // <nil>
15 }
16}
17
18
19// 正确示例
20func main() {
21 doIt := func(arg int) interface{} {
22 var result *struct{} = nil
23 if arg > 0 {
24 result = &struct{}{}
25 } else {
26 return nil // 明确指明返回 nil
27 }
28 return result
29 }
30
31 if res := doIt(-1); res != nil {
32 fmt.Println("Good result: ", res)
33 } else {
34 fmt.Println("Bad result: ", res) // Bad result: <nil>
35 }
36}
你并不总是清楚你的变量是分配到了堆还是栈。
在 C++ 中使用 new
创建的变量总是分配到堆内存上的,但在 Go 中即使使用 new()
、make()
来创建变量,变量为内存分配位置依旧归 Go 编译器管。
Go 编译器会根据变量的大小及其 "escape analysis" 的结果来决定变量的存储位置,故能准确返回本地变量的地址,这在 C/C++ 中是不行的。
在 go build 或 go run 时,加入 -m 参数,能准确分析程序的变量分配位置:
Go 1.4 及以下版本,程序只会使用 1 个执行上下文 / OS 线程,即任何时间都最多只有 1 个 goroutine 在执行。
Go 1.5 版本将可执行上下文的数量设置为 runtime.NumCPU()
返回的逻辑 CPU 核心数,这个数与系统实际总的 CPU 逻辑核心数是否一致,取决于你的 CPU 分配给程序的核心数,可以使用 GOMAXPROCS
环境变量或者动态的使用 runtime.GOMAXPROCS()
来调整。
误区:GOMAXPROCS
表示执行 goroutine 的 CPU 核心数,参考文档
GOMAXPROCS
的值是可以超过 CPU 的实际数量的,在 1.5 中最大为 256
1func main() {
2 fmt.Println(runtime.GOMAXPROCS(-1)) // 4
3 fmt.Println(runtime.NumCPU()) // 4
4 runtime.GOMAXPROCS(20)
5 fmt.Println(runtime.GOMAXPROCS(-1)) // 20
6 runtime.GOMAXPROCS(300)
7 fmt.Println(runtime.GOMAXPROCS(-1)) // Go 1.9.2 // 300
8}
Go 可能会重排一些操作的执行顺序,可以保证在一个 goroutine 中操作是顺序执行的,但不保证多 goroutine 的执行顺序:
1var _ = runtime.GOMAXPROCS(3)
2
3var a, b int
4
5func u1() {
6 a = 1
7 b = 2
8}
9
10func u2() {
11 a = 3
12 b = 4
13}
14
15func p() {
16 println(a)
17 println(b)
18}
19
20func main() {
21 go u1() // 多个 goroutine 的执行顺序不定
22 go u2()
23 go p()
24 time.Sleep(1 * time.Second)
25}
运行效果:
如果你想保持多 goroutine 像代码中的那样顺序执行,可以使用 channel 或 sync 包中的锁机制等。
你的程序可能出现一个 goroutine 在运行时阻止了其他 goroutine 的运行,比如程序中有一个不让调度器运行的 for
循环:
1func main() {
2 done := false
3
4 go func() {
5 done = true
6 }()
7
8 for !done {
9 }
10
11 println("done !")
12}
for
的循环体不必为空,但如果代码不会触发调度器执行,将出现问题。
调度器会在 GC、Go 声明、阻塞 channel、阻塞系统调用和锁操作后再执行,也会在非内联函数调用时执行:
1func main() {
2 done := false
3
4 go func() {
5 done = true
6 }()
7
8 for !done {
9 println("not done !") // 并不内联执行
10 }
11
12 println("done !")
13}
可以添加 -m
参数来分析 for
代码块中调用的内联函数:
你也可以使用 runtime 包中的 Gosched()
来 手动启动调度器:
1func main() {
2 done := false
3
4 go func() {
5 done = true
6 }()
7
8 for !done {
9 runtime.Gosched()
10 }
11
12 println("done !")
13}
运行效果:
本文转载自https://github.com/wuYin/blog/blob/master/50-shades-of-golang-traps-gotchas-mistakes.md