一些Golang小技巧

今天给大家介绍3个我觉得比较有启发的Golang小技巧,分别是以下几个代码片段

  • nsq里的select写文件和socket
  • io模块里的sendfile
  • fasthttp里对header的处理

nsq里的select读

在nsq中,需要读取之前磁盘上的,或者是从内存中直接读取,一般人都是先判断内存中有没有数据,然而,nsq另辟蹊径使用了select语句,把CSP模式用到了极致。

源文件链接:channel.go

		select {
		case msg = <-c.memoryMsgChan:  //尝试从内存中读取
		case buf = <-c.backend.ReadChan(): //如果内存中没有,直接从磁盘上读取
			msg, err = decodeMessage(buf)
			if err != nil {
				c.ctx.nsqd.logf("ERROR: failed to decode message - %s", err)
				continue
			}

io模块中的sendfile

经过精巧的io.ReadFrom interface设计,sendfile对上层的http handler完全透明,具体调用如图所示

+----------------+
| http.ServeFile |
+--------+-------+
         |
+--------+--------+      +----------------+            +---------------------------------+
|     os.File     +------>     io.Copy    |            | http.Response                   |
+--------+--------+      +--------+-------+            | +-----------------------------+ |
         |                        |                    | | net.TCPConn                 | |
         |               +--------v-------+  2. has?   | | +-------------------------+ | |
         |               |  io.CopyBuffer +--------->  | | | io.ReadFrom             | | +-----+
         |               +--------+-------+            | | | +---------------------+ | | |     |
         |                        |                    | | | | sednfile (syscall)  | | | |     |
         |                        |                    | | | +---------------------+ | | |     |
         |                        |                    | | +-------------------------+ | |     |
         |                        |                    | +-----------------------------+ |     |
         |                        |                    +---------------------------------+     |
         |   4. do it!   +--------v------+   3. YES!                                           |
         +--------------->     syscall   <-----------------------------------------------------+
                         +----------------
  1. http模块对于文件只是简单地直接打开,获取文件描述符(file descriptor)
  2. http模块调用io.Copy函数,io.Copy函数开始检查Reader Writer是否特殊的ReadFrom,WriteTo接口 func copyBuffer(dst Writer, src Reader, buf []byte) (written int64, err error) { // bla.... // Similarly, if the writer has a ReadFrom method, use it to do the copy. if rt, ok := dst.(ReaderFrom); ok { return rt.ReadFrom(src) }
  3. 完成判断,并直接调用net.TCPConn模块下的ReadFrom接口,里面写上了sendfile func (c *TCPConn) ReadFrom(r io.Reader) (int64, error) { if n, err, handled := sendFile(c.fd, r); handled { if err != nil && err != io.EOF { err = &OpError{Op: "read", Net: c.fd.net, Source: c.fd.laddr, Addr: c.fd.raddr, Err: err} } return n, err } // skipped....

这样io.Copy的使用者其实不知道自己默默地用了sendfile,同时又保持了接口一致性和很低的耦合度。

更深入的可以移步谢大的教程- interface

fasthttp对于header的处理

fasthttp为什么会比net.http快,其中一个原因就是fasthttp并没有完全地解析所有的http请求header数据。这种做法也称作lazy loading。首先我们从header的struct开始看起吧。

type RequestHeader struct {
        //bla.....
	contentLength      int
	contentLengthBytes []byte

	method      []byte
	requestURI  []byte
	host        []byte
	contentType []byte
	userAgent   []byte

	h     []argsKV
	bufKV argsKV

	cookies []argsKV

	rawHeaders []byte
}

可能大家都很奇怪,Request里没有string,明明method、host都可以用string啊,这是由于string是不可变类型,而从Reader中读出的[]byte是可变类型,因此,从[]byte转化为string时是有copy和alloc行为的。虽然数据量小时,没有什么影响,但是构建高并发系统时,这些小的数据就会变大变多,让gc不堪重负。

request中还有一个特殊的argsKV

type argsKV struct {
	key   []byte
	value []byte
}

其实和上面的理由是一样的,net.http中使用了map[string]string来存储各种其他参数,这就需要alloc,为了达成zero alloc,fasthttp采用了遍历所有header参数来返回,其实也有一定的考虑,那就是大部分的header数量其实都不多,而每次对于短key对比只需要若干个CPU周期,因此算是合理的tradeoff(详见bytes.Equal汇编实现 )

对于[]byte alloc的优化,可以参考Dave Cheney的《Five things that make go fast

原文发布于微信公众号 - Golang语言社区(Golangweb)

原文发表时间:2016-05-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小鄧子的技术博客专栏

【译】使用RxJava从多个数据源获取数据

试想,需要一些动态数据的时候,只要每次都请求网络就可以了。但是,更有效率的做法是,把联网得到的数据,缓存到磁盘或内存。

1782
来自专栏菩提树下的杨过

ZooKeeper 笔记(5) ACL(Access Control List)访问控制列表

zk做为分布式架构中的重要中间件,通常会在上面以节点的方式存储一些关键信息,默认情况下,所有应用都可以读写任何节点,在复杂的应用中,这不太安全,ZK通过ACL机...

8406
来自专栏Android开发指南

17:网络编程

3345
来自专栏LEo的网络日志

tempfile.NamedTemporaryFile创建临时文件在windows没有权限打开

5008
来自专栏漏斗社区

歪?我想要一个XXE。

0x00 背景 近期看到OWASP TOP 10 2017 版中添加了XXE的内容便对XXE的一些知识进行梳理和总结,XXE可以使用例如http,file等协...

4009
来自专栏Java学习网

如何为可扩展系统进行Java Socket编程

如何为可扩展系统进行Java Socket编程 从简单I/O到异步非阻塞channel的Java Socket模型演变之旅 上世纪九十年代后期,我在一家在线视频...

3478
来自专栏PHP在线

我所理解的接口设计

2718
来自专栏程序员宝库

正则表达式实例

来源:寒青 链接:https://segmentfault.com/a/1190000012806098 1. 校验基本日期格式 var reg1 = /^\...

40611
来自专栏安智客

GP TEE中的几种存储方式介绍

我们知道TEEOS最重要的功能莫过于安全存储了,这是一切安全的前提,根据存储安全性和使用场景GP TEE安全存储分为RPMB安全存储、SFS安全存储和SQLFS...

5076
来自专栏奔跑的蛙牛技术博客

Java网络知识之socket

当我们一个client连接一个套接字时,当前线程会被阻塞直到建立连接或者超时为止 同样的当通过套接字读写数据时,当前线程也会被阻塞或者直到超时 对于这种阻塞...

1194

扫码关注云+社区

领取腾讯云代金券