学习gorm系列七：如何高效建立数据库连接？
大家好，我是渔夫子。
本期我们学习下gorm在执行具体的sql时是如何获取数据库连接以及释放连接的。
一、回顾
在上一期中我们学习了gorm是如何和数据库建立连接的过程。实际上通过gorm.Open函数并没有和数据库建立连接，而只是返回了一个全局的gorm.DB对象。真正的数据库连接是在具体执行sql语句时才建立的。比如在执行db.First、db.Find或db.Update等语句时。
我们以查询为例，如下：
func main() {
dsn := "username:password@tcp(127.0.0.1:3306)/test01?charset=utf8mb4&parseTime=True&loc=Local&timeout=1000ms"
db, _ := gorm.Open(mysql.Open(dsn), nil)
var row MTest
db.First(&row)
fmt.Printf("接收的sql语句:%s\n", sql)
}
那么，在执行db.First时才会和数据库建立真正的连接。
我们上期也提到过，gorm是依赖于golang的database/sql标准库的。所以，gorm的数据库连接的建立和释放是在该库中的。具体代码在标准库database/sql/sql.go的DB.conn函数中。这个相关的代码是在gorm/callbacks/query.go文件中的Query函数中执行的：
func Query(db *gorm.DB) {
if db.Error == nil {
BuildQuerySQL(db)
if !db.DryRun && db.Error == nil {
rows, err := db.Statement.ConnPool.QueryContext(db.Statement.Context, db.Statement.SQL.String(), db.Statement.Vars...)
if err != nil {
db.AddError(err)
return
}
defer func() {
db.AddError(rows.Close())
}()
gorm.Scan(rows, db, 0)
}
}
}
我们看第6行的db.Statement.ConnPool是sql.DB对象，sql.DB对象的QueryContext函数继续调用了sql.DB 的query函数，如下：
func (db *DB) query(ctx context.Context, query string, args []any, strategy connReuseStrategy) (*Rows, error) {
dc, err := db.conn(ctx, strategy)
if err != nil {
return nil, err
}
return db.queryDC(ctx, nil, dc, dc.releaseConn, query, args)
}
这里的db.conn函数就是和数据库建立的地方。接下来，我们详细看该函数的实现。由于该函数代码比较多，大家有兴趣可以查看对应的源码。这里我们分析一下该函数的直接建立连接、空闲连接池以及最大连接数限制这三个方面的策略。
二、直接建立连接
最简单的方式就是每执行一次sql语句就和数据库建立一次连接，执行完毕就释放掉该链接。然后，再有sql语句执行，就再建立连接。如果有多个sql语句的查询，就会建立多个数据库连接。如下：
func main() {
dsn := "username:password@tcp(127.0.0.1:3306)/test01?charset=utf8mb4&parseTime=True&loc=Local&timeout=1000ms"
db, _ := gorm.Open(mysql.Open(dsn), nil)
var row MTest
db.First(&row)
db.First(&row)
fmt.Printf("接收的sql语句:%s\n", sql)
}
上面代码中有2次查询，那么就会建立2个数据库连接。
我们知道和数据库建立连接是TCP连接，每次都新建立一个链接，效率难免会很低（时间和机器资源）。那么是不是可以复用连接呢？
三、空闲连接池
在sql.DB的结构中，有个freeConn字段，如下：
type DB struct {
freeConn []*driverConn
}
这个字段就是用来缓存空闲连接的。这个逻辑是当一个sql执行完毕后，其对应的连接并不会立即关闭，而是放入到freeConn中；等再有sql执行时，直接从freeConn中复用已有的数据库连接，而非再建立新的连接。如下：
四、控制连接数
当然，如果并发数高的情况下，空闲连接池就起不到作用了，因为建立的连接请求数已经远远大于空闲连接数了。那么，要想不让连接数失控，就需要提供一个最大连接数的限制。当请求建立连接的数量大于这个最大的阈值时，就需要等待。也就是所谓的限流。
在sql.DB结构体中用的字段是maxOpen和numOpen，如下：
type DB struct {
numOpen int // number of opened and pending open connections
maxOpen int // <= 0 means unlimited
}
增加了最大连接数限制之后，客户端获取数据库连接的逻辑变成如下这样：
image.png
这里是当客户端2再请求连接时，发现连接数已经超过了当前最大连接数，则进入到等待队列进行阻塞等待；当客户端1执行完毕，释放连接时，并不直接放入缓存池，而是直接发送给等待的通道，这样就避免了再次和数据库建立连接。
五、总结
我们再结合上空闲连接池的机制，那么，sql.DB对于连接的复用机制整体如下：
- 先从空闲连接池中获取。若有空闲连接，则直接使用；否则，进入下一步。
- 若有最大连接数限制，则判断是否超过了最大连接数，若未超过，则建立新连接；否则，进入到连接等待队列。
- 建立新连接，执行sql。
- 释放连接。若连接等待中有等待的请求，则直接给等待的请求复用连接。否则，放入到空闲连接池。
image.png
好了，以上就是我们本期要分享的内容，希望对你有所帮助。
特别说明：你的关注，是我写下去的最大动力。点击下方公众号卡片，直接关注。关注送《100个go常见的错误》pdf文档、经典go学习资料。