golang建立MongoDB连接池

星回

发布于 2018-08-02 15:23:05

2.3K0

发布于 2018-08-02 15:23:05

最近用go语言重构之前用python草草搭建的推荐引擎，语言杂食确实很难受，不过不得不说，在饱受弱类型脚本语言的摧残之后重新用回强类型语言，轻微强迫症的我居然还有些开心？（终于摆脱没完没了的type assertion啦）

由于用户画像存在MongoDB，因此在引擎里需要连接Mongo，而在高并发的场景下，MongoDB的连接IO成为了瓶颈。虽然只是一次连接，峰值QPS就从3K降到了500……显然，在进程级别上建立一个连接池，达到会话的多请求复用是个基本的需求。

我在工程里用的库是mgo，最简单的代码实例如下：

func GetUserProfile(uid string) (result UserProfile) {  
    session, err = mgo.Dial("ip:port")
    if err != nil {
        return
    }
    defer session.Close()

    user := "user"
    psw := "psw"
    // 如开启验证库，则需多一步auth & login的过程
    auth := "admin"
    err = session.DB(auth).Login(user, psw)

    db := "db"
    result = UserRecord{}
    collection := session.DB(db).C("col")
    err := collection.Find(bson.M{"uid": uid}).One(&result)
    return
}

在一次请求需多次查询的情况下，我们可以在进程启动时发起一次Dial，并将session指针保存在单例中。当有新的请求到来时，调用session.Clone()方法复制一份会话。

var mongoPool map[string]*mgo.Session

func init() {  
    // 根据配置文件名映射不同MongoDB连接
    mongoPool = map[string]*mgo.Session{}
}

/*
    获取MongoDB会话
 */
func GetMongoSession(name string) *mgo.Session {  
    session, ok := mongoPool[name]
    if !ok {
        return nil
    }
    return session.Clone()
}

于是，之前的查询函数可直接改成如下所示：

func GetUserProfile(uid string) (result UserProfile) {  
    session := mongodb.GetMongoSession("user_mongo")
    defer session.Close()
    db := "db"
    result = UserRecord{}
    collection := session.DB(db).C("col")
    err := collection.Find(bson.M{"uid": uid}).One(&result)
    return
}

Dial方式还可以改成下面的方式：

dialInfo := &mgo.DialInfo{  
        Addrs: []string{ip + ":" + port},
        Timeout: time.Second * 3,
        PoolLimit: 4096,
}
session, err = mgo.DialWithInfo(dialInfo)

这里可以在结构体里传入一些参数，如timeout（单次连接最大等待时长）、PoolLimit（连接池最大连接数）。需要注意的是，这里的限制数存在一些问题，当连接达到最大数量同时之前的session没有关闭时，程序就会不停地请求新连接，而造成阻塞。因此，切记一定要在session.Clone()之后调用session.Close()来释放连接。

通过以上的方法，再加上本地缓存用户画像的策略，QPS可提升3倍左右。

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

如有侵权请联系 cloudcommunity@tencent.com 删除

mongodb