Mongo连接分析

摘要

在前面的文章中有分析过关系型数据库的连接,以及连接池的原理。在mongo数据库同样存在,经常看到有网友在问mongo 连接了数据库要不要关,怎么关。内置的数据库连接池是单线程还是多线程,mongo服务器为什么会杀游标,杀连接诸如此类的问题,其实这类问题基本上就是连接池的问题,而很多和关系型数据库是类似的,并不是mongo独有的。本文旨在梳理这些问题,进行一个全面的分析。

Client 连接分析

客户端连接通过driver jar去连接,以java为例,通过mongo-java-driver连接mongo,这一点和关系型数据库一样,不同的是关系型数据库有一套标准的阻塞型的,写入JDK的数据库操作实现,即JDBC。而mongo则是完全有driver提供。在mongo-java-driver 3.0版本之前只提供了同步的driver操作,3.x之后开始提供异步的driver操作,这边不做扩散,后续会有相关博文介绍异步的数据库操作,本文只介绍同步driver操作。

数据库操作一个基于mongo-java-driver-2.14.x的mongo操作流程

public static void main(final String[] args) {
        try {
            final String host = "localhost";
            // 连接配置属性
            final MongoClientOptions clientOptions = new MongoClientOptions.Builder()
                    .writeConcern(WriteConcern.ACKNOWLEDGED)
                    .readPreference(ReadPreference.secondaryPreferred())
                    .connectionsPerHost(10).socketTimeout(5000).build();
            final List<MongoCredential> credentialsList = new ArrayList<MongoCredential>();
            final String str = "test";
            final char[] psd = str.toCharArray();
            final MongoCredential credential = MongoCredential.createCredential("test",
                    "test",
                    psd);
            credentialsList.add(credential);
            final ServerAddress address = new ServerAddress(host, 27017);
            //包含了一个内置的数据库连接池
            final MongoClient client = new MongoClient(address, credentialsList, clientOptions);
            final DB db = client.getDB("test");
            final DBCollection postCollection = db.getCollection("test");
            postCollection.findOne();
            //连接关闭,释放资源
            client.close();
        } catch (final UnknownHostException e) {
            e.printStackTrace();
        }
    }

这只是一个sample 实际应用中,MongoClient在一个jvm中只应该有一个实例,由他管理连接,进行数据库操作。 client与数据库的交互,mongo 协议也是基于TCP的

几个重要的类

MongoClientOptions: 数据库连接配置项

DB: database连接

DBCollection: collection操作

所以mongo连接的配置核心就在于MongolientOptions类了。比较重要的配置就是connectionsPerHost,对于线上环境,如果连接数据库的应用比较多,这个连接数不宜过大socketTimeout: 数据库操作超时时间,一般5s中,对于慢操作,不应该一直占用连接,会损害应用性能,阻塞其他操作

private int minConnectionsPerHost; //每个节点的最小连接数 private int connectionsPerHost = 100; // 每个节点的连接数 private int threadsAllowedToBlockForConnectionMultiplier = 5; //最大等待线程 private int maxWaitTime = 1000 * 60 * 2; // 获取连接最大等待时间 private int maxConnectionIdleTime; // 连接池最大空闲时间 private int maxConnectionLifeTime; private int connectTimeout = 1000 * 10; // 连接最大时间 private int socketTimeout = 0; // 操作最大时间 private boolean socketKeepAlive = false; private boolean autoConnectRetry = false; private long maxAutoConnectRetryTime = 0; // 心跳检测,保持TCP连接 private int heartbeatFrequency = Integer.parseInt(System.getProperty("com.mongodb.updaterIntervalMS", "5000")); private int minHeartbeatFrequency = Integer.parseInt(System.getProperty("com.mongodb.updaterIntervalNoMasterMS", "500")); private int heartbeatConnectTimeout = Integer.parseInt(System.getProperty("com.mongodb.updaterConnectTimeoutMS", "20000")); private int heartbeatSocketTimeout = Integer.parseInt(System.getProperty("com.mongodb.updaterSocketTimeoutMS", "20000"));

可以和关系型数据库连接池的实现对比一下

initialSize:初始连接数 maxActive: 最大连接数量 minIdle: 最小连接数量 maxWait: 获取连接最大等待时间ms minEvictableIdleTimeMillis:连接保持空闲而不被驱逐的最小时间 timeBetweenEvictionRunsMillis:销毁线程的时间检测 testOnBorrow:申请连接时执行,比较影响性能 validationQuery:testOnBorrow为true检测是否是有效连接sql testWhileIdle:申请连接的时候检测

mongo 内置的连接池管理比较简单,没有进行连接池的连接有效管理,通过heartbeat间隔一段时间发送数据包给mongo 服务器,确保连接有效,这一点和之前介绍的有点区别,之前的销毁掉无用的连接。这样会增加额外的网络和CPU负担。

看下mongo 创建MongoClient的时候会去初始化连接池。等到进行数据库操作的时候,再去PooledConnectionProvider中获取一个连接,进行操作

总结

通过以上分析,对于mongo driver 3.x 以下的mongo数据库连接池与关系型数据库连接池并无区别。只是连接池的实现方式不一样,比如一个用锁,一个用信号量。容器的选型也不太一样,但是这些并不会影响到大部分的应用开发者对于连接的配置和理解。回到开头提出的几个问题,看到这里自然就有答案了。而对于服务器kill掉游标这个问题,游标本身也不是mongo独有的,客户端通过游标控制结果数量的读取,游标本身也是占用不少资源的,所以不能一直占有,服务器kill掉游标,所以游标占用时间太长。可以通过db.serverStatus().metrics.cursor去查看timeout的游标,找出耗时操作,进行优化。

"cursor": {
"timedOut": "NumberLong(99)"
"open": {
"noTimeout": "NumberLong(0)"
"pinned": "NumberLong(3)"
"total": "NumberLong(3)"
}
}

本文分享自微信公众号 - 方丈的寺院(gh_c98f244e174d),作者:方丈

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-04-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 数据库连接(2) - 为什么C3P0连接池那么慢

    在上一篇中我们介绍说客户端建立一次连接耗时太长(建立连接,设置字符集,autocommit等),如果在每个sql操作都需要经历建立连接,关闭连接。不仅应用程序响...

    方丈的寺院
  • 数据库连接(1)-从JDBC到MyBatis

    因为有持久层框架,和Spring的存在,越来越多的人对数据库连接这块不甚了解,只知使用方便,不知其原理。所以写一个数据库连接的系列文章,总结下本人在数据库连接方...

    方丈的寺院
  • 如何避免写出烂的业务代码(2)-领域对象与领域服务

    为什么把这么小的点拿出来讲,最开始在讨论中领域对象与领域服务时,觉得行为放在service/entity中区别不大,只是一个放置位置的问题,并不影响到代码的抽象...

    方丈的寺院
  • 页式存储管理

    一个进程的逻辑地址空间分成若干个大小相等的片,称为页面或页,并为各页加以编号,从0开始,如第0页、第1页等。把内存空间分成与页面相同大小的若干个存储块,称为(物...

    AI那点小事
  • Tomcat 远程代码执行漏洞分析(CVE-2017-12615)及补丁 Bypass

    腾讯云安全中心监测到 Apache Tomcat 修复了2个严重级别的漏洞, 分别为: 信息泄露漏洞、远程代码执行漏洞。

    云鼎实验室
  • 回溯法笔记

    为了应用回溯法,所要求的解必须能表示成一个n-元组(x1,x2,…,xn),其中xi是取自某个有穷集Si。通常,所求解的问题需要求取一个使某一规范函数P(x1,...

    DuncanZhou
  • HDU-5558-Alice's Classified Message

    ACM模版 描述 ? 题解 image.png 参考博客:Gatevin’s blog 代码 #include <iostream> #include <alg...

    f_zyj
  • java8新特性详解(一)

    java8已经出了很久,项目中也在使用。其最重要的特性就是Lambda表达式和函数式编程,这让我们的代码可以大大简化,更加优雅。

    Java编程指南
  • 为什么使用Spring的AOP?通过日志分析

    瑞新
  • MySQL之父直播公开课来了!与腾讯云CDB专家天团联袂分享

    在各行业爆发式增长的云时代,传统IT架构已无法满足企业需求。相比较于传统数据库,国产数据库技术取得了长足进步,也更适用于企业的生产环境和IT系统。

    腾讯云数据库 TencentDB

扫码关注云+社区

领取腾讯云代金券