Mongo Database 性能优化

SQL Server有工具进行数据库的优化,Mongo Database Profiler.不仅有,而且功能更强大。

MongoDB 自带 Profiler,可以非常方便地记录下所有耗时过长操作,以便于调优。有两种方式可以控制 Profiling 的开关和级别,第一种是直接在启动参数里直接进行设置。

启动MongoDB时加上–profile=级别 即可。

也可以在客户端调用db.setProfilingLevel(级别) 命令来实时配置。可以通过db.getProfilingLevel()命令来获取当前的Profile级别。

1 2 3

> db.setProfilingLevel(2); {"was" : 0 , "ok" : 1} > db.getProfilingLevel()

上面斜体的级别可以取0,1,2 三个值,他们表示的意义如下:

0 – 不开启,关闭性能分析,测试环境可以打开,生成环境关闭,对性能有很大影响

1 – 记录慢命令 (默认为>100ms)

2 – 记录所有命令

Profile 记录在级别1时会记录慢命令,那么这个慢的定义是什么?上面我们说到其默认为100ms,当然有默认就有设置,其设置方法和级别一样有两种,一种是通过添加–slowms启动参数配置。第二种是调用db.setProfilingLevel时加上第二个参数:

1 2

db.setProfilingLevel( level , slowms ) db.setProfilingLevel( 1 , 10 );

Profiler 信息保存在 system.profile (Capped Collection) 中。也可以通过这个工具进行设置和查看数据:强大的MongoDB数据库管理工具

Mongo Shell 还提供了一个比较简洁的命令show profile,可列出最近5条执行时间超过1ms的 Profile 记录。

查看当前库下所有集合的分析数据

db.system.profile.find() 查看某一个集合的分析数据

db.system.profile.find({info:/user.info/}) 查看执行时间大于100毫秒的执行操作,并倒序排列,并取前5行

db.system.profile.find({millis:{$gt:100}}).sort({$natural:-1}).limit(5);

Profile 信息内容详解:

ts-该命令在何时执行.

millis Time-该命令执行耗时,以毫秒记.

info-本命令的详细信息.

query-表明这是一个query查询操作.

ntoreturn-本次查询客户端要求返回的记录数.比如, findOne()命令执行时 ntoreturn 为 1.有limit(n) 条件时ntoreturn为n. query-具体的查询条件(如x>3). nscanned-本次查询扫描的记录数. reslen-返回结果集的大小. nreturned-本次查询实际返回的结果集.

update-表明这是一个update更新操作.

fastmod-Indicates a fast modify operation. See Updates. These operations are normally quite fast. fastmodinsert – indicates a fast modify operation that performed an upsert. upsert-表明update的upsert参数为true.此参数的功能是如果update的记录不存在,则用update的条件insert一条记录. moved-表明本次update是否移动了硬盘上的数据,如果新记录比原记录短,通常不会移动当前记录,如果新记录比原记录长,那么可能会移动记录到其它位置,这时候会导致相关索引的更新.磁盘操作更多,加上索引更新,会使得这样的操作比较慢.

insert-这是一个insert插入操作. getmore-这是一个getmore 操作,getmore通常发生在结果集比较大的查询时,第一个query返回了部分结果,后续的结果是通过getmore来获取的。

2、优化

MongoDB 查询优化

如果nscanned(扫描的记录数)远大于nreturned(返回结果的记录数)的话,那么我们就要考虑通过加索引来优化记录定位了。

reslen 如果过大,那么说明我们返回的结果集太大了,这时请查看find函数的第二个参数是否只写上了你需要的属性名。(类似于MySQL中不要总是select *)

对于创建索引的建议是:如果很少读,那么尽量不要添加索引,因为索引越多,写操作会越慢。如果读量很大,那么创建索引还是比较划算的。

MongoDB 更新优化

如果写查询量或者update量过大的话,多加索引是会有好处的。以及~~~~(省略N字,和RDBMS差不多的道理)

Use fast modify operations when possible (and usually with these, an index). See Updates.

Profiler 的效率

Profiling 功能肯定是会影响效率的,但是不太严重,原因是他使用的是system.profile 来记录,而system.profile 是一个capped collection 这种collection 在操作上有一些限制和特点,但是效率更高。

优化建议:

  • 如果 nscanned 远大于 nreturned,那么需要使用索引。
  • 如果 reslen 返回字节非常大,那么考虑只获取所需的字段。
  • 执行 update 操作时同样检查一下 nscanned,并使用索引减少文档扫描数量。
  • 使用 db.eval() 在服务端执行某些统计操作。
  • 减少返回文档数量,使用 skip & limit 分页。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏沃趣科技

翻译系列第八弹: 高级知识ASM file extent map

原作者:Bane Radulovic 译者: 庄培培 审核: 魏兴华 DBGeeK社群联合出品 当ASM创建一个文件时(例如数据库实例要求创建一个数...

4575
来自专栏JetpropelledSnake

SQL学习之SqlMap SQL注入

3625
来自专栏你不就像风一样

eclipse不能运行Struts2项目

刚接触Struts2项目,本想写个HelloWorld上手,谁知道光eclipse配置tomcat就鼓捣一晚上,查阅各种资料。

881
来自专栏何俊林

在线看Android系统源码,相见恨晚的几种方案

前言:最近在研究MediaCodec,u盘坏了,之前下载的源码也就自然没有了,真是个难过的事情,不能因为没有源码了,就阻挡我的计划了呀,于是就是今天一文,在线看...

5255
来自专栏码代码的陈同学

Mysql thread 与 OS thread

本文作为 Mysql插入2.6亿条垃圾数据后会发生什么? 、手工重现Mysql插入的”2.6亿”垃圾数据 的续篇,初始目的是想看看kill掉执行中的事务对应的o...

3985
来自专栏乐沙弥的世界

使用mysqlbinlog提取二进制日志

    MySQL binlog日志记录了MySQL数据库从启用日志以来所有对当前数据库的变更。binlog日志属于二进制文件,我们可以从binlog提取出来生...

1592
来自专栏FreeBuf

代码审计 | HDWiki v6.0最新版referer注入漏洞

近期在审计HDWiki 6.0最新版cms的时候发现由referer导致的sql注入问题。SQL注入我们知道是由于代码与数据没有严格区别限制分离而导致的问题,O...

1552
来自专栏YG小书屋

ElasticSearch 介绍

5173
来自专栏云时之间

Python学习系列:使用pyqt5搭建简单图书管理系统(2)

在上一篇文章里我们简单的说了一下图书管理系统的设计思路,这一篇文章我们将设计一下此系统的数据库.

1723
来自专栏不止思考

架构师带你玩转分布式锁

当某个资源在多系统之间,具有共享性的时候,为了保证大家访问这个资源数据是一致的,那么就必须要求在同一时刻只能被一个客户端处理,不能并发的执行,否者就会出现同一时...

841

扫码关注云+社区