前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >MongoDB 聚合操作注意事项

MongoDB 聚合操作注意事项

作者头像
AustinDatabases
发布2019-06-21 16:43:48
9690
发布2019-06-21 16:43:48
举报
文章被收录于专栏:AustinDatabases
MongoDB, 虽然一直是被称为NO SQL ,文档数据库,可最近这两年MONGODB 没闲着,MONGODB 作为大数据分析的数据存储空间使用的现在大有人在。

聚合作为MONGODB对于传统数据库 GROUP BY ,甚至窗口函数的在MONGODB的体现,是比较常用的。 数据量小的情况下,性能不是问题,而如果数据量大的情况下,一般使用MONGODB 的聚合操作是有技巧和注意的。

首先的从聚合的初级原理说起,MONGODB 的聚合是分阶段的,大致可以简单的分离出,数据的提取,和数据计算。

下面的图中,就是在聚合操作中可能会遇到的坑,在做一个简单的聚合中,(数据量5000万,为了浮现问题,所以直接做聚合,而且做得值是随机值,所以你懂得) ,在操作中直接报错,这个报错信息是由于在操作聚合时,pipleline stage (具体看你的操作,这里是group stage,的使用已经超过MONGODB 的限制 100MB) ,所以在数据量较大的情况下,并且没有进行数据额过滤,或者数据过滤(这里叫$match)后,还是数据量巨大的情况下,我们应该在做聚合的时候,添加一个参数,这个参数是在 MONGODB 3.4 支持的。

具体语句是

样的情况下,就可以利用物理磁盘的环境来突破做聚合的限制。

那一般来说做聚合中需要注意什么总结有以下几点(非完整,目前没有使用到一些操作,这些操作不在总结范围内)

1,不再聚合范围的数据要进行$match 提前过滤

2,显示的字段要进行控制,与聚合无关的字段,应该提前$project

3, 如果聚合中包含排序,则排序要在$match之下

4,当有多个$match操作时,尽量进行合并。

5, 对于 $match操作的 或 $sort 操作,在数据量大的情况下应该建立索引

6 如果操作中包含$sort $limit的操作,应该将$limit 的操作后置

另根据当前的情况,大部分聚合可以优化的命令在 MONGODB 3.4 及以上的版本。所以如果大数据量做聚合的运算,还是升级到 3.4 及以上的版本为好。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-04-05,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 AustinDatabases 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据库 MongoDB
腾讯云数据库 MongoDB(TencentDB for MongoDB)是腾讯云基于全球广受欢迎的 MongoDB 打造的高性能 NoSQL 数据库,100%完全兼容 MongoDB 协议,支持跨文档事务,提供稳定丰富的监控管理,弹性可扩展、自动容灾,适用于文档型数据库场景,您无需自建灾备体系及控制管理系统。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档