mongodb11天之屠龙宝刀(八)聚合函数与管道:sql与mongodb聚合函数对比

mongodb11天之屠龙宝刀(八)聚合函数与管道:sql与mongodb聚合函数对比

MongoDB 聚合

MongoDB中聚合(aggregate)主要用于处理数据(诸如统计平均值,求和等),并返回计算后的数据结果。有点类似sql语句中的 count(*)。

基本语法为:db.collection.aggregate( [ , , … ] )

现在在mycol集合中有以下数据:

{ "_id" : 1, "name" : "tom", "sex" : "男", "score" : 100, "age" : 34 }
{ "_id" : 2, "name" : "jeke", "sex" : "男", "score" : 90, "age" : 24 }
{ "_id" : 3, "name" : "kite", "sex" : "女", "score" : 40, "age" : 36 }
{ "_id" : 4, "name" : "herry", "sex" : "男", "score" : 90, "age" : 56 }
{ "_id" : 5, "name" : "marry", "sex" : "女", "score" : 70, "age" : 18 }
{ "_id" : 6, "name" : "john", "sex" : "男", "score" : 100, "age" : 31 }
1、$sum 计算总和。
 Sql:  select sex,count(*) from mycol group by sex

  MongoDb:  db.mycol.aggregate([{group: {_id: 'group: {_id: 'sex', personCount: {$sum: 1}}}])
  Sql:  select sex,sum(score) totalScore from mycol group by sex

  MongoDb:  db.mycol.aggregate([{group: {_id: 'group: {_id: 'sex', totalScore: {sum:′score'}}}])
2、$avg 计算平均值
   Sql:  select sex,avg(score) avgScore from mycol group by sex

  Mongodb: db.mycol.aggregate([{group: {_id: 'group: {_id: 'sex', avgScore: {avg:′score'}}}])
3、获取$max 最大值。
  Sql:  select sex,max(score) maxScore from mycol group by sex

  Mongodb: db.mycol.aggregate([{group: {_id: 'group: {_id: 'sex', maxScore : {max:′score'}}}])
4、$min 获取最小值。
  Sql:  select sex,min(score) minScore from mycol group by sex

  Mongodb: db.mycol.aggregate([{group: {_id: 'group: {_id: 'sex', minScore : {min:′score'}}}])
5、$push 把文档中某一列对应的所有数据插入值到一个数组中。
  Mongodb: db.mycol.aggregate([{group: {_id: 'group: {_id: 'sex', scores : {push:′score'}}}])
6、$addToSet 把文档中某一列对应的所有数据插入值到一个数组中,去掉重复的
  db.mycol.aggregate([{group: {_id: 'group: {_id: 'sex', scores : {addToSet:′score'}}}])
7、 $first 根据资源文档的排序获取第一个文档数据。
   db.mycol.aggregate([{group: {_id: 'group: {_id: 'sex', firstPerson : {first:′name'}}}])
8、 $last 根据资源文档的排序获取最后一个文档数据。
   db.mycol.aggregate([{group: {_id: 'group: {_id: 'sex', lastPerson : {last:′name'}}}])

9、全部统计 null

  db.mycol.aggregate([{group:{_id:null,totalScore:{group:{_id:null,totalScore:{push:'$score'}}}])

案例

  现在在t2集合中有以下数据:

  { "country" : "china", "province" : "sh", "userid" : "a" } 
  { "country" : "china", "province" : "sh", "userid" : "b" }
  { "country" : "china", "province" : "sh", "userid" : "a" }
  { "country" : "china", "province" : "sh", "userid" : "c" }
  { "country" : "china", "province" : "bj", "userid" : "da" } 
  { "country" : "china", "province" : "bj", "userid" : "fa" }

需求是统计出每个country/province下的userid的数量(同一个userid只统计一次)程如下。

db.t2.aggregate([ { group: {"_id": { "country" : "group: {"_id": { "country" : "country", "prov": "province"} , "number":{province"} , "number":{sum:1}} } ]) 

是错误的:

原因是,这样来统计不能区分userid相同的情况 (上面的数据中sh有两个 userid = a) 为了解决这个问题,首先执行一个group,其id 是 country, province, userid三个field:

db.t2.aggregate([ { group: {"_id": { "country" : "group: {"_id": { "country" : "country", "province": "province","uid":"userid" } } } ])

  可以看出,这步的目的是把相同的userid只剩下一个。

 然后第二步,再第一步的结果之上再执行统计:

db.t2.aggregate([ 
  { group: {"_id": { "country" : "group: {"_id": { "country" : "country", "province": "province","uid":"userid" } } } , 
  { group: {"_id": { "country" : "group: {"_id": { "country" : "_id.country", "province": "_id.province"  }, count : {_id.province"  }, count : {sum : 1 } } } 
  ])

  这回就对了

加入一个$project操作符,把_id去掉

 db.t2.aggregate([ { group: {"_id": { "country" : "group: {"_id": { "country" : "country", "province": "province","uid":"userid" } } } , 
  { group: {"_id": { "country" : "group: {"_id": { "country" : "_id.country", "province": "_id.province"  }, count: {_id.province"  }, count: {sum : 1 } } }, 
  { project : {"_id": 0, "country" : "project : {"_id": 0, "country" : "_id.country", "province" : "$_id.province", "count" : 1}} 
  ])

最终结果如下:

管道的概念

管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的参数。 MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的。表达式:处理输入文档并输出。表达式是无状态的,只能用于计算当前聚合管道的文档,不能处理其它的文档。

这里我们介绍一下聚合框架中常用的几个操作:

project:修改输入文档的结构。可以用来重命名、增加或删除域,也可以用于创建计算结果以及嵌套文档。match:用于过滤数据,只输出符合条件的文档。match:用于过滤数据,只输出符合条件的文档。match使用MongoDB的标准查询操作。project:修改输入文档的结构。可以用来重命名、增加或删除域,也可以用于创建计算结果以及嵌套文档。match:用于过滤数据,只输出符合条件的文档。match:用于过滤数据,只输出符合条件的文档。match使用MongoDB的标准查询操作。project:修改输入文档的结构。可以用来重命名、增加或删除域,也可以用于创建计算结果以及嵌套文档。 match:用于过滤数据,只输出符合条件的文档。match:用于过滤数据,只输出符合条件的文档。match使用MongoDB的标准查询操作。 limit:用来限制MongoDB聚合管道返回的文档数。 skip:在聚合管道中跳过指定数量的文档,并返回余下的文档。skip:在聚合管道中跳过指定数量的文档,并返回余下的文档。skip:在聚合管道中跳过指定数量的文档,并返回余下的文档。 unwind:将文档中的某一个数组类型字段拆分成多条,每条包含数组中的一个值。 group:将集合中的文档分组,可用于统计结果。group:将集合中的文档分组,可用于统计结果。group:将集合中的文档分组,可用于统计结果。 sort:将输入文档排序后输出。 $geoNear:输出接近某一地理位置的有序文档。

1、$project实例

db.mycol.aggregate({$project:{name : 1, score : 1}})

这样的话结果中就只还有_id,name和score三个字段了,默认情况下_id字段是被包含的,如果要想不包含_id话可以这样:

db.mycol.aggregate({$project:{_id : 0, name : 1, score : 1}})

2、$match实例

  用于获取分数大于小于并且小于的记录,然后将符合条件的记录送到下一阶段match用于获取分数大于30小于并且小于100的记录,然后将符合条件的记录送到下一阶段group管道操作符进行处理

  db.mycol.aggregate([{match :{score: {match :{score: {gt: 30, lt: 100}}},{lt: 100}}},{group:{_id:'sex',count:{sex',count:{sum:1}}}]) 

更多复杂操作需要在实践中整理。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏逸鹏说道

C# 温故而知新: 线程篇(二) 上

线程池和异步线程 目录: 1 什么是CLR线程池? 2 简单介绍下线程池各个优点的实现细节 3 线程池ThreadPool的常用方法介绍 4 简单理解下异步线程...

3199
来自专栏小怪聊职场

爬虫课堂(十五)|Request和Response(请求和响应)

5366
来自专栏happyJared

Linux私房菜:走进bash

减号-可用于连接一些特殊的stdin和stdout,像这个文件压缩和解压缩的示例:tar -cvf - /home | tar -xvf - -C /tmp/h...

862
来自专栏蓝天

有关snprintf返回值

有关snprintf返回值更多信息,请参考:http://bbs.hadoopor.com/thread-1185-1-1.html

811
来自专栏Golang语言社区

Golang语言--中间的derfer

defer Go语言中有种不错的设计,即延迟(defer)语句,你可以在函数中添加多个defer语句。当函数执行到最后时,这些defer语句会按照逆序执行, 最...

4128
来自专栏维C果糖

史上最简单的 MySQL 教程(十)「列类型 之 日期时间型」

所谓的列类型,其实就是指数据类型,即对数据进行统一的分类,从系统的角度出发是为了能够使用统一的方式进行管理,更好的利用有限的空间。

36211
来自专栏python学习指南

操作系统六文件管理

第六章 文件管理 一、前言 本篇是操作系统系列的最后一篇,文件管理,由于系统的内部内存有限并且不能长期保存,故平时总是把她们以文件的形式保存在外村中,需要时再...

1888
来自专栏AndroidTv

写个批处理来帮忙干活---遍历&字符串处理前言批处理脚本

1965
来自专栏前端小栈

vim简单操作指南-cheat sheet

923
来自专栏积累沉淀

Python快速学习第十天

11.1 打开文件 open函数用来打开文件,语法如下: open(name[, mode[, buffering]]) open函数使用一个文件名作为唯...

2136

扫码关注云+社区

领取腾讯云代金券