mongo聚合(Aggregation)

前言

首先,也是先上官方文档
下面一张图来看pipeline,pipeline是基于数据处理的聚合管道

pipeline

给我的感觉是类似于grep那样,然后把数据一层一层处理,最终得到结果

特例

突然发现,原来count和distinct是aggregation的特例
MongoDB also provides db.collection.estimatedDocumentCount(), db.collection.count() and db.collection.distinct().

Map-Reduce (待续)

还没开始看(因为还没使用过),下面是官方链接
Map-Reduce


本文不介绍基本操作,只对自身遇到的一些操作分享出来
以下内容是一些使用过程中的一些实例,通过实例看如何使用


group 保留部分字段

也就是说在group之后,将这些被group的字段保留下来
https://stackoverflow.com/questions/16662405/mongo-group-query-how-to-keep-fields
上面说了如何保留第一个文档

如果想保留多个文档的话,需要用到$addToSet
pipeline如下

pip = [
            { '$match' : {'$and': con} },
            { '$group': {'_id': '$shortName', 'title': {'$addToSet': '$title'}, 'cnt':{'$sum':1}}},
            { '$sort' : {'cnt': -1 }},
            { '$skip' : skip },
            { '$limit' : limit},
            { '$project': {'_id': 0, 'title': 1}
        ]

保留后结果如下


保留字段

数据中数组拆分

$unwind
原始结构如下,对于每一个文档都包含作者list

"authors" : [ 
        {
            "link" : "https://dl.acm.org/author_page.cfm?id=81503689356",
            "name" : "Romain Rolland"
        }, 
        {
            "link" : "https://dl.acm.org/author_page.cfm?id=81503694216",
            "name" : "Etienne Yvain"
        }, 
        {
            "link" : "https://dl.acm.org/author_page.cfm?id=81381600792",
            "name" : "Olivier Christmann"
        }, 
        {
            "link" : "https://dl.acm.org/author_page.cfm?id=81503693561",
            "name" : "Emilie Loup-Escande"
        }, 
        {
            "link" : "https://dl.acm.org/author_page.cfm?id=81503692845",
            "name" : "Simon Richir"
        }
    ],

为了统计出最多的10个作者,采用aggregation方法如下:

res['authors'] = list(col.aggregate([{'$match': {'$and': con}}, {"$unwind":"$authors"}, {'$group': {'_id': '$authors.name', 'cnt':{'$sum':1}}}, {'$sort':{'cnt':-1}}, {'$limit':10}]))

先将$authors拆分,然后对$authors.name进行group
注:之所以用到了list,是因为aggregate返回的是一个cursor,需要转为list

结果如下:


unwind后统计结果
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 聚合操作处理数据记录并返回计算结果。聚合操作组将来自多个文档的值组合在一起,并且可以对分组数据执行各种操作以返回单...
    yuanzicheng阅读 912评论 0 50
  • Mongodb中自带的基本聚合函数有三种:count、distinct和group。下面我们分别来讲述一下这三个基...
    IT5阅读 24,407评论 0 1
  • 1. 介绍、安装、使用(简单写写,不做详细介绍) 1.1 介绍 Mongodb是属于NoSql的一种数据类型; M...
    Grace_ji阅读 1,576评论 0 0
  • 一、MongoDB简介 1.概述 ​ MongoDB是一个基于分布式文件存储的数据库,由C++语言编写。旨在为WE...
    郑元吉阅读 983评论 0 2
  • MongoDB的聚合操作主要是对数据的批量处理。一般都是将记录按条件分组之后进行一系列求最大值,最小值,平均值的简...
    AaronSimon阅读 2,491评论 0 6