1. MongoDB 聚合

• 1. MongoDB 聚合
  • 1.1. 聚合框架
  • 1.2. 聚合管道阶段操作符
    • 1.2.1. $project
    • 1.2.2. $group
    • 1.2.3. $match , $sort , $skip , $limit
    • 1.2.4. $unwind
    • 1.2.5. $out
  • 1.3. 聚合管道函数操作符
    • 1.3.1. 字符串函数
    • 1.3.2. 算术运算函数
    • 1.3.3. 日期函数
    • 1.3.4. 逻辑函数
    • 1.3.5. 集合函数
    • 1.3.6. 其他函数
  • 1.4. 聚合管道的性能
    • 1.4.1. 聚合管道的选项参数

1.1. 聚合框架

使用聚合框架需要定义一个聚合管道，管道中的每一步输出都是下一步的输入。聚合管道阶段操作有：

• $project：确定输出文档的字段（投影）
• $match：选择被处理的文档
• $limit：限制传入到下一步的文档数量
• $skip：略过确定数量的文档
• $unwind：将数组字段扩展生成多个输出文档
• $group：根据特定字段分组文档
• $sort：对文档排序
• $out：将管道结果输出到集合
• $redact：对特定数据的访问控制

使用 match, group, sort 定义一个聚合框架：

db.products.aggregate( [ {$match: …}, {$group: …}, {$sort: …} ] )

SQL 与聚合框架的对比：

1.2. 聚合管道阶段操作符

1.2.1. $project

投影操作符主要是查询的投影功能：

db.users.aggregate([
    {$match: {username: 'kbanker',
              hashed_password: 'bd1cfa194c3a603e7186780824b04419'}},
    {$project: {first_name:1, last_name:1}}
])

1.2.2. $group

$group 操作符主要用于多文档的数据聚合，也是聚合管道最常用的操作符，该操作符提供了多种统计功能，如max , min , average 。

// 统计月销售信息
> db.orders.aggregate([
...   {$match: {purchase_data: {$gte: new Date(2010, 0, 1)}}},
...   {$group: {
...     _id: {year : {$year :'$purchase_data'},
...           month : {$month :'$purchase_data'}},
...     count: {$sum:1},
...     total: {$sum:'$sub_total'}}},
...   {$sort: {_id:-1}}
... ]);
// 输出文档
{ "_id" : { "year" : 2014, "month" : 11 },
  "count" : 1, "total" : 4897 }
{ "_id" : { "year" : 2014, "month" : 8 },
  "count" : 2, "total" : 11093 }
{ "_id" : { "year" : 2014, "month" : 4 },
  "count" : 1, "total" : 4897 }

$group 操作符提供的函数：

1.2.3. $match , $sort , $skip , $limit

标题的操作符分别对应选择特定文档、排序文档、略过文档的数量和限制文档数量。

page_number = 1
product = db.products.findOne({'slug': 'wheelbarrow-9092'})
reviews = db.reviews.aggregate([
    {$match: {'product_id': product['_id']}},
    {$skip : (page_number - 1) * 12},
    {$limit: 12},
    {$sort:  {'helpful_votes': -1}}
]).toArray();

1.2.4. $unwind

该操作符通过展开数组为每一个数组元素生成一个输出文档：

// 没有展开
> db.products.findOne({},{category_ids:1})
{
    "_id" : ObjectId("4c4b1476238d3b4dd5003981"),
    "category_ids" : [
        ObjectId("6a5b1476238d3b4dd5000048"),
        ObjectId("6a5b1476238d3b4dd5000049")
    ]
}
// 展开数组
> db.products.aggregate([
...     {$project : {category_ids:1}},
...     {$unwind : '$category_ids'},
...     {$limit : 2}
... ]);
{ "_id" : ObjectId("4c4b1476238d3b4dd5003981"), 
  "category_ids" : ObjectId("6a5b1476238d3b4dd5000048") }
{ "_id" : ObjectId("4c4b1476238d3b4dd5003981"), 
  "category_ids" : ObjectId("6a5b1476238d3b4dd5000049") } 

1.2.5. $out

将管道输出的文档保存到集合中，该操作符必须是管道的最后一个环节。

1.3. 聚合管道函数操作符

1.3.1. 字符串函数

1.3.2. 算术运算函数

1.3.3. 日期函数

1.3.4. 逻辑函数

1.3.5. 集合函数

1.3.6. 其他函数

1.4. 聚合管道的性能

影响管道性能的因素：

• 尽量早的减少文档的数量和大小
• 在 $match 和 $sort 阶段使用索引。
• 在管道中使用了除 $match 和 $sort 外的阶段操作后，就不能使用索引了。（打乱了索引键值对）

1.4.1. 聚合管道的选项参数

• explain()： 返回管道运行的详细信息
• allowDiskUse：适合处理大型数据。MongoDB 的内存限制是 100MB
• cursor：每次返回文档的数量
  • cursor.hasNext()：确定是否有下一组
  • cursor.next()：返回下一组文档

options = { explain:true, allowDiskUse:true, cursor: { batchSize: n } }
db.collection.aggregate(pipeline,options)