前言
mongo作为海量数据读写利器有一个很大的优势，就是它使用js管理数据库，所以也能够使用js脚本进行复杂的操作，使用python的童鞋往往在数据分析过程直接操作mongo也是很方便的，但如果数据足够复杂，js脚本来处理将会有性能上优势。下面将就js和python对mongo的数据分析做一个简要的涉及。
一.python脚本。比如mongo存有大量基础数据，比如游戏订单数据，现在要统计不同渠道的各种成本每天的个自的合计以及总流水的total。此时可以采用mongo的聚合aggregate，通常统计平均值、求和等基础统计需求都可以采用aggregate。
def profit_stat(stat_date):
col_name = "xxxx_%s" % (stat_date.strftime("%Y%m%d"))
conn = MongoClient(HOST,PORT)
db = conn['username']
db.authenticate(USER,PASSWD)
db = conn[DB]
col = db[col_name]
pipeline = [{"$group":{"_id":"$channel_type","cost_one":{"$sum":"$cost_one"},"cost_two":{"$sum":"$cost_two"},"cost_three":{"$sum":"$cost_three"},"cost_four":{"$sum":"$cost_four"},"cost_five":{"$sum":"$cost_five"},"total_money":{"$sum":"$total_money"}}}]
for row in col.aggregate(pipeline):
//to do
conn.close()
二.js脚本。在【一】中的mongo基础上，对同一渠道不同业务的成本以及流水进行多维度统计，此时简单的aggregate统计操作似乎不能满足要求，此时可采用mongo的Mapreduce,虽然python同样可以做这样的处理，但由于直接使用还是js比较高效。
db = db.getSisterDB(DB)
db.auth(USER,PASSWD)
var map = function(){
emit(
{
'channel_type':this.channel_type
{,
{
'model_one':{
'model_one_cost_one':this.model_one_cost_two,
'model_one_cost_two':this.model_one_cost_two,
},
{
'model_two':{
'model_two_cost_one':this.model_two_cost_two,
'model_two_cost_two':this.model_two_cost_two,
}
}
);
};
//需要注意的是reduce数据处理是递归的，前一个group数据的处理结果会成为待处理集合中的一个元素参与接下来的递归处理
var reduce = function(key,value){
//to do
}
var final = function(key,reduce){
//to do
}
db.getCollection(col_name).mapReduce(map,reduce,{out:out_col_name,finalize:finame});//设置out会在当前db里生成一个collection
三.脚本通常会在crontab中设置例行，有单条例行也有聚合例行，关于js,python,sh例行的传参做一个小的介绍：
1.js传参
mongo host_ip --eval "var param_one=2017, param_two=1" xxx.js #例行传参
var stat_year = param_one;//脚本直接使用
2.python 传参
xxx.py param_one param_two #例行传参
stat_year = sys.argv[1] #脚本获取参数，从索引1开始是参数，索引0是文件名
3.sh传参
xxx.sh param_one param_two //传参
stat_year = $1 //获取参数，$1表示第一个参数依次，$0表示文件名，$@表示所有参数
for args in $@
do
echo $args
done
4.php传参
php xxx.php param_one param_two //传参
stat_year = $argv[1] //获取参数，参数存在数组变量$argv中，$argv[0]表示文件问，依次后面表示参数
通常会将脚本的运行情况封装在sh文件来运行
例如有一个PHP脚本运行：
第一步：封装php运行机制到run.sh文件
argv1 = $1
argv2 = $2
date +"%Y/%m/%d-%T"
php xxx.php argv1 argv2
date +"%Y/%m/%d-%T"
第二步：部署crontab
0 0 * * * sh run.sh >> /tmp/xxxx.log 2>&1
#通常为考虑日志数据转换问题过程中全称问题会将日志写入tmp目录下
#除了以上几种基本调用方式，当php部署在web端时候，可才有curl访问方式部署脚本
#eg:/usr/bin/curl http://xxx.php >> xxx.log 2>&1
#需要注意的是，如果脚本部署在当前用户的crontab里面，相关路径要改为绝对路劲，sh没有良好的识别
假如这种情况出现在python引用其他模块的时候可以采取如下处理直接将模块加载至当前脚本：
import sys
sys.path.append(’引用模块的地址')
from '引用模块的文件名' import *
