mongoDB排序引起的ERROR

mongo 使用过程中遇到了一个问题,需求就是要对mongo 库中数据进行排序查询

    logger.info("历史采集汇总");// 一天数据
    calendar = Calendar.getInstance();
    calendar.add(Calendar.HOUR_OF_DAY, -24);
    cond = new BasicDBObject();
    cond.put("workTime", new BasicDBObject(QueryOperators.GTE, calendar.getTime()));
    feild = new BasicDBObject();
    query = new BasicQuery(cond, feild);
    query.with(new Sort(Sort.Direction.DESC, "stockId"));
    List<HashMap> dayStockList = mongoTemplate.find(query, HashMap.class, "stockAnls");
    logger.info("分析数据数量24"+dayStockList.size());
    query = new BasicQuery(cond, feild);
    query.with(new Sort(Sort.Direction.DESC, "topicId"));
    List<HashMap> dayTopicList = mongoTemplate.find(query, HashMap.class, "topicAnls");
    logger.info("分析数据数量24"+dayTopicList.size());

这种方法在库里数据容量小的情况下完全可以胜任,但是如果数据过多,这时会报一个 ERROR

2018/06/28-14:40:22 [pool-1-thread-1] ERROR

org.springframework.scheduling.support.TaskUtils$LoggingErrorHandler-

Unexpected error occurred in scheduled task.

org.springframework.data.mongodb.UncategorizedMongoDbException:

Query failed with error code 96 and error message 'Executor error

during find command: OperationFailed: Sort operation used more than the

maximum 33554432 bytes of RAM. Add an index, or specify a smaller

limit.' on server 47.98.85.173:3717; nested exception is

com.mongodb.MongoQueryException: Query failed with error code 96 and

error message 'Executor error during find command: OperationFailed: Sort

operation used more than the maximum 33554432 bytes of RAM. Add an

index, or specify a smaller limit.' on server 47.98.85.173:3717

按照错误提示,知道这是排序的时候报的错,因为 mongo 的 sort 操作是在内存中操作的,必然会占据内存,同时mongo内的一个机制限制排序时最大内存为 32M,当排序的数据量超过 32M,就会报上面的这个错,解决办法就像上面提示的意思,一是加大 mongo的排序内存,这个一般是运维来管,也有弊端,就是数据量如果再大,还要往上加。

另一个办法就是加索引,这个方法还是挺方便的。创建索引及时生效,不需要重启服务。创建索引:

db.你的collection.createIndex({"你的字段": -1}),此处 -1 代表倒序,1 代表正序;

db.你的collecton.getIndexes();

这两个语句,第一个是添加索引,第二个是查询索引,如果查看到你刚才添加的那个索引字段,就说明索引添加成功了。这时候在你的程序里再运用 sort 方法的话,这样就不会报错而且速度很快。

添加索引会带来一定的弊端,这样会导致数据插入的时候相对之前较慢,因为索引会占据空间的。综上考虑,根据实际情况判断采用合适的方法。

db.getCollection('topicAnls').find({})

db.getCollection('topicAnls').createIndex({"topicId": -1})
db.getCollection('topicAnls').getIndexes()

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 关于Mongodb的全面总结 MongoDB的内部构造《MongoDB The Definitive Guide》...
    中v中阅读 32,194评论 2 89
  • 1.1、 分配更多资源 1.1.1、分配哪些资源? Executor的数量 每个Executor所能分配的CPU数...
    miss幸运阅读 8,426评论 3 15
  • 学习《MongoDB 权威指南·第2版》的笔记,结合 MongoDB 官方最新文档(v3.6),简单记录一些概念、...
    小鱼爱小虾阅读 11,279评论 0 5
  • 2016年11月,入职某金融股票企业实习,工资80块一天。那时候很庆幸有这样一个大公司愿意收我,并且还有食堂包饭。...
    Simendoor阅读 1,607评论 1 1
  • 想要做一件事很容易,想到就去做也不难,做了又坚持的才是难能可贵!今天是我坚持写文章的第四天,思考了一晚上也不知道要...
    蓝蕙茹阅读 12,148评论 0 0

友情链接更多精彩内容