大数据项目,计算某均值场景的内存优化方案

普通数据读取,一般都是将数据完全读入内存之后,在根据某些特征分组后,再计算分组内的均值指标;此举要求,申请的内存需不小于读取的数据所占用的内存总和。
现提出一个优化方案,数据读取时,先判断特征(特征可以是多个关键字组合),如果特征不存在,那就把这条数据加入进去,并计数数据条数,如果特征已存在,则先根据数据条数求出原来的总和,并计算出新的均值,再计数数据条数,如此循环,可使用相对有限的内存读出,可以达到节省内存的目的。

具体代码,由于涉密问题,不便放出,请谅解。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容