登录
注册
写文章
首页
下载APP
会员
IT技术
hive优化(2020-03-10)
梦境中_i
关注
赞赏支持
hive优化(2020-03-10)
合理的分区分桶来达到优化
如果小文件太多,建议开启小文件合并的配置项,可以有效减少maptask的数量
shuffle在所难免,采用合适的压缩格式来避免太多的网络传输,达到优化
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
推荐阅读
更多精彩内容
117道有关大数据面试题解析,希望对你有所帮助
一.简述如何安装配置apache 的一个开源的hadoop 1.使用root账户登陆 2.修改ip 3.修改hos...
栀子花_ef39
阅读 4,988
评论 0
赞 52
12、MapReduce框架原理(上)
MapReduce工作流程 流程图如下 解释上面的流程是整个mapreduce最全工作流程,但是shuffle过程...
ZFH__ZJ
阅读 578
评论 0
赞 3
Hive 优化策略
排序选择 cluster by:对同一字段分桶并排序,不能和 sort by 连用 distribute by +...
博弈史密斯
阅读 1,027
评论 0
赞 0
MapReduce Shuffle 和 Spark Shuffle 原理概述
更多大数据技术干货,欢迎关注“大数据技术进阶”微信公众号。 Shuffle简介 Shuffle的本意是洗牌、混洗的...
大数据技术进阶
阅读 1,749
评论 2
赞 16
MapReduce过程详解及其性能优化
MapReduce过程详解及其性能优化 [toc] 转载:MapReduce过程详解及其性能优化 总结 详情 从J...
小小少年Boy
阅读 7,114
评论 2
赞 18
赞
1赞
赞赏
手机看全文