hive 运行

运行

hive使用的是hadoop的配置文件(环境变量),当发现Hadoop是集群模式时,也转换为集群模式,例如hive.metastore.warehouse.dir中指定的路径就是hdfs中的路径

默认使用的是mapred执行引擎 使用的mapred集群可以通过mapred.job.tracker指定的主机来执行

本地模式,在处理小数量级别时会更快,通过:

set mapreduce.framework.name=local;

此时还要注意mapred.local.dir是工作目录,默认为/tmp/username另可以启动:

set hive.exec.mode.local.auto=True;

根据

hive.exec.mode.local.auto.inputbytes.max(128MB)
hive.exec.model.local.auto.tasks.max(4) reduce_tasks(0 or 1)

满足条件的会自动在本地模式下运行。

可以通过hive.mapred.local.mem来控制子进程使用的内存容量,默认是0,是由YARN来决定内存限制。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容