hive错误记录--(FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask)

尝试hive3版本,执行insert into语句报一下错误:

这种错误是官方错误,不能真正排查到错误,建议去看yarn日志

本质上是MR任务,本以为是yarn资源问题,后面去查看yarn任务日志显示错误:

解决办法:在${HADOOP_HOME}/etc/hadoop中

执行 hadoop classpath

返回:

/opt/mod/hadoop-3.1.3/etc/hadoop:/opt/mod/hadoop-3.1.3/share/hadoop/common/lib/*:/opt/mod/hadoop-3.1.3/share/hadoop/common/*:/opt/mod/hadoop-3.1.3/share/hadoop/hdfs:/opt/mod/hadoop-3.1.3/share/hadoop/hdfs/lib/*:/opt/mod/hadoop-3.1.3/share/hadoop/hdfs/*:/opt/mod/hadoop-3.1.3/share/hadoop/mapreduce/lib/*:/opt/mod/hadoop-3.1.3/share/hadoop/mapreduce/*:/opt/mod/hadoop-3.1.3/share/hadoop/yarn:/opt/mod/hadoop-3.1.3/share/hadoop/yarn/lib/*:/opt/mod/hadoop-3.1.3/share/hadoop/yarn/*

vim yarn-site.xml

加入:

<configuration>

    <property>

        <name>yarn.application.classpath</name>

        <value>输入刚才返回的Hadoop classpath路径</value>

    </property>

</configuration>

另外 vim mapred-site.xml

加入:

<property>

  <name>yarn.app.mapreduce.am.env</name>

  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>

</property>

<property>

  <name>mapreduce.map.env</name>

  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>

</property>

<property>

  <name>mapreduce.reduce.env</name>

  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>

</property>


注意分发配置文件,然后重启!!!

参考链接: https://blog.csdn.net/qq_41684957/article/details/81710190

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容