问题:使用sqoop导数据时,提交mr报错。
Container [pid=21722,containerID=container_1539761778169_0060_01_000014] is running 575445504B beyond the 'VIRTUAL' memory limit. Current usage: 269.2 MB of 1 GB physical memory used; 2.6 GB of 2.1 GB virtual memory used. Killing container.
解决方案:因为yarn虚拟内存率使用的默认2.1,导致虚拟内存不足。修改yarn-site.xml文件添加如下行,value值根据线上情况自己定义。
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>3.0</value>
</property>
使用sqoop导数据时,提交mr报错
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
推荐阅读更多精彩内容
- HDFS hadoop 的基础分布式文件存储系统,分为NameNode和DataNode.NameNode负责存储...
- Hadoop Yarn的资源隔离是指为运行着不同任务的“Container”提供可独立使用的计算资源,以避免它们之...