问题描述:在hive里运行select count(1)操作一个表时,老是失败,但是其它sql确不报错能正常跑出结果
问题解决:查看日志,发现会出现如下错误
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.
首先想到的是可能内存不够啊,于是增加以下两个参数分别设置为2048和-Xmx1638m
mapred-site.xml中以下两个参数
yarn.app.mapreduce.am.resource.mb
yarn.app.mapreduce.am.command-opts
重新跑还是报这个错,继续调大参数还是报错
后来感觉问题不是出在这,查看50070上的节点状态和该表的存储分布,发现该表发生了数据倾斜
而且有两台服务器有问题,修改两台服务器的问题(服务器上的可用物理内存不够,进行手动释放缓存解决)并让开发重新创建表后,问题解决