jvm

jmap -F -dump:format=b,file=/tmp/driver.hprof 79206
jhat -J-Xmx1024M driver

--conf "spark.driver.extraJavaOptions=-XX:+HeapDumpOnOutOfMemoryError -XX:+PrintGCDetails -XX:HeapDumpPath=/tmp/edp -XX:-UseGCOverheadLimit -Dlog4j.configuration=log4j.propertiesi -Dcom.sun.management.jmxremote.port=10990 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false" \

--conf "spark.executor.extraJavaOptions=-XX:+HeapDumpOnOutOfMemoryError -XX:+PrintGCDetails -XX:HeapDumpPath=/tmp/edp -XX:-UseGCOverheadLimit -Dlog4j.configuration=log4j.properties"
--conf "spark.driver.extraJavaOptions=-XX:+HeapDumpOnOutOfMemoryError -XX:+PrintGCDetails -XX:HeapDumpPath=/tmp/edp -XX:-UseGCOverheadLimit -Dlog4j.configuration=log4j.properties" \


spark_default 和脚本都设置。以脚本为主

在root权限下jmap -dump:format=b,file=/tmp/driver.hprof 79206 spark driver 总是提示
Unable to open socket file: target process not responding or HotSpot VM not loaded

The -F option can be used when the target process is not responding
这个时候发现pid 79206 不在/tmp/hsperfdata_root下。而是在/tmp/hsperfdata_yarn下,所以在yarn账号下执行就好了

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容