ERROR TransportRequestHandler:293 - Error sending result StreamResponse{streamId=/jars/mysql-connector-java-8.0.14.jar, byteCount=2134907, body=FileSegmentManagedBuffer{file=/root/hd/apache-hive-2.3.4-bin/lib/mysql-connector-java-8.0.14.jar, offset=0, length=2134907}} to /47.93.32.35:58270; closing connection
java.nio.channels.ClosedChannelException
at io.netty.channel.AbstractChannel$AbstractUnsafe.close(...)(Unknown Source)
问题解决:分配资源超过了机器物理硬件大小
运行spark job该分配多少资源,即我们该分配多少个executor?每个executor分配多少内存、多少个core?
closing connection java.nio.channels.ClosedChannelException
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
- 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
推荐阅读更多精彩内容
- 1. Overview: Structured Streaming是基于Spark SQL引擎的可扩展、具有容错性...