在一开始的时候,情况是这样的:
可以看得出来,本来Receiver应该有一个专门的job启动起来,但是并没有
但是可以看到 DummyJob已经启动了,并且有日志显示 receivers是有1个的,对应的代码在这里:
runDummySparkJob()
logInfo("Starting " + receivers.length + " receivers")
endpoint.send(StartAllReceivers(receivers))
在过一段时间,Spark App 就会报错,报的错是:
spark.rpc.asktimeout
在经过一段的时间的研究之后,没有找出原因,就请求了大神(王鹏哥)的帮忙,经过一段的时间探讨之后,终于找出了原因,就是因为虚拟机的processor 的个数只有1个,Driver根本处理不过来,
在改完以后,问题就解决了,
希望大家不要和我犯同样的错误~~