纱线在EMR上继续杀灭火花应用主机
我正在EMREMR-4.3.0上运行一个火花应用程序，它有1个主节点和4个节点
它们中的每一个都有5GB内存和2个核心。
以下是我的星星之交选项
-- com.mobi.vserv.driver.Query5kPids1类 -数字-执行人4 -执行器-内存4g -遗嘱执行人-核心2 -驱动器-内存4g
但我一直收到以下错误
错误executor.CoarseGrainedExecutorBackend:驱动程序10.225.19.144:56334断开！关机。
最后，亚恩杀死了应用大师
误差ApplicationMaster:接收信号15：
1)我能否进一步改进我的火花-提交选项的数字执行者和执行者核心。
2)在性能图中，只有2个节点CPU利用率在50 %以上，而另外2个节点CPU利用率小于5%。
3)有趣的是，我在两个节点和一个主机上运行了相同的应用程序，并在submit中给出了相同的配置，并成功运行。那么，对于4个节点，这种行为的原因是什么呢？
回答 1
Stack Overflow用户
发布于 2016-03-29 13:56:28
当使用纱线运行火花时，手动强制执行程序实例的数量并不是件好事，而是使用spark.dynamicAllocation.enabled=true。
这样，火花就会礼貌地问纱线，如果它有更多的资源可以运行，如果纱线有，它会给予它。
要找到您的场景的根本原因，您需要查看see的应用程序ui (namenode上的默认端口8088 )中有多少内存纱线。由于您正在为每个执行器指定内存，纱线只能分配该大小的实例，而且纱线还必须为下一个任务保留一组vCores和内存储备。
如果纱线有问题，可以使用“纱线-applicationId app_name_id”来查找纱线上的应用程序日志。
https://stackoverflow.com/questions/36285837
复制相似问题
腾讯云开发者
