我们一直在通过spark-shell中的交互式spark作业或在RStudio中运行Sparklyr等方式来观察这种行为。
假设我在纱线客户端模式下启动了spark-shell,并执行了一个操作,该操作在作业中触发了几个阶段,并消耗了x内核和y内存。此作业完成后,相应的spark会话仍处于活动状态,即使该作业已完成,分配的内核和内存也不会释放。这是正常行为吗?
在相应的spark会话完成之前,ip:8088/ws/v1/cluster/apps/application_1536663543320_0040/一直显示:y x z
我假设,Yarn会动态地将这些未使用的资源分配给等待资源的其他sp
我有一个字数统计示例mapreduce作业,我在YARN模式下运行它。但是为什么我的mapreduce作业在运行作业步骤时停止而不继续?它是这样的:
15/04/04 17:18:21 INFO impl.YarnClientImpl: Submitted application application_1428142358448_0002
15/04/04 17:18:21 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1428142358448_0002/
15/04/0