在spark的“客户端”部署模式中,spark驱动程序不会消耗内核,只有spark应用程序才会。但是为什么在“集群”模式下,spark驱动程序需要一个内核呢?
发布于 2019-06-28 08:08:00
Spark上下文中的核心与CPU核心不同。它只是一个带有一定数量RAM的计算单元。运行任何进程都需要一个内核。驱动程序需要协调集群上的Spark任务。实际上,它很可能只消耗了一小部分CPU和大约1-2 GB的内存。
https://stackoverflow.com/questions/56781927
复制相似问题