textFile:
defaultParallelism=max(totalCoreCount,2)
min(defaultParallelism,2)
parallelize:
max(totalCoreCount,2)
假设是4核的,那么:
对于textFile:
defaultParallelism=max(4,2)=4
分区数=min(defaultParallelism,2)=2
对于parallelize:
分区数=max(4,2)=4
本文分享自 作者个人站点/博客 前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!