开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >火花:星星之火中的CBO是否只适用于SPARK，还是也适用于Dataframe和Dataset API？

问火花:星星之火中的CBO是否只适用于SPARK，还是也适用于Dataframe和Dataset API？
EN

Stack Overflow用户

提问于 2019-11-24 14:13:55

回答 1查看 140关注 0票数 0

optimizer?

Does中的基于成本的优化器

主要问题: CBO (基于成本的优化器)是否仅适用于sql，还是也适用于Dataframe和Dataset API？
与
之间的区别在于，了解以上三个主题的详细情况有助于提高性能？我们真的能控制和调整背后的内部吗？如果是，请指导如何使用并分享一些参考链接。(我发现许多解释概念的文章，但很少实际解释如何利用这些信息来提高性能)

apache-spark-sql

EN

回答 1

Stack Overflow用户

发布于 2019-11-24 19:38:42

是的，也适用于DataFrame/Dataset API
催化剂，它是一个基于规则的优化器brior to Spark2.2。启用CBO将允许催化剂使用实际的(元)-data来决定选择哪个物理计划。因此，我认为CBO是
的一部分，您不能“调优”，如果您收集输入表的表统计信息(ANALYZE .)，就可以使用CBO。像这样，催化剂会做出更好的物理计划。--

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/59018569

复制

相似问题