如何在spark应用中验证orc矢量化是否有效？
如何在spark应用中验证orc矢量化是否有效？
提问于 2018-05-23 13:09:48
我已经在我的spark streaming应用程序中启用了以下列出的配置，但我无法推断设置这些参数后的性能优势，如果你们中的任何一个知道任何方法来验证矢量化是否按预期/正确启用！
注意:我正在使用Spark 2.3，并将我的应用程序中的所有数据转换为原生orc格式1.4版本。
sparkSqlCtx.setConf("spark.sql.orc.filterPushdown", "true")
sparkSqlCtx.setConf("spark.sql.orc.enabled", "true")
sparkSqlCtx.setConf("spark.sql.hive.convertMetastoreOrc", "true")
sparkSqlCtx.setConf("spark.sql.orc.char.enabled", "true")
sparkSqlCtx.setConf("spark.sql.orc.impl","native")
sparkSqlCtx.setConf("spark.sql.orc.enableVectorizedReader","true") 回答 1
Stack Overflow用户
发布于 2018-08-18 02:47:38
您需要进行如下设置
spark.sql("set spark.sql.orc.impl=native")您可以使用以下命令进行确认
spark.sql("set spark.sql.orc.impl").show页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/50480236
复制相关文章
相似问题