SparkSQL:读取JSON还是直接对文件执行查询？
SparkSQL:读取JSON还是直接对文件执行查询？
提问于 2016-11-09 02:47:38
我有很多很大的JSON文件，我想对这些文件运行一些分析。我刚刚开始使用SparkSQL，并且正在努力确保我理解从文件使用SparkSQL read the JSON records into an RDD/DataFrame (并推断出模式)和使用run a SparkSQL query on the files directly之间的好处。如果你有任何使用SParkSQL的经验，我很想知道哪种方法是首选的，为什么。
首先，感谢您的时间和帮助！
回答 1
Stack Overflow用户
发布于 2016-11-09 03:08:29
可以将explain()作为操作调用，而不是在dataset上调用show()或count()。然后，Spark将向您显示所选的物理计划。
你可以找到上面的图片here。据我所知，应该没有区别。但我更喜欢使用read()方法。当我使用IDE时，我可以看到所有可用的方法。当你使用SQL时，可能会出现像slect而不是select这样的错误，但是当你运行你的代码时，你会首先得到错误。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/40494309
复制相关文章
相似问题
腾讯云开发者
