问使用Spark - performance问题将数据帧转换为JSON
EN

Stack Overflow用户

提问于 2018-10-02 13:08:57

回答 1查看 206关注 0票数 0

我使用以下语句将spark的数据帧转换为json格式: val res = resultDF.toJSON.collect.mkString("，")

然而，即使对于小的数据帧，它的性能似乎也很差(对于具有一个单元的数据帧，大约10秒)。我想知道有没有办法让它更快？谢谢

发布于 2018-10-02 22:30:41

我不确定是不是写一个json和加载之后会更快：

df.write.json("/my_path")

然后你读了那个文件

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/52602339

复制

相似问题

问使用Spark - performance问题将数据帧转换为JSONEN