在计算结束之前，Livy返回
在计算结束之前，Livy返回
提问于 2017-02-16 22:32:54
在Hortonworks Sandbox上与Livy一起工作时，我们发现了这样一个问题:在某些情况下，Livy API会在Spark监控工具指示的实际工作结束之前为语句提供结果。在某些情况下，对于正常执行时间超过10分钟的作业，Livy只需不到5秒就能提供结果。如果我们用相同的初始条件多次重复相同的任务，在某些情况下我们已经看到了这个问题的发生。有什么想法吗？
回答 1
Stack Overflow用户
发布于 2018-01-20 00:43:23
只需检查您是否对多个作业使用相同的Livy会话。如果使用相同的会话，那么中间的Spark DataSet会被缓存，检索结果的速度会更快。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/42276847
复制相关文章
相似问题
腾讯云开发者
