问如何启用基于谱系的容错，以实现火花
EN

Stack Overflow用户

提问于 2015-12-11 12:17:43

回答 1查看 309关注 0票数 0

我正在尝试实现RDD/Dataframe共享，使用Tachyon。我的理解是，使用HDFS underFS，写是异步的(在场景后面进行对HDFS的复制)，因此应该更快，但是在我的测试中，我发现带有HDFS underFS的Tachyon在编写方面要慢2-6倍。

从这张印子纸我看到：

“我们在星火和MapReduce集成中实现了基于血统的容错可配置”

你如何使星火使用基于血统的容错在塔奇扬？

注意:我正在使用Spark方法df.write.parquet和RDD方法rdd.saveAsObjectFile将我的Dataframes/RDD保存到Tachyon。

发布于 2015-12-11 14:17:54

您应该将tachyon.user.lineage.enabled设置为true，并根据您的首选项调整其他血统设置。一些最有趣的设置(来自主配置文档)：

tachyon.master.lineage.checkpoint.interval.ms -塔奇扬检查点调度之间的间隔(以毫秒为单位)。
tachyon.master.lineage.checkpoint.class --血统输出文件的检查点策略的类名。默认策略是检查最新完成的谱系，即输出文件已完成的谱系。
tachyon.master.lineage.recompute.interval.ms --塔基恩重计算执行之间的间隔(毫秒)。执行者扫描所有根据血统跟踪的丢失文件，并重新执行相应的作业。每隔10分钟。

有关更多详细信息，请参阅谱系API文档。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/34223379

复制

相似问题

问如何启用基于谱系的容错，以实现火花EN