问使用Spark在S3上处理单个文件

EN

spark如何在幕后实现这一点？

有许多公开文章解释了spark是如何像this一样工作的。

我想知道在HDFS和S3上使用

在并行处理方面有什么不同。当我使用电子病历的时候重要吗？

这取决于你的用例是什么。一般说来，它可以归结为：

• 您会选择S3而不是HDFS作为持久存储选项，它可以包含超出EMR集群生命周期的数据。
• 无限制(理论上)存储限制。
• 高服务级别协议和SLAEMR上的HDFS是短暂的。因此，您不需要让集群保持运行即可获得数据。etc。

Vs

• HDFS在I/O操作、中间/临时数据位置方面速度更快，因为S3通信涉及互联网上的应用编程接口调用。