问Hadoop生态系统: Pig/Hive需要的Map Reduce

EN

图为Pig和Hive在MapReduce上。这是因为MapReduce是Pig和Hive使用的分布式计算引擎。Pig和Hive查询作为MapReduce作业执行。使用Pig和Hive更容易，因为它们为使用MapReduce提供了更高级别的抽象。

现在让我们看看图片中YARN上的Spark/Storm/Flink。YARN是一个集群管理器，允许各种应用程序在其上运行。Storm、Spark和Flink都是可以在YARN上运行的应用程序的示例。如图所示，MapReduce也被视为可以在YARN上运行的应用程序。YARN处理资源管理部分，以便多个应用程序可以共享同一集群。(如果您对类似技术的另一个示例感兴趣，请查看Mesos)。

最后，图片的底部是HDFS。这是允许应用程序存储和访问数据的分布式存储层。提供分布式存储、复制、容错等功能。

如果你对更深层次的潜水感兴趣，请查看Apache Projects页面。