目前,当EMR集群主机停止(关机行为:停止而不是终止)时,我们会丢失集群,因为EMR的架构考虑到一旦主机关闭,集群就会终止。我们所处的世界中,硬件故障非常常见,将来EMR主机可能会出现故障,那么我们如何恢复存储在EMR集群上的数据呢?
类似地,如果核心节点关闭并尝试硬重新启动(停止并启动);终止核心节点,则配置的核心节点将启动以满足所需的核心容量,并且我们将丢失终止核心节点的所有数据(HDD) (数据损坏)。
有什么解决方案可以防止这种类型的终止吗?
发布于 2017-04-26 04:03:48
这种情况是非常不可能的,因为AWS已经将Hadoop配置为跨多个实例复制拆分数据。
来自Amazon EMR的FAQs
问:亚马逊电子病历的可靠性如何?
Amazon EMR使用亚马逊的高可用性、经验证的网络基础设施和数据中心管理计算实例的亚马逊EC2集群。Amazon EMR使用经过行业验证的容错Hadoop软件作为其数据处理引擎。Hadoop将数据分成多个子集,并将每个子集分配给多个亚马逊EC2实例。因此,如果一个亚马逊EC2实例无法处理一个数据子集,则可以使用另一个亚马逊EC2实例的结果。
发布于 2020-03-26 04:56:48
随着EMR 5.23.0版本的发布,您现在可以启动具有三个主节点的EMR集群,并支持高可用性。EMR announces Support for Multiple Master nodes
https://stackoverflow.com/questions/41715326
复制相似问题