Elastic Cloud Enterprise的快照管理

@toc

3月23号，Elastic又发布了最新的7.12版本。在这个版本中，最重要的一个更新是frozen tier的发布。相比于之前版本的cold tier（关于cold tier的细节，可以查看之前的博文：Elastic Searchable snapshot功能初探、Elastic Searchable snapshot功能初探 二 （hot phase）），其最大的不同是我们可以直接在对象存储里面进行数据的搜索，即我们能够保持对象存储里面的快照数据一直在线可查，通过构建一个小规模的，只带基础存储的计算集群，就可以查阅保存在快照中的海量数据！做到真正的计算和存储分离，并且极大的降低查阅庞大的历史冷冻数据的所需的成本和提高查询效能。（可参考官方博客：使用新的冻结层直接搜索S3）

前方高能图片：

在这里插入图片描述

单节点"挂载"1PB数据，本地磁盘使用率1.7%，只需很少的计算资源和本地存储资源就可以查询海量数据。

要做到这点，有几个前提：

• 需要有Elastic的Enterprise级别的订阅
• 已经有可用的对象存储用于快照仓库

而当我们使用ECE（Elastic Cloud Enterprise）创建集群时，就已经天然满足了第一个需求。我们要做的是通过ECE来管理我们的快照仓库，并建立索引和searchable snapshot的关系，我们会在系列文章中为大家展示如何使用做到这点。

本文中，我们先简单了解下ECE上的快照管理功能。

处理快照

快照为您的Elasticsearch索引提供备份。当没有足够的可用区来提供高可用性时，可以使用快照从故障中恢复，也可以从意外删除中恢复。

在你开始之前

要为您的Elasticsearch集群启用快照并使用快照，您必须已配置存储库。配置快照存储库后，每30分钟或以您指定的间隔拍摄一次快照。

注意：快照仅备份打开的索引。如果关闭索引，则快照中将不包含该索引，因此您将无法还原数据。

从Elastic Stack 7.6版本开始，使用Kibana来管理快照。在Kibana中，您可以设置其他存储库来存储快照，而不是由Elastic Cloud Enterprise当前管理的存储库。您可以查看和删除快照，并配置快照生命周期管理（SLM）策略以在创建和删除快照时自动执行。

在Elastic Cloud Enterprise中，您可以查看快照列表，还可以从同一区域中的其他部署还原快照。

配置快照仓库

快照存储库是为整个Elastic Cloud Enterprise安装管理的，创建或管理快照存储库时可以为Elasticsearch集群指定快照存储库。指定存储库后，默认情况下或指定的时间间隔默认每30分钟拍摄一次快照。

通过Elastic核心存储库插件可提供对以下存储库的支持：

• 亚马逊S3
• Microsoft Azure存储
• 谷歌云存储

添加快照仓库配置

在可以对Elasticsearch集群执行任何快照或还原操作之前，至少需要将一个快照仓库配置添加到您的Elastic Cloud Enterprise安装中。

要添加快照仓库：

• 登录到Cloud UI。
• 从“Platform”菜单中，选择“Repositories”。
• 单击"Add Repository"以添加现有快照仓库。
• 提供仓配置的名称。
• 选择一种受支持的仓库类型，然后指定必要的设置： - Amazon S3配置： 必须指定所有仓库选项，因为没有默认值。 - region 铲斗所在的区域。 - bucket 用于快照的存储桶的名称。 - access key 用于身份验证的访问密钥。 - secrect key 用于身份验证的密钥。 - GCS配置： 除了S3之外，其他的配置需要使用json的方式配置 ```json { "type": "gcs", "settings": { "bucket": "lex-demo-bucket", "client": "my_alternate_client" } } ```

- 需要访问GCP的service account配置一个访问凭证
- 然后通过deployment -> Security，配置该访问凭证 (注意，这里的client名字，必须与Security key里面的名字匹配：`my_alternate_client`)

创建集群并安装对应插件

可以在创建的时候安装：

在这里插入图片描述

也可以在安装之后修改：

在这里插入图片描述

快照插件安装之后，可以在集群的Kibana看到ECE为您创建的快照仓库（found-snapshots）：

在这里插入图片描述

你可以把索引备份到该快照仓库，也可以自己注册一个新的快照仓库来区别ECE的自动备份

创建快照策略

之后，在Kibana上创建快照策略，可以将数据备份到ECE创建的found-snapshots仓库中

在这里插入图片描述

注意，这里的name，如果命名为cloud-snapshot-policy，则可以在ECE的界面上手动的创建快照

在这里插入图片描述

查看快照

我们可以在ECE的界面上查看所有可用快照：

在这里插入图片描述

展望

通过ECE管理统一的快照仓库，我们可以做到，当多个集群均通过该仓库来生成快照的时候，通过searchable snapshot的功能，我们可以做到通过构建一个小规模的，只带基础存储的计算集群，就可以查阅多个集群保存在快照仓库中的海量数据这一摄像！