@toc
3月23号,Elastic又发布了最新的7.12版本。在这个版本中,最重要的一个更新是frozen tier的发布。相比于之前版本的cold tier(关于cold tier的细节,可以查看之前的博文:Elastic Searchable snapshot功能初探、Elastic Searchable snapshot功能初探 二 (hot phase)),其最大的不同是我们可以直接在对象存储里面进行数据的搜索,即我们能够保持对象存储里面的快照数据一直在线可查,通过构建一个小规模的,只带基础存储的计算集群,就可以查阅保存在快照中的海量数据!做到真正的计算和存储分离,并且极大的降低查阅庞大的历史冷冻数据的所需的成本和提高查询效能。(可参考官方博客:使用新的冻结层直接搜索S3)
前方高能图片:
单节点"挂载"1PB数据,本地磁盘使用率1.7%,只需很少的计算资源和本地存储资源就可以查询海量数据。
要做到这点,有几个前提:
而当我们使用ECE(Elastic Cloud Enterprise)创建集群时,就已经天然满足了第一个需求。我们要做的是通过ECE来管理我们的快照仓库,并建立索引和searchable snapshot的关系,我们会在系列文章中为大家展示如何使用做到这点。
本文中,我们先简单了解下ECE上的快照管理功能。
快照为您的Elasticsearch索引提供备份。当没有足够的可用区来提供高可用性时,可以使用快照从故障中恢复,也可以从意外删除中恢复。
要为您的Elasticsearch集群启用快照并使用快照,您必须已配置存储库。配置快照存储库后,每30分钟或以您指定的间隔拍摄一次快照。
注意:快照仅备份打开的索引。如果关闭索引,则快照中将不包含该索引,因此您将无法还原数据。
从Elastic Stack 7.6版本开始,使用Kibana来管理快照。在Kibana中,您可以设置其他存储库来存储快照,而不是由Elastic Cloud Enterprise当前管理的存储库。您可以查看和删除快照,并配置快照生命周期管理(SLM)策略以在创建和删除快照时自动执行。
在Elastic Cloud Enterprise中,您可以查看快照列表,还可以从同一区域中的其他部署还原快照。
快照存储库是为整个Elastic Cloud Enterprise安装管理的,创建或管理快照存储库时可以为Elasticsearch集群指定快照存储库。指定存储库后,默认情况下或指定的时间间隔默认每30分钟拍摄一次快照。
通过Elastic核心存储库插件可提供对以下存储库的支持:
在可以对Elasticsearch集群执行任何快照或还原操作之前,至少需要将一个快照仓库配置添加到您的Elastic Cloud Enterprise安装中。
要添加快照仓库:
- 需要访问GCP的service account配置一个访问凭证
- 然后通过deployment -> Security,配置该访问凭证 (注意,这里的client名字,必须与Security key里面的名字匹配:`my_alternate_client`)
可以在创建的时候安装:
也可以在安装之后修改:
快照插件安装之后,可以在集群的Kibana看到ECE为您创建的快照仓库(found-snapshots
):
你可以把索引备份到该快照仓库,也可以自己注册一个新的快照仓库来区别ECE的自动备份
之后,在Kibana上创建快照策略,可以将数据备份到ECE创建的found-snapshots
仓库中
注意,这里的name,如果命名为cloud-snapshot-policy
,则可以在ECE的界面上手动的创建快照
我们可以在ECE的界面上查看所有可用快照:
通过ECE管理统一的快照仓库,我们可以做到,当多个集群均通过该仓库来生成快照的时候,通过searchable snapshot的功能,我们可以做到通过构建一个小规模的,只带基础存储的计算集群,就可以查阅多个集群保存在快照仓库中的海量数据这一摄像!
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。