AutoOps：简化自管Elasticsearch管理的旅程

介绍AutoOps用于自管Elasticsearch，这使得Elasticsearch的管理更加简单。这篇博客不是传统的技术功能演练，而是从DevOps工程师的角度展示其价值、设置方法以及它提供的洞察。因为AutoOps的真正价值在于日常大规模管理Elasticsearch时的应用。

第一章：背景 - 自管环境下的复杂性

操作任何大规模的自管数据平台都是复杂的。

有时候，查询速度非常快。而下一刻，数据摄取滞后，存储成本飙升。这基本就像在管理一个动物园，而动物们还会在凌晨3点呼叫你。

我的环境也不例外：多个集群、大量的跨集群搜索（CCS），以及各个部门的数百名用户。

我们使用Stack Monitoring进行日常操作。它提供图表和指标，但仍需要大量专业知识和时间来连接各种线索。诊断瓶颈或决定何时调整分片策略仍是一个手动且容易出错的过程。在很多情况下，问题在导致停机、性能下降或存储意外激增之前都不易被发现。

第二章：发现AutoOps

然后传来了一个消息：AutoOps 现在可用于自管集群。

AutoOps一直以来帮助Elastic Cloud用户更高效地管理部署。现在，这些好处也适用于在自己环境中运行Elasticsearch的用户。

AutoOps的承诺令人心动：

• 实时检测数据摄取瓶颈、不平衡的分片、慢查询等问题
• 根据集群配置提供可操作的建议
• 提供资源优化见解以提高效率并减少浪费
• 通过安装轻量级代理即可简单设置——无需额外基础设施

老实说，任何承诺“不需要额外基础设施”的东西都能吸引我的全部注意力。

第三章：5分钟内完成设置（真的）

我准备了一个下午，储备了咖啡，做好了长时间设置的准备。让我惊讶的是，只用了五分钟：

1. 登录我的Elastic Cloud账户
2. 决定在何处运行代理（Docker、Linux或Kubernetes）
3. 输入集群URL
4. 获得一个运行的简单命令，安装了一个轻量级的Metricbeat代理

就是这样。我的集群已连接。

无需预置专用的监控集群。重要的是，AutoOps只发送指标，这意味着我公司的数据仍保存在自管环境中。

步骤1：注册Elastic Cloud

步骤2：选择代理运行位置

步骤3：输入Elasticsearch端点和认证方式

步骤4：安装代理的简单命令

完成：几分钟后，AutoOps会开始显示洞察

更多详情请参考AutoOps入门文档和常见问题解答。

第四章：初步洞察，初步成果

在几分钟内，AutoOps就开始提供洞察，进行根本原因分析并给出明确的解决步骤。

第一周的亮点包括：

• 标记出没有附加到任何ILM策略且过大的索引
• 一个集群中有三个空节点是过去维护作业遗留下来的
• 一些节点超过了水印，一些索引缺失副本
• 发现了配置不当的模板
• 精确定位到一个长时间运行的搜索并建议了准确的取消命令

AutoOps检测到集群正在拒绝索引

AutoOps检测到一些索引未配置副本

在使用AutoOps之前，我们可能会投入更多硬件来解决这些问题。而AutoOps则直接指出了问题根源，修复只需几分钟。

这一次，监控系统不仅仅是展示图表，而是告诉我如何解决问题。我开始想，AutoOps能否也帮助诊断我家的Wi-Fi，终于让我摆脱作为家中IT部门的命运……

AutoOps监测分片大小并在发现大量空分片时发出警报

第五章：支持与我看到的一致

第一次打开支持案例时，我意识到了另一个好处：Elastic的支持工程师可以看到我正在查看的相同数据和建议。

这使得支持变成了一种协作。无需反复的票据交流，而是感觉像在与一位精通Elasticsearch的队友合作。

第六章：大规模操作

在使用AutoOps之前，扩展Elasticsearch感觉像是科学、直觉和部落知识的混合。

现在，它变得数据驱动，具有清晰的可见性和建议：

• 资源利用的可见性，防止过度配置
• 更智能的分片分配和分层建议，以实现平衡的性能
• 降低存储和硬件成本的索引大小见解
• 快速进行跨多个集群的根本原因分析

第七章：众多云连接服务的开端

AutoOps不仅仅是一个独立工具。它是自管客户新一组云连接服务的首个产品。Cloud Connect让自管集群能够使用Elastic Cloud服务，而无需安装和管理这些服务的操作开销。功能会自动推出，因此团队能够更快地获得改进，减少基础设施的复杂性。

下一个产品是：Elastic 推理服务 (EIS)。

结语

管理大规模的自管部署不一定要让人感到不知所措。

如果你希望操作更简单，你可以选择将一些工作负载转移到Elastic Cloud，无论是托管还是无服务器，这都是运行Elasticsearch的最简单方式。

如果你想继续运行自管环境，可以通过自管企业许可证将任何集群连接到Elastic Cloud上的AutoOps。

总结

运行大规模自管Elasticsearch集群既复杂又耗时。AutoOps带来了实时问题检测、可操作的建议以及与Elastic支持共享的可见性——无需管理额外的基础设施。设置只需几分钟，洞察立即显现。