前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Elasticsearch 与 OpenSearch:详细对比性能差距

Elasticsearch 与 OpenSearch:详细对比性能差距

原创
作者头像
点火三周
发布2023-08-10 20:03:00
5.7K1
发布2023-08-10 20:03:00
举报

原文:https://www.elastic.co/blog/elasticsearch-opensearch-performance-gap

作者:George Kobar, Ugo Sangiorgi

对于任何依赖快速、准确搜索数据的组织来说,强大、快速且高效的搜索引擎是至关重要的元素。对于开发人员和架构师来说,选择正确的搜索平台可以极大地影响您的组织提供快速且相关结果的能力。在我们全面的性能测试中,Elasticsearch 成为明智的选择。Elasticsearch 比 OpenSearch 快40%-140%,同时使用更少的计算资源。

在本文中,我们将在六个主要领域对 Elasticsearch 和 OpenSearch 进行性能比较:文本查询、排序、日期直方图、范围和Term查询以及资源利用率。我们的目标是提供公平、实用的技术见解,帮助您做出明智的决策,无论您是优化现有系统还是设计新系统。此比较还旨在清楚地突出 Elasticsearch 和 OpenSearch 之间的性能差异,表明两者完全不同。

我们将首先回顾性能比较的结果,然后是我们的测试方法和测试环境。

结果

使用 t 检验对性能比较结果(重点关注请求的 p90(第 90 个百分位))进行交叉验证,以确保两种解决方案之间的延迟测量存在统计差异。针对每种查询类型计算相对变化(以百分比表示)。我们还使用箱线图显示 100% 请求的延迟分布,箱线图显示最小值、最大值、中值、平均值和异常值。实际的方框显示了下四分位数和上四分位数,其中分别有 25% 和 75% 的观测值落在其中。通过这种方式,我们可以了解这些值的实际分布情况。

Image
Image

文本查询 — 速度提高 76%

“查询所有包含 jane@doe.com 的数据。”

Image
Image

Elasticsearch 表现出了显著的领先优势,执行文本查询的速度比 OpenSearch 快 76% 。

文本查询是全文搜索的基础和关键,而全文搜索是 Elasticsearch 的主要功能。文本字段查询允许用户搜索文本数据中的特定短语、单个单词甚至单词的一部分。用户能够通过文本数据执行复杂的搜索——它增强了整体搜索体验并支持广泛的应用程序和解决方案。

排序

“最贵的产品是哪个?”

Image
Image

在对简单文本查询结果进行排序时,Elasticsearch 的性能比 OpenSearch 高出惊人的 140%。此外,Elasticsearch 的时间戳、关键字和数字排序查询的执行时间分别加快了 24%、97% 和 53%。

排序是按特定顺序(例如字母顺序、数字顺序或时间顺序)排列数据的过程。排序对于基于特定条件的搜索结果非常有用,可确保向客户呈现最相关的结果。这是增强用户体验并提高搜索过程整体效率的重要功能。

日期直方图

“展示一个按时间排序的所有数据的柱状图

对于日期直方图聚合,Elasticsearch 比 OpenSearch 快 81%,展示了其强大能力。处理时间的加速有利于根据时间序列数据生成有序条形图。

日期直方图聚合可用于将时序数据划分为间隔或存储桶来聚合和分析数据。此功能使用户能够可视化并更好地了解一段时间内的趋势、模式和异常情况。

范围查询

展示价格在0-25之间的产品

Image
Image

Elasticsearch 在范围查询方面快了 40%,在范围聚合方面快了 68%。

在测试或关键字字段上搜索范围查询是性能和可扩展性的另一个核心参数。范围查询对于根据给定字段中的特定值范围过滤搜索结果非常有用。此功能允许用户缩小搜索结果范围并快速找到更多相关信息。

更快的创建至关重要,因为它涉及根据特定属性将数据分类为组(构面),然后在每个组内执行汇总操作。此过程通过提供电子商务应用程序中经常使用的数据的结构化视图,使分析、过滤和可视化变得更加容易。

Term查询

将数据按照一起购买的产品分组

Image
Image

Elasticsearch 展示了其优越性,与 OpenSearch 相比,Term查询速度快 108%,复合Term聚合速度快 103%。这些优势使 Elasticsearch 成为涉及数据分组和过滤的更佳选择。

Elasticsearch 中的“Significant Terms”聚合会自动排除常见或不感兴趣的Term,例如停用词(“and”、“the”、“a”)或结果中索引中频繁出现的Term。这是基于对索引数据中的Term频率和分布的统计分析。

资源利用率

Elasticsearch 不仅在各种与搜索相关的任务中表现优于 OpenSearch,而且还被证明具有更高的资源效率。默认情况下,OpenSearch 对数据流使用best_speed 编解码器(优先考虑查询速度而不是存储效率),而 Elasticsearch 使用best_compression。使用默认的开箱即用设置,Elasticsearch 使用的磁盘空间减少了 37%,并且当两者都使用best_compression(用于此基准测试的编解码器)时,Elasticsearch 的空间效率仍然提高了 13%。

时间序列数据流 (TSDS)

我们更进一步,将数据重新索引到时间序列数据流中,从而进一步压缩数据 - 平均文档大小从 218 kb 下降到 124 kb,减少了 54.8%,如下表所示

平均文档大小

与 OpenSearch 的区别

OpenSearch Datastream

249 KB

-

Elasticsearch Datastream

218 KB

13%

Elasticsearch TSDS

124 KB

54.8%

第三方验证

我们的性能测试方法和结果已经过 TechTarget 的 Enterprise Strategy Group(一家受人尊敬的第三方供应商)的独立验证。Tech Target 企业战略组 ESG 的验证增加了我们的调查结果的可信度和公正性,确保测试方法和后续结果保持最高的准确性和完整性标准。他们的认可重申了我们比较的稳健性和可靠性,使您能够根据我们的基准测试结果做出明智的决定。

测试方法

我们如何得出这些结果

本着公平、精确比较Elasticsearch 和 OpenSearch的精神,我们创建了两个等效的 5 节点集群,每个集群配备 32GB 内存、8 个 CPU 核心、每个节点 300GB 磁盘。对于每个产品,我们提取随机生成的相同 1TB 日志文件,其中包含 22 个字段(更多详细信息如下)。

测试是在单独的 Kubernetes 节点池中完成的,确保每个产品都有专用资源。我们遵循 Elasticsearch 和 OpenSearch 的最佳实践,包括在发起查询之前强制合并索引以及防止缓存请求影响的策略,从而确保测试结果的完整性。

为了保证 Elasticsearch 和 OpenSearch 比较的透明度,我们将完整的基准测试流程作为开源项目提供。可在此处访问的存储库包括用于配置 Kubernetes 集群的 Terraform 配置以及用于创建 Elasticsearch 和 OpenSearch 集群的 Kubernetes 清单。此外,存储库中还提供了基准测试中使用的查询。

您不仅可以自己进行测试,还可以使用此存储库进行自己的调查并提高 Elasticsearch 项目的性能。

我们测试了什么

我们在 Elasticsearch 和 OpenSearch 之间进行的测试是在关键使用领域进行的,包括:

搜索 - 具有典型搜索栏的电子商务用例

可观察性——大量系统遥测数据,例如日志、指标和应用程序跟踪

安全——安全事件实时分析

即将进行的比较将深入分析每个平台在这些领域的表现,包括文本查询、排序、数据直方图、范围和Term查询。

数据集和摄取

使用此开源工具生成了 1TB 数据集,然后将其上传到 GCP 存储桶。Logstash ®用于将 GCP 存储桶中的数据集提取到 Elasticsearch 和 OpenSearch 中。存储库中还包含生成类似数据集的说明,以防您想要复制基准测试。

各字段组成的所有日志如下表所示。除@timestamp 之外,所有事件的值都是随机的,@timestamp 是按事件顺序且唯一的。

@timestamp

Jan 3, 2023 @ 18:59:58.000

agent.id

baac7358-a449-4c36-bf0f-befb211f1d38

agent.name

fernswisher

agent.type

filebeat

agent.version

8.8.0

aws.cloudwatch.ingestion_time

2023-05-01T20:49:30.820Z

aws.cloudwatch.log_group

/var/log/messages

aws.cloudwatch.log_stream

northcurtain

cloud.region

ap-southeast-3

data_stream.dataset

benchmarks

data_stream.namespace

day3

data_stream.type

logs

event.dataset

generic

event.id

gravecrane

input.type

aws-cloudwatch

log.file.path

/var/log/messages/northcurtain

message

2023-05-01T20:49:30.820Z May 01 20:49:30 ip-106...

meta.file

2023-01-03/1682974095-gotext.ndjson.gz

metrics.size

408

metrics.tmin

238

process.name

systemd

tags

preserve_original_event

基准测试

总共考虑了五个关键领域的 35 种查询类型,总计 387,000 个请求。在 100 个预热查询之后,每个查询类型执行 100 次,每个查询重复该过程 50 次。

Rally 是 Elastic ®开发的开源工具,用于 Elasticsearch 和 Elastic Stack 的其他组件的基准测试和性能测试。它允许用户针对 Elasticsearch 集群模拟各种类型的工作负载,例如索引和搜索,并以可重复的方式测量其性能。虽然 Rally 是由 Elastic 开发的,主要是为了对 Elasticsearch 进行基准测试而设计的,但它是一个灵活的工具,可以适应与 OpenSearch 一起使用。

Elastic 每晚运行基准测试,以确保 Elasticsearch 中的任何新代码的性能与昨天一样或更好。我们还使用自己的机器学习来识别性能异常或资源利用效率低下。我们以透明和公开的方式提供性能和尺寸测试,以使使用我们产品的每个人受益。值得注意的是,其他人不提供此功能,这可以帮助用户随着时间的推移监控他们感兴趣的变化。

结论:Elasticsearch — 明显的胜利者

考虑到各种测试的结果,很明显 Elasticsearch 始终优于 OpenSearch。无论是处理简单查询、对数据进行排序、生成直方图、处理Term或范围查询,甚至是资源优化,Elasticsearch 都处于领先地位。

在选择搜索引擎平台时,企业应优先考虑速度、效率和低资源利用率——这些都是 Elasticsearch 所擅长的属性。这使得它成为依赖快速准确搜索结果的组织的一个令人信服的选择。无论您是对搜索结果进行排序的电子商务平台、识别威胁的安全分析师,还是仅仅需要有效观察关键应用程序,Elasticsearch 都在此次比较中成为明显的领导者。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 结果
    • 文本查询 — 速度提高 76%
      • 排序
        • 日期直方图
        • 范围查询
        • Term查询
          • 资源利用率
            • 时间序列数据流 (TSDS)
              • 第三方验证
              • 测试方法
                • 我们如何得出这些结果
                  • 我们测试了什么
                    • 数据集和摄取
                    • 基准测试
                    • 结论:Elasticsearch — 明显的胜利者
                    相关产品与服务
                    Elasticsearch Service
                    腾讯云 Elasticsearch Service(ES)是云端全托管海量数据检索分析服务,拥有高性能自研内核,集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群,也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务,它独特的向量检索还可助您构建基于语义、图像的AI深度应用。
                    领券
                    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档