Elastic Meetup 2021 深圳站回顾

腾讯云大数据

发布于 2021-08-27 10:40:14

4310

发布于 2021-08-27 10:40:14

背景

一波未平一波又起的疫情对大家的生活、工作造成了一定影响。在信息化飞速发展的今天，小伙伴们技术交流的方式也变得多样化。2021年8月21日下午，ES 中文社区联合腾讯云在腾讯滨海大厦举办了深圳地区年度首次 Meetup，活动采用线下现场参与、腾讯会议、云+社区线上同步直播的方式进行。来自腾讯、Tapdata、字节跳动、vivo 的技术专家们给 ES 社区的小伙伴们带来了一场精彩的技术视听盛宴。

一、社区发展

活动开始， ES 深圳分会主席杨振涛先生回顾了深圳 Meetup 历史并对本次活动表达了祝福，分会副主席黄华先生介绍了 ES 社区最新的发展动态。

截止目前 Elasticsearch 总下载量达到 8.3 亿，Elastic Stack 技术栈产品的下载量超过 25 亿。作为开源产品，发展趋势非常火爆，这背后得益于 ES 在大数据生态下服务场景的不断扩展。ES 社区的发展也是非常的迅猛，全球近百个城市举办过 Meetup 活动，共 5 万多参会者，全球社区用户量超过 10 万。中文社区有 9 个城市定期举办 Meetup，相信后续会越来越多。ES 技术栈这么火爆主要是因为搜索领域它是王者，海量日志实时分析领域它正在成为很多公司的平台化、数据中台的标配。

云是未来，拥抱云原生。腾讯云和 Elastic 公司达成商务战略合作已有两年多时间，云上的托管 ES 服务已成为大数据产品线的火热品牌。与此同时，腾讯并没有白嫖开源产品，除了引入官方 X-Pack 商业特性，技术层面进一步拥抱开源、贡献开源。腾讯 ES 的内核团队向社区贡献了大量的 Patch，腾讯已成为 ES 社区全球贡献最多的第三方公司。

二、主题分享

1.腾讯 Elasticsearch 压缩编码优化实践

首先分享的是来自腾讯 ES 内核团队的专家工程师毕杰山老师，他的分享主题是腾讯 Elasticsearch 压缩编码优化实践。

ES 底层的存储引擎是 Apache Lucene，它支持多种数据结构，包括行存、列存、倒排索引、数值类型索引（BKD-Tree）等等。正因为其支持多种数据结构，使得 ES 能支持的业务场景非常丰富。也正是因为多种数据结构的支持，导致 ES 的存储成本开销比较高。另外 Lucene 的发展已有二十多年历史，在各种数据结构的压缩优化、编码优化方面并没有演进的特别快。

压缩算法的技术门槛较高，一般涉及众多的复杂算法，重复研发一种新的压缩算法代价非常大，业界也有较多成熟的算法例如 Zstd、Brotli、Deflate 等。从 ES 众多的数据结构中寻找文件存储可优化点本身比较挑战，我们需要兼顾压缩比和性能的开销。除了引入通用的压缩算法，还要针对部分结构做深度的编码优化。

在本次分享中，杰山老师深入浅出地剖析了压缩算法的基本原理，解析了腾讯 ES 在压缩编码方面系统性的优化。

扫描二维码查看PPT

该主题问答环节：

这些新特性基于哪个版本做的？

基于 es 7.10 版本，对应着 lucene 的版本为 8.7

能不能不对行数据进行压缩？

我们发现在 es node 侧压缩的话会特别消耗 CPU，所以在外部提前做了压缩。

行数据压缩是默认开启的，目前并没有提供关闭的选项。因为大部分场景下都对存储成本非常敏感。外部提前对数据做了压缩然后再写进来的话，得考虑如何分词，这里需要很强的定制，也有使用场景上的限制。对我们来说，这种方案并不具有通用性。

行存有没有可能提供用户自定义排序呢？

ES 的排序是索引维度的设定，不针对具体的数据结构，但对排序的字段类型有一些限制，只能是 boolean, numeric, date 和 keyword 类型且开启了 doc_value，当设定以后，整个文档的所有数据结构会按照设定的字段排序后的 doc id 顺序进行写入，包括写入和 merge 流程。对于行存，Lucene 底层会将 flush 前的行存先写入一个临时目录，flush 时再从临时目录读取根据 doc id 排序再按顺序写入，因此行存带排序写入开销会比较高。

存储计算分离大概什么思路可以简单说下么？

存算分离的主要实现思想是基于共享存储实现多个节点的数据共享，ES 层面只保存一个物理副本。文件系统底层确保数据本身的可靠性，同时 ES 提供逻辑上的主从副本，实现数据一写多读的能力。从而达到优化存储、计算成本的目的。

2.ES + MongoDB 的实时数据融合平台架构

接下是来自 Tapdata 的资深架构师杨庆麟老师分享基于 ES + MongoDB 的实时数据融合平台架构。跨地域业务需求在数据一致性、实时性层面始终是痛点。例如珠宝行业的头部客户在中、港、台、澳等多地有业务系统。由于历史原因，系统还是多年前的架构，存储系统以 Oracle 为主，数据冗余、订单状态无法统一、运维成本高。Tapdata 提供了一套面向业务的 DaaS 解决方案，基于 ES 和 Mongo 的跨地域实时数据融合平台。上线之后统一了各个地域门店后台，大幅降低了数据维护成本。

扫描二维码查看PPT

该主题问答环节：

数据同步时，针对多个数据源多个表的数据聚合，请问是通过脚本来处理的，还是通过编码处理？

通过 js 来做的，⾃研的实时计算引擎。

数据库实时同步的原理是什么？

针对 oracle，采⽤的是 logminer；mysql 采⽤的是 binlog ⽅式；mongo 是 changestream。

通过 mongo+es 完成业务数据的交付，那么 ES 会处理计算吗？

ES 不负责计算， mongo 也不负责⼤部分计算。⼤部分计算都是通过平台完成的，mongo 负责⾼并发的更新，es 负责⾼并发、搜索场景的查询。

茶歇时间

在两场主题分享完毕后的技术交流环节，活动主办方在美丽的腾讯滨海大厦提供了精美的茶歇。

3.字节跳动在ES的内核扩展

接下来是来自字节跳动的鲁蕴铖老师分享字节跳动在 ES 的内核扩展。字节跳动实现了基于内部自研 NFS 的存算分离功能，实现了一写多读的架构，底层云存储多副本保证可靠性。Primary 分片承担所有的写操作，通过传送 Segment Infos 到各个副本，实现副本同步，基本可以实现秒级副本扩容。

官方的跨集群复制需要 License 支持，字节跳动实现了自研的跨集群复制能力，并采用了 Leader 向 Follower Push 的模式进行同步，提升数据同步的实效性。除此之外，他们还对向量化检索进行了插件化的扩充，支持更多的算法。链路安全方面，实现了底层存储加密、支持基于 GDPR 认证授权方式等。在可观测性方面，ES 擅长于做链路追踪，他们对 ES 本身的读写流程进行了函数调用链的追踪，便于性能分析。

扫描二维码查看PPT

该主题问答环节：

向量化怎么实现的，性能如何？

通过扩展 ES 的 Engine plugin，然后对于不同的向量组件实现自己 codec，性能在 kw 级数据下基本在百 ms 以内。

审计的实现，性能如何？

会通过 Action Filter 将用户的请求主动上报到审计日志或平台，对于百万请求量，写入降采样，查询全量的情况下，性能损耗低于2%。

4.vivo Elasticsearch集群应用实践

接下来是来自 vivo 的资深 DBA 刘石林老师分享 vivo Elasticsearch 集群应用实践。在大数据横行的今天，如何规模化运营 Elasticsearch 集群、提升数据管理者的幸福感，成为各个企业需要重点关注的问题。在实际业务运营中经常会遇到各种挑战，例如高并发读写资源开销过高、 Elasticsearch 本身存在的 Bug 以及各种业务使用不当导致的问题等。如果企业内没有很好的平台支撑，靠人肉管理，会给数据管理者带来很大的挑战。本次分享中，主要介绍了 vivo 使用 Elasticsearch 的经典场景，以及如何基于自主研发的 ES 管理平台规模化地运营 ES 集群。