高级工程师

专家工程师

工程师

后台开发工程师

Elasticsearch实验室

代码在线跑，知识轻松学

Python精品学习库

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

博客搬家 | 分享价值百万资源包

往期视频·干货材料·成员作品 最新动态

技术创作特训营·精选知识专栏

新邀入驻腾讯云开发者社区，福利多多！

如何运用「云、端融合的数智化安全体系」高效护航数据安全

左手AI，右手安全 —— 一汽丰田数字化转型之路

一波未平一波又起的疫情对大家的生活、工作造成了一定影响。在信息化飞速发展的今天，小伙伴们技术交流的方式也变得多样化。2021年8月21日下午，ES 中文社区联合腾讯云在腾讯滨海大厦举办了深圳地区年度首次 Meetup，活动采用线下现场参与、腾讯会议、云+社区线上同步直播的方式进行。来自腾讯、Tapdata、字节跳动、vivo 的技术专家们给 ES 社区的小伙伴们带来了一场精彩的技术视听盛宴。

Elastic Meetup  2021 深圳站回顾

随着移动互联网、物联网、云计算等信息技术蓬勃发展，数据量呈爆炸式增长。如今我们可以轻易得从海量数据里找到想要的信息，其中离不开搜索引擎技术的帮助。特别是其中的索引、检索和排序机制，我们无需深入了解背后复杂的信息检索原理，即可实现基本的全文检索功能。数据量达到十亿，百亿规模仍然可以秒级返回检索结果。对于系统容灾、数据安全性、可扩展性、可维护性等我们关注的实际问题，在开源搜索引擎领域排名第一的Elasticsearch里均能得到有效解决。

10分钟快速入门海量数据搜索分析引擎 Elasticsearch

Elasticsearch（ ES ）是一款功能强大的开源分布式实时搜索引擎，在日志分析（主要应用场景）、企业级搜索、时序分析等领域有广泛应用，几乎是各大公司搜索分析引擎的开源首选方案。

腾讯万亿级 Elasticsearch 内存效率提升解密

Elasticsearch 在腾讯内部广泛应用于日志实时分析、结构化数据分析、全文检索等场景，目前单集群规模达到千级节点、万亿级吞吐，同时腾讯联合 Elastic 公司在腾讯云上提供了内核增强版 ES 云服务。海量规模、丰富的应用场景推动着腾讯对原生 ES 进行持续的高可用、高性能、低成本等全方位优化。本次分享主要剖析腾讯对 Elasticsearch 海量规模下的内核优化与实践，希望能和广大 ES 爱好者共同探讨推动 ES 技术的发展。

腾讯Elasticsearch海量规模背后的内核优化剖析

Elasticsearch（ES）作为开源首选的分布式搜索分析引擎，通过一套系统轻松满足用户的日志实时分析、全文检索、结构化数据分析等多种需求，大幅降低大数据时代挖掘数据价值的成本。腾讯在公司内部丰富的场景中大规模使用 ES，同时联合 Elastic 公司在腾讯云上提供内核增强版的 ES 云服务，大规模、丰富多样的的使用场景推动着腾讯对原生 ES 进行持续的高可用、高性能、低成本优化。今天给大家分享近期在 Elastic 中国开发者大会上的演讲内容：腾讯万亿级 Elasticsearch 技术解密。

​腾讯万亿级 Elasticsearch 技术解密

      在云上PaaS服务愈发成熟的大背景下，越来越多自建Elasticsearch的业务希望迁移到云上，享用云服务统一、高标准的服务体验的同时，降低运维成本。本方案旨在通过集群融合的方式帮助用户进行在线迁移，尽量降低迁移过程对业务的影响，同时尽可能提高迁移的自动化程度。

Elasticsearch跨集群数据迁移之在线迁移

  目前腾讯云 CES（Cloud Elasticsearch）已经和 Elastic 官方达成商务合作，引入了 X-Pack 商业套件，支持更多的商业特性，例如基于角色的访问控制权限（RBAC Security）、机器学习（ML）、跨集群复制（CCR）、应用性能监控（APM）等。为了更好的给用户提供更多 CES 底层技术支持以及和社区共同优化 ES 产品，腾讯云 ES 内核团队将逐一为大家介绍并解析相关的商业特性功能。本文将从功能、架构、源码层面给大家介绍 X-Pack 的机器学习功能。

Elasticsearch X-Pack 系列之 Machine Learning 解析

    我们在使用Elasticsearch进行查询的过程中发现，如果查询时间跨度大，查询数据集比较庞大，即使只是返回少量的结果，查询耗时仍然比较长。我们通过分析profile和debug跟踪整个查询流程，确认耗时的原因，针对业务特性，提出了相关的优化方案，可以对该类查询提升三到五倍的性能。

如何加倍提升 Elasticsearch 查询性能

Elasticsearch 是一款开源的分布式搜索引擎，提供了近实时的查询能力和强大的聚合分析能力。与Elastic官方提供的其他组件（Beats、Logstash、Kibana）组合成Elastic Stack，提供了多种使用场景下数据摄入、清洗、存储、查询、可视化的完整解决方案，在搜索、日志分析、统计分析等领域有广泛应用。

Elasitcsearch底层系列之 Node启动过程源码解析

       Elasticsearch可广泛应用于日志分析、全文检索、结构化数据分析等多种场景，大幅度降低维护多套专用系统的成本，在开源社区非常受欢迎。然而Elasticsearch为满足多种不同的使用场景，底层组合使用了多种数据结构，部分数据结构对具体的用户使用场景可能是冗余的，从而导致默认情况下无法达到性能和成本最优化。

Elasticsearch最佳实践 之 日志场景优化

    Elasticsearch(ES)是一个基于Lucene的近实时分布式存储及搜索分析系统，其应用场景广泛，可应用于日志分析、全文检索、结构化数据分析等多种场景，既可作为NoSQL数据库，也可作为搜索引擎。由于ES具备如此强悍的能力，因此吸引了很多公司争相使用，如维基百科、GitHub、Stack Overflow等。

Elasticsearch 底层系列之写入解析

    我们是基础架构部，腾讯云 CES/CTSDB 产品后台服务的支持团队，我们拥有专业的ES开发运维能力，为大家提供稳定、高性能的服务，欢迎有需求的童鞋接入，同时也欢迎各位交流 Elasticsearch、Lucene 相关的技术！

Elasticsearch 底层系列之分片恢复解析

大家好，今天为大家分享一次 ES 的填坑经验。主要是关于集群恢复过程中，分片恢复并发数调整过大导致集群 hang 住的问题。

Elasticsearch 最佳实践系列之分片恢复并发故障

       Elasticsearch 支持行存和列存，行存用于以文档为单位顺序存储多个文档的原始内容，在 Elasitcsearch 底层系列 Lucene 内核解析之 Stored Fields 文章中介绍了行存的细节。列存则以字段为单位顺序存储多个文档同一字段的内容，主要用于排序、聚合、范围查询等场景，新版本的 ES 绝大部分字段都会保存 doc value，可以显示指定关闭。今天我们就来剖析 ES 列存（doc value）的细节。代码解析基于 ES 6.3/Lucene 7.3 的版本。

Elasitcsearch 底层系列 Lucene 内核解析之 Doc Value

       Luene是一款高性能、可扩展的信息检索库，可实现对文档元信息、文档内容的搜索功能。用户可以使用Lucene 或 基于Lucene开发的成熟产品Nutch/Solr/Elasticsearch等，快速构建搜索服务，如文件搜索、网页搜索等。在Lucene概览中，我们初步介绍了其底层的核心存储文件，本文主要介绍其中的数值索引（Point索引）部分，分析数值索引的文件结构及其读写流程。

Elasitcsearch 底层系列 Lucene 内核解析之Point索引

       ELKB（Elasticsearch、Logstash、Kibana、Beat的组合）是一套开源的分布式日志管理方案。凭借其检索性能高效、集群线性扩展、处理方式灵活、配置简单易上手等特点，ELKB在最近几年迅速崛起，成为实时日志处理领域的首要选择。Elasticsearch作为其中重要的一环， 主要提供分布式、可扩展且实时的数据储存分析与搜索功能。随着Elasticsearch的广泛使用，为了做好数据共享、访问隔离，防止用户误操作、数据泄露等，权限控制方面的需求愈来愈多。

Elasticsearch最佳实践之自研权限系统

    Elasticsearch由一些Elasticsearch进程(Node)组成集群，用来存放索引(Index)。为了存放数据量很大的索引，Elasticsearch将Index切分成多个分片(Shard)，在这些Shard里存放一个个的文档(document)。通过这一批shard组成一个完整的index。并且，每个Shard可以设置一定数量的副本(Replica)，写入的文档同步给副本Shard，副本Shard可以提供查询功能，分摊系统的读负载。在主Shard所在Node（ES进程）挂掉后，可以提升一个副本Shard为主Shard，文档继续写在新的主Shard上，来提升系统的容灾能力。

Elasticsearch底层系列之Shard Allocation机制

Lucene 的 stored fields 主要用于行存文档需要保存的字段内容，每个文档的所有 stored fields 保存在一起，在查询请求需要返回字段原始值的时候使用。Elasticsearch（ES） 一些内置的字段默认开启了 store 属性，例如 _id、_source 字段。_id 字段用于标识文档，不能关闭。 _source 字段保存原始的文档 json 内容，可以关闭。用户定义的其它字段需要在 ES 的 mapping 中显示设置 field 的 store 属性为 true，该字段才会被 store。在查询的时候返回该字段的原始值。设置方法请参考：

Elasitcsearch 底层系列 Lucene 内核解析之 Stored Fields

（本次课程是通过小程序对外推广的，所以PPT是竖版的。电脑端浏览体验可能不太好，望大家见谅）

基于Elastic Stack搭建日志分析平台

    Elasticsearch（ES）可用于全文检索、日志分析、指标分析、APM等众多场景，而且搭建部署容易，后期弹性扩容、故障处理简单。ES在一定程度上实现了一套系统支持多个场景的希望，大幅度降低使用多套专用系统的运维成本（当然ES不是万能的，不能满足事务等场景）。正是因为其通用性和易用性，ES自2010年发布首个版本以来得到爆发式的发展，广泛应用于各类互联网公司的不同业务场景，在数据库的专业排名中（DB Engines）上升至第8位。

Mysql数据导入Elasticsearch最佳实践

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋 

腾讯云代码助手

CODING DevOps

Cloud Studio

SDK中心

API中心

命令行工具

腾讯云开发者社区推出了Elasticsearch实验室专栏，为你提供了Elasticsearch实验室的相关文章，致力于帮助开发者快速成长与发展。

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐