腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Elasticsearch实验室

专栏作者

25

文章

100642

阅读量

404

订阅数

Elastic Meetup 2021 深圳站回顾

大数据 Elasticsearch Service

一波未平一波又起的疫情对大家的生活、工作造成了一定影响。在信息化飞速发展的今天，小伙伴们技术交流的方式也变得多样化。2021年8月21日下午，ES 中文社区联合腾讯云在腾讯滨海大厦举办了深圳地区年度首次 Meetup，活动采用线下现场参与、腾讯会议、云+社区线上同步直播的方式进行。来自腾讯、Tapdata、字节跳动、vivo 的技术专家们给 ES 社区的小伙伴们带来了一场精彩的技术视听盛宴。

2021-08-23

1.1K0

10分钟快速入门海量数据搜索分析引擎 Elasticsearch

Elasticsearch Service lucene/solr 分布式大数据大数据可视交互系统

随着移动互联网、物联网、云计算等信息技术蓬勃发展，数据量呈爆炸式增长。如今我们可以轻易得从海量数据里找到想要的信息，其中离不开搜索引擎技术的帮助。特别是其中的索引、检索和排序机制，我们无需深入了解背后复杂的信息检索原理，即可实现基本的全文检索功能。数据量达到十亿，百亿规模仍然可以秒级返回检索结果。对于系统容灾、数据安全性、可扩展性、可维护性等我们关注的实际问题，在开源搜索引擎领域排名第一的Elasticsearch里均能得到有效解决。

2020-08-23

1.8K0

腾讯万亿级 Elasticsearch 内存效率提升解密

Elasticsearch Service java jvm

Elasticsearch（ ES ）是一款功能强大的开源分布式实时搜索引擎，在日志分析（主要应用场景）、企业级搜索、时序分析等领域有广泛应用，几乎是各大公司搜索分析引擎的开源首选方案。

2020-06-01

7.3K3

腾讯Elasticsearch海量规模背后的内核优化剖析

Elasticsearch Service 大数据大数据解决方案大数据处理套件 TBDS 大数据可视交互系统

Elasticsearch 在腾讯内部广泛应用于日志实时分析、结构化数据分析、全文检索等场景，目前单集群规模达到千级节点、万亿级吞吐，同时腾讯联合 Elastic 公司在腾讯云上提供了内核增强版 ES 云服务。海量规模、丰富的应用场景推动着腾讯对原生 ES 进行持续的高可用、高性能、低成本等全方位优化。本次分享主要剖析腾讯对 Elasticsearch 海量规模下的内核优化与实践，希望能和广大 ES 爱好者共同探讨推动 ES 技术的发展。

2020-05-09

2.5K1

腾讯万亿级 Elasticsearch 技术解密

Elasticsearch Service 日志服务搜索引擎

Elasticsearch（ES）作为开源首选的分布式搜索分析引擎，通过一套系统轻松满足用户的日志实时分析、全文检索、结构化数据分析等多种需求，大幅降低大数据时代挖掘数据价值的成本。腾讯在公司内部丰富的场景中大规模使用 ES，同时联合 Elastic 公司在腾讯云上提供内核增强版的 ES 云服务，大规模、丰富多样的的使用场景推动着腾讯对原生 ES 进行持续的高可用、高性能、低成本优化。今天给大家分享近期在 Elastic 中国开发者大会上的演讲内容：腾讯万亿级 Elasticsearch 技术解密。

2019-12-30

1.1K0

关注专栏作者，随时接收最新技术干货

腾讯高级工程师

腾讯公司

Elasticsearch跨集群数据迁移之在线迁移

网络安全迁移

在云上PaaS服务愈发成熟的大背景下，越来越多自建Elasticsearch的业务希望迁移到云上，享用云服务统一、高标准的服务体验的同时，降低运维成本。本方案旨在通过集群融合的方式帮助用户进行在线迁移，尽量降低迁移过程对业务的影响，同时尽可能提高迁移的自动化程度。

2019-11-28

2.7K0

Elasticsearch X-Pack 系列之 Machine Learning 解析

Elasticsearch Service 机器学习

目前腾讯云 CES（Cloud Elasticsearch）已经和 Elastic 官方达成商务合作，引入了 X-Pack 商业套件，支持更多的商业特性，例如基于角色的访问控制权限（RBAC Security）、机器学习（ML）、跨集群复制（CCR）、应用性能监控（APM）等。为了更好的给用户提供更多 CES 底层技术支持以及和社区共同优化 ES 产品，腾讯云 ES 内核团队将逐一为大家介绍并解析相关的商业特性功能。本文将从功能、架构、源码层面给大家介绍 X-Pack 的机器学习功能。

2019-09-06

4.9K4

如何加倍提升 Elasticsearch 查询性能

缓存 lucene/solr

我们在使用Elasticsearch进行查询的过程中发现，如果查询时间跨度大，查询数据集比较庞大，即使只是返回少量的结果，查询耗时仍然比较长。我们通过分析profile和debug跟踪整个查询流程，确认耗时的原因，针对业务特性，提出了相关的优化方案，可以对该类查询提升三到五倍的性能。

2019-01-05

3.2K1

Elasitcsearch底层系列之 Node启动过程源码解析

es 数据分析 bootstrap java Elasticsearch Service

Elasticsearch 是一款开源的分布式搜索引擎，提供了近实时的查询能力和强大的聚合分析能力。与Elastic官方提供的其他组件（Beats、Logstash、Kibana）组合成Elastic Stack，提供了多种使用场景下数据摄入、清洗、存储、查询、可视化的完整解决方案，在搜索、日志分析、统计分析等领域有广泛应用。

2018-12-29

2.4K0

Elasticsearch最佳实践之日志场景优化

开源 Elasticsearch Service

Elasticsearch可广泛应用于日志分析、全文检索、结构化数据分析等多种场景，大幅度降低维护多套专用系统的成本，在开源社区非常受欢迎。然而Elasticsearch为满足多种不同的使用场景，底层组合使用了多种数据结构，部分数据结构对具体的用户使用场景可能是冗余的，从而导致默认情况下无法达到性能和成本最优化。

2018-12-10

6.7K1

Elasticsearch 底层系列之写入解析

Elasticsearch Service 分布式存储全文检索数据分析

Elasticsearch(ES)是一个基于Lucene的近实时分布式存储及搜索分析系统，其应用场景广泛，可应用于日志分析、全文检索、结构化数据分析等多种场景，既可作为NoSQL数据库，也可作为搜索引擎。由于ES具备如此强悍的能力，因此吸引了很多公司争相使用，如维基百科、GitHub、Stack Overflow等。

2018-12-10

2.3K0

Elasticsearch 底层系列之分片恢复解析

我们是基础架构部，腾讯云 CES/CTSDB 产品后台服务的支持团队，我们拥有专业的ES开发运维能力，为大家提供稳定、高性能的服务，欢迎有需求的童鞋接入，同时也欢迎各位交流 Elasticsearch、Lucene 相关的技术！

2018-12-10

3.5K5

Elasticsearch 最佳实践系列之分片恢复并发故障

node.js https 网络安全

大家好，今天为大家分享一次 ES 的填坑经验。主要是关于集群恢复过程中，分片恢复并发数调整过大导致集群 hang 住的问题。

2018-12-10

6.1K0

Elasitcsearch 底层系列 Lucene 内核解析之 Doc Value

Elasticsearch 支持行存和列存，行存用于以文档为单位顺序存储多个文档的原始内容，在 Elasitcsearch 底层系列 Lucene 内核解析之 Stored Fields 文章中介绍了行存的细节。列存则以字段为单位顺序存储多个文档同一字段的内容，主要用于排序、聚合、范围查询等场景，新版本的 ES 绝大部分字段都会保存 doc value，可以显示指定关闭。今天我们就来剖析 ES 列存（doc value）的细节。代码解析基于 ES 6.3/Lucene 7.3 的版本。

2018-12-10

3.2K0

Elasitcsearch 底层系列 Lucene 内核解析之Point索引

Luene是一款高性能、可扩展的信息检索库，可实现对文档元信息、文档内容的搜索功能。用户可以使用Lucene 或基于Lucene开发的成熟产品Nutch/Solr/Elasticsearch等，快速构建搜索服务，如文件搜索、网页搜索等。在Lucene概览中，我们初步介绍了其底层的核心存储文件，本文主要介绍其中的数值索引（Point索引）部分，分析数值索引的文件结构及其读写流程。

2018-11-26

3.2K1

Elasticsearch最佳实践之自研权限系统

Elasticsearch Service

ELKB（Elasticsearch、Logstash、Kibana、Beat的组合）是一套开源的分布式日志管理方案。凭借其检索性能高效、集群线性扩展、处理方式灵活、配置简单易上手等特点，ELKB在最近几年迅速崛起，成为实时日志处理领域的首要选择。Elasticsearch作为其中重要的一环，主要提供分布式、可扩展且实时的数据储存分析与搜索功能。随着Elasticsearch的广泛使用，为了做好数据共享、访问隔离，防止用户误操作、数据泄露等，权限控制方面的需求愈来愈多。

2018-10-28

3.4K0

Elasticsearch底层系列之Shard Allocation机制

Elasticsearch由一些Elasticsearch进程(Node)组成集群，用来存放索引(Index)。为了存放数据量很大的索引，Elasticsearch将Index切分成多个分片(Shard)，在这些Shard里存放一个个的文档(document)。通过这一批shard组成一个完整的index。并且，每个Shard可以设置一定数量的副本(Replica)，写入的文档同步给副本Shard，副本Shard可以提供查询功能，分摊系统的读负载。在主Shard所在Node（ES进程）挂掉后，可以提升一个副本Shard为主Shard，文档继续写在新的主Shard上，来提升系统的容灾能力。

2018-09-11

2.1K0

Elasitcsearch 底层系列 Lucene 内核解析之 Stored Fields

Lucene 的 stored fields 主要用于行存文档需要保存的字段内容，每个文档的所有 stored fields 保存在一起，在查询请求需要返回字段原始值的时候使用。Elasticsearch（ES）一些内置的字段默认开启了 store 属性，例如 _id、_source 字段。_id 字段用于标识文档，不能关闭。 _source 字段保存原始的文档 json 内容，可以关闭。用户定义的其它字段需要在 ES 的 mapping 中显示设置 field 的 store 属性为 true，该字段才会被 store。在查询的时候返回该字段的原始值。设置方法请参考：

2018-09-04

3.5K0

基于Elastic Stack搭建日志分析平台

小程序物联网

（本次课程是通过小程序对外推广的，所以PPT是竖版的。电脑端浏览体验可能不太好，望大家见谅）

2018-08-25

1.4K0

Mysql数据导入Elasticsearch最佳实践

go 官方文档 https 网络安全云数据库 SQL Server

Elasticsearch（ES）可用于全文检索、日志分析、指标分析、APM等众多场景，而且搭建部署容易，后期弹性扩容、故障处理简单。ES在一定程度上实现了一套系统支持多个场景的希望，大幅度降低使用多套专用系统的运维成本（当然ES不是万能的，不能满足事务等场景）。正是因为其通用性和易用性，ES自2010年发布首个版本以来得到爆发式的发展，广泛应用于各类互联网公司的不同业务场景，在数据库的专业排名中（DB Engines）上升至第8位。

2018-08-20

12K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态