前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >查询亿级数据毫秒级返回,让你的 Elasticsearch 飞起来!| 极客时间

查询亿级数据毫秒级返回,让你的 Elasticsearch 飞起来!| 极客时间

作者头像
深度学习与Python
发布2023-02-28 15:12:26
7190
发布2023-02-28 15:12:26
举报

在大数据时代,搜索是软件工程师的一项必备技能。而 Elasticsearch 就是一款功能强大的开源分布式搜索与数据分析引擎,在同领域内几乎没有竞争对手——近两年 DB-Engines 的数据库评测中,Elasticsearch 在搜索引擎领域始终位列第一。

Elasticsearch 不仅可以从海量数据中快速找到相关信息,还被广泛运用于大数据近实时分析,包括日志分析、指标监控、信息安全等多个领域。

它可以探索海量结构化、非结构化数据,按需创建可视化报表,对监控数据设置报警阈值,甚至通过机器学习自动识别异常状况。

作为目前最流行的开源搜索引擎,腾讯、滴滴、今日头条、饿了么、360 安全、小米,vivo 等国内诸多知名公司都在使用 Elasticsearch。

该如何高效使用 Elasticsearh?

上手 Elasticsearch 也很容易,花几分钟设置好开发环境,就能在成百上千台服务器上实现 PB 级的数据处理了。但要深入理解并高效使用,就没那么简单了,比如:

  • 为什么我的数据查不到,明明有的啊!
  • 这几条数据怎么会出现在搜索结果前几位?
  • 生产环境需要多少台机器,索引的分片数怎样设置才合理?
  • 应该关注哪些指标,才能保证集群健康高效地运行?
  • 对于日志型应用,如何设置 Hot & Warm Architecture 节约成本,怎样管理和优化基于时间序列的索引数据,才能提高集群的整体性能?
  • 为什么我的集群脑裂了?数据损坏后,怎样才能恢复?

其实,想要用对、用好 Elasticsearch,不仅要理解其分布式架构的原理,还要掌握一些信息检索领域的知识。这里,分享给你一张 「Elasticsearch 知识图谱」,深入理解每个知识点,才能解决工作中的实际问题。

这张图出自阮一鸣,他是 eBay Pronto 平台技术负责人,管理了 eBay 内部上百个 Elasticsearch 集群,数据规模超过 4000 节点,支撑了订单搜索,商品推荐,日志管理,风险控制,IT 运维,安全监控等不同领域服务。

最早,听过他在 Elastic 中国开发者大会的分享,讲得很棒。后来得知他出了个 Elasticsearch 视频课,我第一时间就订阅了,到如今也是 2 刷完毕,确实收获很大,帮我解决了工作中的不少问题。

值得一提的是,它覆盖了 Elastic 官方认证的全部考点,不少人因为看了这个课,通过了 Elastic 认证。要知道,这个考试在圈里出了名的难通过,毕竟都是上手实操题。而这个课程中的测试用例,就是非常好的练习素材,说实话,每个 case 的代码我都敲过 3 遍以上。

这个认证的含金量还是挺高的,很多巨头都在使用 ES 搭建自己的搜索系统。你去应聘的时候,有证跟没证有可能就会影响你的录取,收入也有可能差一个档次。

课程现在超 60000 订阅了,InfoQ 读者专属优惠,新用户近 3 折抢购,仅限这几天,有需要赶紧上车👇

扫码免费试读

定价¥199|老用户¥139|新用户 ¥68

👆 即刻购买 👆

Elasticsearch 产品迭代很快,市面上的书和教程大都基于 5.x 甚至 2.x 版本。而在课程中,阮一鸣用 Elasticsearch 最新 7.x 版本,讲了很多新特性,比如:用机器学习进行异常检测;用 Canvas 展示数据;用索引的生命周期管理工具对索引进行优化等等。

课程共计 100 讲,内容覆盖很全,开发运维都有,由浅入深地讲解了 ES 的基本概念和服务搭建,带你手把手部署与优化生产环境,了解其运行机制和常用技巧,并通过上手实战,掌握 ES 在实际项目中的应用,灵活使用 ELK 进行搜索和大数据分析。

哪些人适合学习 Elasticsearch?

学习 Elasticsearch 的同学来自不同的工作岗位,具体可分为以下几类:

软件工程师:熟练掌握一门或多门编程语言,希望通过 Elasticsearch 提升搜索性能,实现分布式存储;通过学习 ES 的搜索与聚合 API,了解如何进行数据建模,在保证高性能获取数据的基础上,获得更为精准匹配的搜索结果。

运维工程师:同时管理几十万台服务器,保证服务的高可用,是运维工程师面临的最大挑战。通过学习 Elastic Stack,使用 Logstash、Kibana 解决运维工作中的日志分析,安全告警,指标监控等实际需求。

工作中常见问题,在课程中都会给出相关的最佳实践。

任何想拿数据做点事的人:在大数据时代,数据获取易如反掌。但当你想用数据做实时分析或决策时,才发现传统技术并不能很好地解决你的实际需求。

就像作者「阮一鸣」说的:“在大数据时代,近实时的搜索和分析能力,会让你唯快不破,洞见未来。”所以,无论是开发还是运维,架构师抑或数据分析师,都应该学一学。

就我自己来说,前段时间公司要在私有云上管理和部署 Elasticsrarch 集群,全靠这门课了。今年再使把劲儿,把 Elastic 认证考下来。

内容是真的靠谱,不光是我,还帮到不少人,截了些评价供你们参考:

跟着好好学,结合课程中的练习,你也能学以致用,构建出自己的搜索和数据分析产品。要再能拿个官方认证,岂不乐哉。

重要的事情,再说一遍:

原价 ¥199

新人首单仅 ¥68

老用户 7 折,到手 ¥139

优惠仅限前 200 人

扫码,查看目录,免费试读👆

一次订阅,永久有效

坚持学习这事儿,本就反人性,但要把自己的坚持成果晒出来,让别人跟你点赞,你就会有正向反馈和动力。所以,只要你跟上节奏,一定能一次性搞定 ES,相信未来拿下 Elastic 认证也不在话下。

项目实战的过程,就是一个挖坑填坑的过程,实战场景多了,解决的问题多了,自然就能掌握得好。而最好的学习方式是找到组织,找到经验丰富的大咖,持续交流学习,成长最快也最好。

👇 订阅后,点击「阅读原文」新人低于 4 折拿下, 仅限前 200 人,抓住机会!

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2023-02-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 InfoQ 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
Elasticsearch Service
腾讯云 Elasticsearch Service(ES)是云端全托管海量数据检索分析服务,拥有高性能自研内核,集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群,也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务,它独特的向量检索还可助您构建基于语义、图像的AI深度应用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档