腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
铭毅天下
专栏成员
举报
322
文章
713872
阅读量
141
订阅数
订阅专栏
申请加入专栏
全部文章(322)
Elasticsearch Service(145)
https(75)
网络安全(72)
elasticsearch(67)
数据(44)
编程算法(36)
索引(31)
官方文档(30)
其他(27)
数据库(24)
es 2(23)
api(21)
apache(21)
es(21)
存储(19)
http(18)
搜索(18)
sql(17)
脚本(15)
云数据库 SQL Server(14)
html(13)
集群(13)
java(9)
缓存(9)
大数据(9)
解决方案(9)
搜索引擎(8)
全文检索(8)
排序(8)
日志(8)
性能(8)
json(7)
运维(7)
nest(7)
模型(7)
python(6)
node.js(6)
安全(6)
认证考试(5)
github(5)
unix(5)
开源(5)
jvm(5)
管理(5)
配置(5)
优化(5)
源码(5)
数据挖掘(4)
javascript(4)
深度学习(4)
文件存储(4)
日志数据(4)
数据分析(4)
数据可视化(4)
数据结构(4)
微服务(4)
kafka(4)
迁移(4)
工具(4)
基础(4)
bash(3)
云数据库 Redis(3)
lucene/solr(3)
网站(3)
电商(3)
数据迁移(3)
数据处理(3)
架构设计(3)
腾讯云开发者社区(3)
性能测试(3)
chatgpt(3)
数组(3)
效率(3)
原理(3)
字符串(3)
云服务器(2)
对象存储(2)
机器学习(2)
c++(2)
jquery(2)
中文分词(2)
analyzer(2)
linux(2)
神经网络(2)
消息队列 CMQ 版(2)
SSL 证书(2)
腾讯云测试服务(2)
人工智能(2)
数据备份(2)
正则表达式(2)
tcp/ip(2)
项目管理(2)
ip(2)
遍历(2)
测试(2)
插件(2)
开发者(2)
客户端(2)
实践(2)
视频(2)
调试(2)
系统(2)
NLP 服务(1)
php(1)
ruby(1)
go(1)
regex(1)
css(1)
ecmascript(1)
access(1)
flask(1)
git(1)
tomcat(1)
nginx(1)
bash 指令(1)
命令行工具(1)
mongodb(1)
企业(1)
express(1)
serverless(1)
自动化(1)
爬虫(1)
shell(1)
jdk(1)
hive(1)
jdbc(1)
dubbo(1)
uml(1)
系统架构(1)
groovy(1)
实时监控(1)
数据脱敏(1)
图像搜索(1)
腾讯云(1)
alpha(1)
bug(1)
copy(1)
data(1)
dsl(1)
file(1)
filter(1)
highlight(1)
io(1)
it(1)
kibana(1)
logstash(1)
nested(1)
openai(1)
path(1)
refresh(1)
rollup(1)
script(1)
selector(1)
set(1)
sort(1)
ssl(1)
vector(1)
wildcard(1)
备份(1)
笔记(1)
变量(1)
代理(1)
读书笔记(1)
服务(1)
服务端(1)
函数(1)
集合(1)
技巧(1)
监控(1)
连接(1)
论文(1)
内存(1)
设计(1)
事件(1)
事务(1)
同步(1)
统计(1)
网络(1)
线程(1)
压缩(1)
异常(1)
语法(1)
语音(1)
最佳实践(1)
数据保护(1)
搜索文章
搜索
搜索
关闭
干货 | Elasticsearch Reindex性能提升10倍+实战
es 2
reindex和snapshot的速率比用filebeat或者kafka到es的写入速率慢好几个数量级(集群写入性能不存在瓶颈),reindex/snapshot的时候CPU还是IO使用率都很低,是不是集群受什么参数限制了reindex和snapshot的速率?
铭毅天下
2018-08-14
3.5K
0
干货 | Elasticsearch索引生命周期管理探索
es 2
架构设计
存储
Elasticsearch上海Meetup中ebay工程师提了索引生命周期管理的概念。的确,在Demo级别的验证阶段我们数据量比较小,不太需要关注索引的生命周期,一个或几个索引基本就能满足需要。所以,这也会产生一种假象,认为:“Elasticsearch不就是增删改查,毛毛雨啦”的荒诞的假象。
铭毅天下
2018-08-14
2.1K
0
探究 | Elasticsearch不支持事务有什么好的弥补方案吗?
es 2
hive
云数据库 SQL Server
数据库
源自星球同学的提问:es如何与hive或mysql结合使用?es不支持事务有什么好的弥补方案吗?
铭毅天下
2018-07-26
3.5K
0
干货 | Elasticsearch 趋势科技实战分享笔记
es 2
access
单一索引的问题: 1)不能更新Mapping。 比如:主分片数不可以修改(除非reindex)。 2)无法灵活、快速地扩展。 3)更适合固定、小型数据集。
铭毅天下
2018-07-26
863
0
严选 | Elasticsearch史上最全最常用工具清单
es 2
运维
json
github
工欲善其事必先利其器,ELK Stack的学习和实战更是如此,特将工作中用到的“高效”工具分享给大家。
铭毅天下
2018-07-26
12K
0
干货 | Elasticsearch 布道者Medcl对话携程Wood大叔核心笔记
es 2
运维
2014年,ES0.9版本。 选型对比:MongoDB——数据量级大了以后,出现性能瓶颈。 调研后,选型:ELK(Elasticsearch、Logstash、Kibana)。 实现效果:实时看效果、查询、聚合。
铭毅天下
2018-07-26
1.2K
0
干货 | 吃透Elasticsearch 堆内存
java
es 2
1、什么是堆内存? Java 中的堆是 JVM 所管理的最大的一块内存空间,主要用于存放各种类的实例对象。 在 Java 中,堆被划分成两个不同的区域: 新生代 ( Young )、 老年代 ( Old )。 新生代 ( Young ) 又被划分为三个区域 Eden、 From Survivor、 To Survivor。 这样划分的目的是为了使 JVM 能够更好的管理堆内存中的对象,包括内存的分配以及回收。 2、堆内存的作用是什么? 在虚拟机启动时创建。 堆内存的唯一目的就是创建对象实例,所有的对象实例
铭毅天下
2018-04-24
2.9K
0
Elasticsearch6.X 去重详解
es 2
云数据库 SQL Server
1、题记 Elasticsearch有没有类似mysql的distinct的去重功能呢? 1)如何去重计数? 类似mysql: select distinct(count(1)) from my_table; 2)如何获取去重结果。 类似mysql:SELECT DISTINCT name,age FROM users; 2、需求 1)对ES的检索结果进行去重统计计数。 2)对ES的检索结果去重后显示。 3、分析 1)统计计数需要借助ES聚合功能结合cardinality实现。 2)去重显示结果有两种方式:
铭毅天下
2018-04-24
2.9K
0
Elasticsearch 6.X 新类型Join深入详解
es 2
存储
云数据库 SQL Server
数据库
0、ES6.X 一对多、多对多的数据该如何存储和实现呢? 引出问题: “某头条新闻APP”新闻内容和新闻评论是1对多的关系? 在ES6.X该如何存储、如何进行高效检索、聚合操作呢? 相信阅读本文,你就能得到答案! 1、ES6.X 新类型Join 产生背景 Mysql中多表关联,我们可以通过left join 或者Join等实现; ES5.X版本,借助父子文档实现多表关联,类似数据库中Join的功能;实现的核心是借助于ES5.X支持1个索引(index)下多个类型(type)。 ES6.X版本,由于每个索引下
铭毅天下
2018-04-24
8.4K
0
干货 |《深入理解Elasticsearch》读书笔记
es 2
题记 由于之前已经梳理过Elasticsearch基础概念且在项目中实战过Elasticsearch的增删改查、聚类、排序等相关操作,对ES算是有了一定的认知。 但是,仍然对于一些底层的原理认知模糊
铭毅天下
2018-03-20
2.2K
0
Elasticsearch索引增量统计及定时邮件实现
es 2
存储
shell
0、需求 随着ELKStack在应用系统中的数据规模的急剧增长,每天千万级别数据量(存储大小:10000000*10k/1024/1024=95.37GB,假设单条数据10kB,实际远大于10KB)的
铭毅天下
2018-03-20
1.6K
0
Elasticsearch实战 | 必要的时候,还得空间换时间!
es 2
1、应用场景 实时数据流通过kafka后,根据业务需求,一部分直接借助kafka-connector入Elasticsearch不同的索引中。 另外一部分,则需要先做聚类、分类处理,将聚合出的分类结果
铭毅天下
2018-03-20
1.2K
0
实战 | Elasticsearch打造知识库检索系统
es 2
题记 源自“死磕Elasticsearch”技术群里的讨论问题: ——我想用es做个类似于知识库的东西,所以需要索引一些pdf、word之类的文件,这个你之前有试过吗?能给个方向吗? 我的思考如
铭毅天下
2018-03-20
3.4K
0
Elasticsearch聚合优化 | 聚合速度提升5倍!
es 2
1、聚合为什么慢? 大多数时候对单个字段的聚合查询还是非常快的, 但是当需要同时聚合多个字段时,就可能会产生大量的分组,最终结果就是占用 Elasticsearch大量内存,从而导致 OOM 的情况
铭毅天下
2018-03-20
4.7K
0
Elasticsearch全文检索实战小结——复盘我带的第二个项目
es 2
一、项目概述 这是一个被我称之为“没有枪、没有炮,硬着头皮自己造”的项目。项目是和其它公司合作的三个核心模块开发。 使用ES的目的是: 1)、采集数据、网站数据清洗后存入ES; 2)、对外提供精
铭毅天下
2018-03-20
1.9K
0
Elasticsearch究竟要设置多少分片数?
es 2
0、引言 本文翻译自Elasticsearch20170918热乎的官方博客,原作者:Christian Dahlqvist。 在构建Elasticsearch集群的初期如果集群分片设置不合理,可能在项目的中后期就会出现性能问题。 Elasticsearch是一个非常通用的平台,支持各种各样的用例,并且为数据组织和复制策略提供了巨大灵活性。这种灵活性使得作为ELK新手的你将数据组织成索引和分片变得困难。虽然不一定会在首次启动时出现问题,但由于数据量随时间的推移,可能会导致性能问题。集群所拥有的数据越多,纠正
铭毅天下
2018-03-20
5.1K
0
刨根问底 | Elasticsearch 5.X集群多节点角色配置深入详解
es 2
1、问题引出 ES5.X节点类型多了ingest节点类型。 针对3个节点、5个节点或更多节点的集群,如何配置节点角色才能使得系统性能最优呢? 2、ES2.X及之前版本节点角色概述 3、ES5.
铭毅天下
2018-03-20
1.4K
0
干货 | Elasticsearch5.X Mapping万能模板
es 2
0、引言 在关系型数据库如Mysql中,设计库表需要注意的是: 1)需要几个表; 2)每个表有哪些字段; 3)表的主键及外键的设定——便于有效关联。 表的设计遵守范式约束,考虑表的可扩展性,避免开发后期对表做大的改动。 Mysql或者Oracle中,修改数据类型相对比较简单,通过命令行或者navicat、sqldeveloper等可视化工具直接修改。 即便千万级别数据量,多等点时间,也能修改好。 而在Elasticsearch非关系型数据存储的搜索引擎中,设计表对应的就是Mapping的设计。 且ES中一旦
铭毅天下
2018-03-20
3K
0
Elasticsearch检索分类深入详解—基础篇
es 2
Elasticsearch中当我们设置Mapping(分词器、字段类型)完毕后,就可以按照设定的方式导入数据。 有了数据后,我们就需要对数据进行检索操作。根据实际开发需要,往往我们需要支持包含但不限于以下类型的检索: 1)精确匹配,类似mysql中的 “=”操作; 2)模糊匹配,类似mysql中的”like %关键词% “查询操作; 3)前缀匹配; 4)通配符匹配; 5)正则表达式匹配; 6)跨索引匹配; 7)提升精读匹配。 细数一下,我们的痛点在于: 1)ES究竟支持哪些检索操作? 2)
铭毅天下
2018-03-20
1.5K
0
Elasticsearch全文检索实战小结——复盘我带的第二个项目
es 2
一、项目概述 这是一个被我称之为“没有枪、没有炮,硬着头皮自己造”的项目。项目是和其它公司合作的三个核心模块开发。 使用ES的目的是: 1)、采集数据、网站数据清洗后存入ES; 2)、对外提供精
铭毅天下
2018-03-20
2.8K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档