少啰嗦,直接看东西。
单一索引的问题: 1)不能更新Mapping。 比如:主分片数不可以修改(除非reindex)。 2)无法灵活、快速地扩展。 3)更适合固定、小型数据集。
基于时间的索引面临的问题: 1)如何确定间隔?
2)如何实施?
举例:
{
"facet_internet_access_minute":{
"template":"ce-index-access-v1-*",
"order":0,
"settings":{
"number_of_shards":5
},
"aliases":{
"{index}-query":{
}
},
"mappings":{
"es_doc":{
"dynamic":"strict",
"_all":{
"enabled":false
},
"_source":{
"enabled":false
},
"properties":{
"CLF_Timestamp":{
"type":"long"
},
"CLF_CustomerID":{
"type":"keyword"
},
"CLF_ClientIP":{
"type":"ip",
"ignore_malformed":true
}
}
}
}
}
}
6.X版本已经不支持,7.X版本彻底不支持。 扩展问题:5.X版本的父子文档实际实现中是一个索引中定义了多个type,到了6.X中实现方式改变为:join方式。
假设你只关心度量结果,不是原始文件内容。 将节省磁盘空间并减少IO。 这个点,需要结合实际的业务场景具体问题具体分析。 举例:
"_source":{ "enabled":false },
假设你确切地知道你对哪个field做查询操作? 能实现性能提升,缩减存储。 举例:
"_all":{ "enabled":false },
假设你的数据是结构化数据。 字段设置严格,避免脏数据注入。 举例:
"dynamic":"strict",
假设你只关心完全匹配 提高性能和缩小磁盘存储空间 举例:
"CLF_CustomerID":{ "type":"keyword" },
如何在不停机的前提从一个索引切换到另一个索引?
举例:
"aliases":{ "{index}-query":{ }
或者你通过head插件创建。
社区和QQ群中经常被问到的问题:
这里,明确给出实操可行的6个步骤。
思考索引中要大致有哪些字段? 最好能列一个Excel表统计一下,包含但不限于: 序号、名称、类型、作用、备注。 以上对计算单条数据大小也有用。
评估方法举例: 1分钟有100条数据,1天=1006024=144000条。 1月=144000条30天=432W条数据。 1年=432W12=5184W条数据。 假设要保存2年,共=10368W条数据。 假设每条数据20KB,共需要存储:10368W*20/1024/1024/1024=1.977TB。
细节考虑点: 1、每个分片大小应小于30GB。 2、分片数量= k *数据节点数目(k = 一个足够小的整数,举例:1,2,3) 3、假设你有一个小的索引,并且你有集群中有足够的节点,请尝试使用默认值分片数5。
(此处可能会有多次反馈迭代)
缺点: 1、唯一值无法压缩,不利于存储。 2、存在高基数问题。
步骤1:所有文档加一个Hash值; 步骤2:检查重复;
GET *_index/_search {
"size":0,
"aggs":{
"duplicate":{
"terms":{
"field":"hash",
"min_doc_count":2,
"size":5000
},
"aggs":{
"documents":{
"top_hits":{
"size":2
}
}
}
}
} }
步骤3:批量删除步骤2中的重复id。 以上步骤,不影响写入,可以实现异步。
缺点: 1、存储量大(尤其超过3亿条+); 2、随着数据量增加,聚合受影响,越来越慢。 3、存在高基数问题。
深入方法待进一步探讨。
以上内容是Elasticsearch南京分享会20180630上的分享核心笔记。 具体PPT地址:https://elasticsearch.cn/slides/115 很受用的分析步骤和实战经验,实战中都可以用得上。
本文分享自 铭毅天下Elasticsearch 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!