干货 | Elasticsearch 趋势科技实战分享笔记

少啰嗦,直接看东西。

1、Elasticsearch 索引的设计

1.1 单一索引还是基于时间的索引?

单一索引的问题: 1)不能更新Mapping。 比如:主分片数不可以修改(除非reindex)。 2)无法灵活、快速地扩展。 3)更适合固定、小型数据集。

基于时间的索引面临的问题: 1)如何确定间隔?

  • 数据量
  • 变更频率
  • 默认尝试每周为单位分割——建议

2)如何实施?

  • 索引模板

1.2 定义索引注意事项

举例:

{
    "facet_internet_access_minute":{
        "template":"ce-index-access-v1-*",
        "order":0,
        "settings":{
            "number_of_shards":5
        },
        "aliases":{
            "{index}-query":{

            }
        },
        "mappings":{
            "es_doc":{
                "dynamic":"strict",
                "_all":{
                    "enabled":false
                },
                "_source":{
                    "enabled":false
                },
                "properties":{
                    "CLF_Timestamp":{
                        "type":"long"
                    },
                    "CLF_CustomerID":{
                        "type":"keyword"
                    },
                    "CLF_ClientIP":{
                        "type":"ip",
                        "ignore_malformed":true
                    }
                }
            }
        }
    }
}

注意1:不要在一个索引中定义多个type。

6.X版本已经不支持,7.X版本彻底不支持。 扩展问题:5.X版本的父子文档实际实现中是一个索引中定义了多个type,到了6.X中实现方式改变为:join方式。

注意2:将Set _source设置为false。

假设你只关心度量结果,不是原始文件内容。 将节省磁盘空间并减少IO。 这个点,需要结合实际的业务场景具体问题具体分析。 举例:

"_source":{ "enabled":false },

注意3:将_all设置为false。

假设你确切地知道你对哪个field做查询操作? 能实现性能提升,缩减存储。 举例:

"_all":{ "enabled":false },

注意4:设置dynamic = strict。

假设你的数据是结构化数据。 字段设置严格,避免脏数据注入。 举例:

"dynamic":"strict",

注意5:使用keyword类型

假设你只关心完全匹配 提高性能和缩小磁盘存储空间 举例:

"CLF_CustomerID":{ "type":"keyword" },

注意6:使用别名

如何在不停机的前提从一个索引切换到另一个索引?

举例:

"aliases":{ "{index}-query":{ }

或者你通过head插件创建。

2、Elasticsearch分片分配原则

社区和QQ群中经常被问到的问题:

  • 1)应该分几个索引、几个分片?
  • 2)每个分片大小如何设置?
  • 3)副本多少如何设置?

这里,明确给出实操可行的6个步骤。

步骤1:定义索引。

思考索引中要大致有哪些字段? 最好能列一个Excel表统计一下,包含但不限于: 序号、名称、类型、作用、备注。 以上对计算单条数据大小也有用。

步骤2:评估数据量。

评估方法举例: 1分钟有100条数据,1天=1006024=144000条。 1月=144000条30天=432W条数据。 1年=432W12=5184W条数据。 假设要保存2年,共=10368W条数据。 假设每条数据20KB,共需要存储:10368W*20/1024/1024/1024=1.977TB。

步骤3:评估索引大小和磁盘空间。

步骤4:计算分片数。

细节考虑点: 1、每个分片大小应小于30GB。 2、分片数量= k *数据节点数目(k = 一个足够小的整数,举例:1,2,3) 3、假设你有一个小的索引,并且你有集群中有足够的节点,请尝试使用默认值分片数5。

步骤5:评估索引数和类型。

(此处可能会有多次反馈迭代)

3、数据去重的思考?

方法1:指定唯一id

缺点: 1、唯一值无法压缩,不利于存储。 2、存在高基数问题。

方法2:用聚合方法实现

步骤1:所有文档加一个Hash值; 步骤2:检查重复;

GET *_index/_search {
    "size":0,
     "aggs":{
        "duplicate":{
            "terms":{
                 "field":"hash",
                 "min_doc_count":2,
                 "size":5000
            },
             "aggs":{
                 "documents":{
                     "top_hits":{
                         "size":2
                     }
                 }
             }
         }
     } }

步骤3:批量删除步骤2中的重复id。 以上步骤,不影响写入,可以实现异步。

缺点: 1、存储量大(尤其超过3亿条+); 2、随着数据量增加,聚合受影响,越来越慢。 3、存在高基数问题。

方法3:用distinct query实现

深入方法待进一步探讨。

4、小结

以上内容是Elasticsearch南京分享会20180630上的分享核心笔记。 具体PPT地址:https://elasticsearch.cn/slides/115 很受用的分析步骤和实战经验,实战中都可以用得上。

原文发布于微信公众号 - 铭毅天下(gh_0475cf887cf7)

原文发表时间:2018-07-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ThoughtWorks

TW洞见〡3D打印的各种问题及解决方案

文章作者来自ThoughtWorks:贺思聪 ,图片来自网络。 3D打印机已经买回来几个月了,基本上每天都要打印一些东西,期间遇到了很多的问题积累了很多的经验...

34512
来自专栏月色的自留地

从锅炉工到AI专家(7)

1996
来自专栏Fish

CUDA C最佳实践-CUDA Best Practices(一)

这文档堪称CUDA官方手册里最有用TOP3了。 ps:全文翻译会累死猿哒,意译意译,各位看官凑合一下啦 前言 文档的作用 这文档能干嘛,是用来帮助开发者从N...

2576
来自专栏数据派THU

独家 | 一文读懂Hadoop(三):Mapreduce

随着全球经济的不断发展,大数据时代早已悄悄到来,而Hadoop又是大数据环境的基础,想入门大数据行业首先需要了解Hadoop的知识。2017年年初apache发...

2078
来自专栏UML

数据流程图 (DFD) 示例:食品订购系统

数据流图也称为气泡图。它通常用作创建系统概述的初步步骤,而不需要详细介绍,以后可以将其作为自上而下的分解方式进行详细说明。DFD显示将从系统输入和输出的信息类型...

1436
来自专栏吕晟的专栏

机器学习库初探之MXnet

与其他工具相比,MXnet 结合了符号语言和过程语言的编程模型,并试图最大化各自优势,利用统一的执行引擎进行自动多 GPU 并行调度优化。不同的编程模型有各自的...

3811
来自专栏嵌入式程序猿

你所找的算法库,都在这里

在工业控制中,经常要用到一些算法,而对实时性要求苛刻的系统,还需要用汇编语言来实现这些算法,例如在电机控制中,经常使用的坐标变换,功率变换等,而对这些算法如果不...

712
来自专栏数据和云

执行计划 - Oracle谓词越界与绑定变量窥探

编辑手记:在SQL执行的过程中,选择不同的执行计划所产生的性能差异非常大,因此能够符合业务地选择正确的执行计划非常重要。但在真实环境中,总会受到一些因素的影响,...

2523
来自专栏飞总聊IT

大数据那些事(10):李逵麻子,李鬼坑人--BigTable的数据模型

今天我们回归技术路线,讲讲Google三驾马车里的BigTable。以前有个说法叫做麻子不叫麻子,叫坑人。取其原意是满脸是坑的人,谐音表示人被坑了。我们知道水浒...

26310
来自专栏数据科学与人工智能

【Python环境】探索 Python、机器学习和 NLTK 库

挑战:使用机器学习对 RSS 提要进行分类 最近,我接到一项任务,要求为客户创建一个 RSS 提要分类子系统。目标是读取几十个甚至几百个 RSS 提要,将它们的...

2708

扫码关注云+社区