Elasticsearch之元数据(meta-fields)介绍

1. 什么是meta-fields

在Elasticsearch下，一个文档除了有数据之外，它还包含了元数据(Metadata)。每创建一条数据时，都会对元数据进行写入等操作，当然有些元数据是在创建mapping的时候就会设置,

它里面定义了每个添加的doc的处理方式。 类似于数据库的表结构数据。

2. 有哪些meta-fields

ES中元数据大体分为五中类型：身份元数据、索引元数据、文档元数据、路由元数据以及其他类型的元数据

2.1. 身份元数据

• _index:文档所属索引 , 自动被索引，可被查询，聚合，排序使用，或者脚本里访问
• _type：文档所属类型，自动被索引，可被查询，聚合，排序使用，或者脚本里访问
• _id：文档的唯一标识， 建索引时候传入 ，不被索引， 可通过_uid被查询，脚本里使用，不能参与聚合或排序
• _uid：由_type和_id字段组成，自动被索引 ，可被查询，聚合，排序使用，或者脚本里访问

2.2. 索引元数据

• _all： 自动组合所有的字段值，以空格分割，可以指定分器词索引，但是整个值不被存储，所以此字段仅仅能被搜索，不能获取到具体的值
• _field_names：索引了每个字段的名字，可以包含null值，可以通过exists查询或missing查询方法来校验特定的字段
• _timestamp：可以手工指定时间戳值，也可以自动生成使用now()函数，除此之外还可以设置日期的格式化，忽略确实等功能
• _ttl：对于一些会话数据或者验证码失效时间，一般来说是有生命周期的，在es中可以很方便的通过这个ttl来设置存活时间，比如1小时，或者10分钟，在超时过后，这个doc会被自动删除，这种方式并不适合按周或按天删除历史数据，如果是这种需求，可考虑使用索引级别的管理方式

2.3. 文档元数据

• _source ： 一个doc的原生的json数据，不会被索引，用于获取提取字段值 ，启动此字段，索引体积会变大，如果既想使用此字段 又想兼顾索引体积，可以开启索引压缩 https://www.elastic.co/guide/en/elasticsearch/reference/2.3/index-modules.html#index-codec
• _size： 整个_source字段的字节数大小，需要单独安装一个插件才能展示，详情参见：https://www.elastic.co/guide/en/elasticsearch/plugins/5.4/mapper-size.html

_source是可以被禁用的，不过禁用之后部分功能再支持：

• update api:https://www.elastic.co/guide/en/elasticsearch/reference/2.3/docs-update.html
• <u>highlighting</u>：https://www.elastic.co/guide/en/elasticsearch/reference/2.3/search-request-highlighting.html
• 索引重建、修改mapping以及分词、索引升级
• debug查询或者聚合语句
• 索引自动修复

2.4. 路由元数据

• _parent：在同一个索引中，可以通过_parent字段来给两个不同mapping type的数据建立父子关系，在查询时可以通过has_child, has_parent等查询，来聚合join数据，需要注意的是，父子type必须不能是一样的，否则会识别失败。
• _routing： 一个doc可以被路由到指定的shard上，通过下面的规则： shard_num = hash(_routing) % num_primary_shards 默认情况下，会使用doc的_id字段来参与路由规则，如果此doc有父子关系，则会以父亲的_id作为路由规则，以确保父子数据 必须处于同一个shard上，以提高join效率

需要注意的是如果指定了使用自己的路由规则，如果两个文档_id参数一样，但是路由规则值不一样，有可能造成这两条数据被分发到不同的shard，所以在使用自己的路由规则时

注意_id参数的唯一性。

2.5. 其他

• _meta：每个mapping type可以有不同的元数据类型，我们可以存储自己定义认为的元数据中，此字段支持查询和更新

3. 参考资料

https://www.elastic.co/guide/en/elasticsearch/reference/2.3/mapping-fields.html

http://m635674608.iteye.com/blog/2259528

http://www.111cn.net/jsp/J2EE-EJB/118565.htm

个人介绍： 高广超：多年一线互联网研发与架构设计经验，擅长设计与落地高可用、高性能、可扩展的互联网架构。