最近工作中遇到ElasticSearch一些问题总结

最近在使用ElasticSearch来查询我们的一些实时数据,中间也遇到不少的问题,今天在此简单总结记录一下。es的功能的确十分强大,大部分数据库能实现的需求,基本在es里面都能实现,当然两者都有一些特殊的功能,是双方不能实现或者不容易实现的。

案例一:

es单个字段分组后,分页是个小坑,因为分组结果里面,只提供了size来限制返回,并没有类似offset和limit的参数来支持分页,所以这个地方,一般提供的是top N的分组数据,如果想分页,只能自己在内存中实现。

案例二:

如下面的sql:

在es多个字段分组后,排序都是组内有序,而不是整体数据有序,如果想实现整体数据有序,有两种解决办法可以解决:

方法一:

使用agg-script,使用script来实现聚合,这样唯一的缺点就是大数据量下,耗时比较高。

方法二:

使用copy字段,将多维字段,提供合并成一个字段,这样分组时候就可以直接使用这个字段进行分组,效率较高,但灵活性比较低,如果要是有7,8个字段都需要两两组合分组,那么索引里面的冗余字段就会多出好多个,索引体积的增大也会影响检索和聚合性能。

当然上面的分组能处理,但是分页问题依然和案例一是一样的情况,所有的分组都有这个问题。

案例三:

如下面的sql:

上面这个sql,是分组某个字段后,对其中几个指标进行sum,完事之后,在外层又要取到sum后的某个指标的最大值,这个问题在1.x的es中是不能解决的,但是在2.x之后,es提供了管道聚合,其功能更加强大,类似实现数据里面的多个子查询的功能。

下面我们看看如何使用es来完成上面的这个功能:

java代码如下:

curl如下:

总结:从上面的几个案例看,es在分组时候的需要考虑的问题要多点,但也大部分都能使用scrpit方式解决,但分组的分页问题,确实不太好弄,这个地方基本上都是看topN的数据比较方便,如果非要看所有的数据,而且必须分页,那只能在内存总实现了,所以建议这个地方需要慎重考虑。

原文发布于微信公众号 - 我是攻城师(woshigcs)

原文发表时间:2017-04-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏牛客网

Linux入门学习笔记

1. 指令、选项或参数之间不论空几个格, shell 都视为一个空格。 2. 指令太长时,可以使用“ \ ”(反斜杠)符号使指令连续到下一行。 3. Linux...

38810

使用chmod修改文件权限

类Unix系统,包括在Linode平台上运行的Linux系统,具有非常强大的访问控制系统,允许系统管理员有效地配置多个用户的访问权限,而无需给予每个用户...

4593
来自专栏Java架构沉思录

一文读懂分布式Session常见解决方案

前言 沉思君在之前的文章《谈谈HTTP状态保持》里介绍了有关HTTP状态保持的知识点,我们知道HTTP协议本身是无状态的,因此在使用HTTP协议进行通信的过程中...

2778
来自专栏编程

20条最最常用的Linux命令讲解

推荐阅读 微服务: springboot系列教程学习 源码:Javaweb练手项目源码下载 调优:十五篇好文回顾 面试笔试:面试笔试整理系列 玩过Linux的人...

1966
来自专栏铭毅天下

Elasticsearch集群管理之1——如何高效的添加、删除节点?

主节点的主要作用之一是确定将哪些分片分配给哪些节点,以及何时在节点之间移动分片以重新平衡集群。

5284
来自专栏Java技术栈

前后端分离与不分离的本质区别!

在前后端不分离的应用模式中,前端页面看到的效果都是由后端控制,由后端渲染页面或重定向,也就是后端需要控制前端的展示,前端与后端的耦合度很高。

641
来自专栏我有一个梦想

Python 项目实践三(Web应用程序)第二篇

接着上节的继续学习,使用Django创建网页的过程通常分三个阶段:定义URL、编写视图和编写模板。首先,你必须定义URL模式,每个URL都被映射到特定的视图——...

30810
来自专栏章鱼的慢慢技术路

在Linux下使用gcc编译mesa文件报undefined reference to symbol 'sin@@GLIBC_2.2.5和DSO missing from command line两个

在Ubuntu下安装好mesa所需的库文件,将目标文件从github上克隆下来之后编译。

1061
来自专栏DannyHoo的专栏

禁止子视图响应父视图的点击事件

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u010105969/article/details/...

1611
来自专栏用户2442861的专栏

vi/vim编辑器必知必会

Linux的命令行界面下面有非常多的文本编辑器。比如经常听说的就有Emacs、pico、nano、joe与vim等。vim可以看做是vi的高级版。我们为什么一...

1210

扫码关注云+社区

领取腾讯云代金券