这个设计器，只能用FineReport搞。没关系的，FineBI里面可以兼容展示FineReport报表。
最近在实际项目中查询条件上越来越复杂，mysql的筛选已无法支撑，准备将所有搜索筛选改为es查询。鉴于这种情况，本文调研了from-size，search_after，scroll api, search_after (PIT) 这四种查询优劣。
嵌套查询（子查询）可以使用SELECT语句来创建一个单列的查询结果，然后把这个结果作为过滤条件用在另一个查询中。嵌套查询写起来简单，也容易理解。但是，有时候可以被更有效率的连接（JOIN)替代。
任何一个系统，分页查询都是必不可少的吧 ，MySQL中的分页查询 就是 limit呗 ，你有没有感觉到 越往后翻页越慢 ，常见的SQL如下
索引是一种数据结构。官方描述为：索引（Index）是帮助MySQL高效获取数据的数据结构。因此我们针对索引的使用和优化，本质上也是基于一种特殊的数据结构进行的优化。总结下innodb的索引特点：
一、我们要解决什么问题 二、排序，排序，排序 三、索引优化排序 四、排序模式 4.1实际trace结果 4.2排序模式概览 4.2.1回表排序模式 4.2.2不回表排序模式 4.2.3打包数据排序模式 4.2.4三种模式比较 五、外部排序 5.1普通外部排序 5.1.1两路外部排序 5.1.2多路外部排序 5.2MySQL外部排序 5.2.1MySQL外部排序算法 5.2.2sort_merge_passes 六、trace 结果解释 6.1 是否存在磁盘外部排序 6.2 是否存在优先队列优
作者：matrix 被围观: 7,332 次 发布时间：2018-05-03 分类：零零星星 | 一条评论 »
比如说有三个字段 a b c，建立复合索引a_b_c。此时叶子节点的数据排序后可能为
大家好，我是老羊，今天我们来学习 Flink SQL 中的 TopN、Order By、Limit 3个操作。
本来这篇文章我前两个星期就打算写了，提纲都列好了，但是后面我去追《漫长的季节》这部剧去了，这就花了一个周末的时间，再加上后面一些其它的事，导致没来得及写
上一篇mysql进阶优化篇，我们介绍了数据库的性能分析工具，知道了怎么发现数据库的性能问题，这一篇博客我们将介绍索引失效的10种情况及原理
最近需要迁移项目，将数据库由Oracle改为MySQL。由于两者的语法有部分不一样，所以需要把Oracle中能用但MySQL中不能用的函数/类型等改为MySQL中能用的，以下是总结出的部分语法区别： 一、数据类型 1. Number类型 MySQL中是没有Number类型的，但有int/decimal 类型，Oracle中的Number(5,1)对应MySQL中的decimal(5,1)，Number(5) 对应 int(5)。MySQL中的数字型类型比较多，分的也比较细，还有tinyint、smallint、mediumint、bigint等类型 2. Varchar2(n)类型 MySQL中对应Oracle Varchar2(n)类型的替代类型是varchar(n)类型。 3. Date 类型 MySQL 中的日期时间类型有Date、Time、Datetime等类型，MySQL中Date类型仅表示日期(年-月-日)，Time类型仅表示时间（时:分:秒），而Datetime类型表示日期时间(年-月-日 时:分:秒)，Oracle中的Date类型和MySQL中的Datetime类型一致。 二、函数 1. length(str)函数 Oracle中的length(str)是获取字符串长度的函数，MySQL 中对应的函数为char_length(str)。 2. sys_guid()函数 Oracle中可通过sys_guid()函数是生成随机序列，MySQL通过UUID()生成随机序列。 3. 时间格式化函数 将时间转换为字符串型时间 MySQL date_format(NOW(),’%Y-%m-%d’) 对应Oracle的 Oracle中的 to_char(sysdate, ‘YYYY-MM-DD’); 将字符串型时间转换为时间类型 MySQL str_to_date(‘2019-01-01′,’%Y-%m-%d’) 对应Oracle中的 to_date(‘2019-01-01’, ‘YYYY-MM-DD’); 包括时分秒的函数转换：DATE_FORMAT(NOW(),’%Y-%m-%d %H:%i:%s’)，str_to_date(‘2019-01-01′,’%Y-%m-%d %H:%i:%s’)。 4. 条件函数（nvl()、nvl2()、decode()） nvl(tab.columnName, 0)：如果tab.columnName值为空，则返回值取0，否则取tab.columnName；对应的MySQL函数为：ifnull(tab.columnName, 0)。 nvl2(expr1,expr2,expr3)：如果expr1不为null，则返回expr2，否则返回expr3；对应的MySQL函数为：if(expr1,expr2,expr3)。 DECODE(value, val1, val2, val3)：如果value等于val1，则返回val2，否则返回val3；MySQL可用IF函数表示：if(value=val1, val2, val3)； DECODE(value, if1, val1, if2,val2,…,ifn, valn, val)：如果value等于if1，则返回val1，如果value等于if2，则返回value2…如果value等于ifn，则返回valn，否则返回val；MySQL对于这种判断可以通过case when then else end;l来判断，即：case when value=if1 then val1 when value=if2 then val2,,,when value=ifn then valn else val end; 5. trunc()函数 TRUNC(12.123)：返回整数(12)；MySQL对应的函数：truncate(12.123, 0)； TRUNC(12.123, 2)：返回值保留2为小数(12.12)；MySQL对应的函数：truncate(12.123, 2)； TRUNC(SYSDATE)：返回值为(2019-07-26 00:00:00)；MySQL对应的为cast(now() as datetime)：返回值为(2019-07-26 14:11:38)； MySQL的cast函数语法为：CAST(xxx AS 类型) （可用类型为：二进制,同带binary前缀的效果:BINARY；字符型,可带参数:CHAR()；日期:DATE；时间:
日常开发中，我们经常会使用到order by，亲爱的小伙伴，你是否知道order by 的工作原理呢？order by的优化思路是怎样的呢？使用order by有哪些注意的问题呢？本文将跟大家一起来学习，攻克order by~
网上找了很多关于Innodb B+树索引原理的文章，但都不尽如意。基本都是列出了最后的结果，没有说清楚B+树的推理过程，让人看的云里雾里。本文会由浅入深的讲解B+树的推理过程，毕竟，知其然才能知其所以然。
建表sql大家也不用扣细节，只需要知道id是主键，并且在user_name建了个非主键索引就够了，其他都不重要。
offset：表⽰偏移量，通俗点讲就是跳过多少⾏，offset可以省略，默认为0，表
当进行分页时，MySQL 并不是跳过 offset 行，而是取 offset+N 行，然后放弃前 offset 行，返回 N 行。例如 limit 10000, 20。mysql排序取出10020条数据后，仅返回20条数据，查询和排序的代价都很高。那当 offset 特别大的时候，效率就非常的低下，所以我们要对sql进行改写
经常需要按不止一个列进行数据排序。例如，如果要显示雇员清单，可能希望按姓和名排序（首先按姓排序，然后在每个姓中再按名排序）。如果多个雇员具有相同的姓，这样做很有用。
前面的文章提到过es默认的from+size的分页方式返回的结果数据集不能超过1万点，超过之后返回的数据越多性能就越低。 这是因为es要计算相似度排名，需要排序整个整个结果集，假设我们有一个index它有5个shard，现在要读取1000到1010之间的这10条数据，es内部会在每个shard上读取1010条数据，然后返回给计算节点，这里有朋友可能问为啥不是10条数据而是1010条呢？这是因为某个shard上的10条数据，可能还没有另一个shard上top10之后的数据相似度高，所以必须全部返回，然后在计算
先说好吧，查询的数据排序，有两个地方（1、分页前的排序。2、查询到当前页数据后的排序）
索引的本质：通过不断地缩⼩想要获取数据的范围来筛选出最终想要的结果，同时把随机的事件变成顺序的事件，也就是说，有了这种索引机制，我们可以总是⽤同⼀种查找⽅式来锁定数据。磁盘中数据的存取
好了，这次带大家盘一个我觉得有点意思的东西，也是之前写《一个烂分页，踩了三个坑！》这篇文章时，遇到的一个神奇的现象，但是当时忙着做文章搞定这个主线任务，就没有去深究这个支线任务。
假设字段category无索引且有重复值，order by category 和limit组合使用的结果会和预期不符。
前言：当业务数据达到一定量级(比如：mysql单表记录量>1千万)后，通常会考虑“分库分表”将数据分散到不同的库或表中，这样可以大大提高读/写性能。但是问题来了，对于 select * from table limit offset , pagesize 这种分页方式，原来一条语句就可以简单搞定的事情会变得很复杂，本文将与大家一起探讨分库分表后”分页”面临的新问题。
在这种建表语句中不用过度注重细节，只需要知道 id 是主键，并且在user_name建了一个非主键的索引就行了。
create table grade ( id int(10) primary key auto_increment comment '主键', stu_id int(10) comment '学生id', class_id int(10) comment '班级id', course_id int(3) comment '课程id', score int(3) comment '学生分数', unique key (stu_id, course_id) ) engine = innodb charset = utf8; insert into grade (stu_id, class_id, course_id, score) values ('1', 1, 1, 90), ('4', 1, 1, 90), ('7', 1, 1, 84), ('10', 1, 1, 84), ('13', 1, 1, 88), ('1', 1, 2, 67), ('4', 1, 2, 85), ('7', 1, 2, 90), ('10', 1, 2, 88), ('13', 1, 2, 86); insert into grade (stu_id, class_id, course_id, score) values ('2', 2, 1, 83), ('5', 2, 1, 94), ('8', 2, 1, 81), ('11', 2, 1, 91), ('14', 2, 1, 79), ('2', 2, 2, 99), ('5', 2, 2, 80), ('8', 2, 2, 82), ('11', 2, 2, 76), ('14', 2, 2, 66); insert into grade (stu_id, class_id, course_id, score) values ('3', 3, 1, 98), ('6', 3, 1, 92), ('9', 3, 1, 76), ('12', 3, 1, 73), ('15', 3, 1, 83), ('3', 3, 2, 95), ('6', 3, 2, 91), ('9', 3, 2, 86), ('12', 3, 2, 87), ('15', 3, 2, 68); 这里就是建立了一个成绩表，然后往表中插入了15个学生，他们来自三个班级，每个学生学习了两门课程。
首先要确定什么是最后一条。 是编辑时间最新的为最后一条，还是某个字段数字最大的未最后一条。 比如以时间最大为最后一条，则将符合条件的资料都筛选出来，再按时间排序，再取一笔资料。 SQL如下：
当前分布式数据库架构有不少，但是总体架构相差不大，主要组件都包含协调节点、数据分片、元数据节点、全局时钟。一种常见的分布式架构如下图：
当业务数据达到一定量级(比如：mysql单表记录量>1千万)后，通常会考虑“分库分表”将数据分散到不同的库或表中，这样可以大大提高读/写性能。但是问题来了，对于 select * from table limit offset , pagesize 这种分页方式，原来一条语句就可以简单搞定的事情会变得很复杂，本文将与大家一起探讨分库分表后"分页"面临的新问题。
MySQL并没有专门的中位数算法，而对于SQL不熟悉的人，书写中位数，只能通过Java等语言实现。并非推荐使用MySQL完成中位数计算，以下实现，仅为了通过算法解析的过程中，了解一些MySQL常用与不常用的功能、函数，并开拓思维。
电商中：我们想查看今天所有成交的订单，按照交易额从高到低排序，此时我们可以使用数据库中的排序功能来完成。
在分页处理时，我们要确定两个参数，start & size，如果一个分页查询start值很大，那么这就是一个深度分页查询。
这两天被 文言（wenyan-lang）刷屏了，这个项目在于使用文言文进行编程，我打算蹭个热度，把年初的作品再捞一捞，即中文SQL。
换句话说，业务中使用 SELECT 语句的时候除了不可避免的搭配 WHERE 以外，还会配合 ORDER BY 进行使用。
换句话说，业务中使用 SELECT 语句的时候除了不可避免的搭配 WHERE 以外，还会配合 ORDER BY进行使用。
DQL(DATA Query Language)，即数据查询语言。在数据分析狮的日常工作过程中，该语言被频繁“翻牌子”，是非常重要的指令操作语言之一。通俗的讲，数据查询即为分析人员向数据库发送明确指令，数据库返回数据的过程。注意前面一句话，提出了“明确指令”一词，为什么一定要这么严谨嘞？！相当于点外卖指定要 25 块钱麻辣烫套餐，且不要辣椒不要香菜这么重要！！！
第一个 “位置偏移量” 参数指示 MySQL 从哪一行开始显示，是一个可选参数，如果不指定 “位置偏移量”，将会从表中的第一条记录开始（第一条记录的位置偏移量是 0，第二条记录的位置偏移量是 1，以此类推）；第二个参数 “行数” 指示返回的记录条数。
如何降低人们使用数据的门槛，这是一个有意思，而又不那么容易回答的问题。大家习惯从WYSIWYG（What You See Is What You Get）的角度去出发，由此诞生了一些列的分析工具，例如Tableau，Pentaho
前面几篇分别介绍了安装，可视化软件，数据库简介以及字段类型和约束，本篇文章开始正式开始查询语句的讲解。
但在大数据量的情况下，分页查询是否存在效率问题？怎样分析SQL效率？如何优化分页查询效率？
导读 软件测试人员在工作使用SQL语言中的查询是使用得最多的，而查询也是SQL语言中最复杂的，很多测试人员只使用到其中最简单的查询 1.数据库的使用 现在在任何项目中都有数据的存在，那么在测试过程中查看数据库中的数据是必不可少的步骤，那什么情况下测试人员会查看数据库呢？ 比如有一个测试场景是注册新用户，用户在前端页面上添加了一个新用户，点击提交后，弹出提示用户注册成功。 这时预期结果中就应该包含查询数据库： 查询user表中新增一条数据，数据字段的信息与注册信息一致； 查询password表中新增一条数据
在SQL中查询数据的时候我们所有各种操作，主要是通过select、where、group by等多个关键词的组合查询来实现的。本文中介绍的如何在相同的需求下，通过pandas来实现取数操作。
Es低版本（1.x）的scroll操作还有一个变种：scan，其在指定size时真实返回的是size * num_of_shards条数据，比如scan请求返回size=10条数据，而索引本身有5个shard，那么一次scan将返回10*5=50条数据，另外在第一次请求时只执行初始化操作，不会返回数据，在第二次请求时才会返回数据。
线上mysql数据库爆出一个慢查询，DBA观察发现，查询时服务器IO飙升，IO占用率达到100%， 执行时间长达7s左右。
生活中经常会遇到求TopK的问题，在小数据量的情况下可以先将所有数据排序，最后进行遍历。但是在大数据量情况下，这种的时间复杂度最低的也就是O(NlogN)此处的N可能为10亿这么大的数字，时间复杂度过高，那么什么方法可以减少时间复杂度呢，以下几种方式，与大家分享。
1. Hellow hadoop~~! Hadoop（某人儿子的一只虚拟大象的名字）是一个复杂到极致，又简单到极致的东西。 说它复杂，是因为一个hadoop集群往往有几十台甚至成百上千台low cost的计算机组成，你运行的每一个任务都要在这些计算机上做任务的分发，执行中间数据排序以及最后的汇总，期间还包含节点发现，任务的重试，故障节点替换等等等等的维护以及异常情况处理。谁叫hadoop集群往往都是由一些平民计算机组成，没事儿罢个工什么的，实在是再寻常不过的事情。 而说其简单，则是因为，上面说到的那些
【问题现象】 线上mysql数据库爆出一个慢查询，DBA观察发现，查询时服务器IO飙升，IO占用率达到100%， 执行时间长达7s左右。 SQL语句如下： SELECT DISTINCT g.*, cp.name AS cp_name, c.name AS category_name, t.name AS type_name FROMgm_game g LEFT JOIN gm_cp cp ON cp.id = g.cp_id AND cp.deleted = 0 LEFT JOIN gm_category
在MySQL中，并不是你建立了索引，并且你在SQL中使用到了该列，MySQL就肯定会使用到那些索引的，有一些情况很可能在你不知不觉中，你就“成功的避开了”MySQL的所有索引。
在上节课中我们讲解了Spark SQL的来源，Spark DataFrame创建的方式以及常用的算子。这节课继续讲解Spark SQL中的Catalyst优化器和Tungsten，以及Spark SQL的Join策略选择。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
