关于周一 Eygle 在文章《千头万绪：从一道面试题看数据库性能和安全的方方面面》讲到的 SELECT* FROM girls WHERE age BETWEEN 18 and 24 and boyfriend='no' 这个 SQL，他 从数据库 SQL优化、数据安全、SQL审核、开发规范、IN-Memory 特性方面做了深入的分析。
就我个人而言，我发现真正有用的是思考如何在SQL中操作数据，然后在Pandas中复制它。所以如果你想更加精通Pandas，我强烈建议你也采用这种方法。
4、SQL语句语法的优化。（可以用Sybase的SQL Expert，可惜我没找到unexpired的序列号）
一个多列索引可以认为是包含通过合并(concatenate)索引列值创建的值的一个排序数组。 当查询语句的条件中包含last_name 和 first_name时
本 PostgreSQL 教程可帮助您快速了解 PostgreSQL。您将通过许多实际示例快速掌握 PostgreSQL，并将这些知识应用于使用 PostgreSQL 开发应用程序。
该文介绍了在技术社区中如何从海量数据中获取特定字段（OrderID）的查询优化方法，包括使用索引、避免使用通配符、使用DISTINCT、GROUP BY和UNION等，以便更快地获取并分析数据。
在数据库中处理查询请求时，如果可以尽早的将无关数据过滤掉，那么后续的算子就可以少做无用功，提升整个 SQL 的执行效率。过滤数据最常用的手段是使用索引，TiDB 的优化器也会尽量采用索引过滤的方式处理请求，利用索引有序的特点来提升查询效率。比如当查询条件为 a = 1 时，如果 a 这一列上有索引，我们就可以利用索引很快的把满足 a = 1 的数据拿出来，而不需要逐行检查 a 的值是否为 1。当然是否会选择索引过滤也取决于代价估算。
问题1：mysql索引类型normal，unique，full text的区别是什么？
关于MySQL的优化，相信很多人都听过这一条：避免使用select*来查找字段，而是要在select后面写上具体的字段。
忽略指定过滤器后进行计算。 之前这个使用All函数生成忽略学科教师平均分的度量值，如果用AllExpect函数则可以写成
任何在where子句中使用is null或is not null的语句优化器是不允许使用索引的。即使索引有多列这样的情况下，只要这些列中有一列含有null，该列就会从索引中排除。也就是说如果某列存在空值，即使对该列建索引也不会提高性能。
如果某个字段在查询中经常被用作过滤条件，那么在这个字段上创建索引可能会提高查询性能。例如，如果你经常根据员工的姓氏查询，那么在姓氏字段上创建索引可能是有益的。
DISTINCT 关键字与 SELECT 语句一起使用，用于去除重复记录，只获取唯一的记录。（去重）
上一篇写了从全局的角度说数据库优化这件事情，我们面试经常会被问到数据库优化这块，我们很多时候能回答一些大而化之的策略，例如主从分离，分表分库之类，添加合理的索引，那继续追问，用的什么中间件主从分离，用的什么策略进行分表分库，什么是合理的索引，加了索引表扫描少了多少行，什么情况下索引会失效，好吧，笑容逐凝固，不知如何作答了，本篇就优先围绕sql查询优化本身来聊这个事情；
作者：贾胜杰，硕士，退役军人，电气工程专业，现成功转行K12领域数据挖掘工程师，不仅在数据清理、分析和预测方向，而且在自制力和高效学习方面都有丰富经验。 编辑：王老湿
索引用来快速地寻找那些具有特定值的记录，所有MySQL索引都以B-树的形式保存。如果没有索引，执行查询时MySQL必须从第一个记录开始扫描整个表的所有记录，直至找到符合要求的记录。表里面的记录数量越多，这个操作的代价就越高。如果作为搜索条件的列上已经创建了索引，MySQL无需扫描任何记录即可迅速得到目标记录所在的位置。
子查询 可以分为： 单行单列（就是一个值） 单行多列（就是有一行，这一行有很多不同列数据） 多行单列（同一列不同的数据） 多行多列（可以说就是一张表了吧）
选择KH_ID右击，设置为主键。主键：建立一列或多列的组合以唯一标识表中的每一行，主键可以保证实体的完整性，一个表只能有一个主键。
分组查询是一种 SQL 查询技术，通过使用 GROUP BY 子句，将具有相同值的数据行分组在一起，然后对每个组应用聚合函数（如 COUNT、SUM、AVG等）。这允许在数据集中执行汇总和统计操作，以便更清晰地理解和分析数据的特征。分组查询常用于对大量数据进行聚合和摘要，提供有关数据分布和特征的洞察。
在涉及order by操作的sql时，b-tree索引返回的结果是有序的，可以直接返回，而其他索引类型，需要对索引返回结果再进行一次排序。b-tree索引的默认排序为升序，空值放在最后，创建索引时可以指定排序方式，如按倒序排序时，空值默认是放在最前的，但往往我们的查询并不想展示空值的结果，此时可以在创建索引时指定排序desc nulls last以达到和查询sql切合的目的。
转载自 https://www.cnblogs.com/jingfengling/p/5962182.html
在数据库中，我们经常需要对查询的结果进行排序，以便更容易地理解和分析数据。SQL（Structured Query Language）提供了强大的排序功能，允许我们按照指定的列对数据进行升序或降序排序。本文将详细介绍如何使用 SQL 进行排序查询，包括基本的排序语法、多列排序、自定义排序顺序等内容。
我们遇到的最容易引起困惑的问题就是索引列的顺序。正确的顺序依赖于使用该索引的查询，并且同时需要考虑如何更好地满足排序和分组的需要（顺便说明，本节内容适用于B-Tree索引；哈希或者其他类型的索引并不会像B-Tree索引一样按顺序存储数据）。 在一个多列B-Tree索引中，索引列的顺序意味着索引首先按照最左列进行排序，其次是第二列，等等。所以，索引可以按照升序或者降序进行扫描，以满足精确符合列顺序的ORDER BY、GROUP BY和DISTINCT等子句的查询需求。 所以多列索引的顺序至关重要。在“三星索引”系统中，列顺序也决定了一个索引是否能够成为一个真正的“三星索引”。 对于如何选择索引的列顺序有一个经验法则：将选择性最高的列放到索引最前列。这个建议有用吗？在某些场景可能有帮助，但通常不如避免随机IO和排序那么重要，考虑问题需要更全面（场景不同则选择不同，没有一个放之四海皆准的法则。这里只是说明，这个经验法则可能没有你想象的重要）。 当不需要考虑排序和分组时，将选择性最高的列放在前面通常是很好的。这时候索引的作用只是用于优化WHERE条件的查找。在这种情况下，这样设计的索引确实能够最快地过滤出需要的行，对于WHERE子句中只使用了索引部分前缀列的查询来说选择性也更高。然而，性能不只是依赖于所有索引列的选择性(整体基数)，也和查询条件的具体值有关，也就是和值的分布有关。这和选择前缀的长度需要考虑的地方一样。可能需要根据那些运行频率最高的查询来调整索引列的顺序，让这种情况下索引的选择性最高。
原文链接：http://www.toutiao.com/a6730869910135636494/
发现没有用到索引，type全是ALL，那么首先想到的就是建立一个索引，建立索引的字段当然是在where条件的字段。
今天在观察慢sql统计的时候，发现了一个sql的平均耗时长，而且总的扫描行数大，分析对应表的DDL，发现此表中只有一个唯一索引index1(a,b,c)，但是在查询条件中没有带上a字段，导致这个查询sql没有走索引，从而导致了全表扫描。这里涉及到一个索引最左前缀原则，我们来一起看一下。
SQL的执行计划侧面反映出了SQL的执行效率，具体执行方式如下所示：在执行的SQL前面加上explain关键词即可；
前一段时间修改数据表时，给一个表添加一个datetime字段，当时遇到了一个问题：我是否需要给该datetime字段上加索引呢？如果不给该字段加索引，当where语句中使用该字段时，会不会扫全表呢？如果给其加了索引，那么势必会带来一些开销，假如这个索引用不到的话，给其加了索引岂不是画蛇添足了呢？
如果表里没有没有对itemid建立索引，需要对表里所有记录进行比对，才能找到符合条件记录， chartevents表有313645063 条记录， 就要进行 313645063次对比， 慢是正常的
1.什么是数据库？ 数据库是组织形式的信息的集合，用于替换，更好地访问，存储和操纵。 也可以将其定义为表，架构，视图和其他数据库对象的集合。 2.什么是数据仓库？ 数据仓库是指来自多个信息源的中央数据存储库。 这些数据经过整合，转换，可用于采矿和在线处理。 3.什么是数据库中的表？ 表是一种数据库对象，用于以保留数据的列和行的形式将记录存储在并行中。 4.什么是数据库中的细分？ 数据库表中的分区是分配用于在表中存储特定记录的空间。 5.什么是数据库中的记录？ 记录（也称为数据行）是表中相关数据的有序集
数据插入 此前一直使用语句，但还有三个经常使用的SQL语句需要掌握（、和）。 插入的几种形式， 1. 插入完整行； 2. 插入行的部分数据； 3. 插入多行； 4.插入某些查询的结果； - 注意，由于
联合查询是多表查询的一种方式，在保证多个SELETE语句的查询字段数相同的情况下，合并多个查询的结果
优化器是数据库最核心的功能，也是最复杂的一部分。它负责将用户提交的SQL语句根据各种判断标准，制定出最优的执行计划，并交由执行器来最终执行。优化器算法的好坏、能力的强弱，直接决定了语句的执行效率。笔者也使用了其他诸如MySQL、PostgreSQL、SQLServer等关系型数据库。综合比较来说，Oracle的优化器是功能最强大的。学习SQL优化，从本质来讲就是学习从优化器的角度如何看待SQL，如何制定出更优的执行计划。当然，优化器本身是数据库系统中最复杂的一个部分，本书会就优化器的分类、工作原理等做简单介绍，不会深入细节。
笔者最近需要使用pyspark进行数据整理，于是乎给自己整理一份使用指南。pyspark.dataframe跟pandas的差别还是挺大的。
mysql 是日常的开发中常用的关系型数据库，除了 CRUD 之外的操作，mysql 也有很多有趣而且巧妙的操作，掌握这些技巧，可以在工作中得心应手、游刃有余。 在本文中会涉及以下内容： mysql 字符串的操作，例如如何使用 concat 拼接更新语句以及 group_concat 的神奇用法。 mysql 中 select 的神奇用法, select 不仅可以用来执行 DQL，还可以用来查询变量和数学运算。 mysql 多列查询配合联合索引的正确用法， 比如 in 的多列查询操作。 涉及时间操作的一些函
应该尽量避免在 where 子句中使用 != 或 not in 或 <> 操作符，因为这几个操作符都会导致索引失效而进行全表扫描。
凭借其广泛的功能，Pandas 对于数据清理、预处理、整理和探索性数据分析等活动具有很大的价值。
数据索引就好比新华字典的音序表。它是对数据表中一列或者多列的值进行排序后的一种结构，其作用就是提高表中数据的查询速度。
Oracle数据库中优化器（Optimizer）是SQL分析和执行的优化工具，是Oracle数据库中内置的一个核心模块。优化器的目的就是为了得到目标SQL的执行计划。Oracle数据库里的优化器又分为RBO（rule-Based Optimizer，基于规则的优化器）和CBO（Cost-Based Optimizer，基于成本的优化器）这两种类型。从Oracle 10g开始，Oracle数据库默认都是基于CBO的优化方式。
1.1.1、通常的模块分布：一般如果你要实现一个web应用，你从后台将数据展示到前端页面，在一个比较大的公司，你少不了跟其他项目有交集（你调用他的接口，他依赖你的接口），这样下来，整个公司有很多个模块，怎么做到很好的联系。回到刚刚的模块分布，你的一个web应用，应当需要分成三个模块：core模块、service模块、web模块。web模块就是展示到页面，后台代码而言主要就controller层了，其他逻辑基本都放在core了，service模块就是一些接口类和参数dto等等，接口的实现类在core模块。这样下来，web模块只需要依赖service模块，同样的其他系统依赖你的接口也仅仅是依赖service模块，然后利用远程调用方式消费你的接口服务。
点击上方“芋道源码”，选择“设为星标” 管她前浪，还是后浪？ 能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
最近给我提建议的陌生人是不少，有提示我对于云费用计算常识性错误的，有对我 OB 的撰写方式异议的，还有一个陌生人，在看完我的文字后，留言：你也是做自媒体的，你自己的排版太差，你自己知道吗，你这样让我影响阅读。
本文整理自美团技术沙龙第75期的主题分享《美团数据库攻防演练建设实践》，系超大规模数据库集群保稳系列（内含4个议题的PPT及视频）的第4篇文章。
数据分组是对相同类别的数据进行汇总，而数据透视表是通过对行或列的不同组合对数据进行汇总，所使用的汇总方法有求和、计数、平均值、标准差等，本文使用SQL对数据进行数据分组和数据透视，下面一起来学习。
最左匹配原则就是指在联合索引中，如果你的 SQL 语句中用到了联合索引中的最左边的索引，那么这条 SQL 语句就可以利用这个联合索引去进行匹配。例如某表现有索引(a,b,c)，现在你有如下语句：
最近博主看完了《SQL进阶教程》这本书，看完后给博主打开了SQL世界的新大门，对于 SQL 的理解不在局限于以前的常规用法。借用其他读者的评论，
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
