在SQL（Structured Query Language）中，DISTINCT关键字是一个强大的工具，用于查询去重。它允许我们从数据库中获取唯一（不重复）的记录，而不考虑其他列的值。本文将深入探讨SQL中的DISTINCT关键字，包括其语法、用途和示例。
在处理大型数据集时，很可能需要查找并获取唯一值，特别是唯一字符串。例如，在一个有100000条记录的数据集中，其中可能包含数百个唯一字符串，如果将这些唯一记录提取出来，那么数据清理会变得更容易。
上篇介绍Hive优化器原理与源码解析系列—统计信息中间结果估算文章，TableScan，Project、Filter、Sort等等Operator操作符中间结果大小的估算受到两个因素的影响，选择率Selectivity和记录数RowCount。
Q：在一列中包含有很多数据，我想使用公式来列出并统计其唯一值，我不想使用数据透视表，下图1所示为示例数据。
字典（Dictionary）是一种通过键（key）和项（item）（注：键和项是字典中的术语）存储唯一项的方法。它是一种基于唯一键存储数据的极好工具，它的强大之处在于可以使用键来存储和合并数据。
在查找相匹配的值时，如果存在重复值，而我们想要获取指定的匹配值，那该如何实现呢？如下图1所示的工作表，在“商品”列中，存在一些重复的商品，现在我们要找出第2次出现的“笔记本”的销售量。
索引在MySQL中是用来提高数据检索速度的数据结构。它们帮助MySQL更快地找到和访问表中的特定信息。索引的工作方式类似于书籍的索引：而不是逐页搜索书籍以找到所需的信息，您可以在索引中查找一个条目，该条目会告诉您在哪里可以找到所需的信息。在MySQL中，B树（特别是InnoDB存储引擎使用的B+树）是索引的常用数据结构。
定义：数据行的物理顺序与列值（一般是主键的那一列）的逻辑顺序相同，一个表中只能拥有一个聚集索引。
在Excel中，我们可以通过单击功能区“数据”选项卡上的“删除重复项”按钮“轻松”删除表中的重复项。确实很容易！然而，当数据集太大，或者电子表格中有公式时，这项操作有时会变得很慢。因此，我们将探讨如何使用Python从数据表中删除重复项，它超级简单、快速、灵活。
Uniqueidentifier用来存储一个全局唯一标识符，即GUID。GUID是唯一的二进制数：世界上的任何两台计算机都不会生成重复的GUID值
排名这个功能目前我用的不怎么多，但还是简单说明一下。排名用到了rank方法。默认情况下，rank通过将平均排名分配到每个组来打破平级关系。
数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。
本文主要讨论MySQL索引的部分知识。将会从MySQL索引基础、索引优化实战和数据库索引背后的数据结构三部分相关内容，下面一一展开（本文图片可点开放大）。
我敢肯定，从事数据工作的人，不管数据量大小与否，都遇到过如下问题：数据不好，数据不一致，数据不干净，诸如此类。帮工作中鲜与数据打交道的人科普一下，根据《福布斯》的报告，数据专家60％的时间都花费在清理和整理非结构化数据上。是的，这花费了很多时间，但我认为这是得出结论的基础。
如果待排序的书数据中存在缺失值，通过设置参数na_position对缺失值的显示位置进行设置
主键约束 表中任意列只要满足以下条件，都可以用于主键。 ❑ 任意两行的主键值都不相同。 ❑ 每行都具有一个主键值（即列中不允许NULL值）。 ❑ 包含主键值的列从不修改或更新。（大多数 DBMS 不允许这么做，但如果你使用的 DBMS 允许这样做，好吧，千万别！） ❑ 主键值不能重用。如果从表中删除某一行，其主键值不分配给新行。
此时我们可以使用INSERT ... ON DUPLICATE KEY UPDATE语句
聚簇索引规定了一个数据表的排序方式，一个数据表只能有一个聚簇索引，通常使用聚簇索引的是数据表的主键。 聚簇索引和数据行是存放在一起的，所以使用聚簇索引的查询效率很高。同时由于聚簇索引已经进行了排序，所以范围查找的效率很高。但是聚簇索引插入删除的代价可能会比较高，可能会引起页分裂的情况（B+Tree 的数据结构特性，因为 B+Tree 的一个节点的度通常是数据页的大小，向一个满度的节点插入数据，就会导致分页）。 非聚簇索引又称二级索引，可以有多个，它也是一个 B+Tree 结构，它的叶节点指向的是行的 key 字段和主键值。所以通过非聚簇索引搜索时，首先通过非聚簇索引获取到行的主键值（先获取到数据表的聚簇索引值），然后根据主键值获取到数据行信息，相当于比聚簇索引多了一倍的 IO。 聚簇索引和非聚簇索引不是矛盾关系。
MySQL索引的建立对于MySQL的高效运行是很重要的，索引可以大大提高MySQL的检索速度。
由于业务需求变化，企业员工的工号，统一为5位数，目前不足5位数的全部在前面补0 （比如1好员工的工号应该是00001）
上篇文章中介绍了索引的基本内容，这篇文章我们继续介绍索引优化实战。在介绍索引优化实战之前，首先要介绍两个与索引相关的重要概念，这两个概念对于索引优化至关重要。
要获取NumPy数组中唯一值的索引（数组中唯一值的第一个索引位置的数组），只需在np.unique()中传递return_index参数:
对于我们这些MySQL的使用者来说，MySQL其实就是一个软件，平时用的最多的就是查询功能。DBA时不时丢过来一些慢查询语句让优化，我们如果连查询是怎么执行的都不清楚还优化个毛线，所以是时候掌握真正的技术了。我们在第一章的时候就曾说过，MySQL Server有一个称为查询优化器的模块，一条查询语句进行语法解析之后就会被交给查询优化器来进行优化，优化的结果就是生成一个所谓的执行计划，这个执行计划表明了应该使用哪些索引进行查询，表之间的连接顺序是啥样的，最后会按照执行计划中的步骤调用存储引擎提供的方法来真正的执行查询，并将查询结果返回给用户。不过查询优化这个主题有点儿大，在学会跑之前还得先学会走，所以本章先来瞅瞅MySQL怎么执行单表查询（就是FROM子句后边只有一个表，最简单的那种查询～）。不过需要强调的一点是，在学习本章前务必看过前边关于记录结构、数据页结构以及索引的部分，如果你不能保证这些东西已经完全掌握，那么本章不适合你。
在MySQL数据库中，经常会遇到需要对数据进行分组和去重的情况。为了达到这个目的，我们通常会使用GROUP BY和DISTINCT这两个关键字。虽然它们都可以用于去重，但是它们具有不同的用法和效果。本文将详细解析MySQL中的GROUP BY和DISTINCT的用法，并比较它们对同一字段的去重效果是否相同。
表的约束：表中一定要有各种约束，通过约束，让我们未来插入数据库表中的数据是符合预期的。约束本质是通过技术手段，倒逼用户，插入正确的数据。反过来，在 mysql 角度，凡是插入进来的数据，都是符合数据约束的！约束的最终目的就是保证数据的完整性和可预期性。因此我们需要更多的约束条件！
在前面的章节中，我们已经学习了Mybatis基本的增删改查操作，并且通过ResultMap将查询结果映射为Java对象。但是，对于Insert操作而言，我们通常需要获取新插入记录的自增索引值，以便于后续的操作和处理。
通过某一约束条件 （ON table.XXX = table2.XXX） 进行关联，如果表中有至少一个匹配，则返回行，输出查询的字段。
SQL的执行计划侧面反映出了SQL的执行效率，具体执行方式如下所示：在执行的SQL前面加上explain关键词即可；
在业务开发中，大量场景需要唯一ID来进行标识：用户需要唯一身份标识；商品需要唯一标识；消息需要唯一标识；事件需要唯一标识...等等，都需要全局唯一ID，尤其是分布式场景下。
原文：THE $25,000,000,000∗ EIGENVECTOR THE LINEAR ALGEBRA BEHIND GOOGLE http://www.rose-hulman.edu/~bry
含有子查询的时候，表明各语句执行的先后顺序，如果数字相同，则按照先后顺序执行，如果为 null，则代表是结果集，不需要查询。
HBase数据模型(1) HBase数据模型(2) 1.0 HBase的特性 Table HBase以表（Table）的方式组织数据，数据存储在表中。 Row/Column 行（Row）
导语：继续研究来自于excelxor.com的案例。坚持到现在的，应该都有感觉了！
distinct 用于在查询中返回列的唯一不同值（去重），支持单列或多列去重。在实际应用中，表中的某一列含有重复值很常见，例如员工表的部门列。如果在查询数据时希望得到某列的所有不同值可以使用 distinct 。语法如下：
索引是关系型数据库中给数据库表中一列或多列的值排序后的存储结构，SQL的主流索引结构有B+树以及Hash结构，聚集索引以及非聚集索引用的是B+树索引。
python的uuid模块提供UUID类和函数uuid1(), uuid3(), uuid4(), uuid5()
GUID（Global unique identifier）全局唯一标识符，它是由网卡上的标识数字(每个网卡都有唯一的标识号)以及 CPU 时钟的唯一数字生成的的一个 16 字节的二进制值。
Explain查看查询计划主要包含如下信息列：查询id、查询类型、查询表、扫描访问类型、查询可能选用的索引、查询实际使用索引、mysql决定使用索引长度、ref 显示哪个字段或常数与key一起被使用、估算扫描行数、额外重要信息。--重点关注加粗部分。
为了使索引的使用效率更高，在创建索引时，必须考虑在哪些字段上创建索引；溪源给大家整理了以下基本原则：
索引（Index）是帮助MySQL高效获取数据的数据结构。 在MySQL中，索引属于存储引擎级别的概念，不同存储引擎对索引的实现方式是不同的。MyISAM和InnoDB存储引擎只支持BTREE索引，MEMORY/HEAP存储引擎支持HASH和BTREE索引。
在上一篇文章《MySQL常见加锁场景分析》中，我们聊到行锁是加在索引上的，但是复杂的 SQL 往往包含多个条件，涉及多个索引，找出 SQL 执行时使用了哪些索引对分析加锁场景至关重要。
merge()方法是Pandas中的合并操作，在数据处理过程中很常用，本文介绍merge()方法的具体用法。
概念 1.普通索引：最基本的索引，它没有任何限制 2.唯一索引：索引列的值必须唯一，且不能为空，如果是组合索引，则列值的组合必须唯一。 3.主键索引：特殊的索引，唯一的标识一条记录，不能为空，一般用primary key来约束。 4.联合索引：在多个字段上建立索引，能够加速查询到速度 5.Union：对两个结果集进行并集操作，不包括重复的行，同时进行默认规则排序 6.Union all：对两个结果集进行并集操作，包括重复行，不进行排序
melt()的逆操作在Pandas中对应为 pivot()，它也是一个设计上的顶层函数，工程位置如下：
引 在业务开发中，大量场景需要唯一ID来进行标识：用户需要唯一身份标识；商品需要唯一标识；消息需要唯一标识；事件需要唯一标识…等等，都需要全局唯一ID，尤其是分布式场景下。 唯一ID有哪些特性或者说要求呢？按照我的分析有以下特性： 唯一性：生成的ID全局唯一，在特定范围内冲突概率极小 有序性：生成的ID按某种规则有序，便于数据库插入及排序 可用性：可保证高并发下的可用性 自主性：分布式环境下不依赖中心认证即可自行生成ID 安全性：不暴露系统和业务的信息 一般来说，常用的唯一ID生成方法有这些： UU
本文主要讨论MySQL索引的部分知识。将会从MySQL索引基础、索引优化实战和数据库索引背后的数据结构三部分相关内容，下面一一展开。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
