类似于一位数组的对象，第一个参数为数据，第二个参数为索引（索引可以不指定，就默认用隐式索引）
每天分享一个sql，帮助大家找到sql的快乐 需求 找出所有科目成绩都大于某一学科平均成绩的学生 建表语句 create table score( uid string, subject_id string, score int ) row format delimited fields terminated by '\t' ; 数据 insert overwrite table score values ("1001","01",100), ("1001","02",100), (
1、having 是在 group by 子句之后：可以针对分组数据进行统计筛选。
pandas提供了很多方便简洁的方法，用于对单列、多列数据进行批量运算或分组聚合运算，熟悉这些方法后可极大地提升数据分析的效率，也会使得你的代码更加地优雅简洁。
*从本篇开始所有文章的数据和代码都已上传至我的github仓库：https://github.com/CNFeffery/DataScienceStudyNotes
SQL是IT行业很多岗位都要求具备的一项能力，对于数据岗位而言更是如此，甚至说扎实的SQL基础也往往是入职这些岗位的必备技能。而在SQL面试中，一道出镜频率很高的题目就是行转列和列转行的问题，可以说这也是一道经典的SQL题目，本文就这一问题做以介绍分享。
蓝桥签约作者、大数据&Python领域优质创作者。维护多个大数据技术群，帮助大学生就业和初级程序员解决工作难题。
分区就是将表的数据按照特定规则存放在不同的区域，也就是将表的数据文件分割成多个小块，在查询数据的时候，只要知道数据数据存储在哪些区域，然后直接在对应的区域进行查询，不需要对表数据进行全部的查询，提高查询的性能。同时，如果表数据特别大，一个磁盘磁盘放不下时，我们也可以将数据分配到不同的磁盘去，解决存储瓶颈的问题，利用多个磁盘，也能够提高磁盘的IO效率，提高数据库的性能。常见的分区类型有：Range分区、List分区、Hash分区、Key分区：
分组查询是一种 SQL 查询技术，通过使用 GROUP BY 子句，将具有相同值的数据行分组在一起，然后对每个组应用聚合函数（如 COUNT、SUM、AVG等）。这允许在数据集中执行汇总和统计操作，以便更清晰地理解和分析数据的特征。分组查询常用于对大量数据进行聚合和摘要，提供有关数据分布和特征的洞察。
mysql 中 SELECT 命令类似于其他编程语言的 print 或 write，可用来显示字符串、数字、数学表达式的结果等
distinct简单来说就是用来去重的，而group by的设计目的则是用来聚合统计的，两者在能够实现的功能上有些相同之处，但应该仔细区分，因为用错场景的话，效率相差可以倍计。
出现在其他语句中的select语句，称为子查询或内查询 外部出现的查询语句，称为主查或外查询
来源：DeepHub IMBA本文约2300字，建议阅读5分钟本文用25个示例详细介绍groupby的函数用法。 groupby是Pandas在数据分析中最常用的函数之一。它用于根据给定列中的不同值对数据点(即行)进行分组，分组后的数据可以计算生成组的聚合值。 如果我们有一个包含汽车品牌和价格信息的数据集，那么可以使用groupby功能来计算每个品牌的平均价格。 在本文中，我们将使用25个示例来详细介绍groupby函数的用法。这25个示例中还包含了一些不太常用但在各种任务中都能派上用场的操作。 这里使用
groupby是Pandas在数据分析中最常用的函数之一。它用于根据给定列中的不同值对数据点(即行)进行分组，分组后的数据可以计算生成组的聚合值。
转载自 https://www.cnblogs.com/jingfengling/p/5962182.html
版权声明：本文为吴孔云博客原创文章，转载请注明出处并带上链接，谢谢。 https://blog.csdn.net/wkyseo/article/details/52296732
完全的范式和反范式是不存在的，在实际操作中建议混用这两种策略，可能使用部分范式化的schema、缓存表、以及其他技巧。
DataFrame对象的explode()方法可以按照指定的列进行纵向展开，一行变多行，如果指定的列中有列表则列表中每个元素展开为一行，其他列的数据进行复制和重复。
聚合函数(多行函数、分组函数、组函数)：操作多行数据，并返回一个结果。比如 SUM
Bigtable，HBase，Hypertable和Cassandra都被称为列存储，因为它们能够单独存储和访问列族。 这使它们看起来与列存储（如Sybase IQ，C-Store，Vertica，VectorWise，MonetDB，ParAccel和Infobright）处于相同的类别，这些列存储也可以单独访问列。 我认为，称呼这两个系统的列存储导致了大量的混乱和错误的预期。这篇博客文章试图澄清一些这种混乱，突出这些集合系统之间的高级差异。 最后，我将提出一些可能的方法来重命名这些组，以避免将来混淆。
前2篇分别系统性介绍了numpy和matplotlib的入门基本知识，今天本文自然是要对pandas进行入门详细介绍，通过本文你将系统性了解pandas为何会有数据分析界"瑞士军刀"的盛誉。
子查询 可以分为： 单行单列（就是一个值） 单行多列（就是有一行，这一行有很多不同列数据） 多行单列（同一列不同的数据） 多行多列（可以说就是一张表了吧）
前几天发表了一篇推文，分享了Pandas中非常好用的一个API——explode，然而今天又发生了戏剧性的一幕：因Pandas版本过低系统提示'Series' object has no attribute 'explode'！好吧，好用的东西永远都是娇贵的，这个道理没想到在代码中也适用。所以，今天就以此为题展开拓展分析，再输出一点Pandas干货……
聚合函数是一类在数据库中用于对多个行进行计算并返回单个结果的函数。它们能够对数据进行汇总、统计和计算，常用于提取有关数据集的摘要信息。聚合函数在 SQL 查询中广泛应用，包括统计总数、平均值、最大值、最小值等。
OpenTSDB(Open time series data base)，开发时间序列数据库。DB这个词很有误导性，其实并不是一个db，单独一个OpenTSDB无法存储任何数据，它只是一层数据读写的服务，更准确的说它只是建立在Hbase上的一层数据读写服务。行业内各种db都很多了，为什么还会出现它？它到底有什么好？它做了什么？别着急，我们来一一分析下。 其实OpenTSDB不是一个通用的数据存储服务，看名字就知道，它主要针对于时序数据。什么是时序数据，股票的变化趋势、温度的变化趋势、系统某个指标的变化趋势……其实都是时序数据，就是每个时间点上纪录一条数据。 关于数据的存储，我们最熟悉的就是mysql了，但是想想看，每5分钟存储一个点，一天288个点，一年就10万+，这还是单个维度，往往在实际应用中维度会非常多，比如股票交易所，成千上万支股票，每天所有股票数据就可能超过百万条，如果还得支持历史数据查询，mysql是远远扛不住的，必然要考虑分布式存储，最好的选择就是Hbase了，事实上业内基本上也是这么做的。（我对其他分布式存储不了解，就不对比了）。 了解Hbase的人都知道，它可以通过加机器的水平扩展迅速增加读写能力，非常适合存储海量的数据，但是它并不是关系数据库，无法进行类似mysql那种select、join等操作。 取而代之的只有非常简单的Get和Scan两种数据查询方式。这里不讨论Hbase的相关细节，总之，你可以通过Get获取到hbase里的一行数据，通过Scan来查询其中RowKey在某个范围里的一批数据。如此简单的查询方式虽然让hbase变得简单易用， 但也限制了它的使用场景。针对时序数据，只有get和scan远远满足不了你的需求。 这个时候OpenTSDB就应运而生。 首先它做了数据存储的优化，可以大幅度提升数据查询的效率和减少存储空间的使用。其次它基于hbase做了常用时序数据查询的API，比如数据的聚合、过滤等。另外它也针对数据热度倾斜做了优化。接下来挨个说下它分别是怎么做的。
作者：贾胜杰，硕士，退役军人，电气工程专业，现成功转行K12领域数据挖掘工程师，不仅在数据清理、分析和预测方向，而且在自制力和高效学习方面都有丰富经验。 编辑：王老湿
Pandas是Python中常用的数据处理和分析库，它提供了高效、灵活且易于使用的数据结构和数据分析工具。
在 MySQL 中，将多行数据转为多列数据一般可以通过使用 PIVOT（也称为旋转表格）操作来实现。但是，MySQL 并没有提供原生的 PIVOT 操作。不过，可以使用 MySQL 的 GROUP BY 和 CASE WHEN 语句来自定义实现。
数据控制语言（DCL）是SQL的一个子集，用于控制数据库中的数据访问和权限。GRANT语句是DCL中的一种，用于向用户或角色授予特定的数据库操作权限。以下是GRANT语句的基本语法：
如下销售数据中展现了三笔订单，每笔订单买了多种商品，求每种商品销售额占该笔订单总金额的比例。例如第一条数据的最终结果为：235.83 / (235.83+232.32+107.97) = 40.93%。
1、隔离级别有四种： READ UNCOMMITTED（未提交读），同事务中某个语句的修改，即使没有提交，对其他事务也是可见的。这个也叫脏读。 READ COMMITTED（提交读），另一个事务只能读到该事务已经提交的修改，是大多数据库默认的隔离级别。但是有下列问题，一个事务中两次读取同一个数据，由于这个数据可能被另一个事务提交了两次，所以会出现两次不同的结果，所以这个级别又叫做不可重复读。这里的不一样的数据包括虚读（两次结果不同）和幻读（出现新的或者缺少了某数据）。 REPEATABLE READ（可重复读），这个级别不允许脏读和不可重复读，比如MYSQL中通过MVCC来实现解决幻读问题。 SERIALIABLE（可串行化），这儿实现了读锁，级别最高。
1.SQL语言中数据定义语言DDL中包括哪个语句（A） A、DROP B、DELETE C、select D、grant
机器学习越来越多地从人工设计模型转向使用 H20、TPOT 和 auto-sklearn 等工具自动优化的工具。这些库以及随机搜索（参见《Random Search for Hyper-Parameter Optimization》）等方法旨在通过寻找匹配数据集的最优模型来简化模型选择和机器学习调优过程，而几乎不需要任何人工干预。然而，特征工程作为机器学习流程中可能最有价值的一个方面，几乎完全是人工的。
列式数据库是以列相关存储架构进行数据存储的数据库，主要适合于批量数据处理和即时查询。相对应的是行式数据库，数据以行相关的存储体系架构进行空间分配，主要适合于大批量的数据处理，常用于联机事务型数据处理。
如果索引了多列，要遵守最左前缀法则。指的是查询从索引的最前列并且不跳过索引中的列。
一、单表查询的语法 SELECT 字段1,字段2... FROM 表名 WHERE 条件 GROUP BY field HAVING 筛选 ORDER BY field LIMIT 限制条数 二、关键字的执行顺序 1.找到表:from 2.拿着where指定的约束条件，去文件/表中取出一条条记录 3.将取出的一条条记录进行分组group by，如果没有group by，则整体作为一组 4.将
我们可以看下，同样的3张表，但是关系是却不一样，导致之后的操作也会不同。图1和图3是链式模型，图2是星型关系。图1的链式是从左1开始，而图3是从右1开始。
这个是groupby的最常见操作，根据某一列的内容分为不同的维度进行拆解，将同一维度的再进行聚合
现在，要成为一个合格的数据分析师，你说你不会Python，大概率会被江湖人士耻笑。
执行计划是 SQL Server 中的一个重要工具，用于分析和优化查询的性能。它提供了关于查询的详细信息，包括查询的执行顺序、使用的索引、连接类型、过滤条件等。
F2是查找值，B列是查找范围，D列是结果范围，公式的意思也就是在B列查找F2，找到后返回D列对应的结果。
索引是增强数据库性能的利器，在检索某些特定行的时候效率会有很大提升，postgresql中索引类型丰富，每种索引有着不同的应用场景，下面简单介绍一下。
MySQL是一款常用的关系型数据库，广泛应用于各种类型的应用程序和数据存储需求。在MySQL中，我们经常需要对表格进行行转列或列转行的操作，以满足不同的分析或报表需求。本文将详细介绍MySQL中的行转列和列转行操作，并提供相应的SQL语句进行操作。
这是由于变量grouped是一个GroupBy对象，它实际上还没有进行任何计算，只是含有一些有关分组键df[‘key1’]的中间数据而已，然后我们可以调用配合函数（如：.mean()方法）来计算分组平均值等。 因此，一般为方便起见可直接在聚合之后+“配合函数”，默认情况下，所有数值列都将会被聚合，虽然有时可能会被过滤为一个子集。 一般，如果对df直接聚合时， df.groupby([df['key1'],df['key2']]).mean()（分组键为：Series）与df.groupby(['key1','key2']).mean()（分组键为：列名）是等价的，输出结果相同。 但是，如果对df的指定列进行聚合时， df['data1'].groupby(df['key1']).mean()（分组键为：Series），唯一方式。 此时，直接使用“列名”作分组键，提示“Error Key”。 注意：分组键中的任何缺失值都会被排除在结果之外。
工作一年了，也是第一次使用Mysql的索引。添加了索引之后的速度的提升，让我惊叹不已。隔壁的老员工看到我的大惊小怪，平淡地回了一句“那肯定啊”。
对于CURD之一的查找，他作为最重要的操作，仅仅在一张表之中查是不够的，还需要在多表之间进行查询，复合查询就是解决多表查询的问题。
> 经常听别人说 Python 在数据领域有多厉害，结果学了很长时间，连数据处理都麻烦得要死。后来才发现，原来不是 Python 数据处理厉害，而是他有数据分析神器—— pandas
领取专属 10元无门槛券
手把手带您无忧上云
