下面的题目来自一份商品专员的面试题，其中有涉及到条件格式、自定义排序、数据验证制作下拉菜单、查找引用类函数、文本提取函数等等技能。
参考链接： Python | pandas 合并merge，联接join和级联concat
简单的Transact-SQL查询只包括选择列表、FROM子句和WHERE子句。它们分别说明所查询列、查询的表或视图、以及搜索条件等。
我们使用read读取数据集时，可以先通过info 方法了解不同字段的条目数量，数据类型，是否缺失及内存占用情况
Python数据分析——数据加载与整理 总第47篇 ▼ （本文框架） 数据加载 导入文本数据 1、导入文本格式数据（CSV）的方法： 方法一：使用pd.read_csv()，默认打开csv文件。 9、
Pandas提供了多种将Series、DataFrame对象合并的功能，有concat(), merge(), append(), join()等。这些方法都可以将多个Series或DataFrame组合到一起，返回一个新的Series或DataFrame。每个方法在用法上各有特点，可以适用于不同的场景，本系列会逐一进行介绍。
l 对于唯一ID或其它可用字符串或数字表示的值，选择用数字列好过用字符串列。因为相比对应的字符串，可使用更少的字节存储大数字，同时，转换并比较数字速度更快且消耗更少的内存。
导语：Power Query 是可证明的，在这个星球上性价比最高的数据处理工具，如果你的工作中需要处理数据，注意，是处理，不是分析，那么此工具必须掌握。对此，90%的鼠标点击，5%的猜测以及5%的公式能力足以。本文来自《Master Your Data》的第十章，非常重要，必须掌握。
通过子查询不难看出，可以根据employee_id查到department_id,然后根据deparment_id查到location_id然后查city字段就行了
这是Python数据分析实战基础的第三篇内容，主要对前两篇进行补充，把实际数据清洗场景下常用但零散的方法，按增、删、查、分四板斧的逻辑进行归类，以减少记忆成本，提升学习和使用效率。
Python具有极其活跃的社区和覆盖全领域的第三方库工具库，近年来一直位居编程语言热度头部位置，而数据科学领域最受欢迎的python工具库之一是 Pandas。随着这么多年来的社区高速发展和海量的开源贡献者，使得 pandas 几乎可以胜任任何数据处理工作。
Polars[2]是Pandas最近的转世（用Rust编写，因此速度更快，它不再使用NumPy的引擎，但语法却非常相似，所以学习 Pandas 后对学习 Polars 帮助非常大。
pandas和python标准库提供了一整套高级、灵活的、高效的核心函数和算法将数据规整化为你想要的形式！
其实数据库中的数据是按页存放的 其实索引也是按页存放的 所以本质上索引也占硬盘空间（以最小的消耗，换取最大的利益）
索引 其实数据库中的数据是按页存放的 其实索引也是按页存放的 所以本质上索引也占硬盘空间（以最小的消耗，换取最大的利益） 索引是一种有效组合数据的方式！为快速查找到指定记录做铺垫 目的就是快速或者某个记录！ 提高了数据库的检索速度！ 作用： 大大提高数据库的检索速度 改善数据库性能 MySQL索引存储类型分类 01.B-树索引：InnoDB，MyISAM均支持 02.哈希索引 其实索引是把双刃剑（利弊共存），如果使用不当，反而会降低索引性能 主键：加快检索数据/唯一标识 常用索
存储引擎比较 |功能|MyISAM|Memory|InnoDB|Archive| |---|---|---|---|---| |存储限制|256TB|RAM|64TB|None| |支持事务|No|No|Yes|No| |支持全文索引|Yes|No|No|No| |支持数索引|Yes|Yes|Yes|No| |支持哈希索引|No|Yes|No|No| |支持数据缓存|No|N/A|Yes|No| |支持外键|No|No|Yes|No|
一、基础 1、说明：创建数据库 CREATE DATABASE database-name 2、说明：删除数据库 drop database dbname 3、说明：备份sql server --- 创建 备份数据的 device USE master EXEC sp_addumpdevice 'disk', 'testBack', 'c:\mssql7backup\MyNwind_1.dat' --- 开始 备份 BACKUP DATABASE pubs TO testBack 4、说明：创建新表 cre
一、基础 1、说明：创建数据库 CREATE DATABASE database-name 2、说明：删除数据库 drop database dbname 3、说明：备份sql server --- 创建 备份数据的 device USE master EXEC sp_addumpdevice 'disk', 'testBack', 'c:\mssql7backup\MyNwind_1.dat' --- 开始 备份 BACKUP DATABASE pubs TO testBack 4、说明：创建新表 create table tabname(col1 type1 [not null] [primary key],col2 type2 [not null],..) 根据已有的表创建新表： A：create table tab_new like tab_old (使用旧表创建新表) B：create table tab_new as select col1,col2… from tab_old definition only 5、说明：删除新表 drop table tabname 6、说明：增加一个列 Alter table tabname add column col type 注：列增加后将不能删除。DB2中列加上后数据类型也不能改变，唯一能改变的是增加varchar类型的长度。 7、说明：添加主键： Alter table tabname add primary key(col) 说明：删除主键： Alter table tabname drop primary key(col) 8、说明：创建索引：create [unique] index idxname on tabname(col….) 删除索引：drop index idxname 注：索引是不可更改的，想更改必须删除重新建。 9、说明：创建视图：create view viewname as select statement 删除视图：drop view viewname 10、说明：几个简单的基本的sql语句 选择：select * from table1 where 范围 插入：insert into table1(field1,field2) values(value1,value2) 删除：delete from table1 where 范围 更新：update table1 set field1=value1 where 范围 查找：select * from table1 where field1 like ’%value1%’ ---like的语法很精妙，查资料! 排序：select * from table1 order by field1,field2 [desc] 总数：select count as totalcount from table1 求和：select sum(field1) as sumvalue from table1 平均：select avg(field1) as avgvalue from table1 最大：select max(field1) as maxvalue from table1 最小：select min(field1) as minvalue from table1 11、说明：几个高级查询运算词 A： UNION 运算符 UNION 运算符通过组合其他两个结果表（例如 TABLE1 和 TABLE2）并消去表中任何重复行而派生出一个结果表。当 ALL 随 UNION 一起使用时（即 UNION ALL），不消除重复行。两种情况下，派生表的每一行不是来自 TABLE1 就是来自 TABLE2。 B： EXCEPT 运算符 EXCEPT 运算符通过包括所有在 TABLE1 中但不在 TABLE2 中的行并消除所有重复行而派生出一个结果表。当 ALL 随 EXCEPT 一起使用时 (EXCEPT ALL)，不消除重复行。 C： INTERSECT 运算符 INTERSECT 运算符通过只包括 TABLE1 和 TABLE2 中都有的行并消除所有重复行而派生出一个结果表。当 ALL 随 INTERSECT 一起使用时 (INTERSECT ALL)，不消除重复行。 注：使用运算词的几个查询结果行必须是一致的。 12、说明：使用外连接 A、left （outer） join： 左外连接（左连接）：结果集几包括连接表的匹配行，也包括左连接表的所有行。 SQL: select a.a, a.b, a.c, b.c, b.d, b.f from a LEFT OUT JOIN b ON a.a = b.
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/130929.html原文链接：https://javaforall.cn
昨天有个网友在公众号留言问我~ 统计符合B列条件的A列不重复的计数（多个重复算一个） 我读了两边，领悟了他的问题，就是统计符合条件的另外一列的不重复单元格个数！ 这个问题有三个关键点 1、符合条件
表。 表 2. SQLSTATE 类代码 类代码 含义 要获得子代码，参阅…00 完全成功完成 表 301 警告 表 402 无数据 表 507 动态 SQL 错误 表 608 连接异常 表 709 触发操作异常 表 80A 功能部件不受支持 表 90D 目标类型规范无效 表 100F 无效标记 表 110K RESIGNAL 语句无效 表 120N SQL/XML 映射错误 表 1320 找不到 CASE 语句的条件 表 1521 基数违例 表 1622 数据异常 表 1723 约束违例 表 1824 无效的游标状态 表 1925 无效的事务状态 表 2026 无效 SQL 语句标识 表 2128 无效权限规范 表 232D 无效事务终止 表 242E 无效连接名称 表 2534 无效的游标名称 表 2636 游标灵敏度异常 表 2738 外部函数异常 表 2839 外部函数调用异常 表 293B SAVEPOINT 无效 表 3040 事务回滚 表 3142 语法错误或访问规则违例 表 3244 WITH CHECK OPTION 违例 表 3346 Java DDL 表 3451 无效应用程序状态 表 3553 无效操作数或不一致的规范 表 3654 超出 SQL 限制，或超出产品限制 表 3755 对象不处于先决条件状态 表 3856 其他 SQL 或产品错误 表 3957 资源不可用或操作员干预 表 4058 系统错误 表 415U 实用程序 表 42
选择单列。可以直接用列名选择，也可以通过ix、iloc、loc方法进行选择行、列。
1 使用SET NOCOUNT ON 选项： 缺省地，每次执行SQL语句时，一个消息会从服务端发给客户端以显示SQL语句影响的行数。这些信息对客户端来说很少有用。通过关闭这个缺省值，你能减少在服务端和客户端的网络流量，帮助全面提升服务器和应用程序的性能。为了关闭存储过程级的这个特点，在每个存储过程的开头包含“SET NOCOUNT ON”语句。 2 正确使用UNION和UNION ALL： 许多人没完全理解UNION和UNION SELECT是怎样工作的，因此，结果浪费了大量不必要的SQLServer资源。当使用UNION时，它相当于在结果集上执行SELECT DISTINCT。换句话说，UNION将联合两个相类似的记录集，然后搜索重复的记录并排除。如果这是你的目的，那么使用UNION是正确的。但如果你使用UNION联合的两个记录集没有重复记录，那么使用UNION会浪费资源，因为它要寻找重复记录，即使你确定它们不存在。 所以如果你知道你要联合的记录集里没有重复，那么你要使用UNION ALL，而不是UNION。UNION ALL联合记录集，但不搜索重复记录，这样减少SQLServer资源的使用，从而提升性能。 3 尽量不用SELECT * ： 绝大多数情况下，不要用 * 来代替查询返回的字段列表，用 * 的好处是代码量少、就算是表结构或视图的列发生变化，编写的查询SQL语句也不用变，都返回所有的字段。但数据库服务器在解析时，如果碰到 *，则会先分析表的结构，然后把表的所有字段名再罗列出来。这就增加了分析的时间。 4 慎用SELECT DISTINCT： DISTINCT子句仅在特定功能的时候使用，即从记录集中排除重复记录的时候。这是因为DISTINCT子句先获取结果集然后去重，这样增加SQLServer有用资源的使用。当然，如果你需要去做，那就只有去做了。 当如果你知道SELECT语句将从不返回重复记录，那么使用DISTINCT语句对SQLServer资源不必要的浪费。 5 少用游标： 任何一种游标都会降低SQLServer性能。有些情况不能避免，大多数情况可以避免。所以如果你的应用程序目前正在使用TSQL游标，看看这些代码是否能够重写以避免它们。如果你需要一行一行的执行操作，考虑下边这些选项中的一个或多个来代替游标的使用： 使用临时表 使用WHILE循环 使用派生表 使用相关子查询 使用CASE语句 使用多个查询 上面每一个都能取代游标并且执行更快。 如果你不能避免使用游标，至少试着提高它们的速度，找出加速游标的方法。 6 选择最有效率的表名顺序： SQLSERVER的解析器按照从右到左的顺序处理FROM子句中的表名，因此FROM子句中写在最后的表（基础表driving table）将被最先处理，在FROM子句中包含多个表的情况下，必须选择记录条数最少的表作为基础表，当SQLSERVER处理多个表时，会运用排序及合并的方式连接它们。首先，扫描第一个表（FROM子句中最后的那个表)并对记录进行排序；然后扫描第二个表（FROM子句中最后第二个表)；最后将所有从第二个表中检索出的记录与第一个表中合适记录进行合并。 例如: 表 TAB1有 16384 条记录，表 TAB2 有5条记录，选择TAB2作为基础表 (最好的方法)： select count(*) from TAB1 a, TAB2 b 选择TAB1作为基础表 (不佳的方法)： select count(*) from TAB2 a, TAB1 b 如果有3个以上的表连接查询，那就需要选择交叉表（intersection table）作为基础表，交叉表是指那个被其他表所引用的表。 7 使用表的别名(Alias)： 当在SQL语句中连接多个表时，请使用表的别名并把别名前缀于每个Column上，这样可以减少解析的时间并减少那些由Column歧义引起的语法错误。 8 SARG你的WHERE条件： ARGE来源于"Search Argument"（搜索参数）的首字母拼成的"SARG"，它是指WHERE子句里，列和常量的比较。如果WHERE子句是sargable（可SARG的），这意味着它能利用索引加速查询的完成。如果WHERE子句不是可SARG的，这意味着WHERE子句不能利用索引（或至少部分不能利用），执行的是全表或索引扫描，这会引起查询的性能下降。 在WHERE子句里不可SARG的搜索条件如"IS NULL", "<>", "!=", "!>", "!<", "NOT", "NOT EXISTS", "NOT IN", "NOT LIKE"和"LIKE '%500'"，通常（但不总是）会阻止查询优
原文 http://blog.csdn.net/fangjian1204/article/details/39085941
一、 简单查询 简单的Transact-SQL查询只包括选择列表、FROM子句和WHERE子句。它们分别说明所查询列、查询的 表或视图、以及搜索条件等。 例如，下面的语句查询testtable表中姓名为“张三”的nickname字段和email字段。 复制内容到剪贴板 代码:SELECT `nickname`,`email`FROM `testtable`WHERE `name`='张三' (一) 选择列表 选择列表(select_list)指出所查询列，它可以是一组列名列表、星号、表达式、变量(
创建学生表student，一个学生对应一个班级，一个班级对应多个学生。使用id为主键，classes_id为外键，关联班级表id：
在Pandas中，append()方法用于将一个或多个DataFrame或Series添加到DataFrame中。append()方法也可以用于合并操作，本文介绍append()方法的用法。
6 聚合函数 聚合函数是用来做纵向运算的函数： l COUNT()：统计指定列不为NULL的记录行数； l MAX()：计算指定列的最大值，如果指定列是字符串类型，那么使用字符串排序运算； l MIN()：计算指定列的最小值，如果指定列是字符串类型，那么使用字符串排序运算； l SUM()：计算指定列的数值和，如果指定列类型不是数值类型，那么计算结果为0； l AVG()：计算指定列的平均值，如果指定列类型不是数值类型，那么计算结果为0； 6.1 COUNT 当需要纵向统计时可以使用COUNT()。 l 查
相信这内连接，左连接什么的大家都比较熟悉了，当然还有左外连接什么的，基本用不上我就不贴出来了。这图只是让大家回忆一下，各种连接查询。 然后要告诉大家的是，需要根据查询的情况，想好使用哪种连接方式效率更高。
经过笛卡尔积的关系，具有n+m元，即n+m列的集合，元组的前n列是R的一个元组，元组的后m列是S的一个元组。一共具有k_1*k_2个元组
认识Tidy Data1.Reshape Data2.Handle Missing Values3.Expand Tables4.split cells一、测试数据1.新建数据框2.用tidyr进行处理3.按照geneid排序4.空值操作用表二、Dplyr能实现的小动作1.arrange 排序2.fliter3.distinct4.select5.mutate6.summarise7.bind_rows8.交集、并集、全集9.关联
在大数据时代，任何公司的成功都取决于数据驱动的决策和业务流程。在这种情况下，数据集成对于任何业务的成功秘诀都是至关重要的，并且掌握诸如Informatica Powercenter 9.X之类的端到端敏捷数据集成平台必将使您走上职业发展的快速通道。使用Informatica PowerCenter Designer进行ETL和数据挖掘的职业是前所未有的最佳时机。
数据表可以按「键」合并，用 merge 函数；可以按「轴」来连接，用 concat 函数。
在Pandas的各类数据Series和DataFrame里字段值为NaN的为缺失数据，不代表0而是说没有赋值数据，类似于python中的None值。数据的缺失有很多原因，缺失不是错误、无效，需要对缺失的数据进行必要的技术处理，以便后续的计算、统计。
1、Serializable （串行化）：最严格的级别，事务串行执行，资源消耗最大；
2、create database if not exists 数据库名 （判断数据库是否存在，不存在则创建）
SQL的执行计划侧面反映出了SQL的执行效率，具体执行方式如下所示：在执行的SQL前面加上explain关键词即可；
设有一个学生—课程数据库。学生关系包括学号、姓名、性别、年龄和院系五个属性，课程关系包括课程号、课程名和学分三个属性，选修关系包括学号、课程号和成绩三个属性。
学习mysql必备工具即安装mysql客户端；mysql安装教程在网上有很多，在此处就不在仔细说明；
SQL 语言大小写不敏感。 SQL 可以写在一行或者多行 关键字不能被缩写也不能分行 各子句一般要分行写。 使用缩进提高语句的可读性。
其他面试题类型汇总： Java校招极大几率出的面试题（含答案）—-汇总 几率大的网络安全面试题（含答案） 几率大的多线程面试题（含答案） 几率大的源码底层原理，杂食面试题（含答案） 几率大的Redis面试题（含答案） 几率大的linux命令面试题（含答案） 几率大的杂乱+操作系统面试题（含答案） 几率大的SSM框架面试题（含答案） 几率大的数据库（MySQL）面试题（含答案） 几率大的JVM面试题（含答案） 几率大的现场手撕算法面试题（含答案） 临时抱佛脚必备系列（含答案） 注：知识还在积累中，不能保证每个回答都满足各种等级的高手们，若发现有问题的话，本人会尽快完善。 ｡◕‿◕｡
20160616更新 参考： http://www.runoob.com/sqlite/sqlite-tutorial.html 1. SQLite PRAGMA：可以用在 SQLite 环境内控制各种环境变量和状态标志。 一个 PRAGMA 值可以被读取，也可以根据需求进行设置。 （1）读取语法：只需要提供该 pragma 的名字 PRAGMA pragma_name; （2）设置语法： PRAGMA pragma_name = value; （3）举几个例子：pragma.txt 详情请参考：ht
1. 之前我们所学的都是DDL语句，接下来所学的才是真正的DML语句。 插入数据的sql语句就是insert into table_name (column1, column2, ……) values (data1, data2, ……)，values左边的括号不加时，默认代表对表的所有列进行插入，不忽略任何一列，加上括号时，可以自己指定某些列进行插入，但值得注意的是如果某些列没有default约束，你还将其忽略进行数据插入的话，则插入数据的操作一定会失败。values右边的括号个数表示向表中插入几行的数据，括号中用逗号分隔开来的数据分别一 一对应表中的列字段。
事务A和事务B都读取了同一行数据， 比如原数据行的值是100，事务A是将数值读取出来+1并更新， 事务B是读取数值+2并更新。当事务A和事务B都读取到了100,事务A首先完成并更新为101，事务B随后完成更新成了102。这样事务B就把事务A的结果覆盖了。
When you click the Knit button a document will be generated that includes both content as well as the output of any embedded R code chunks within the document. You can embed an R code chunk like this:
9 月初，我对 python 爬虫 燃起兴趣，但爬取到的数据多通道实时同步读写用文件并不方便，于是开始用起mysql。这篇笔记，我将整理近一个月的实战中最常用到的 mysql 语句，同时也将涉及到如何在python3中与 mysql 实现数据交换。
前2篇分别系统性介绍了numpy和matplotlib的入门基本知识，今天本文自然是要对pandas进行入门详细介绍，通过本文你将系统性了解pandas为何会有数据分析界"瑞士军刀"的盛誉。
死锁是指两个或多个事务在同一资源上相互占用，并请求锁定对方的资源，从而导致恶性循环的现象。
Pandas 是一款强大的数据处理库，提供了丰富的功能来处理和分析数据。在实际数据分析中，我们常常需要将不同数据源的信息整合在一起。本篇博客将深入介绍 Pandas 中的数据合并与连接技术，帮助你更好地处理多个数据集的情况。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
