在数据分析中，有时候因为一些原因会有重复的记录，因此需要去重。如果重复的那些行是每一列懂相同的，删除多余的行只保留相同行中的一行就可以了，这个在Excel或pandas中都有很容易使用的工具了，例如Excel中就是在菜单栏选择数据->删除重复值，然后选择根据哪些列进行去重就好，pandas中是有drop_duplicates()函数可以用。 但面对一些复杂一些的需求可能就不是那么容易直接操作了。例如根据特定条件去重、去重时对多行数据进行整合等。特定条件例如不是保留第一条也不是最后一条，而是根据两列存在的某种关系、或者保留其中最大的值、或保留评价列文字最多的行等。下面记录一种我遇到的需求：因为设计原因，用户在购物车下的单每个商品都会占一条记录，但价格只记录当次购物车总价，需要每个这样的单子只保留一条记录，但把商品名称整合起来。
身边有许多正在学习 Python 的 pandas 库做数据处理的小伙伴们都遇到一个问题——分组聚合。 网上很多这方面的资料，几乎都是列出一系列诸如 "xx方法不能用 Python 内置函数" 之类的规则。小伙伴都说记不住啊。 本文尝试把内部原理机制教会你，让你无需记忆这么多死板的规则即可灵活运用。
1、转换是转换里面的第四个分类。转换属于ETL的T，T就是Transform清洗、转换。ETL三个部分中，T花费时间最长,是一般情况下这部分工作量是整个ETL的2/3。
触发器是一中特殊的存储过程，主要是通过事件来触发而被执行的。它可以强化约束，来维护数据的完整性和一致性，可以跟踪数据库内的操作从而不允许未经许可的更新和变化。可以联级运算。如，某表上的触发器上包含对另一个表的数据操作，而该操作又会导致该表触发器被触发。
1、触发器的作用？ 触发器是一中特殊的存储过程，主要是通过事件来触发而被执行的。它可以强化约束，来维护数据的完整性和一致性，可以跟踪数据库内的操作从而不允许未经许可的更新和变化。可以联级运算。如，某表上的触发器上包含对另一个表的数据操作，而该操作又会导致该表触发器被触发。
多表查询是指基于两个和两个以上的表查询.在实际应用中,查询单个表可能不能满足你的需求.
INSERT INTO语句是用于向数据库表中插入新记录的SQL语句。其基本语法如下：
大家好，在之前的十几篇办公自动化系列文章中，我们大多是以真实的案例需求来讲解Python如何进行自动化办公操作，并且多次使用到openpyxl来处理表格，今天我们就来详细的盘点Python操作Excel神器openpyxl的各种操作！
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
原文在简书上发表，再同步到Excel催化剂微信公众号或其他平台上，文章后续有修改和更新将在简书上操作， 其他平台不作同步修改更新，因此建议阅读其他出处的文章时，尽可能跳转回简书平台上查看。
HBase数据模型(1) HBase数据模型(2) 1.0 HBase的特性 Table HBase以表（Table）的方式组织数据，数据存储在表中。 Row/Column 行（Row）
分别是id,select_type,table、type,partitions,possible_keys,key,key_len,ref,rows,Extra,下面对这些字段出现的可能进行解释：
调用EXPLAIN可以获取关于查询执行计划的信息，以及如何解释输出。EXPLAIN命令是查看查询优化器如何决定执行查询的主要方法，但该动能也有局限性，它的选择并不总是最优的，展示的也并不一定是真相。
MYSQL数据库-复合查询 零、前言 一、基本查询 二、多表查询 三、自连接 四、子查询 1、单行子查询 2、多行子查询 3、多列子查询 3、在from子句中使用子查询 五、合并查询 1、union 2、union all 零、前言 本章主要讲解学习MYSQL数据库中的复合查询，前面我们讲解的mysql表的查询都是对一张表进行查询，在实际开发中这远远不够 一、基本查询 示例： 查询工资高于500或岗位为MANAGER的雇员，同时还要满足他们的姓名首字母为大写的J 📷 按照部门号升序而雇员的工资降序排序
如果不提供列名，则必须给每个表列提供一个值。如果提供列名，则必须对每个列出的列给出一个值。
SQL是IT行业很多岗位都要求具备的一项能力，对于数据岗位而言更是如此，甚至说扎实的SQL基础也往往是入职这些岗位的必备技能。而在SQL面试中，一道出镜频率很高的题目就是行转列和列转行的问题，可以说这也是一道经典的SQL题目，本文就这一问题做以介绍分享。
基础知识在数据分析中就像是九阳神功，熟练的掌握，加以运用，就可以练就深厚的内力，成为绝顶高手自然不在话下！
嵌套查询 用一条SQL语句得结果作为另外一条SQL语句得条件，效率不好把握 SELECT * FROM A WHERE id IN (SELECT id FROM B)
📷 一、 DML 操作【重点】 ---- 1.1 新增（INSERT） INSERT INTO 表名(列 1，列 2，列 3…) VALUES(值 1，值 2，值 3…); 1.1.1 添加一条信息 #添加一条工作岗位信息 INSERT INTO t_jobs(JOB_ID,JOB_TITLE,MIN_SALARY,MAX_SALARY) VALUES('JAVA_Le','JAVA_Lecturer',2500,9000); #添加一条员工信息 INSERT INTO `t_employees` （EM
对含有NULL数据的列使用DISTINCT关键字 NULL也被视为一类数据，如果存在多行NULL时，将被合并成一行。
2.每列的数据类型必须一致，【查询语句1中字段列表的类型必须和查询语句2中的字段列表类型对应且一致】
数据库如何判定，当前这一条记录是重复的？先查找，再插入。但是加上约束之后，数据库的执行过程可能就变了。因此执行时间或者效率会受到很大影响。
数据查询语言DQL基本结构是由SELECT子句，FROM子句，WHERE子句组成的查询块。
vscode功能非常强大，是我目前接触到功能最强大编辑器，丰富的插件提供的各种特定功能外，其本身还有很多隐藏的实用功能和快捷键。使用过程逐步发现逐步记录，以备查询。
最近在开发过程中遇到问题，需要将数据库中一张表信息进行行转列操作，再将每列(即每个字段)作为与其他表进行联表查询的字段进行显示。
Pandas是一个强大的数据分析库，它的Series和DataFrame数据结构，使得处理起二维表格数据变得非常简单。
6 聚合函数 聚合函数是用来做纵向运算的函数： l COUNT()：统计指定列不为NULL的记录行数； l MAX()：计算指定列的最大值，如果指定列是字符串类型，那么使用字符串排序运算； l MIN()：计算指定列的最小值，如果指定列是字符串类型，那么使用字符串排序运算； l SUM()：计算指定列的数值和，如果指定列类型不是数值类型，那么计算结果为0； l AVG()：计算指定列的平均值，如果指定列类型不是数值类型，那么计算结果为0； 6.1 COUNT 当需要纵向统计时可以使用COUNT()。 l 查
OpenTSDB(Open time series data base)，开发时间序列数据库。DB这个词很有误导性，其实并不是一个db，单独一个OpenTSDB无法存储任何数据，它只是一层数据读写的服务，更准确的说它只是建立在Hbase上的一层数据读写服务。行业内各种db都很多了，为什么还会出现它？它到底有什么好？它做了什么？别着急，我们来一一分析下。 其实OpenTSDB不是一个通用的数据存储服务，看名字就知道，它主要针对于时序数据。什么是时序数据，股票的变化趋势、温度的变化趋势、系统某个指标的变化趋势……其实都是时序数据，就是每个时间点上纪录一条数据。 关于数据的存储，我们最熟悉的就是mysql了，但是想想看，每5分钟存储一个点，一天288个点，一年就10万+，这还是单个维度，往往在实际应用中维度会非常多，比如股票交易所，成千上万支股票，每天所有股票数据就可能超过百万条，如果还得支持历史数据查询，mysql是远远扛不住的，必然要考虑分布式存储，最好的选择就是Hbase了，事实上业内基本上也是这么做的。（我对其他分布式存储不了解，就不对比了）。 了解Hbase的人都知道，它可以通过加机器的水平扩展迅速增加读写能力，非常适合存储海量的数据，但是它并不是关系数据库，无法进行类似mysql那种select、join等操作。 取而代之的只有非常简单的Get和Scan两种数据查询方式。这里不讨论Hbase的相关细节，总之，你可以通过Get获取到hbase里的一行数据，通过Scan来查询其中RowKey在某个范围里的一批数据。如此简单的查询方式虽然让hbase变得简单易用， 但也限制了它的使用场景。针对时序数据，只有get和scan远远满足不了你的需求。 这个时候OpenTSDB就应运而生。 首先它做了数据存储的优化，可以大幅度提升数据查询的效率和减少存储空间的使用。其次它基于hbase做了常用时序数据查询的API，比如数据的聚合、过滤等。另外它也针对数据热度倾斜做了优化。接下来挨个说下它分别是怎么做的。
谈到DataFrame数据的合并，一般用到的方法有concat、join、merge。 这里就介绍concat方法，以下是函数原型。
您是否注意到我们没有在CustomerID字段中插入任何数字？ CustomerID列是一个自增字段，当插入新记录时会自动生成。
这里需要确保查询集合的列数,类型,顺序要和插入表的列数,类型,顺序一致,这里列的名称可以不一样. values 替换成了select 查询的临时表.
合格的程序员都善于使用工具，正所谓君子性非异也，善假于物也。合理的利用 Linux 的命令行工具，可以提高我们的工作效率。
Bigtable 是一个用来管理结构化数据的分布式存储系统，具有很好的伸缩性，能够在几千台应用服务器上处理PB数量级数据。谷歌有许多项目都把数据存储在Bigtable中，包括web indexing,Google Earth, and Google Finance. 这些应用对Bigtable的侧重点不同，但是他们都是海量数据和实时性的应用。尽管需求变化多端，Bigtable很好的提供了一个灵活多变，高性能额解决方案。
介绍tidyr包中五个基本函数的简单用法:长转宽，宽转长，合并，分割，NA简单填充。
创建学生表student，一个学生对应一个班级，一个班级对应多个学生。使用id为主键，classes_id为外键，关联班级表id：
mysql 中 SELECT 命令类似于其他编程语言的 print 或 write，可用来显示字符串、数字、数学表达式的结果等
1、having 是在 group by 子句之后：可以针对分组数据进行统计筛选。
近日，在实际工作中遇到了这样一道数据处理的实际问题，凭借自己LeetCode200+算法题和Pandas熟练运用一年的功底，很快就完成了。特此小结，以资后鉴！
数据库的知识，对于开发工程师来讲，也是同样重要，是开发过程中的重中之重，很多的业务逻辑，比如：报表模块等，只要sql语句能写出来，就相当于完成大部分的功能了，这是总结的数据库题库的前30道题，关于数据库的详细优化和集群等知识，后续会再出一篇，敬请关注。以下为关于数据库在面试过程中常见的30道题，供参考。 1：触发器的作用？ · 触发器是一种特殊的存储过程，主要是通过事件来触发而被执行的。 · 它可以强化约束，来维护数据的完整性和一致性。 · 可在写入数据表前，强制检验或转换数据。 · 触发器发生错误时，异动
本周我们结束了最为复杂的dql语法，完成最后一个进阶9—联合查询，然后进入剩下的dml和ddl语法介绍。一起来看看吧~
今天客户那边遇到一个问题：多选文件进行操作，数据量一大后台处理就特别慢，浏览器显示504超时。为了验证问题是否出在sql语句，所以用以下方法来分析：
注：每个表中至少要有一个主键。 主键用于唯一地标识表中的每一条记录，可以定义一列或多列为主键。
基本概念: 可合并多个相似的选择查询结果的结果集，等同于将一个表追加到另一个表，从而实现将两个表的查询结果组合到一起，使用 Union 或 Union all。 注意: 这个合并是纵向合并，字段数不变，多个查询的结果合并。
要高效地使用数据，就必须要有组织，因此业界对数据的结构化组织有很多探索。 1）Cube技术概念 OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求，它的技术核心是“维”这个概念。“维”（Dimension）是人们观察客观世界的角度，是一种高层次的类型划分。“维”一般包含着层次关系，这种层次关系有时会相当复杂。通过把一个实体的多项重要属性定义为多个维，使用户能对不同维上的数据进行比较。因此，OLAP也可以说是多维数据分析工具的集合。OLAP的基本多维分析操作有钻取、切片和切块，以及旋转等。
从上面输出内容，可以看出。将多行合并为一行，并且将faq记录写入到一个字典里面了。接下来就可以写入到新表格了。
首先，为了方便说明问题，创建两个表emp（雇员信息）和dept（雇员部门信息），其数据如下：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
