作者:贾胜杰,硕士,退役军人,电气工程专业,现成功转行K12领域数据挖掘工程师,不仅在数据清理、分析和预测方向,而且在自制力和高效学习方面都有丰富经验。 编辑:王老湿
《从0到1,数据分析师修炼之路》专栏的已经发布了两篇文章,分别讲述了什么是商业数据分析师 以及 如何成为一名商业数据分析师。今天将会带来数据分析师的“技法修炼”相关的内容,这些技法包括SQL,Python和统计学,具体的学习修炼安排如下:
所有以上的这些技法都只是工具,所以要以会用且熟练为目的,把学习重点放在应用层面,多动手便能事半功倍!我们今天先从数据分析必备技能中最为简单的SQL来开始学习吧!(这篇文章介绍的主要是SQL基础,文章末尾也会给出在线的练习SQL的网站)
SQL是Structured Query Language的简写,也就是结构化查询语言。它最受欢迎的功能便是对数据库中的数据进行增删改查。作为数据分析师,会经常使用SQL语言从数据库中查询并提取数据,而增删改则一般由数据工程师去操作。
你可能听说过 NoSQL,它表示 Not only SQL(不仅仅是 SQL),与NoSQL的数据库进行交互时,你编写的代码会与本课程中所学的SQL有所不同。最常用的 NoSQL 语言之一是 MongoDB(https://www.mongodb.com/),可以自行了解一下~
就像我们刚开始学写字一样,在学习编写代码之前,我们也要先了解这门语言规范的书写规则和注释方法。
这部分虽然比较简单,但非常重要,有时候这不仅关系到你的饭碗,甚至还会危及到你的性命?,不信你可以看这篇假新闻:因代码规范问题,美国一码农枪杀了4个同事 (https://yq.aliyun.com/articles/644710)
_
替代;;
。代码是给电脑看的,而注释则是给人看的,是对你写这行代码的思路解释,方便自己做debug或者给同事交接。
-
,添加注释。SELECT col_name -- 这是一条注释
FROM table_name;
多行注释以/*
起始,以*/
结尾。
/*SELECT col_name
FROM table_name;*/
SELECT col_2
FROM table_name;
检索数据主要用的语句为:SELECT和FROM,意为从(FROM)xxx表中选择(SELECT)xxx变量,下面看示例。
从table_name表中检索col_name列。
SELECT col_name
FROM table_name;
从table_name表中检索col_1,col_2和col_3列。
SELECT col_1,col_2,col_3
FROM table_name;
使用通配符*
,返回table_name表中的所有列;
SELECT *
FROM table_name;
检索col_1中具有唯一性的行,即唯一值。
SELECT DISTINCT col_1
FROM table_name;
使用LIMIT语句可以限制返回的行数。
SELECT col_1
FROM table_name
LIMIT 10;
返回前10行(即第0-第9行)。
也可以添加OFFSET语句,设置返回数据的起始行:
SELECT col_1
FROM table_name
LIMIT 10 OFFSET 5;
从第五行之后,返回十行数据(即第5-第14行)。
排序需要使用的子句是:ORDER BY。
下面请看示例:
SELECT col_name
FROM table_name
ORDER BY col_name;
返回的数据会按照col_name列进行升序排序,这里col_name可以是单列也可以是多列,当然也可以使用非检索的列进行排序。
SELECT col_1,col_2
FROM table_name
ORDER BY col_2 DESC,col_3;
返回的数据会按照col_2列降序,col_3列升序对col_1和col_2两列进行排序。
这里可以看出,DESC关键字的用法:只对跟在语句前面的变量有效。所以,想要对多列进行降序排序时,需要对每一列都指定DESC关键字。
我们使用WHERE子句来根据某个条件对筛选的数据进行过滤。
WHERE 列名+运算符+值
;使用示例:
在表table_1列col_1中筛选出满足条件col_1 运算符 value
的值。
SELECT col_1
FROM table_1
WHERE col_1 运算符 value;
运算符 | 描述 |
---|---|
= | 等于 |
<> | 不等于 |
> | 大于 |
< | 小于 |
>= | 大于等于 |
<= | 小于等于 |
BETWEEN…AND… | 在指定的两值之间 |
IS NULL | 为NULL值 |
AND | 逻辑运算符:与 |
OR | 逻辑运算符:或 |
IN | 条件范围筛选 |
NOT | 逻辑运算符:非 |
⚠️ SQL的版本不同,可能导致某些运算符不同(如不等于可以用!=表示),具体要查阅数据库文档。 在同时输入AND和OR时,SQL会优先处理AND语句,所以为了建议大家在进行多条件筛选时,请用小括号将每个条件单独扩起来,这样既方便阅读代码,又不容易出问题。
通配符用来匹配值的一部分,跟在LIKE关键字后面进行数据过滤。
通配符 | 描述 |
---|---|
% | 表示任何字符出现任意次数 |
_ | 表示任何字符出现一次 |
[] | 指定一个字符集,它必须匹配该位置的一个字符 |
^ | 在[]中使用,表示否定 |
示例:
SELECT col_1
FROM table_1
WHERE col_1 LIKE '_[^JM]%'
ORDER BY col_1;
如上筛选出的是,第二个字符为非J且非M的数据。
其实就是在检索数据的同时进行计算,并使用关键字AS将结果保存为某一列。
SELECT prod_id,quantity,item_price,quantity*item_price AS expanded_price
FROM orderitems
WHERE order_num = 200008;
输出:
prod_id quantity item_price expanded_price
---------------------------------------------
RGAN01 5 4.9900 24.9500
BR03 5 11.9900 59.9500
这里实现的就是使用quantity*item_price
创建一个名为expanded_price
的计算字段,也就是一个新列。
同样适用于计算的操作符有+(加),-(减)和/(除)。
SELECT RTRIM(col_name) + '('+RTRIM(col_country)+')' AS col_title
FROM table_name
ORDER BY col_name;
输出:
col_title
------------------------
Bear Emporium(USA)
Bears R Us(USA)
Jouets et ours(France)
这里实现的就是将col_name列与col_country列进行了拼接,新列的名字叫做col_title。
RTRIM()函数是去掉右边的所有空格,LTRIM()是去掉左边的所有空格,TRIM()是去掉两边的所有空格。
在上一节中我们使用AS来为变量设置别名,你可能也见过如下所示的语句:
SELECT col1 + col2 AS total, col3
当然没有 AS 的语句也可以实现使用别名:
FROM tablename t1
以及
SELECT col1 + col2 total, col3
将col1+col2的结果设置名为total的列。
语句 | 使用方法 | 其他详细信息 |
---|---|---|
SELECT | SELECT Col1, Col2, … | 选择要筛选的列 |
FROM | FROM Table | 提供列所在的表格 |
LIMIT | LIMIT 10 | 限制返回的行数 |
ORDER BY | ORDER BY Col | 根据列Col对查询的结果排序(顺序),可与 DESC 一起使用实现逆序。 |
WHERE | WHERE Col > 5 | 用于过滤结果的一个条件语句 |
LIKE | WHERE Col LIKE ‘%me%’ | 仅提取出列文本中包含 ‘me’ 的行 |
IN | WHERE Col IN (‘Y’, ‘N’) | 仅过滤行对应的列为 ‘Y’ 或 ‘N’的数据 |
NOT | WHERE Col NOT IN (‘Y’, “N’) | NOT表示非,与上行结果刚好互补。 |
AND | WHERE (Col1 > 5) AND (Col2 < 3) | AND表示与,过滤两个或多个条件均为真的数据 |
OR | WHERE Col1 > 5 OR Col2 < 3 | OR表示或,过滤至少某一条件为真的行 |
BETWEEN | WHERE Col BETWEEN 3 AND 5 | 与AND连用,比用运算符简单一些 |