专栏首页极客猴像Excel一样使用SQL进行数据分析

像Excel一样使用SQL进行数据分析

Excel是数据分析中最常用的工具 ,利用Excel可以完成数据清洗,预处理,以及最常见的数据分类,数据筛选,分类汇总,以及数据透视等操作,而这些操作用SQL一样可以实现。SQL不仅可以从数据库中读取数据,还能通过不同的SQL函数语句直接返回所需要的结果,从而大大提高了自己在客户端应用程序中计算的效率。

1 重复数据处理

  • 查找重复记录
SELECT * FROM user 
Where (nick_name,password) in
(
SELECT nick_name,password 
FROM user 
group by nick_name,password 
having count(nick_name)>1
);
  • 查找去重记录

查找id最大的记录

SELECT * FROM user 
WHERE id in
(SELECT max(id) FROM user
group by nick_name,password 
having count(nick_name)>1
);
  • 删除重复记录

只保留id值最小的记录

DELETE  c1
FROM  customer c1,customer c2
WHERE c1.cust_email=c2.cust_email
AND c1.id>c2.id;
DELETE FROM user Where (nick_name,password) in
(SELECT nick_name,password FROM
    (SELECT nick_name,password FROM user 
    group by nick_name,password 
    having count(nick_name)>1) as tmp1
)
and id not in
(SELECT id FROM
    (SELECT min(id) id FROM user 
     group by nick_name,password 
     having count(nick_name)>1) as tmp2
);

2 缺失值处理

  • 查找缺失值记录
SELECT * FROM customer
WHERE cust_email IS NULL;
  • 更新列填充空值
UPDATE sale set city = "未知" 
WHERE city IS NULL;

UPDATE orderitems set 
price_new=IFNULL(price_new,5.74);
  • 查询并填充空值列
SELECT AVG(price_new) FROM orderitems;

SELECT IFNULL(price_new,5.74) AS bus_ifnull
FROM orderitems;

3 计算列

  • 更新表添加计算列
ALTER TABLE orderitems ADD price_new DECIMAL(8,2) NOT NULL;

UPDATE orderitems set price_new= item_price*count;
  • 查询计算列
SELECT item_price*count as sales FROM orderitems;

4 排序

  • 多列排序
SELECT * FROM orderitems
ORDER BY price_new DESC,quantity;
  • 查询排名前几的记录
SELECT * FROM orderitems
ORDER BY price_new DESC LIMIT 5;
  • 查询第10大的值
SELECT DISTINCT price_new
FROM orderitems
ORDER BY price_new DESC LIMIT 9,1;
  • 排名

数值相同的排名相同且排名连续

SELECT prod_price,
(SELECT COUNT(DISTINCT prod_price)
FROM products
WHERE prod_price>=a.prod_price
) AS rank
FROM products AS a
ORDER BY rank ;

5 字符串处理

  • 字符串替换
UPDATE data1 SET city=REPLACE(city,'SH','shanghai');

SELECT city FROM data1;
  • 按位置字符串截取

字符串截取可用于数据分列 MySQL 字符串截取函数:left(), right(), substring(), substring_index()

SELECT left('example.com', 3);

从字符串的第 4 个字符位置开始取,直到结束

SELECT substring('example.com', 4);

从字符串的第 4 个字符位置开始取,只取 2 个字符

SELECT substring('example.com', 4, 2);
  • 按关键字截取字符串

取第一个分隔符之前的所有字符,结果是www

SELECT substring_index('www.google.com','.',1);

取倒数第二个分隔符之后的所有字符,结果是google.com;

SELECT substring_index('www.google.com','.',-2);

6 筛选

  • 通过操作符实现高级筛选

使用 AND OR IN NOT 等操作符实现高级筛选过滤

SELECT prod_name,prod_price FROM Products
WHERE vend_id IN('DLL01','BRS01');
SELECT prod_name FROM Products WHERE NOT vend_id='DLL01';
  • 通配符筛选

常用通配符有% _ [] ^

SELECT * from customers WHERE country LIKE "CH%";

7 表联结

SQL表连接可以实现类似于Excel中的Vlookup函数的功能

SELECT vend_id,prod_name,prod_price
FROM Vendors INNER JOIN Products
ON Vendors.vend_id=Products.vend_id;

SELECT prod_name,vend_name,prod_price,quantity
FROM OderItems,Products,Vendors
WHERE Products.vend_id=Vendors.vend_id
AND OrderItems.prod_id=Products.prod_id
AND order_num=20007;
自联结 在一条SELECT语句中多次使用相同的表
SELECT c1.cust_od,c1.cust_name,c1.cust_contact
FROM Customers as c1,Customers as c2
WHERE c1.cust_name=c2.cust_name
AND c2.cust_contact='Jim Jones';

8 数据透视

数据分组可以实现Excel中数据透视表的功能

  • 数据分组

group by 用于数据分组 having 用于分组后数据的过滤

SELECT order_num,COUNT(*) as items
FROM OrderItems
GROUP BY order_num HAVING COUNT(*)>=3;
  • 交叉表

通过CASE WHEN函数实现

SELECT data1.city,
CASE WHEN colour = "A" THEN price END AS A,
CASE WHEN colour = "B" THEN price END AS B,
CASE WHEN colour = "C" THEN price END AS C,
CASE WHEN colour = "F" THEN price END AS F
FROM data1

本文分享自微信公众号 - 极客猴(Geek_monkey)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 安利两个 MongoDB 可视化工具

    MongoDB 是一种 NoSQL 数据库。NoSQL(Not Only SQL ),意即"不仅仅是SQL", 泛指非关系型的数据库。这两种类型差别之一是存储方...

    猴哥yuri
  • Django 学习笔记之模型(上)

    上片文章讲解模板。你本文将讲解 “MTV” 中 M 层次,即模型层(数据存取层)。模型这内容比较多,我将其拆分为 3 个部分来讲解。同时,文章也配套了例子,你可...

    猴哥yuri
  • Django学习之旅(六)

    本文是 Django 学习之旅的完结篇,主要是讲述 model 层。model 层是与数据库打交道的,其中包括 怎么连接数据库、怎么对数据库进行增删改查等。主要...

    猴哥yuri
  • SpringBoot 系列教程 Mybatis+注解整合篇

    上一篇博文介绍了 SpringBoot 整合 mybatis 的过程,但是 xml 的方式,总感觉让人有点蛋疼;本文将介绍一种 noxml 的使用姿势,纯用注解...

    一灰灰blog
  • 自然语言理解的应用 SNIPS-NLU

    自然语言理解,即Natural Language Understanding,可以认为是特指对话系统/对话机器人/Chatbot中的NLU组件/模块,也可以认为...

    段清华DEAN
  • 自然语言理解的应用 SNIPS-NLU

    自然语言理解,即Natural Language Understanding,可以认为是特指对话系统/对话机器人/Chatbot中的NLU组件/模块,也可以认为...

    段清华DEAN
  • 【深度相机系列二】深度相机原理揭秘--飞行时间(TOF)

    深度相机按照深度测量原理不同,一般分为:飞行时间法、结构光法、双目立体视觉法。本文就来说一说飞行时间法。 飞行时间是从Time of Flight直译过来...

    用户1150922
  • 揭秘深度相机--飞行时间(TOF)

    深度相机按照深度测量原理不同,一般分为:飞行时间法、结构光法、双目立体视觉法。本文就来说一说飞行时间法。

    小白学视觉
  • DKhadoop安装包下载与DKM监控参数说明

    前阶段用了差不多两周的时间把DKhadoop的运行环境搭建以及安装的各个操作都介绍了一遍。关于DKhadoop安装包下载也只是顺带说了一下,但好像大快搜索的服务...

    IT小白龙
  • 【20】Python100例基础练习(4

    运行结果: 22/12/2017 1941/05/01 06/01/1941 05/01/1942

    py3study

扫码关注云+社区

领取腾讯云代金券