去除重复数据

有两个意义上的重复记录,一是完全重复的记录,也即所有字段均都重复,二是部分字段重复的记录。对于第一种重复,比较容易解决,只需在查询语句中使用distinct关键字去重,几乎所有数据库系统都支持distinct操作。发生这种重复的原因主要是表设计不周,通过给表增加主键或唯一索引列即可避免。

select distinct * from t;

对于第二类重复问题,通常要求查询出重复记录中的任一条记录。假设表t有id,name,address三个字段,id是主键,有重复的字段为name,address,要求得到这两个字段唯一的结果集。

-- Oracle、MySQL,使用相关子查询

select * from t t1

where t1.id =

(select min(t2.id)

from t t2

where t1.name = t2.name and t1.address = t2.address);

-- Hive只支持在FROM子句中使用子查询,子查询必须有名字,并且列必须唯一

select t1.*

from t t1,

(select name, address, min(id) id from t group by name, address) t2

where t1.id = t2.id;

-- 还可以使用Hive的row_number()分析函数

select t.id, t.name, t.address

from (select id, name, address,

row_number() over (distribute by name, address sort by id) as rn 

from t)

where t.rn=1;

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏陈树义

PL/SQL基础语法

有时候我们需要对数据库中的数据进行一些稍微复杂的操作,而且这些操作都是一次性的,用完之后就不再用了。 用存储过程的话就太麻烦,而且浪费,用完了还要去删除。而单个...

35311
来自专栏峰会SaaS大佬云集

Oracle 数据库入门之----------------------单行函数

SQL> select lower('Hello World') 转小写,upper('Hello World') 转大写,initcap('hello wor...

450
来自专栏Java帮帮-微信公众号-技术文章全总结

【数据库】MySQL进阶五、带or多条件查询

【数据库】MySQL进阶五、or多条件查询 MySQL数据表中带OR的多条件查询 OR关键字可以联合多个条件进行查询。使用OR关键字时: 条件 1) 只要符合这...

3747
来自专栏xingoo, 一个梦想做发明家的程序员

Oracle基础知识-SQL简单命令

SQL语句包括两个部分:1 DDL 数据定义语言 2 DML 数据控制语言 DDL: create:创建一个表 create table b( clob cha...

1818
来自专栏记事本

再看SQL注入过滤列名如何注出数据

获取表名可以使用innodb_index_stats,mysql5.5版本级以上,默认使用Innode作为存储引擎。

2720
来自专栏xcywt

学习SQLite之路(二)

  下面就是真正关于数据库的一些知识了: 20160614更新  参考: http://www.runoob.com/sqlite/sqlite-tutoria...

1787
来自专栏idba

MySQL优化案例一则

有赞的每个OLTP数据库实例上会设置一个sql-killer进程用于kill 掉执行时间超过一定阈值的sql。下午开发接收到sql被kill的报错,一起帮助开...

744
来自专栏大闲人柴毛毛

数据库三大范式

第一范式 第一范式(1NF)要求数据库表的每一列都是不可分割的基本数据项,同一列中不能有多个值。 若某一列有多个值,可以将该列单独拆分成一个实体,新实体和原实...

3516
来自专栏Java后端生活

MySQL(三)基础查询

1369
来自专栏LanceToBigData

MySQL(九)之数据表的查询详解(SELECT语法)二

上一篇讲了比较简单的单表查询以及MySQL的组函数,这一篇给大家分享一点比较难得知识了,关于多表查询,子查询,左连接,外连接等等。希望大家能都得到帮助! 在开始...

19210

扫码关注云+社区