MySQL 去除重复数据实例详解

各位用户为了找寻关于MySQL 去除重复数据实例详解的资料费劲了很多周折。这里教程网为您整理了关于MySQL 去除重复数据实例详解的相关资料，仅供查阅，以下为您介绍关于MySQL 去除重复数据实例详解的详细内容

MySQL 去除重复数据实例详解

有两个意义上的重复记录，一是完全重复的记录，也即所有字段均都重复，二是部分字段重复的记录。对于第一种重复，比较容易解决，只需在查询语句中使用distinct关键字去重，几乎所有数据库系统都支持distinct操作。发生这种重复的原因主要是表设计不周，通过给表增加主键或唯一索引列即可避免。

? 1 select distinct * from t;

对于第二类重复问题，通常要求查询出重复记录中的任一条记录。假设表t有id,name,address三个字段，id是主键，有重复的字段为name,address，要求得到这两个字段唯一的结果集。

-- Oracle、MySQL，使用相关子查询

? 1 2 3 4 5 6 7 8 9 select * from t t1    where t1.id =    (select min(t2.id)     from t t2     where t1.name = t2.name and t1.address = t2.address);

 -- Hive只支持在FROM子句中使用子查询，子查询必须有名字，并且列必须唯一

? 1 2 3 4 5 6 7 8 9 select t1.*    from t t1,      (select name, address, min(id) id from t group by name, address) t2    where t1.id = t2.id;

-- 还可以使用hive的row_number()分析函数

? 1 2 3 4 5 6 7 8 9 select t.id, t.name, t.address    from (select id, name, address,   row_number() over (distribute by name, address sort by id) as rn        from t) t    where t.rn=1;

感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！

原文链接：http://blog.csdn.net/wzy0623/article/details/53926508