DM7表中有重复数据处理办法

问题描述:
如何删除数据库中的重复数据
问题原因:
某些时候,数据库中需要添加新的唯一性约束,但是数据库中已经存在了重复的数据,此时需要删除重复的数据
解决方法:
查询重复的数据:

select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1

备注:将上面的>号改为=号就可以查询出没有重复的数据了。
(1)Oracle删除重复数据的SQL(删除所有,重复的一个都不留)删除重复数据的基本结构写法:

delete from 表名 a where 字段1,字段2 in
(select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1)

不过这种删除执行的效率非常低,建议先将查询到的重复的数据插入到一个临时表中,然后对进行删除,这样,执行删除的时候就不用再进行一次查询了。如下:

CREATE TABLE 临时表 AS  (select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1)
delete from 表名 a where 字段1,字段2 in (select 字段1,字段2 from 临时表);

(2)删除重复数据的SQL(重复的留下一条记录)使用ROWID查询重复数据:

select a.rowid,a.* from 表名 a where a.rowid != 
(select max(b.rowid) from 表名 b where a.字段1 = b.字段1 and a.字段2 = b.字段2 )

括号中的SQL查询出rowid最大的记录,而外面就是查询出除了rowid最大之外的其他重复的数据了。
删除重复数据(留下最大ROWID的一条)

delete from 表名 a  where a.rowid != 
(select max(b.rowid) from 表名 b where a.字段1 = b.字段1 and a.字段2 = b.字段2 )

当然,上面语句的执行效率是很低的,可以考虑建立临时表,讲需要判断重复的字段、rowid插入临时表中,然后删除的时候在进行比较。

create table 临时表 as  select a.字段1,a.字段2,MAX(a.ROWID) dataid from 正式表 a GROUP BY a.字段1,a.字段2; 
delete from 表名 a where a.rowid != 
(select b.dataid from 临时表 b where a.字段1 = b.字段1 and a.字段2 = b.字段2 );
commit;

以列形式删除重复数据

delete from test1 where  a in (select a from test1 group by a having count(a) > 1)
删除操作有风险,搞事以前

先备份

create table 备份表 as select * from 原表;

O_O

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容