SQL去除重复删除重复数据(千万级数据量)
发布:smiling 来源: PHP粉丝网 添加日期:2014-10-01 21:38:18 浏览: 评论:0
sql 删除重复数据方法有很多种,我今天要一个5000W数据库中要查出重复数据并且删除,我在网上找了一些方法,实在是不行,执行了5个小时还没完,后来放弃了自己经高手指点,用了1分钟不到就去除了重复记录了。
MYSQL里有五百万数据,但大多是重复的,真实的就180万,于是想怎样把这些重复的数据搞出来,在网上找了一圈,好多是用NOT IN这样的代码,这样效率很低,自己琢磨组合了一下,找到一个高效的处理方式,用这个方式,五百万数据,十来分钟就全部去除重复了,请各位参考.
第一步:从500万数据表data_content_152里提取出不重复的字段SFZHM对应的ID字段到TMP3表,代码如下:
create table tmp3 as select min(id) as col1 from data_content_152 group by SFZHM;
第二步:创建新表RES,代码如下:
- CREATE TABLE `res` (
- `id` int(11),
- `sfz` char(20)
- ) ENGINE=MyISAM; //phpfensi.com
第三步:把TMP3表ID对应到data_content_152里需要提取的数据添加到RES表的SFZ字段
INSERT INTO res (sfz) SELECT sfzhm FROM data_content_152,tmp3 where data_content_152.id=tmp3.col1
至此,就在MYSQL里实现了,给数据表data_content_152完全删除重复数据,把去重复后的数据导入到RES表.
Tags: SQL去除重复 SQL删除重复
- 上一篇:MYSQL无法超过4G的解决办法
- 下一篇:MySQL随机从表中取出数据sql语句
相关文章
- ·mysql 去除重复记录sql语句详解(2014-10-05)
- ·mysql中distinct去除重复值方法(2014-10-09)
- ·Mysql中查找并删除重复数据的方法(2014-09-25)
- ·Mysql中如何查找并删除重复数据(2014-09-28)
- ·mysql 数据库超强删除重复数据语句(2014-10-02)
- ·MySQL取出表中排序数据且不重复 删除重复数据(2014-10-04)
- ·mysql中删除重复记录sql语句(2014-10-09)
- ·MySQL 数据库中删除重复记录方法总结(2014-10-12)
- ·mysql删除数据库重复记录实现方法(2014-10-15)
- ·mysql表中记录重复处理方案(2015-04-17)
推荐文章
热门文章
最新评论文章
- 写给考虑创业的年轻程序员(10)
- PHP新手上路(一)(7)
- 惹恼程序员的十件事(5)
- PHP邮件发送例子,已测试成功(5)
- 致初学者:PHP比ASP优秀的七个理由(4)
- PHP会被淘汰吗?(4)
- PHP新手上路(四)(4)
- 如何去学习PHP?(2)
- 简单入门级php分页代码(2)
- php中邮箱email 电话等格式的验证(2)