记录重复的这些问题小编介绍过非常的多了,如果不信可以可以百度找找,下面一起来看小编整理的一篇mysql表中记录重复处理方案,今天写了一个airport表,主要有这么几个字段.

1. //主键id,机场英文名称,机场中文名称,机场三字码,机场所在城市名子 
2. id, name, c_name, code,city_name 

由于机场三字码是不重复的,所以一开始我为airport表添加唯一索引.

ALTER  TABLE  `airport`  ADD  UNIQUE(`code`);

但在写的过程中发现我爬虫爬到的信息有重复的情况,所以先暂时去掉唯一索引.

show index from airport;//查看索引情况

DROP INDEX code ON airport

上下爬虫程序代码:

1. require('phpQuery.php'); 
2. phpQuery::newDocumentFile("http://******************因为某些原因***********");  
3. $res = pq('tbody')->find('tr')->text(); 

根据自己的业务逻辑插入到表中,很快完成了工作,完成之后,还是要理解三字码重复的问题,我的做法是采用了把所有重复的最小的三字码记录进行删除处理,最早写的代码如下:

1. DELETE FROM airport WHERE  
2. id IN (SELECT id FROM airport GROUP BY code HAVING COUNT(code) > 1)  --phpfensi.com 
3. AND id NOT IN ( SELECT max(id) FROM airport GROUP BY code HAVING COUNT(code ) >1); 

但运行这条sql的时候出错,原因是在选择的时候,不能同步进行删除或更新操作,这时候引用一个临时表吧.

1. create TEMPORARY table tmp  select id from airport WHERE  
2. id IN (SELECT id FROM airport GROUP BY code HAVING COUNT(code) > 1)  
3. AND id NOT IN (SELECT max(id) FROM airport GROUP BY code HAVING COUNT(code ) >1); 
4.  
5. delete from airport where id in (select id from tmp) 

ok,操作完成,再看看有没有重复的情况:

SELECT id FROM airport GROUP BY code HAVING COUNT(code) > 1

如果有再进行删除,表的三字码已经不重复了,再为三字码添加唯一索引了.

Tags: mysql记录重复 mysql删除重复值

分享到：