php mysql百万级数据去除重复数据
发布:smiling 来源: PHP粉丝网 添加日期:2014-09-12 08:56:35 浏览: 评论:0
- <?php
- //定义一个数组,用于存放排重后的结果
- $result = array();
- //读取uid列表文件
- $fp = fopen('test.txt', 'r');
- while(!feof($fp))
- {
- $uid = fgets($fp);
- $uid = trim($uid);
- $uid = trim($uid, " ");
- $uid = trim($uid, " ");
- if($uid == '')
- {
- continue;
- }
- //以uid为key去看该值是否存在
- if(emptyempty($result[$uid]))
- {
- $result[$uid] = 1;
- }
- }
- fclose($fp);
- //将结果保存到文件
- $content = '';
- foreach($result as $k => $v)
- {
- $content .= $k." ";
- }
- $fp = fopen('result.txt', 'w');
- fwrite($fp, $content);
- fclose($fp);
- ?>
- <?php
- //定义数组,用于存放排重后的结果
- $result = array();
- //读取第一个uid列表文件,放入$result_1
- $fp = fopen('test_1.txt', 'r');
- while(!feof($fp))
- {
- $uid = fgets($fp);
- $uid = trim($uid);
- $uid = trim($uid, " ");
- $uid = trim($uid, " ");
- if($uid == '')
- {
- continue;
- }
- //以uid为key写入$result,如有重复就会覆盖
- $result[$uid] = 1;
- }
- fclose($fp);
- //读取第二个uid列表文件,并进行排重操作
- $fp = fopen('test_2.txt', 'r');
- while(!feof($fp))
- {
- $uid = fgets($fp);
- $uid = trim($uid);
- $uid = trim($uid, " ");
- $uid = trim($uid, " ");
- if($uid == '')
- {
- continue;
- }
- //以uid为key去看该值是否存在
- if(emptyempty($result[$uid]))
- { //开源代码phpfensi.com
- $result[$uid] = 1;
- }
- }
- fclose($fp);
- //$result里保存的就排重以后的结果,可以输出到文件,代码省略
- ?>
Tags: mysql百万级数据 php重复数据
- 上一篇:php mysql 求和语句
- 下一篇:php mssql数据库连接代码
推荐文章
热门文章
最新评论文章
- 写给考虑创业的年轻程序员(10)
- PHP新手上路(一)(7)
- 惹恼程序员的十件事(5)
- PHP邮件发送例子,已测试成功(5)
- 致初学者:PHP比ASP优秀的七个理由(4)
- PHP会被淘汰吗?(4)
- PHP新手上路(四)(4)
- 如何去学习PHP?(2)
- 简单入门级php分页代码(2)
- php中邮箱email 电话等格式的验证(2)