当前位置:首页 > PHP教程 > php应用 > 列表

php mysql百万级数据去除重复数据

发布:smiling 来源: PHP粉丝网  添加日期:2014-09-12 08:56:35 浏览: 评论:0 
  1. <?php 
  2. //定义一个数组,用于存放排重后的结果  
  3. $result = array();  
  4. //读取uid列表文件  
  5. $fp = fopen('test.txt''r'); 
  6.  
  7. while(!feof($fp))  
  8. {  
  9. $uid = fgets($fp);  
  10. $uid = trim($uid);  
  11. $uid = trim($uid" ");  
  12. $uid = trim($uid" "); 
  13.  
  14. if($uid == '')  
  15. {  
  16. continue;  
  17. }  
  18. //以uid为key去看该值是否存在  
  19. if(emptyempty($result[$uid]))  
  20. {  
  21. $result[$uid] = 1;  
  22. }  
  23.  
  24. fclose($fp); 
  25.  
  26. //将结果保存到文件  
  27. $content = '';  
  28. foreach($result as $k => $v)  
  29. {  
  30. $content .= $k." ";  
  31. }  
  32. $fp = fopen('result.txt''w');  
  33. fwrite($fp$content);  
  34. fclose($fp);  
  35. ?>   
  36.  
  37.  
  38. <?php  
  39. //定义数组,用于存放排重后的结果  
  40. $result = array();  
  41. //读取第一个uid列表文件,放入$result_1  
  42. $fp = fopen('test_1.txt''r');  
  43. while(!feof($fp))  
  44. {  
  45. $uid = fgets($fp);  
  46. $uid = trim($uid);  
  47. $uid = trim($uid" ");  
  48. $uid = trim($uid" ");  
  49. if($uid == '')  
  50. {  
  51. continue;  
  52. }  
  53. //以uid为key写入$result,如有重复就会覆盖  
  54. $result[$uid] = 1;  
  55. }  
  56. fclose($fp);  
  57. //读取第二个uid列表文件,并进行排重操作  
  58. $fp = fopen('test_2.txt''r');  
  59. while(!feof($fp))  
  60. {  
  61. $uid = fgets($fp);  
  62. $uid = trim($uid);  
  63. $uid = trim($uid" ");  
  64. $uid = trim($uid" ");  
  65. if($uid == '')  
  66. {  
  67. continue;  
  68. }  
  69. //以uid为key去看该值是否存在  
  70. if(emptyempty($result[$uid]))  
  71. //开源代码phpfensi.com 
  72. $result[$uid] = 1;  
  73. }  
  74. }  
  75. fclose($fp);  
  76. //$result里保存的就排重以后的结果,可以输出到文件,代码省略  
  77. ?>

Tags: mysql百万级数据 php重复数据

分享到: