当前位置:首页 > PHP教程 > php高级应用 > 列表

php使用fputcsv实现大数据的导出操作详解

发布:smiling 来源: PHP粉丝网  添加日期:2022-02-15 10:10:55 浏览: 评论:0 

本文实例讲述了php使用fputcsv实现大数据的导出操作,分享给大家供大家参考,具体如下:

为了实验大数据的导出,我们这里先自已创建一张大表,表结构如下:

  1. CREATE TABLE `tb_users` ( 
  2.  `id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '用户ID'
  3.  `namevarchar(32) DEFAULT '' COMMENT '用户名'
  4.  `age` tinyint(3) DEFAULT '0' COMMENT '用户年龄'
  5.  `descvarchar(255) DEFAULT '' COMMENT '用户描述'
  6.  `phone` varchar(11) DEFAULT '' COMMENT '用户手机'
  7.  `qq` varchar(16) DEFAULT '' COMMENT '用户QQ'
  8.  `email` varchar(64) DEFAULT '' COMMENT '用户邮箱'
  9.  `addr` varchar(255) DEFAULT '' COMMENT '用户地址'
  10.  PRIMARY KEY (`id`) 
  11. ) ENGINE=InnoDB DEFAULT CHARSET=utf8; 

然后写个php脚本往这个表插入数据,代码如下:

  1. <?php 
  2. set_time_limit(0); 
  3. ini_set('memory_limit''128M'); 
  4.  
  5. //使用TP3.2的String类,php7下会报错,注意把类名换一下 
  6. require './String.class.php'
  7. use Org\Util\NewString; 
  8.  
  9. $begin = microtime(true); 
  10.  
  11. $db = new mysqli('127.0.0.1''root''''test'); 
  12.  
  13. if($db->connect_error) { 
  14.   die('connect error'); 
  15. //数据插入语句 
  16. $insSql = ''
  17.  
  18. //一百万数据,分200步,每步插入5000条 
  19. $step = 200; 
  20. $nums = 5000; 
  21.  
  22. for($s = 0; $s < $step; ++$s) { 
  23.   $insSql = 'INSERT INTO tb_users VALUES'
  24.   for($n = 0; $n < $nums; ++$n) { 
  25.     $name = NewString::randString(3, 4); 
  26.     $age = mt_rand(1, 120); 
  27.     $desc = NewString::randString(64, 4); 
  28.     $phone = NewString::randString(11, 1); 
  29.     $qq = NewString::randString(13, 1); 
  30.     $email = $qq . '@qq.com'
  31.     $addr = NewString::randString(128, 4); 
  32.     $insSql .= "(NULL, '{$name}', $age, '{$desc}', '{$phone}', '{$qq}', '{$email}', '{$addr}'),"
  33.   } 
  34.   $insSql = rtrim($insSql','); 
  35.   $db->query($insSql); 
  36. $end = microtime(true); 
  37. echo '用时:'$end - $begin
  38.  
  39. $db->close(); 

里面用到的TP3.2的String类大家自行上TP官网下载,整个用时2个多小时,最后数据大小662M。

现在我们用php提供的fputcsv来导出这一百万的数据,原理就是打开一个标准输出流,然后把数据按一万条来分割,每一万条就刷新缓冲区。

  1. <?php 
  2. set_time_limit(0); 
  3. ini_set('memory_limit''128M'); 
  4.  
  5. $fileName = date('YmdHis', time()); 
  6. header('Content-Type: application/vnd.ms-execl'); 
  7. header('Content-Disposition: attachment;filename="' . $fileName . '.csv"'); 
  8.  
  9. $begin = microtime(true); 
  10.  
  11. //打开php标准输出流 
  12. //以写入追加的方式打开 
  13. $fp = fopen('php://output''a'); 
  14.  
  15. $db = new mysqli('127.0.0.1''root''''test'); 
  16.  
  17. if($db->connect_error) { 
  18.   die('connect error'); 
  19.  
  20. //我们试着用fputcsv从数据库中导出1百万的数据 
  21. //我们每次取1万条数据,分100步来执行 
  22. //如果线上环境无法支持一次性读取1万条数据,可把$nums调小,$step相应增大。 
  23. $step = 100; 
  24. $nums = 10000; 
  25.  
  26. //设置标题 
  27. $title = array('ID''用户名''用户年龄''用户描述''用户手机''用户QQ''用户邮箱''用户地址'); 
  28. foreach($title as $key => $item) { 
  29.   $title[$key] = iconv('UTF-8''GBK'$item); 
  30. //将标题写到标准输出中 
  31. fputcsv($fp$title); 
  32.  
  33. for($s = 1; $s <= $step; ++$s) { 
  34.   $start = ($s - 1) * $nums
  35.   $result = $db->query("SELECT * FROM tb_users ORDER BY id LIMIT {$start},{$nums}"); 
  36.     
  37.   if($result) { 
  38.     while($row = $result->fetch_assoc()) { 
  39.       foreach($row as $key => $item) { 
  40.         //这里必须转码,不然会乱码 
  41.         $row[$key] = iconv('UTF-8''GBK'$item); 
  42.       } 
  43.       fputcsv($fp$row); 
  44.     } 
  45.     $result->free(); 
  46.       
  47.     //每1万条数据就刷新缓冲区 
  48.     ob_flush(); 
  49.     flush(); 
  50.   } 
  51.  
  52. $end = microtime(true); 
  53. echo '用时:'$end - $begin

整个过程用时5分钟,最终生成的csv文件大小420M。

php使用fputcsv实现大数据的导出操作详解

对于如何用phpexcel导出大数据,并没有什么比较好的方案,phpexcel提供的一些缓存方法,数据压缩,虽然内存使用小了,但所用时间则加长了,时间换空间,显然并不是最好的方案。比较靠谱的方法还是生成多个下载链接地址,把你要下载的数据,以get形式传递当前页数,后台进行数据分页然后导出。

<a href="/downSearchData.php?参数1=值1&参数2=值2&page=1" rel="external nofollow" >下载汇总结果1</a>

<a href="/downSearchData.php?参数1=值1&参数2=值2&page=2" rel="external nofollow" >下载汇总结果2</a>

<a href="/downSearchData.php?参数1=值1&参数2=值2&page=3" rel="external nofollow" >下载汇总结果3</a>

比如你有一个查询数据表单,ID为searchFrm,然后你想把导出数据按1万条分割(phpexcel一次导出1万条是没有问题的,效率还行)

  1. <form id="searchFrm"
  2.   姓名<input type="text" name="uname"
  3.   <input type="button" id="searchDataBtn" value="导出汇总结果"
  4. </form> 
  5. <div id="searchDataList"></div> 
  6.  
  7. <script type="script"
  8.   $("#searchDataBtn").on("click"function() { 
  9.     var params = $("#searchFrm").serialize(); 
  10.       
  11.     //获取查询数据的条数 
  12.     $.get("/getSearchDataRows?" + params, function(data) { 
  13.       var downDataList = ""
  14.       if(data["rows"]) { 
  15.         //rows是数据总条数,pageSize是一页多少条 
  16.         var pageNum = Math.ceil(data["rows"] / data["pageSize"]); 
  17.         for(var i = 1; i <= pageNum; ++i) { 
  18.           downDataList += "<a href='/downSearchData.php?'" + params + "&page=" + i + ">下载汇总结果" + i + "</a>&nbsp;&nbsp;"
  19.         } 
  20.         $("#searchDataList").html(downDataList); 
  21.       } else { 
  22.         $("#searchDataList").text("没有数据"); 
  23.       } 
  24.     }, "json"); 
  25.     return false
  26.   }); 
  27. </script>

Tags: fputcsv php大数据导出

分享到: