当前位置:首页 > PHP教程 > php高级应用 > 列表

PHP 读取大文件程序代码

发布:smiling 来源: PHP粉丝网  添加日期:2014-07-07 16:39:20 浏览: 评论:0 

一般读取文件我们用fopen 或者 file_get_contents,前者可以循环读取,后者可以一次性读取,但都是将文件内容一次性加载来操作,如果加载的文件特别大时,如几百M,上G时,这时性能就降下来了,那么PHP里有没有对大文件的处理函数或者类呢? 答案是有的

PHP真的越来越“面向对象”了,一些原有的基础的SPL方法都开始陆续地实现出class了.

从 PHP 5.1.0 开始,SPL 库增加了 SplFileObject 与 SplFileInfo 两个标准的文件操作类,SplFileInfo 是从 PHP 5.1.2 开始实现的,从字面意思理解看,可以看出 SplFileObject 要比 SplFileInfo 更为强大.

不错,SplFileInfo 仅用于获取文件的一些属性信息,如文件大小、文件访问时间、文件修改时间、后缀名等值,而 SplFileObject 是继承 SplFileInfo 这些功能的.

代码如下:

  1.  /** 返回文件从X行到Y行的内容(支持php5、php4)   
  2.  * @param string $filename 文件名 
  3.  * @param int $startLine 开始的行数 
  4.  * @param int $endLine 结束的行数 
  5.  * @return string 
  6.  */ 
  7. function getFileLines($filename$startLine = 1, $endLine=50, $method='rb') { 
  8.     $content = array(); 
  9.     $count = $endLine - $startLine;   
  10.     // 判断php版本(因为要用到SplFileObject,PHP>=5.1.0) 
  11.     if(version_compare(PHP_VERSION, '5.1.0''>=')){ 
  12.         $fp = new SplFileObject($filename$method); 
  13.         $fp->seek($startLine-1);// 转到第N行, seek方法参数从0开始计数 
  14.         for($i = 0; $i <= $count; ++$i) { 
  15.             $content[]=$fp->current();// current()获取当前行内容 
  16.             $fp->next();// 下一行 
  17.         } 
  18.     }else{//PHP<5.1 
  19.         $fp = fopen($filename$method); 
  20.         if(!$fpreturn 'error:can not read file'
  21.         for ($i=1;$i<$startLine;++$i) {// 跳过前$startLine行 
  22.             fgets($fp); 
  23.         } 
  24.         for($i;$i<=$endLine;++$i){ 
  25.             $content[]=fgets($fp);// 读取文件行内容 
  26.         } 
  27.         fclose($fp); 
  28.     } 
  29.     return array_filter($content); // array_filter过滤:false,null,'' 

上面都没加”读取到末尾的判断”:!$fp->eof() 或者 !feof($fp),加上这个判断影响效率,自己加上测试很多很多很多行的运行时间就晓得了,而且这里加上也完全没必要.

从上面的函数就可以看出来使用SplFileObject比下面的fgets要快多了,特别是文件行数非常多、并且要取后面的内容的时候,fgets要两个循环才可以,并且要循环$endLine次.

此方法花了不少功夫,测试了很多中写法,就是想得出效率最高的方法,哪位觉得有值得改进的欢迎赐教.

使用,返回35270行-35280行的内容,代码如下:

  1. echo '<pre>'
  2. var_dump(getFileLines('test.php',35270,35280)); 
  3. echo '</pre>'

再看一个实例,代码如下:

  1. function readBigFile($filename$count = 20, $tag = "rn") {  
  2. $content = "";//最终内容  
  3. $current = "";//当前读取内容寄存  
  4. $step= 1;//每次走多少字符  
  5. $tagLen = strlen($tag);  
  6. $start = 0;//起始位置  
  7. $i = 0;//计数器  
  8. $handle = fopen($filename,'r+');//读写模式打开文件,指针指向文件起始位置  
  9. while($i < $count && !feof($handle)) {  
  10. fseek($handle$start, SEEK_SET);//指针设置在文件开头  
  11. $current = fread($handle,$step);//读取文件  
  12. $content .= $current;//组合字符串  
  13. $start += $step;//依据步长向前移动  
  14. //依据分隔符的长度截取字符串最后免得几个字符  
  15. $substrTag = substr($content, -$tagLen);  
  16. if ($substrTag == $tag) { //判断是否为判断是否是换行或其他分隔符  
  17. $i++;  
  18. $content .= "<br />";  
  19. }  
  20. }  
  21. //关闭文件  
  22. fclose($handle);  
  23. //返回结果  
  24. return $content;  
  25. }  
  26. $filename = "csdn.sql";//需要读取的文件  
  27. $tag = "n";//行分隔符 注意这里必须用双引号  
  28. $count = 100;//读取行数  
  29. $data = readBigFile($filename,$count,$tag);  
  30. echo $data

注意:通过使用PHP的fseek和fread相结合,即可做到随意读取文件中的某一部份数据,关于函数传入的变量$tag的值,根据系统不一样,传入的值也是有区别的:Windows用”rn”,linux/unix用”n”,Mac OS用”r”.

Tags: PHP 读取大文件

分享到: