PHP 读取大文件程序代码
发布:smiling 来源: PHP粉丝网 添加日期:2014-07-07 16:39:20 浏览: 评论:0
一般读取文件我们用fopen 或者 file_get_contents,前者可以循环读取,后者可以一次性读取,但都是将文件内容一次性加载来操作,如果加载的文件特别大时,如几百M,上G时,这时性能就降下来了,那么PHP里有没有对大文件的处理函数或者类呢? 答案是有的
PHP真的越来越“面向对象”了,一些原有的基础的SPL方法都开始陆续地实现出class了.
从 PHP 5.1.0 开始,SPL 库增加了 SplFileObject 与 SplFileInfo 两个标准的文件操作类,SplFileInfo 是从 PHP 5.1.2 开始实现的,从字面意思理解看,可以看出 SplFileObject 要比 SplFileInfo 更为强大.
不错,SplFileInfo 仅用于获取文件的一些属性信息,如文件大小、文件访问时间、文件修改时间、后缀名等值,而 SplFileObject 是继承 SplFileInfo 这些功能的.
代码如下:
- /** 返回文件从X行到Y行的内容(支持php5、php4)
- * @param string $filename 文件名
- * @param int $startLine 开始的行数
- * @param int $endLine 结束的行数
- * @return string
- */
- function getFileLines($filename, $startLine = 1, $endLine=50, $method='rb') {
- $content = array();
- $count = $endLine - $startLine;
- // 判断php版本(因为要用到SplFileObject,PHP>=5.1.0)
- if(version_compare(PHP_VERSION, '5.1.0', '>=')){
- $fp = new SplFileObject($filename, $method);
- $fp->seek($startLine-1);// 转到第N行, seek方法参数从0开始计数
- for($i = 0; $i <= $count; ++$i) {
- $content[]=$fp->current();// current()获取当前行内容
- $fp->next();// 下一行
- }
- }else{//PHP<5.1
- $fp = fopen($filename, $method);
- if(!$fp) return 'error:can not read file';
- for ($i=1;$i<$startLine;++$i) {// 跳过前$startLine行
- fgets($fp);
- }
- for($i;$i<=$endLine;++$i){
- $content[]=fgets($fp);// 读取文件行内容
- }
- fclose($fp);
- }
- return array_filter($content); // array_filter过滤:false,null,''
- }
上面都没加”读取到末尾的判断”:!$fp->eof() 或者 !feof($fp),加上这个判断影响效率,自己加上测试很多很多很多行的运行时间就晓得了,而且这里加上也完全没必要.
从上面的函数就可以看出来使用SplFileObject比下面的fgets要快多了,特别是文件行数非常多、并且要取后面的内容的时候,fgets要两个循环才可以,并且要循环$endLine次.
此方法花了不少功夫,测试了很多中写法,就是想得出效率最高的方法,哪位觉得有值得改进的欢迎赐教.
使用,返回35270行-35280行的内容,代码如下:
- echo '<pre>';
- var_dump(getFileLines('test.php',35270,35280));
- echo '</pre>';
再看一个实例,代码如下:
- function readBigFile($filename, $count = 20, $tag = "rn") {
- $content = "";//最终内容
- $current = "";//当前读取内容寄存
- $step= 1;//每次走多少字符
- $tagLen = strlen($tag);
- $start = 0;//起始位置
- $i = 0;//计数器
- $handle = fopen($filename,'r+');//读写模式打开文件,指针指向文件起始位置
- while($i < $count && !feof($handle)) {
- fseek($handle, $start, SEEK_SET);//指针设置在文件开头
- $current = fread($handle,$step);//读取文件
- $content .= $current;//组合字符串
- $start += $step;//依据步长向前移动
- //依据分隔符的长度截取字符串最后免得几个字符
- $substrTag = substr($content, -$tagLen);
- if ($substrTag == $tag) { //判断是否为判断是否是换行或其他分隔符
- $i++;
- $content .= "<br />";
- }
- }
- //关闭文件
- fclose($handle);
- //返回结果
- return $content;
- }
- $filename = "csdn.sql";//需要读取的文件
- $tag = "n";//行分隔符 注意这里必须用双引号
- $count = 100;//读取行数
- $data = readBigFile($filename,$count,$tag);
- echo $data;
注意:通过使用PHP的fseek和fread相结合,即可做到随意读取文件中的某一部份数据,关于函数传入的变量$tag的值,根据系统不一样,传入的值也是有区别的:Windows用”rn”,linux/unix用”n”,Mac OS用”r”.
Tags: PHP 读取大文件
相关文章
- ·PHP中通过Web 执行C/C++应用程序(2013-11-13)
- ·用PHP实现Ftp用户的在线管理(2013-11-13)
- ·用PHP自动把纯文本转换成Web页面(2013-11-13)
- ·用实例分析PHP5异常处理(2013-11-13)
- ·php5的simplexml解析错误(2013-11-13)
- ·PHP后门的隐藏技巧测试报告(2013-11-13)
- ·PHP缓存技术详谈(2013-11-27)
- ·利用PHP自定义错误处理器处理出错信息(2013-11-27)
- ·PHP作wap开发时遇到的问题(2013-11-27)
- ·php编写大型网站问题集(2013-11-27)
- ·php测试性能代码(2013-11-28)
- ·php 安全register globals设置为TRUE的危害(2013-11-28)
- ·XSLTProcessor 中 registerPHPFunctions 后无法调用 php 函数(2013-11-30)
- ·PHP中常用三种缓存技术(2013-11-30)
- ·新浪微博PHP版SDK的导致20007错误(2013-12-03)
- ·linux中phpMyAdmin错误提示Wrong permissions on configuration file, should no(2013-12-04)
推荐文章
热门文章
最新评论文章
- 写给考虑创业的年轻程序员(10)
- PHP新手上路(一)(7)
- 惹恼程序员的十件事(5)
- PHP邮件发送例子,已测试成功(5)
- 致初学者:PHP比ASP优秀的七个理由(4)
- PHP会被淘汰吗?(4)
- PHP新手上路(四)(4)
- 如何去学习PHP?(2)
- 简单入门级php分页代码(2)
- php中邮箱email 电话等格式的验证(2)