php file_get_contents数据采集与常用见问题解决
发布:smiling 来源: PHP粉丝网 添加日期:2014-01-16 15:39:52 浏览: 评论:0
在批量的数据采集在php中很少会使用file_get_contents函数来操作,但是如果是小量的我们可以使用file_get_contents函数操作,因为它不但好用而且简单易学,下面我来介绍file_get_contents用法与使用过程中的问题解决办法。
先来看问题,file_get_contents不能获取带端口的网址,例如如下代码:
file_get_contents('http://localhost:12345');
没有任何获取,解决方法是:关闭selinux
1 永久方法 – 需要重启服务器
修改/etc/selinux/config文件中设置SELINUX=disabled ,然后重启服务器。
2 临时方法 – 设置系统参数
使用命令setenforce 0附:
setenforce 1 设置SELinux 成为enforcing模式
setenforce 0 设置SELinux 成为permissive模式
file_get_contents超时,代码如下:
- function _file_get_contents($url)
- {
- $context = stream_context_create(array(
- 'http' => array(
- 'timeout' => 180 //超时时间,单位为秒
- )
- ));
- return @file_get_contents($url, 0, $context);
- }
好了上面的问题得到解决之后我们可以开始采集了,代码如下:
- <?php
- //全国,判断条件是$REQUEST_URI是否含有html
- if (!strpos($_SERVER["REQUEST_URI"],".html"))
- {
- $page="http://qq.ip138.com/weather/";
- $html = file_get_contents($page,'r');
- $pattern="/<B>全国主要城市、县当天和未来五天天气趋势预报在线查询</B>(.*?)<center style="padding:3px">/si";
- //正则匹配之间的html
- preg_match($pattern,$html,$pg);
- echo "";
- //正则替换远程地址为本地地址
- $p=preg_replace('//weather/(w+)/index.htm/', 'tq.php/$1.html', $pg[1]);
- echo $p;
- }
- //省,判断条件是$REQUEST_URI是否含有?
- else if(!strpos($_SERVER["REQUEST_URI"],"?")){
- //yoyo推荐的使用分割获得数据,这里是获得省份名称
- $province=explode("/",$_SERVER["REQUEST_URI"]);
- $province=explode(".",$province[count($province)-1]);
- $province=$province[0];
- //被注释掉的是我自己写出来的正则,感觉写的不好,但效果等同上面
- //preg_match('/[^/]+[.(html)]$/',$_SERVER["REQUEST_URI"],$pro);
- //$province=preg_replace('/.html/','',$pro[0]);
- $page="http://qq.ip138.com/weather/".$province."/index.htm";
- //获取html数据之前先尝试打开页面,防止恶意输入地址导致出错
- if (!@fopen($page, "r")) {
- die("对不起,该地址不存在!<a href=javascript:history.back(1)>点击这里返回</a>");
- exit(0);
- }
- $html = file_get_contents($page,'r');
- $pattern="/五天天气趋势预报</B>(.*?)请输入输入市/si";
- preg_match($pattern,$html,$pg);
- echo "";
- //正则替换,获取省份,城市
- $p=preg_replace('//weather/(w+)/(w+).htm/', '$2.html?pro=$1', $pg[1]);
- echo $p;
- }
- else {
- //市,通过get传递省份
- $pro=$_REQUEST['pro'];
- $city=explode("/",$_SERVER["REQUEST_URI"]);
- $city=explode(".",$city[count($city)-1]);
- $city=$city[0];
- //preg_match('/[^/]+[.(html)]+[?]/',$_SERVER["REQUEST_URI"],$cit);
- //$city=preg_replace('/.html?/','',$cit[0]);
- $page="http://qq.ip138.com/weather/".$pro."/".$city.".htm";
- if (!@fopen($page, "r")) {
- die("对不起,该地址不存在!<a href=javascript:history.back(1)>点击这里返回</a>");
- exit(0);
- }
- $html = file_get_contents($page,'r');
- $pattern="/五天天气趋势预报</B>(.*?)请输入输入市/si";
- preg_match($pattern,$html,$pg);
- echo "";
- //获取真实的图片地址
- $p=preg_replace('//image//', 'http://qq.ip138.com/image/', $pg[1]);
- echo $p;
- }
- ?>
如果上面办法无法采集到数据我们可以使用以下代码来处理,代码如下:
- <?php
- $url = "http://www.phpfensi.com";
- $ch = curl_init();
- $timeout = 5;
- curl_setopt($ch, CURLOPT_URL, $url);
- curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
- curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
- //在需要用户检测的网页里需要增加下面两行
- //curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_ANY);
- //curl_setopt($ch, CURLOPT_USERPWD, US_NAME.":".US_PWD);
- $contents = curl_exec($ch);
- curl_close($ch);
- echo $contents;
- ?>
Tags: file_get_contents 数据采集
相关文章
- ·php中file_get_contents获取网页乱码解决办法(2013-12-05)
- ·php file_get_contents与curl()函数对比(2014-01-16)
- ·php中常用文件操作读写函数介绍(2014-03-28)
- ·php中curl和file_get_content函数抓页面对比(2014-06-21)
- ·php中file_get_contents和curl两个函数用法(2014-08-02)
- ·file_get_contents实现数据Post数据方法(2014-08-04)
- ·file_get_contents获取远程网页内容函数(2014-09-20)
- ·php中file_get_contents代替使用curl示例(2015-04-09)
- ·PHP CURL或file_get_contents获取网页标题的代码(2015-04-10)
- ·php中file_get_contents函数高级用法(2015-04-15)
- ·PHP file_get_contents函数读取远程数据超时的解决方法(2021-05-26)
- ·php中file_get_contents()函数用法实例(2021-11-10)
推荐文章
热门文章
最新评论文章
- 写给考虑创业的年轻程序员(10)
- PHP新手上路(一)(7)
- 惹恼程序员的十件事(5)
- PHP邮件发送例子,已测试成功(5)
- 致初学者:PHP比ASP优秀的七个理由(4)
- PHP会被淘汰吗?(4)
- PHP新手上路(四)(4)
- 如何去学习PHP?(2)
- 简单入门级php分页代码(2)
- php中邮箱email 电话等格式的验证(2)