解决php curl_multi批处理造成CPU负载过高问题
发布:smiling 来源: PHP粉丝网 添加日期:2014-08-27 08:52:12 浏览: 评论:0
今天在利用curl_multi函数来获取一些外网内容时发现只要一运行curl_multi函数我的cpu就占得非常的高,后来看一站长分享了此问题解决方法我也整理一下与各位分享一下,希望对大家有帮助.
简单的cURL处理如下,代码如下:
- $ch = curl_init();
- curl_setopt($ch, CURLOPT_URL, 'http://www.phpfensi.com');
- curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
- $con = curl_exec($ch);
- curl_close($ch);
cURL还提供了批量处理会话,下面是cURL批量处理相关函数:
curl_multi_init — 返回一个新cURL批处理句柄
curl_multi_add_handle — 向curl批处理会话中添加单独的curl句柄
curl_multi_exec — 解析一个cURL批处理句柄
curl_multi_getcontent — 如果设置了CURLOPT_RETURNTRANSFER,则返回获取的输出的文本流
curl_multi_select — 等待所有cURL批处理中的活动连接
curl_multi_info_read — 获取当前解析的cURL的相关传输信息
curl_multi_remove_handle — 移除curl批处理句柄资源中的某个句柄资源
curl_multi_close — 关闭一组cURL句柄
看下面使用curl multi批处理的例子,代码如下:
- /**
- * cURL multi批量处理
- *
- * @author mckee
- * @link http://www.phpfensi.com
- *
- */
- $url_array = array(
- 'http://www.phpfensi.net/',
- 'http://www.phpfensi.net/php/627.html',
- 'http://www.phpfensi.net/php/258.html'
- );
- $handles = $contents = array();
- //初始化curl multi对象
- $mh = curl_multi_init();
- //添加curl 批处理会话
- foreach($url_array as $key => $url)
- {
- $handles[$key] = curl_init($url);
- curl_setopt($handles[$key], CURLOPT_RETURNTRANSFER, 1);
- curl_setopt($handles[$key], CURLOPT_TIMEOUT, 10);
- curl_multi_add_handle($mh, $handles[$key]);
- }//开源代码phpfensi.com
- //======================执行批处理句柄=================================
- $active = null;
- do {
- $mrc = curl_multi_exec($mh, $active);
- } while ($mrc == CURLM_CALL_MULTI_PERFORM);
- while ($active and $mrc == CURLM_OK) {
- if(curl_multi_select($mh) === -1){
- usleep(100);
- }
- do {
- $mrc = curl_multi_exec($mh, $active);
- } while ($mrc == CURLM_CALL_MULTI_PERFORM);
- }
- //====================================================================
- //获取批处理内容
- foreach($handles as $i => $ch)
- {
- $content = curl_multi_getcontent($ch);
- $contents[$i] = curl_errno($ch) == 0 ? $content : '';
- }
- //移除批处理句柄
- foreach($handles as $ch)
- {
- curl_multi_remove_handle($mh, $ch);
- }
- //关闭批处理句柄
- curl_multi_close($mh);
- print_r($contents);
上面这段程序重点是执行批处理的那段,普通的处理,代码如下:
do { $n=curl_multi_exec($mh,$active); } while ($active);
会造成CPU Loading过高,因为$active要等全部url数据接受完毕才变成false,所以这里用到了curl_multi_exec的返回值判断是否还有数据,当有数据的时候就不停调用curl_multi_exec,没有执行数据就会sleep,如此就会避免CPU Loading 100%了.
Tags: php curl_multi CPU负载过高
相关文章
- ·PHP中通过Web 执行C/C++应用程序(2013-11-13)
- ·用PHP实现Ftp用户的在线管理(2013-11-13)
- ·用PHP自动把纯文本转换成Web页面(2013-11-13)
- ·用实例分析PHP5异常处理(2013-11-13)
- ·php5的simplexml解析错误(2013-11-13)
- ·PHP后门的隐藏技巧测试报告(2013-11-13)
- ·PHP缓存技术详谈(2013-11-27)
- ·利用PHP自定义错误处理器处理出错信息(2013-11-27)
- ·PHP作wap开发时遇到的问题(2013-11-27)
- ·php编写大型网站问题集(2013-11-27)
- ·php测试性能代码(2013-11-28)
- ·php 安全register globals设置为TRUE的危害(2013-11-28)
- ·XSLTProcessor 中 registerPHPFunctions 后无法调用 php 函数(2013-11-30)
- ·PHP中常用三种缓存技术(2013-11-30)
- ·新浪微博PHP版SDK的导致20007错误(2013-12-03)
- ·linux中phpMyAdmin错误提示Wrong permissions on configuration file, should no(2013-12-04)
推荐文章
热门文章
最新评论文章
- 写给考虑创业的年轻程序员(10)
- PHP新手上路(一)(7)
- 惹恼程序员的十件事(5)
- PHP邮件发送例子,已测试成功(5)
- 致初学者:PHP比ASP优秀的七个理由(4)
- PHP会被淘汰吗?(4)
- PHP新手上路(四)(4)
- 如何去学习PHP?(2)
- 简单入门级php分页代码(2)
- php中邮箱email 电话等格式的验证(2)