当前位置:首页 > PHP教程 > php应用 > 列表

php结合curl实现多线程抓取

发布:smiling 来源: PHP粉丝网  添加日期:2021-06-10 10:32:57 浏览: 评论:0 

PHP利用 Curl可以完成各种传送文件操作,比如模拟浏览器发送GET,POST请求等等,然而因为php语言本身不支持多线程,所以开发爬虫程序效率并不高,因此经常需要借助Curl Multi Functions 这个功能实现并发多线程的访问多个url地址以实现并发多线程抓取网页或者下载文件。

php结合curl实现多线程抓取

  1. <?php 
  2. /* 
  3. curl 多线程抓取 
  4. */ 
  5.  /**  
  6.    * curl 多线程  
  7.    *  
  8.    * @param array $array 并行网址  
  9.    * @param int $timeout 超时时间 
  10.    * @return array  
  11.    */ 
  12.  function Curl_http($array,$timeout){ 
  13.  $res = array(); 
  14.  $mh = curl_multi_init();//创建多个curl语柄 
  15.  $startime = getmicrotime(); 
  16.  foreach($array as $k=>$url){ 
  17.   $conn[$k]=curl_init($url); 
  18.  
  19.     curl_setopt($conn[$k], CURLOPT_TIMEOUT, $timeout);//设置超时时间 
  20.     curl_setopt($conn[$k], CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 5.01; Windows NT 5.0)'); 
  21.     curl_setopt($conn[$k], CURLOPT_MAXREDIRS, 7);//HTTp定向级别 
  22.     curl_setopt($conn[$k], CURLOPT_HEADER, 0);//这里不要header,加块效率 
  23.     curl_setopt($conn[$k], CURLOPT_FOLLOWLOCATION, 1); // 302 redirect 
  24.     curl_setopt($conn[$k],CURLOPT_RETURNTRANSFER,1); 
  25.     curl_multi_add_handle ($mh,$conn[$k]); 
  26.  } 
  27.  //防止死循环耗死cpu 这段是根据网上的写法 
  28.  do { 
  29.   $mrc = curl_multi_exec($mh,$active);//当无数据,active=true 
  30.  } while ($mrc == CURLM_CALL_MULTI_PERFORM);//当正在接受数据时 
  31.  while ($active and $mrc == CURLM_OK) {//当无数据时或请求暂停时,active=true 
  32.   if (curl_multi_select($mh) != -1) { 
  33.   do { 
  34.    $mrc = curl_multi_exec($mh$active); 
  35.   } while ($mrc == CURLM_CALL_MULTI_PERFORM); 
  36.   } 
  37.  } 
  38.  
  39.  foreach ($array as $k => $url) { 
  40.    curl_error($conn[$k]); 
  41.     $res[$k]=curl_multi_getcontent($conn[$k]);//获得返回信息 
  42.     $header[$k]=curl_getinfo($conn[$k]);//返回头信息 
  43.     curl_close($conn[$k]);//关闭语柄 
  44.     curl_multi_remove_handle($mh , $conn[$k]);  //释放资源  
  45.  } 
  46.  
  47.  curl_multi_close($mh); 
  48.  $endtime = getmicrotime(); 
  49.  $diff_time = $endtime - $startime
  50.  
  51.  return array('diff_time'=>$diff_time
  52.    'return'=>$res
  53.    'header'=>$header 
  54.    ); 
  55.  
  56.  } 
  57.  //计算当前时间 
  58.  function getmicrotime() { 
  59.    list($usec$sec) = explode(" ",microtime()); 
  60.    return ((float)$usec + (float)$sec); 
  61.  } 
  62.  
  63.  //测试一下,curl 三个网址 
  64.  $array = array
  65.   "http://www.weibo.com/"
  66.   "http://www.renren.com/"
  67.   "http://www.qq.com/" 
  68.   ); 
  69.  $data = Curl_http($array,'10');//调用 
  70.  var_dump($data);//输出 
  71. //如果POST的数据大于1024字节,curl并不会直接就发起POST请求 
  72. //发送请求时,header中包含一个空的Expect。curl_setopt($ch, CURLOPT_HTTPHEADER, array("Expect:")); 
  73. ?> 

我们再来看几个例子

(1)下面这段代码是实现抓取多个URL,然后将抓取的URL的页面代码写入指定的文件

  1. $urls = array
  2. 'https://www.phpfensi.net/'
  3. 'http://www.google.com/'
  4. 'http://www.example.com/' 
  5. ); // 设置要抓取的页面URL 
  6. $save_to='/test.txt'// 把抓取的代码写入该文件 
  7. $st = fopen($save_to,"a"); 
  8. $mh = curl_multi_init(); 
  9. foreach ($urls as $i => $url) { 
  10. $conn[$i] = curl_init($url); 
  11. curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)"); 
  12. curl_setopt($conn[$i], CURLOPT_HEADER ,0); 
  13. curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60); 
  14. curl_setopt($conn[$i], CURLOPT_FILE,$st); // 将爬取的代码写入文件 
  15. curl_multi_add_handle ($mh,$conn[$i]); 
  16. // 初始化 
  17. do { 
  18. curl_multi_exec($mh,$active); 
  19. while ($active); // 执行 
  20. foreach ($urls as $i => $url) { 
  21. curl_multi_remove_handle($mh,$conn[$i]); 
  22. curl_close($conn[$i]); 
  23. // 结束清理 
  24. curl_multi_close($mh); 
  25. fclose($st); 

(2)下面这段代码和上面差不多意思,只不过这个地方是将获得的代码先放入变量,然后再将获取到的内容写入指定的文件。

  1. $urls = array
  2. 'https://www.phpfensi.net/'
  3. 'http://www.google.com/'
  4. 'http://www.example.com/' 
  5. ); 
  6. $save_to='/test.txt'// 把抓取的代码写入该文件 
  7. $st = fopen($save_to,"a"); 
  8. $mh = curl_multi_init(); 
  9. foreach ($urls as $i => $url) { 
  10. $conn[$i] = curl_init($url); 
  11. curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)"); 
  12. curl_setopt($conn[$i], CURLOPT_HEADER ,0); 
  13. curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60); 
  14. curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,true); // 不将爬取代码写到浏览器,而是转化为字符串 
  15. curl_multi_add_handle ($mh,$conn[$i]); 
  16. do { 
  17. curl_multi_exec($mh,$active); 
  18. while ($active); 
  19. foreach ($urls as $i => $url) { 
  20. $data = curl_multi_getcontent($conn[$i]); // 获得爬取的代码字符串 
  21. fwrite($st,$data); // 将字符串写入文件 
  22. // 获得数据变量,并写入文件 
  23. foreach ($urls as $i => $url) { 
  24. curl_multi_remove_handle($mh,$conn[$i]); 
  25. curl_close($conn[$i]); 
  26. curl_multi_close($mh); 
  27. fclose($st); 

(3)下面这段代码实现的是利用 PHP 的 Curl Functions 实现并发多线程下载文件

  1. $urls=array
  2.  'https://www.phpfensi.com/5w.zip'
  3.  'https://www.phpfensi.com/5w.zip'
  4.  'https://www.phpfensi.com/5w.zip' 
  5. ); 
  6. $save_to='./home/'
  7. $mh=curl_multi_init(); 
  8. foreach($urls as $i=>$url){ 
  9.  $g=$save_to.basename($url); 
  10.  if(!is_file($g)){ 
  11.    $conn[$i]=curl_init($url); 
  12.    $fp[$i]=fopen($g,"w"); 
  13.    curl_setopt($conn[$i],CURLOPT_USERAGENT,"Mozilla/4.0(compatible; MSIE 7.0; Windows NT 6.0)"); 
  14.    curl_setopt($conn[$i],CURLOPT_FILE,$fp[$i]); 
  15.    curl_setopt($conn[$i],CURLOPT_HEADER ,0); 
  16.    curl_setopt($conn[$i],CURLOPT_CONNECTTIMEOUT,60); 
  17.    curl_multi_add_handle($mh,$conn[$i]); 
  18.  } 
  19. do
  20.  $n=curl_multi_exec($mh,$active); 
  21. }while($active); 
  22. foreach($urls as $i=>$url){ 
  23.  curl_multi_remove_handle($mh,$conn[$i]); 
  24.  curl_close($conn[$i]); 
  25.  fclose($fp[$i]); 
  26. curl_multi_close($mh);$urls=array
  27.  'https://www.phpfensi.com/5w.zip'
  28.  'https://www.phpfensi.com/5w.zip'
  29.  'https://www.phpfensi.com/5w.zip' 
  30. ); 
  31. $save_to='./home/'
  32. $mh=curl_multi_init(); 
  33. foreach($urls as $i=>$url){ 
  34.  $g=$save_to.basename($url); 
  35.  if(!is_file($g)){ 
  36.    $conn[$i]=curl_init($url); 
  37.    $fp[$i]=fopen($g,"w"); 
  38.    curl_setopt($conn[$i],CURLOPT_USERAGENT,"Mozilla/4.0(compatible; MSIE 7.0; Windows NT 6.0)"); 
  39.    curl_setopt($conn[$i],CURLOPT_FILE,$fp[$i]); 
  40.    curl_setopt($conn[$i],CURLOPT_HEADER ,0); 
  41.    curl_setopt($conn[$i],CURLOPT_CONNECTTIMEOUT,60); 
  42.    curl_multi_add_handle($mh,$conn[$i]); 
  43.  } 
  44. do
  45.  $n=curl_multi_exec($mh,$active); 
  46. }while($active); 
  47. foreach($urls as $i=>$url){ 
  48.  curl_multi_remove_handle($mh,$conn[$i]); 
  49.  curl_close($conn[$i]); 
  50.  fclose($fp[$i]); 
  51. curl_multi_close($mh); 

以上所述就是本文的全部内容了,希望大家能够喜欢。

Tags: curl多线程抓取

分享到: