php多线程的使用,首先需要PHP5.3以上版本,并安装pthreads PHP扩展,可以使PHP真正的支持多线程,扩展如何安装请自行百度.

PHP扩展下载：https://github.com/krakjoe/pthreads

PHP手册文档：http://php.net/manual/zh/book.pthreads.php

在安装好扩展之后,就可以运用多线程了,下面贴个通过搜索结果抓取百度网盘内容的代码:

1. <?php 
2. include 'include/CurlLoad.class.php'; // 引入读取库 
3. /** 
4.  * 多线程抓取内容 
5.  * @param array $url 待抓取URL列表集合 
6.  * @return 成功返回指定内容，失败返回NULL 
7.  */ 
8. function vget($url) { 
9.  $ret = BaiduSRLinksGet ( $url, 1 ); // 获取结果列表地址 
10.  if ($ret != null) { 
11.   if (array_key_exists ( "links", $ret )) { 
12.    $infos = array (); 
13.    $number = count ( $ret ['links'] ); 
14.    for($i = 0; $i < $number; $i ++) {//循环创建线程对象 
15.     $thread_array [$i] = new baidu_thread_run ( $ret ['links'] [$i] ); 
16.     $thread_array [$i]->start (); 
17.    } 
18.    foreach ( $thread_array as $thread_array_key => $thread_array_value ) {//检查线程是否执行结束 
19.     while ( $thread_array [$thread_array_key]->isRunning () ) { 
20.      usleep ( 10 ); 
21.     } 
22.     if ($thread_array [$thread_array_key]->join ()) {//如果执行结束，取出结果 
23.      $temp = $thread_array [$thread_array_key]->data; 
24.      if ($temp != null) 
25.       $infos ['res'] [] = $temp; 
26.     } 
27.    } 
28.    $infos ['pages'] = $ret ['pages']; 
29.    $infos ['status'] = "1"; 
30.   } else 
31.   $infos = null; 
32.  } else 
33.   $infos = null; 
34.  return $infos; 
35. } 
36. /** 
37.  * 获取百度搜索结果列表URL 
38.  * 
39.  * @param string $url 
40.  *         搜索结果页URL 
41.  * @param int $format 
42.  *         默认$format=0，获取默认地址；$format=1获取跳转后真实地址 
43.  * @return NULL multitype:array() 
44.  */ 
45. function BaiduSRLinksGet($url, $format = 0) { 
46.  $html = CurlLoad::HtmlGet ( $url ); // 获取页面 
47.  if ($html == null) 
48.   return null; 
49.  try { 
50.   preg_match_all ( "/"url":"(?<links>.*)"}/", $html, $rets ); // 搜索结果链接筛选 
51.   if (! array_key_exists ( 'links', $rets )) // 如果数组中不包含Links键名，表示获取失败 
52.    return null; 
53.   $ret = array (); 
54.   if ($format == 1) { 
55.    $number = count ( $rets ['links'] ); 
56.    for($i = 0; $i < $number; $i ++) { 
57.     $headr_temp = CurlLoad::Get_Headers ( $rets ['links'] [$i], 1 ); // 通过headr获取真实地址 
58.     if (array_key_exists ( "Location", $headr_temp )) 
59.      $ret ['links'] [$i] = $headr_temp ['Location']; 
60.     else 
61.      $ret ['links'] = $rets ['links']; 
62.    } 
63.   } else 
64.    $ret ['links'] = $rets ['links']; 
65.   preg_match_all ( '/href="?/s?wd=site%3Apan.baidu.com%20(?<url>.+?)&ie=utf-8">/', $html, $out ); 
66.   unset ( $out ['url'] [0] ); 
67.   $number = count ( $out ['url'] ); 
68.   for($i = 1; $i < $number; $i ++) { 
69.    preg_match_all ( '/&pn=(.*)/', $out ['url'] [$i], $temp ); 
70.    $ret ['pages'] [$temp [1] [0] / 10] = base64_encode ( $out ['url'] [$i] ); 
71.   } 
72.   return $ret; 
73.  } catch ( Exception $e ) { 
74.   WriteLog ( $e ); 
75.   return null; 
76.  } 
77. } 
78. /** 
79.  * 百度网盘资源信息获取 
80.  * 
81.  * @param string $url 
82.  *         网盘资源页URL 
83.  * @return NULL array 
84.  */ 
85. function PanInfoGet($url) { 
86.  $html = CurlLoad::HtmlGet ( $url ); // 获取页面 
87.  if ($html == null) 
88.   return null; 
89.  try { 
90.   if (preg_match_all ( "/文件名:(?<name>.*) 文件大小:(?<size>.*) 分享者:(?<user>.*) 分享时间:(?<date>.*) 下载次数:(?<number>[0-9]+)/", $html, $ret ) == 0) 
91.    return null; 
92.   $rets ['name'] = $ret ['name'] [0]; 
93.   $rets ['size'] = $ret ['size'] [0]; 
94.   $rets ['user'] = $ret ['user'] [0]; 
95.   $rets ['date'] = $ret ['date'] [0]; 
96.   $rets ['number'] = $ret ['number'] [0]; 
97.   $rets ['link'] = $url; 
98.   return $rets; 
99.  } catch ( Exception $e ) { 
100.   WriteLog ( $e ); 
101.   return null; 
102.  } 
103. } 
104. function WriteLog($str) { 
105.  $file = fopen ( "../error.log", "a+" ); 
106.  fwrite ( $file, "Warning:" . date ( "Y/m/d H:i:s" ) . ":" . $str . "rn" ); 
107.  fclose ( $file ); 
108. } 
109. /** 
110.  * 多线程抓取对象 
111.  * @author MuXi 
112.  * 
113.  */ 
114. class baidu_thread_run extends Thread { 
115.  public $url; 
116.  public $data; 
117.  public function __construct($url) { 
118.   $this->url = $url; 
119.  } 
120.  public function run() { 
121.   if (($url = $this->url)) { 
122.    $this->data = PanInfoGet ( $url );//线程执行方法 
123.   } 
124.  } 
125. } 
126. ?> 

Tags: php多线程 thread开发

分享到：