提取链接是一个很简单的做法了,下面这个例子相对来讲是比较全面了,下面我们一起来看看这个php curl采集页面内容并提取所有的链接例子.

本文承接上面两篇,本篇中的示例要调用到前两篇中的函数,做一个简单的URL采集,一般php采集网络数据会用file_get_contents、file和cURL,不过据说cURL会比file_get_contents、file更快更专业,更适合采集,今天就试试用cURL来获取网页上的所有链接,示例如下:

1. <?php 
2. /* 
3.  * 使用curl 采集phpfensi.com下的所有链接。 
4.  */ 
5. include_once('function.php'); 
6. $ch = curl_init(); 
7. curl_setopt($ch, CURLOPT_URL, 'http://www.phpfensi.com/'); 
8. // 只需返回HTTP header 
9. curl_setopt($ch, CURLOPT_HEADER, 1); 
10. // 页面内容我们并不需要 
11. // curl_setopt($ch, CURLOPT_NOBODY, 1); 
12. // 返回结果，而不是输出它 
13. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
14. $html = curl_exec($ch); 
15. $info = curl_getinfo($ch); 
16. if ($html === false) { 
17.  echo "cURL Error: " . curl_error($ch); 
18. } 
19. curl_close($ch); 
20. $linkarr = _striplinks($html); 
21. // 主机部分，补全用 
22. $host = 'http://www.phpfensi.com/'; 
23. if (is_array($linkarr)) { 
24.  foreach ($linkarr as $k => $v) { 
25.   $linkresult[$k] = _expandlinks($v, $host); 
26.  } 
27. } 
28. printf("<p>此页面的所有链接为：</p><pre>%s</pre>n", var_export($linkresult , true)); 
29. ?> 

function.php内容如下,即为上两篇中两个函数的合集:

1. <?php 
2. function _striplinks($document) { 
3.  preg_match_all("'<s*as.*?hrefs*=s*(["'])?(?(1) (.*?)＼1 | ([^s>]+))'isx", $document, $links); 
4.  // catenate the non-empty matches from the conditional subpattern 
5.  while (list($key, $val) = each($links[2])) { 
6.   if (!emptyempty($val)) 
7.    $match[] = $val; 
8.  } while (list($key, $val) = each($links[3])) { 
9.   if (!emptyempty($val)) 
10.    $match[] = $val; 
11.  } 
12.  // return the links 
13.  return $match; 
14. } 
15. /*===================================================================* 
16.  Function: _expandlinks 
17.  Purpose: expand each link into a fully qualified URL 
18.  Input:  $links   the links to qualify 
19.     $URI   the full URI to get the base from 
20.  Output:  $expandedLinks the expanded links 
21. *===================================================================*/ 
22. function _expandlinks($links,$URI) 
23. { 
24.  $URI_PARTS = parse_url($URI); 
25.  $host = $URI_PARTS["host"]; 
26.  preg_match("/^[^?]+/",$URI,$match); 
27.  $match = preg_replace("|/[^/.]+.[^/.]+$|","",$match[0]); 
28.  $match = preg_replace("|/$|","",$match); 
29.  $match_part = parse_url($match); 
30.  $match_root = 
31.  $match_part["scheme"]."://".$match_part["host"]; 
32.  $search = array(  "|^http://".preg_quote($host)."|i", 
33.       "|^(/)|i", 
34.       "|^(?!http://)(?!mailto:)|i", 
35.       "|/./|", 
36.       "|/[^/]+/../|" 
37.      ); 
38.  $replace = array( "", 
39.       $match_root."/", 
40.       $match."/", 
41.       "/", 
42.       "/" 
43.      ); 
44.  $expandedLinks = preg_replace($search,$replace,$links); 
45.  return $expandedLinks; 
46. } 
47. ?> 

具体想要和file_get_contents做一个比较的话,可以利用linux下的time命令查看两者执行各需多长时间,据目前测试看是CURL更快一些,最后链接下上面两个函数相关介绍.

匹配链接函数:function _striplinks()

相对路径转绝对:function _expandlinks()

Tags: curl采集页面 php提取链接

分享到：