先来看蜘蛛列表:

搜索引擎 user-agent(包含) 是否PTR 备注

google Googlebot √ host ip  得到域名：googlebot.com主域名

baidu Baiduspider √ host ip  得到域名：*.baidu.com 或 *.baidu.jp

yahoo Yahoo! √ host ip  得到域名：inktomisearch.com主域名

Sogou Sogou ×

*Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)

*Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)

网易 YodaoBot × *Mozilla/5.0 (compatible; YodaoBot/1.0;http://www.yodao.com/help/webmaster/spider/”; )

MSN MSNBot √ host ip  得到域名：live.com主域名

360 360Spider × Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.8.0.11)  Firefox/1.5.0.11; 360Spider

soso Sosospider × Sosospider+(+http://help.soso.com/webspider.htm)

bing bingbot √ host ip  得到域名：msn.com主域名

再来看看例子:

1. <?php 
2. //php判断搜索引擎蜘蛛爬虫的方法 
3.  
4. function checkrobot($useragent='') { 
5.     static $kw_spiders = array('bot', 'crawl', 'spider', 'slurp', 'sohu-search', 'lycos', 'robozilla'); 
6.     static $kw_browsers = array('msie', 'netscape', 'opera', 'konqueror', 'mozilla'); 
7.  
8.     $useragent = strtolower(emptyempty($useragent) ? $_SERVER['HTTP_USER_AGENT'] : $useragent); 
9.     if (strpos($useragent, 'http://') === false && dstrpos($useragent, $kw_browsers)) 
10.         return false; 
11.     if (dstrpos($useragent, $kw_spiders)) 
12.         return true; 
13.     return false; 
14. } 
15.  
16. function dstrpos($string, $arr, $returnvalue = false) { 
17.     if (emptyempty($string)) 
18.         return false; 
19.     foreach ((array) $arr as $v) { 
20.         if (strpos($string, $v) !== false) { 
21.             $return = $returnvalue ? $v : true; 
22.             return $return; 
23.         } //phpfensi.com 
24.     } 
25.     return false; 
26. } 
27.  
28. if(checkrobot()){ 
29.     echo '蜘蛛'; 
30. }else{ 
31.     echo '人类'; 
32. } 
33.  
34. ?> 

PHP反解析IP方法,例子:

 

1. /** 
2.  *检查IP及蜘蛛真实性 
3.  * (check_spider('66.249.74.44',$_SERVER['HTTP_USER_AGENT'])); 
4.  * @copyright  http://blog.chacuo.net 
5.  * @author 8292669 
6.  * @param string $ip IP地址 
7.  * @param string $ua ua地址 
8.  * @return false|spidername  false检测失败不在指定列表中 
9.  */ 
10. function check_spider($ip,$ua) 
11. { 
12.  static $spider_list=array( 
13.  'google'=>array('Googlebot','googlebot.com'), 
14.  'baidu'=>array('Baiduspider','.baidu.'), 
15.  'yahoo'=>array('Yahoo!','inktomisearch.com'), 
16.  'msn'=>array('MSNBot','live.com'), 
17.  'bing'=>array('bingbot','msn.com') 
18.  ); 
19.   
20.  if(!preg_match('/^(\d{1,3}\.){3}\d{1,3}$/',$ip)) return false; 
21.  if(emptyempty($ua)) return false; 
22.   
23.  foreach ($spider_list as $k=>$v) 
24.  { 
25.   ///如果找到了 
26.   if(stripos($ua,$v[0])!==false) 
27.   { 
28.    $domain = gethostbyaddr($ip); 
29.  
30.    if($domain && stripos($domain,$v[1])!==false) 
31.    { 
32.     return $k; 
33.    } //phpfensi.com 
34.   } 
35.  } 
36.  return false; 
37. } 

目前只加入几个搜索引擎检测，这些是可以做反解析查询的。不能做反解析查询的，最好做速度限制，用户会使用它们来伪造搜索引擎来抓取你的资源。

Tags: 爬虫 蜘蛛 搜索引擎

分享到：