当前位置:首页 > PHP教程 > php应用 > 列表

php记录搜索引擎爬行记录的实现代码

发布:smiling 来源: PHP粉丝网  添加日期:2018-06-06 10:13:03 浏览: 评论:0 

下面是完整代码:

  1. //记录搜索引擎爬行记录 $searchbot = get_naps_bot();  
  2. if ($searchbot)  
  3. $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);  
  4. $url = $_SERVER['HTTP_REFERER'];  
  5. $file = WEB_PATH.'robotslogs.txt';  
  6. $date = date('Y-m-d H:i:s');  
  7. $data = fopen($file,'a'); //phpfensi.com 
  8. fwrite($data,"Time:$date robot:$searchbot URL:$tlc_thispage/r/n");  
  9. fclose($data); 

WEB_PATH为index.PHP下define的根目录路径,意思就是说robotslogs.txt文件是放在根目录下的。

通过get_naps_bot()获取蜘蛛爬行记录,然后在通过addslashes处理一下,将数据存储于变量$tlc_thispage中。

fopen打开robotslogs.txt文件,将数据通过函数fwrite写入,在通过函数fclose关闭就可以了。

因为我觉得没必要,所以把自己网站上的代码删除了,所以也没有效果示例了。

PS:php获取各搜索蜘蛛爬行记录的代码

支持如下的搜索引擎:Baidu,Google,Bing,Yahoo,Soso,Sogou,Yodao爬行网站的记录,代码:

  1. <?php  
  2. /** 
  3. * 获取搜索引擎爬行记录 
  4. * edit by www.phpfensi.com 
  5. */ 
  6. function get_naps_bot()  
  7. {  
  8. $useragent = strtolower($_SERVER['HTTP_USER_AGENT']);  
  9. if (strpos($useragent'googlebot') !== false){  
  10. return 'Google';  
  11. }  
  12. if (strpos($useragent'baiduspider') !== false){  
  13. return 'Baidu';  
  14. }  
  15. if (strpos($useragent'msnbot') !== false){  
  16. return 'Bing';  
  17. }  
  18. if (strpos($useragent'slurp') !== false){  
  19. return 'Yahoo';  
  20. }  
  21. if (strpos($useragent'sosospider') !== false){  
  22. return 'Soso';  
  23. }  
  24. if (strpos($useragent'sogou spider') !== false){  
  25. return 'Sogou';  
  26. }  
  27. if (strpos($useragent'yodaobot') !== false){  
  28. return 'Yodao';  
  29. }  
  30. return false;  
  31. }  
  32. function nowtime(){  
  33. $date=date("Y-m-d.G:i:s");  
  34. return $date;  
  35. }  
  36. $searchbot = get_naps_bot();  
  37. if ($searchbot) {  
  38. $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);  
  39. $url=$_SERVER['HTTP_REFERER'];  
  40. $file="www.phpfensi.com.txt";  
  41. $time=nowtime();  
  42. $data=fopen($file,"a");  
  43. fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n");  
  44. fclose($data);  
  45. }  
  46. ?> 

Tags: 代码 搜索引擎

分享到: