当前位置:首页 > PHP教程 > php应用 > 列表

PHP统计nginx访问日志中的搜索引擎抓取404链接页面路径

发布:smiling 来源: PHP粉丝网  添加日期:2021-03-03 15:27:39 浏览: 评论:0 

这篇文章主要介绍了PHP统计nginx访问日志中的搜索引擎抓取404链接页面路径,可以对每个搜索引擎单独统计,需要的朋友可以参考下。

我在服务器上有每天切割nginx日志的习惯,所以针对每天各大搜索引擎来访,总能记录一些404页面信息,传统上我只是偶尔分析下日志,但是对于很多日志信息的朋友,人工来筛选可能不是一件容易的事情,这不我个人自己慢慢研究了一点点,针对谷歌、百度、搜搜、360搜索、宜搜、搜狗、必应等搜索引擎的404访问生成为一个txt文本文件,直接上代码test.php,代码如下:

  1. <?php 
  2. //访问test.php?s=google 
  3. $domain='https://www.phpfensi.com'
  4. $spiders=array('baidu'=>'Baiduspider','360'=>'360Spider'
  5. 'google'=>'Googlebot','soso'=>'Sosospider','sogou'=> 
  6. 'Sogou web spider','easou'=>'EasouSpider','bing'=>'bingbot'); 
  7.  
  8. $path='/home/nginx/logs/'.date('Y/m/').(date('d')-1).'/access_www.txt'
  9.  
  10. $s=$_GET['s']; 
  11.  
  12. if(!array_key_exists($s,$spiders)) die(); 
  13. $spider=$spiders[$s]; 
  14.  
  15. $file=$s.'_'.date('ym').(date('d')-1).'.txt'
  16. if(!file_exists($file)){ 
  17.     $in=file_get_contents($path); 
  18.     $pattern='/GET (.*) HTTP\/1.1" 404.*'.$spider.'/'
  19.     preg_match_all ( $pattern , $in , $matches ); 
  20.     $out=''
  21.     foreach($matches[1] as $k=>$v){ 
  22.         $out.=$domain.$v."\r\n"
  23.     } 
  24.     file_put_contents($file,$out); 
  25.  
  26. $url=$domain.'/silian/'.$file
  27. echo $url

好就这样了。没有什么高深的技术,只有动手写的过程。

Tags: PHP统计nginx访问日志

分享到: