PHP统计nginx访问日志中的搜索引擎抓取404链接页面路径
发布:smiling 来源: PHP粉丝网 添加日期:2021-03-03 15:27:39 浏览: 评论:0
这篇文章主要介绍了PHP统计nginx访问日志中的搜索引擎抓取404链接页面路径,可以对每个搜索引擎单独统计,需要的朋友可以参考下。
我在服务器上有每天切割nginx日志的习惯,所以针对每天各大搜索引擎来访,总能记录一些404页面信息,传统上我只是偶尔分析下日志,但是对于很多日志信息的朋友,人工来筛选可能不是一件容易的事情,这不我个人自己慢慢研究了一点点,针对谷歌、百度、搜搜、360搜索、宜搜、搜狗、必应等搜索引擎的404访问生成为一个txt文本文件,直接上代码test.php,代码如下:
- <?php
- //访问test.php?s=google
- $domain='https://www.phpfensi.com';
- $spiders=array('baidu'=>'Baiduspider','360'=>'360Spider',
- 'google'=>'Googlebot','soso'=>'Sosospider','sogou'=>
- 'Sogou web spider','easou'=>'EasouSpider','bing'=>'bingbot');
- $path='/home/nginx/logs/'.date('Y/m/').(date('d')-1).'/access_www.txt';
- $s=$_GET['s'];
- if(!array_key_exists($s,$spiders)) die();
- $spider=$spiders[$s];
- $file=$s.'_'.date('ym').(date('d')-1).'.txt';
- if(!file_exists($file)){
- $in=file_get_contents($path);
- $pattern='/GET (.*) HTTP\/1.1" 404.*'.$spider.'/';
- preg_match_all ( $pattern , $in , $matches );
- $out='';
- foreach($matches[1] as $k=>$v){
- $out.=$domain.$v."\r\n";
- }
- file_put_contents($file,$out);
- }
- $url=$domain.'/silian/'.$file;
- echo $url;
好就这样了。没有什么高深的技术,只有动手写的过程。
Tags: PHP统计nginx访问日志
推荐文章
热门文章
最新评论文章
- 写给考虑创业的年轻程序员(10)
- PHP新手上路(一)(7)
- 惹恼程序员的十件事(5)
- PHP邮件发送例子,已测试成功(5)
- 致初学者:PHP比ASP优秀的七个理由(4)
- PHP会被淘汰吗?(4)
- PHP新手上路(四)(4)
- 如何去学习PHP?(2)
- 简单入门级php分页代码(2)
- php中邮箱email 电话等格式的验证(2)