WordPress博客如何记录搜索引擎蜘蛛爬行痕迹
发布:smiling 来源: PHP粉丝网 添加日期:2014-03-19 14:05:21 浏览: 评论:0
要统计蜘蛛爬行痕迹我们在php中使用HTTP_USER_AGENT获取用户行为信息,然后再判断是不是包括搜索引擎蜘蛛的相关参数了,如果有就是搜索引擎蜘蛛了.
WordPress博客记录搜索引擎蜘蛛爬行痕迹插件:
1、搜索引擎蜘蛛爬行记录器Spider Tracker插件可以记录百度、谷歌、雅虎、必应、搜狗、搜搜6种搜索引擎的蜘蛛爬行痕迹,并生成统计图表,可以清晰的看到,近6日的各种搜索引擎的蜘蛛数量,以及当日的哪些时间,蜘蛛来过站里,又抓取了哪些网址。
2、wp-log-robots 插件大小仅3KB,wp-log-robots是一个记录搜索引擎蜘蛛爬虫活动记录的WordPress插件,插件主文件只有一个 wp-log-robots.php,关键它的统计数据不用添加到数据库中,而是以文本文件记录下来的,比如你的博客地址是:http://www.phpfensi.com,那么机器人日志文件的存放位置是:/robots_log.txt 。我们只要把这个地址添加到搜藏夹,就可以方便的查看各个搜索引擎的抓取情况。
在博客后台插件-安装插件-搜索“wp-log-robots”-点击现在安装,然后再插件页面启用该插件,不需要设置,就会开始记录搜索引擎机器人的爬行记录,提示:插件刚启动的时候robots_log.txt 文件还没有建立,是个404页面,要等有搜索引擎来过之后,才会建立这个文件.)
WordPress博客记录搜索引擎蜘蛛爬行痕迹代码:
1.首先,在wordpress主题根目录建立一个robots.php文件,写入以下内容,支持搜索引擎如下,可以记录Baidu,Google,Bing,Yahoo,Soso,Sogou,Yodao爬行网站的记录!
php代码如下:
- <?php
- function get_naps_bot()
- {
- $useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
- if (strpos($useragent, 'googlebot') !== false){
- return 'Google';
- }
- if (strpos($useragent, 'baiduspider') !== false){
- return 'Baidu';
- }
- if (strpos($useragent, 'msnbot') !== false){
- return 'Bing';
- }
- if (strpos($useragent, 'slurp') !== false){
- return 'Yahoo';
- }
- if (strpos($useragent, 'sosospider') !== false){
- return 'Soso';
- }
- if (strpos($useragent, 'sogou spider') !== false){
- return 'Sogou';
- }
- if (strpos($useragent, 'yodaobot') !== false){
- return 'Yodao';
- }
- return false;
- }
- function nowtime(){
- $date=date("Y-m-d.G:i:s");
- return $date;
- }
- $searchbot = get_naps_bot();
- if ($searchbot) {
- $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
- $url=$_SERVER['HTTP_REFERER'];
- $file="www.phpfensi.com.txt";
- $time=nowtime();
- $data=fopen($file,"a");
- fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispagen");
- fclose($data);
- }
- //http://www.phpfensi.com收集整理
- ?>
将其上传于你的主题目录内.
2.在Footer.php或header.php的适当位置添加以下代码调用robots.php,查看源代码打印帮助:<?php include(’robots.php’) ?>
程序原理:通过对蜘蛛标识符(如Baiduspider、Googlebot)的判断,记录蜘蛛爬行时间,并生成日志文件robotslogs.txt于根目录.
Tags: WordPress博客 搜索引擎 蜘蛛
相关文章
- ·WordPress初级教程-7: 一个数据库中安装多个WordPress博客(2013-11-11)
- ·wordpress博客怎么内容添加视频(2014-03-18)
- ·wordpress博客添加返回顶部按钮方法(2014-03-18)
- ·wordpress博客feed页面报错解决办法(2014-03-19)
- ·wordpress博客安全配置的一些方法总结(2014-03-23)
- ·WordPress博客页面增加最近访客功能(2014-06-20)
- ·“零基础”教程 - 如何搭建wordpress博客(2014-11-21)
- ·如何利用wordpress搭建个人博客网站(2015-09-23)
- ·自己开发wordpress博客模板之入门篇(2015-09-24)
- ·我是否需要一个网站?(2015-09-24)
- ·WordPress搜索引擎优化seo全攻略(2018-12-04)
- ·最好的WordPress搜索引擎优化技巧,你应该完全尝试(2018-12-21)
- ·WordPress搜索引擎优化(SEO)四大原则(2018-12-24)
推荐文章
热门文章
最新评论文章
- 写给考虑创业的年轻程序员(10)
- PHP新手上路(一)(7)
- 惹恼程序员的十件事(5)
- PHP邮件发送例子,已测试成功(5)
- 致初学者:PHP比ASP优秀的七个理由(4)
- PHP会被淘汰吗?(4)
- PHP新手上路(四)(4)
- 如何去学习PHP?(2)
- 简单入门级php分页代码(2)
- php中邮箱email 电话等格式的验证(2)