本站所有内容仅限于本地断网调试与学习,如有侵权请邮件与我们联系处理!

网站首页 蜘蛛池 蜘蛛池技术 正文

自用便于统计360蜘蛛的php代码

曹操 2021-06-28 蜘蛛池技术 241 ℃ 0 评论 1083字 free

前段有时间有分享过《将蜘蛛统计为txt展示的php代码》和《自用便于统计百度蜘蛛的php代码》方便用户使用文本文档的方式查看相关搜索引擎蜘蛛来爬取的url链接,方便查询快照是否收录。

今年做360快照秒收的人也比较多,此时准备一个将360spider抓取的url链接保存为txt就显得尤为重要,我们可以将爬取的链接到IIS7下便捷的一键查询是否收录以及收录数量。

操作方法

在服务器根目录新建:spider.php,代码如下:

<?php
function get_naps_bot()
{
	$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, '360spider') !== false){
	return '360Spider';
}
return false;
}
function nowtime(){
	$date=gmdate("Y-n-j H:i:s",time()+8*3600);
	return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
	$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
	$url=$_SERVER['HTTP_HOST'] . $_SERVER['REQUEST_URI'];
	$file="spiderlogs.txt";
	$time=nowtime();
	$data=fopen($file,"a");
	fwrite($data,"Time:$time robot:$searchbot URL:$url\n");
	fclose($data);
}
?>

在泛目录的index.php/404.php/sitemapphp的等相关蜘蛛会访问到的文件中插入:

include'spider.php';

查看蜘蛛统计的话,访问:您的域名/spiderlogs.txt

Tags:引蜘蛛蜘蛛池程序蜘蛛统计

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

网站分类
***新留言
文章归档
标签列表
站点信息
  • 文章总数:942
  • 页面总数:1
  • 分类总数:44
  • 标签总数:249
  • 评论总数:35
  • 浏览总数:166176
嘿,欢迎咨询