网站首页 蜘蛛池 蜘蛛池技术 正文
以前分享过类似的代码,但是没有做出注释,并且部分代码有累赘,所以重新分享一下,下面是完整代码:
//记录搜索引擎爬行记录 $searchbot = get_naps_bot();
if ($searchbot) { $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); //首先读取UA并小写处理 $url = $_SERVER['HTTP_REFERER']; //输出URL $file = WEB_PATH.'robotslogs.txt'; //这里设置蜘蛛记录文件的路径及文件名 $date = date('Y-m-d H:i:s'); //输出时间 $data = fopen($file,'a'); //调用文本 fwrite($data,"Time:$date robot:$searchbot URL:$tlc_thispage/r/n"); //这里进行蜘蛛输出 fclose($data); }
WEB_PATH为index.php下define的根目录路径,意思就是说robotslogs.txt文件是放在根目录下的。
通过get_naps_bot()获取蜘蛛爬行记录,然后在通过addslashes处理一下,将数据存储于变量$tlc_thispage中。
fopen打开robotslogs.txt文件,将数据通过函数fwrite写入,在通过函数fclose关闭就可以了。
多搜索引擎的蜘蛛记录代码
支持如下的搜索引擎:Baidu,Google,Bing,Yahoo,Soso,Sogou,Yodao爬行网站的记录!
<?php /** * 获取搜索引擎爬行记录 * edit by www.jb51.net */ function get_naps_bot() { $useragent = strtolower($_SERVER['HTTP_USER_AGENT']); if (strpos($useragent, 'googlebot') !== false){ return 'Google'; } if (strpos($useragent, 'baiduspider') !== false){ return 'Baidu'; } if (strpos($useragent, 'msnbot') !== false){ return 'Bing'; } if (strpos($useragent, 'slurp') !== false){ return 'Yahoo'; } if (strpos($useragent, 'sosospider') !== false){ return 'Soso'; } if (strpos($useragent, 'sogou spider') !== false){ return 'Sogou'; } if (strpos($useragent, 'yodaobot') !== false){ return 'Yodao'; } return false; } function nowtime(){ $date=date("Y-m-d.G:i:s"); return $date; } $searchbot = get_naps_bot(); if ($searchbot) { $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); $url=$_SERVER['HTTP_REFERER']; $file="www.jb51.net.txt"; $time=nowtime(); $data=fopen($file,"a"); fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n"); fclose($data); } ?>
总结
以上所述是小编给大家介绍的php记录搜索引擎爬行记录,希望对大家有所帮助,如果大家有任何疑问请在文章下方留言,看到会及时回复大家的。
必看说明
- 本站中所有被研究的素材与信息全部来源于互联网,版权争议与本站无关。
- 本站文章或仅为文本内容原创,非程序原创。如有侵权、不妥之处,请联系站长第一时间删除。敬请谅解!
- 本站所有内容严格遵守国家法律的条例,所有研究的算法技术均来源于搜索引擎公开默认允许用户研究使用的接口。
- 阅读本文及获取资源前,请确保您已充分阅读并理解《访问曹操SEO网站需知:行为准则》。
- 本站分享的任何工具、程序仅供学习参考编写架构,仅可在本地的虚拟机内断网测试,严禁联网运行或上传搭建!
- 任何资源必须在下载后24个小时内,从电脑中彻底删除。不得传播或者用于其他任何用途!否则一切后果用户自负!
- 转载请注明 : 文章转载自 曹操资源网 php记录搜索引擎爬行记录的实现代码
- 本文标题:《php记录搜索引擎爬行记录的实现代码》
- 本文链接:http://www.ccooc.cc/1154.html
猜你喜欢
- 2023-05-10 使用php在拼音转文字时过滤掉标点符号及英文字符
- 2023-05-10 深度解析泛目录站群的优缺点及注意事项
- 2023-05-10 黑帽SEO手段之泛站群
- 2023-05-10 百度搜索API参数详解
- 2023-05-07 多搜索引擎采集关键词工具(带源码)
- 2023-05-07 卓越关键词自动拓展采集工具
- 2023-04-24 深入解读百度移动端搜索链接参数
- 2023-04-24 深入解读百度PC端搜索链接参数
- 2023-04-24 深入解析百度搜索中的参数以及其作用
- 2023-04-24 理解百度搜索的URL参数含义
你 发表评论:
欢迎- 05-26警惕“冒用身份”的电信网络诈骗
- 05-11PHP使用纯真IP数据库输出ip位置
- 05-11ChatGPT的高效应用:指令大全
- 05-10堤防“瑞熙工作室”利用QQ及微信诈骗
- 05-10手机狐狸网资讯站群程序
- 05-10使用php在拼音转文字时过滤掉标点符号及英文字符
- 05-10买卖备案域名的法律规定
- 05-10泛目录站群的操作方法及注意事项
- 15℃警惕“冒用身份”的电信网络诈骗
- 18℃「百日行动」“断卡”行动持续发力
- 17℃遵纪守法:一起举报违法网址
- 225℃提防以免费做蜘蛛池为幌子卖域名的套路
- 288℃群内一切的私下交易行为,与我站无关!
- 23℃堤防“瑞熙工作室”利用QQ及微信诈骗
- 305℃提防“凤凰于飞”诈骗,加强网络安全认知!
- 402℃关于近期网站内容修改短期闭站的情况通知
- 文章归档
-
- 2023年5月 (17)
- 2023年4月 (45)
- 2023年3月 (23)
- 2023年2月 (9)
- 2023年1月 (11)
- 2022年12月 (9)
- 2022年11月 (4)
- 2022年10月 (33)
- 2022年9月 (41)
- 2022年8月 (19)
- 2022年7月 (19)
- 2022年6月 (20)
- 2022年5月 (9)
- 2022年4月 (42)
- 2022年3月 (65)
- 2022年2月 (1)
- 2022年1月 (4)
- 2021年12月 (23)
- 2021年11月 (2)
- 2021年10月 (4)
- 2021年9月 (22)
- 2021年8月 (70)
- 2021年7月 (1)
- 2021年6月 (21)
- 2021年5月 (28)
- 2021年4月 (1)
- 2021年3月 (42)
- 2021年1月 (8)
- 2020年12月 (34)
- 2020年11月 (15)
- 2020年10月 (39)
- 2020年9月 (107)
- 2020年8月 (37)
- 2020年7月 (22)
- 2020年6月 (46)
- 2020年5月 (120)
- 2020年4月 (76)
- 2020年3月 (81)
- 2020年2月 (69)
- 2020年1月 (14)
- 2019年12月 (38)
- 2019年11月 (11)
- 2019年10月 (25)
- 2019年9月 (2)
- 2017年10月 (1)
- 标签列表
- 站点信息
-
- 文章总数:1331
- 页面总数:1
- 分类总数:47
- 标签总数:337
- 评论总数:39
- 浏览总数:233608
本文暂时没有评论,来添加一个吧(●'◡'●)