网站首页 蜘蛛爬虫

• 

  分别统计百度PC蜘蛛和移动蜘蛛并输出txt的php代码

  以前分享过的记录百度蜘蛛抓取链接为txt的代码只能笼统的实现百度蜘蛛的记录，不能区分百度PC蜘蛛和移动蜘蛛。现在越来越多的人说百度PC蜘蛛不收录，要移动蜘蛛才行，所以特意编写了这段代码，本代码可区别判断百度PC蜘蛛和移动蜘蛛！其实核心是对百...

  2022-09-14 曹操 蜘蛛池技术 164 ℃ 0 评论

• php记录搜索引擎爬行记录的实现代码

  以前分享过类似的代码，但是没有做出注释，并且部分代码有累赘，所以重新分享一下，下面是完整代码：//记录搜索引擎爬行记录$searchbot=get_naps_bot(); if ($searchbot) ...

  2022-09-14 曹操 蜘蛛池技术 133 ℃ 0 评论
• 

  为宝塔Nginx免费防火墙添加User-Agent屏蔽规则

  在宝塔中有付费的Nginx防火墙，也有Nginx免费防火墙，我们可以使用User-Agent屏蔽掉很多没必要的蜘蛛爬虫，并防止SQL注入或菜刀一句话的入侵。在免费版本的nginx防火墙规则并没有那么充分与多样，所以我们分享一下来自收费版本中...

  2022-07-15 曹操 站群优化教程 92 ℃ 0 评论

• 各个搜索引擎的User-Agent

  百度搜索User-Agent：百度PCUAMozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html...

  2021-06-19 曹操 蜘蛛池教程 321 ℃ 0 评论

• SemrushBot是什么蜘蛛爬虫?

  SemrushBot是SEMrush的蜘蛛爬虫。SEMrush是一家老牌的提供搜索引擎优化数据的公司，是一个强大的、全面的在线营销竞争情报平台,其中包括SEO、PPC、社交媒体和视频广告研究。建议中文站屏蔽掉它的爬行，首先因为这个蜘蛛爬行...

  2021-05-24 曹操 蜘蛛池教程 318 ℃ 0 评论

• BLEXBot是什么蜘蛛爬虫？

  今天查看网站蜘蛛爬行记录发现了这条蜘蛛UAMozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)因为没有见过百度查了一下原文：Bl...

  2021-05-24 曹操 蜘蛛池教程 429 ℃ 0 评论
• 

  什么是蜘蛛池的搜索留痕技术？

  简单的先说下蜘蛛池，蜘蛛池是一款通过泛解析域名快速养蜘蛛的系统，通过蜘蛛池系统，可以把需要收录的链接放进去，蜘蛛池会大量的为这些链接引入批量蜘蛛爬取，从而达到收录的作用，这是蜘蛛池目前最主要的功能之一。接着我们就说下什么是蜘蛛池的搜索留痕技...

  2020-09-13 曹操 蜘蛛池技术 285 ℃ 0 评论

• PHP生成蜘蛛访问记录txt文档

  分享一个PHP版本的蜘蛛统计代码，只需要加到你的index文件内即可实现蜘蛛统计！统计结果会在根目录生成bot.txt文本，您可以手动新建一个php文件，将代码填入该文件内，譬如zhizhu.php，创建好后访问即可！<?php$us...

  2020-04-30 曹操 蜘蛛池教程 273 ℃ 0 评论
• 

  百度蜘蛛（BaiduSpider）IP段详细情况介绍

  在网站被ddos攻击或者cc攻击的时候，我们可以给网站加上一个5s的盾牌用来防御，此时蜘蛛抓取我们网站的时候，会抓取到我们的盾，造成索引、收录不到原页面的内容，以至于页面降权。此时我们就有需要将我们的盾对百度相关蜘蛛设置白名单，今天盘点了一...

  2020-02-17 曹操 蜘蛛池教程 233 ℃ 0 评论
• 

  蜘蛛池程序是否要屏蔽假蜘蛛/其他蜘蛛？

  很多朋友使用蜘蛛池程序搭建了蜘蛛池，那么我们搭建好的蜘蛛池站群里面需不需要屏蔽其他蜘蛛，比如说必应蜘蛛，谷歌蜘蛛，雅虎蜘蛛或者其他蜘蛛呢？今天我就跟各位讲一讲，比如说曹操资源网自己也搭建了蜘蛛池，使用了E3服务器，使用了约200个域名，其中...

  2020-02-10 曹操 蜘蛛池教程 246 ℃ 0 评论