大家是不是用BT(宝塔)建站时候会发现很多垃圾蜘蛛访问你的站点,增加服务器的负担以及后续统计蜘蛛日志带来很大的麻烦等等不好的因素,其实很简单,只需要留下百度,搜狗,360蜘蛛就行,关于谷歌可自行决定是否留着,博主这边不需要谷歌蜘蛛,这样对于以后的蜘蛛日志分析带来很大的便利。。。
FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|YandexBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Bytespider|Ezooms|Googlebot|JikeSpider|SemrushBot|bingbot|DotBot
基于自己屏蔽什么类型的蜘蛛可自行百度seo蜘蛛有哪些,替换以及增加蜘蛛名字。