基于BT(宝塔)屏蔽垃圾蜘蛛优化

28 / Dec / 2021 PM Note 328

BT(宝塔)屏蔽垃圾蜘蛛好处

大家是不是用BT(宝塔)建站时候会发现很多垃圾蜘蛛访问你的站点,增加服务器的负担以及后续统计蜘蛛日志带来很大的麻烦等等不好的因素,其实很简单,只需要留下百度,搜狗,360蜘蛛就行,关于谷歌可自行决定是否留着,博主这边不需要谷歌蜘蛛,这样对于以后的蜘蛛日志分析带来很大的便利。。。

1.在BT(宝塔)软件商店下载Nginx防火墙(免费)

1.在BT(宝塔)软件商店下载Nginx防火墙(免费)
O. AK PR iphone 8 - IOS

2.打开防火墙找到User-Agent规则:

打开防火墙找到User-Agent规则
O. AK PR iphone 8 - IOS

3.添加以下代码就达到屏蔽蜘蛛:

FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|YandexBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Bytespider|Ezooms|Googlebot|JikeSpider|SemrushBot|bingbot|DotBot
添加以下代码就达到屏蔽蜘蛛
O. AK PR iphone 8 - IOS

基于自己屏蔽什么类型的蜘蛛可自行百度seo蜘蛛有哪些,替换以及增加蜘蛛名字。

发布评论

© TIM All Rights Reserved sitemap

🌈Theme by TIM