正文 首页SEO经验

[教程]利用防火墙精准屏蔽垃圾蜘蛛-利用UA拦截无意义蜘蛛抓取

ming

一、屏蔽垃圾蜘蛛的作用

就是拦截垃圾蜘蛛、爬虫、采集器。降低服务器消耗。加快速度。避免不必要的消耗,导致搜索引擎收录差等。


二、使用方法:

利用宝塔面板的防火墙插件:有免费版和收费版


去宝塔面板里面的“软件商店”搜索防火墙安装即可


免费版和收费版操作设置一样


找到如下设置:User-Agent过滤


274.jpg


添加垃圾蜘蛛特征即可:


632.jpg