宝塔网站如何屏蔽蜘蛛 禁止某些蜘蛛爬取

介绍

前言:有些网站不想做SEO,加上可能配置不好,各大搜索引擎蜘蛛的抓取反而给服务器造成了压力。

方案1:首先你得拥有一个宝塔防火墙,直接在防火墙里找到:User-Agent过滤,然后添加以下规则内容:

(Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot)

宝塔网站如何屏蔽蜘蛛 禁止某些蜘蛛爬取-百谷资源网

方案2:在宝塔面板找到对应的网站,点击设置,点击配置文件,加入以下代码:

if ($http_user_agent ~* "Baiduspider|baiduspider|sogou spider|sogouweb|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot") {
      return 403; }
宝塔网站如何屏蔽蜘蛛 禁止某些蜘蛛爬取-百谷资源网

Nginx内部标志UA的变量为 $http_user_agent,想要屏蔽某个UA,找到其它UA的关键词,按上面的设置即可。

温馨提示:若内容/图片/下载链接失效,请在下方留言或登录后私信站长
------本页内容已结束,喜欢请分享------

感谢您的来访,获取更多精彩文章请收藏本站。

© 版权声明
THE END
喜欢就支持一下吧
点赞6 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容