介绍
前言:有些网站不想做SEO,加上可能配置不好,各大搜索引擎蜘蛛的抓取反而给服务器造成了压力。
方案1:首先你得拥有一个宝塔防火墙,直接在防火墙里找到:User-Agent过滤,然后添加以下规则内容:
(Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot)
方案2:在宝塔面板找到对应的网站,点击设置,点击配置文件,加入以下代码:
if ($http_user_agent ~* "Baiduspider|baiduspider|sogou spider|sogouweb|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot") {
return 403; }
Nginx内部标志UA的变量为 $http_user_agent,想要屏蔽某个UA,找到其它UA的关键词,按上面的设置即可。
感谢您的来访,获取更多精彩文章请收藏本站。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END
暂无评论内容