标签 nginx 配置 下的文章

Nginx屏蔽所有蜘蛛抓取

Nginx是一个高性能的HTTP和反向代理服务器,如果我们用于反向代理某个网站,但是不希望反向代理的网站被搜索引擎蜘蛛抓取,可以尝试屏蔽蜘蛛的User Agent,将下面的规则添加到Nginx的站点配置中。