Nginx是一个高性能的HTTP和反向代理服务器，如果我们用于反向代理某个网站，但是不希望反向代理的网站被搜索引擎蜘蛛抓取，可以尝试屏蔽蜘蛛的User Agent，将下面的规则添加到Nginx的站点配置中。
if ($http_user_agent ~* (baiduspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)){ return 403; }上面的规则包含了大部分搜索引擎蜘蛛，可根据自身情况适当增加或减少User Agent，添加规则后别忘记重启Nginx服务，使之生效，当蜘蛛来请求抓取的时候就会返回403错误。
