Nginx限制搜索引擎爬虫频率、禁止屏蔽网络爬虫配置示例

#某个server中
 limit_req zone=anti_spider burst=30 nodelay;
 if ($http_user_agent ~* “xxspider|xxbot”) {
 set $anti_spider $http_user_agent;
}