屏蔽坏爬虫:robots、UA、频率三招
有些爬虫不看 robots.txt,有些伪装成浏览器。分层处理:先声明,再识别,最后限速。
坏爬虫不看 robots.txt,正常访客也不该被限速误伤。三类规则分别生成:路径、UA、IP,按需组合。
只填你确实要挡的。UA 关键词写越短越容易误伤,例如只写 bot 会把 Googlebot 一起挡掉。
只对守规矩的爬虫有效。作用是减少噪音、告诉搜索引擎别抓后台目录,不构成防护。
挡已知的抓取与分析工具,成本最低。但 UA 可以伪造,挡不住故意的。
limit_req 按 IP 限速,是唯一能兜住伪装者的手段。阈值要给正常用户留余量。
上线顺序:先加 robots.txt(无风险),观察一周日志;再加 UA 规则,用自己的浏览器与手机各测一次;最后开限速,从宽松值开始(如 2 r/s、burst 10),逐步收紧。每次改完都执行 nginx -t 再 reload,失败会保留旧 worker,看起来像「没生效」。
有些爬虫不看 robots.txt,有些伪装成浏览器。分层处理:先声明,再识别,最后限速。
被扫是常态,被攻破才是问题。这份清单按「投入产出比」排序,前五项做完就能挡掉绝大多数自动化攻击。
WAF 能挡掉一批自动化攻击,也会挡掉真实用户。开启之前,先想清楚谁来处理误伤。