老N的博客 neolee.cn

一个人也能把网站养活:WordPress、主机、邮箱与小工具的实战笔记42 篇实战笔记 · 64 条术语 · 6 张速查表 · 5 个工具 · 36 个推荐工具

公告我是老N!我写这个博客已经一年多啦,在这里我希望和大家交流各种关于WordPress、 电脑手机应用和一些新奇的网站。

屏蔽规则生成器

坏爬虫不看 robots.txt,正常访客也不该被限速误伤。三类规则分别生成:路径、UA、IP,按需组合。

输入 一行一条

只填你确实要挡的。UA 关键词写越短越容易误伤,例如只写 bot 会把 Googlebot 一起挡掉。

生成的规则 三段

三层防护的分工

robots.txt

只对守规矩的爬虫有效。作用是减少噪音、告诉搜索引擎别抓后台目录,不构成防护。

UA 匹配

挡已知的抓取与分析工具,成本最低。但 UA 可以伪造,挡不住故意的。

频率限制

limit_req 按 IP 限速,是唯一能兜住伪装者的手段。阈值要给正常用户留余量。

上线顺序:先加 robots.txt(无风险),观察一周日志;再加 UA 规则,用自己的浏览器与手机各测一次;最后开限速,从宽松值开始(如 2 r/s、burst 10),逐步收紧。每次改完都执行 nginx -t 再 reload,失败会保留旧 worker,看起来像「没生效」。

延伸阅读