老N的博客 neolee.cn

一个人也能把网站养活:WordPress、主机、邮箱与小工具的实战笔记42 篇实战笔记 · 64 条术语 · 6 张速查表 · 5 个工具 · 36 个推荐工具

公告我是老N!我写这个博客已经一年多啦,在这里我希望和大家交流各种关于WordPress、 电脑手机应用和一些新奇的网站。
安全与隐私

屏蔽坏爬虫:robots、UA、频率三招

有些爬虫不看 robots.txt,有些伪装成浏览器。分层处理:先声明,再识别,最后限速。

发布 2026.11.12 约 3 分钟读完 作者 老N

要点速览

第一层
robots.txt 声明,守规矩的会走
第二层
UA 与 IP 段识别,挡掉已知的抓取工具
第三层
Nginx 限速,兜住伪装者

小站被爬的典型症状是:带宽跑满、CPU 飙高、日志里全是同一个 IP 在翻页。先分清是搜索引擎正常抓取,还是有人在批量抓内容。前者要留,后者要挡。

先看日志

awk '{print $1}' /www/wwwlogs/example.com.log | sort | uniq -c | sort -rn | head -20
awk '{print $1}' /www/wwwlogs/example.com.log | sort | uniq -c | sort -rn | head -5

第一个看总请求量,第二个看单 IP 是否异常。

第一层:robots.txt

robots.txt 是君子协定,正规搜索引擎会遵守。把不希望你被索引的路径写进去,同时给已知的抓取工具加 Disallow。注意:它挡不住恶意爬虫,只是减少噪音。

User-agent: *
Disallow: /inc/
Disallow: /deploy/

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

Sitemap: https://www.example.com/sitemap.xml

第二层:UA 与 IP

Nginx 里用 map 定义一组需要拒绝的 UA,匹配到直接返回 403 或 444(444 是不回响应,最省资源)。

map $http_user_agent $bad_ua {
    default 0;
    ~*(ahrefs|semrush|mj12|dotbot|blexbot) 1;
}
server {
    if ($bad_ua) { return 444; }
}

if 放在 server 级只做 return,是安全用法;不要在里面写复杂逻辑。

第三层:限速

伪装 UA 的爬虫只能靠频率识别。Nginx 的 limit_req 按 IP 限速,配合 limit_conn 限制并发。阈值要留余量,正常用户翻页不该被挡。

limit_req_zone $binary_remote_addr zone=page:10m rate=2r/s;
limit_conn_zone $binary_remote_addr zone=conn:10m;

location / {
    limit_req zone=page burst=10 nodelay;
    limit_conn conn 20;
    try_files $uri $uri/ /index.php?$args;
}

rate=2r/s 对文字站足够;图片多的站要放宽,否则首屏会被限。

注意

限速规则写在 CDN 后面会失效,因为所有请求的来源 IP 都是 CDN 节点。这时要用 real_ip 模块还原真实 IP,或直接在 CDN 层配置。

别把自己挡了

  • 先在小范围测试,确认正常访问不受影响。
  • 把搜索爬虫(百度、Google、Bing)加入白名单。
  • 留一条「应急放行」的办法:面板改配置或临时停 nginx 规则。
挡爬虫不是比谁更狠,是比谁更准。挡错一次,丢的是真实读者。

常见问题

屏蔽抓取工具会影响 SEO 吗?

只要不误伤主流搜索引擎,就没有负面影响。屏蔽的是第三方分析工具与内容抓取器。

返回 403 还是 444 好?

403 会返回一个页面,消耗少量资源;444 直接断连,最省资源,但排查时看不到状态码。恶意流量用 444。

配套工具:屏蔽规则生成器

输入要屏蔽的路径或爬虫名,生成 robots.txt 与 Nginx 规则片段。 全部在浏览器里计算,不上传任何数据。

打开工具