小站被爬的典型症状是:带宽跑满、CPU 飙高、日志里全是同一个 IP 在翻页。先分清是搜索引擎正常抓取,还是有人在批量抓内容。前者要留,后者要挡。
先看日志
awk '{print $1}' /www/wwwlogs/example.com.log | sort | uniq -c | sort -rn | head -20
awk '{print $1}' /www/wwwlogs/example.com.log | sort | uniq -c | sort -rn | head -5第一个看总请求量,第二个看单 IP 是否异常。
第一层:robots.txt
robots.txt 是君子协定,正规搜索引擎会遵守。把不希望你被索引的路径写进去,同时给已知的抓取工具加 Disallow。注意:它挡不住恶意爬虫,只是减少噪音。
User-agent: *
Disallow: /inc/
Disallow: /deploy/
User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Disallow: /
Sitemap: https://www.example.com/sitemap.xml第二层:UA 与 IP
Nginx 里用 map 定义一组需要拒绝的 UA,匹配到直接返回 403 或 444(444 是不回响应,最省资源)。
map $http_user_agent $bad_ua {
default 0;
~*(ahrefs|semrush|mj12|dotbot|blexbot) 1;
}
server {
if ($bad_ua) { return 444; }
}if 放在 server 级只做 return,是安全用法;不要在里面写复杂逻辑。
第三层:限速
伪装 UA 的爬虫只能靠频率识别。Nginx 的 limit_req 按 IP 限速,配合 limit_conn 限制并发。阈值要留余量,正常用户翻页不该被挡。
limit_req_zone $binary_remote_addr zone=page:10m rate=2r/s;
limit_conn_zone $binary_remote_addr zone=conn:10m;
location / {
limit_req zone=page burst=10 nodelay;
limit_conn conn 20;
try_files $uri $uri/ /index.php?$args;
}rate=2r/s 对文字站足够;图片多的站要放宽,否则首屏会被限。
限速规则写在 CDN 后面会失效,因为所有请求的来源 IP 都是 CDN 节点。这时要用 real_ip 模块还原真实 IP,或直接在 CDN 层配置。
别把自己挡了
- 先在小范围测试,确认正常访问不受影响。
- 把搜索爬虫(百度、Google、Bing)加入白名单。
- 留一条「应急放行」的办法:面板改配置或临时停 nginx 规则。
挡爬虫不是比谁更狠,是比谁更准。挡错一次,丢的是真实读者。