一个人也能把网站养活:WordPress、主机、邮箱与小工具的实战笔记42 篇实战笔记 · 64 条术语 · 6 张速查表 · 5 个工具 · 36 个推荐工具
robots xié yì
放在站点根目录的纯文本文件,声明哪些路径允许或禁止爬虫抓取。是君子协定,不具强制力。
它能挡住正规爬虫,挡不住恶意抓取;真正的防护要靠限速与鉴权。