老N的博客 neolee.cn

一个人也能把网站养活:WordPress、主机、邮箱与小工具的实战笔记42 篇实战笔记 · 64 条术语 · 6 张速查表 · 5 个工具 · 36 个推荐工具

公告我是老N!我写这个博客已经一年多啦,在这里我希望和大家交流各种关于WordPress、 电脑手机应用和一些新奇的网站。
搜索与内容运营

robots.txt

robots xié yì

是什么

放在站点根目录的纯文本文件,声明哪些路径允许或禁止爬虫抓取。是君子协定,不具强制力。

实践提醒

记住这一条

它能挡住正规爬虫,挡不住恶意抓取;真正的防护要靠限速与鉴权。

在哪篇里用到