robots.txt 生成器

01 / 爬虫规则

0 × Disallow · 0 × Allow

Disallow 拒绝抓取，Allow 在禁止范围内放行。路径逐条添加，也可以直接把多行文本粘贴进路径行，会自动拆成多条。

常用模板

User-agent

选择常用爬虫名称，或选「自定义…」后填写；只允许英文字母、下划线、短横线，或 *。

禁止访问路径（每行一条） 0 条

回车新增一行 · 空行按退格移除

允许访问路径（每行一条） 0 条

在 Disallow 覆盖的目录里单独放行，例如 /public/

站点地图绝对地址（可选）

留空则不输出 Sitemap 行；填写时需要一个以 http 或 https 开头的完整地址。

等待生成

robots.txt

给搜索爬虫一份清楚的访问说明

预览可直接选中复制；生成的文件请部署到站点根目录，即域名/robots.txt。