robots txt 是什么？robots txt 文件写法与SEO配置指南

📍 WDQWDWQD987AAAAA:216.73.216.75
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /77152f25720b.html
📄

robots txt 是网站根目录下的纯文本协议文件，用于告诉搜索引擎爬虫哪些页面可以抓取、哪些应当避开。正确配置 robots txt 既能保护后台与隐私页面，又能引导爬虫优先收录优质内容，是 SEO 基础工作中不可忽视的一环。

robots txt 的基本写法

文件必须放在站点根目录，例如 https://example.com/robots.txt，文件名全小写。常用指令包括 User-agent、Disallow、Allow 和 Sitemap。一个简单示例：

配置 robots txt 的常见误区

第一，robots txt 只是抓取建议，不能阻止页面被索引；若需彻底屏蔽，应配合 noindex 或权限控制。第二，误写 Disallow: / 会导致整站无法被抓取，上线前务必检查。第三，不要用它屏蔽 CSS、JS 等渲染资源，否则可能影响页面质量评估。第四，robots txt 对已收录页面不会立即生效，需要时间与重新抓取。

SEO 优化建议

建议在 robots txt 中声明 Sitemap 地址，便于爬虫发现新内容；对分页、筛选参数等低质 URL 进行适度屏蔽，集中抓取预算；定期使用搜索资源平台的 robots 测试工具验证语法。合理使用 Allow 与 Disallow 的优先级，可以更精细地控制抓取范围。

总之，robots txt 是网站与搜索引擎沟通的第一道门。保持语法简洁、定期审查、结合站点地图与 noindex 策略，才能让爬虫高效工作，为 SEO 效果打下稳定基础。

图1 图2
nginx