如果你把 robots.txt 用对了，它能帮你减少低价值路径被频繁抓取，保护抓取预算，避免搜索结果页、筛选参数页、后台路径这些垃圾入口干扰搜索引擎。如果你用错了，它也可能直接误伤 CSS、JS、重点目录，导致页面渲染异常、收录混乱。
robots.txt 到底在网站哪里？
这个文件必须放在域名根目录，像这样：
https://example.com/robots.txt不是子目录，不是某个后台页面，也不是你本地文件夹里写好了就算完成。Google 抓站时，会优先检查这个地址。
robots.txt 控制的到底是什么？
核心只有一句：它控制的是抓取路径，而不是索引结果。
比如：
- 你可以阻止 Googlebot 去抓
/search/ - 你可以阻止某些参数路径被反复抓
- 你可以放行被误挡住的 CSS、JS 或图片目录
但如果一个 URL 之前已经被索引，或者外部还有很多链接指向它，仅仅用 robots.txt 阻止抓取，不一定能让它彻底消失在搜索结果里。这个时候往往还需要 noindex、删除页面、301、404/410，甚至通过 Search Console 做移除处理。
最基础的 robots.txt 语法怎么写？
最常见的几个指令如下：
User-agent: *
Disallow: /search/
Allow: /search/help/
Sitemap: https://example.com/sitemap.xml含义分别是：
User-agent：指定规则对谁生效Disallow：不希望抓取的路径Allow：在被限制的大路径里，额外放行某个子路径Sitemap：告诉搜索引擎站点地图地址
对 Google 来说，User-agent: * 表示对所有遵守规则的爬虫生效。你也可以写具体爬虫名，比如 Googlebot。
什么内容适合用 robots.txt 控制？
1. 站内搜索结果页
很多独立站会生成大量站内搜索 URL，这类页面通常没有独立 SEO 价值，还会制造很多低质量路径。
2. 筛选参数和排序参数
电商和产品库网站最常见。如果颜色、尺寸、排序、分页、组合参数无限生成，很容易浪费抓取预算。
3. 后台、账户、购物车、结账等非公开页面
这些页面一般不是拿来做自然搜索的，不需要让搜索引擎频繁浪费资源。
4. 某些临时测试目录
前提是你确定它不是正式站点内容，而且不会依赖搜索引擎访问。
什么内容不适合只靠 robots.txt 处理？
这是最容易出事故的地方。
1. 想让已收录页面彻底消失
只用 robots.txt 不够。因为你把它拦住后，Google 反而拿不到页面内容，可能只根据历史信息或外部链接保留一个“只有 URL 的结果”。
2. 想保护敏感数据
robots.txt 不是权限系统。它只是说明牌，不是门锁。真正敏感内容请用登录验证、权限控制、密码保护。
3. 想屏蔽 CSS、JS、图片资源
除非你非常明确知道自己在做什么，否则别乱挡。Google 需要正常访问很多资源来理解页面渲染效果。你把资源挡住，可能会影响页面理解与索引。
外贸独立站里最常见的 robots.txt 误区
误区一：一上来就大面积 Disallow
很多新站为了“省资源”或者“怕乱抓”，直接把一堆目录全挡掉。结果后面发现产品图不出、页面渲染异常、语言版本没被正常识别。
误区二：把 noindex 和 robots.txt 混着用
如果你既阻止抓取，又希望搜索引擎读到 noindex 指令，本身就容易逻辑冲突。因为不抓取，很多时候它也就看不到页面里的 noindex。
误区三：环境切换后忘了放开
测试站、开发站常用限制抓取。可一旦复制到正式站忘记改，后果往往是一整站被挡。
误区四：不看真实抓取数据
写完 robots.txt 不代表就结束了。还要去 Search Console、日志、爬虫工具里验证，它到底生效到了什么程度。
robots.txt、noindex、canonical、301 分别是什么角色？
很多老板觉得这些东西都在“控制收录”，其实分工不一样。
robots.txt
控制抓取路径，适合限制低价值目录和参数路径被频繁访问。
noindex
告诉搜索引擎这个页面不应保留在索引里，更偏页面级索引控制。
canonical
用于重复或近重复内容之间，告诉搜索引擎哪个版本应作为主要版本。
301
把旧 URL 的信号长期转向新 URL，适合页面迁移、合并或改版后的规范化处理。
如果这四个东西用混了，后续收录判断就会非常乱。所以我建议你同步读一下 规范标签（Canonical Tag）的正确使用方法，彻底解决网址规范化问题 和 网站死链（404 错误）与 301/302 重定向的 SEO 最佳实践。
外贸 B2B 与跨境电商场景里，robots.txt 应该怎么想？
外贸 B2B 站
重点通常是控制后台路径、站内搜索、筛选页、测试目录，同时确保产品页、案例页、服务页、博客页的抓取不受影响。
跨境电商站
重点往往是参数页治理。颜色、尺码、排序、搜索、购物车、账户、结账这些路径如果不管理，容易产生大量低价值抓取。
这类站点再往上走，就会进入 抓取预算（Crawl Budget）优化：大型跨境电商网站如何避免浪费谷歌资源？ 的问题。
写完 robots.txt 后，怎么验证？
不要写完就当万事大吉。至少做这几步：
- 直接访问
domain.com/robots.txt看线上版本是否正确。 - 用 GSC 检查 Google 看到的是不是最新内容。
- 用爬虫工具看重要页面和资源有没有被误挡。
- 结合日志或抓取表现，看低价值路径是否真的减少。
如果你技术上更深入一点，最好再结合 尖叫的青蛙 SEO 神器，快速诊断网站的技术 SEO 错误 的抓取结果一起验证。
SEO 小平想提醒一句：robots.txt 最怕“拍脑袋写规则”。你如果不先知道网站有哪些路径、哪些是钱页、哪些是垃圾页，就很容易把该放行的挡住，把该收拾的漏掉。先理解结构，再写规则，永远比先写规则再碰运气靠谱。
给外贸团队的实操建议
- 先列出网站里的核心路径、低价值路径和敏感路径，别直接开写。
- 优先控制搜索结果页、参数页、后台页、账户页、购物车和测试目录。
- 不要轻易屏蔽 CSS、JS、图片资源，除非你已经验证不会影响渲染。
- 对已经收录但不该保留的页面，别只靠 robots.txt，要结合 noindex、301、404/410 等方案。
- 同步检查 [什么是 XML 网站地图（XML Sitemap）？如何正确配置并提交给 GSC？](/2025-05-10-sitemap-seo-html-xml-txt)，确保发现路径和抓取限制逻辑一致。
最后一句话
robots.txt 不复杂，但很容易被用错。它真正的作用，是帮搜索引擎把抓取资源用在更值得的地方，而不是帮你掩盖页面问题。
做 Google SEO，底层始终是同一套逻辑：让搜索引擎顺利发现、正确理解、优先处理有价值的页面。robots.txt 只是这条链路里的一道交通指挥，不是终极控制器。把它写准、写轻、写有边界，才是成熟站点该有的做法。