当产品页无法被抓取时，直接复制一份robots.txt很难解决问题。外贸站经常同时存在主域名、城市子域名、产品资料和后台路径；一次范围写错的限制，可能连公开资料也挡住。本文面向负责发布的站点管理员，给出先界定目标、再修改规则、最后复测的交付办法。
把三种需求分开交给不同措施
robots.txt告诉遵守协议的爬虫哪些路径可以抓取，不能代替登录鉴权，也不能保证一个被阻止抓取的网址不出现在搜索结果中。若目标是保护报价文件，就应该先做好访问权限；若目标是让公开页面退出搜索结果，应评估noindex等索引控制方式，并确保搜索引擎能够读取相应指令。不要用一条Disallow同时承担这三项工作。
| 业务要求 | 需要检查的措施 | 验收证据 |
|---|---|---|
| 公开产品页可抓取 | 规则是否误挡产品路径 | 产品样本的规则匹配结果 |
| 报价文件仅授权客户访问 | 服务端身份与权限校验 | 未登录访问被拒绝 |
| 公开旧页不再参与搜索 | 索引指令或适当的移除方案 | 指令可读取且后续状态被跟踪 |
用路径清单确定修改范围
先列出实际存在的产品详情、分类、技术资料、图片、样式、脚本与管理入口。每类挑一个普通网址和一个容易误伤的边界网址。例如产品目录与产品搜索结果不是同一用途，不能因为搜索结果不重要就把整个产品前缀挡住。对影响页面理解的样式与脚本，也不能为了少抓几个文件而随意封禁。
# 示例：必须替换为本站经过确认的真实路径
User-agent: *
Disallow: /internal-tools/
Sitemap: https://www.example.com/sitemap.xml多站发布需要逐个主机核对
文件应放在对应主机根目录并命名为robots.txt，使用纯文本UTF-8。主站的文件不会自动管理所有子域名，也不应把一个主机的验证结果当成全部城市站通过。规则对路径的大小写有区别，实际匹配应使用线上真实网址。多个爬虫分组的规则还可能改变生效范围，评审时要查看整份文件而不是只看新增的两行。
1保存原文件保留修改时间、原始文本、负责人和恢复位置。
2检查公开入口逐项核对产品、分类、资料及必要渲染资源的路径匹配。
3上线后再取文件使用实际主机地址检查返回内容，确认没有落到HTML错误页。
4发现误挡立即恢复还原已保存版本，复测同一批网址并记录影响范围。
验收表建议记录主机、测试网址、预期允许或禁止、实际匹配规则、复核人和日期。修改后可在相应搜索管理工具中继续检查抓取状态；规则发布成功不等于页面马上收录，更不等于排名提高。如果公开产品仍无自然曝光，还需另查页面质量、站内入口和索引状态，不能反复修改robots文件碰运气。