SEO 与网页 / 快速工具
针对指定爬虫测试一个 URL 路径最终匹配 Allow 还是 Disallow。
针对指定爬虫测试一个 URL 路径最终匹配 Allow 还是 Disallow。
user-agent=googlebot
path=/private/public/page
---
User-agent: *
Disallow: /private/
Allow: /private/public/Decision: ALLOWED
Matched rule: Allow: /private/public/
Tested user-agent: googlebot
Tested path: /private/public/page
Applicable groups: 1; applicable rules: 2
Winning specificity: 16
Ignored or unsupported lines: 0在“Robots 文本与测试设置”区域粘贴内容、输入参数或选择需要处理的文件。
根据任务选择 “测试路径”；页面会在当前浏览器中完成处理。
检查“匹配结果”中的结果，确认无误后再复制或下载。
结果说明
测试器先选择匹配的 User-agent 组，再按最长匹配规则判断 Allow 或 Disallow；同长度时优先 Allow。支持标准前缀匹配以及 * 和 $ 模式。
输入 googlebot、bingbot 等真实 User-agent 标记，以及以 / 开头的路径。结果不仅显示允许或阻止，还会列出命中的分组、适用规则数、最终规则和具体度。
较宽泛的 Disallow 可以被同一路径上更长的 Allow 覆盖。匹配器支持前缀规则、* 通配符和 $ 结尾锚点，并报告被忽略的不支持行数。
robots.txt 控制爬虫访问，并不能保证已知 URL 从搜索结果消失；爬虫被阻止后也无法读取页面里的 noindex。应把它当作发布前规则测试器，而不是索引删除工具。
匹配路径更具体的规则优先。本地测试器比较规则路径长度；同等具体且同时匹配时，Allow 优先。
不能保证。robots.txt 控制抓取而不是直接控制索引；被阻止的 URL 仍可能通过链接被发现。需要移除时，应使用爬虫能够读取的索引控制方式。
不能。它覆盖标准前缀、通配符和结尾锚点行为，但爬虫私有扩展或抓取条件可能不同。关键生产规则仍应使用对应搜索引擎工具确认。
匿名反馈
工具有问题，或有更好的优化建议？请告诉我们。每条反馈都会查看，我们会在收到后的 2 天内开始处理可执行的优化，并持续提升工具的可靠性与使用体验。