SEO 与网页 / 快速工具

Robots.txt 测试器

针对指定爬虫测试一个 URL 路径最终匹配 Allow 还是 Disallow。

● 仅在浏览器本地处理

Robots 文本与测试设置仅在浏览器本地处理

当前：Robots.txt 测试器 · 切换到同工作台其他 29 个工具

选择工具针对指定爬虫测试一个 URL 路径最终匹配 Allow 还是 Disallow。

匹配结果 选择一个操作开始处理。

本地匹配器覆盖标准前缀及 * / $ 模式，不代表各爬虫的私有扩展。

使用说明如何使用 Robots.txt 测试器

针对指定爬虫测试一个 URL 路径最终匹配 Allow 还是 Disallow。

结果说明

Robots.txt 测试器的计算范围

测试器先选择匹配的 User-agent 组，再按最长匹配规则判断 Allow 或 Disallow；同长度时优先 Allow。支持标准前缀匹配以及 * 和 $ 模式。

输入 googlebot、bingbot 等真实 User-agent 标记，以及以 / 开头的路径。结果不仅显示允许或阻止，还会列出命中的分组、适用规则数、最终规则和具体度。

较宽泛的 Disallow 可以被同一路径上更长的 Allow 覆盖。匹配器支持前缀规则、* 通配符和 $ 结尾锚点，并报告被忽略的不支持行数。

robots.txt 控制爬虫访问，并不能保证已知 URL 从搜索结果消失；爬虫被阻止后也无法读取页面里的 noindex。应把它当作发布前规则测试器，而不是索引删除工具。

Allow 与 Disallow 冲突时如何判断？

匹配路径更具体的规则优先。本地测试器比较规则路径长度；同等具体且同时匹配时，Allow 优先。

robots.txt 能把页面从搜索结果中删除吗？

不能保证。robots.txt 控制抓取而不是直接控制索引；被阻止的 URL 仍可能通过链接被发现。需要移除时，应使用爬虫能够读取的索引控制方式。

它能完全替代真实搜索爬虫测试吗？

不能。它覆盖标准前缀、通配符和结尾锚点行为，但爬虫私有扩展或抓取条件可能不同。关键生产规则仍应使用对应搜索引擎工具确认。

匿名反馈

工具有问题，或有更好的优化建议？请告诉我们。每条反馈都会查看，我们会在收到后的 2 天内开始处理可执行的优化，并持续提升工具的可靠性与使用体验。