robots.txt and sitemap.xml analyzer robots.txt and sitemap.xml analyzer

Analyze robots.txt and sitemap.xml online

Enter a website URL to fetch robots.txt, parse crawler groups, detect Sitemap directives and validate linked sitemap XML files.

The analyzer checks whether important bots can crawl the root path, counts sitemap URLs, finds duplicate or external URLs and performs a sampled broken-link check for sitemap entries.

该工具直接在浏览器中运行,无需安装软件,适合快速检查。
输入内容可以立即清空并重新计算,适合重复的小任务。
处理长文本、结构化数据或较大的结果时,可以使用全屏模式获得更多空间。
复制按钮可将结果快速用于代码、文档或支持对话。
大多数操作都是确定性的:相同输入和选项会得到相同结果。
处理敏感内容时,建议使用本地浏览器工具,并在分享前检查结果。