Robots.txt 和站点地图审核

  1. 输入
  2. 选项
  3. 结果

Robots.txt 和站点地图审核

检查输入页面的 robots.txt 规则、检查站点地图文件并测试有限的 URL 样本。导出结果。

输入要测试的页面的完整 URL。机器人规则根据其路径和查询字符串进行评估; robots.txt 是从站点根目录加载的。

这是有限的爬行检查,而不是完整的站点审核或索引保证。机器人规则不保护私人页面。将 URL 检查设置为 0 以跳过页面请求。

在线分析 robots.txt 和 sitemap.xml

输入网站网址以获取 robots.txt、解析抓取工具组、检测站点地图指令并验证链接的站点地图 XML 文件。

该分析器检查重要的机器人是否可以抓取根路径,计算站点地图 URL,查找重复或外部 URL,并对站点地图条目执行采样的损坏链接检查。

快速启动

Robots.txt 和站点地图审核

  1. 输入数据或选择源文件。
  2. 检查选项并开始操作。
  3. 下载或使用之前检查结果。
✓ 该工具直接在浏览器中运行,无需安装软件,适合快速检查。
✓ 输入内容可以立即清空并重新计算,适合重复的小任务。
✓ 处理长文本、结构化数据或较大的结果时,可以使用全屏模式获得更多空间。
✓ 复制按钮可将结果快速用于代码、文档或支持对话。
✓ 大多数操作都是确定性的:相同输入和选项会得到相同结果。
✓ 处理敏感内容时,建议使用本地浏览器工具,并在分享前检查结果。

其他工具

用户评论

发表前会检查评论。我们发布真正的积极反馈和具体批评。没有有用细节的垃圾邮件和侮辱性内容不会被发布;亵渎和个人信息被掩盖。赞成票立即计算;反对票经审核后计算。

评论反映了用户的体验,而不是结果的保证或服务限制的描述。使用上面的评级按钮留下评论。

尚未发表此语言的评论。