蜘蛛模拟抓取

模拟搜索引擎蜘蛛访问网站,查看页面响应、TDK 信息、安全响应头及蜘蛛实际抓取到的内容。

蜘蛛模拟抓取

支持自定义蜘蛛类型
选择蜘蛛类型

工具介绍

模拟百度、谷歌、搜狗、必应等搜索引擎蜘蛛访问目标网址,查看 HTTP 状态、响应时间、TDK(Title / Description / Keywords)、安全响应头,以及蜘蛛实际抓取到的页面内容。

适合排查收录慢、抓取返回 403、正文为空、移动端与 PC 抓取不一致等问题。抓取由服务器代发请求,仅作诊断用途,请勿用于未授权扫描。

  • 支持预设蜘蛛 UA,也可自定义 User-Agent
  • 自动解析 Title、Description、Keywords
  • 检查常见安全响应头是否配置
  • 提供页面正文预览,便于对照蜘蛛真实拿到的内容