此外，您可以启用扫描带有 noindex 元标记的页面）以查找面。 转到配置→抓取配置→蜘蛛→首选项 此选项允许您配置元标记的最小和最大长度，以避免不必要的错误警告。默认情况下，标题的最大长度为 60 个字符，说明的最大长度为 150 个字符。建议设置最适合您要求的值。 标题 设置robots.txt 转到配置→抓取配置→robots.txt 默认情况下，爬网程序会考虑 robots.txt 文件。
如果您设置“忽略”选项，机器人将抓取所有页面，甚至是那 克罗地亚电话营销数据 些禁止建立索引的页面。 如果您考虑 robots.txt，那么底部的两个复选框允许您抓取网站的所有页面，但报告将表明它们在 robots.txt 中被禁止。如果取消选中这些框，抓取工具将仅抓取 robots.txt 中允许建立索引的页面。 偏好设置 扫描模式 蜘蛛 蜘蛛模式（默认） 转到模组 → 蜘蛛 在正常的抓取模式下，就像搜索引擎一样，机器人从主页开始，然后跟踪所有内部链接，逐渐深入到网站的嵌套级别。
此过程将持续进行，直到所有可用页面均已被爬网。 列表模式 转到模组 → 列表 您可以在此处上传包含 URL 列表的文件 - 从文件。 手动输入您的 URL - 手动输入。 粘贴 - 粘贴复制的 URL。 下载 XML 站点地图 - 发送 XML 站点地图文件的链接以进行扫描。 列表 搜索结果页面模式 转到模组 → SERP 仅扫描标题和说明。该模式实际上不用于操作。 比较模式 转到模组 → 比较 比较模式，可以比较不同的扫描选项。