Screaming Frog代理

Screaming Frog SEO Spider — 毫不夸张地说，它是进行技术性 SEO 审计的核心工具。这款功能强大的程序能够抓取数千个 URL，收集关于网站结构、元标签、响应代码等至关重要的数据。然而，在处理大型项目或分析竞争对手时，每位专家都会遇到一些根本性的限制：

• 连接限制 (Rate Limiting)： 大型网站和 CDN（内容分发网络）使用 WAF（Web 应用程序防火墙）来防止高负载。从单个 IP 地址进行密集扫描往往会超过服务器限制，从而导致连接中断或访问受限。
• 地域相关内容： 网站可能会根据用户的地理位置提供不同的内容、价格甚至语言版本。如果您仅从本国抓取网站，可能会无法看到您的目标受众（例如在美国或德国）所看到的内容。
• 伪装检查 (Cloaking)： 一些不道德的网站向搜索引擎机器人（如 Googlebot）展示一个版本的内容，而向真实用户展示另一个版本。为了检测这一点，必须通过与搜索引擎所在区域相关的 IP 地址进行路由分析，以验证显示的准确内容。

解决所有这些问题的办法就是在 Screaming Frog 中正确配置 代理服务器 (Proxy)。这将使标准的抓取工具转变为一个强大的、不受地理位置限制的综合性 SEO 分析工具。

第一部分：策略 — Screaming Frog 需要什么样的代理？

代理的选择取决于扫描的目的。选择不当会导致不必要的支出，或者因触发服务器限制而导致连接立即中断。

1. 数据中心代理 (Datacenter) — 用于自有项目和技术审计

• 定义： 来自数据中心的高速 IP。
• 用途： 审计自有网站（您可以将 IP 加入白名单）、检查客户网站、处理无防护的资源。
• 优点： 扫描速度极快，价格低廉。
• 缺点： 在外部网站上经常受到限制。

2. 住宅代理 (ISP/Residential) — 用于竞争对手分析

• 定义： 真实家庭互联网服务提供商的 IP 地址。
• 用途： 抓取竞争对手网站、市场平台、聚合网站。
• 原因： 这些 IP 提供标准的住宅路由。这使得处理大量页面时不会触发自动限制。

• 👉 点击此处了解更多关于住宅代理的信息

3. 移动代理 (4G/5G) — 用于检查移动端搜索结果

• 定义： 移动运营商的 IP。
• 用途： 检查网站在移动用户面前的显示效果，访问严格本地化的内容。
• 原因： 如果网站使用了“伪装”（对桌面端和移动端显示不同内容），移动代理配合智能手机 User-Agent 可以帮助您验证移动设备上的真实用户体验。
• 👉 点击此处了解更多关于移动代理的信息

第二部分：Screaming Frog 代理设置分步指南

设置过程非常直观，仅需几分钟。您需要准备好代理数据：IP 地址、端口以及身份验证信息（用户名/密码）。

第 1 步：收集代理凭据

第一步也是最重要的一步 — 确保您拥有完整的身份验证数据。这些“钥匙”将允许您的应用程序或浏览器连接到代理服务器并引导流量。

请务必准备好以下数据：

• IP 地址 (主机服务器)
• 端口 (用于连接)
• 用户名 和 密码 (用于身份验证)
• 协议类型 (HTTP/HTTPS 或 SOCKS5)

图 1. 此截图显示了在CyberYozh App个人后台中连接代理服务器所需的全部字段位置。

第 2 步：进入代理设置

• 启动 Screaming Frog SEO Spider。
• 在顶部菜单中，依次点击 “File” -> “Settings...” -> “Proxy”。

图 2. 此截图显示了“File” -> “Settings...”下拉菜单，选择“Proxy”项即可进入设置。

第 3 步：激活并输入数据

• 在打开的“Settings”窗口中，切换到 “Proxy” 选项卡。
• 勾选 “Use Proxy Server” 以激活该功能。

图 3. 此截图显示了“Settings”窗口，必须勾选“Use Proxy Server”才能启用功能。

• 在 “Address” 栏输入代理的 IP 地址，在 “Port” 栏输入端口号。
• 如果您的代理需要身份验证（这是高质量代理的标准要求），请勾选 “Use Proxy Credentials” 选项。

图 4. 此截图显示了激活“Use Proxy Credentials”选项的过程。

• 填写 “Username”（用户名）和 “Password”（密码）字段。
• 输入所有数据后，点击 “OK and Restart”。程序将自动重启以应用新的网络设置。

图 5. 此截图显示了保存设置的最后阶段：输入包括账号密码在内的所有数据后，需点击“OK and Restart”按钮。

第三部分：代理工作的检查与验证

设置已完成，但如何确保扫描器确实通过代理工作呢？让我们进行一次简单的测试抓取。

第 4 步：测试抓取

• 我们将使用专门的 IP 检查服务作为目标 URL — https://browserleaks.com/ip。这将让我们准确看到 Screaming Frog 发出的请求来自哪个 IP 地址。
• 将此 URL 粘贴到主地址栏，然后点击 “Start”。

图 6. 此截图显示了测试抓取的准备工作：将 https://browserleaks.com/ip 粘贴到程序主栏位进行检查。

第 5 步：分析结果

• 等待抓取完成。在主窗口中，您会看到已抓取的 URL 列表。

图 7. 此截图显示了抓取结果。主窗口显示已抓取的 URL 列表，右侧图表显示了内容类型的分布。

• 为了直观地查看扫描器请求了哪些资源，可以使用可视化功能。右键点击主 URL (https://browserleaks.com/ip)，选择 “Visualisations” -> “Crawl Tree Graph”。

图 8. 此截图显示了结果可视化的方法：通过主 URL 的右键菜单选择“Visualisations” -> “Crawl Tree Graph”。

第 6 步：视觉验证

• 连接图表将打开。在图表上，您会看到 browserleaks.com 向一个外部 IP 地址请求数据（在本例中为 87.192.224.71）。这就是目标网站“看到”的 IP 地址，即您代理的 IP。

图 9. 此截图显示了“Crawl Tree Graph”连接图，直观展示了扫描器的请求正发往属于代理服务器的外部 IP 地址。

• 为了百分之百确定，您可以在配置了相同代理的常规浏览器中打开 browserleaks.com/ip。您将看到完全相同的信息，这证实了 Screaming Frog 已成功通过您指定的代理服务器工作。

图 10. 此截图显示了通过 browserleaks.com 服务检查外部 IP 地址 87.192.224.71 的示例，这可以确认目标服务器所看到的 IP。

总结

太棒了！您已成功配置 Screaming Frog 通过代理工作。现在，您可以不受阻碍地进行任何规模的深度 SEO 审计，无需担心连接中断，并能以世界各地用户看到的真实视角获取数据。这项技能是现代专业 SEO 专家工具箱中不可或缺的一部分。

👉 正在寻找可靠的 Screaming Frog 代理？ 对于抓取任务，高速数据中心代理或住宅代理是理想之选。在 CyberYozh App 目录中，您可以找到稳定的代理，确保您的 SEO 蜘蛛运行无阻。