什么是网页抓取代理

网页抓取代理是一个位于你的抓取器和它访问的网站之间的服务器,通过其他IP地址发送请求。 网站看到的是代理的IP而不是你的IP,因此你可以大规模收集公开数据而不会被限速或封禁。

网页抓取代理如何工作

1. 你的抓取器发送请求 到代理,而不是网站。

2. 代理转发请求 使用它自己的IP地址之一,通常位于你选择的国家或城市。

3. 网站响应代理, 代理将数据传回你的抓取器。

在代码中,这通常只是一个额外的设置。以下是在Python中的示例:

import requests




proxy = "http://USERNAME:PASSWORD@PROXY_HOST:PORT"

r = requests.get("https://httpbin.org/ip", proxies={"http": proxy, "https": proxy}, timeout=30)

print(r.json())  # shows the proxy's IP, not yours

轮换代理为每个请求使用新的IP,而粘性会话保持一个IP数分钟或数小时以便你保持登录状态。我们的 轮换IP地址 指南解释了何时使用每种方式。

为什么抓取器在没有代理的情况下会被封禁

网站会标记看起来不像人类的流量:来自一个IP的过多请求、已知的数据中心IP段,或与IP不匹配的时区。结果是403错误、验证码墙和429响应, MDN将其定义 为"在给定时间内的请求过多"。如果验证码是你的主要问题,请参阅 代理如何帮助应对验证码。

网页抓取代理的类型

网页抓取匿名性:代理隐藏什么和不隐藏什么

代理会隐藏您的真实 IP 地址、互联网服务提供商和位置。这是网页抓取匿名性的基础,但网站检查的内容远不止 IP。如果任何其他信号暴露了您的身份,站点仍然可以关联并阻止您的请求。

使用这个五点检查清单:

1. IP 地址: 通过代理路由每个请求,并将其国家与您需要的数据相匹配。

2. 浏览器指纹: 站点会读取屏幕尺寸、字体和设备详情。使用具有一致、真实配置文件的真实浏览器或无头浏览器。

3. Cookie 和会话: 为每个会话分别保存 Cookie,这样阻止一个会话不会暴露其他会话。

4. 请求时间: 添加随机延迟。以完全均匀间隔发送的请求看起来像自动化操作。

5. 请求头: 发送真实的 User-Agent 和与代理国家匹配的 Accept-Language。

如何选择网页抓取代理

• 根据目标匹配类型: 受保护站点使用住宅代理,开放数据使用数据中心代理

• 检查会话选项: 您需要轮换和粘性会话两种功能

• 寻找节省设置时间的工具: 免费抓取器和现成集成可以为您的设置节省数天时间