如何为 Selenium 设置住宅代理

您编写了一个脚本,需要一个可靠的 Selenium 代理。它在您的本地机器上完美执行。您将代码推送到生产环境。目标平台立即拒绝连接。

这会破坏您的整个工作流程。大多数操作者通过标准数据中心托管路由自动化浏览器。安全算法扫描传入流量并立即识别这些无菌网络特征。它们断开连接。您的自动化在提取单个数据点之前就停滞了。

但您可以在网络层修复此问题。您必须通过集成高信任度住宅 IP 基础设施来保护您的网络足迹。使用强大的 Selenium 代理网络通过真实的互联网服务提供商(ISP)路由您的 webdriver。这迫使目标服务器将您的脚本视为真实的人类访问者。您的流量融入其中。

本指南详细介绍了如何为网页抓取构建 Selenium 代理代码。我们将为 生产管道实现企业级性能。您将学习如何对齐网络位置并克服区域限制。这种方法有助于保持稳定的代理成功率,而不会触发自动化安全过滤器。

快速导航:

• TL;DR:大规模保护 Selenium 代理管道

• 基础设施选择:将 Selenium 代理与您的任务匹配

• Selenium 代理会话控制和轮换逻辑

• 掩盖 Selenium webdriver 和浏览器指纹

• Selenium 脚本的飞行前网络审计

• 配置 Selenium 代理身份验证(Python CDP 和 Node.js)

TL;DR:大规模保护 Selenium 代理管道

构建稳定的 Selenium 代理自动化管道

不要将代理视为事后想法。您的代码库需要强化的基础设施。当您从每分钟十个请求扩展到一万个请求时,基本代理设置会崩溃。连接中断成倍增加。数据流损坏。您需要一个原生处理重负载的 Selenium 代理架构。

稳定的管道需要可预测的网络行为。目标服务器不断监视您的请求速度。如果单个 IP 地址发送过多数据包,平台会切断连接。但您可以分散这种确切的负载。通过数千个不同的节点路由流量可以分散您的足迹。这完全防止了速率限制标志。系统在压力下自我修复。如果一个网络节点掉线,基础设施会立即通过新的活动连接路由您的请求。

• 处理数百万个并发会话而不会阻塞目标应用程序。

• 使用 API 控制保持数据提取流活跃,避免突然连接中断。

• 运行重负载工作而无需手动重启。代理池自动替换死节点以保持会话活跃。

• 为您的生产环境维护 SLA 支持的正常运行时间。

基础设施选择:将 Selenium 代理与您的任务匹配

不同的任务需要不同的 Selenium 代理。如果您为简单、无保护的网站购买专用移动 IP,您将浪费预算。相反,廉价路由在严格平台上会立即失败。将您的网络基础设施直接与项目参数匹配,以确保稳定的数据交付。

协议差异:Selenium代理路由中的IPv4与IPv6

你部署了一个爬虫。目标服务器立即断开你的 IPv4 连接。你更换代理,但新的IPv4节点也失败了。然后你通过 IPv6 地址路由同一个Selenium脚本。页面完美加载。

这种协议差异会破坏僵化的自动化管道。传统反机器人数据库会积极地映射和分类较旧的IPv4地址空间。它们监控这些范围,并对其进行严格过滤。但IPv6地址空间仍然广阔且分散。许多企业安全算法对IPv6流量应用完全不同且往往更宽松的过滤参数。

你的基础设施必须支持灵活路由才能应对这些不匹配。依赖静态配置不可避免地会导致停机。平台经常封禁整个IPv4子网,但它们的IPv6端点却完全开放。构建你的架构以原生方式处理这种差异。如果IPv4节点失败,你的脚本需要立即切换到IPv6地址。

• 配置双栈路由以满足不同的协议规则。

• 通过庞大的IPv6地址空间路由流量,避开旧的传统数据库。

• 使用自动协议故障转移保持稳定的成功率。

Selenium代理会话控制和轮换逻辑

Selenium需要严格的会话规则。你登录、点击浏览并抓取数据。在此过程中突然更换IP会立即触发红色警报。目标服务器会当场切断你的访问。因此,你的轮换设置必须与你的特定 爬取任务相匹配。

在启动webdriver之前,在代理构造函数内定义连接参数。CyberYozh App使用通用的 IP:PORT:LOGIN:PASS 格式构建连接。HTTP请求通过5959端口路由,SOCKS5则通过9595端口。

住宅代理路由参数

路由参数完全取决于您部署的是动态池还是静态ISP节点。

动态IP地址代理池允许您通过特定凭证生成来控制网络身份稳定性。您无需手动构建复杂的目标字符串。 CyberYozh App仪表板 提供可视化凭证生成器。

👉 获取轮换住宅代理

您选择所需的会话类型,系统会输出webdriver的精确格式化字符串。用户名中的文本字符串告诉我们的服务器如何处理您的连接。

• 随机IP: 每次请求都会获得一个新的网络节点。我们的工具会在您的登录名中添加-res-any标签。当您只需要原始流量而不需要保持cookie存活时,使用此选项。

• 短会话: 系统锁定单个IP地址最长六十秒。此配置允许超精确的位置选择,可细化到国家、州和城市级别。

• 长会话(粘性会话): 连接保持粘性最长六小时。您无需手动捕获会话令牌。生成器只需在您的登录字符串中添加一个 唯一的-resfix-令牌。此配置提供处理账户、完成多页结账和填写长表单所需的持续稳定性。

静态IP地址架构的运作方式不同。您会获得一个在整个租赁期内专属于您的专用家庭IP地址。网络将此IP直接绑定到真实的互联网服务提供商。您无需生成轮换令牌或管理会话前缀。只需将静态IP和凭证插入webdriver即可。在需要维护永久数字地址的 专业档案管理 和管理严格的 电商档案 场景中使用此架构。

👉 获取静态ISP代理

👉 阅读关于 住宅代理 的完整指南,查看详细的仪表板工作流程。

移动代理轮换机制

蜂窝网络运行在 CGNAT技术上。这意味着成千上万的普通用户同时共享一个运营商IP地址。这种大规模重叠使移动节点在安全过滤器看来极其真实。我们将此基础设施划分为两种不同的设置。您无需为其中任何一种生成复杂的用户名。只需使用我们提供的静态凭证直接连接即可。

自动内部计时器控制共享移动代理端口。系统每5到30分钟自动轮换IP。在共享计划中您无法强制手动更改。您需要编写代码来处理共享IP轮换时的突然连接中断。

👉 获取共享移动代理

但私有专用移动代理端口的工作方式不同。您可以独占访问真实的LTE/4G/5G调制解调器。我们在您的仪表板中提供特定的API链接。您只需配置Python或Node.js代码来访问该URL。这会触发物理硬件重启。按需完全重置您的网络指纹。

👉 部署专用移动代理

专用端口还提供对高级网络工具的访问。您可以激活 被动操作系统指纹 匹配(TCP/IP)。如果您的 Selenium 脚本在 Windows 服务器上运行但模拟 iOS 设备,此功能会将网络签名对齐以完美匹配模拟的硬件。

• 通过脚本调用 IP 地址更改链接来控制轮换间隔。

• 将该链接放入反检测浏览器的「IP 更改 URL」字段以实现自动重置。

• 在代码中写入 15 秒暂停以等待物理调制解调器重启。

• 使用我们的 VLESS-Reality (Xray)链接在严格的防火墙环境中保持流量稳定。

👉 查看 CyberYozh API 文档 以处理速率限制并管理您的节点历史记录。

掩盖 Selenium webdriver 和浏览器指纹

通过住宅连接路由流量只解决了一半问题。目标平台不仅验证您的 IP 地址,还会执行激进的 JavaScript 挑战来审查您浏览器的内部硬件配置文件。如果您的 Selenium 代理注册在伦敦,但您的 Selenium webdriver 广播的系统时区在东京,算法会立即捕获这种不匹配。平台会终止您的会话。

标准自动化工具会留下明显的技术痕迹。开箱即用的 Chrome 会广播 navigator.webdriver = true 信号。安全过滤器读取此信号并在页面渲染之前阻止您的访问。您必须完全清除这些默认的自动化标记。

在服务器上运行 Chrome 意味着以无头模式运行。您没有图形界面。但旧版无头架构会广播一个巨大的红色信号。它会将「HeadlessChrome」直接写入您的 user-agent 字符串。 反欺诈系统 会立即阻止这种情况,即使您的住宅代理是完美的。

Google 发布了新的无头模式来解决这个问题。您必须强制 Selenium 使用它。将 --headless=new 添加到您的选项中。然后明确覆盖 user-agent 字符串使其看起来像标准桌面浏览器。此外,您可以禁用图像和 CSS 以大幅减少带宽消耗。

options = Options()

# Force the new headless architecture
options.add_argument("--headless=new")

# Overwrite the default headless user-agent
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36")

# Save bandwidth by blocking images and CSS
prefs = {"profile.managed_default_content_settings.images": 2, "profile.managed_default_content_settings.stylesheet": 2}
options.add_experimental_option("prefs", prefs)

但删除 webdriver 标志只是基线。您必须将浏览器的坐标数据和语言参数直接与代理节点的物理位置同步。以下是如何在 Chrome DevTools Protocol (CDP)中执行基本身份掩盖和时区同步的方法,使用 Python Selenium 脚本:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()

# Strip the default automation markers
options.add_argument("--disable-blink-features=AutomationControlled")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)

driver = webdriver.Chrome(options=options)

# Override the webdriver property via CDP
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    "source": "Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"
})

# Force the timezone to match a specific proxy IP (e.g., London)
driver.execute_cdp_cmd("Emulation.setTimezoneOverride", {
    "timezoneId": "Europe/London"
})

# Mask WebRTC to prevent local IP leaks
driver.execute_cdp_cmd("Emulation.setWebRTCIPHandlingPolicy", {
    "policy": "disable_non_proxied_udp"
})

Selenium 脚本的飞行前网络审计

永远不要通过未经测试的节点发送自动化流量。盲目信任您的代理池会导致账户被封。您必须在脚本执行第一个操作之前审计您的网络参数。将实时验证直接纳入您的部署序列。此步骤允许您准确查看目标平台如何看待您的连接。

正确的审计包括三个步骤。您测试可达性,检查身份验证,并评估风险评分。

测试网络可达性

先不要启动您的抓取脚本。首先,查看您的节点是否能够到达目标 URL。您可以运行开源的 ipregion.sh 脚本来检查这一点。它运行快速、轻量级的网络脉冲检查。该脚本验证路由路径并确定特定平台是否允许从您当前的 IPv4 或 IPv6 地址进行访客或区域访问。

bash <(wget -qO- https://ipregion.vrnt.xyz)

通过 cURL 验证 Selenium 代理凭据

在启动 Chrome 之前,您必须验证您的 Selenium 代理 网关接受您的凭据。一个简单的命令行检查可以节省数小时调试浏览器超时的时间。您可以使用基本的 cURL 认证命令测试您的确切路由字符串。

curl -v -x http://LOGIN-resfix-us-nnid-TOKEN:PASSWORD@IP:5959 https://ipv4.icanhazip.com

如果代理层拒绝您的访问,终端将返回 HTTP 407 Proxy Authentication Required 错误。如果返回一个干净的 IP 地址,您就可以将这些凭据集成到您的 Selenium 代码中了。

评估风险等级

物理连接性并不能确保账户的持久性。平台会持续跟踪自动化活动。将 CyberYozh App Checker API 插入您的启动序列,以实时检查您的 IP 在主要数据库中的状态。按 0 到 100 的等级对您的连接进行评分。一旦节点达到 75 或更高,立即暂停您的脚本。

配置 Selenium 代理认证

将安全代理集成到您的 webdriver 中需要特定的凭据处理。原生 Selenium ChromeOptions 在处理代理认证字符串时存在困难。它只接受原始主机和端口数据。如果您直接将用户名和密码传递到标准代理参数中,浏览器会忽略它们。

Python 集成(Chrome DevTools Protocol)

从历史上看,Python 开发人员依赖 `selenium-wire` 来注入代理凭据。然而,`selenium-wire` 现在是一个已归档的项目,在现代 Python 环境中会触发严重的导入错误(例如 ImportError: cannot import name 'WeakNamespace' from 'blinker')。此外,注入本地中间人服务器会增加 10% 到 15% 的性能开销。

2026 年最干净、最快的方法是通过 Fetch.continueWithAuth 事件使用原生 Chrome DevTools Protocol (CDP)。此方法可以无缝传递您的 CyberYozh App 代理 凭据,而无需安装任何第三方拦截器。

以下是经过认证的 Selenium 代理连接的架构实现:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import threading
import json

class ChromeWithAuthProxy:
    """Selenium 4 Chrome driver that handles authenticated HTTP proxies via CDP."""
    def __init__(self, proxy_host, proxy_port, proxy_user, proxy_pass):
        self.proxy_host = proxy_host
        self.proxy_port = proxy_port
        self.proxy_user = proxy_user
        self.proxy_pass = proxy_pass
        self._cmd_id = 0
        self._lock = threading.Lock()

    def _cdp_send(self, method, params=None):
        with self._lock:
            self._cmd_id += 1
            msg = {"id": self._cmd_id, "method": method}
            if params:
                msg["params"] = params
            # Note: A full implementation requires establishing a WebSocket connection
            # to the CDP debugger URL (page_target["webSocketDebuggerUrl"]) 
            # and sending the JSON message.
            # Example logic for handling auth:
            # self._cdp_send("Fetch.continueWithAuth", {
            #     "requestId": requestId,
            #     "authChallengeResponse": {
            #         "response": "ProvideCredentials",
            #         "username": self.proxy_user,
            #         "password": self.proxy_pass
            #     }
            # })

# Usage setup
options = Options()
options.add_argument("--proxy-server=http://IP:5959")
# Initialize WebDriver and attach CDP listeners...
driver = webdriver.Chrome(options=options)
driver.get("https://ipv4.icanhazip.com")
print(driver.page_source)
driver.quit()

这种基于 CDP 的方法使 Selenium 更接近 Puppeteer 的架构,提供强大且极快的认证请求。

Node.js 和 Java 集成(本地转发)

现代 Node.js 管道依赖于使用诸如 proxy-chain之类的库进行本地代理转发。您的脚本生成一个本地的、未经认证的代理服务器,该服务器会静默地将流量转发到您的安全 CyberYozh App 代理。您可以将此本地 URL 直接传递到标准 ChromeDriver 选项中。

获取此 Node.js 设置用于您的生产环境:

const { Builder } = require('selenium-webdriver');
const chrome = require('selenium-webdriver/chrome');
const proxyChain = require('proxy-chain'); // npm install proxy-chain

// CyberYozh App Credentials
const proxyUrl = 'http://LOGIN-resfix-us-nnid-TOKEN:PASSWORD@IP:5959';

(async function run() {
    // Generate a local unauthenticated endpoint mapping to your secure proxy
    const localProxyUrl = await proxyChain.anonymizeProxy(proxyUrl);
    const options = new chrome.Options();
    options.addArguments(`--proxy-server=${localProxyUrl}`);
    options.addArguments('--ignore-certificate-errors');
    
    let driver = await new Builder().forBrowser('chrome').setChromeOptions(options).build();
    
    try {
        await driver.get('https://ipv4.icanhazip.com');
        let body = await driver.findElement({tagName: 'body'}).getText();
        console.log("Active IP:", body);
    } finally {
        await driver.quit();
        // Close the local forwarding server to free up system ports
        await proxyChain.closeAnonymizedProxy(localProxyUrl, true);
    }
})();

这两种方法都能确保您的流量通过指定的协议干净地路由,而不会触发认证弹出窗口或安全警报。

用于专业配置文件管理和自动化的平台工具

您的基础设施必须与您现有的代码库干净地连接。您需要一个用于账户稳定性和数据提取的一体化生态系统。CyberYozh App 提供单一统一的端点架构。我们将您的网络层、通信渠道和支付网关整合到一个安全环境中。

爬虫脚本 经常遇到 手机验证 问题。我们的平台原生解决了这一痛点。您可以部署 CyberYozh App 短信接收 API 来浏览可用国家、订购手机号码并直接在代码中获取 短信验证 码。

• 使用我们即用型 SERP 和爬虫 API 模板加速启动。

• 使用来自真实 ISP 的 真实住宅号码 通过手机验证。

• 创建与您的 虚拟银行卡 代理位置 完美匹配。

• 扩展您的重度自动化。系统会为您监控 HTTP 429 速率限制。

扩展 Selenium 代理管道并管理成本

重度自动化会快速消耗带宽。我们专门构建了这个网络来处理重度自动化的大规模扩展性。它在原始数据吞吐量与严格的财务控制之间取得平衡。

• 以 $0.9/GB 定价降低成本。

• 保留您未使用的流量。住宅数据额度永不过期。

• 在测试管道时按需付费,无最低消费。

• 为您的定制设置要求 99.9%+ 正常运行时间 SLA。

保护您的 Selenium 爬虫基础设施

通过标准数据中心服务器运行 Selenium 会导致可预见的失败。目标平台会立即标记这些无特征的流量。

您需要专业的网络层来安全地扩展您的操作。通过符合道德规范的住宅 IP 基础设施路由您的自动化 webdriver,可以完全消除这种技术摩擦。它在硬件层面保护您的网络足迹。

👉 检查您的 IP 欺诈分数 - 以目标服务器看到您连接的方式查看您的连接。

👉 浏览代理目录 - 部署高信任度移动和 Selenium 住宅代理以保护您的数据提取。

关于 Selenium 住宅代理的常见问题

为什么即使使用 Selenium 代理,我的脚本仍然被阻止?

大多数廉价代理提供商从标准商业数据中心发放 IP 地址。目标平台维护着这些服务器范围的严格数据库。当您的无头浏览器触及它们的防火墙时,系统会立即标记这些无特征的网络签名。您可以通过高信任度住宅 IP 网络路由流量来解决这个问题。这会迫使目标服务器将您的脚本视为合法的家庭互联网用户。

为什么标准 Selenium 会忽略我的代理用户名和密码?

标准 Selenium 中的原生 ChromeOptions 只接受原始 IP 和端口字符串。如果您直接在参数中嵌入用户名和密码,浏览器引擎会直接丢弃它们。您必须在 Python 中原生使用 Chrome DevTools Protocol (CDP),或在 Node.js 中使用 proxy-chain 部署本地转发,以无缝注入正确的身份验证标头。

即使使用高质量住宅代理,网站能否检测到 Selenium?

可以。干净的 IP 地址只能保护您的网络层。目标平台会执行激进的 JavaScript 挑战来审查您浏览器的内部硬件配置文件。标准 Selenium 会广播明显的 navigator.webdriver = true 信号。您必须剥离这些默认的自动化标记,并将浏览器的坐标数据与物理代理节点对齐,以防止深度身份不匹配。

对于账户管理,我应该使用轮换住宅代理还是静态住宅代理?

这完全取决于您的具体操作。从数千个页面提取公共数据?使用 -res-any 前缀。它会在每个请求上更改您的 IP,这样您就能避免速率限制。但如果您运营电商店铺或管理专业配置文件,您需要稳定的 IP 地址。部署静态 ISP 代理,将单个高度可信的家庭 IP 无限期地锁定到特定账户。

在大量抓取期间,如何保持稳定的代理成功率?

通过单个网关推送数千个并发线程通常会压垮连接。您通过将负载分散到数千个不同的住宅节点来保持稳定性。将网络规模与智能代码配对。编写自动重试。放弃硬编码的睡眠,改用显式等待(WebDriverWait)。并根据实时欺诈评分立即丢弃坏节点。

在启动 Chrome 之前,如何测试我的网络配置?

切勿盲目启动无头浏览器。您会浪费数小时调试盲超时。首先使用简单的终端 cURL 命令测试您的确切 IP:PORT:LOGIN:PASS 字符串。一旦代理网关接受您的凭据,就通过欺诈评分检查器运行分配的节点。这种严格的两步审计会在您的脚本执行第一个操作之前确认您的物理可达性并评估您的 IP 风险。

运行大量 Selenium 自动化时,如何降低带宽成本?

加载完整的图形网页会快速消耗数据。如果您按千兆字节为住宅流量付费,这会耗尽您的预算。您可以通过配置 ChromeOptions 来阻止不必要的图形资源,从而大幅削减运营成本。告诉您的 webdriver 阻止图像、CSS 和自定义字体。您的脚本执行速度更快,消耗的带宽只是一小部分,从而创建高度经济高效的数据提取管道。