Cách thiết lập proxy dân cư cho Selenium

Bạn viết một script Selenium. Nó chạy hoàn hảo trên máy cục bộ của bạn. Bạn đẩy code lên môi trường production. Các nền tảng mục tiêu ngay lập tức từ chối kết nối.

Điều này phá vỡ toàn bộ quy trình làm việc của bạn. Hầu hết các nhà vận hành định tuyến trình duyệt tự động qua hosting datacenter tiêu chuẩn. Các thuật toán bảo mật quét lưu lượng truy cập đến và phát hiện ngay những dấu hiệu mạng vô trùng này. Chúng ngắt kết nối. Automation của bạn bị đình trệ trước khi nó kịp trích xuất một điểm dữ liệu duy nhất.

Nhưng bạn có thể khắc phục điều này ở tầng mạng. Bạn phải bảo vệ dấu vết mạng của mình bằng cách tích hợp một pool IP residential toàn cầu khổng lồ. Định tuyến các webdriver của bạn qua các nhà cung cấp dịch vụ internet (ISP) xác thực. Điều này buộc các máy chủ mục tiêu phải xử lý các script của bạn như khách truy cập thực. Lưu lượng của bạn hòa vào đám đông.

Hướng dẫn này chi tiết chính xác cách cấu trúc code của bạn cho web scraping. Chúng ta sẽ triển khai hiệu suất cấp doanh nghiệp cho các pipeline production. Bạn sẽ học cách căn chỉnh vị trí mạng và vượt qua các giới hạn khu vực. Phương pháp này giúp duy trì tỷ lệ thành công proxy cực kỳ cao mà không kích hoạt các bộ lọc bảo mật tự động.

TL;DR: Bảo mật pipeline Selenium ở quy mô lớn

Xây dựng pipeline automation Selenium ổn định

Đừng coi proxy như một thứ phụ. Codebase của bạn cần một hạ tầng được gia cố. Khi bạn mở rộng từ mười yêu cầu một phút lên mười nghìn, các thiết lập proxy cơ bản sẽ sụp đổ. Các kết nối bị ngắt nhân lên. Luồng dữ liệu bị hỏng. Bạn cần một kiến trúc xử lý tải nặng một cách tự nhiên.

Pipeline ổn định yêu cầu hành vi mạng có thể dự đoán được. Các máy chủ mục tiêu liên tục theo dõi tốc độ yêu cầu của bạn. Nếu một địa chỉ IP duy nhất gửi quá nhiều gói tin, nền tảng sẽ cắt kết nối. Nhưng bạn có thể phân tán chính xác tải đó. Định tuyến lưu lượng qua hàng nghìn node riêng biệt phân tán dấu vết của bạn. Điều này ngăn chặn hoàn toàn các cờ giới hạn tốc độ. Hệ thống tự phục hồi dưới áp lực. Nếu một node mạng bị ngắt, hạ tầng ngay lập tức định tuyến yêu cầu của bạn qua một kết nối mới, đang hoạt động.

• Xử lý hàng triệu phiên đồng thời mà không làm nghẽn ứng dụng mục tiêu.

• Giữ các luồng trích xuất dữ liệu hoạt động mà không bị ngắt kết nối đột ngột.

• Chạy khối lượng công việc nặng mà không cần khởi động lại thủ công. Pool proxy tự động thay thế các node chết để giữ các phiên của bạn hoạt động.

• Đảm bảo uptime cho môi trường production của bạn bằng cách sử dụng SLA tùy chỉnh cấp doanh nghiệp.

Lựa chọn hạ tầng: Khớp IP proxy với tác vụ Selenium

Các tác vụ khác nhau yêu cầu kiến trúc mạng khác nhau. Bạn sẽ lãng phí ngân sách nếu mua IP mobile cao cấp cho các trang web đơn giản, không được bảo vệ. Ngược lại, định tuyến rẻ tiền thất bại ngay lập tức trên các nền tảng nghiêm ngặt. Khớp hạ tầng mạng của bạn trực tiếp với các tham số dự án để đảm bảo phân phối dữ liệu ổn định.

Sự khác biệt giao thức: IPv4 so với IPv6 cho định tuyến Selenium

Bạn triển khai một scraper. Máy chủ đích ngắt kết nối IPv4 của bạn ngay lập tức. Bạn đổi proxy, nhưng nút IPv4 mới cũng thất bại. Sau đó bạn định tuyến script Selenium giống hệt đó qua địa chỉ IPv6 . Trang tải hoàn hảo.

Sự khác biệt giao thức này phá vỡ các pipeline tự động hóa cứng nhắc. Cơ sở dữ liệu chống bot cũ ánh xạ và phân loại không gian IPv4 cũ một cách tích cực. Chúng giám sát các dải địa chỉ. Chúng lọc chúng rất nặng. Nhưng không gian địa chỉ IPv6 vẫn rộng lớn và phân mảnh. Nhiều thuật toán bảo mật doanh nghiệp áp dụng các tham số lọc hoàn toàn khác, thường lỏng lẻo hơn, cho lưu lượng IPv6.

Cơ sở hạ tầng của bạn phải hỗ trợ định tuyến linh hoạt để vượt qua những bất hợp này. Dựa vào cấu hình tĩnh đảm bảo thời gian ngừng hoạt động. Các nền tảng thường cấm toàn bộ subnet IPv4. Nhưng họ để các endpoint IPv6 hoàn toàn mở. Xây dựng kiến trúc của bạn để xử lý sự khác biệt này một cách tự nhiên. Nếu một nút IPv4 thất bại, script của bạn cần chuyển sang địa chỉ IPv6 ngay lập tức.

• Cấu hình định tuyến dual-stack để đáp ứng các quy tắc giao thức khác nhau.

• Định tuyến lưu lượng của bạn qua không gian địa chỉ IPv6 rộng lớn để tránh khỏi các cơ sở dữ liệu cũ.

• Duy trì tỷ lệ thành công proxy cực cao bằng cách sử dụng chuyển đổi dự phòng giao thức tự động.

Kiểm soát phiên Selenium và logic luân chuyển proxy

Selenium cần các quy tắc phiên nghiêm ngặt. Bạn đăng nhập, nhấp xung quanh và thu thập dữ liệu. Một thay đổi IP đột ngột trong quá trình này kích hoạt cảnh báo ngay lập tức. Máy chủ đích cắt quyền truy cập của bạn ngay tại đó. Do đó, thiết lập luân chuyển của bạn phải phù hợp với công việc scrapingcụ thể của bạn.

Xác định các tham số kết nối của bạn bên trong proxy constructor trước khi khởi chạy webdriver. CyberYozh App cấu trúc kết nối sử dụng định dạng phổ quát IP:PORT:LOGIN:PASS . Bạn định tuyến yêu cầu qua cổng 5959 cho HTTP hoặc cổng 9595 cho SOCKS5.

Tham số định tuyến proxy residential

Các tham số định tuyến của bạn phụ thuộc hoàn toàn vào việc bạn triển khai pool động hay nút ISP tĩnh.

Một pool proxy địa chỉ IP động cho phép bạn kiểm soát tính ổn định danh tính mạng thông qua việc tạo thông tin xác thực cụ thể. Bạn không phải xây dựng các chuỗi nhắm mục tiêu phức tạp theo cách thủ công. Bảng điều khiển CyberYozh App có tính năng Trình tạo thông tin xác thực trực quan.

Bạn chọn loại phiên làm việc cần thiết và hệ thống sẽ xuất ra chuỗi định dạng chính xác cho webdriver của bạn. Chuỗi văn bản trong tên người dùng cho máy chủ của chúng tôi biết phải làm gì với kết nối của bạn.

• IP ngẫu nhiên: Bạn nhận được một nút mạng mới cho mỗi yêu cầu. Công cụ của chúng tôi thêm thẻ -res-any vào thông tin đăng nhập của bạn. Chạy tùy chọn này khi bạn chỉ cần khối lượng thô mà không cần giữ cookie hoạt động.

• Phiên ngắn: Hệ thống khóa một địa chỉ IP duy nhất trong tối đa sáu mươi giây. Cấu hình này cho phép lựa chọn vị trí cực kỳ chính xác xuống cấp quốc gia, bang và thành phố.

• Phiên dài: Kết nối vẫn cố định trong tối đa sáu giờ. Bạn không cần phải tự bắt token phiên. Trình tạo chỉ đơn giản thêm một token -resfix- duy nhất vào chuỗi đăng nhập của bạn. Cấu hình này cung cấp sự ổn định bền vững cần thiết để xử lý tài khoản, hoàn thành thanh toán nhiều trang và điền các biểu mẫu dài.

Kiến trúc địa chỉ IP tĩnh hoạt động khác biệt. Bạn nhận được một địa chỉ IP gia đình chuyên dụng được chỉ định riêng cho bạn trong suốt thời gian thuê. Mạng liên kết IP này trực tiếp với nhà cung cấp dịch vụ internet thực tế. Bạn không cần tạo token xoay vòng hoặc quản lý tiền tố phiên. Bạn chỉ cần cắm IP tĩnh và thông tin xác thực vào webdriver của mình. Sử dụng kiến trúc này cho các hoạt động đa tài khoản và quản lý hồ sơ thương mại điện tử nghiêm ngặt, nơi việc duy trì địa chỉ kỹ thuật số vĩnh viễn là bắt buộc.

👉 Đọc hướng dẫn đầy đủ về proxy dân cư để xem quy trình làm việc chính xác trên bảng điều khiển.

Cơ chế xoay vòng proxy di động

Mạng di động hoạt động trên công nghệ CGNAT. Điều này có nghĩa là hàng nghìn người dùng thông thường chia sẻ đồng thời một địa chỉ IP nhà mạng duy nhất. Sự chồng chéo lớn đó khiến các nút di động trông vô cùng xác thực đối với các bộ lọc bảo mật. Chúng tôi chia cơ sở hạ tầng này thành hai thiết lập riêng biệt. Và bạn không cần tạo tên người dùng phức tạp cho bất kỳ thiết lập nào. Chỉ cần kết nối trực tiếp bằng thông tin xác thực tĩnh mà chúng tôi cung cấp.

Bộ đếm thời gian nội bộ tự động kiểm soát cổng proxy di động chia sẻ. Hệ thống tự động xoay vòng IP sau mỗi 5 đến 30 phút. Bạn không thể buộc thay đổi thủ công trên gói chia sẻ. Bạn cần lập trình script của mình để xử lý các lần ngắt kết nối đột ngột khi IP chia sẻ xoay vòng. Nhưng cổng proxy di động chuyên dụng riêng hoạt động khác. Bạn có quyền truy cập độc quyền vào modem LTE/4G/5G thực. Chúng tôi cung cấp cho bạn một liên kết API cụ thể trong bảng điều khiển của bạn. Bạn chỉ cần cấu hình mã Python hoặc Node.js của mình để truy cập URL đó. Điều này kích hoạt khởi động lại phần cứng vật lý. Nó đặt lại dấu vân tay mạng của bạn hoàn toàn theo yêu cầu.

Các cổng chuyên dụng cũng cấp quyền truy cập vào các công cụ mạng nâng cao. Bạn có thể kích hoạt tính năng khớp dấu vân tay hệ điều hành thụ động (TCP/IP). Nếu script Selenium của bạn chạy trên máy chủ Windows nhưng mô phỏng thiết bị iOS, tính năng này sẽ căn chỉnh chữ ký mạng để khớp hoàn hảo với phần cứng được mô phỏng.

• Gọi Liên kết Thay đổi Địa chỉ IP qua script của bạn để kiểm soát khoảng thời gian xoay vòng.

• Đặt liên kết đó vào trường «URL Thay đổi IP» của trình duyệt chống phát hiện để tự động đặt lại.

• Viết một khoảng dừng 15 giây vào mã của bạn để đợi modem vật lý khởi động lại.

• Sử dụng VLESS-Reality (Xray) để giữ lưu lượng truy cập ổn định qua các tường lửa nghiêm ngặt.

👉 Kiểm tra tài liệu API CyberYozh để xử lý giới hạn tốc độ và quản lý lịch sử node của bạn.

Che giấu webdriver Selenium và dấu vân tay trình duyệt

Định tuyến lưu lượng qua kết nối residential chỉ giải quyết được một nửa vấn đề. Các nền tảng mục tiêu không chỉ xác minh địa chỉ IP của bạn. Chúng thực thi các thử thách JavaScript mạnh mẽ để thẩm vấn hồ sơ phần cứng nội bộ của trình duyệt bạn. Nếu IP proxy của bạn đăng ký ở London, nhưng webdriver Selenium của bạn phát đi múi giờ hệ thống ở Tokyo, thuật toán sẽ phát hiện sự không khớp ngay lập tức. Nền tảng chấm dứt phiên của bạn.

Các công cụ tự động hóa tiêu chuẩn để lại những dấu vết kỹ thuật rõ ràng. Ngay từ đầu, Chrome phát đi tín hiệu navigator.webdriver = true . Các bộ lọc bảo mật đọc được điều này và chặn quyền truy cập của bạn trước khi trang web được hiển thị. Bạn phải loại bỏ hoàn toàn các dấu hiệu tự động hóa mặc định này.

Chạy Chrome trên máy chủ có nghĩa là chạy nó ở chế độ headless. Bạn không có giao diện đồ họa. Nhưng kiến trúc headless cũ phát đi một cờ đỏ khổng lồ. Nó ghi thẳng «HeadlessChrome» vào chuỗi user-agent của bạn. Các hệ thống chống gian lận chặn điều này ngay lập tức, ngay cả khi proxy residential của bạn hoàn hảo.

Google đã phát hành chế độ headless mới để khắc phục điều này. Bạn phải buộc Selenium sử dụng nó. Thêm --headless=new vào các tùy chọn của bạn. Sau đó ghi đè rõ ràng chuỗi user-agent để trông giống như trình duyệt desktop tiêu chuẩn.

options = Options()

# Force the new headless architecture

options.add_argument("--headless=new")

# Overwrite the default headless user-agent

options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36")

Nhưng loại bỏ cờ webdriver chỉ là mức cơ bản. Bạn phải đồng bộ dữ liệu tọa độ và tham số ngôn ngữ của trình duyệt trực tiếp với vị trí vật lý của node proxy. Đây là cách bạn thực hiện che giấu danh tính cơ bản và đồng bộ múi giờ bằng Chrome DevTools Protocol (CDP) trong script Python Selenium:

from selenium import webdriver

from selenium.webdriver.chrome.options import Options

options = Options()

# Strip the default automation markers

options.add_argument("--disable-blink-features=AutomationControlled")

options.add_experimental_option("excludeSwitches", ["enable-automation"])

options.add_experimental_option('useAutomationExtension', False)

driver = webdriver.Chrome(options=options)

# Override the webdriver property via CDP

driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {

    "source": "Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"

})

# Force the timezone to match a specific proxy IP (e.g., London)

driver.execute_cdp_cmd("Emulation.setTimezoneOverride", {

    "timezoneId": "Europe/London"

})

# Mask WebRTC to prevent local IP leaks

driver.execute_cdp_cmd("Emulation.setWebRTCIPHandlingPolicy", {

    "policy": "disable_non_proxied_udp"

})

Che giấu ở cấp độ code có giới hạn nghiêm ngặt. Thay đổi chuỗi user-agent bên trong ChromeOptions không thực sự thay đổi cách trình duyệt hiển thị đồ họa. Các hệ thống chống gian lận ánh xạ chính xác các pixel mà trình duyệt của bạn vẽ để xác định card đồ họa cơ bản. Selenium tiêu chuẩn không thể che giấu hiệu quả các hash phần cứng sâu này một cách độc lập.

Do giới hạn kỹ thuật này, các nhà vận hành chuyên nghiệp kết nối Selenium trực tiếp với các trình duyệt anti-detect qua API. Cách tiếp cận này quản lý dấu vân tay trình duyệt hoàn toàn trên đám mây. Môi trường anti-detect xử lý việc căn chỉnh phần cứng phức tạp một cách tự nhiên. Selenium chỉ điều khiển giao diện.

Thực hiện tích hợp này đòi hỏi chuyển tiếp cổng chính xác và quản lý token API cục bộ. Bạn cấu hình script của mình để gắn vào một instance trình duyệt đang chạy, được cô lập sẵn thay vì khởi chạy cửa sổ Chrome cục bộ mới. Kiến trúc thiết lập thay đổi rất nhiều giữa các nhà cung cấp. Mỗi nhà cung cấp cấu trúc kết nối này khác nhau. Bạn phải đọc tài liệu API chính thức cho môi trường cụ thể của mình để có được các mẫu code đúng.

👉 Đọc tài liệu API cục bộ AdsPower hoặc hướng dẫn API Dolphin{anty} để tìm các tham số cổng cục bộ chính xác.

Và buộc pipeline của bạn tuân theo các quy tắc cơ bản sau:

• Đồng bộ vị trí proxy và dữ liệu ISP trực tiếp với hồ sơ trình duyệt của bạn.

• Xây dựng header trình duyệt và user-agentgiống con người.

• Căn chỉnh các dấu hiệu Canvas, WebGL và audio để mô phỏng tín hiệu thiết bị và hệ điều hành thực.

• Cách ly các hồ sơ trình duyệt theo từng tài khoản để tách biệt cookie và bộ nhớ cục bộ.

Kiểm tra mạng trước khi chạy script Selenium

Không bao giờ gửi lưu lượng tự động qua một node chưa được kiểm tra. Tin tưởng mù quáng vào pool proxy của bạn sẽ dẫn đến tài khoản bị khóa. Bạn phải kiểm tra các thông số mạng trước khi script thực hiện hành động đầu tiên. Tích hợp xác minh theo thời gian thực trực tiếp vào chuỗi triển khai của bạn. Bước này cho phép bạn xem kết nối của mình chính xác như cách các nền tảng mục tiêu nhìn thấy nó.

Một cuộc kiểm tra đúng cách bao gồm ba bước. Bạn kiểm tra khả năng kết nối, xác minh xác thực và đánh giá điểm rủi ro.

Kiểm tra khả năng kết nối mạng

Đừng khởi động script scraping của bạn ngay. Trước tiên, hãy xem node của bạn có thể kết nối đến URL đích hay không. Bạn có thể chạy script mã nguồn mở ipregion.sh của vernette để kiểm tra điều này. Nó thực hiện một kiểm tra xung mạng nhanh và nhẹ. Script xác minh các đường định tuyến và xác định xem các nền tảng cụ thể có cho phép truy cập khách hoặc truy cập theo khu vực từ địa chỉ IPv4 hoặc IPv6 hiện tại của bạn hay không.

Thực hiện kiểm tra trực tiếp từ terminal của bạn bằng lệnh này:

bash <(wget -qO- https://ipregion.vrnt.xyz)

Script trả về một ma trận định tuyến thực tế:

Popular services


Service                IPv4    IPv6

Google                 NL      MD

YouTube                NL      MD

ChatGPT                LV      LV

Target Site            Denied  N/A

Kết quả đầu ra ánh xạ chính xác tính khả dụng của nền tảng. Nó đánh dấu xem các dịch vụ có từ chối lưu lượng từ node hoặc khu vực cụ thể đó hay không. Bước này xác nhận sự sẵn sàng của cơ sở hạ tầng cơ bản trước khi bạn khởi tạo một phiên bản webdriver tốn kém.

Xác thực thông tin đăng nhập proxy qua cURL

Bạn phải xác minh cổng proxy của mình chấp nhận thông tin đăng nhập trước khi khởi động Chrome. Một kiểm tra dòng lệnh đơn giản sẽ tiết kiệm hàng giờ gỡ lỗi các timeout trình duyệt mù mờ. Bạn kiểm tra chuỗi định tuyến chính xác của mình bằng lệnh xác thực cURL cơ bản.

Chạy lệnh này trong terminal của bạn để mô phỏng một yêu cầu đã xác thực đơn lẻ qua node được chỉ định:

curl -v -x http://LOGIN-resfix-us-nnid-TOKEN:PASSWORD@IP:5959 https://ipv4.icanhazip.com

Phân tích kết quả đầu ra chi tiết. Nếu lớp proxy từ chối quyền truy cập của bạn, terminal sẽ trả về lỗi HTTP 407 Proxy Authentication Required. Điều này có nghĩa là bạn có lỗi đánh máy trong chuỗi tên người dùng hoặc token đã hết hạn. Nếu lệnh trả về địa chỉ IP rõ ràng, xác thực của bạn đã được cấu hình hoàn hảo. Bạn đã sẵn sàng tích hợp những thông tin đăng nhập đó vào mã Selenium của mình.

👉 Đọc hướng dẫn đầy đủ vềCách Thực Hiện Xác Thực cURLđể thành thạo chẩn đoán proxy dựa trên terminal nâng cao.

Đánh giá mức độ rủi ro

Khả năng kết nối vật lý không đảm bảo tuổi thọ tài khoản. Một IP có thể kết nối hoàn hảo nhưng vẫn mang theo hành lý lịch sử nghiêm trọng. Các nền tảng theo dõi hoạt động tự động liên tục. Nếu node residential được gán của bạn có lịch sử tốc độ lạm dụng cao, nền tảng mục tiêu sẽ đánh dấu phiên của bạn ngay lập tức.

Các bộ lọc bảo mật nâng cao phân tích nhiều yếu tố. Trong khi các tiện ích cơ bản ánh xạ tọa độ, cơ sở hạ tầng nâng cao yêu cầu thông tin chi tiết sâu. Bạn có thể xem hướng dẫn toàn diện về7 Công Cụ Tra Cứu Địa Chỉ IP Tốt Nhất cho Bảo Mật, Proxy & Tự Động Hóađể xem cách các dịch vụ chẩn đoán khác nhau tổng hợp dữ liệu mạng. Các công cụ tiêu chuẩn như IPinfo hoặc MaxMind cung cấp dữ liệu định vị địa lý mô tả hữu ích. Nhưng các pipeline sản xuất cần giám sát chủ động. Tích hợp API Checker của CyberYozh App vào chuỗi khởi động của bạn. Điều này kiểm tra IP của bạn với các cơ sở dữ liệu lớn như IPQualityScore và ThreatMetrix theo thời gian thực. Bạn truyền X-Api-Key trong header yêu cầu để lấy điểm gian lận, truy xuất thông tin nhà mạng và phát hiện số VOIP theo chương trình trước khi khởi động bất kỳ webdriver nào.

• Chạy tra cứu chẩn đoán tự động để phát hiện các dấu hiệu lạm dụng lịch sử trước khi khởi động webdriver.

• Chấm điểm kết nối của bạn trên thang điểm từ 0 đến 100. Tạm dừng script ngay khi một node đạt 75 điểm trở lên.

• Lọc các pool proxy của bạn một cách động để loại bỏ sự nhiễm datacenter hoặc dấu vết VPN bị rò rỉ.

• Chấm dứt các luồng thực thi ngay lập tức nếu một node ghi nhận tốc độ lạm dụng cao.

Chuỗi kiểm tra trước ba bước này đảm bảo script của bạn không bao giờ khởi tạo phiên với danh tính bị xâm phạm. Cơ sở hạ tầng sạch sẽ tiết kiệm ngân sách hoạt động của bạn.

👉 Xem tài liệu API checker để biết định dạng phản hồi JSON và các lệnh xác thực số điện thoại.

Cấu hình xác thực proxy trong Selenium

Tích hợp proxy bảo mật vào webdriver của bạn đòi hỏi xử lý thông tin xác thực cụ thể. ChromeOptions gốc của Selenium gặp khó khăn với chuỗi xác thực proxy. Nó chỉ chấp nhận dữ liệu host và port thô. Nếu bạn truyền username và password trực tiếp vào các tham số proxy tiêu chuẩn, trình duyệt sẽ bỏ qua chúng. Các nền tảng đích ngay lập tức ngắt kết nối của bạn.

Chúng tôi sử dụng định dạng tiêu chuẩn IP:PORT:LOGIN:PASS . Bạn phải đẩy các header đăng nhập đó trực tiếp vào code của mình.

Tích hợp Python (selenium-wire)

Các lập trình viên Python xử lý việc này bằng selenium-wire. Nó vá trực tiếp vào Selenium tiêu chuẩn. Nó chặn các yêu cầu trình duyệt ở tầng dưới và tự động áp dụng thông tin xác thực CyberYozh App proxy của bạn.

Đây là một sắc thái kỹ thuật quan trọng. CyberYozh App cấp proxy sử dụng giao thức HTTP hoặc SOCKS5. Bạn không cần «HTTPS proxy» để duyệt các trang web HTTPS bảo mật. Một HTTP proxy tiêu chuẩn truyền tải lưu lượng mã hóa hoàn hảo bằng phương thức CONNECT.

Cài đặt thư viện qua terminal của bạn trước bằng cách chạy pip install selenium-wire. Đây là cách triển khai chính xác cho kết nối HTTP sử dụng phiên residential cố định trên cổng 5959:

from seleniumwire import webdriver

from selenium.webdriver.chrome.options import Options

# Prevent script crashes caused by proxy SSL handshake variations

options = Options()

options.add_argument('--ignore-certificate-errors')

# Define CyberYozh App credentials for HTTP protocol

proxy_options = {

    'proxy': {

        'http': 'http://LOGIN-resfix-us-nnid-TOKEN:PASSWORD@IP:5959',

        'https': 'http://LOGIN-resfix-us-nnid-TOKEN:PASSWORD@IP:5959', # Routes HTTPS traffic through HTTP

        'no_proxy': 'localhost,127.0.0.1'

    }

}

driver = webdriver.Chrome(options=options, seleniumwire_options=proxy_options)

try:

    # Always use Explicit Waits (WebDriverWait) in production 

    # to handle variable proxy response times gracefully.

    driver.get("https://ipv4.icanhazip.com")

    print(driver.page_source)

finally:

    driver.quit()

Nếu pipeline của bạn yêu cầu định tuyến mạng cấp thấp hơn, bạn có thể chuyển sang giao thức SOCKS5. Đổi cổng của bạn thành 9595 và cập nhật scheme trong từ điển cấu hình:

from seleniumwire import webdriver

from selenium.webdriver.chrome.options import Options

# Prevent script crashes caused by proxy SSL handshake variations

options = Options()

options.add_argument('--ignore-certificate-errors')

# Define CyberYozh App credentials for SOCKS5 protocol

proxy_options = {

    'proxy': {

        'http': 'socks5://LOGIN-resfix-us-nnid-TOKEN:PASSWORD@IP:9595',

        'https': 'socks5://LOGIN-resfix-us-nnid-TOKEN:PASSWORD@IP:9595', # Routes HTTPS traffic through SOCKS5

        'no_proxy': 'localhost,127.0.0.1'

    }

}

driver = webdriver.Chrome(options=options, seleniumwire_options=proxy_options)

try:

    driver.get("https://ipv4.icanhazip.com")

    print(driver.page_source)

finally:

    driver.quit()

Tích hợp Node.js và Java (Extension Injection)

Môi trường Node.js và Java thiếu tương đương trực tiếp với selenium-wire. Trước đây, các lập trình viên tiêm các extension trình duyệt động để xử lý xác thực. Việc Chrome hoàn toàn ngừng hỗ trợ các extension Manifest V2 khiến cách tiếp cận đó không ổn định và lỗi thời.

Các pipeline Node.js hiện đại dựa vào chuyển tiếp proxy cục bộ sử dụng các thư viện như proxy-chain. Script của bạn tạo ra một máy chủ proxy cục bộ không cần xác thực, âm thầm chuyển tiếp lưu lượng đến CyberYozh App proxiesbảo mật của bạn. Bạn truyền URL cục bộ này trực tiếp vào các tùy chọn ChromeDriver tiêu chuẩn.

Lấy thiết lập Node.js này cho môi trường production của bạn:

const { Builder } = require('selenium-webdriver');

const chrome = require('selenium-webdriver/chrome');

const proxyChain = require('proxy-chain'); // npm install proxy-chain

// CyberYozh App Credentials

const proxyUrl = 'http://LOGIN-resfix-us-nnid-TOKEN:PASSWORD@IP:5959';

(async function run() {

    // Generate a local unauthenticated endpoint mapping to your secure proxy

    const localProxyUrl = await proxyChain.anonymizeProxy(proxyUrl);

    const options = new chrome.Options();

    options.addArguments(`--proxy-server=${localProxyUrl}`);

    options.addArguments('--ignore-certificate-errors');

    let driver = await new Builder().forBrowser('chrome').setChromeOptions(options).build();

    

    try {

        await driver.get('https://ipv4.icanhazip.com');

        let body = await driver.findElement({tagName: 'body'}).getText();

        console.log("Active IP:", body);

    } finally {

        await driver.quit();

        // Close the local forwarding server to free up system ports

        await proxyChain.closeAnonymizedProxy(localProxyUrl, true);

    }

})();

Cả hai phương pháp đều đảm bảo lưu lượng của bạn định tuyến sạch sẽ qua giao thức được chỉ định mà không kích hoạt cửa sổ bật lên xác thực hoặc cảnh báo bảo mật.

Công cụ nền tảng cho multi-accounting và tự động hóa

Cơ sở hạ tầng của bạn phải kết nối sạch sẽ với codebase hiện có. Các toolchain phân mảnh tạo ra độ trễ và lỗi logic. Bạn mua địa chỉ IP từ một nhà cung cấp. Bạn thuê số điện thoại để xác minh SMS từ nhà cung cấp khác. Bạn tạo thẻ thanh toán ở nơi khác. Script Selenium của bạn phải xử lý ba API khác nhau với thời gian phản hồi hoàn toàn khác nhau. Khi một dịch vụ bên ngoài duy nhất ngừng hoạt động, toàn bộ pipeline của bạn sụp đổ.

Bạn cần một hệ sinh thái tất cả trong một cho multi-accounting và trích xuất dữ liệu. CyberYozh App cung cấp kiến trúc endpoint thống nhất duy nhất. Chúng tôi hợp nhất lớp mạng, các kênh truyền thông và cổng thanh toán của bạn vào một môi trường bảo mật. Bạn quản lý các hoạt động phức tạp thông qua dashboard thông lượng cao mà không cần cài đặt phần mềm bên ngoài cồng kềnh.

Script scraping gặp phải xác minh số điện thoại liên tục. Các trang web nghiêm ngặt yêu cầu xác nhận qua điện thoại và phương thức thanh toán địa phương để ủy quyền hồ sơ mới. Nền tảng của chúng tôi giải quyết vấn đề này một cách tự nhiên. Bạn triển khai API nhận tin nhắn SMS của CyberYozh App để duyệt các quốc gia có sẵn, đặt số điện thoại và lấy mã xác minh SMS trực tiếp trong mã nguồn của bạn. Chúng tôi cung cấp các dịch vụ số ảo có thể lập trình này cùng với thẻ ngân hàng ảo tức thì. Bạn kiểm soát toàn bộ vòng đời danh tính trong một ranh giới bảo mật duy nhất.

• Ra mắt nhanh hơn với các mẫu API SERP và scraping sẵn sàng sử dụng của chúng tôi.

• Vượt qua kiểm tra điện thoại bằng số điện thoại dân cư thực từ các nhà cung cấp dịch vụ Internet thực tế.

• Tạo thẻ ngân hàng ảo khớp hoàn hảo với vị trí proxy của bạn.

• Theo dõi nhật ký và dấu vết kiểm toán của bạn trong một bảng điều khiển.

• Mở rộng quy mô tự động hóa nặng của bạn. Hệ thống giám sát giới hạn tốc độ HTTP 429 cho bạn.

👉 Xem lại các điểm cuối API nhận tin nhắn SMS để biết cách yêu cầu và nhận mã ủy quyền theo chương trình.

Mở rộng quy mô pipeline Selenium và quản lý chi phí proxy

Tự động hóa nặng tiêu thụ băng thông rất nhanh. Chạy trình duyệt không giao diện ngốn dữ liệu. Scraping mười nghìn trang mục tiêu làm cạn kiệt ngân sách của bạn ngay lập tức nếu bạn trả giá proxy bán lẻ tiêu chuẩn. Bạn cần cấu trúc giá có thể dự đoán được để tính toán chi phí hoạt động chính xác. Chúng tôi xây dựng mạng lưới này đặc biệt để xử lý khả năng mở rộng quy mô lớn cho tự động hóa nặng. Nó cân bằng thông lượng dữ liệu thô với kiểm soát tài chính nghiêm ngặt.

Và việc mở rộng quy mô hoạt động của bạn không nên làm tăng tỷ lệ thất bại. Đẩy nhiều luồng Selenium đồng thời hơn thường làm sập các pool proxy giá rẻ. Các nút máy chủ bị lỗi. Kết nối bị ngắt. Nhưng bạn yêu cầu hiệu suất ổn định dưới tải nặng. Bạn nhận được cơ sở hạ tầng ổn định mà không phải trả mức giá cao của các thương hiệu cao cấp.

• Giảm chi phí của bạn với mức giá $0.9/GB.

• Giữ lại lưu lượng chưa sử dụng. Tín dụng dữ liệu dân cư không bao giờ hết hạn.

• Trả theo mức sử dụng với mức tối thiểu bằng không trong khi bạn thử nghiệm pipeline của mình.

• Yêu cầu SLA thời gian hoạt động 99.9%+ cho các thiết lập tùy chỉnh của bạn.

Bảo mật cơ sở hạ tầng scraping Selenium của bạn

Chạy Selenium qua các máy chủ trung tâm dữ liệu tiêu chuẩn đảm bảo thất bại. Các nền tảng mục tiêu gắn cờ lưu lượng vô trùng ngay lập tức. Script của bạn bị lỗi. Bạn lãng phí hàng giờ để gỡ lỗi kết nối bị ngắt thay vì thực sự trích xuất dữ liệu.

Bạn cần một lớp mạng chuyên nghiệp để mở rộng quy mô hoạt động của mình một cách an toàn. Định tuyến các webdriver tự động của bạn qua một pool IP dân cư toàn cầu khổng lồ có nguồn gốc đạo đức hoàn toàn loại bỏ ma sát kỹ thuật này. Nó bảo vệ dấu vết mạng của bạn ở cấp độ phần cứng. Bạn ngừng chiến đấu với các thuật toán chống bot tích cực. Bạn bắt đầu hoạt động với khả năng dự đoán tuyệt đối.

Ngừng để các bộ lọc bảo mật nền tảng phá vỡ pipeline sản xuất của bạn. Xây dựng một kiến trúc ổn định xử lý khối lượng công việc tự động hóa nặng một cách tự nhiên.

👉 Kiểm tra điểm gian lận IP của bạn - Xem kết nối của bạn chính xác theo cách các máy chủ đích nhìn thấy nó.

👉 Bắt đầu với $0.9 hôm nay - Triển khai proxy di động và dân cư độ tin cậy cao để bảo mật việc trích xuất dữ liệu Selenium của bạn.

Câu hỏi thường gặp về proxy dân cư Selenium

Tại sao các script Selenium của tôi bị chặn ngay cả khi dùng proxy?

Hầu hết các nhà cung cấp proxy giá rẻ phát hành địa chỉ IP từ các trung tâm dữ liệu thương mại tiêu chuẩn. Các nền tảng mục tiêu duy trì cơ sở dữ liệu nghiêm ngặt về các dải máy chủ này. Khi trình duyệt headless của bạn chạm vào tường lửa của họ, hệ thống sẽ gắn cờ chữ ký mạng vô trùng ngay lập tức. Bạn khắc phục điều này bằng cách định tuyến lưu lượng qua một nhóm IP dân cư toàn cầu khổng lồ. Điều này buộc máy chủ đích phải xem script của bạn như một người dùng internet gia đình hợp pháp.

Tại sao Selenium tiêu chuẩn bỏ qua tên người dùng và mật khẩu proxy của tôi?

ChromeOptions gốc trong Selenium tiêu chuẩn chỉ chấp nhận chuỗi IP và cổng thô. Nếu bạn nhúng trực tiếp tên người dùng và mật khẩu vào tham số, công cụ trình duyệt sẽ đơn giản loại bỏ chúng. Các máy chủ mục tiêu sau đó từ chối kết nối của bạn. Bạn phải sử dụng thư viện chặn như selenium-wire trong Python hoặc triển khai chuyển tiếp cục bộ với proxy-chain trong Node.js để chèn các header xác thực chính xác một cách tự nhiên.

Các trang web có thể phát hiện Selenium nếu tôi sử dụng proxy dân cư chất lượng cao không?

Có. Một địa chỉ IP sạch chỉ bảo mật lớp mạng của bạn. Các nền tảng mục tiêu thực thi các thử thách JavaScript tích cực để thẩm vấn hồ sơ phần cứng nội bộ của trình duyệt bạn. Selenium tiêu chuẩn phát ra tín hiệu navigator.webdriver = true rõ ràng. Bạn phải loại bỏ các dấu hiệu tự động hóa mặc định này và căn chỉnh dữ liệu tọa độ của trình duyệt với nút proxy vật lý để ngăn chặn sự không khớp danh tính sâu.

Tôi nên sử dụng proxy dân cư xoay vòng hay tĩnh cho quản lý tài khoản?

Nó phụ thuộc hoàn toàn vào hoạt động cụ thể của bạn. Kéo dữ liệu công khai từ hàng nghìn trang? Sử dụng tiền tố -res-any. Nó thay đổi IP của bạn trên mỗi yêu cầu để bạn tránh giới hạn tốc độ. Nhưng nếu bạn điều hành các cửa hàng thương mại điện tử hoặc hồ sơ mạng xã hội, bạn cần địa chỉ IP ổn định. Triển khai proxy ISP tĩnh để khóa một IP gia đình đơn lẻ, đáng tin cậy cao vào một tài khoản cụ thể vô thời hạn.

Làm cách nào để duy trì tỷ lệ thành công proxy cực cao trong quá trình scraping nặng?

Đẩy hàng nghìn luồng đồng thời qua một cổng duy nhất thường làm sập kết nối. Bạn duy trì sự ổn định bằng cách phân phối tải của mình trên hàng nghìn nút dân cư riêng biệt. Kết hợp quy mô mạng đó với mã thông minh. Viết các lần thử lại tự động. Loại bỏ các sleep được mã hóa cứng và sử dụng Explicit Waits (WebDriverWait) thay thế. Và loại bỏ các nút xấu ngay lập tức dựa trên điểm gian lận trực tiếp.

Làm cách nào để kiểm tra cấu hình mạng của tôi trước khi khởi chạy Chrome?

Đừng bao giờ khởi chạy trình duyệt headless một cách mù quáng. Bạn lãng phí hàng giờ gỡ lỗi timeout mù. Kiểm tra chuỗi IP:PORT:LOGIN:PASS chính xác của bạn bằng lệnh cURL terminal đơn giản trước. Khi cổng proxy chấp nhận thông tin đăng nhập của bạn, chạy nút được chỉ định qua trình kiểm tra Fraud Score. Kiểm tra hai bước nghiêm ngặt này xác nhận khả năng tiếp cận vật lý của bạn và đánh giá rủi ro IP của bạn trước khi script của bạn thực thi hành động đầu tiên.

Làm cách nào để giảm chi phí băng thông khi chạy tự động hóa Selenium nặng?

Tải các trang web đồ họa đầy đủ tiêu tốn dữ liệu nhanh chóng. Nếu bạn trả tiền cho lưu lượng dân cư theo gigabyte, điều này làm cạn kiệt ngân sách của bạn. Bạn có thể cắt giảm chi phí vận hành bằng cách cấu hình ChromeOptions để chặn các tài nguyên đồ họa không cần thiết. Yêu cầu webdriver của bạn chặn hình ảnh, CSS và phông chữ tùy chỉnh. Các script của bạn thực thi nhanh hơn và tiêu thụ một phần nhỏ băng thông, tạo ra các pipeline trích xuất dữ liệu hiệu quả về chi phí cao.