Cách thiết lập proxy dân cư cho Selenium
Bạn viết một script và cần một Selenium proxyđáng tin cậy. Nó chạy hoàn hảo trên máy local của bạn. Bạn đẩy code lên môi trường production. Các nền tảng mục tiêu ngay lập tức từ chối kết nối.
Điều này phá vỡ toàn bộ quy trình làm việc của bạn. Hầu hết các operator định tuyến trình duyệt tự động qua datacenter hosting tiêu chuẩn. Các thuật toán bảo mật quét lưu lượng đến và phát hiện những chữ ký mạng vô trùng này ngay lập tức. Chúng ngắt kết nối. Automation của bạn bị đình trệ trước khi nó kịp trích xuất một điểm dữ liệu duy nhất.
Nhưng bạn có thể khắc phục điều này ở tầng mạng. Bạn phải bảo vệ dấu vết mạng của mình bằng cách tích hợp cơ sở hạ tầng IP residential độ tin cậy cao. Định tuyến webdriver của bạn qua các nhà cung cấp dịch vụ internet (ISP) xác thực bằng mạng lưới Selenium proxy mạnh mẽ. Điều này buộc các máy chủ mục tiêu phải xử lý các script của bạn như những khách truy cập thực sự. Lưu lượng của bạn hòa vào.
Hướng dẫn này trình bày chi tiết cách cấu trúc code Selenium residential proxies của bạn cho web scraping. Chúng tôi sẽ triển khai hiệu suất cấp doanh nghiệp cho production pipeline. Bạn sẽ học cách căn chỉnh vị trí mạng của mình và vượt qua các giới hạn khu vực. Cách tiếp cận này giúp duy trì tỷ lệ thành công proxy ổn định mà không kích hoạt các bộ lọc bảo mật tự động.
TL;DR: Bảo mật Selenium proxy pipeline ở quy mô lớn
Các hoạt động scraping của bạn bị đình trệ vì thiết lập webdriver hiện tại của bạn để lộ ý định thực sự. Đây là cách bạn giải quyết nó bằng các tham số code sẵn sàng sử dụng:
Vấn đề datacenter: Các thuật toán theo dõi tốc độ lưu lượng và loại mạng của bạn mọi lúc. Chúng ngay lập tức từ chối các request đến từ server hosting tiêu chuẩn. Đẩy headless Chrome qua các node datacenter rẻ tiền dẫn đến script thất bại ngay lập tức.
Giải pháp mạng: Bảo vệ dấu vết của bạn. Chuyển đổi cơ sở hạ tầng của bạn sang pool IP residential 100M+ để các nền tảng đích xử lý các request tự động của bạn giống hệt như khách truy cập thực sự.
Cô lập fingerprint: Thay đổi địa chỉ IP của bạn chỉ giải quyết được một nửa phương trình. Bạn phải loại bỏ các cờ tự động hóa Selenium mặc định. Sau đó đồng bộ hóa tọa độ trình duyệt nội bộ của bạn để khớp với vị trí vật lý của mạng để duy trì kết nối session ổn định.
Kiểm tra trước khi khởi chạy: Không bao giờ khởi chạy webdriver của bạn một cách mù quáng. Kiểm tra thông tin xác thực mạng của bạn qua lệnh cURL terminal đơn giản và đánh giá rủi ro của bạn bằng Fraud Score checker trước khi thực thi một browser instance tốn kém.
Xây dựng Selenium proxy automation pipeline ổn định
Ngừng coi proxy như một điều phụ thuộc. Codebase của bạn yêu cầu một cơ sở hạ tầng được củng cố. Khi bạn mở rộng từ mười request một phút lên mười nghìn, các thiết lập proxy cơ bản sẽ sụp đổ. Các kết nối bị ngắt tăng lên. Các luồng dữ liệu bị hỏng. Bạn cần một kiến trúc Selenium proxy xử lý tải nặng một cách tự nhiên.
Pipeline ổn định yêu cầu hành vi mạng có thể dự đoán được. Các máy chủ mục tiêu liên tục theo dõi tốc độ request của bạn. Nếu một địa chỉ IP duy nhất gửi quá nhiều gói tin, nền tảng sẽ cắt kết nối. Nhưng bạn có thể phân phối chính xác tải đó. Định tuyến lưu lượng qua hàng nghìn node riêng biệt phân tán dấu vết của bạn. Điều này ngăn chặn hoàn toàn các cờ giới hạn tốc độ. Hệ thống tự phục hồi dưới áp lực. Nếu một node mạng bị ngắt, cơ sở hạ tầng ngay lập tức định tuyến request của bạn qua một kết nối mới, đang hoạt động.
Xử lý hàng triệu session đồng thời mà không làm nghẽn ứng dụng mục tiêu của bạn.
Giữ các luồng trích xuất dữ liệu hoạt động mà không bị ngắt kết nối đột ngột bằng cách sử dụng các điều khiển API.
Chạy khối lượng công việc nặng mà không cần khởi động lại thủ công. Pool proxy tự động thay thế các node chết để giữ cho các session của bạn hoạt động.
Duy trì uptime được SLA hỗ trợ cho môi trường production của bạn.
Lựa chọn cơ sở hạ tầng: Khớp Selenium proxy với nhiệm vụ của bạn
Các nhiệm vụ khác nhau yêu cầu Selenium proxy khác nhau. Bạn sẽ lãng phí ngân sách nếu mua IP mobile chuyên dụng cho các trang web đơn giản, không được bảo vệ. Ngược lại, định tuyến rẻ tiền thất bại ngay lập tức trên các nền tảng nghiêm ngặt. Khớp cơ sở hạ tầng mạng của bạn trực tiếp với các tham số dự án của bạn để đảm bảo phân phối dữ liệu ổn định.
Loại proxy | Ưu điểm cốt lõi | Phù hợp nhất cho | Cơ chế tính phí |
Rotating residential | Tự động xoay IP theo từng request | Web crawling khối lượng lớn | Trả theo dung lượng ($4/GB) |
Static ISP | Session dài hạn ổn định liên tục | Quản lý profile chuyên nghiệp | Cố định theo tháng (từ $5.29) |
Shared Mobile LTE/4G/5G | CGNAT độ tin cậy cao với tự động xoay IP | Testing tiết kiệm và surfing ổn định | Theo ngày hoặc tháng (từ $1.7/ngày) |
Dedicated Mobile LTE/4G/5G | Modem riêng với xoay IP qua API và fingerprinting OS | Anti-fraud nghiêm ngặt và account farming | Theo ngày hoặc tháng (từ $3.5/ngày) |
Datacenter | IP riêng chuyên dụng với độ trễ cực thấp | Scraping tốc độ cao trên target bảo mật thấp | Cố định theo tháng (từ $1.77) |
Ngoại lệ Google SERP: Tại sao bạn cần mobile proxy
Không sử dụng rotating residential proxy để scrape Google Search Results (SERP). Khối lượng dữ liệu sẽ phá hủy ngân sách của bạn. Hệ thống anti-bot của Google gắn cờ các request lặp lại từ IP rotation tiêu chuẩn ngay lập tức.
Bạn phải triển khai mobile LTE/5G proxy cho Google scraping liên tục, đa luồng. Nhà mạng di động chạy trên công nghệ CGNAT. Điều này che giấu hàng nghìn người dùng smartphone thực đằng sau một địa chỉ IP. Google không thể chặn các địa chỉ này mà không ngắt kết nối người dùng thực. Hạ tầng mobile của chúng tôi cung cấp traffic không giới hạn. Bạn mở rộng quy mô SERP extraction vô hạn mà không phải trả tiền cho từng gigabyte.
Sự khác biệt giao thức: IPv4 vs IPv6 cho Selenium proxy routing
Bạn triển khai một scraper. Server đích ngắt kết nối IPv4 của bạn ngay lập tức. Bạn đổi proxy, nhưng node IPv4 mới cũng thất bại. Sau đó bạn định tuyến script Selenium giống hệt đó qua địa chỉ IPv6. Trang tải hoàn hảo.
Sự khác biệt giao thức này phá vỡ các automation pipeline cứng nhắc. Các database anti-bot cũ map và phân loại không gian IPv4 cũ một cách tích cực. Chúng giám sát các dải IP. Chúng lọc chúng rất nặng. Nhưng không gian địa chỉ IPv6 vẫn rộng lớn và phân mảnh. Nhiều thuật toán bảo mật doanh nghiệp áp dụng các tham số lọc hoàn toàn khác, thường lỏng lẻo hơn, đối với traffic IPv6.
Hạ tầng của bạn phải hỗ trợ routing linh hoạt để tồn tại qua những sự không khớp này. Dựa vào cấu hình tĩnh chắc chắn dẫn đến downtime. Các platform thường cấm toàn bộ subnet IPv4. Nhưng chúng để các endpoint IPv6 hoàn toàn mở. Xây dựng kiến trúc của bạn để xử lý sự khác biệt này một cách native. Nếu một node IPv4 thất bại, script của bạn cần chuyển sang địa chỉ IPv6 ngay lập tức.
Cấu hình dual-stack routing để đáp ứng các quy tắc giao thức khác nhau.
Định tuyến traffic của bạn qua không gian địa chỉ IPv6 khổng lồ để tránh xa các database cũ.
Duy trì tỷ lệ thành công ổn định bằng cách sử dụng protocol failover tự động.
Kiểm soát phiên và logic luân chuyển Selenium proxy
Selenium cần các quy tắc phiên nghiêm ngặt. Bạn đăng nhập, click xung quanh và thu thập dữ liệu. Một sự thay đổi IP đột ngột trong quá trình này sẽ kích hoạt cảnh báo ngay lập tức. Máy chủ đích sẽ cắt quyền truy cập của bạn ngay tại đó. Do đó, thiết lập luân chuyển của bạn phải khớp với công việc scrapingcụ thể.
Xác định các tham số kết nối của bạn bên trong proxy constructor trước khi khởi chạy webdriver. CyberYozh App cấu trúc kết nối sử dụng định dạng phổ quát IP:PORT:LOGIN:PASS. Bạn định tuyến các yêu cầu qua cổng 5959 cho HTTP hoặc cổng 9595 cho SOCKS5.
Tham số định tuyến residential proxy
Các tham số định tuyến của bạn phụ thuộc hoàn toàn vào việc bạn triển khai dynamic pools hay static ISP nodes.
Dynamic IP address proxy pools cho phép bạn kiểm soát tính ổn định danh tính mạng thông qua việc tạo thông tin xác thực cụ thể. Bạn không cần phải xây dựng các chuỗi nhắm mục tiêu phức tạp theo cách thủ công. CyberYozh App dashboard có tính năng Credentials Generator trực quan.
👉 Nhận Rotating Residential Proxies

Bạn chọn loại phiên cần thiết và hệ thống sẽ xuất ra chuỗi định dạng chính xác cho webdriver của bạn. Chuỗi văn bản trong username của bạn cho máy chủ biết phải làm gì với kết nối của bạn.
Random IP: Bạn nhận được một network node mới cho mỗi yêu cầu. Công cụ của chúng tôi thêm thẻ -res-any vào login của bạn. Chạy cấu hình này khi bạn chỉ cần khối lượng thô mà không cần giữ cookies hoạt động.
Short session: Hệ thống khóa một địa chỉ IP duy nhất trong tối đa sáu mươi giây. Cấu hình này cho phép lựa chọn vị trí cực kỳ chính xác xuống cấp quốc gia, tiểu bang và thành phố.
Long session (Sticky Sessions): Kết nối vẫn dính trong tối đa 24 giờ. Bạn không cần phải bắt session tokens theo cách thủ công. Trình tạo chỉ cần thêm một -resfix- token duy nhất vào chuỗi login của bạn. Cấu hình này cung cấp tính ổn định bền vững cần thiết để xử lý tài khoản, hoàn tất thanh toán nhiều trang và điền các biểu mẫu dài.

Kiến trúc static IP address hoạt động khác. Bạn nhận được một địa chỉ IP gia đình chuyên dụng được gán riêng cho bạn trong suốt thời gian thuê. Mạng liên kết IP này trực tiếp với một nhà cung cấp dịch vụ internet thực. Bạn không cần tạo rotation tokens hoặc quản lý session prefixes. Bạn chỉ cần cắm static IP và thông tin xác thực vào webdriver của bạn. Sử dụng kiến trúc này cho quản lý hồ sơ chuyên nghiệp và quản lý các hồ sơ e-commerce nghiêm ngặt, nơi việc duy trì một địa chỉ kỹ thuật số vĩnh viễn là bắt buộc.
👉 Đọc hướng dẫn đầy đủ về residential proxies để xem quy trình dashboard chính xác.
Cơ chế luân chuyển mobile proxy
Mạng di động chạy trên công nghệ CGNAT. Điều này có nghĩa là hàng nghìn người dùng thông thường chia sẻ đồng thời một địa chỉ IP nhà mạng duy nhất. Sự chồng chéo lớn đó khiến các mobile nodes trông cực kỳ xác thực đối với các bộ lọc bảo mật. Chúng tôi chia cơ sở hạ tầng này thành hai thiết lập riêng biệt. Và bạn không cần tạo usernames phức tạp cho bất kỳ thiết lập nào trong số đó. Chỉ cần kết nối trực tiếp bằng thông tin xác thực tĩnh mà chúng tôi cung cấp.
Một bộ đếm thời gian nội bộ tự động kiểm soát các cổng shared mobile proxy. Hệ thống tự động luân chuyển IP mỗi 5 đến 30 phút. Bạn không thể ép buộc thay đổi thủ công trên gói shared. Bạn cần lập trình script của mình để xử lý các lần ngắt kết nối đột ngột khi shared IP luân chuyển.
Nhưng các cổng proxy di động riêng hoạt động khác. Bạn có quyền truy cập độc quyền vào một modem LTE/4G/5G thực. Chúng tôi cung cấp cho bạn một liên kết API cụ thể trong bảng điều khiển của bạn. Bạn chỉ cần cấu hình mã Python hoặc Node.js của mình để gọi URL đó. Điều này kích hoạt khởi động lại phần cứng vật lý. Nó đặt lại dấu vân tay mạng của bạn hoàn toàn theo yêu cầu.
👉 Triển Khai Proxy Di Động Chuyên Dụng
Các cổng chuyên dụng cũng cấp quyền truy cập vào các công cụ mạng nâng cao. Bạn có thể kích hoạt tính năng khớp dấu vân tay hệ điều hành thụ động (TCP/IP). Nếu script Selenium của bạn chạy trên máy chủ Windows nhưng mô phỏng thiết bị iOS, tính năng này sẽ căn chỉnh chữ ký mạng để khớp hoàn hảo với phần cứng được mô phỏng.
Gọi Liên Kết Thay Đổi Địa Chỉ IP qua script của bạn để kiểm soát khoảng thời gian xoay vòng.
Đặt liên kết đó vào trường "IP Change URL" của trình duyệt chống phát hiện của bạn để đặt lại tự động.
Viết một khoảng tạm dừng 15 giây vào mã của bạn để chờ modem vật lý khởi động lại.
Sử dụng các liên kết VLESS-Reality (Xray) của chúng tôi để giữ lưu lượng truy cập ổn định qua các tường lửa nghiêm ngặt.
👉 Kiểm tra tài liệu API CyberYozh để xử lý giới hạn tốc độ và quản lý lịch sử node của bạn.
Che giấu webdriver Selenium và dấu vân tay trình duyệt
Định tuyến lưu lượng truy cập qua kết nối dân cư chỉ giải quyết được một nửa phương trình. Các nền tảng mục tiêu không chỉ xác minh địa chỉ IP của bạn. Chúng thực thi các thử thách JavaScript tích cực để thẩm vấn hồ sơ phần cứng nội bộ của trình duyệt bạn. Nếu proxy Selenium của bạn đăng ký ở London, nhưng webdriver Selenium của bạn phát một múi giờ hệ thống ở Tokyo, thuật toán sẽ phát hiện sự không khớp ngay lập tức. Nền tảng chấm dứt phiên của bạn.
Các công cụ tự động hóa tiêu chuẩn để lại những dấu vết kỹ thuật rõ ràng. Ngay từ đầu, Chrome phát một tín hiệu navigator.webdriver = true. Các bộ lọc bảo mật đọc điều này và chặn quyền truy cập của bạn trước khi trang được hiển thị. Bạn phải loại bỏ hoàn toàn các dấu hiệu tự động hóa mặc định này.
Chạy Chrome trên máy chủ có nghĩa là chạy nó ở chế độ headless. Bạn không có giao diện đồ họa. Nhưng kiến trúc headless cũ phát ra một cờ đỏ lớn. Nó ghi "HeadlessChrome" trực tiếp vào chuỗi user-agent của bạn. Hệ thống chống gian lận chặn điều này ngay lập tức, ngay cả khi proxy dân cư của bạn hoàn hảo.
Google đã phát hành chế độ headless mới để khắc phục điều này. Bạn phải buộc Selenium sử dụng nó. Thêm --headless=new vào các tùy chọn của bạn. Sau đó ghi đè rõ ràng chuỗi user-agent để trông giống như trình duyệt máy tính để bàn tiêu chuẩn. Ngoài ra, bạn có thể vô hiệu hóa hình ảnh và CSS để giảm đáng kể mức tiêu thụ băng thông.
options = Options()
# Force the new headless architecture
options.add_argument("--headless=new")
# Overwrite the default headless user-agent
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36")
# Save bandwidth by blocking images and CSS
prefs = {"profile.managed_default_content_settings.images": 2, "profile.managed_default_content_settings.stylesheet": 2}
options.add_experimental_option("prefs", prefs)
Nhưng loại bỏ cờ webdriver chỉ là cơ sở. Bạn phải đồng bộ hóa dữ liệu tọa độ và các tham số ngôn ngữ của trình duyệt trực tiếp với vị trí vật lý của node proxy của bạn. Đây là cách bạn thực hiện che giấu danh tính cơ bản và đồng bộ hóa múi giờ bằng cách sử dụng Chrome DevTools Protocol (CDP) trong một script Python Selenium:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
# Strip the default automation markers
options.add_argument("--disable-blink-features=AutomationControlled")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
driver = webdriver.Chrome(options=options)
# Override the webdriver property via CDP
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": "Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"
})
# Force the timezone to match a specific proxy IP (e.g., London)
driver.execute_cdp_cmd("Emulation.setTimezoneOverride", {
"timezoneId": "Europe/London"
})
# Mask WebRTC to prevent local IP leaks
driver.execute_cdp_cmd("Emulation.setWebRTCIPHandlingPolicy", {
"policy": "disable_non_proxied_udp"
})Kiểm tra mạng trước khi thực thi cho các script Selenium
Không bao giờ gửi lưu lượng truy cập tự động qua một node chưa được kiểm tra. Tin tưởng mù quáng vào nhóm proxy của bạn dẫn đến tài khoản bị đốt cháy. Bạn phải kiểm tra các tham số mạng của mình trước khi script thực thi hành động đầu tiên. Tích hợp xác minh thời gian thực trực tiếp vào chuỗi triển khai của bạn. Bước này cho phép bạn xem kết nối của mình chính xác như cách các nền tảng mục tiêu nhìn thấy nó.
Một cuộc kiểm tra đúng đắn bao gồm ba bước. Bạn kiểm tra khả năng truy cập, kiểm tra xác thực của bạn và đánh giá điểm rủi ro.
Kiểm tra khả năng kết nối mạng
Đừng khởi động script scraping của bạn ngay. Trước tiên, hãy kiểm tra xem node của bạn có thể kết nối đến URL đích hay không. Bạn có thể chạy script mã nguồn mở ipregion.sh để kiểm tra điều này. Nó thực hiện kiểm tra xung mạng nhanh và nhẹ. Script này xác minh các đường dẫn định tuyến và xác định xem các nền tảng cụ thể có cho phép truy cập khách hoặc truy cập theo khu vực từ địa chỉ IPv4 hoặc IPv6 hiện tại của bạn hay không.
bash <(wget -qO- https://ipregion.vrnt.xyz)Xác thực thông tin đăng nhập Selenium proxy qua cURL
Bạn phải xác minh gateway Selenium proxy chấp nhận thông tin đăng nhập của bạn trước khi khởi động Chrome. Một lệnh kiểm tra đơn giản trên dòng lệnh sẽ giúp bạn tiết kiệm hàng giờ debug các timeout trình duyệt mù mờ. Bạn kiểm tra chuỗi định tuyến chính xác của mình bằng lệnh xác thực cURL cơ bản.
curl -v -x http://LOGIN-resfix-us-nnid-TOKEN:PASSWORD@IP:5959 https://ipv4.icanhazip.comNếu lớp proxy từ chối quyền truy cập của bạn, terminal sẽ trả về lỗi HTTP 407 Proxy Authentication Required. Nếu nó trả về địa chỉ IP sạch, bạn đã sẵn sàng tích hợp các thông tin đăng nhập đó vào code Selenium của mình.
Đánh giá mức độ rủi ro
Kết nối vật lý không đảm bảo tuổi thọ tài khoản. Các nền tảng theo dõi hoạt động tự động liên tục. Tích hợp CyberYozh App Checker API vào quy trình khởi động của bạn để kiểm tra IP của bạn với các cơ sở dữ liệu chính theo thời gian thực. Chấm điểm các kết nối của bạn trên thang điểm từ 0 đến 100. Tạm dừng script của bạn ngay khi một node đạt 75 điểm trở lên.
Cấu hình xác thực Selenium proxy
Tích hợp proxy bảo mật vào webdriver của bạn yêu cầu xử lý thông tin đăng nhập cụ thể. Selenium ChromeOptions gốc gặp khó khăn với chuỗi xác thực proxy. Nó chỉ chấp nhận dữ liệu host và port thô. Nếu bạn truyền username và password trực tiếp vào các tham số proxy tiêu chuẩn, trình duyệt sẽ bỏ qua chúng.
Tích hợp Python (Chrome DevTools Protocol)
Trước đây, các nhà phát triển Python dựa vào `selenium-wire` để inject thông tin đăng nhập proxy. Tuy nhiên, `selenium-wire` hiện là một dự án đã lưu trữ và gây ra các lỗi import nghiêm trọng (chẳng hạn như ImportError: cannot import name 'WeakNamespace' from 'blinker') trên các môi trường Python hiện đại. Hơn nữa, việc inject một server man-in-the-middle cục bộ làm tăng thêm 10% đến 15% chi phí hiệu suất.
Phương pháp sạch nhất và nhanh nhất vào năm 2026 là sử dụng Chrome DevTools Protocol (CDP) gốc thông qua sự kiện Fetch.continueWithAuth. Phương pháp này truyền thông tin đăng nhập CyberYozh App proxy của bạn một cách liền mạch mà không cần cài đặt bất kỳ interceptor bên thứ ba nào.
Đây là triển khai kiến trúc cho kết nối Selenium proxy đã xác thực:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import threading
import json
class ChromeWithAuthProxy:
"""Selenium 4 Chrome driver that handles authenticated HTTP proxies via CDP."""
def __init__(self, proxy_host, proxy_port, proxy_user, proxy_pass):
self.proxy_host = proxy_host
self.proxy_port = proxy_port
self.proxy_user = proxy_user
self.proxy_pass = proxy_pass
self._cmd_id = 0
self._lock = threading.Lock()
def _cdp_send(self, method, params=None):
with self._lock:
self._cmd_id += 1
msg = {"id": self._cmd_id, "method": method}
if params:
msg["params"] = params
# Note: A full implementation requires establishing a WebSocket connection
# to the CDP debugger URL (page_target["webSocketDebuggerUrl"])
# and sending the JSON message.
# Example logic for handling auth:
# self._cdp_send("Fetch.continueWithAuth", {
# "requestId": requestId,
# "authChallengeResponse": {
# "response": "ProvideCredentials",
# "username": self.proxy_user,
# "password": self.proxy_pass
# }
# })
# Usage setup
options = Options()
options.add_argument("--proxy-server=http://IP:5959")
# Initialize WebDriver and attach CDP listeners...
driver = webdriver.Chrome(options=options)
driver.get("https://ipv4.icanhazip.com")
print(driver.page_source)
driver.quit()Cách tiếp cận dựa trên CDP này căn chỉnh Selenium gần hơn với kiến trúc của Puppeteer, cung cấp các request đã xác thực mạnh mẽ và cực kỳ nhanh.
Tích hợp Node.js và Java (Local Forwarding)
Các pipeline Node.js hiện đại dựa vào chuyển tiếp proxy cục bộ bằng cách sử dụng các thư viện như proxy-chain. Script của bạn tạo một proxy server cục bộ không xác thực để chuyển tiếp traffic một cách im lặng đến các CyberYozh App proxiesbảo mật của bạn. Bạn truyền URL cục bộ này trực tiếp vào các tùy chọn ChromeDriver tiêu chuẩn.
Lấy thiết lập Node.js này cho môi trường production của bạn:
const { Builder } = require('selenium-webdriver');
const chrome = require('selenium-webdriver/chrome');
const proxyChain = require('proxy-chain'); // npm install proxy-chain
// CyberYozh App Credentials
const proxyUrl = 'http://LOGIN-resfix-us-nnid-TOKEN:PASSWORD@IP:5959';
(async function run() {
// Generate a local unauthenticated endpoint mapping to your secure proxy
const localProxyUrl = await proxyChain.anonymizeProxy(proxyUrl);
const options = new chrome.Options();
options.addArguments(`--proxy-server=${localProxyUrl}`);
options.addArguments('--ignore-certificate-errors');
let driver = await new Builder().forBrowser('chrome').setChromeOptions(options).build();
try {
await driver.get('https://ipv4.icanhazip.com');
let body = await driver.findElement({tagName: 'body'}).getText();
console.log("Active IP:", body);
} finally {
await driver.quit();
// Close the local forwarding server to free up system ports
await proxyChain.closeAnonymizedProxy(localProxyUrl, true);
}
})();Điều chỉnh cho Java: Triển khai một daemon định tuyến cục bộ như BrowserMob Proxy hoặc LittleProxy trong ứng dụng Java của bạn. Bạn cấu hình daemon với thông tin đăng nhập CyberYozh App của mình. Sau đó, bạn hướng dẫn Selenium ChromeOptions của mình định tuyến traffic qua localhost:YOUR_PORT.
Cả hai phương pháp đều đảm bảo traffic của bạn định tuyến một cách sạch sẽ thông qua giao thức được chỉ định của bạn mà không kích hoạt các cửa sổ bật lên xác thực hoặc cảnh báo bảo mật.
Công cụ nền tảng cho quản lý hồ sơ chuyên nghiệp và tự động hóa
Hạ tầng của bạn phải kết nối liền mạch với codebase hiện có. Bạn cần một hệ sinh thái tất-cả-trong-một cho sự ổn định tài khoản và trích xuất dữ liệu. CyberYozh App cung cấp một kiến trúc endpoint thống nhất duy nhất. Chúng tôi hợp nhất lớp mạng, kênh giao tiếp và cổng thanh toán của bạn vào một môi trường bảo mật.
Script scraping thường xuyên gặp phải xác minh số điện thoại. Nền tảng của chúng tôi giải quyết vấn đề này một cách tự nhiên. Bạn triển khai API tiếp nhận SMS của CyberYozh App để duyệt các quốc gia có sẵn, đặt số điện thoại và lấy mã xác minh SMS trực tiếp trong code của bạn.
Triển khai nhanh hơn với các template API SERP và scraping sẵn sàng sử dụng của chúng tôi.
Vượt qua kiểm tra điện thoại bằng số điện thoại residential thực từ các ISP thực tế.
Tạo thẻ ngân hàng ảo khớp hoàn hảo với vị trí proxy của bạn.
Mở rộng quy mô tự động hóa nặng của bạn. Hệ thống giám sát giới hạn tốc độ HTTP 429 cho bạn.
Mở rộng quy mô pipeline Selenium residential proxies và quản lý chi phí
Tự động hóa nặng tiêu tốn băng thông rất nhanh. Chúng tôi xây dựng mạng này đặc biệt để xử lý khả năng mở rộng quy mô lớn cho tự động hóa nặng. Nó cân bằng thông lượng dữ liệu thô với các biện pháp kiểm soát tài chính nghiêm ngặt.
Kiểm soát chi phí với mức giá $4/GB.
Chuyển dữ liệu chưa sử dụng sang tháng sau. Lưu lượng tự động được chuyển sang chu kỳ thanh toán tiếp theo.
Trả theo mức sử dụng. Kiểm tra pipeline của bạn với gói tối thiểu 3 GB.
Yêu cầu SLA uptime 99.9%+ cho các thiết lập tùy chỉnh của bạn.
Bảo mật hạ tầng Selenium scraping của bạn
Chạy Selenium qua các máy chủ data center tiêu chuẩn dẫn đến thất bại có thể dự đoán được. Các nền tảng mục tiêu gắn cờ lưu lượng vô trùng ngay lập tức.
Bạn cần một lớp mạng chuyên nghiệp để mở rộng quy mô hoạt động của mình một cách an toàn. Định tuyến các webdriver tự động của bạn qua hạ tầng IP residential có nguồn gốc đạo đức sẽ loại bỏ hoàn toàn ma sát kỹ thuật này. Nó bảo vệ dấu vết mạng của bạn ở cấp độ phần cứng.
👉 Kiểm tra IP Fraud Score của bạn - Xem kết nối của bạn chính xác theo cách các máy chủ đích nhìn thấy nó.
👉 Khám phá Danh mục Proxy - Triển khai mobile và Selenium residential proxies độ tin cậy cao để bảo mật việc trích xuất dữ liệu của bạn.
