Rechenzentrums-Proxys
Erfassen Sie große Datenmengen über Rechenzentrums-Proxys, wenn Ihre Zielseiten diesen Traffic akzeptieren. Sie kontrollieren weiterhin Client, Parsing und Speicherung.
Buyer Fit
Starker Bewertungskandidat
Behalten Sie den HTTP-Client, Browser oder Crawler bei der Bewertung einer Datenzentrum-Origin-Route für eine stabile, wiederholbare Arbeitslast.
Vertreter targets akzeptieren Datenverkehr aus dem Rechenzentrum.
Die Nachfrage ist gut genug verstanden, um die Kapazität zu erfassen.
Ihr Team ist für Wiederholungen, Parsing, Speicher und Qualität verantwortlich.
Validierung vor Skalierung
Testvertretende berechtigte öffentliche Seiten, Erfolgskriterien, Antwortverarbeitung und konservatives Anforderungsverhalten, bevor Sie sich einer Zuweisung verpflichtet haben.
Überprüfen Sie die Quellbegriffe und die beabsichtigte Verwendung.
Messen Sie die target-Antworten, die Ihr Collector erhält.
Passen Sie das aktuelle Angebot an die Arbeitsbelastung an.
Wählen Sie bei Bedarf einen anderen Pfad
Beurteilen Sie Residential oder ISP-Proxys wenn die Identitätskategorie wichtig ist, oder eine Web-Zugang-API, wenn Ihr Team nicht den Abfahrts-Fracht-Client besitzen möchte.
Bereitgestellte Steuerelemente
Legen Sie Land, Sitzung und Authentifizierung für Ihren Collector fest. Bestätigen Sie verfügbare Standorte und Verbindungsdaten für Ihren Tarif.
Teilen Sie die Ausgangslinie, die Spitzenfenster und die Kontinuitätsanforderungen, damit das vorgeschlagene Kapazitäts- und Zuweisungsmodell Ihrer Arbeitsbelastung entspricht.
Verwenden Sie nur den bereicherspezifischen Endpunkt und die während der Bereitstellung bereitgestellte Authentifizierungsmethode.
Verwenden Sie das unterstützte Protokoll für Ihr Konto, und überprüfen Sie dann, ob die bereitgestellte Konfiguration Ihren proxy-awaren Kunden sauber abbildet.
Verwenden Sie die für Ihre bereitgestellten Route verfügbaren geografischen Optionen und Auswahlverhalten.
Kapazität und Kontinuität
Ihr Collector legt Nebenläufigkeit, Timeout und Wiederholungsverhalten fest. Stimmen Sie das bereitgestellte Kontingent sowie Rotation, Persistenz und Sitzungsverhalten auf diese Anforderungen ab.
Collector brief
Provisioned route
Baseline-Test
Eine repräsentative Anfrage gegen die zugelassenen öffentlichen targets auszuführen.
Peak-Window-Test
Üben Sie die Nachfrageform aus, ohne Collector-Grenzen zu umgehen.
Failure-Path-Test
Überprüfen Sie das Timeout-, Wiederholungs-, Rückwärts- und Stoppverhalten.
Integration für Entwickler
Die Konto-spezifischen Verbindungsdetails werden in geschützten Server-Umgebungsvariablen gespeichert. WebScrapingAPI Endpunkt.
01 Bereitstellung vor dem Anschluss
Bewertet die Repräsentanten targets und die Bereitstellung von Endpunkten, Authentifizierung, Protokoll, Geographie, Zuordnung und Preisgestaltung, bevor Sie die Clientkonfiguration einsetzen.
test -n "$WSA_DATACENTER_PROXY_URL" || exit 1
curl --fail --show-error \
--proxy "$WSA_DATACENTER_PROXY_URL" \
"https://example.com/public-page"import { ProxyAgent, fetch } from "undici";
const proxyUrl = process.env.WSA_DATACENTER_PROXY_URL;
if (!proxyUrl) throw new Error("Missing proxy configuration");
const response = await fetch("https://example.com/public-page", {
dispatcher: new ProxyAgent(proxyUrl),
});
if (!response.ok) throw new Error("Target response was not successful");
console.log(await response.text());import os
import requests
proxy_url = os.environ["WSA_DATACENTER_PROXY_URL"]
response = requests.get(
"https://example.com/public-page",
proxies={"http": proxy_url, "https": proxy_url},
timeout=30,
)
response.raise_for_status()
print(response.text)<?php
$proxyUrl = getenv("WSA_DATACENTER_PROXY_URL");
if (!$proxyUrl) throw new RuntimeException("Missing proxy configuration");
$client = curl_init("https://example.com/public-page");
curl_setopt_array($client, [
CURLOPT_PROXY => $proxyUrl,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_TIMEOUT => 30,
]);
$body = curl_exec($client);
if ($body === false) throw new RuntimeException(curl_error($client));
curl_close($client);
echo $body;package main
import (
"io"
"log"
"net/http"
"net/url"
"os"
"time"
)
func main() {
proxyURL, err := url.Parse(os.Getenv("WSA_DATACENTER_PROXY_URL"))
if err != nil { log.Fatal(err) }
client := &http.Client{
Transport: &http.Transport{Proxy: http.ProxyURL(proxyURL)},
Timeout: 30 * time.Second,
}
response, err := client.Get("https://example.com/public-page")
if err != nil { log.Fatal(err) }
defer response.Body.Close()
body, err := io.ReadAll(response.Body)
if err != nil { log.Fatal(err) }
log.Print(string(body))
}import java.net.*;
import java.net.http.*;
public class DatacenterProxyExample {
public static void main(String[] args) throws Exception {
var host = System.getenv("WSA_DATACENTER_PROXY_HOST");
var port = System.getenv("WSA_DATACENTER_PROXY_PORT");
var username = System.getenv("WSA_DATACENTER_PROXY_USERNAME");
var password = System.getenv("WSA_DATACENTER_PROXY_PASSWORD");
if (host == null || port == null || username == null || password == null) {
throw new IllegalStateException("Missing provisioned Datacenter Proxy values");
}
var address = new InetSocketAddress(host, Integer.parseInt(port));
var client = HttpClient.newBuilder()
.proxy(ProxySelector.of(address))
.authenticator(new Authenticator() {
protected PasswordAuthentication getPasswordAuthentication() {
return new PasswordAuthentication(
username,
password.toCharArray()
);
}
})
.build();
var request = HttpRequest.newBuilder()
.uri(URI.create("https://example.com/public-page"))
.GET()
.build();
System.out.println(client.send(
request, HttpResponse.BodyHandlers.ofString()
).body());
}
}using System.Net;
var proxyHost = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_HOST")
?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_HOST");
var proxyPort = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_PORT")
?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_PORT");
var proxyUser = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_USERNAME")
?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_USERNAME");
var proxyPassword = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_PASSWORD")
?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_PASSWORD");
var proxyUri = new Uri("http://" + proxyHost + ":" + proxyPort);
var proxy = new WebProxy(proxyUri) {
Credentials = new NetworkCredential(proxyUser, proxyPassword)
};
using var client = new HttpClient(new HttpClientHandler { Proxy = proxy }) {
Timeout = TimeSpan.FromSeconds(30)
};
Console.WriteLine(await client.GetStringAsync(
"https://example.com/public-page"
));import { chromium } from "playwright";
const server = process.env.WSA_DATACENTER_PROXY_SERVER;
const username = process.env.WSA_DATACENTER_PROXY_USERNAME;
const password = process.env.WSA_DATACENTER_PROXY_PASSWORD;
if (!server || !username || !password) {
throw new Error("Missing provisioned Datacenter Proxy values");
}
const browser = await chromium.launch({
proxy: {
server,
username,
password,
},
});
const page = await browser.newPage();
await page.goto("https://example.com/public-page");
console.log(await page.title());
await browser.close();Veröffentlichen Sie keine Endpunkte oder Anmeldeinformationen in Browser-code, öffentlichen Repositorien, Screenshots, Analysen oder Client-Logs.
Operative Eigentumsform
Ihr Client übernimmt Anfragen, Wiederholungen, Parsing und Speicherung. Wir stellen die Proxy-Verbindung und die für Ihr Konto vereinbarte Konfiguration bereit.
WebScrapingAPI
WebScrapingAPI betreibt die bereitgestellte Datenzentrum-Originalroute und die kontenspezifischen Verbindungssteuerungen.
Ihr Team
Ihr Team besitzt target Auswahl, Anfragepolitik, Clientlogik, Konkurrenz, Zeitläufe, Wiederversuche, Parsierung, Speicherung und Nachgelagerte Qualität.
Qualify
Wählen Sie die berechtigten öffentlichen targets und bestätigen Sie die Akzeptanz des Rechenzentrums.
Provision
Legen Sie den Verbindungs-, Zuordnungs-, Geografie- und Preisbereich fest.
Collect
Ihr Client sendet Anforderungen über die bereitgestellte Route.
Operate
Ihr Team kümmert sich um Wiederholungen, Parsing, Speicherung und Qualitätskontrollen.
Nutzen Sie den Dienst nur für zulässige öffentliche Webseiten. Servicevereinbarung für Kunden, und wenden Sie dann konservative Anforderungs- und Aufbewahrungsrichtlinien an.
Use Cases für
Proxy-Auswahl
Entscheidung | Rechenzentrum | Wohnen | ISP |
|---|---|---|---|
Netzwerkidentität | Ursprungs-IPs des Rechenzentrums | Echte Wohn-IPs | ISP-assoziierte IPs |
Buyer-Linse | Wirtschaftlich und vorhersehbar, hochdurchsatzfähige Anpassungen für berechtigte targets, die Datenzentrumverkehr akzeptieren | Bewerten, wann der Workflow eine Wohnidentität benötigt | Bewerten, wann der Workflow eine ISP-zugeordnete Identität benötigt |
Target-Akzeptanz | Validieren Sie die Vertreter targets vor der Skala | Validieren Sie die Vertreter targets vor der Skala | Validieren Sie die Vertreter targets vor der Skala |
Kontrollen | Für das Angebot bereitgestellt | Überprüfen Sie die speziellen Produktdetails | Für das Angebot bereitgestellt |
Eigentum des Kunden | Collector, Wiederholungen, Parsing und Speicherung | Collector, Wiederholungen, Parsing und Speicherung | Collector, Wiederholungen, Parsing und Speicherung |
Streichen Sie horizontal, um alle drei Proxy-Kategorien zu vergleichen.
Wählen Sie Rechenzentrums-Proxys, wenn
Ihr Team betreibt den gesamten Sammelstack, vorhersehbare Kapazitätsfragen und repräsentative öffentliche Berechtigte targets akzeptieren eine Datenzentrum-Originalroute.
Preisgestaltung und Bereitstellung
Fit Check
Aktienrepräsentant berechtigt öffentliche targets, Basisnachfrage, Spitzenfenster, Kontinuitätsbedarf und erwartete Reaktionsbearbeitung.
Bereitstellungsbereich
Das vorgeschlagene Angebot sollte die technischen und Preisgrenzen ausdrücklich festlegen.
FAQ
Rechenzentrums-Proxys Routenanfragen von Ihrem proxy-bewussten Client über IP-Adressen aus dem Rechenzentrum. Sie können sich für eine wirtschaftliche, vorhersehbare Hochleistungssammlung von berechtigten öffentlichen targets eignen, die Datenzentrumverkehr akzeptieren, während Ihr Team die Kontrolle über den Sammler und den Reaktionsworkflow behalten.
Nr. Datenzentrum-Origin-Verkehr wird nicht von jedem target akzeptiert. Beurteilen Sie die repräsentativen berechtigten öffentlichen targets, respektieren Sie die Quellbedingungen und die Anfragepolitik und wählen Sie einen anderen Zugangspfad, wenn die Kategorie nicht passt.
Verwenden Sie beim Bereitstellen den kontenspezifischen Endpunkt, die Authentifizierungsmethode und das unterstützte Protokoll WebScrapingAPI und behalten Sie jeden Verbindungswert auf der Serverseite.
Die verfügbaren geografischen und Auswahlsteuerungen hängen von der bereitgestellten Zuweisung ab. Entwerfen Sie keine Produktionsrouting um einen Ort, bis dies Teil der Kontokonfiguration ist.
Das Zuweisungsmodell und jedes Rotations-, Persistenz- oder Sitzungsverhalten hängen von der bereitgestellten Route ab.
Die Preisgestaltung hängt von der Form der Arbeitslast, dem Satz target, der Kapazität, der Geographie und den Zuweisungsbedürfnissen ab. Teilen Sie eine repräsentative Arbeitslast, damit WebScrapingAPI die richtige Strecke umfassen kann.
Bringen Sie eine repräsentative Arbeitslast mit
Teilen Sie Zielseiten, Länder, Traffic und Sitzungsbedarf. Wir helfen, Proxy-Typ und Kapazität auf Ihren Collector abzustimmen.