Zum Inhalt springen
Zurück zum Blog

Die besten Proxys für Web-Scraping im Jahr 2026: Auswahl nach Einsatzzweck und Kosten

Robert MunceanuZuletzt aktualisiert am 23 min read
Die besten Proxys für Web-Scraping im Jahr 2026: Auswahl nach Einsatzzweck und Kosten
Kurzfassung: Die besten Proxys für Web-Scraping sind die günstigsten, die Ihr Ziel akzeptiert. Nutzen Sie Rechenzentrums-Proxys für offene Websites in großem Umfang, ISP-Proxys, um eine IP über eingeloggte oder mehrstufige Abläufe zu halten, Residential-Proxys für strengere Websites und Targeting auf Stadtebene und Mobile-Proxys für Mobile-First-Ziele. Wählen Sie zuerst den Typ nach Aufgabe und vergleichen Sie dann Anbieter nach Kosten pro erfolgreicher Anfrage, nicht nach Preis pro GB.

Die besten Proxys für das Web-Scraping sind die günstigsten, die Ihr Ziel akzeptiert. Rechenzentren eignen sich für den Massenzugriff auf offene Websites, ISP-Proxys nutzen eine einzige IP-Adresse für Abmelde- oder mehrstufige Abläufe, Residential-Proxys überwinden strengere Website-Sicherheitsmaßnahmen und ermöglichen eine gezielte Ansprache auf Stadtebene, während mobile Proxys für „Mobile-First“-Ziele geeignet sind. Wählen Sie je nach Aufgabe aus und vergleichen Sie anschließend die Kosten pro erfolgreicher Anfrage.

Ein Proxy leitet die Anfragen Ihres Scrapers weiter, sodass die Zielseite die IP-Adresse des Proxys statt Ihrer eigenen sieht. Dieser Leitfaden richtet sich an Entwickler- und Datenteams, die bereits einen Scraping-Auftrag haben und eine Auswahlliste mit Proxy-Typen, Sitzungsmodi, Abrechnungsmodellen und Anbietern benötigen. WebScrapingAPI ist einer der neun unten aufgeführten Anbieter – und es ist unser Produkt –, daher weisen wir auch darauf hin, wo es nicht die beste Wahl ist.

Wichtige Erkenntnisse

  • Passen Sie zunächst den Proxy-Typ an den Auftrag an; vergleichen Sie erst danach die Anbieter.
  • Vergleichen Sie die Kosten pro erfolgreicher Anfrage, nicht nur den Preis pro GB oder pro IP-Adresse.
  • Rotierende Sitzungen eignen sich für unabhängige Seitenabrufe; feste oder statische IPs eignen sich für mehrstufige Abläufe.
  • Testen Sie nutzbare Inhalte auf Ihren eigenen URLs, bevor Sie Bandbreite binden.
  • Wenn Blockierungen und Browser-Hürden überwiegen, verlagern Sie diese Ziele auf einen Unblocker oder eine Scraping-API.

Welcher Proxy eignet sich am besten für Ihren Scraping-Auftrag?

Gehen Sie vom Ziel und vom Arbeitsablauf aus, nicht von der Marke. Akzeptiert die Website Datenverkehr aus Rechenzentren? Benötigt der Auftrag bei allen Anfragen dieselbe IP-Adresse? Wie genau muss der Standort sein? Diese Antworten liefern Ihnen einen Typ, einen Sitzungsmodus und ein Abrechnungsmodell; erstellen Sie dann eine Auswahlliste mit Anbietern, die diese Konfiguration anbieten.

Scraping-Auftrag

Beginnen Sie mit

Sitzungsmodus

Passendes Abrechnungsmodell

Auswahl

Wechseln, wenn…

Öffentliche Seiten mit hohem Datenaufkommen bereitstellen (Dokumente, Kataloge, Nachrichten, offene Daten)

Gemeinsam genutztes Rechenzentrum

Rotierend

Pro GB oder pro IP

Webshare, Decodo, Oxylabs

Anstieg der Blockrate → Privatkunden

Preise, Lagerbestände oder Suchergebnisse, die je nach Stadt oder Postleitzahl variieren

Privathaushalte mit Ausrichtung auf Bundesland/Stadt/Postleitzahl

Rotierend oder fest pro Standort

Pro GB

Bright Data, WebScrapingAPI, IPRoyal

Sie benötigen nur Ergebnisse auf Länderebene → kostengünstigere Variante

Websites, die Rechenzentrumsnetzwerke blockieren (ASN-basierte Blockierung)

Privatadressen (oder ISP, wenn Sie weniger IPs benötigen)

Rotierend

Pro GB

Bright Data, Oxylabs, Decodo – für einen detaillierteren Vergleich der Privathaushalts-Tarife siehe unser Ranking der Anbieter von rotierenden Privathaushalts-Proxys

Das Volumen ist riesig und die Website akzeptiert ISP → ISP

Angemeldete, Warenkorb- oder mehrseitige Abläufe, die dieselbe IP-Adresse erfordern

ISP (statische Privat-IP) oder dediziertes Rechenzentrum

Persistent oder statisch

Pro IP

Bright Data, Oxylabs, Rayobyte – vergleichen Sie Anbieter von gemeinsam genutzten und dedizierten Proxys, wenn Sie einen festen Pool benötigen

Die Website akzeptiert rotierende Privat-Proxys mit kurzen Sticky-Fenstern

„Mobile-first“-Websites und App-Endpunkte

Mobil

Persistent mit kontrolliertem Rotationsintervall

Pro GB oder pro Port

Oxylabs, IPRoyal, Decodo – unsere Liste der besten mobilen Proxy-Dienste für Web-Scraping listet die Anbieter einzeln auf (WebScrapingAPI bietet keine mobilen Dienste an)

Desktop-HTML funktioniert mit privaten IP-Adressen

Suchmaschinen (Google, Bing)

Privathaushalte oder Internetdienstanbieter mit Länder-/Stadt-Targeting oder einer SERP-API

Rotierend

Pro GB oder pro Ergebnis über eine API

Bright Data, Oxylabs, WebScrapingAPI

Sie benötigen strukturierte SERPs in großem Umfang → SERP-API

Stark geschützte Websites (JS-Hürden, CAPTCHAs, Fingerprinting)

Unblocker, gehosteter Browser oder Scraping-API

Vom Anbieter verwaltet

Pro erfolgreicher Anfrage

Unblocker von Bright Data, Oxylabs und Decodo; WebScrapingAPI Scraper-API

Siehe „Wenn Proxys nicht ausreichen“

Kleine Projekte, Prototypen und zum Lernen

Kostenlose Stufe oder ein kleiner Rechenzentrums-Tarif

Rotierend

Pro IP oder kleine Pakete

Webshare (kostenlose Stufe), Oxylabs (5 $ Willkommensguthaben), DataImpulse-Einführungspakete

Sie geben Anmeldedaten oder Kundendaten über kostenlose öffentliche Listen weiter – tun Sie das nicht

Sehr umfangreiche Crawls mit begrenztem Budget

Zunächst Rechenzentrum, bei Ausfall Ausweichung auf Privathaushalte (gestuftes Routing)

Gemischt

Gemischt

Decodo, Rayobyte, DataImpulse, Webshare

Die Kosten pro erfolgreichem Abruf bleiben hoch → Optimieren Sie die Seitengröße und die Anzahl der Wiederholungsversuche, bevor Sie mehr GB kaufen

Möchten Sie zunächst die technischen Details erfahren? Unser Leitfaden zu Proxy-Typen für das Web-Scraping behandelt Protokolle, IPv4 vs. IPv6 und die Funktionsweise der einzelnen Typen.

Das Sammeln kostenloser Proxy-Adressen ist eine andere Sache; lesen Sie unseren Testbericht zu kostenlosen Proxy-Listen für Web-Scraping und deren Einschränkungen – wir empfehlen sie nicht für den produktiven Einsatz.

Brauchen Sie Proxys für das Web-Scraping?

Nicht immer. Ein paar hundert höfliche Anfragen an eine offene Website funktionieren oft schon von einer einzigen IP-Adresse aus. Sie benötigen Proxys, wenn eine Website Ihre IP-Adresse drosselt oder blockiert, wenn sich Inhalte je nach Standort ändern oder wenn das Volumen die Kapazität einer einzelnen Adresse übersteigt – und mehr als nur Proxys, wenn Websites Browser herausfordern.

Achten Sie auf:

  • HTTP-429-„Too Many Requests“-Antworten, insbesondere mit einem Retry-After Header
  • 403-Antworten nach einer Reihe erfolgreicher Anfragen
  • CAPTCHA-Seiten oder Seiten zur „Bestätigung, dass Sie ein Mensch sind“ (oft immer noch HTTP 200)
  • Inhalte, Preise oder Verfügbarkeit, die je nach Land oder Stadt variieren

Websites klassifizieren automatisierten Datenverkehr anhand der IP-Reputation und der ASN, der Anfragefrequenz sowie von Browser- und TLS-Fingerabdrücken. Der OWASP-Katalog automatisierter Bedrohungen umfasst Scraping (OAT-011) als eines der Muster, nach denen Verteidiger Ausschau halten. Rechenzentrumsbereiche lassen sich bei einigen Zielen schnell identifizieren, da sich die ASN leicht zuordnen lässt – selbst wenn jede Anfrage eine andere IP-Adresse aus demselben Pool verwendet.

Rechenzentrum, ISP, Privatanschluss oder Mobilfunk: Welchen Typ benötigen Sie für Ihre Arbeit?

Rechenzentrums-IPs sind schnell und günstig, aber leicht zu identifizieren. ISP-IPs sind statische Adressen, die bei Verbraucher-ISPs registriert sind. Privathaushalts-IPs stammen aus privaten Internetanschlüssen und wechseln in der Regel regelmäßig. Mobilfunk-IPs stammen aus Netzwerken von Mobilfunkanbietern. Investieren Sie nur dann in mehr Vertrauenswürdigkeit, wenn das Ziel dies erfordert.

Typ

So sehen es die Ziele

Typische Abrechnung

Geeignet für

Schwächen bei

Rechenzentrum

Cloud oder Hosting ASN

Pro IP oder pro GB

Offene Websites, hohes Volumen, niedrige Kosten

Websites, die Hosting-Netzwerke blockieren

ISP (statische Privat-IP)

Verbraucher-ISP-ASN auf Rechenzentrums-Hardware; ISP-Proxys sind statische Privat-IPs, die in Rechenzentren gehostet werden

Pro IP

Anmeldungen, Warenkörbe, lange „Sticky-Sessions“, private US-Pools

Günstigste Massen-Crawls

Privat

Breitband-IPs für Privathaushalte, oft wechselnd

Pro GB

Strengere Websites, Targeting nach Stadt/Postleitzahl

Einfache HTML-Seiten in enormem Umfang (Bandbreite summiert sich)

Mobil

IP-Adressen von Netzbetreibern (4G/5G)

Pro GB oder pro Port

Mobile-First-Apps und -Websites

Budgetvolumen auf geöffneten Seiten

Rotierende oder feste Sitzungen: Was benötigt Ihr Scraper?

Rotierende Sitzungen weisen jeder Anfrage eine neue IP-Adresse zu – geeignet für unabhängige Seitenabrufe in großem Umfang. Sticky-Sitzungen behalten eine IP-Adresse für einen festgelegten Zeitraum bei – geeignet für Paginierung, Warenkörbe, Anmeldungen oder jeden Ablauf, bei dem die Website den Status an Ihre IP-Adresse bindet. Statische IP-Adressen eignen sich für lang andauernde Sitzungen.

Workflow

Sitzungsmodus

Was Sie vom Anbieter erfragen sollten

Unabhängige Produkt- oder Artikelseiten

Rotierend

Standardverhalten bei der Rotation; Begrenzung der gleichzeitigen Zugriffe

Paginierung, Warenkorb, Anmeldung, mehrstufiger Bezahlvorgang

Persistent

Maximale Dauer der Fixierung; wie Sitzungen zugeordnet werden; ob sich die IP-Adresse während der Sitzung ändern darf

Langlebiges Konto oder Überwachung von einer Adresse aus

Statisch / dediziert

Laufzeit; Whitelisting; Bandbreitenbeschränkungen

Bei den Residential-Proxys von WebScrapingAPI werden die Optionen für Land, Sitzung und Rotation im Benutzernamen angegeben. Ein Beispiel für eine persistente Sitzung sieht wie folgt aus:

username=<USER>+country=us+session=1+rotation=600

Dieses Muster behält eine Residential-IP für die gesamte dokumentierte Sticky-Dauer bei (auf der Produktseite sind Sticky-Sitzungen von 3, 5 oder 10 Minuten angegeben; die maximale dokumentierte Sticky-Dauer beträgt 10 Minuten). Weglassen session und rotation für rotierende Anfragen. In der Dokumentation zur Einrichtung von Residential-Proxys finden Sie alle Optionen sowie Informationen zur Funktionsweise der IP-Rotation beim Web-Scraping.

Wie wir diese Proxy-Anbieter ausgewählt und verglichen haben

Jeder hier aufgeführte Anbieter verkauft Proxys unter seiner eigenen Marke. Preise und Funktionen stammen von den öffentlichen Seiten der jeweiligen Anbieter. Poolgrößen und Erfolgsraten werden nicht berücksichtigt: Die Anbieter messen diese unterschiedlich, und man kann sie von außen nicht überprüfen. WebScrapingAPI gehört zu uns. NetNut ist nicht enthalten, da seine Domains im Juli 2026 von US-Behörden beschlagnahmt wurden.

Die besten Proxy-Anbieter für Web-Scraping im Vergleich

Anbieter

Am besten geeignet für

Typen (DC / ISP / Privat / Mobil)

Privathaushalte

Zugang über Rechenzentrum / ISP

Mobilfunk

Abrechnungseinheiten

Kostenlose Testversion / Guthaben / kostenlose Stufe

Sitzungen

Targeting

Unblocker oder Scraping-API

WebScrapingAPI (unser Produkt)

Privatkunden-IPs + Scraping-APIs von einem Anbieter

✓ / ✓ / ✓ / ✗

Pay-as-you-go: 8,50 $/GB; monatlich ab 52 $ für 8 GB

Angebot

Nicht im Angebot

Pro GB (Privatkunden); Angebot (Rechenzentrum/ISP)

Testversion der Scraper-API (5.000 Anfragen) – keine Proxy-Testversion

Rotierend, fest

Land, Bundesland, Stadt, Postleitzahl, ASN (sofern verfügbar)

Scraping-APIs (Scraper, SERP, Browser, Crawl, Data)

Bright Data

Umfangreicher Katalog für alle vier Typen

✓ / ✓ / ✓ / ✓

Preisliste nach Verbrauch: 8 $/GB (Aktionsrabatte werden auf der Seite angezeigt)

Gemeinsam genutztes Rechenzentrum ab 1,40 $/IP (10 IPs); gemeinsam genutzter Internetdienstanbieter ab 1,80 $/IP (10 IPs)

Verkauft

Pro GB, pro IP

„Kostenlose Testphase starten“; die erste Einzahlung wird bis zu 500 $ verdoppelt

Rotierende, Sticky- und statische Optionen

Land, Bundesland, Stadt, Postleitzahl, ASN

Ja

Oxylabs

Ein Abonnement für alle Proxy-Typen + Entsperrfunktion

✓ / ✓ / ✓ / ✓

Ab 6 $/GB (staffelabhängig)

Pro IP ab 1 $/IP; pro GB ab 0,60 $/GB; dediziertes Rechenzentrum ab 2 $/IP; ISP ab 1,50 $/IP

Ab 7,50 $/GB

Pro GB, pro IP; Abonnement ab 30 $/Monat

5 $ Willkommensguthaben

Rotierend, fest zugewiesen, statisch

Land (und weitere je nach Produkt)

Ja

Decodo

Selbstbedienung für Privatkunden mit kleinen Monatspaketen

✓ / ✓ / ✓ / ✓

Pay-as-you-go 4 $/GB; monatlich ab 3,75 $/GB (3 GB)

Gemeinsam genutztes Rechenzentrum ab 0,60 $/GB oder 0,10 $/IP; dediziertes Rechenzentrum ab 2,50 $/IP; ISP ab 2 $/IP oder 1,30 $/GB

Ab ca. 2,25 $/GB (in Werbeanzeigen können niedrigere Preise angegeben sein)

Pro GB, pro IP

Schaltflächen für kostenlose Testversionen; auf der Rechenzentrumsseite wird eine 14-tägige Geld-zurück-Garantie angegeben

Wechselnd, feststehend

Land und feinere geografische Einteilung je nach Produkt

Ja

SOAX

Privatkunden und Mobilfunk unter einem Modell pro GB

— / — / ✓ / ✓

Sandbox-Pay-as-you-go (keine Abonnementgebühr); monatlich ab 200 $

Nicht in der öffentlichen Preisliste aufgeführt

Gleiches Modell wie für Privatkunden

Pro GB (Guthaben); zzgl. MwSt.

Sandbox (keine kostenlose Testversion; Aufladungen kaufen)

Persistent und rotierend

Land; feinere Geolokalisierung bei höheren Tarifen

—

IPRoyal

Kleine Privatkunden-Pakete und kurze ISP-Tests

✓ / ✓ / ✓ / ✓

Pay-as-you-go ab 7,35 $/GB (1 GB); Abonnement ab 7,00 $/GB

DC ab 1,57 $/Proxy (30 Tage); ISP ab 1,80 $/Proxy (24 Stunden)

Rotierende Ports ab 6,80 $/GB (2 GB); dedizierte Ports ab 10,11 $/Tag

Pro GB, pro Proxy, pro Port

Keine kostenlose Testversion aufgeführt

Rotierend, fest

Land und Stadt bei Privatadressen

—

DataImpulse

Niedrigste veröffentlichte Pay-as-you-go-Preise pro GB

✓ / ✗ / ✓ / ✓

1 $/GB im Pay-as-you-go-Tarif; Einführungsangebot: 5 $ für 5 GB

0,50 $/GB

2 $/GB

Pro GB; Datenvolumen verfällt nicht

5 $-Einführungspaket für neue Nutzer

Sticky-Sessions verfügbar

Länderspezifische Ausrichtung inklusive

—

Rayobyte

Zahlreiche Produktlinien, darunter Privatkunden und Rechenzentren

✓ / ✓ / ✓ / ✓

Premium-Privatkunden-Tarif mit nutzungsabhängiger Abrechnung ab 3,50 $/GB

Tarife pro IP-Adresse und pro GB auf der Preisseite

Verkauf im Rahmen von Monatsabonnements

Pro GB, pro IP

Kostenlose Testversion für die meisten Produkte; keine Kreditkarte erforderlich

Rotierend, fest zugewiesen

Länderabdeckung je nach Produkt

Scraping-API / Produkte im Unblocker-Stil

Webshare

Prototypen und offene Ziele auf günstigem DC

✓ / — / ✓ / —

Statische und rotierende Privatadressen verkauft

10 Proxys kostenlos; 100 Proxys 2,99 $/Monat (0,0299 $/Proxy)

—

Pro Proxy; Bandbreitenstufen auf dem Rechenzentrum

10 kostenlose Proxys

Rotierende und statische Optionen

Ländermix bei DC-Tarifen

—

Die oben genannten Zahlen sind Listenpreise in USD, die den Preisseiten der jeweiligen Anbieter entnommen sind. Auf einigen Seiten wird die Mehrwertsteuer hinzugerechnet; Bright Data und Decodo zeigen zudem temporäre Gutscheine an – planen Sie anhand des Listenpreises, nicht anhand des rabattierten Preises.

Die 9 besten Proxy-Anbieter für Web-Scraping im Test

WebScrapingAPI (unser Produkt)

WebScrapingAPI bietet Proxy-Server für Privathaushalte, Rechenzentren und Internetdienstanbieter sowie Scraper-, SERP-, Browser-, Crawl- und Daten-APIs an, wenn reine Proxy-Server nicht mehr ausreichen – entwickelt für Teams, die beides von einem Anbieter beziehen möchten.

Residential-Proxys im Pay-as-you-go-Modell kosten 8,50 $/GB (bis zu 50 GB); Residential-Proxy-Tarife beginnen bei 52 $ pro Monat für 8 GB, wobei der „Grow“-Tarif 150 $ für 25 GB, der „Business“-Tarif 280 $ für 50 GB und der „Pro“-Tarif 520 $ für 100 GB kostet. Jeder Residential-Tarif umfasst unbegrenzte gleichzeitige Sitzungen, Länder- und Stadt-Targeting, persistente und rotierende Sitzungen sowie Premium-Support; bei den Tarifen „Business“ und „Pro“ kommt ein Account-Manager hinzu. Die Produktseite für Proxys listet eine Abdeckung in 195 Ländern auf, mit Targeting nach Bundesstaat, Stadt, Postleitzahl und ASN, sofern verfügbar. Privatkunden-Endpunkte unterstützen „Host:Port“, HTTP, HTTPS und SOCKS5-Ausgabe, mit Anmeldedaten oder IP-Whitelisting.

Testen Sie Sticky-Fenster von 3, 5 oder 10 Minuten in einem mehrstufigen Ablauf sowie die Länder- oder Stadt-Ausrichtung auf einer geosensitiven Seite. Beachten Sie die höheren veröffentlichten Preise pro GB für private Proxys im Vergleich zu mehreren preisgünstigen Anbietern: keine mobilen Proxys, Rechenzentren und Internetdienstanbieter sind nur auf Anfrage erhältlich, und es gibt keine veröffentlichte kostenlose Proxy-Testversion (die Testversion mit 5.000 Anfragen gilt für die Scraper-API).

Bright Data

Bright Data deckt Privathaushalte, Rechenzentren, Internetdienstanbieter und Mobilfunk ab, ergänzt durch Unlocker- und Scraping-Produkte. Die Pay-as-you-go-Tarife für Privathaushalte liegen bei 8 $/GB; monatliche Privathaushaltstarife beginnen bei etwa 499 $ für 141 GB. Gemeinsam genutzte Rechenzentrums-IPs beginnen bei 10 IPs für 1,40 $/IP (14 $/Monat); gemeinsam genutzte ISP-IPs bei 10 IPs für 1,80 $/IP (18 $/Monat). Orientieren Sie sich am Listenpreis, nicht an den vorübergehenden Rabattgutscheinen. Es werden Schaltflächen für „Einzahlung anpassen“ und „Kostenlose Testversion“ angezeigt; überprüfen Sie, was die Testversion umfasst. Überprüfen Sie die geografische Eingrenzung nach Stadt/Postleitzahl auf der Preisseite sowie die Registerkarten „Gemeinsam genutzt“ und „Dediziert“ hinsichtlich der gleichzeitigen Nutzer. Die Tarife sind eher auf größere Verträge ausgerichtet; Angaben in lokaler Währung sind Schätzwerte – der USD-Preis ist verbindlich.

Oxylabs

Bei Oxylabs gilt ein Abonnement für Privatanschlüsse, Mobilfunk, Internetdienstanbieter, Rechenzentren und einen Unblocker. Starter-Abonnements beginnen bei 30 $/Monat (zzgl. MwSt.), mit einem Willkommensguthaben von 5 $. Privatkunden-Tarife beginnen bei 6 $/GB und sinken mit steigendem Volumen; Mobilfunk bei 7,50 $/GB; Rechenzentren bieten Optionen pro IP und pro GB; ISP-Tarife beginnen bei 1,50 $/IP. Vergewissern Sie sich, dass Ihre Zieladressen nicht auf der Sperrliste stehen, und messen Sie die Verweildauer im Warenkorb. Einstiegsstufen kosten pro Einheit am meisten; mit steigendem Volumen verbessert sich der Preis.

Decodo

Decodo ist ein Self-Service-Anbieter für Privatkunden mit kleinen Monatspaketen und flexibler Abrechnung für Rechenzentren. Bei Privatkunden beträgt der Preis im Pay-as-you-go-Modell 4 $/GB; monatliche Pakete beginnen bei 3,75 $/GB für 3 GB und sinken bei 100 GB auf 2,75 $/GB. Rechenzentren und Internetdienstanbieter (ISP) werden pro GB, pro IP oder als dedizierte IPs abgerechnet. Für Mobilfunk gibt es einen niedrigen Grundpreis und gelegentliche Website-Rabatte. Die Preise verstehen sich zuzüglich Mehrwertsteuer; auf der Rechenzentrumsseite wird eine 14-tägige Geld-zurück-Garantie angegeben. Vergleichen Sie die Pay-as-you-go-Option mit monatlichem Kontingent und prüfen Sie die Mehrwertsteuer auf Ihrer Rechnung; betrachten Sie Aktionsangebote als vorübergehend.

SOAX

SOAX fasst Privat- und Mobilfunkdienste in einem kreditbasierten Modell pro GB zusammen. Die Sandbox hat keine Abonnementgebühr und keine enthaltenen Guthaben – kaufen Sie Aufladungen, um sie zu testen. Monatliche Tarife beginnen bei „Builder“ (200 $/Monat zzgl. MwSt.) und steigen stufenweise an. Die Preise pro GB variieren je nach Tarif und Ausgangsland; berechnen Sie daher zunächst die Kosten für Ihre tatsächlichen Zielländer in der Sandbox; MwSt. und geografisch abhängige Tarife beeinflussen die effektiven Kosten.

IPRoyal

IPRoyal richtet sich an kleine Privatkunden-Pakete und kurze ISP-Tests. Die Pay-as-you-go-Tarife für Privatkunden beginnen bei 7,35 $/GB für 1 GB (die Abonnementpreise sind etwas niedriger). Der Datenverkehr verfällt laut Beschreibung nie. Die Preise für Rechenzentren beginnen bei etwa 1,57 $/Proxy für 30 Tage; ISP bietet eine 24-Stunden-Option ab 1,80 $/Proxy. Mobilfunk wird pro GB oder als dedizierte Ports verkauft. Testen Sie eine 24-Stunden-ISP-Anmietung für einen Anmeldeablauf und Stadt-Targeting auf einer lokalen Ergebnisseite. Dedizierte Mobilfunk-Ports werden schnell teuer, wenn Sie nur kurze Datenströme benötigen.

DataImpulse

DataImpulse bietet hier die niedrigsten veröffentlichten Pay-as-you-go-Preise pro GB: Privatkunden 1 $/GB mit einem Einführungsangebot von 5 $ für 5 GB; Rechenzentrum 0,50 $/GB; Mobil 2 $/GB. Der Traffic verfällt nicht. ISP-Tarife werden auf den öffentlichen Preisseiten nicht angeboten. Messen Sie den tatsächlichen Erfolg anhand Ihrer konkreten Ziele – ein niedriger Preis pro GB hilft nur, wenn die Seiten fehlerfrei geladen werden – und ignorieren Sie Angaben zu Anbieterpools und Bewertungen.

Rayobyte

Rayobyte bietet mehrere Produktlinien für Privatkunden und Rechenzentren in einem Konto an. „Premium Residential“ im Pay-as-you-go-Modell beginnt bei 3,50 $/GB und sinkt je nach Volumenstufe. Auf der Preisseite sind auch andere Produktlinien für Privatkunden und rotierende Angebote aufgeführt; lesen Sie die Vertragsbedingungen, bevor Sie sich auf einen monatlichen Tarif für hohe Volumina verlassen. Kostenlose Testversionen für die meisten Produkte ohne Kreditkarte. Testen Sie „Premium Residential“ an einem repräsentativen URL-Satz und überprüfen Sie die Regeln zur gleichzeitigen Nutzung – ähnliche Namen können unterschiedlich abgerechnet werden, passen Sie daher die SKU an den jeweiligen Einsatzzweck an.

Webshare

Webshare richtet sich an Prototypen und offene Ziele auf kostengünstigen Rechenzentrums-Proxys. Die „Proxy Server“-Produktreihe umfasst 10 kostenlose Proxys sowie kostenpflichtige Tarife ab 100 Proxys für 2,99 $/Monat (0,0299 $/Proxy), mit Bandbreitenstufen von 250 GB bis hin zu unbegrenzter Bandbreite bei höheren Tarifen. Statische und rotierende Residential-Proxys sind in separaten Registerkarten aufgeführt – überprüfen Sie die Preise auf der aktuellen Preisseite. Prüfen Sie, ob die Ziele ASNs von Rechenzentren bei Ihrer geplanten Parallelität akzeptieren. Kostenlose und günstige Rechenzentrumspools werden gemeinsam genutzt; sie eignen sich daher schlecht für gehärtete Ziele.

Wie viel kosten Web-Scraping-Proxys wirklich?

Die in diesem Leitfaden veröffentlichten Pay-as-you-go-Preise für Privatadressen reichen von etwa 1 $ bis 8,50 $ pro GB; für Rechenzentrums- oder ISP-IPs fallen oft Kosten von wenigen Cent bis zu einigen Dollar pro Monat an. Die tatsächlichen Kosten hängen von der Seitengröße, der Erfolgsquote und den Wiederholungsversuchen ab – vergleichen Sie die Kosten pro erfolgreicher Anfrage.

Formel: Kosten pro 1.000 erfolgreiche Seiten ≈ Preis pro GB × durchschnittliche Datenübertragung pro Versuch (GB) × 1,15 (15 % Overhead für Header, TLS und Weiterleitungen) × Versuche pro Erfolg × 1.000. Die Anzahl der Versuche pro Erfolg beträgt 1 ÷ Erfolgsquote, da auch fehlgeschlagene Versuche Bandbreite beanspruchen.

Beispielrechnung (veranschaulichende Seitengrößen und Erfolgsraten, Listenpreis von WebScrapingAPI: 8,50 $/GB):

  • Eine 100-KB-HTML-Seite bei einer nutzbaren Erfolgsquote von 95 % kostet etwa 1,03 $ pro 1.000 erfolgreiche Seiten.
  • Eine gerenderte Seite von 2 MB (mit geladenen Bildern und Schriftarten) bei einer nutzbaren Erfolgsquote von 70 % kostet etwa 27,93 $ pro 1.000 erfolgreiche Seiten – bei gleichem Preis pro GB also etwa 27-mal so viel.

In der Regel günstiger als die Suche nach einem niedrigeren GB-Tarif: Blenden Sie Bilder und Schriftarten aus, rufen Sie die JSON- oder HTML-API hinter der Seite ab und verzichten Sie auf die vollständige Browser-Darstellung, wenn Sie diese nicht benötigen.

Break-even pro IP vs. pro GB: Dedizierte Rechenzentrums- oder ISP-IPs sind bei vielen leichten Anfragen auf Websites, die diese akzeptieren, vorteilhaft; pro GB für Privatkunden ist bei weit verstreuten, standortspezifischen Anfragen vorteilhaft.

Versteckte Kosten, die im Budget berücksichtigt werden müssen

  • Ablaufender Datenverkehr bei einigen Monatsabonnements (DataImpulse und IPRoyal werben mit Datenverkehr, der nicht abläuft; andere Anbieter prüfen)
  • Wiederholungsversuche, die die Bandbreite vervielfachen – nutzen Sie Timeouts, Wiederholungsversuche und Backoff mit Jitter anstelle von engen Wiederholungsschleifen
  • Mehrwertsteuer
  • Mindestverpflichtungen
  • Technischer Aufwand für die Rotation und die Bearbeitung von Sperren
"""Estimate what a scraping proxy really costs per 1,000 successful pages."""


def cost_per_1k_per_gb(price_per_gb: float, avg_page_kb: float, success_rate: float,
                       overhead: float = 1.15) -> float:
    """Bandwidth-billed proxies (residential, mobile, some datacenter).

    avg_page_kb: average transfer per attempt, including assets you actually load.
    success_rate: share of attempts that return usable content (0-1).
    overhead: headers, TLS and redirects that the provider also bills (assumption).
    Failed attempts still consume traffic, so we divide by success_rate.
    """
    gb_per_attempt = avg_page_kb * overhead / 1_000_000
    attempts_per_success = 1 / success_rate
    return round(price_per_gb * gb_per_attempt * attempts_per_success * 1000, 4)


def cost_per_1k_per_ip(monthly_price_per_ip: float, ips: int,
                       successful_pages_per_month: int) -> float:
    """IP-billed proxies (dedicated datacenter or ISP): fixed monthly cost."""
    return round(monthly_price_per_ip * ips / successful_pages_per_month * 1000, 4)


if __name__ == "__main__":
    # Example inputs for illustration — not a vendor quote or benchmark.
    scenarios = [
        ("Light HTML page, easy target", 10.0, 80, 0.98),
        ("Same page, protected target", 10.0, 80, 0.60),
        ("Rendered page with assets", 10.0, 1500, 0.90),
    ]
    for name, price, kb, ok in scenarios:
        print(f"{name:32} ${cost_per_1k_per_gb(price, kb, ok):>8} per 1,000 successful pages")
    print(
        f"{'20 dedicated IPs, 400k pages/mo':32} "
        f"${cost_per_1k_per_ip(2.0, 20, 400_000):>8} per 1,000 successful pages"
    )

So testen Sie einen Proxy-Anbieter vor dem Kauf

Nehmen Sie 50 bis 200 echte URLs pro Zieltyp, lassen Sie diese mit identischen Einstellungen durch jeden Anbieter auf Ihrer Auswahlliste laufen und zählen Sie einen Erfolg nur dann als erzielt, wenn der benötigte Inhalt vorhanden ist. Erfassen Sie die Rate der nutzbaren Erfolge, die Latenz und die Bandbreite sowie die Kosten pro 1.000 nutzbare Seiten.

  1. Erstellen Sie eine targets.csv mit Spalten url,must_contain.
  2. Stellen Sie PROXY_URL auf den Endpunkt des Anbieters ein (deaktivieren Sie diese Option für einen Testlauf über eine direkte Verbindung).
  3. Führen Sie den unten stehenden Testablauf aus.
  4. Wiederholen Sie den Vorgang an einem zweiten Tag mit der Produktions-Parallelität.
  5. Vergleichen Sie Ihre Zahlen mit dem Nutzungszähler des Anbieters.

Eine schnelle Verbindungsprüfung:

curl -x "$PROXY_URL" https://httpbin.org/ip

Siehe „Verwendung von curl mit einem Proxy“ und „Sechs praktische Methoden zum Testen von Proxys“, von IP-Prüfungen bis hin zu Zielversuchen.

Ein 200-Status bedeutet nicht, dass der Vorgang erfolgreich war: Blockierte Seiten geben oft einen 200-Status mit einem CAPTCHA-Inhalt zurück. Der HTTP-Semantik-Standard (RFC 9110) beschreibt, was Statuscodes für den Datenaustausch bedeuten – nicht, ob der HTML-Code der Inhalt ist, den Sie gesucht haben.

Für Residential-Proxys von WebScrapingAPI sieht ein Beispiel PROXY_URL :

export PROXY_URL='http://username=<USER>+country=us:<PASS>@pr.webscrapingapi.com:7777'
"""Test a proxy endpoint on your own targets before you buy.

Usage:
  export PROXY_URL='http://user:pass@host:port'   # unset to test a direct connection
  python proxy_test.py targets.csv --workers 5 --price-per-gb 10

targets.csv columns: url,must_contain
"""
import argparse
import csv
import os
import statistics
import time
from concurrent.futures import ThreadPoolExecutor

import requests

BLOCK_MARKERS = ("captcha", "access denied", "verify you are human", "unusual traffic")
RETRY_STATUSES = {429, 500, 502, 503, 504}


def fetch(url: str, must_contain: str, proxy_url: str | None, max_retries: int = 2) -> dict:
    proxies = {"http": proxy_url, "https": proxy_url} if proxy_url else None
    attempts, total_bytes = 0, 0
    for attempt in range(max_retries + 1):
        attempts += 1
        start = time.perf_counter()
        try:
            r = requests.get(
                url,
                proxies=proxies,
                timeout=30,
                headers={"User-Agent": "Mozilla/5.0 (proxy-evaluation)"},
            )
        except requests.RequestException as exc:
            result = {"status": type(exc).__name__, "latency": None}
            if attempt < max_retries:
                time.sleep(2 ** attempt)
                continue
            break
        latency = time.perf_counter() - start
        body = r.text.lower()
        total_bytes += len(r.content) + sum(len(k) + len(v) for k, v in r.headers.items())
        blocked = any(m in body for m in BLOCK_MARKERS)
        usable = r.status_code == 200 and must_contain.lower() in body and not blocked
        result = {
            "status": r.status_code,
            "latency": latency,
            "usable": usable,
            "blocked": blocked,
        }
        if r.status_code == 407:  # bad proxy credentials: retrying won't help
            break
        if r.status_code in RETRY_STATUSES and attempt < max_retries:
            wait = r.headers.get("Retry-After")
            time.sleep(int(wait) if wait and wait.isdigit() else 2 ** attempt)
            continue
        break
    result.update({"url": url, "attempts": attempts, "bytes": total_bytes})
    result.setdefault("usable", False)
    return result


def main() -> None:
    ap = argparse.ArgumentParser()
    ap.add_argument("targets")
    ap.add_argument("--workers", type=int, default=5)
    ap.add_argument("--price-per-gb", type=float, default=0.0)
    args = ap.parse_args()
    proxy_url = os.environ.get("PROXY_URL")
    with open(args.targets, newline="") as f:
        rows = list(csv.DictReader(f))
    with ThreadPoolExecutor(max_workers=args.workers) as pool:
        results = list(pool.map(lambda r: fetch(r["url"], r["must_contain"], proxy_url), rows))

    usable = [r for r in results if r["usable"]]
    latencies = sorted(r["latency"] for r in usable if r["latency"])
    gb = sum(r["bytes"] for r in results) / 1_000_000_000
    for r in results:
        print(
            f'{str(r["status"]):>20}  usable={r["usable"]!s:5}  '
            f'attempts={r["attempts"]}  {r["url"]}'
        )
    print(f"\nUsable: {len(usable)}/{len(results)} ({len(usable) / len(results):.0%})")
    if latencies:
        p95 = latencies[min(len(latencies) - 1, int(len(latencies) * 0.95))]
        print(f"Latency p50 {statistics.median(latencies):.2f}s, p95 {p95:.2f}s")
    print(f"Measured transfer: {gb * 1000:.3f} MB (your provider's meter will read higher)")
    if args.price_per_gb and usable:
        print(f"Cost per 1,000 usable pages: ${args.price_per_gb * gb / len(usable) * 1000:.4f}")


if __name__ == "__main__":
    main()

Beispiel targets.csv:

url,must_contain
https://example.com/,Example Domain
https://httpbin.org/html,Herman Melville
https://books.toscrape.com/,Books to Scrape
https://httpbin.org/status/429,anything

Proxy-Fehler, auf die Sie stoßen werden, und was sie bedeuten

Die meisten Proxy-Fehler lassen sich in wenige Gruppen einteilen: Authentifizierung (407), Blockierungen (403 oder eine CAPTCHA-Seite), Ratenbegrenzungen (429), Upstream-Fehler (5xx) und Zeitüberschreitungen. Jeder Fehler erfordert eine andere Lösung; nur bei einigen sollte ein erneuter Versuch unternommen werden.

Code

Bedeutet in der Regel

Behebung

Erneut versuchen?

407 Proxy-Authentifizierung erforderlich

Falsche Proxy-Anmeldedaten oder eine IP-Adresse, die nicht auf der Zulassungsliste steht

Korrigieren Sie die Anmeldedaten oder die Zulassungsliste

Nein

403

Das Ziel hat diese IP-Adresse oder diesen Fingerabdruck abgelehnt

Wechseln Sie zu einem anderen Proxy oder verwenden Sie einen sichereren Proxy-Typ

Nach einer Änderung

429

Ratenbegrenzung

Verlangsamen Sie die Geschwindigkeit und beachten Sie die „Retry-After“-Angabe

Ja, mit Backoff

5xx (502/504)

Fehler auf der Upstream-Seite oder beim Proxy

Wiederholung mit Backoff

Ja

Zeitüberschreitung

Zu hohe Parallelität oder ein entfernter Standort

Parallelität reduzieren; Geo-Einstellung prüfen

Ja, eine begrenzte Anzahl von Versuchen

Unser Leitfaden zur Diagnose von Proxy-Statusfehlern führt Sie Schritt für Schritt durch jeden fehlgeschlagenen Hop.

So überprüfen Sie, woher private und mobile IP-Adressen stammen

Fragen Sie nach, wie der Anbieter seine IP-Adressen erhält, ob die Gerätebesitzer zustimmen und dafür bezahlt werden, wie sie sich abmelden können und wie der Anbieter seine Kunden überprüft. Bevorzugen Sie Anbieter, die dies öffentlich dokumentieren. IP-Adressen von kompromittierten oder ahnungslosen Geräten stellen ein ethisches und rechtliches Risiko dar.

Checkliste:

  1. Beschaffungsmodell – SDK, App-Partnerschaft oder ISP-Verträge?
  2. Einwilligung und Abmeldung – Können Gerätebesitzer aussteigen und wie?
  3. Vergütung – Werden die Besitzer für die Bandbreite bezahlt?
  4. Kunden-KYC und verbotene Anwendungsfälle – Was wird abgelehnt?
  5. Weiterverkauf – Verkauft das Netzwerk IP-Adressen anderer Anbieter weiter?
  6. Umgang mit Missbrauch – Wie werden Beschwerden untersucht?

Googles Störungsbericht vom Juli 2026 verdeutlicht, warum diese Sorgfalt wichtig ist: Privathaushaltsnetzwerke, die auf kompromittierten Geräten basierten, wurden genutzt, um Angriffe zu verschleiern, und einige Anbieter verkaufen die Kapazitäten anderer Netzwerke weiter – ein allgemeines Branchenrisiko, keine Anschuldigung gegen einen der hier aufgeführten Anbieter.

Wenn Proxys nicht ausreichen: Unblocker und Scraping-APIs

Wenn Sperren, CAPTCHAs und Browser-Fingerabdrücke mehr Zeit in Anspruch nehmen als das Sammeln von Daten, verlagern Sie diese Ziele auf einen Unblocker oder eine Scraping-API. Sie zahlen pro erfolgreicher Anfrage statt pro GB; der Anbieter kümmert sich um Rotation, Wiederholungsversuche und Rendering. Behalten Sie einfache Proxys für Ziele, die bereits funktionieren. Wir vergleichen die Optionen in unserem Leitfaden zu den besten Web-Scraping-APIs.

Option

Wer kümmert sich um Rotation, Wiederholungsversuche und Rendering

Typische Abrechnung

Am besten geeignet für

Roh-Proxys

Sie

Pro GB oder pro IP

Ziele, die diesen Proxy-Typ bereits akzeptieren

Proxy-Endpunkt im Unblocker-Stil

Anbieter

Häufig pro erfolgreicher Anfrage oder Premium-GB

Schwierigere Websites ohne Umschreibung Ihres Clients

Scraping-API

Anbieter

Pro erfolgreicher Anfrage

Strukturierte Extraktion und JS-lastige Seiten

Gehosteter Browser

Anbieter

Pro Sitzung oder Rechenzeit

Vollständige Browser-Workflows, die Sie selbst steuern

Gekaufte Datensätze

Anbieter

Pro Datensatz oder Abonnement

Wenn Sie die Daten benötigen, nicht den Crawl

Bright Data, Oxylabs und Decodo verkaufen Unblocker; Zyte und andere verkaufen Scraping-APIs. Bei uns übernimmt die Scraper-API für Sie die Rotation, das Rendering und die Wiederholungsversuche. Unser Leitfaden für das Scraping ohne Blockierung deckt jede Verteidigungsebene ab.

Die Nutzung von Proxys ist in den meisten Ländern legal. Entscheidend ist, was Sie erfassen und wie. Scrapen Sie öffentliche Daten, beachten Sie die Nutzungsbedingungen der Websites und das Robots Exclusion Protocol (RFC 9309), umgehen Sie keine Anmeldungen oder Zugriffskontrollen, gehen Sie mit personenbezogenen Daten gemäß den geltenden Gesetzen um und kaufen Sie bei Anbietern, die IP-Adressen mit Einwilligung erwerben. Dies ist keine Rechtsberatung – prüfen Sie die Vorschriften in Ihrer Rechtsordnung.

Häufig gestellte Fragen

Was sind die besten Proxys für das Web-Scraping?

Es sind die günstigsten, die Ihre Zielseiten akzeptieren: Rechenzentrums-Proxys für offene Websites mit hohem Datenaufkommen, ISP-Proxys für Websites, bei denen eine Anmeldung erforderlich ist oder die mehrstufige Abläufe haben, Residential-Proxys für strengere oder standortspezifische Ziele und mobile Proxys für „Mobile-First“-Websites. Testen Sie anschließend die in die engere Wahl gekommenen Anbieter mit Ihren URLs.

Welcher Proxy-Typ eignet sich am besten für das Web-Scraping?

Es gibt keinen universell besten. Beginnen Sie mit Rechenzentrumsproxys (schnell und günstig); wechseln Sie zu Residential-Proxys, wenn Websites Rechenzentrumsnetzwerke blockieren oder Sie eine Zielausrichtung auf Stadtebene benötigen; nutzen Sie ISP-Proxys, wenn eine stabile IP-Adresse dauerhaft benötigt wird; mobile Proxys nur, wenn die Zielseiten den Netzwerken der Mobilfunkanbieter am meisten vertrauen.

Sind Residential-Proxys zum Scraping besser als Rechenzentrums-Proxys?

Residential-IPs gehören zu Privathaushalten und lassen sich daher schwerer blockieren, sind jedoch teurer und werden in der Regel pro Gigabyte abgerechnet. Rechenzentrumsproxys sind schneller und günstiger, auch wenn manche Websites diese Netzwerke gänzlich blockieren. Verwenden Sie Rechenzentrumsproxys, wo dies funktioniert.

Sollte ich für das Web-Scraping rotierende oder persistente Proxys verwenden?

Verwenden Sie rotierende Proxys (eine neue IP-Adresse pro Anfrage) für unabhängige Seitenabrufe in großem Umfang und „Sticky-Sessions“ (eine IP-Adresse für einen festgelegten Zeitraum) für Paginierung, Warenkörbe, Anmeldungen oder Abläufe, bei denen die Website den Status an Ihre IP-Adresse bindet. Prüfen Sie zunächst die maximale Dauer der „Sticky-Sessions“ bei jedem Anbieter.

Wie viel kosten Proxys für das Web-Scraping?

Die Einstiegspreise im Pay-as-you-go-Modell liegen bei etwa 1 bis 8,50 US-Dollar/GB für Privat-IPs und bei wenigen Cent bis zu einigen Dollar pro Rechenzentrum- oder ISP-IP pro Monat. Seitengröße, Erfolgsquote und Wiederholungsversuche bestimmen die tatsächlichen Kosten – vergleichen Sie die Kosten pro 1.000 erfolgreich abgerufene Seiten.

Wie viele Proxys benötige ich für das Web-Scraping?

Legen Sie die Größe des Pools anhand der Anfragerate pro Ziel fest, nicht anhand des Gesamtvolumens: Schätzen Sie die Anzahl der Anfragen pro Minute, die eine IP-Adresse vor Erreichen der Ratenbegrenzung senden kann, und dividieren Sie dann Ihre Zielrate durch diesen Wert. Rotierende private Gateways übernehmen dies; bei dedizierten Rechenzentrums- oder ISP-IPs legen Sie die Größe des Pools selbst fest.

Sind kostenlose Proxys für das Web-Scraping sicher?

Nein. Kostenlose öffentliche Proxys sind oft langsam, kurzlebig, bereits gesperrt oder werden von unbekannten Betreibern betrieben, die unverschlüsselten Datenverkehr einsehen oder verändern können. Zum Lernen sind sie in Ordnung; senden Sie jedoch niemals Anmeldedaten oder Kundendaten über sie. Für den produktiven Einsatz benötigen Sie einen kostenpflichtigen Anbieter mit transparenter Herkunft, Support und klaren Bedingungen.

Benötige ich anonyme oder Elite-Proxys für das Web-Scraping?

Ja. Transparente Proxys geben Ihre echte IP-Adresse in den Headern weiter. Anonyme und Elite-Proxys (mit hoher Anonymität) verbergen sie; Elite-Proxys verhindern zudem, dass erkennbar wird, dass ein Proxy verwendet wird. Kommerzielle Scraping-Proxys sind in der Regel Elite-Proxys – überprüfen Sie die Request-Header einmalig, wenn Sie sie testen.

Was sind die besten Proxys für das Scraping bei Google?

Suchmaschinen wenden strenge Ratenbeschränkungen an und variieren die Ergebnisse je nach Standort. Verwenden Sie daher Residential- oder ISP-Proxys mit Länder- und Stadt-Targeting, halten Sie die Abfragefrequenz niedrig und wechseln Sie die Proxys regelmäßig. Bei vielen Suchanfragen oder strukturierten Ergebnissen ist eine SERP-API oft kostengünstiger pro erfolgreichem Ergebnis.

Woher weiß ich, ob ein Anbieter von Residential-Proxys seine IPs auf ethische Weise beschafft?

Fragen Sie, wie die IP-Adressen beschafft werden, ob die Gerätebesitzer ihre informierte Einwilligung geben und sich abmelden können, ob sie eine Vergütung erhalten und wie Kunden überprüft werden. Bevorzugen Sie Anbieter, die diese Informationen veröffentlichen. Zum Zeitpunkt der Erstellung dieses Artikels machen öffentliche Maßnahmen gegen Privatnetzwerke, die mit kompromittierten Geräten in Verbindung stehen, die Beschaffung zu einem Teil Ihrer eigenen Risikoprüfung.

Wann sollte ich eine Scraping-API anstelle von Proxys verwenden?

Wechseln Sie, wenn Blockierungen, CAPTCHAs und Fingerprinting mehr Entwicklungszeit kosten als das Sammeln von Daten oder wenn Sie JavaScript-Rendering in großem Maßstab benötigen. Eine Scraping-API übernimmt Rotation, Wiederholungsversuche und Rendering und wird pro erfolgreicher Anfrage abgerechnet. Behalten Sie einfache Proxys dort bei, wo sie bereits funktionieren.

In den meisten Ländern ja. Entscheidend sind die Daten, die Sie sammeln, und wie Sie dabei vorgehen: Beschränken Sie sich auf öffentliche Daten, halten Sie sich an die Nutzungsbedingungen der Websites und die „robots.txt“-Datei, umgehen Sie keine Anmeldungen oder Zugriffskontrollen und gehen Sie rechtmäßig mit personenbezogenen Daten um. Dies ist keine Rechtsberatung; prüfen Sie die Rechtslage in Ihrem Land.

Wählen Sie nach Auftrag aus und prüfen Sie dann die Kosten

Beginnen Sie mit dem Scraping-Auftrag, nicht mit der Markenliste. Wählen Sie den günstigsten Proxy-Typ, den Ihre Ziele akzeptieren, vergleichen Sie die Kosten pro erfolgreicher Anfrage und führen Sie einen Test auf Inhaltsebene durch, bevor Sie ein umfangreiches Abonnement abschließen.

Benötigen Sie Residential-Proxys oder möchten Sie schwierige Ziele einer API übergeben? Sehen Sie sich die Residential-Tarife von WebScrapingAPI an oder testen Sie die Scraper-API kostenlos mit 5.000 Anfragen.

Über den Autor

Robert Munceanu, Full-Stack-Entwickler @ WebScrapingAPI

Robert Munceanu

Full-Stack-Entwickler

Robert Munceanu ist Full-Stack-Entwickler bei WebScrapingAPI, wo er in allen Bereichen des Produkts mitwirkt und an der Entwicklung zuverlässiger Tools und Funktionen zur Unterstützung der Plattform mitwirkt.

Nodriver-Python-Tutorial: Unauffälliges Web-Scraping – vom ersten Skript bis zur Produktion
Die Wissenschaft des Web-Scrapings

Nodriver-Python-Tutorial: Unauffälliges Web-Scraping – vom ersten Skript bis zur Produktion

TL;DR: Kurzfassung: Nodriver ist eine asynchrone Python-Bibliothek, die Chromium über das Chrome DevTools Protocol steuert, ohne Selenium oder chromedriver-Binary. Nutzen Sie sie, wenn ein selbst gehosteter Stealth-Browser, der einer echten Chrome-Sitzung näherkommt, besser passt als ein WebDriver-Stack – aber sie beseitigt IP-, TLS- oder Verhaltensrisiken nicht von allein. Dieses Tutorial führt vom ersten Skript bis zur containerisierten Produktion und einer gehosteten Browser API.

Suciu Dan12 min read
Artikel lesen
Umgang mit Google-/goto-Weiterleitungs-URLs und CAES-Token in einem SERP-Scraper
Die Wissenschaft des Web-Scrapings

Umgang mit Google-/goto-Weiterleitungs-URLs und CAES-Token in einem SERP-Scraper

TL;DR: Kurzfassung: Google-/goto-URLs mit CAES-Token und ältere /url-Wrapper sind Weiterleitungsschichten, keine Ziele; ein SERP-Scraper, der jede href als endgültig behandelt, verfälscht Rank-Tracking und Link-Datenbanken. Bevorzugen Sie eine strukturierte SERP-API, wenn sie Ziel-Links liefert. Wenn Sie HTML parsen müssen, klassifizieren Sie jede href, deduplizieren Sie Weiterleitungen und lösen Sie sie mit einem einfachen GET auf. Entschlüsseln Sie CAES nicht.

Suciu Dan11 min read
Artikel lesen
HTTP-Antwort-Header in cURL: Jedes Flag, jede Technik und jedes Skripting-Rezept
Die Wissenschaft des Web-Scrapings

HTTP-Antwort-Header in cURL: Jedes Flag, jede Technik und jedes Skripting-Rezept

TL;DR: cURL verbirgt standardmäßig Antwort-Header. Verwenden Sie -i, um Header neben dem Body zu sehen, -I für eine HEAD-Anfrage, die nur Header zurückgibt, -v für vollständiges Debugging von Anfrage und Antwort und -D, um Header in einer Datei zu speichern. Für modernes Scripting können Sie mit cURL 7.83+ einzelne Header extrahieren oder mit der Option -w write-out alle Header als JSON ausgeben.

Suciu Dan11 min read
Artikel lesen

Los geht’s

Sind Sie bereit, Ihre Datenerfassung zu erweitern?

Schließen Sie sich den über 2.000 Unternehmen an, die WebScrapingAPI nutzen, um Webdaten im Unternehmensmaßstab ohne zusätzlichen Infrastrukturaufwand zu extrahieren.