Die besten Proxies für Web Scraping im Jahr 2026

Wenn eine einzelne IP-Adresse Hunderte von Anfragen an dieselbe Domain sendet, erkennen die Abwehrmechanismen des Ziels ein offensichtliches Automatisierungsmuster. Die übliche Eskalation: Ratenbegrenzung, dann 403 Forbidden, dann dauerhafte Sperrung. Geoblocking fügt eine weitere Ebene hinzu und blockiert ganze Adressbereiche aus regionsspezifischen Katalogen, Suchergebnissen oder Preisseiten. CAPTCHAs kommen noch hinzu und verlangsamen jeden erneuten Versuch auf menschliche Geschwindigkeit.

Web-Scraping-Proxys beheben dies, indem sie die gleiche Arbeitslast auf viele IPs, Netzwerke und Länder verteilen. Sie lassen Ihren Scraper weniger wie einen ungeduldigen Bot und mehr wie eine Flotte normaler Nutzer erscheinen.

Ein Proxy nimmt Ihre ausgehende Anfrage entgegen, leitet sie mit seiner eigenen IP-Adresse im Quellfeld an das Ziel weiter und sendet die Antwort an Sie zurück. Das Ziel sieht die Adresse, die Header und den TLS-Fingerabdruck des Proxys, niemals Ihre eigenen. Interessant wird es bei dem, was der Proxy beibehält: Die meisten Scraping-Proxys lassen Ihre User-Agent, Accept-Languageund Cookies unangetastet, was bedeutet, dass Ihre Header-Hygiene weiterhin wichtig ist. Wenn diese automatisiert aussehen, hilft Ihnen das bloße Wechseln der IP-Adressen nicht weiter.

Der IPv4-Adresspool umfasst maximal etwa 4 Milliarden Adressen, und die regionalen Registries haben die verfügbaren Blöcke bereits vor Jahren praktisch erschöpft, weshalb eine saubere IPv4-Adresse aus einem Rechenzentrum immer noch richtig Geld kostet. IPv6 verfügt über Billionen von Adressen und ist deutlich günstiger zu beschaffen, stellt für Scraper jedoch eine Falle dar: Die meisten kommerziellen Websites verhandeln am CDN-Rand nach wie vor nur IPv4. Testen Sie, bevor Sie sich festlegen. Führen Sie curl -6 https://target.example von einem reinen IPv6-Host aus. Wenn ein 200-Status zurückgegeben wird, sind IPv6-Proxys für dieses Ziel sicher. Andernfalls bleiben Sie bei IPv4.

Die meisten Scraping-Bibliotheken verwenden standardmäßig HTTP- und HTTPS-Proxys, was in den allermeisten Fällen ausreichend ist. Sie verarbeiten Web-Traffic, lassen sich nahtlos in requests, httpx, axiosund Scrapys Downloader-Middleware und werden von den meisten Anbietern standardmäßig bereitgestellt. SOCKS5, definiert in RFC 1928, ist protokollunabhängig und in der Regel etwas schneller und sicherer für Nicht-HTTP-Datenverkehr, wird jedoch von Bibliotheken und Anbietern weniger gut unterstützt. Wählen Sie HTTP/HTTPS, sofern Sie keinen konkreten Grund haben, wie z. B. das Routing über Nicht-Web-Tools.

Rechenzentrum, Privathaushalt, ISP und Mobilfunk sind die vier IP-Quellen, zwischen denen Sie wählen können. Sie unterscheiden sich deutlich in Bezug auf Preis, Geschwindigkeit, Anti-Bot-Vertrauenswürdigkeit und Parallelität. In den nächsten vier Abschnitten wird näher darauf eingegangen, wann sich die jeweilige Option lohnt.

Rechenzentrums-IPs werden kommerziell über Cloud- und Hosting-Anbieter vergeben, ohne Verbindung zu einem privaten Internetanbieter. Das macht sie günstig, reichlich verfügbar und auf einer Infrastruktur auf Backbone-Niveau aufgebaut, weshalb sie die niedrigste Latenz aller Proxy-Typen aufweisen. Der Nachteil spiegelt den Vorteil wider: Anti-Bot-Systeme kennen AWS, OVH, Hetzner und ähnliche Bereiche bereits und behandeln den von dort kommenden Datenverkehr standardmäßig als automatisierten.

Greifen Sie auf Rechenzentrumsproxys zurück, wenn die Abwehrmaßnahmen gering sind (öffentliche Nachrichtenportale, Regierungsdaten, Foren) oder wenn Sie Blockierungsrate gegen Durchsatz eintauschen können. Zwei Varianten sind relevant: dediziert für Zuverlässigkeit und gemeinsam genutzt für Kosten. Die Richtpreise liegen zum Zeitpunkt der Erstellung dieses Artikels bei etwa 1 bis 3 US-Dollar pro IP und Monat oder 50 bis 150 US-Dollar für Pools von 50 bis 100 IPs.

Residential-IPs werden von privaten Internetanbietern an echte Heimnetzwerke vergeben, sodass der von ihnen ausgehende Datenverkehr wie der einer Person mit einer normalen Breitbandverbindung aussieht. Anti-Bot-Systeme gewichten dieses Signal stark, weshalb Residential-Pools geschützte Websites passieren können, die Rechenzentrums-IP-Bereiche blockieren. Die Preisgestaltung folgt dem Vertrauensaufschlag: Anbieter berechnen in der Regel pro Gigabyte statt pro IP, mit Richtpreisen von etwa 5 bis 15 US-Dollar pro GB zum Zeitpunkt der Erstellung dieses Artikels, wobei es erhebliche Mengenrabatte gibt.

Die Rotation ist der wichtigste Hebel. Ein rotierender Pool stellt Ihnen pro Anfrage eine neue IP zur Verfügung, was sich hervorragend für paralleles Crawling eignet, aber Cookie-basierte Sitzungen unterbricht. Sticky-Sitzungen behalten eine IP für einige Minuten bei, was für „Search-then-Paginate“-Abläufe ideal ist. Es lohnt sich, einen speziellen Leitfaden zu rotierenden Proxys zu lesen, bevor Sie Timeouts anpassen.

ISP-Proxys, auch als statische Residential-Proxys bezeichnet, hosten private IP-Adressen auf einer Infrastruktur in Rechenzentrumsqualität. Sie erhalten die Vertrauenswürdigkeit einer echten Verbraucher-ISP-Zuweisung mit der Verfügbarkeit und Bandbreitenreserve eines Server-Racks. Diese Hybridlösung ist ideal für zwei Anwendungsfälle: lang andauernde Sitzungen auf einem einzigen Konto, bei denen IP-Wechsel die Sitzungsüberprüfung auslösen würden, und kontobasiertes Scraping auf Plattformen (Bewertungsseiten, Marktplätze, Ticketverkauf), die Sitzungen an die IP binden, auf der sie erstellt wurden. Die Preise liegen in der Regel zwischen denen für Rechenzentren und Privathaushalte, zum Zeitpunkt der Erstellung dieses Artikels oft bei etwa 2 bis 5 US-Dollar pro IP und Monat. Ein ausführlicherer Artikel über ISP-Proxys für Web-Scraping ist es wert, mit einem Lesezeichen versehen zu werden.

Mobile Proxys leiten den Datenverkehr über 4G- oder 5G-IPs weiter, die von Netzbetreibern zugewiesen werden. Carrier-Grade-NAT bündelt Tausende von Nutzern hinter derselben Adresse, sodass das Blockieren einer mobilen IP das Risiko birgt, legitime Telefone zu blockieren, und Anti-Bot-Systeme ziehen diesen Hebel nur selten. Die Vertrauenswürdigkeit ist so hoch wie nur möglich. Der Kompromiss ist real: Mobile IPs sind langsamer, weniger stabil und aufgrund der erzwungenen Netzbetreiberrotation schwieriger einem Endpunkt zuzuordnen. Die Richtpreise liegen zum Zeitpunkt der Erstellung dieses Artikels bei etwa 10 bis 20 US-Dollar pro GB oder 50 bis 200 US-Dollar pro dedizierter IP pro Monat. Reservieren Sie diese für die stärksten Abwehrmaßnahmen. Bei der Vorauswahl von mobilen Proxy-Diensten für das Web-Scraping sollten Sie vor dem Preis die Konstanz, die Netzbetreibermischung und die Parallelität bewerten.

Hören Sie auf, Typen abstrakt zu vergleichen. Beginnen Sie mit dem Zielprofil und gehen Sie dann zum Proxy zurück.

• Starke Anti-Bot-Abwehr (Amazon, LinkedIn, Instagram, Ticketverkauf): Residential- oder ISP-Proxys, kombiniert mit Anti-Fingerprinting und JavaScript-Rendering. Rechenzentrumspools verbrauchen Wiederholungsversuche und Budget.
• Öffentliche Inhalte in großem Umfang (Nachrichten, offene Verzeichnisse, Regierungsdaten): Rechenzentrums-Proxys sind in der Regel ausreichend. Zahlen Sie nur dann für Trust, wenn die Blockierungsrate über 5 % steigt.
• Geo-targeted SERP, lokale Preisgestaltung, regionale Kataloge: Residential- oder ISP-Proxys im exakten Land, idealerweise in der exakten Stadt. Geodaten von Rechenzentren sind auf Metropolenebene oft ungenau, was die Arbeit im Bereich lokaler SEO und Preisintelligenz zunichte macht.
• Lange Sitzungen auf einem Konto (Überwachung von Bewertungen, Marktplatz-Dashboards): ISP-Proxys, da stabile IPs wichtiger sind als Rotation.
• Bildlastige oder browserbasierte Scrapes: Jeder Typ funktioniert, aber achten Sie auf die Bandbreite (nächster Abschnitt).

Drei Preismodelle dominieren Web-Scraping-Proxys: pro IP pro Monat (Rechenzentrum und ISP), pro GB (Privathaushalte und Mobilfunk) sowie kredit- oder anfragebasiert (oft in Unblocking-APIs gebündelt). Wählen Sie das Modell, das Ihrem Traffic-Muster entspricht, nicht die vom Anbieter bevorzugte SKU.

Bei der Preisgestaltung pro GB macht sich die Bandbreitenberechnung am stärksten bemerkbar. Mit einer HTML-Seite von 16 bis 50 KB können Sie etwa 20.000 bis 60.000 URLs pro Gigabyte abrufen. Rendern Sie dieselbe Seite in einem Headless-Browser, und jede Anfrage schwillt auf 1 bis 4 MB an, wodurch das Budget auf 250 bis 2.000 Seiten pro Gigabyte schrumpft. Allein die Produktseiten von Amazon umfassen 200 KB, die sich mit geladenen Bildern auf 2 bis 4 MB erhöhen. Blockieren Sie Schriftarten und Bilder in Ihrem Headless-Browser, bevor Sie skalieren.

Kostenlose Proxy-Listen sehen attraktiv aus, bis man sie genauer unter die Lupe nimmt. Öffentliche Pools werben mit Tausenden von IPs, weisen jedoch zu jedem beliebigen Zeitpunkt Erfolgsraten im Bereich von etwa 5 bis 15 Prozent auf, und die funktionierende Teilmenge wechselt ständig. Die Pflege eines nutzbaren kostenlosen Pools kostet in der Regel etwa 10 Stunden Entwicklungszeit pro Monat – genug, dass die Gehaltskosten einen kostenpflichtigen Tarif leicht übersteigen, sobald man dies einkalkuliert (beide Zahlen sind Richtwerte und sollten anhand Ihrer eigenen Daten überprüft werden). Kostenlose Proxys bergen zudem ein echtes Sicherheitsrisiko, da der Datenverkehr stromaufwärts überwacht werden kann. Verwenden Sie kuratierte kostenlose Proxy-Listen nur für einmalige Tests. Setzen Sie in der Produktion auf kostenpflichtige Web-Scraping-Proxys.

Anbieterangaben von über 95 % Verfügbarkeit sind leicht zu veröffentlichen und schwer zu überprüfen – testen Sie also, statt zu vertrauen. Führen Sie eine kostenlose Testphase mit Ihren tatsächlichen Zielen durch und bewerten Sie diese Aspekte, bevor Sie einen Vertrag für Web-Scraping-Proxys abschließen:

• Erfolgsquote nach Region, nicht nach globalem Durchschnitt: Erfolgsquote in Bezug auf die spezifischen Länder und Zielseiten, die Sie tatsächlich erreichen.
• Geografische Granularität: Land, Bundesland und Stadt, wobei die Genauigkeit durch eine Rückwärtssuche anhand einer Stichprobe von 50 IP-Adressen überprüft wird.
• Begrenzung der gleichzeitigen Verbindungen: Verbindungslimit für Ihre Tarifstufe, schriftlich festgehalten.
• Dauer der Sticky-Session: minimale und maximale Dauer sowie die Frage, ob die Sticky-Session nach einer 4xx-Antwort bestehen bleibt.
• Transparenz bei der Abrechnung: pro GB, pro IP oder auf Guthabenbasis, mit detaillierten Belegen.
• Rückerstattungs- und Gutschriftrichtlinien: Wie fehlgeschlagene Anfragen und Ausfälle gutgeschrieben werden.

Einige betriebliche Probleme bringen Scraper, die auf ansonsten soliden Proxy-Stacks laufen, still und leise zum Erliegen:

• HTTP/2- und HTTP/3-Unterstützung: Viele Proxy-Netzwerke tunneln immer noch HTTP/1.1, was an sich schon ein Fingerabdruck auf modernen Zielen ist. Überprüfen Sie die Protokollaushandlung vor der Skalierung.
• Begrenzung der gleichzeitigen Verbindungen: Anbieter legen Verbindungsobergrenzen fest, die unter den Annahmen der Scraper liegen. Prüfen Sie die Vertragsbedingungen, nicht den Marketingtext.
• Retry-with-Backoff bei 403: Wenn ein Ziel einen 403-Forbidden-Fehler zurückgibt, sollten Sie exponentiell zurückgehen und zu einer neuen IP wechseln, bevor Sie es erneut versuchen. Enge Wiederholungsschleifen auf derselben IP zementieren die Sperre.
• Header- und TLS-Hygiene: Wechseln Sie User-Agent, Accept-Languageund andere Client-Hinweise. Nicht übereinstimmende Header verraten die Automatisierung, unabhängig davon, wie sauber Ihre IP ist.

Die Proxy-Verwaltung für Web-Scraping wird ab dem zweiten Ziel zu einer eigenen Disziplin.

Wählen Sie nach Ziel, nicht nach Feature-Liste. Rechenzentrum für tolerante Websites, Privatadressen für Anti-Bot-Ziele, ISP für Sticky Sessions, Mobilfunk für die schlechtesten Abwehrmaßnahmen. Integrieren Sie Wiederholungslogik, Header-Hygiene und Bandbreitensteuerung, damit die Kosten pro GB nicht die gesammelten Daten übersteigen. Investieren Sie frühzeitig in Überwachung, da Dashboards mit Blockierungsraten nach Region und Ziel die günstigste Versicherung sind, die Sie kaufen können.

• Passen Sie den Proxy-Typ an das Ziel an: Rechenzentrum für öffentliche Inhalte, Privathaushalte für Anti-Bot-Websites, ISP für lange Sitzungen, Mobilfunk für die stärksten Abwehrmaßnahmen.
• Überprüfen Sie dies auch auf der Protokollebene. Die meisten Ziele sind nach wie vor nur IPv4-fähig, und die HTTP/2-Unterstützung variiert stark zwischen den Proxy-Netzwerken.
• Preismodelle sind genauso wichtig wie der Typ. Eine Abrechnung pro GB belohnt schlanke HTML-Scraper und bestraft browserbasierte Aufträge, es sei denn, Sie blockieren Schriftarten und Bilder.
• Kostenlose Proxys eignen sich gut zum Testen, sind in der Produktion jedoch riskant, da ihre Erfolgsraten meist zwischen 5 und 15 Prozent liegen und sie laufenden Wartungsaufwand verursachen.
• Testen Sie die Anbieter auf ihre Erfolgsquote nach Region, Begrenzung der gleichzeitigen Verbindungen und Dauer der Sticky-Sessions, bevor Sie sich für einen Tarif entscheiden.

Schätzen Sie anhand des Anfragevolumens und der Zielratenbeschränkungen, nicht anhand der reinen IP-Anzahl. Wenn eine Website eine Anfrage pro IP alle 5 Sekunden zulässt und Sie 10.000 Seiten pro Stunde benötigen, benötigen Sie mindestens 14 funktionierende IPs sowie eine 2- bis 3-fache Sicherheitsmarge für Wiederholungsversuche und Rotationsfluktuation. Bei Residential-Tarifen pro GB verlagert sich die Frage auf die Bandbreite, nicht auf die IP-Anzahl.

Verwenden Sie einen Proxy. VPN-IPs werden in der Regel von vielen Abonnenten gemeinsam genutzt, was ihnen niedrige Vertrauenswerte verleiht, und sie geben jeweils nur eine Ausgangs-IP preis. Proxy-Dienste bieten Ihnen einen Pool, den Sie rotieren, auf Länder- oder Stadtebene geografisch ausrichten und direkt in Ihren HTTP-Client integrieren können. VPNs sind für den persönlichen Datenschutz konzipiert. Proxys sind für automatisierten Datenverkehr in großem Maßstab ausgelegt.

Ja. Sowohl Google als auch Amazon nutzen intensiv Fingerprinting und markieren Rechenzentrums-IP-Bereiche fast sofort, insbesondere bei nennenswertem Suchvolumen. Residential- und ISP-IPs bestehen diese Prüfungen, da sie wie echte Verbraucherverbindungen aussehen. Kombinieren Sie sie mit realistischen Browser-Fingerprints, JavaScript-Rendering bei Bedarf und Request Pacing. Die Basis-Erfolgsraten steigen bei den meisten Suchanfragen von einstelligen Werten in den 80-Prozent-Bereich.

Für HTTP/2 senden Sie curl --http2 -v https://www.cloudflare.com über den Proxy und überprüfen Sie die Zeile mit dem ausgehandelten Protokoll; ein Fallback auf HTTP/1.1 bedeutet, dass der Proxy kein HTTP/2 unterstützt. Für Sticky Sessions rufen Sie https://api.ipify.org zehnmal über dieselbe Session-ID ab und stellen Sie sicher, dass jedes Mal dieselbe IP zurückgegeben wird; warten Sie dann über das dokumentierte Sticky-Fenster hinaus und testen Sie erneut.

Praktisch gesehen nein. Kostenlose Proxy-Listen weisen niedrige Erfolgsraten, häufige Ausfallzeiten und ein echtes Risiko auf, dass der Datenverkehr von demjenigen, der den Exit-Knoten betreibt, überprüft oder verändert wird. Sie sind nützlich für einmalige Skripte und zum Testen der Fehlerbehandlung eines Scrapers. Für alles, was mit Anmeldedaten, Kundendaten oder Produktionsplänen zu tun hat, kostet die Entwicklungszeit, die für ihre Pflege aufgewendet wird, mehr als ein kostenpflichtiger Tarif.

Bei der Auswahl von Web-Scraping-Proxys geht es weniger darum, den „besten“ Typ zu finden, sondern vielmehr darum, Kosten, Vertrauenswürdigkeit und Parallelität auf die Websites in Ihrer Roadmap abzustimmen. Rechenzentrumspools punkten bei toleranten Zielen in Sachen Geschwindigkeit und Preis. Privathaushalts- und ISP-Netzwerke verdienen ihren Aufpreis bei Anti-Bot-Websites und geografisch zielgerichteten Aufgaben. Mobile ist der letzte Ausweg bei den härtesten Abwehrmechanismen. Kombinieren Sie all dies mit Retry-with-Backoff, Header-Hygiene und Bandbreitensteuerung, und Ihr Scraper läuft noch lange weiter, nachdem die erste Runde von 403-Fehlern ihn eigentlich schon lahmgelegt hätte.

Testen Sie jeden Anbieter an Ihren tatsächlichen Zielen, bevor Sie einen Vertrag abschließen. Nutzen Sie die Checkliste in diesem Leitfaden: Erfolgsquote nach Region, Begrenzung der Parallelität, Dauer der Sticky-Sessions, Transparenz bei der Abrechnung und Rückerstattungsrichtlinien.

Wenn Sie die Infrastrukturarbeit lieber ganz überspringen möchten, bündelt unser Team bei WebScrapingAPI Rechenzentrums-, Privat-, ISP- und Mobilfunk-Pools mit einer verwalteten Entsperrungsschicht hinter einem Endpunkt, sodass Sie den Scraper ausliefern und das Debuggen von Blockierungsmustern einstellen können.