Der Leitfaden für Anfänger zur Verwendung von Proxies für Web Scraping

Raluca Penciuc am 27. April 2021

Auch wenn Web-Scraper nicht unbedingt Proxys benötigen, um zu funktionieren, kommen Sie ohne sie nicht sehr weit.

Egal, wie vorsichtig Sie sind und wie sehr Sie die Anzahl der Anfragen begrenzen oder zufällig verteilen, früher oder später werden Sie blockiert. Und bedenken Sie: Wenn Sie Ihre Anfragen verlangsamen, verlieren Sie noch mehr Zeit. Wäre es nicht besser, einfach ein paar Proxys zu besorgen, sie durchzugehen und Ihr Projekt vor dem Wärmetod des Universums zu beenden?

Zumindest glauben wir das.

Aber nicht alle Proxys sind gleich. Die Preise sind unterschiedlich, die Geschwindigkeit ist unterschiedlich und auch die Funktionen sind unterschiedlich. In diesem Artikel wollen wir uns diese Unterschiede ansehen und lernen, wie man die richtigen Proxys für jedes Projekt auswählt. Wollen wir?

Proxies - das Brot und Butter des Web Scraping

Beginnen wir mit einer Definition. Wenn Sie über das Internet auf etwas zugreifen (z. B. auf Websites oder Anwendungen), ist Ihre IP-Adresse, eine eindeutige Kennung im Internet, sichtbar. Proxys sind Mittelsmänner zwischen Ihnen und dem gewünschten Server, die Ihre IP-Adresse (sowie andere Identifikatoren) für die Website verbergen, indem sie ihre eigene übermitteln.

Kurz gesagt, Proxys helfen Ihnen, Ihren digitalen Fußabdruck zu verschleiern. Warum ist das für Web Scraping notwendig?

In den meisten Fällen wollen Sie Daten von mehreren Seiten derselben Website extrahieren. Moderne Scraper können das im Handumdrehen erledigen, aber Menschen können das nicht. Websites wollen von Menschen besucht werden, nicht von Robotern. Wenn sie also Roboter entdecken, werden sie möglicherweise blockiert.

Fortschrittlichere Websites haben zusätzliche Sicherheitsmaßnahmen, um Bots abzuschrecken. Sie können bekannte Proxy-IPs präventiv sperren, ihr HTML schwerer verständlich machen oder komplexe CAPTCHA-Funktionen verwenden.

Mit diesen bekannten Blockern ist es nur eine Frage der richtigen Proxys und der richtigen Art, die gewünschten Daten zu erhalten. Es gibt viele Möglichkeiten, Proxys nach ihrer Anonymität oder Herkunft zu katalogisieren, aber wir werden nur über die beiden wichtigsten Arten für Web Scraping sprechen: Proxys für Rechenzentren und Proxys für Privatpersonen.

Proxys für Rechenzentren

Während eine normale IP wie jeder normale Internetnutzer mit einem Internetdienstanbieter verbunden ist, werden Rechenzentrums-Proxys massenweise auf einem Cloud-Server gespeichert, der von einem Dritten gehostet wird.

Einfach ausgedrückt: Ein großer Server beherbergt Tausende und Abertausende von Rechenzentrums-Proxys. Darüber hinaus macht die Infrastruktur auf Unternehmensebene Rechenzentrums-Proxys sowohl stabil als auch schnell, zumindest die kostenpflichtigen.

Möglicherweise finden Sie Rechenzentrums-Proxys, die nur für jedermann frei zugänglich sind. In einigen Fällen funktionieren diese zwar wie beworben, aber Sie könnten sich damit auch Hackern öffnen, also seien Sie vorsichtig. Da die Nutzung für jedermann kostenlos ist, weiß niemand, wofür andere die IPs verwendet haben, so dass sie möglicherweise bereits auf vielen Websites gesperrt sind. Wie das alte Sprichwort sagt, bekommt man, wofür man bezahlt hat.

Die Fülle ist schön, aber es bedeutet auch, dass alle diese IP ein Subnetz teilen, was weniger schön ist. Der Grund dafür ist einfach - sie haben etwas gemeinsam, was es für Websites einfach macht, sie alle zu erkennen, sobald sie eine gefunden haben.

Vorteile des Rechenzentrums-Proxys

Zunächst einmal ist es der Preis. Die Kosten variieren zwar zwischen den verschiedenen Dienstanbietern, aber als Faustregel gilt, dass Sie Proxys für Rechenzentren zu günstigeren Preisen finden als Proxys für Privathaushalte, zu denen wir gleich noch kommen werden.

Wie wir bereits bei der Einführung des Proxy-Typs gesagt haben, basieren sie auf einer guten technologischen Grundlage, so dass Sie eine ausgezeichnete Stabilität und eine der besten Geschwindigkeiten erwarten können, die ein Proxy bieten kann. Der Unterschied zwischen 0,5 und 0,9 Sekunden mag nicht groß erscheinen, aber er summiert sich, wenn Sie jeden Tag Tausende von Anfragen stellen.

Ein weiterer Vorteil des Einsatzes von Spitzenservern ist, dass Ihre Anfragen standardmäßig über die nächstgelegenen Proxys geleitet werden, was die Geschwindigkeit weiter erhöht. Das Internet mag zwar schnell sein, aber wenn Sie sich in Los Angeles befinden und die Seite, die Sie abrufen wollen, ebenfalls in den USA gehostet wird, ist es besser, wenn Sie die Anfragen über einen Proxy an der Westküste und nicht an der Elfenbeinküste leiten.

Nachteile des Rechenzentrums-Proxys

Da sie nicht von einem ISP gehostet werden, teilen sich Rechenzentrums-Proxys keine echten IPs, irgendwie. Das Problem ist, dass sie sich ein Subnetz teilen, ein gemeinsames Element, das es den Websites leicht macht, sie alle zu erkennen, sobald sie eine gefunden haben.

Rechenzentrums-Proxys sind zwar auf Geschwindigkeit ausgelegt, verlieren aber ein paar Punkte, wenn es darum geht, echte Benutzer zu imitieren. Das kann ein Problem sein, da man beim Extrahieren von Daten eher auf Blockaden stößt. Eine große Anzahl von Proxys kann dies beheben oder zumindest abmildern, aber bedenken Sie, dass mehr Proxys auch mehr Kosten bedeuten.

Wann sollten Rechenzentrums-Proxys verwendet werden?

Diese Arten von IPs eignen sich gut für Ihre gewöhnliche Website. Wenn Sie nicht mit ernsthaften Scraping-Gegenmaßnahmen konfrontiert sind, sind die Proxys eine kostengünstige Lösung, um Daten zu extrahieren, ohne zu riskieren, dass Ihre eigene IP blockiert wird.

Wenn Sie regelmäßig dieselben Seiten abfragen und wissen, dass Rechenzentrums-Proxys gut geeignet sind, können Sie den Prozess automatisieren und sicher sein, dass Sie die benötigten Daten erhalten, ohne die Bank zu sprengen.

Wohnsitzvollmachten

Diese Art von IPs würden sowohl Menschen als auch Computer eher mit normalen Internetnutzern in Verbindung bringen. Der Proxy wird von einem ISP gehostet und hat einen realen Standort. In diesem Sinne leistet er die beste Arbeit bei der Verschleierung Ihrer echten IP, was ja der Sinn von Proxys ist.

Der Anbieter des Proxy-Dienstes muss zwar keinen großen Server mit unzähligen IPs unterhalten, aber er muss eine Vielzahl von Proxys für Wohngebiete an verschiedenen Standorten finden und einbinden. Das ist eigentlich gut für Sie, den Nutzer, da es im Allgemeinen bedeutet, dass Sie Zugang zu vielen verschiedenen Geolokalisierungsoptionen haben, um regionale Inhaltsbeschränkungen zu umgehen.

Vorteile der Wohnsitzvollmacht

Zunächst einmal sind die IPs von Privatpersonen die besten der Besten, wenn es darum geht, nicht entdeckt und in der Folge blockiert zu werden. Für manche ist das der wichtigste Faktor. Mit einem anständigen Pool von Proxys für Privatpersonen können Sie so ziemlich alles abgreifen. Stellen Sie nur sicher, dass Sie es auf ethische Weise tun!

Ein weiterer Pluspunkt ist die Tatsache, dass die meisten Dienstanbieter Proxys in vielen Ländern haben, so dass Sie sich keine Gedanken über geografische Beschränkungen machen müssen. Außerdem ist es wahrscheinlicher, dass Sie einen Proxy in der Nähe des Hosts der Webseite haben, so dass die Anfragen nicht lange dauern.

Im Gegensatz zu den IPs von Rechenzentren, die massenhaft blockiert werden können, sind alle privaten IPs einzigartig. Es ist viel unwahrscheinlicher, dass Sie von Anfang an gesperrt werden, da es keine Möglichkeit gibt, eine private IP mit einer anderen zu verknüpfen, selbst wenn Sie beide verwenden.

Nachteile der Wohnsitzvollmacht

Aufgrund der Schwierigkeit, einen großen Pool von Proxys für Privatanwender zu erstellen, und ihrer Effektivität sind diese höchstwahrscheinlich teurer als IPs für Rechenzentren. Der Unterschied mag nicht sehr groß sein, aber er summiert sich, wenn Sie jeden Tag viele Anfragen stellen.

Da Sie mit IPs von vielen verschiedenen Standorten und Internetanbietern arbeiten, kann die Geschwindigkeit von Proxy zu Proxy und von Anfrage zu Anfrage variieren. Die Suche nach dem richtigen Anbieter mit den zuverlässigsten und schnellsten Diensten ist ein Muss.

Wann sollten Wohnsitzvollmachten verwendet werden?

Diese Art von IP wird von vielen als die beste Option für Web-Scraping angesehen. Sie ist mit Kosten verbunden, aber IPs für Privatpersonen funktionieren auf fast jeder Webseite.

Websites wie Google, Amazon oder Social-Media-Plattformen nehmen Bots sehr ernst, daher ist es sehr wahrscheinlich, dass die IPs von Rechenzentren nicht ausreichen. In diesem Fall müssen Sie die IPs von Privathaushalten verwenden, die eine viel bessere Chance haben, die benötigten Daten zu erhalten.

Die nächste Stufe - Rotierende Proxys

Mit einem Proxy müssen Sie sich keine Sorgen machen, dass Ihre tatsächliche IP-Adresse blockiert wird, aber Sie können immer noch in der Anzahl der Anfragen eingeschränkt sein, die Sie senden können, wenn Sie nur einen Proxy verwenden.

Der nächste logische Schritt ist dann, Anfragen von verschiedenen Proxys zu senden, damit die Website sieht, dass verschiedene Benutzer auf ihre Seiten zugreifen. Clever, oder? Das Problem ist jedoch, dass Sie die IP-Adresse manuell umschalten müssen, so dass jede Zeit, die Sie durch das schnellere Senden von Anfragen gewinnen, durch das Festlegen der Parameter der Anfrage verloren geht.

Dennoch geht es bei Web Scrapers darum, mühsame Arbeiten zu automatisieren. Warum also nicht auch den Prozess des Proxy-Wechsels automatisieren? Wir möchten Ihnen das Konzept der rotierenden Proxys vorstellen.

Die Idee der rotierenden Proxys besteht darin, dass der Dienstanbieter eine Funktion verwendet, die dafür sorgt, dass jede Anfrage an eine Webseite über eine andere IP-Adresse läuft. Das ist dasselbe wie das manuelle Umschalten von Proxys, nur ohne den ganzen Aufwand. Das bedeutet, dass Sie Tausende von Anfragen ohne Verzögerung senden können, ohne befürchten zu müssen, blockiert zu werden.

In bestimmten Fällen möchten Sie dieselbe IP für aufeinanderfolgende Sitzungen beibehalten, z. B. wenn Sie sich bei einer Website anmelden müssen. In diesem Fall müssen Sie nur "Sticky Sessions" einrichten, bei denen Sie immer dieselbe IP für die angegebenen Seiten verwenden.

Kurz gesagt, rotierende Proxys sind die Kirsche auf dem Sahnehäubchen eines guten Proxy-Pools, der sicherstellt, dass Sie alle Daten, die Sie benötigen, rechtzeitig und ohne Blockierung erhalten.

Woher bekomme ich sie also?

Es gibt eine Vielzahl von Proxy-Dienstanbietern. Die meisten sind eher auf anonymes Surfen ausgerichtet, denn das ist ja der Sinn von Proxys. Aber es gibt auch andere Unternehmen, die eher auf Web Scraping ausgerichtet sind. Einige Datenextraktionsprodukte, darunter WebScrapingAPI, verfügen sogar über einen eigenen Pool rotierender Proxys für die Bequemlichkeit der Benutzer.

Jetzt sind Sie bereit, einen Dienstleister zu finden, der Ihnen bei Ihren Projekten helfen kann, also gehen Sie hinaus und sehen Sie sich Ihre Möglichkeiten an! Hier ist eine gute Liste von Produkten, mit der Sie beginnen können.