Die 7 besten kostenlosen Proxy-Listen für Web-Scraping

Robert Munceanu am 16. August 2021

Beim Web-Scraping verwenden Sie entweder Proxys oder leisten schlechte Arbeit beim Extrahieren von Daten. Sicherlich brauchen Sie keinen Backconnect-Proxy mit Tausenden von IPs von Rechenzentren und Privatanwendern, aber Sie werden zumindest einige grundlegende Proxys benötigen.

Das große Problem für Hobby-Scraper oder Anfänger ist, dass IPs normalerweise Geld kosten. Glücklicherweise gibt es so etwas wie kostenlose Proxys. Tatsächlich gibt es eine ganze Reihe von Optionen, aus denen Sie wählen können. Wir haben einige von ihnen untersucht und die besten 7 ausgewählt, damit Sie nur die beste Qualität bekommen, zumindest was kostenlose Proxys angeht.

Bevor wir uns mit der Liste befassen, sollten wir noch einige Details besprechen. Kostenlose Proxys sind großartig, weil man kein Geld investieren muss, aber sie sind nicht perfekt.

Die Vor- und Nachteile kostenloser Proxys

In erster Linie sind sie kostenlos. Das ist ein bisschen offensichtlich, aber es ist ein großer Vorteil. Stellen Sie sich vor, Sie können jede der Anleitungen in unserem Blog nehmen, Ihren Scraper programmieren und ihn dann zusammen mit den Proxys verwenden.

Es gibt viel über die Vorteile von Proxys beim Web-Scraping zu sagen, und wir werden in diesem Artikel nicht auf sie eingehen. Wenn Sie jedoch mehr wissen möchten, lesen Sie diesen Artikel über rotierende Proxys, in dem wir aufzeigen, welch großen Unterschied ein IP-Pool ausmachen kann.

Leider ist das so ziemlich der einzige Vorteil, den kostenlose Proxys gegenüber anderen haben. Nun zu den Nachteilen.

Da diese IPs frei verfügbar sind, kennt sie jeder. Die Websites kennen die Adressen also wahrscheinlich bereits und haben sie bereits gesperrt. Entweder hat bereits jemand versucht, auf die gewünschte Website zuzugreifen, und die IP-Adresse wurde gesperrt, oder der Webmaster hat den kostenlosen Proxy-Anbieter gefunden, alle IP-Adressen kopiert und sie auf eine schwarze Liste gesetzt. Das ist nicht immer der Fall, kommt aber häufig vor.

Kostenlose IPs sind oft langsam und bieten keine Anonymität. Die Wartung von Proxys kostet Geld, daher können Sie nicht ernsthaft erwarten, dass Sie IPs von höchster Qualität zum Nulltarif erhalten. Wie das Sprichwort sagt, bekommt man das, wofür man bezahlt.

Kostenlose Proxys können Sie für Hacker angreifbar machen. Wie ich bereits sagte, ist es etwas ungewöhnlich, dass jemand kostenlose Adressen anbietet. Ein ruchloser Grund dafür könnte sein, dass jemand die Informationen, die über den Proxy laufen, überwacht und kopiert. Danach können sie diese Informationen für bösartige Zwecke verwenden. Auch hier gibt es keine Garantie, aber Sie sollten auf der Hut sein.

1. WebScrapingAPI

Ein großer Faktor, der WebScrapingAPI von anderen Anbietern auf dieser Liste unterscheidet, ist, dass die API nur Premium-Proxys verwendet. Dazu gehören sowohl Privat- als auch Rechenzentrums-IPs, mit vielen Geolokalisierungsoptionen (7 für Rechenzentren, 40 für Privatanwender und über 200 für benutzerdefinierte Pläne). Es gibt zwar kostenpflichtige Pläne, die von 20 bis 200 US-Dollar reichen, aber jeder neue Nutzer erhält eine kostenlose Testphase von zwei Wochen, in der er alle Funktionen der API nutzen kann.

Die Proxy-Rotation wird von der API automatisch gehandhabt, so dass alle Anfragen, sofern Sie nicht ausdrücklich etwas anderes wünschen, über verschiedene IPs laufen. Außerdem können Sie bis zu 10 gleichzeitige Anfragen senden, was bedeutet, dass Sie den Proxy-Pool in vollem Umfang nutzen und Daten in rasender Geschwindigkeit extrahieren können.

Natürlich bietet WebScrapingAPI nicht nur Proxys, sondern auch Zugriff auf den Scraper. Sie erhalten also alle Funktionen eines erstklassigen Datenextraktionstools, ohne eine Zeile Code schreiben zu müssen.

Wenn die kostenlose Testphase vorbei ist, müssen Sie immer noch keinen Dollar ausgeben, es sei denn, Sie möchten es, denn Sie werden auf das kostenlose Paket mit 1000 API-Aufrufen pro Monat heruntergestuft, so lange Sie es wünschen.

2. ProxyScan

ProxyScan ist eine Sammlung von nützlichen Tools, die auf einer einzigen Website zusammengefasst sind. An erster Stelle steht die Proxy-Liste. Sie behauptet, insgesamt über 12.000 Proxys zu haben. Das ist zwar eine beeindruckende Zahl, aber nach dem, was ich herausfinden konnte, könnte die Zahl etwas niedriger sein, möglicherweise weil ständig neue kostenlose Proxys auftauchen und verschwinden, so dass die Zahl variieren kann.

Von diesen Proxys sind fast alle SOCKS 4 oder 5, und etwas mehr als 100 sind HTTP/S. Außerdem sind fast alle anonym oder elite, was die einzigen sind, die beim Web Scraping wirklich wichtig sind.

Was die Geolokalisierung betrifft, so bietet ProxyScan IPs aus über 100 Ländern an. Auch wenn nicht alle dieser Länder über eine große Anzahl von Proxys verfügen, ist dies dennoch eine gute Abdeckung. Sie können auch die Betriebszeit und den Ping jeder IP überprüfen, was es einfach macht, die besten IPs auszuwählen.

3. Proxy-Liste

Die allgemeine Idee hinter Proxy-list scheint Quantität vor Qualität zu sein. Insgesamt gibt es über 17.000 Proxys, von denen die meisten SOCKS 4 sind. Ich behaupte, dass der Schwerpunkt weniger auf der Qualität liegt, da man keine Informationen über die Betriebszeit oder den Ping der IPs erhält. Die Website aktualisiert ihre Listen alle zwei Stunden und eliminiert nicht ansprechbare IPs.

Wenn Sie sich die Listen ansehen, erhalten Sie die IP, den Port, die Anonymitätsstufe und das Land. Im Vergleich zu anderen Anbietern auf dieser Liste ist das etwas dürftig.

Sie können die Ergebnisse nach Anonymität (transparent, anonym oder elitär) und nach Land filtern. Mir ist aufgefallen, dass einige der Länder, die Sie im Filter auswählen können, keine Proxys auf der Website zur Verfügung haben. Erwarten Sie also nicht unbedingt, dass Sie IPs aus jeder Region finden. Davon abgesehen gibt es aber immer noch viele Optionen.

Sie können nicht nur durch die vielen Seiten blättern, sondern auch Listen als reinen Text oder direkt in die Zwischenablage herunterladen. Auf diese Weise geht es zwar viel schneller, aber die txt-Datei enthält nur die IPs. Wenn Sie also auch die Ports oder Herkunftsländer aufzeichnen möchten, müssen Sie diese direkt von der Website abrufen. Wie zu erwarten, schlage ich vor, dass Sie die Seiten scrapen, anstatt die Daten manuell abzurufen.

4. Kostenloser Proxy

Free Proxy ist vielleicht nicht die schönste Website, aber sie verfügt über eine große Anzahl von IPs, deren Details und alle Filterfunktionen, die Sie benötigen.

Die Gesamtzahl der IPs übersteigt 23.000, von denen die meisten SOCKS4/5 sind. Diese IPs werden aus insgesamt 160 Ländern gesammelt. Die meisten IPs stammen aus Asien, aber Sie werden wenig Probleme haben, Proxys aus jeder Ecke der Welt zu finden.

Wenn Sie sich die Listen ansehen, sehen Sie eine Fülle von Informationen, einschließlich Geschwindigkeit, Betriebszeit, Antwort und wie viel Zeit seit der letzten Überprüfung vergangen ist. Das letzte Detail ist tatsächlich einer der Schwachpunkte dieses Anbieters - viele IPs werden recht selten überprüft, und es besteht eine gute Chance, auf viele tote IPs zu stoßen, vor allem, wenn seit dem letzten Ping Tage vergangen sind.

Zum Navigieren können Sie nach Land, Anonymität und Protokoll filtern. Außerdem können Sie die Liste nach Geschwindigkeit, Betriebszeit, Antwortzeit und "zuletzt geprüft" sortieren. Es sollte also nicht lange dauern, bis Sie gefunden haben, wonach Sie suchen. Außerdem gibt es eine Schaltfläche mit der Bezeichnung "IP:Port exportieren", mit der Sie schnell die gesamte Adresse kopieren können, um sie zu Ihrem Scraper hinzuzufügen.

5. Spys.one

Wie der vorherige Anbieter bietet auch Spys.one eine breite Palette von IPs aus der ganzen Welt. Insgesamt scheinen sie mehr als 26.000 Proxys zu haben und übertreffen damit Free Proxy. Allerdings wurden viele IPs seit Wochen oder sogar Monaten nicht mehr überprüft, so dass sie möglicherweise nicht mehr funktionieren.

In der Navigation können Sie nahezu jedes Kriterium auswählen, um die Liste zu filtern. Sie können sogar nach der Stadt auswählen, obwohl viele Vertretungen keine bestimmte Stadt haben. Verwenden Sie diese Option also nur, wenn sie für Ihren Anwendungsfall entscheidend ist. Andernfalls könnten Sie wertvolle Möglichkeiten übersehen.

Auch wenn der Anbieter eine große Anzahl von IPs zu haben scheint, kann ich nicht sagen, dass ich die Benutzeroberfläche besonders mag, so dass das Abrufen all dieser IPs ein größerer Aufwand sein könnte, als man erwarten würde.

6. Genode

Im Gegensatz zu den meisten anderen Websites auf dieser Liste verdient Genode sein Geld nicht mit Werbeeinnahmen, sondern mit der Vermietung von Premium-Proxys für Privatpersonen. Daneben gibt es aber auch eine kostenlose Proxy-Liste, die jeder Besucher nutzen kann.

Ihre Liste enthält fast 5.000 Proxys, die sich auf eine beeindruckende Anzahl von Ländern verteilen. Um in dieser Liste zu navigieren, können Sie das Land, den Grad der Anonymität, das Proxy-Protokoll, die Organisation, die Geschwindigkeit, die Betriebszeit und das Datum der letzten Überprüfung auswählen. Im Wesentlichen filtern Sie also nach allen Unterscheidungsmerkmalen, die sie anbieten.

Wenn Sie die Geschwindigkeit überprüfen, erhalten Sie einen aktuellen Zeitrahmen (in Millisekunden) und einen Balken, der die Geschwindigkeit dieser bestimmten IP mit den anderen in der Liste vergleicht. Wenn die Antwortzeit ungewöhnlich hoch ist, erscheint die Zahl in Rot, was bedeutet, dass sie für eine ordnungsgemäße Nutzung wahrscheinlich zu langsam ist.

Solche kleinen Details können sich auf die Gesamtergebnisse auswirken. Daher verdient Genode einen Platz auf der Liste, auch wenn der Proxy-Pool selbst im Vergleich zu den anderen vorgestellten Websites ein wenig klein ist.

7. Kostenlose Proxy-Listen

Free Proxy Lists ist zwar nicht die schönste Website, aber sie bringt es definitiv auf den Punkt und präsentiert Ihnen eine umfangreiche Liste von IPs.

Es ist lobenswert, dass die Plattform über Proxys aus 78 verschiedenen Ländern verfügt, eine Zahl, die Sie bei kostenpflichtigen Dienstanbietern möglicherweise nicht erhalten. Leider haben viele dieser Länder jeweils weniger als 10 IPs. In vielen Fällen gibt es nur einen einzigen Proxy aus der Region.

Insgesamt gibt es dort über 600 IPs, die alle das HTTP- oder HTTPS-Protokoll verwenden, so dass Sie kein Glück haben, wenn Sie SOCKS benötigen.

Die Suche nach dem richtigen Proxy kann schnell langweilig werden, aber auf der Website können Sie die Ergebnisse nach Land, Port, Protokoll, Anonymität und Betriebszeit filtern. Außerdem können Sie die Antwort- und Übertragungsgeschwindigkeiten anhand von farbigen Ladebalken sehen. Diese sind zwar nicht sehr aussagekräftig, können aber bei der Auswahl der schnelleren IPs helfen.

Wählen Sie Ihre Proxys mit Bedacht

Ich verstehe zwar die Anziehungskraft kostenloser Proxys und empfehle Ihnen, sie zumindest auszuprobieren, aber denken Sie daran, dass Ihre Zeit auch eine Ressource ist. Sie kann sogar wertvoller sein als Geld.

Lassen Sie mich das näher erläutern: Wenn Sie Tausende von kostenlosen Proxys durchgehen, können Sie zwar Kosten sparen, da Sie nicht für Premium-Proxys spielen, aber Sie müssen sich ständig darum kümmern. Die IP funktioniert oft nicht mehr oder wird blockiert, und Sie müssen dann eine neue Liste finden und sie zu Ihrem Skript hinzufügen. Wenn neue kostenlose IPs auftauchen, müssen Sie sie hinzufügen, da die alten früher oder später nicht mehr funktionieren werden.

Im Grunde genommen sparen kostenlose Proxys Geld, erfordern aber eine gewisse wiederholte Arbeit. Ich würde jedem Scraping-Enthusiasten empfehlen, mindestens einen Scraper zu bauen und ihn mit kostenlosen Proxys zu verwenden, weil es eine ausgezeichnete Lernerfahrung ist. Danach möchten Sie vielleicht nur noch genaue Daten, die pünktlich und mit wenig oder gar keinem menschlichen Eingriff geliefert werden.

Das ist der Gedankengang hinter WebScrapingAPI. Wir haben eine REST-API entwickelt, die Ihnen die meiste Arbeit abnimmt, damit Sie sich voll und ganz auf die Nutzung der Daten konzentrieren können. Wenn Sie es noch nicht getan haben, starten Sie Ihre kostenlose WebScrapingAPI-Testversion, um einen erstklassigen Scraper mit luftdichten Proxys zu erhalten!