Die 7 besten kostenlosen Proxy-Listen für Web-Scraping

In erster Linie sind sie kostenlos. Das ist zwar ziemlich offensichtlich, aber dennoch ein bedeutender Vorteil. Stellen Sie sich vor: Sie können eine beliebige Anleitung aus unserem Blog nutzen, Ihren Scraper programmieren und ihn dann zusammen mit den Proxys einsetzen.

Es gibt viel über die Vorteile von Proxys beim Web-Scraping zu sagen, und wir werden in diesem Artikel nicht darauf eingehen. Wenn du jedoch mehr erfahren möchtest, lies diesen Artikel über rotierende Proxys, in dem wir zeigen, wie groß der Unterschied sein kann, den ein IP-Pool macht.

Leider ist das so ziemlich der einzige Vorteil, den kostenlose Proxys gegenüber anderen haben. Nun zu den Nachteilen.

Da diese IPs frei verfügbar sind, kennt sie jeder. Daher kennen Websites die Adressen wahrscheinlich bereits und haben sie schon gesperrt. Entweder hat bereits jemand versucht, auf die Website zuzugreifen, die dich interessiert, und die IP wurde gesperrt, oder der Webmaster hat den Anbieter der kostenlosen Proxys gefunden, alle IPs kopiert und sie auf eine Blacklist gesetzt. Das ist nicht immer der Fall, kommt aber häufig vor.

Kostenlose IPs sind oft langsam und bieten keine Anonymität. Die Wartung von Proxys kostet Geld, daher kannst du nicht ernsthaft erwarten, IPs von höchster Qualität kostenlos zu erhalten. Wie das Sprichwort sagt: Man bekommt, wofür man bezahlt.

Kostenlose Proxys können dich Hackern aussetzen. Wie ich gerade sagte, ist es etwas ungewöhnlich, dass jemand Adressen umsonst anbietet. Ein böswilliger Grund, warum jemand dies tun könnte, ist, die Informationen zu überwachen und zu kopieren, die über den Proxy laufen. Danach könnten sie diese Informationen für böswillige Zwecke nutzen. Auch hier gilt: Das ist keine Garantie, aber du solltest auf der Hut sein.

Der entscheidende Faktor, der WebScrapingAPI von anderen Anbietern auf dieser Liste unterscheidet, ist, dass die API ausschließlich Premium-Proxys verwendet. Dazu gehören sowohl IP-Adressen aus Privathaushalten als auch aus Rechenzentren, mit zahlreichen Geolokalisierungsoptionen (7 für Rechenzentren, 40 für Privathaushalte und über 200 für individuelle Tarife). Zwar gibt es kostenpflichtige Tarife zwischen 20 und 200 US-Dollar, doch erhält jeder neue Nutzer eine kostenlose Testphase von zwei Wochen, in der er alle Funktionen der API nutzen kann.

Die Proxy-Rotation wird automatisch von der API übernommen, sodass alle Anfragen über unterschiedliche IPs laufen, sofern Sie nicht ausdrücklich etwas anderes angeben. Darüber hinaus können Sie bis zu 10 gleichzeitige Anfragen senden, was bedeutet, dass Sie den Proxy-Pool in vollem Umfang nutzen und Daten mit rasender Geschwindigkeit extrahieren können.

Natürlich bietet WebScrapingAPI nicht nur Proxys, sondern auch Zugriff auf den Scraper. So erhalten Sie alle Funktionen eines Premium-Tools zur Datenextraktion, ohne eine einzige Zeile Code schreiben zu müssen.

Nach Ablauf der kostenlosen Testphase müssen Sie immer noch keinen Cent ausgeben, es sei denn, Sie möchten dies, denn Sie werden auf das kostenlose Paket herabgestuft, mit 1000 API-Aufrufen pro Monat, so lange Sie diese nutzen möchten.

ProxyScan ist eine Sammlung nützlicher Tools, die auf einer einzigen Website zusammengefasst sind. An erster Stelle steht die Proxy-Liste. Sie geben an, insgesamt über 12.000 Proxys zu haben. Das ist zwar eine beeindruckende Zahl, doch nach dem, was ich herausfinden konnte, könnte die Zahl etwas niedriger sein – möglicherweise, weil kostenlose Proxys ständig auftauchen und wieder verschwinden, sodass die Zahl schwanken kann.

Von diesen Proxys sind fast alle SOCKS 4 oder 5, nur etwas mehr als 100 sind HTTP/S. Außerdem sind fast alle anonym oder Elite-Proxys, die einzigen, die beim Web-Scraping wirklich zählen.

Was die Geolokalisierung betrifft, bietet ProxyScan IPs aus über 100 Ländern an. Zwar verfügen nicht alle davon über eine große Anzahl an Proxys, doch ist die Abdeckung dennoch gut. Du kannst außerdem die Verfügbarkeit und den Ping jeder IP überprüfen, was die Auswahl der besten IPs erleichtert.

Das allgemeine Konzept hinter Proxy-List scheint Quantität vor Qualität zu sein. Insgesamt verfügen sie über mehr als 17.000 Proxys, von denen die meisten SOCKS 4 sind. Ich sage, dass der Fokus weniger auf Qualität liegt, da man keine Informationen zur Verfügbarkeit oder zum Ping der IPs erhält. Die Website aktualisiert ihre Listen alle zwei Stunden und entfernt nicht reagierende IPs.

Wenn man sich die Listen ansieht, erhält man die IP, den Port, den Anonymitätsgrad und das Land. Im Vergleich zu anderen Anbietern auf dieser Liste ist das etwas dürftig.

Man kann die Ergebnisse nach Anonymität (transparent, anonym oder Elite) und nach Land filtern. Mir ist aufgefallen, dass einige der Länder, die man im Filter auswählen kann, auf der Website gar keine Proxys zur Verfügung haben. Man sollte also nicht unbedingt erwarten, IPs aus jeder Region zu finden. Dennoch gibt es immer noch zahlreiche Optionen.

Neben dem Durchstöbern der vielen Seiten kannst du Listen auch als Klartext herunterladen oder direkt in die Zwischenablage kopieren. Der Vorgang ist auf diese Weise zwar viel schneller, aber die TXT-Datei enthält nur die IP-Adressen. Wenn du also auch die Ports oder Herkunftsländer erfassen möchtest, musst du diese direkt von der Website abrufen. Wie zu erwarten, empfehle ich dir, die Seiten zu scrapen, anstatt die Daten manuell zu erfassen.

Free Proxy ist zwar vielleicht nicht die schönste Website, verfügt aber über eine riesige Anzahl von IPs, deren Details und alle Filterfunktionen, die Sie benötigen.

Die Gesamtzahl der IPs übersteigt 23.000, von denen die meisten SOCKS4/5 sind. Diese IPs stammen aus insgesamt 160 Ländern. Die meisten IPs kommen aus Asien, aber du wirst kaum Probleme haben, Proxys aus jedem Winkel der Welt zu finden.

Wenn Sie sich die Listen ansehen, finden Sie eine Fülle von Informationen, darunter Geschwindigkeit, Verfügbarkeit, Antwortzeit und wie viel Zeit seit der letzten Überprüfung vergangen ist. Dieses letzte Detail ist tatsächlich eine der Schwächen dieses Anbieters – viele IPs werden nur selten überprüft, und die Wahrscheinlichkeit ist groß, auf viele tote IPs zu stoßen, insbesondere wenn seit dem letzten Ping bereits Tage vergangen sind.

Zur Navigation kannst du nach Land, Anonymität und Protokoll filtern. Anschließend kannst du die resultierende Liste auch nach Geschwindigkeit, Verfügbarkeit, Antwortzeit und „zuletzt geprüft“ sortieren. Es sollte also nicht lange dauern, bis du findest, wonach du suchst. Außerdem gibt es eine Schaltfläche namens „IP:Port exportieren“, mit der du die gesamte Adresse schnell kopieren kannst, um sie deinem Scraper hinzuzufügen.

Wie der vorherige Anbieter bietet Spys.one eine große Auswahl an IPs aus aller Welt. Insgesamt scheinen sie über mehr als 26.000 Proxys zu verfügen, womit sie Free Proxy übertreffen. Viele IPs wurden jedoch seit Wochen oder sogar Monaten nicht mehr überprüft, sodass sie möglicherweise nicht mehr funktionieren.

Was die Navigation angeht, können Sie nahezu jedes Kriterium wählen, um die Liste zu filtern. Sie können sogar nach Stadt auswählen, obwohl viele Proxys gar keine bestimmte Stadt haben. Nutzen Sie diese Option also nur, wenn es für Ihren Anwendungsfall entscheidend ist. Andernfalls könnten Sie wertvolle Möglichkeiten übersehen.

Auch wenn der Anbieter scheinbar über eine große Anzahl an IPs verfügt, bin ich von der Benutzeroberfläche nicht besonders angetan, sodass das Abrufen all dieser IPs mühsamer sein könnte, als man erwarten würde.

Im Gegensatz zu den meisten anderen Websites auf dieser Liste verdient Genode sein Geld nicht mit Werbeeinnahmen, sondern durch die Vermietung von Premium-Residential-Proxys. Daneben unterhält das Unternehmen jedoch auch eine kostenlose Proxy-Liste, die jeder Besucher nutzen kann.

Die Liste enthält fast 5.000 Proxys, verteilt auf eine beeindruckende Anzahl von Ländern. Um in dieser Liste zu navigieren, kannst du das Land, den Anonymitätsgrad, das Proxy-Protokoll, die Organisation, die Geschwindigkeit, die Verfügbarkeit und das Datum der letzten Überprüfung auswählen. Im Grunde filterst du also nach allen von ihnen angebotenen Unterscheidungsmerkmalen.

Bei der Überprüfung der Geschwindigkeit erhalten Sie einen tatsächlichen Zeitwert (in Millisekunden) und einen Balken, der die Geschwindigkeit dieser bestimmten IP mit den anderen in der Liste vergleicht. Wenn die Antwortzeit ungewöhnlich lang ist, wird die Zahl zudem rot angezeigt, was bedeutet, dass sie für eine ordnungsgemäße Nutzung wahrscheinlich zu langsam ist.

Solche kleinen Details können sich auf Ihre Gesamtergebnisse auswirken, daher verdient Genode einen Platz auf der Liste, auch wenn der Proxy-Pool selbst im Vergleich zu der anderen von mir vorgestellten Website etwas klein ist.

Auch wenn ich Free Proxy Lists nicht als die schönste Website bezeichnen würde, kommt sie definitiv auf den Punkt und präsentiert Ihnen eine umfangreiche Liste von IPs.

Es ist lobenswert, dass die Plattform Proxys aus 78 verschiedenen Ländern anbietet – eine Anzahl, die Sie bei kostenpflichtigen Anbietern möglicherweise nicht finden. Leider verfügen viele dieser Länder über weniger als 10 IPs pro Land. In vielen Fällen gibt es nur einen einzigen Proxy aus der jeweiligen Region.

Insgesamt gibt es über 600 IP-Adressen, die alle das HTTP- oder HTTPS-Protokoll verwenden; wenn du also SOCKS benötigst, wirst du hier nicht fündig.

Einfach von Seite zu Seite zu blättern, um den richtigen Proxy zu finden, kann schnell langweilig werden, aber die Website ermöglicht es dir, die Ergebnisse nach Land, Port, Protokoll, Anonymität und Verfügbarkeit zu filtern. Du kannst auch die Antwort- und Übertragungsgeschwindigkeiten sehen, die durch farbige Ladebalken dargestellt werden. Auch wenn diese nicht sehr aussagekräftig sind, können sie dir helfen, die schnelleren IPs auszuwählen.

Ich verstehe zwar den Reiz kostenloser Proxys und empfehle dir, sie zumindest auszuprobieren, aber denk daran, dass auch deine Zeit eine Ressource ist. Tatsächlich kann sie wertvoller sein als Geld.

Lassen Sie mich das näher erläutern: Das Durchlaufen von Tausenden kostenloser Proxys mag zwar Kosten sparen, da Sie nicht für Premium-Proxys bezahlen, aber es erfordert ständige Aufmerksamkeit Ihrerseits. Die IPs funktionieren oft nicht mehr oder werden gesperrt, und Sie müssen dann eine neue Liste finden und sie Ihrem Skript hinzufügen. Sobald neue kostenlose IPs auftauchen, müssen Sie diese hinzufügen, da die alten früher oder später ausfallen werden.

Im Grunde sparen kostenlose Proxys Geld, erfordern aber etwas repetitive Arbeit. Ich würde jedem Scraping-Enthusiasten empfehlen, mindestens einen Scraper zu erstellen und ihn mit kostenlosen Proxys zu nutzen, da dies eine hervorragende Lernerfahrung ist. Danach möchten Sie jedoch vielleicht einfach nur genaue Daten, die pünktlich geliefert werden, mit wenig bis gar keinem menschlichen Eingriff.

Das ist der Gedankengang hinter WebScrapingAPI. Wir haben eine REST-API entwickelt, die den Großteil der Arbeit für Sie übernimmt, damit Sie sich darauf konzentrieren können, die Daten tatsächlich in vollem Umfang zu nutzen. Wenn Sie es noch nicht getan haben, starten Sie Ihre kostenlose WebScrapingAPI-Testversion, um einen erstklassigen Scraper mit absolut zuverlässigen Proxys zu erhalten!