Die besten Anti-Detect-Browser für sicheres und effektives Web-Scraping

Zum Teil ergibt sich die Definition eines Anti-Detect-Browsers bereits aus dem Namen selbst. Jeder normale Browser (etwa Chrome oder Firefox) hat seine eigene Online-Identität. Wir nennen dies einen Fingerabdruck. Die Art und Weise, wie Ihr Browser identifiziert wird, ist sehr komplex. Sie hängt unter anderem von folgenden Faktoren ab:

• Eure IP-Adresse
• Der User-Agent, den Sie mit Ihren Anfragen senden
• Eigenschaften Ihres Browsers

Nun, der letzte Punkt ist meiner Meinung nach der wichtigste. Das liegt daran, dass jeder im Internet ein relativ einfaches Skript erstellen kann, um bestimmte Eigenschaften eines Browsers zu ermitteln. Und das Wichtigste ist, dass die Kombination dieser Werte fast immer eine einzigartige Systemkonfiguration ergibt. In der Praxis kann man einen Hash der als Zeichenkette umgewandelten kombinierten Werte dieser Eigenschaften generieren und so einen Fingerabdruck erstellen. Nehmen wir zum Beispiel FingerprintJS oder CreepJS.

Zudem ist die Erkennung nicht auf das Fenster beschränkt. Ich habe sogar dieses Tool entwickelt, das Umgehungsversuche wie die mit `puppeteer-extra-plugin-stealth` implementierten erkennen kann, indem es Werte vergleicht, die aus dem Fenster und den Workern gesammelt wurden. Doch das ist eine komplexere Diskussion. Vorerst scheint es, als sei der beste Weg, online unentdeckt zu bleiben, die Verwendung eines Anti-Detect-Browsers.

Und damit sind wir wieder beim Thema. Anti-Detect-Browser sind Anwendungen, die auf bekannten Browsern basieren und so modifiziert wurden, dass sie benutzerdefinierte Werte für die zuvor besprochenen Eigenschaften akzeptieren. Da Projekte wie Chromium oder Mozilla Open Source sind, kann jeder sie forken und eine eigene Browserversion erstellen. Und genau das geschieht auch bei Anti-Detect-Browsern.

Auch Sie können beispielsweise Chromium klonen und so anpassen, dass es zufällige Werte für verschiedene Eigenschaften des Browsers ausgibt. In der Praxis erfordert dies jedoch viel Wissen und Ressourcen. Deshalb gibt es einige bekannte Anbieter, auf die wir gleich noch eingehen werden. Aber zuerst:

Es gibt viele Anwendungsfälle für Anti-Detect-Browser. Dennoch gibt es Branchen, die stärker auf diese Browser angewiesen sind als andere. Deshalb werde ich konkret darauf eingehen, was die Anwendungsfälle von Anti-Detect-Browsern sind und warum man sie nutzt. Da ihre größte Stärke in der Anonymität liegt, sind hier die häufigsten Anwendungsfälle für einen Anti-Detect-Webbrowser:

• Marketingagenturen: Affiliate-Vermarkter oder Social-Media-Agenturen müssen in der Regel mehrere Social-Media-Konten verwalten. In der Praxis sperren Social-Media-Plattformen den Zugriff für solche Aktivitäten. Aus ihrer Sicht sollte idealerweise ein Gerät nur ein Konto verwalten. Mehr könnte zu Missbrauch führen. Da Anti-Detect-Browser mehr als eine einzige Identität erstellen, können Sie diese problemlos zur Verwaltung solcher Aktivitäten nutzen.
• E-Commerce-Anbieter: Unter Amazon-Verkäufern oder Dropshippern ist es gängige (wenn auch unausgesprochene) Praxis, mehrere Konten zu nutzen, um ihre Produkte zu verkaufen. Dies erhöht ihre Reichweite und damit implizit auch den Umsatz. Auch hier gilt: Große E-Commerce-Plattformen lassen solche Praktiken in der Regel nicht zu. Und wieder einmal können Anti-Detection-Browser zum Einsatz kommen.
• Web-Scraping: In den letzten Jahren ist Web-Scraping zu einer echten Herausforderung geworden. Das Fingerprinting eines Web-Drivers (automatisierter Browser) ist heute einfacher als noch vor ein paar Jahren. Und wie Sie wahrscheinlich bereits erraten haben, versucht fast jede Website, Bots zu vermeiden. Da Web-Scraper in diese Kategorie fallen, versuchen Websites in der Regel, ihren Zugriff zu blockieren.

Je nach Anbieter können Anti-Detection-Browser recht effizient sein. Bei der Arbeit am Stealth-Modus von Web-Scraping-APIs habe ich mit verschiedenen Umgehungstechniken experimentiert. Dazu gehörte auch das Testen von Anti-Detection-Browsern. Es mag überraschen, aber wir konnten automatisierte Browser für gepatchte Puppeteer- und Selenium-Versionen identifizieren, nicht jedoch für Anti-Detection-Browser.

Als zusätzliche Effizienzsteigerung haben wir durch Tests festgestellt, dass die zur Erzeugung benutzerdefinierter Fingerabdrücke verwendeten Werte ebenfalls wichtig für die Erkennung von Web-Drivern sind. Beispielsweise sind zufällige Werte ein absolutes No-Go. Versuchen Sie stattdessen bei der Erzeugung eines Fingerabdrucks Folgendes:

• Verwenden Sie echte User-Agents
• Geräteplattformen verwenden, die zum User-Agent passen
• Fügen Sie echte Navigator-Plugin-Arrays hinzu

Und das sind nur einige Beispiele. Das Wichtigste ist, echte, übereinstimmende Informationen zu verwenden. Sollten Sie sich für einen Anbieter entscheiden, halten Sie sich außerdem an dessen Empfehlungen.

In einem verwandten Artikel habe ich gesagt, dass der beste Anti-Detect-Browser der ist, den man selbst entwickelt. Aber ehrlich gesagt erfordert die Entwicklung eines Browsers, selbst wenn man ein Open-Source-Projekt als Ausgangspunkt hat, viel Aufwand. Wenn Sie also nicht über die Ressourcen verfügen, um ein Team zusammenzustellen, sind Sie mit einem dieser Anbieter besser beraten:

GoLogin ist neu auf dem Markt für Anti-Detection-Browser. Das macht ihn jedoch nicht weniger effizient. Was mir als Erstes aufgefallen ist, waren die Supportkanäle. Sie sind nicht nur per E-Mail oder Chat verfügbar, sondern auch über WhatsApp, Telegram und Facebook Messenger. Der zweite Pluspunkt bei GoLogin ist die Proxy-Unterstützung. Der Browser ist standardmäßig mit Proxys ausgestattet. Und der dritte Punkt betrifft den Zugriff. GoLogin bietet eine Desktop-App, eine mobile App und eine Web-App, die Sie nutzen können. Sie können über die Cloud auf das Tool zugreifen, was ziemlich beeindruckend ist.

Der Browser selbst basiert auf Google Chrome. Er wurde so modifiziert, dass für jedes Profil neue Fingerabdrücke generiert werden. Ein Nachteil ist, dass statt aller Werte zu fälschen, bei einigen zusätzlich Rauschen hinzugefügt wird. Tests zeigen, dass dies zu mehr Captchas führen kann, was darauf hindeutet, dass Anti-Bot-Systeme immer noch einige automatisierte Aktivitäten erkennen können.

Preislich beginnt GoLogin bei 49 USD pro Monat und reicht bis zu 199 USD. Es wird auch ein anpassbares Paket angeboten. Dieses kostet bis zu 1999 USD pro Monat für 10.000 Cloud-Profile und weitere Vorteile. Bei jährlicher Zahlung erhalten Sie zudem einen Rabatt von 50 %. Weitere Informationen finden Sie auf der Preisseite. Zusammenfassung:

Laut ihrer Website bietet Multilogin eine „vollständige Anpassung der Fingerabdrücke“. Das bedeutet, dass Sie vollständigen Zugriff auf die Eigenschaften des Browsers erhalten und diese auf vielfältige Weise anpassen können. Außerdem gehören sie zu den wenigen Anbietern, die Browserfunktionen nicht deaktivieren. Das Deaktivieren von Browserfunktionen (wie z. B. Service Worker) ist kein sofortiger Hinweis auf einen automatisierten Browser. Allerdings deaktivieren normale Nutzer solche Funktionen selten bis gar nicht. Und das kann bei Bot-Detektoren Alarmglocken läuten lassen.

Nun zurück zu Multilogin. Was sie getan haben, war, Chrome und Firefox zu forken und ihre eigenen anpassbaren Versionen zu erstellen. Über ihre Benutzeroberfläche können Sie entweder ein Schnellprofil (mit zugehörigem Fingerabdruck) erstellen oder bestimmte Werte selbst fälschen. Der einzige Nachteil von Multilogin ist meiner Meinung nach der Preis. Er beginnt bei 99 USD pro Monat und kann bis zu 399 USD pro Monat betragen. Das gilt zum Zeitpunkt, zu dem ich diesen Artikel schreibe. Aktuelle Preise finden Sie auf der Preisseite des Anbieters. Zum Abschluss hier noch einige Informationen in Kurzform:

Genau wie Multilogin bietet AdsPower zwei Anti-Detect-Browser an. Der eine basiert auf Chromium und heißt Sun Browser. Der zweite basiert auf Firefox und heißt Flower Browser. Beide verfügen über die zusätzliche Funktion, den Browser-Fingerabdruck zu verwalten. Das Interessante an diesem Anti-Detect-Browser ist, dass er über integrierte Automatisierungsfunktionen verfügt. Mit der Robotic Process Automation von AdsPower sind kaum bis gar keine Programmierkenntnisse erforderlich, um Aufgaben zu automatisieren.

Das Unternehmen wurde 2019 in Hongkong gegründet und wuchs schnell zu einem der Hauptkonkurrenten von Multilogin heran. Ein Teil ihres Erfolgs beruht auf den erstaunlichen Funktionen der Browser. Der andere Teil ist meiner Meinung nach auf die niedrigen Preise zurückzuführen. AdsPower bietet sogar eine kostenlose Stufe an, die Ihnen Zugriff auf zwei Profile gewährt, und ihr Pro-Tarif kostet nur 50 USD pro Monat. Persönlich finde ich diese Lösung am attraktivsten. Und damit kommen wir zum Schluss:

Bei X-Browser ist der Anti-Detect-Browser an sich kostenlos. Und das kann ein ziemlich attraktives Feature sein. Der Browser wird von Smartproxy angeboten und kann kostenlos heruntergeladen werden. Der „Haken“ dabei ist, dass man für die Proxys bezahlen muss. Allerdings hat das eigentlich keinen Nachteil. Denn bei beiden Optionen benötigt man Proxys, um seine IP zu verbergen und eine Sperrung zu vermeiden.

Die Bindung von X-Browser an die eigenen Proxys kann gleichzeitig gut und schlecht sein. Zum einen kann der Nutzer darauf vertrauen, dass smartproxy eine optimierte Lösung für seine Proxys bietet. Andererseits können Sie nur smartproxy-Proxys nutzen. An einen einzigen Anbieter gebunden zu sein, bedeutet, von der Qualität seines Dienstes abhängig zu sein. Und wenn Sie Ihre Aktivitäten ausweiten möchten, brauchen Sie meiner Meinung nach mehr Flexibilität.

Da man nur für Proxys bezahlt, ist die Preisgestaltung bei X-Browser ziemlich fair. Die Preise für Rechenzentrums-Proxys liegen zwischen 10 und 45 USD pro Monat. Residential-Proxys können etwas teuer sein, aber das hängt ganz davon ab, wie viel man nutzt. Die Preise findest du hier. Fassen wir also X-Browser zusammen:

Kameleo ist ein echtes Chamäleon. Es unterstützt alle gängigen Webbrowser (Chrome, Safari, Firefox und Edge) und lässt sich mit den wichtigsten Automatisierungs-Frameworks (Puppeteer, Selenium und Playwright) nutzen. Darüber hinaus bietet es auch die Anpassung von Fingerabdrücken für mobile Geräte. Laut der Website kann Kameleo Mobile verwendet werden, um deinen Fingerabdruck auf jedem Android-Gerät zu fälschen.

Im Gegensatz zu seinen Mitbewerbern konzentriert sich der Service von Kameleo nicht auf Browser, sondern auf Browserprofile. Das bedeutet, dass sie nicht unbedingt Änderungen an einem Open-Source-Browser vornehmen, um eine eigene Version zu erstellen.

Wir haben ein wenig mit der Plattform experimentiert und als größten Nachteil den Kundensupport empfunden. Dieser kann sehr langsam sein. Abgesehen davon ist die Preisgestaltung gut: 59 bis 199 USD monatlich. Fassen wir also zusammen:

Incognito ist ein weiterer Anti-Detect-Browser mit einer kostenlosen Stufe. Und im Gegensatz zu AdsPower bietet er Zugriff auf 10 kostenlose Browserprofile. Der Browser basiert auf Chromium und bietet im Wesentlichen die gleichen Funktionen wie die übrigen Anti-Detect-Browser. Das Produkt verfügt außerdem über eine API, die es Ihnen ermöglicht, mit dem Headless-Browser zu interagieren. Abgesehen von der großzügigen kostenlosen Version liegen die Preise zwischen 29,99 und 149,99 USD pro Monat. Ich würde sagen, das ist ein fairer Preis für das, was sie bieten. Nun zum Fazit:

Linken Sphere ist ein auf Chromium basierender Anti-Detect-Browser, der von der russischen Gruppe Tenebris angeboten wird. Er wurde bereits 2017 auf den Markt gebracht und ist damit eine der ältesten Lösungen auf dem Markt. Der größte Nachteil ist, dass er ziemlich zwielichtig wirkt. Derzeit werden nur Zahlungen in Bitcoin akzeptiert, und der Support erfolgt hauptsächlich über den Telegram-Kanal. Außerdem ist bekannt, dass er für illegale Aktivitäten wie Hacking oder Betrug genutzt wird. Abgesehen davon erfüllt er seine Aufgabe ziemlich gut. Und damit komme ich zum endgültigen Schluss:

Browser-Fingerprinting kann Web-Scraping extrem erschweren. Wenn Sie unentdeckt bleiben wollen, müssen Sie viele Aspekte berücksichtigen. Proxys, Captcha-Löser und ein unauffälliger Headless-Browser sind nur einige der „Zutaten“ eines zuverlässigen Web-Scrapers. All dies zusammen kann sehr hohe Entwicklungs- und Wartungskosten verursachen. Die Alternative ist die Nutzung eines etablierten Web-Scraping-Dienstes eines Drittanbieters. Und genau das bietet die Web-Scraping-API. Ich würde sogar so weit gehen zu sagen, dass all dies zu einem Bruchteil der Kosten möglich ist.