Die besten Anti-Detect-Browser für sicheres und effektives Web-Scraping

Mihnea-Octavian Manolache am 23. Februar 2023

Die Erkennung ist ein großes Thema in der Web-Scraping-Branche. Es ist ein ständiges Katz-und-Maus-Spiel zwischen den Scrapern und den Anti-Bot-Systemen. Die Verwendung eines Anti-Detect-Browsers wurde zur Voraussetzung für jeden, der Daten scrapen will. Aber Anti-Detect-Browser sind nicht auf Web-Scraping beschränkt. Sie werden z. B. auch für die Verwaltung mehrerer Social-Media-Konten und für den elektronischen Handel eingesetzt. Auch Nutzer, die an ihrer Privatsphäre interessiert sind, können von einem Anti-Detect-Browser profitieren.

Der heutige Artikel wird genau diesen Bereich abdecken. Wir werden über Anti-Detect-Browser, ihre Anwendungsfälle, ihre Effektivität und darüber sprechen, welchen Anbieter man 2023 wählen sollte. Außerdem werde ich Sie in das Browser-Fingerprinting einführen. Machen Sie sich also darauf gefasst, dass es heute viel zu besprechen gibt.

Was ist ein Anti-Detektiv-Browser?

Die Definition eines Anti-Detect-Browsers ergibt sich zum Teil aus dem Namen selbst. Jeder normale Browser (z. B. Chrome oder Firefox) hat seine eigene Online-Identität. Wir nennen dies einen Fingerabdruck. Die Art und Weise, wie Ihr Browser einen Fingerabdruck erhält, ist sehr komplex. Er hat mit Dingen zu tun wie:

• Ihre IP-Adresse
• Der User Agent, den Sie mit Ihren Anfragen senden
• Eigenschaften Ihres Browsers

Der letzte Punkt ist der wichtigste, würde ich sagen. Das liegt daran, dass jeder im Internet ein relativ einfaches Skript erstellen kann, um bestimmte Eigenschaften eines Browsers zu erhalten. Und das Wichtigste ist, dass die Kombination dieser Werte fast jedes Mal eine eindeutige Systemkonfiguration ergibt. In der Praxis kann man einen Hash der kombinierten Werte dieser Eigenschaften erzeugen und einen Fingerabdruck erstellen. Nehmen Sie zum Beispiel FingerprintJS oder CreepJS.

Außerdem ist die Erkennung nicht fensterspezifisch. Ich habe sogar ein Tool entwickelt, das Umgehungen wie die des `puppeteer-extra-plugin-stealth` erkennen kann, indem es die vom Fenster und den Arbeitern erfassten Werte vergleicht. Aber das ist eine komplexere Diskussion. Im Moment sieht es so aus, dass der beste Weg, online unentdeckt zu bleiben, die Verwendung eines Anti-Detect-Browsers ist.

Und schon sind wir wieder beim Thema. Antidetect-Browser sind Anwendungen, die auf bekannten Browsern basieren, die so verändert wurden, dass sie benutzerdefinierte Werte für die zuvor besprochenen Eigenschaften akzeptieren. Da Projekte wie Chromium oder Mozilla quelloffen sind, kann jeder sie abspalten und seine eigene Version eines Browsers erstellen. Und genau das passiert auch bei Anti-Detect-Browsern.

Auch Sie können z. B. Chromium klonen und es so anpassen, dass es zufällige Werte für verschiedene Eigenschaften des Browsers liefert. In der Praxis erfordert dies jedoch eine Menge Wissen und Ressourcen. Deshalb gibt es einige bekannte Anbieter, zu denen wir gleich noch kommen werden. Aber zuerst:

Wozu dient ein Anti-Detektiv-Browser?

Es gibt viele Anwendungsfälle für Anti-Detektiv-Browser. Dennoch gibt es Branchen, die sich mehr auf diese Browser verlassen als andere. Aus diesem Grund möchte ich die Anwendungsfälle von Anti-Detect-Browsern genauer beschreiben und erläutern, warum sie eingesetzt werden. Da die größte Stärke von Anti-Detect-Browsern die Anonymität ist, werden hier die häufigsten Anwendungsfälle für Anti-Detect-Webbrowser beschrieben:

• Marketing-Agenturen: Affiliate-Vermarkter oder Social-Media-Agenturen müssen in der Regel mehrere Social-Media-Konten verwalten. In der Praxis verbieten die Social-Media-Plattformen den Zugang zu solchen Aktivitäten. Aus ihrer Sicht sollte ein Gerät idealerweise nur ein Konto verwalten. Mehr könnte zu Missbrauch führen. Da Anti-Detect-Browser mehr als nur eine Identität erstellen, können Sie sie leicht zur Verwaltung solcher Aktivitäten verwenden.
• e-Commerce-Verkäufer: Es ist eine gängige (aber unausgesprochene) Praxis unter Amazon-Verkäufern oder Dropshippern, mehrere Konten zu verwenden, um ihre Produkte zu verkaufen. Dies erhöht ihre Reichweite und damit auch den Umsatz. Auch hier gilt, dass die großen E-Commerce-Plattformen solche Praktiken normalerweise nicht zulassen. Und auch hier können die Anti-Detection-Browser ins Spiel kommen.
• Web Scraping: In den letzten Jahren ist das Web-Scraping zu einer echten Herausforderung geworden. Das Fingerprinting eines Web-Treibers (automatisierter Browser) ist heute einfacher als noch vor ein paar Jahren. Und wie Sie wahrscheinlich schon erraten haben, versucht fast jede Website, Bots zu vermeiden. Da Web Scraper in diese Kategorie fallen, versuchen Websites in der Regel, ihren Zugang zu blockieren.

Wie effizient sind Anti-Detektiv-Browser in der Praxis?

Je nach Anbieter können Anti-Detect-Browser recht effizient sein. Bei der Arbeit am Stealth-Modus der Web Scraping API habe ich mit verschiedenen Umgehungstechniken herumgespielt. Dazu gehörte auch das Testen eines Anti-Detect-Browsers. Es mag überraschen, aber wir waren in der Lage, automatisierte Browser für gepatchte Puppeteer und Selenium zu identifizieren, aber nicht für Anti-Detect-Browser.

Um noch effizienter zu werden, haben wir bei unseren Tests festgestellt, dass die Werte, die zur Erstellung der benutzerdefinierten Fingerabdrücke verwendet werden, auch für die Erkennung von Webtreibern wichtig sind. So sind zum Beispiel randomisierte Werte ein absolutes Tabu. Versuchen Sie stattdessen bei der Erstellung eines Fingerabdrucks Folgendes:

• Echte Benutzer-Agenten verwenden
• Verwenden Sie Geräteplattformen, die dem Benutzeragenten entsprechen
• Hinzufügen von echten Navigator-Plugins-Arrays

Und das sind nur ein paar Beispiele. Das Wichtigste ist, dass Sie echte, übereinstimmende Informationen verwenden. Wenn Sie sich für einen Anbieter entscheiden, sollten Sie sich auch an dessen Empfehlungen halten.

Die wichtigsten Anti-Detektiv-Browser im Jahr 2023

In einem ähnlichen Artikel habe ich gesagt, dass der beste Anti-Detektiv-Browser der ist, den man selbst entwickelt. Aber ehrlich gesagt ist die Entwicklung eines Browsers, selbst wenn Sie ein Open-Source-Projekt als Ausgangspunkt haben, mit viel Aufwand verbunden. Wenn Sie also nicht über die Ressourcen verfügen, um ein Team aufzustellen, sind Sie mit einem dieser Anbieter besser beraten:

#Nr. 1: GoLogin

GoLogin ist neu in der Szene der Anti-Detection-Browser. Das macht es aber nicht weniger effizient. Was mir als erstes auffiel, waren die Support-Kanäle. Sie sind nicht nur per E-Mail oder Chat verfügbar, sondern auch über WhatsApp, Telegram und Facebook Messenger. Die zweite lobenswerte Erwähnung von GoLogin ist ihre Proxy-Unterstützung. Ihr Browser ist standardmäßig mit Proxys ausgestattet. Und der dritte Punkt betrifft den Zugang. GoLogin hat eine Desktop-App, eine mobile App und eine Web-App, die Sie verwenden können. Sie können über die Cloud auf das Tool zugreifen, und das ist ziemlich beeindruckend.

Der Browser selbst basiert auf Google Chrome. Er wurde so modifiziert, dass er für jedes Profil neue Fingerabdrücke erzeugt. Ein Nachteil ist, dass nicht alle Werte gefälscht werden, sondern auch einige verrauscht werden. Und Tests zeigen, dass dies zu mehr Captchas führen kann, was darauf hindeutet, dass Antibot-Systeme immer noch einige automatisierte Aktivitäten aufspüren können.

Preislich beginnt GoLogin bei 49 USD pro Monat und geht bis zu 199 USD. Sie bieten auch eine anpassbare Stufe an. Es geht bis zu 1999 USD pro Monat für 10.000 Cloud-Profile und andere Vorteile. Außerdem erhalten Sie einen Rabatt von 50 %, wenn Sie jährlich zahlen. Weitere Informationen finden Sie auf der Preisseite des Unternehmens. Zusammenfassend:

#Nr. 2: Multilogin

Laut ihrer Website bietet Multilogin eine "vollständige Anpassung des Fingerabdrucks". Das bedeutet, dass Sie vollständigen Zugriff auf die Eigenschaften des Browsers erhalten und diese auf zahlreiche Arten optimieren können. Außerdem ist Multilogin einer der wenigen Anbieter, die keine Browserfunktionen deaktivieren. Die Deaktivierung von Browser-Funktionen (wie z. B. der Service Worker) ist für einen automatisierten Browser keine Selbstverständlichkeit. Normale Benutzer deaktivieren solche Funktionen jedoch selten oder nie. Und das kann für Bot-Detektoren ein Warnsignal sein.

Nun zurück zu Multilogin. Sie haben Chrome und Firefox geforkt und ihre eigenen anpassbaren Versionen erstellt. Ihre Benutzeroberfläche ermöglicht es Ihnen, entweder ein Schnellprofil (mit einem Fingerabdruck) zu erstellen oder bestimmte Werte selbst zu fälschen. Der einzige Nachteil von Multilogin ist wohl der Preis. Er beginnt bei 99 USD pro Monat und kann bis zu 399 USD pro Monat betragen. Das ist der Stand zum Zeitpunkt, an dem ich dies schreibe. Aktuelle Preise finden Sie auf der Preisseite. Zum Schluss noch ein paar komprimierte Informationen:

#Nr. 3: AdsPower

Genau wie Multilogin bietet AdsPower zwei Anti-Detect-Browser an. Der eine basiert auf Chromium und heißt Sun Browser. Der zweite basiert auf Firefox und wird Flower Browser genannt. Beide haben die zusätzliche Fähigkeit, den Browser-Fingerabdruck zu verwalten. Das Interessante an diesem Anti-Detect-Browser ist, dass er über integrierte Automatisierungsfunktionen verfügt. Für die Automatisierung von Aufgaben mit der Robotic Process Automation von AdsPower ist wenig bis gar keine Programmierung erforderlich.

Das Unternehmen wurde 2019 in Hongkong gegründet und entwickelte sich schnell zu einem der Hauptkonkurrenten von Multilogin. Ein Teil ihres Erfolges liegt in den erstaunlichen Fähigkeiten, die die Browser bieten. Der andere Teil ist meiner Meinung nach auf die niedrigen Preise zurückzuführen. AdsPower hat sogar eine kostenlose Stufe, die Ihnen Zugang zu zwei Profilen gibt, und der Pro-Plan kostet nur 50 USD pro Monat. Für mich persönlich ist dies die attraktivste Lösung. Und damit kommen wir zum Schluss:

#4: X-Browser

Bei X-Browser ist der Anti-Detect-Browser an sich kostenlos. Und das kann ein ziemlich attraktives Merkmal sein. Der Browser wird von smartproxy angeboten und kann kostenlos heruntergeladen werden. Der "Haken" dabei ist, dass man für die Proxys bezahlen muss. Einen Nachteil gibt es aber eigentlich nicht. Denn bei beiden Optionen benötigen Sie Proxys, um Ihre IP-Adresse zu verbergen und eine Blockierung zu vermeiden.

Die Bindung von X-Browser an die eigenen Proxies kann eine gute und eine schlechte Sache zugleich sein. Zum einen kann der Benutzer darauf vertrauen, dass smartproxy eine optimierte Lösung für seine Proxies anbietet. Andererseits kann man nur smartproxy-Proxys verwenden. Die Bindung an einen einzigen Anbieter bedeutet, dass man an die Qualität seines Dienstes gebunden ist. Und wenn Sie Ihre Aktivitäten skalieren wollen, brauchen Sie meiner Meinung nach mehr Flexibilität.

Da Sie nur für Proxys bezahlen, ist die Preisgestaltung bei X-Browser ziemlich anständig. Ihre Rechenzentrums-Proxys liegen zwischen 10 und 45 USD pro Monat. Proxys für Privatanwender können etwas teurer sein, aber es kommt darauf an, wie viel Sie nutzen. Die Preise finden Sie hier. So lassen Sie uns einpacken X-Browser:

#Nr. 5: Kameleo

Kameleo ist ein ziemliches Chamäleon. Es unterstützt alle wichtigen Webbrowser (Chrome, Safari, Firefox und Edge) und kann mit den wichtigsten Automatisierungs-Frameworks (Puppeteer, Selenium und Playwright) verwendet werden. Darüber hinaus bietet Kamele auch die Anpassung des Fingerabdrucks für mobile Geräte an. Laut ihrer Website kann Kameleo Mobile verwendet werden, um Ihren Fingerabdruck auf jedem Android-Gerät zu fälschen.

Im Gegensatz zu seinen Konkurrenten konzentriert sich der Dienst von Kameleo nicht auf Browser, sondern auf Browserprofile. Das heißt, sie nehmen nicht unbedingt Änderungen an einem Open-Source-Browser vor, um ihre eigene Version zu erstellen.

Wir haben mit der Plattform experimentiert, und der größte Nachteil, den wir festgestellt haben, ist der Kundensupport. Er kann sehr langsam sein. Abgesehen davon ist die Preisgestaltung gut: 59 bis 199 USD pro Monat. Fassen wir also zusammen:

#Nr. 6: Inkognito

Incognito ist ein weiterer Anti-Detect-Browser mit einem kostenlosen Angebot. Und im Gegensatz zu AdsPower bietet er Zugang zu 10 kostenlosen Browserprofilen. Ihr Browser basiert auf Chromium und bietet so ziemlich die gleichen Funktionen wie die übrigen Anti-Detect-Browser. Das Produkt verfügt auch über eine API, mit der Sie mit dem Headless-Browser interagieren können. Abgesehen von der großzügigen kostenlosen Stufe reicht der Preis von 29,99 bis 149,99 USD pro Monat. Ich würde sagen, das ist ein fairer Preis für das, was sie bieten. Und nun zum Schluss:

#Nr. 7: Linke Sphäre

Linken Sphere ist ein auf Chromium basierender Anti-Detect-Browser und wird von der russischen Gruppe Tenebris angeboten. Er wurde 2017 eingeführt und ist damit eine der ältesten Lösungen auf dem Markt. Der größte Nachteil ist, dass er ziemlich zwielichtig aussieht. Sie akzeptieren im Moment nur Zahlungen in Bitcoin und unterstützen es hauptsächlich über ihren Telegram-Kanal. Außerdem ist es dafür bekannt, dass es für illegale Aktivitäten wie Hacking oder Betrug verwendet wird. Abgesehen davon macht es seine Sache aber ziemlich gut. Und damit schließe ich die Sache endgültig ab:

Schlussfolgerungen

Browser-Fingerprinting kann das Web-Scraping extrem erschweren. Wenn Sie unentdeckt bleiben wollen, müssen Sie viele Aspekte abdecken. Proxies, Captcha-Löser und ein getarnter Headless-Browser sind nur einige der "Zutaten" eines zuverlässigen Web Scrapers. Wenn man alles zusammenzählt, können sehr hohe Entwicklungs- und Wartungskosten entstehen. Die Alternative ist die Nutzung eines etablierten Web-Scraping-Dienstes eines Drittanbieters. Und Web Scraping API bietet genau das. Und ich würde sogar sagen, dass das Ganze nur einen Bruchteil der Kosten verursacht.