Zum Inhalt springen
Zurück zum Blog

webscraper.io im Test: Preise, Limits und wann ein Wechsel sinnvoll ist

Suciu DanZuletzt aktualisiert am 17 min read
webscraper.io im Test: Preise, Limits und wann ein Wechsel sinnvoll ist
Kurzfassung: Web Scraper von webscraper.io ist eine kostenlose Chrome- und Firefox-Erweiterung plus die kostenpflichtige Web Scraper Cloud und eine solide Wahl für kleine und mittlere wiederkehrende Aufgaben auf gewöhnlichen öffentlichen Websites. Bleiben Sie dabei, wenn wenige Personen eine Handvoll Websites täglich oder wöchentlich aktualisieren und jemand die Selektoren pflegt. Wechseln Sie, wenn Sie viele Websites, geschützte oder JavaScript-lastige Ziele oder Kontrolle auf Code-Ebene brauchen.

Web Scraper ist ein Point-and-Click-Web-Scraper-Tool von webscraper.io: eine kostenlose Chrome-Erweiterung (auch für Firefox verfügbar) sowie ein kostenpflichtiger Dienst namens Web Scraper Cloud. Es eignet sich hervorragend für kleine und mittlere wiederkehrende Aufgaben auf gewöhnlichen öffentlichen Websites, ist jedoch bei großem Umfang, auf stark geschützten Websites und überall dort, wo niemand Selektoren bereitstellen möchte, nur bedingt einsetzbar.

Diese Bewertung richtet sich an Analysten, Marketingfachleute und Betriebsteams, die Webdaten sammeln, ohne Code zu schreiben, sowie an Entwickler, die entscheiden müssen, ob sie das Tool behalten oder ersetzen sollen. Web Scraper (webscraper.io) ist ein Produkt eines Drittanbieters. WebScrapingAPI stellt es weder her, besitzt es noch arbeitet mit dem Hersteller zusammen.

Am Ende erhalten Sie ein Fazit, eine Methode zur Kostenschätzung für einen Auftrag sowie eine Tabelle zur Auswahl des passenden Tools, falls Sie über die Kapazitäten des Tools hinauswachsen.

Was ist Web Scraper und wie funktioniert es?

Web Scraper ist ein Point-and-Click-Scraping-Tool von webscraper.io, das als kostenlose Chrome- oder Firefox-Erweiterung läuft und über eine kostenpflichtige Web Scraper Cloud für unbeaufsichtigte Aufträge verfügt. Sie erstellen eine Sitemap: Start-URLs sowie eine Baumstruktur aus Selektoren, die klicken, Links folgen, paginieren und Text, Bilder, Tabellen oder Attribute in Zeilen extrahieren.

Stellen Sie sich eine Sitemap wie ein Rezept vor: Die Start-URLs sind der Ausgangspunkt, und jeder Selektor ist ein Schritt, der entweder den Scraper weiterführt oder Daten sammelt.

Navigationsselektoren sorgen für die Navigation. Link-Selektoren öffnen Detailseiten, Paginierungsselektoren durchlaufen nummerierte Seiten oder „Weiter“-Schaltflächen, und Element-Klick-Selektoren drücken „Mehr laden“-Schaltflächen oder scrollen, um weitere Inhalte anzuzeigen.

Selektoren zur Datenextraktion (Text, Bild, Tabelle, HTML und Elementattribut) übernehmen das Sammeln. Alles, was unter einem Link-Selektor verschachtelt ist, wird auf der Seite ausgeführt, die dieser Link öffnet – so wandelt eine Sitemap eine Kategorieauflistung in eine Zeile pro Produkt um.

Man klickt auf Elemente, und die Erweiterung schreibt CSS-Selektoren für einen – in CSS- und jQuery-Syntax statt in XPath. Wenn ein generierter Selektor zu viele oder zu wenige Elemente trifft, bearbeitet man ihn manuell; daher sollte man während der Erstellung ein Spickzettel für CSS-Selektoren griffbereit haben.

Eine typische Sitemap vom Listenansicht- zum Detailansicht-Modus sieht wie folgt aus:

flowchart TD
    A["Start URL<br/>/category/books"] --> B["Pagination selector<br/>next page / page 2, 3, ..."]
    B --> C["Link selector<br/>each product card"]
    B -.->|"repeats on every listing page"| C
    C --> D["Product detail page"]
    D --> E["Text selector<br/>title"]
    D --> F["Text selector<br/>price"]
    D --> G["Element attribute selector<br/>image URL"]
    D --> H["Table selector<br/>specifications"]
    E & F & G & H --> I["One row per product<br/>export to CSV, XLSX, or JSON"]

Abbildung 1. Eine Sitemap vom Listenansicht- zum Detailansicht-Modus: Die Paginierung durchläuft die Liste, ein Link-Selektor öffnet jede Produktseite und vier Daten-Selektoren erzeugen eine Zeile pro Produkt.

Die Ergebnisse lassen sich als CSV, XLSX oder JSON exportieren. In der Cloud bereinigen oder leiten Parser wie „Regex Match“, „Text ersetzen“, „HTML entfernen“ und „Virtuelle Spalten“ Werte vor dem Export ab.

Erweiterung oder Web Scraper Cloud: Was ist der Unterschied?

Die Erweiterung läuft in Ihrem eigenen Browser, ist kostenlos, speichert nur die Daten des letzten Auftrags im lokalen Speicher und wird beendet, wenn Sie den Browser schließen. Web Scraper Cloud führt dieselben Sitemaps auf Remote-Servern aus – mit Zeitplanung, einer API, Webhooks, Proxys, Datenqualitätsprüfungen und gespeicherten Ergebnissen –, was für wiederkehrende Aufgaben in der Regel erforderlich ist.

Beide verwenden dasselbe Sitemap-Format, sodass Sie in der Erweiterung erstellen und testen und die Sitemap anschließend in die Cloud importieren, wenn der Auftrag eigenständig ausgeführt werden soll.

Tabelle 1. In der Erweiterung erstellen Sie die Sitemaps, und in der Cloud werden wiederkehrende Aufträge ausgeführt.


Web Scraper-Erweiterung

Web Scraper Cloud

Wo sie ausgeführt wird

Ihr eigener Browser

Auf den Servern von webscraper.io

Kosten

Kostenlos

Kostenpflichtige Tarife mit kostenloser Testphase

Zeitplanung

Keine

Ja

API und Webhooks

Keine

Ja

Proxys

Eigene Verbindung

Im Lieferumfang enthalten; Kosten für Privatanschlüsse fallen zusätzlich an

Datenspeicher

Nur der letzte Auftrag, lokal gespeichert

30 bis 60 Tage, je nach Tarif

Crawl-Reihenfolge

Last-in, first-out

Pseudozufällig

Geladene Bilder

Ja

Nein

Am besten geeignet für

Erstellung, Tests und einmalige Durchläufe

Wiederkehrende, unbeaufsichtigte Aufträge

Zwei Zeilen erklären, warum Ergebnisse in einer anderen Reihenfolge ankommen können. Die Erweiterung arbeitet nach dem Prinzip „Last-in, First-out“ und schließt einen Zweig der Website ab, bevor der nächste bearbeitet wird, während Cloud die gefundenen URLs in pseudozufälliger Reihenfolge aufruft. Gleiche Daten, unterschiedliche Reihenfolge der Zeilen. Cloud überspringt außerdem Bilder; testen Sie daher jede Seite, deren Werte von diesen abhängen.

Wie viel kostet Web Scraper?

Die Erweiterung ist kostenlos. Wie im Oktober 2026 auf webscraper.io angegeben, bietet Web Scraper Cloud eine 7-tägige kostenlose Testphase an, gefolgt vom „Project“-Tarif für 50 US-Dollar pro Monat mit 5.000 URL-Credits, dem „Professional“-Tarif für 100 US-Dollar mit 20.000 Credits, dem „Scale“-Tarif ab 200 US-Dollar mit unbegrenzten Credits, deren Preis pro gleichzeitigem Scraper berechnet wird, sowie maßgeschneiderten „Enterprise“-Tarifen.

Tabelle 2. Web Scraper Cloud-Tarife, wie im Oktober 2026 aufgeführt. Die Tarife unterscheiden sich durch Credits und die Anzahl der gleichzeitigen Scraper, nicht durch Funktionen.

Tarif

Monatlicher Preis

URL-Credits

Gleichzeitige Scraper

Datenaufbewahrung

Projekt

50 $

5.000

2

30 Tage

Profi

100 $

20.000

3

30 Tage

Skala

Ab 200 $, Preis pro gleichzeitigem Scraper

Unbegrenzt

2+

60 Tage

Enterprise

Individuell

Individuell

Individuell

Individuell

Preise und Limits gemäß der Preisseite von webscraper.io, Stand: Oktober 2026. Die aktuellen Bedingungen finden Sie auf der Website des Anbieters.

Die Tarife bieten alle denselben Scheduler, dieselbe API, dieselben Parser, dieselbe Datenqualitätsüberwachung und dieselben Exportmöglichkeiten. Unterschiede bestehen hinsichtlich des monatlichen Seitenvolumens, der gleichzeitigen Zugriffe und der Datenaufbewahrungsdauer. Der „Scale“-Tarif beinhaltet einen kostenlosen Proxy in einem US-Rechenzentrum. Der Preis für Traffic aus Privathaushalten lag im Oktober 2026 bei 2,50 US-Dollar pro GB, was relevant ist, wenn Ihre Zielseiten IP-Adressen von Rechenzentren blockieren.

Wenn der Preis die wichtigste Einschränkung ist, sehen Sie sich unseren Vergleich kostenloser Web-Scraping-Tools an.

Wie werden URL-Guthaben berechnet?

Ein URL-Guthabenpunkt entspricht einem Seitenaufruf, unabhängig vom Inhalt der Seite. Eine Sitemap, die 40 Kategorieseiten und 1.200 Produktseiten öffnet, verbraucht pro Durchlauf etwa 1.240 Credits, sodass ein wöchentlicher Zeitplan etwa 5.000 Credits pro Monat benötigt. Automatische Wiederholungsversuche bei leeren oder fehlgeschlagenen Seiten sowie Test-Scrapes von bis zu 500 Links sind kostenlos.

Um den Aufwand für einen Auftrag abzuschätzen, zählen Sie alle Seiten, die die Sitemap öffnet, multiplizieren Sie diese Zahl mit der Anzahl der Durchläufe pro Monat und vergleichen Sie das Ergebnis mit dem im Tarif enthaltenen Kontingent.

Tabelle 3. Was ein Auftrag an URL-Credits kostet. Detailseiten bestimmen den Gesamtbetrag.

Auftrag

Seiten pro Durchlauf

Durchläufe pro Monat

Credits pro Monat

Kleinster passender Tarif

Einmaliger Abruf von 25 Angebotsseiten

25

1

25

Kostenlose Erweiterung oder ein Test-Scrape in der Cloud-Testversion

Wöchentlicher Katalog: 40 Kategorieseiten plus 1.200 Produktseiten

1.240

4

4.960

Projekt (5.000)

Tägliche Preisüberprüfung von 600 Produktseiten

600

30

18.000

Professional (20.000)

Seiten, nicht Datensätze, bestimmen die Kosten. Wenn die Auflistung bereits die benötigten Felder wie Name, Preis und Lagerbestand enthält, überspringen Sie die Detailseiten. Für den Wochenkatalog sinkt der Verbrauch pro Durchlauf dadurch von 1.240 Credits auf 40.

Achten Sie auch auf die Spielräume. Der Wochenkatalog in Tabelle 3 lässt bei „Project“ nur 40 Credits Spielraum; daher reichen schon ein paar zusätzliche Kategorieseiten oder ein Monat mit fünf geplanten Durchläufen (6.200 Credits), um diesen Spielraum zu überschreiten. Passen Sie den Plan an den Monat mit dem höchsten Bedarf an, nicht an den Durchschnittswert.

Was kann Web Scraper gut?

Web Scraper zeigt seine Stärken vor allem auf gewöhnlichen öffentlichen Websites mit einer klaren Struktur von Auflistungen zu Detailansichten. Die Erstellung und das Testen vor Ort sind kostenlos, das Tool bewältigt Paginierung, Klicks und unendliches Scrollen ohne Programmieraufwand, exportiert in gängige Formate und ermöglicht es auch Nicht-Entwicklern, dieselbe Sitemap in die Cloud zu verschieben, wenn der Auftrag geplant werden muss.

Seine Stärken in der Praxis:

  • Keine Einrichtung erforderlich. Installieren Sie die Erweiterung und beginnen Sie mit der Erstellung. Für lokale Ausführungen sind weder ein Konto noch ein Server erforderlich.
  • Visuelle Auswahl mit Live-Vorschau. Sie sehen vor dem Scraping, was jeder Selektor abdeckt.
  • Mehrstufige Sitemaps. Listen, Paginierung und Detailseiten sind in einem Selektorbaum zusammengefasst.
  • Portable Sitemaps. Durch den Import und Export im JSON-Format können Sie Sitemaps teilen, versionieren und unverändert in die Cloud übertragen.
  • Integrierte Parser. Die Bereinigung erfolgt direkt im Tool und nicht erst nachträglich in einer Tabellenkalkulation.
  • Kostenlose Test-Scrapes. Die Cloud testet bis zu 500 Links, bevor Guthaben verbraucht wird.
  • Integrations-Hooks. Die API und die Webhooks von Cloud leiten abgeschlossene Aufträge an andere Systeme weiter.

Für einen Marketingmitarbeiter, der einige Dutzend Produktseiten von Mitbewerbern verfolgt, oder einen Analysten, der einmal pro Quartal ein Verzeichnis abruft, ist diese Kombination zu diesem Preis kaum zu übertreffen.

Wo hat Web Scraper seine Schwächen?

Web Scraper stößt an seine Grenzen, wenn Aufträge umfangreich, geschützt oder empfindlich sind. Lokale Ausführungen blockieren Ihren Browser, die Cloud begrenzt eine Sitemap auf 100 Selektoren und 10 Minuten kontinuierlicher JavaScript-Aktionen pro URL, soziale Plattformen wie LinkedIn werden nicht unterstützt, und bei jedem Redesign einer Website muss jemand die Selektoren manuell anpassen.

  • Lokale Ausführungen benötigen Ihren Browser. Der Browser und der Computer müssen während des gesamten Auftrags geöffnet bleiben, und es werden nur die Daten des letzten Auftrags gespeichert.
  • Einschränkungen bei der Ausführung in der Cloud: Eine Sitemap darf bis zu 20.000 Start-URLs und 100 Selektoren enthalten, und JavaScript-Aktionen wie Klicken und Scrollen dürfen pro URL bis zu 10 Minuten ununterbrochen ausgeführt werden.
  • Aufbewahrungsdauer. In der Cloud werden Auftragsdaten bei den Tarifen „Project“ und „Professional“ 30 Tage lang und bei „Scale“ 60 Tage lang aufbewahrt. Wenn Sie einen Verlauf benötigen, planen Sie Exporte in Ihren eigenen Speicher ein.
  • Parallelität. Bei „Project“ laufen 2 Scraper gleichzeitig, bei „Professional“ 3; bei hoher Auslastung werden Aufträge daher hinter „Scale“ in die Warteschlange gestellt.
  • Geschützte Websites. Laut webscraper.io selbst variiert die Kompatibilität mit Websites, die einen erweiterten Anti-Bot-Schutz verwenden, einschließlich solcher hinter Cloudflare Turnstile. „Scale“ umfasst nur einen kostenlosen Proxy im US-Rechenzentrum, und privater Datenverkehr wird pro GB abgerechnet.
  • Soziale Plattformen. Cloud unterstützt keine Datenextraktion aus sozialen Medien, einschließlich LinkedIn.
  • Anmeldungen. Die Erweiterung nutzt Ihre Browsersitzung, was Fragen zu Konten und Nutzungsbedingungen aufwirft (siehe Abschnitt „Rechtliches“).
  • Pflege der Selektoren. Wenn eine Website ihr Markup ändert, muss jemand die Sitemap manuell anpassen. Das sind die Kosten, die auf der Preisseite nicht aufgeführt sind, und sie steigen mit jeder Website.
  • Eingeschränkte Kontrolle auf Code-Ebene. Sie können keine benutzerdefinierte Wiederholungslogik schreiben, keine beliebigen Header setzen oder Ihren eigenen Parsing-Code ausführen.

Ist Web Scraper das richtige Tool für Ihre Aufgabe?

Behalten Sie Web Scraper, wenn einige wenige Personen strukturierte Daten von einer Handvoll gewöhnlicher öffentlicher Websites benötigen, die täglich oder wöchentlich aktualisiert werden, und jemand gerne bereit ist, die Selektoren zu pflegen. Suchen Sie nach einer anderen Lösung, wenn Sie viele Websites, geschützte oder JavaScript-lastige Ziele, garantierte Aktualität, Kontrolle auf Code-Ebene oder Daten benötigen, die niemand in Ihrem Team pflegen möchte.

Die entscheidende Frage lautet in der Regel nicht „Kann Web Scraper diese Website scrapen?“, sondern „Wer sorgt dafür, dass diese Aufgabe weiterhin funktioniert?“ Suchen Sie in der Tabelle die Zeile, die Ihrer Situation entspricht.

Tabelle 4. Wählen Sie ein Tool nach Aufgabe aus. Das richtige Tool hängt davon ab, wer es pflegt.

Ihre Situation

Am besten geeigneter Tool-Typ

Warum

Wie geht es weiter?

Einige öffentliche Websites, wöchentliche Aktualisierung, keine Entwickler

Web-Scraper-Erweiterung plus Cloud

Der günstigste Weg, der funktioniert

Bei Web Scraper bleiben

Muss kostenlos sein, einmalig

Kostenlose Erweiterung oder andere kostenlose Tools

Keine Kosten

Vergleich kostenloser Tools (Abschnitt „Kosten“)

Unübersichtliche Seiten, Felder sollen über eine Eingabeaufforderung abgerufen werden

KI-Extraktor

Weniger Arbeit bei der Auswahl

Übersicht über KI-Tools (Abschnitt „Tool-Typen“)

Produktteam, Pipeline im Code

Scrapy oder Playwright

Tests, Versionskontrolle und vollständige Kontrolle

Abschnitt „Code schreiben“

Code-basierte Pipeline, aber Blöcke oder das Rendering sind das Problem

Scraping-API

Abruf und Rendering werden für Sie übernommen

Abschnitt „Scraping-API“

Klicks, zulässige Anmeldungen oder Screenshots

Browser-Automatisierungs-API

Gehosteter Browser, der Seitenaktionen ausführt

Bereich „Scraping-API“

Standarddaten von beliebten Websites

API für strukturierte Daten

Keine Selektoren, die gepflegt werden müssen

Bereich „Kaufdaten“

Regelmäßige Lieferung an ein Lager, kein Wartungsaufwand

Datenfeed oder Managed Service

Der Anbieter ist für die Pflege zuständig

Abschnitt „Einkaufsdaten“

Wenn die erste Zeile auf Sie zutrifft, ist Web Scraper eine gute Wahl, und der Rest dieses Leitfadens dient lediglich als Hintergrundinformation. Haben Sie sich bereits für einen Wechsel entschieden? Dann springen Sie zum Abschnitt „Migration“ weiter unten.

Welche anderen Arten von Web-Scraper-Tools gibt es?

Web-Scraper-Tools lassen sich in fünf Gruppen einteilen: Browser-Erweiterungen wie Web Scraper, No-Code-Desktop- oder Cloud-Anwendungen wie Octoparse und ParseHub, KI-Extraktoren, die Seiten anhand einer Eingabezeile auslesen, Code-Bibliotheken und Frameworks wie Scrapy und Playwright sowie Scraping-APIs oder vorgefertigte Datendienste, die das Abrufen, Rendern und die Wartung übernehmen.

Browser-Erweiterungen. Web Scraper ist das bekannteste Beispiel. Sie sind kostengünstig und visuell, und ihre Grenzen liegen bei Ihrem Browser, es sei denn, dahinter steht ein Cloud-Dienst.

No-Code-Desktop- und Cloud-Apps. Tools wie Octoparse und ParseHub bieten visuelle Workflow-Generatoren, Website-Vorlagen und gehostete Ausführungen, wobei sich bei Änderungen an den Websites dieselbe Frage zur Wartung stellt.

KI-Extraktoren. Diese liefern Felder anhand einer Eingabe in natürlicher Sprache statt über Selektoren. Sie helfen bei unübersichtlichen Layouts, erfordern jedoch Stichprobenprüfungen. Unsere Übersicht über KI-Web-Scraping-Tools behandelt diese Kategorie ausführlich.

Code-Bibliotheken und Frameworks. Scrapy, Playwright und ähnliche Bibliotheken geben Entwicklern die volle Kontrolle und die vollständige Verantwortung für jede Korrektur.

Scraping-APIs und Datendienste. Diese übernehmen Proxys, das Rendern, Wiederholungsversuche oder die Pflege von Parsern und liefern Seiten für Ihren Code oder fertige Datensätze nach einem festgelegten Zeitplan.

Als einfachste Option ruft die IMPORTXML-Funktion von Google Sheets Werte aus einfachen statischen Seiten in eine Tabelle ab – ganz ohne Installation.

Wenn Sie bestimmte Produkte innerhalb jeder Gruppe vergleichen und bewerten möchten, sehen Sie sich unsere Rangliste der Web-Scraping-Tools an.

Wann sollten Sie stattdessen Code schreiben?

Schreiben Sie Code, wenn die Scraping-Logik Teil eines Produkts ist, wenn Sie Tests, Versionskontrolle und benutzerdefinierte Wiederholungsversuche benötigen oder wenn sich Websites so häufig ändern, dass Sie bei Fehlern Warnmeldungen auslösen möchten. Scrapy eignet sich für umfangreiche Crawls statischer Seiten, und Playwright eignet sich für Websites, die einen echten Browser zum Rendern oder zur Interaktion benötigen.

Code macht die Regeln einer Sitemap testbar: Eine Überprüfung, ob jede Zeile einen Preis enthält, kann jemanden warnen, bevor fehlerhafte Daten ein Dashboard erreichen.

Scrapy ist ein Python-Framework für schnelle Crawls statischer Seiten. Playwright steuert echte Browser für Seiten an, deren Inhalte mit JavaScript erstellt werden. Die Erklärung „Rendering on the Web“ auf web.dev zeigt, warum solche Seiten bei einer einfachen HTTP-Anfrage leer erscheinen.

Code verlagert die Arbeit, anstatt sie zu beseitigen: Selektoren können immer noch fehlschlagen, aber man merkt es schneller.

Wann sollte eine Scraping-API das Abrufen übernehmen?

Verwenden Sie eine Scraping-API, wenn Ihr Code für das Parsen und die Speicherung zuständig sein soll, nicht jedoch für Proxys, Browser-Rendering, Wiederholungsversuche oder Blöcke. Sie senden eine URL, optional mit Rendering, Standort oder Seitenaktionen, und erhalten HTML, JSON oder einen Screenshot zurück, sodass die Pipeline in Ihrem Repo verbleibt, ohne dass Browser-Flotten ausgeführt werden müssen.

Das ist der übliche nächste Schritt für Teams, die mehr Zeit damit verbringen, Anfragen am Laufen zu halten, als Daten zu parsen. Du kannst Web-Scraping-APIs anhand ihrer Rückgabewerte vergleichen – von einer einzelnen Seite bis hin zum Crawling einer gesamten Website.

Wenn Ihre Sitemaps auf Element-Klick-Selektoren, Scrollen oder dem Warten auf das Erscheinen von Inhalten beruhen, ist eine Browser-API für Klicks, Wartezeiten und Screenshots die am ehesten vergleichbare Lösung: Sie beschreiben die Aktionen, und ein gehosteter Browser führt sie aus und gibt HTML, JSON, Felder oder einen Screenshot zurück.

Wann sollten Sie Daten kaufen, anstatt sie selbst zu scrapen?

Kaufen oder abonnieren Sie Daten, wenn die Quellen weit verbreitet sind und die Felder standardisiert sind, wie beispielsweise bei Produkten, Preisen, Bewertungen, Anzeigen oder Stellenangeboten, und niemand eigene Selektoren entwickeln möchte. Eine API für strukturierte Daten oder ein planmäßiger Feed liefert saubere Datensätze, und der Anbieter gleicht Änderungen an der Website automatisch an – was oft kostengünstiger ist, als wenn eine Person die Sitemaps manuell aktualisiert.

Dies ist die praktischste Alternative zum Web-Scraping selbst. Eine API für strukturierte Daten aus 116 Quellen liefert Datensätze mit einheitlichen Feldern, während WebScrapingAPI den Zugriff auf die Quellen, die Extraktion, die Pflege der Parser und die Qualitätsüberwachung übernimmt.

Wenn Sie für die Cloud eigentlich nur den Zeitplan bezahlen, liefern geplante Daten-Feeds regelmäßig strukturierte Daten, ohne dass eine Sitemap gepflegt werden muss.

Vergleichen Sie die Kosten eines Feeds mit Ihrem Cloud-Tarif zuzüglich der Stunden, die Sie für die Korrektur von Selektoren aufwenden. Bei ein oder zwei stabilen Websites ist der Web-Scraper in der Regel die bessere Wahl. Bei einem Dutzend sich ändernder Websites ist dies oft nicht der Fall.

Wie steigt man von Web Scraper um, ohne Arbeitsergebnisse zu verlieren?

Exportieren Sie zunächst jede Sitemap als JSON, da darin Ihre Start-URLs, Selektoren und die Seitenstruktur gespeichert sind. Notieren Sie sich dann die Felder, den Aktualisierungszeitplan und eine Stichprobe bekannter, fehlerfreier Zeilen. Erstellen Sie diese Spezifikation im neuen Tool neu, lassen Sie beide Tools einen Zyklus lang parallel laufen und vergleichen Sie die Ergebnisse, bevor Sie Cloud deaktivieren.

Anhand der Beispielzeilen lässt sich feststellen, ob eine Abweichung vom neuen Tool oder von der Website stammt. Laden Sie außerdem den Cloud-Auftragsverlauf herunter, bevor die Aufbewahrungsfrist abläuft. Für eine detaillierte Anleitung folgen Sie unserer Schritt-für-Schritt-Anleitung zur Migration einer Web-Scraper-Sitemap in ein anderes Tool.

Das Scrapen öffentlicher Seiten ist vielerorts grundsätzlich rechtmäßig, doch die Rechtmäßigkeit hängt von den Daten, den Nutzungsbedingungen der Website und Ihrer Rechtsordnung ab. Halten Sie sich an die robots.txt-Datei, vermeiden Sie personenbezogene Daten, deren Erfassung Sie nicht rechtfertigen können, scrapen Sie keine Inhalte hinter Anmeldungen, die Sie nicht automatisieren dürfen, und prüfen Sie vor der Installation einer Browser-Erweiterung, welche Daten diese auslesen kann.

Unser Leitfaden zur Rechtmäßigkeit von Web-Scraping geht noch tiefer ins Detail. Drei Punkte gelten insbesondere für Web Scraper.

Erstens: „robots.txt“. Das Robots Exclusion Protocol (RFC 9309) dient dazu, dass Websites Crawlern mitteilen, welche Pfade sie meiden sollen. Es handelt sich dabei nicht um eine Zugriffskontrolle, aber die Einhaltung dieser Vorgaben ist die Grundvoraussetzung.

Zweitens: Anmeldedaten. Die Erweiterung kann auf alles zugreifen, was Ihr Konto sehen kann, und die Nutzungsbedingungen vieler Websites verbieten den automatisierten Zugriff auf Konten. Holen Sie sich zuerst die Erlaubnis ein.

Drittens: die Erweiterung selbst. In Chromes Leitfaden zu Berechtigungswarnungen bei Erweiterungen wird erläutert, was eine Scraping-Erweiterung lesen und ändern darf. Prüfen Sie diese Angaben, insbesondere auf einem Arbeitsbrowser.

Dies ist keine Rechtsberatung. Sprechen Sie mit einem Rechtsbeistand über Ihren Anwendungsfall.

Häufig gestellte Fragen

Ist Web Scraper kostenlos?

Ja, die Chrome- und Firefox-Erweiterung ist für das Scraping in Ihrem eigenen Browser kostenlos. Sie zahlen nur für Web Scraper Cloud, das Zeitplanung, eine API, Proxys und gespeicherte Ergebnisse bietet. Die Cloud-Tarife boten im Oktober 2026 eine 7-tägige kostenlose Testphase an, und Test-Scrapes von bis zu 500 Links verbrauchen keine Credits.

Was ist ein URL-Credit in Web Scraper Cloud?

Ein URL-Credit entspricht einem Seitenaufruf in Web Scraper Cloud, unabhängig davon, wie viele Datensätze die Seite enthält. Eine Übersichtsseite mit 100 Produkten kostet einen Credit, während das Öffnen dieser 100 Produktseiten 100 Credits kostet. Automatische Wiederholungsversuche bei leeren oder fehlgeschlagenen Seiten verbrauchen keine zusätzlichen Credits.

Kann Web Scraper Paginierung und unendliches Scrollen verarbeiten?

Ja. Paginierung und Link-Selektoren folgen „Weiter“-Schaltflächen und nummerierten Seiten, während Element-Klick-Selektoren auf „Mehr laden“-Schaltflächen klicken oder scrollen, um weitere Elemente zu laden. Bauen Sie den Selektorbaum so auf, dass die Paginierung über den Datenselektoren liegt, und sehen Sie sich dann einige Seiten in der Vorschau an, bevor Sie die gesamte Sitemap ausführen.

Kann Web Scraper JavaScript-intensive Websites auswerten?

In der Regel ja, da das Programm in einem echten Browser läuft, der die Skripte der Seiten ausführt. In Web Scraper Cloud kann eine Sitemap JavaScript-Aktionen wie Klicken und Scrollen für bis zu 10 Minuten am Stück pro URL ausführen. Bei Websites mit aggressivem Bot-Schutz kann es dennoch zu Fehlern kommen; testen Sie daher ein Ziel, bevor Sie den Auftrag starten.

Kann Web Scraper Seiten hinter einer Anmeldung auslesen?

Die Erweiterung läuft in Ihrer eigenen Browsersitzung und kann daher Seiten anzeigen, bei denen Sie angemeldet sind. Das bedeutet jedoch nicht, dass dies erlaubt ist: Viele Websites verbieten in ihren Nutzungsbedingungen den automatisierten Zugriff auf Konten. Web Scraper Cloud unterstützt zudem keine Social-Media-Plattformen, einschließlich LinkedIn; überprüfen Sie daher zunächst die Zielseite.

Löst Web Scraper CAPTCHAs?

Nicht als eigenständige Funktion. Cloud-Jobs nutzen Proxy-Rotation, Wiederholungsversuche und Failover, um Unterbrechungen zu reduzieren, und laut webscraper.io variiert die Kompatibilität mit geschützten Websites je nach Website. Wenn CAPTCHAs Ihr Ziel regelmäßig blockieren, ist eine Scraping-API oder ein verwalteter Datendienst, der den Zugriff für Sie übernimmt, in der Regel zuverlässiger.

Eignet sich Web Scraper für groß angelegtes Scraping?

Es lässt sich für strukturierte öffentliche Websites skalieren, insbesondere im „Scale“-Tarif mit unbegrenzten URL-Guthaben, deren Preis pro gleichzeitigem Scraper berechnet wird. Große Programme, die viele wechselnde oder geschützte Websites abdecken, wachsen in der Regel über die Kapazitäten hinaus, da der Aufwand für die Selektorpflege, die Parallelität und die Proxy-Kosten schneller steigen, als der Tarifpreis vermuten lässt.

Was ist die beste Alternative zu Web Scraper?

Das hängt von der jeweiligen Aufgabe ab. Andere No-Code-Apps eignen sich für visuelle Workflows, KI-Extraktoren reduzieren den Aufwand für Selektoren, Scrapy oder Playwright eignen sich für Teams, die mit Code arbeiten möchten, Scraping-APIs bewältigen Blockierungen und das Rendering, und Daten-APIs oder -Feeds machen Wartungsaufwand komplett überflüssig. Wählen Sie das Tool entsprechend der Person aus, die es warten wird.

Was sollten Sie als Nächstes tun?

Sind Sie mit der Pflege der Sitemaps fertig? Nennen Sie uns die Quellen, Felder und den Zeitplan, und Managed Data übernimmt für Sie die Erfassung, Qualitätsprüfungen und Bereitstellung.

Möchten Sie das Scraping lieber in Ihrem eigenen Code behalten? Die Scraper-API beginnt mit 5.000 kostenlosen Anfragen, JavaScript-Rendering und Geotargeting kosten keine zusätzlichen Credits, und fehlgeschlagene Anfragen werden nicht in Rechnung gestellt.

Über den Autor

Suciu Dan, Mitbegründer @ WebScrapingAPI

Suciu Dan

Mitbegründer

Suciu Dan ist Mitbegründer von WebScrapingAPI und verfasst praxisorientierte, auf Entwickler zugeschnittene Anleitungen zu den Themen Web-Scraping mit Python, Web-Scraping mit Ruby und Proxy-Infrastruktur.

Web-Scraping mit AWS Lambda: Leitfaden für Python und Java 2026
Anleitungen

Web-Scraping mit AWS Lambda: Leitfaden für Python und Java 2026

TL;DR: Kurz gesagt: Web-Scraping mit AWS Lambda funktioniert am besten, wenn jeder Aufruf kurz, begrenzt und unabhängig wiederholbar ist. Beginnen Sie mit direktem HTTP, AWS SAM und S3 und fügen Sie erst dann SQS, Container, Browser-Rendering, Proxys oder eine verwaltete Abrufebene hinzu, wenn sich im Rahmen der Arbeitslast herausstellt, dass diese erforderlich sind.

Suciu Dan26 min read
Artikel lesen
So verwenden Sie GoSpider: Crawlen, URLs bereinigen und Daten extrahieren
Anleitungen

So verwenden Sie GoSpider: Crawlen, URLs bereinigen und Daten extrahieren

TL;DR: GoSpider ist ein Befehlszeilen-Crawler zum Auffinden von URLs, kein vollständiger Scraper für strukturierte Daten. Diese Anleitung zur Verwendung von GoSpider zeigt einen begrenzten Crawl, die saubere Verarbeitung der Ausgabe, die Übergabe von Colly an CSV sowie einen Diagnosepfad für 403-Antworten oder Seiten, die eine JavaScript-Darstellung erfordern.

Suciu Dan20 min read
Artikel lesen
Wie man Redfin scrappt: Python-Leitfaden für Immobiliendaten
Anleitungen

Wie man Redfin scrappt: Python-Leitfaden für Immobiliendaten

TL;DR: Redfin stellt versteckte API-Endpunkte zur Verfügung, die strukturiertes JSON für Immobilienangebote zurückgeben, wodurch das fragile HTML-Parsing vollständig übersprungen werden kann. Diese Anleitung führt Sie durch den Aufbau eines Python-Scrapers, der Miet- und Verkaufsdaten extrahiert, nach Standort sucht, neue Angebote über XML-Sitemaps überwacht und saubere Ergebnisse in CSV oder JSON exportiert.

Suciu Dan11 min read
Artikel lesen

Los geht’s

Sind Sie bereit, Ihre Datenerfassung zu erweitern?

Schließen Sie sich den über 2.000 Unternehmen an, die WebScrapingAPI nutzen, um Webdaten im Unternehmensmaßstab ohne zusätzlichen Infrastrukturaufwand zu extrahieren.